鄭建聰,謝麒麟,方 挺,韓家明,董 沖
(1.寶山鋼鐵股份有限公司鋼管條鋼事業(yè)部,上海 201900;2.安徽工業(yè)大學(xué)電氣與信息工程學(xué)院,安徽 馬鞍山 243032)
金屬管材是重要的冶金產(chǎn)品,廣泛用于建筑、汽車及電力等行業(yè)[1]。隨著國(guó)際經(jīng)濟(jì)的快速發(fā)展,各行業(yè)對(duì)管材表面質(zhì)量提出了更高的要求。管材在生產(chǎn)、加工以及搬運(yùn)過程易產(chǎn)生污穢和損傷兩類表面缺陷。表面損傷可分為點(diǎn)狀損傷和線狀損傷,其比污穢的危害更大,不僅增加銷售難度,后續(xù)加工時(shí)還存在安全隱患。長(zhǎng)期以來,管材表面缺陷檢查依賴傳統(tǒng)的人工觀察方法,該方法效率低下、成本較高,且典檢人員會(huì)因長(zhǎng)時(shí)間觀察不可避免地出現(xiàn)疲勞,易導(dǎo)致誤檢和漏檢[2-3]。針對(duì)這一問題,科研人員在分析管材內(nèi)外缺陷產(chǎn)生原因的基礎(chǔ)上[4],提出了基于超聲波[5]、漏磁[6]及渦流[7]的表面缺陷檢測(cè)方法。超聲波檢測(cè)為接觸式測(cè)量,對(duì)管材生產(chǎn)線的空間布局要求較高;漏磁檢測(cè)需經(jīng)常標(biāo)定,維護(hù)成本較高;渦流檢測(cè)的探頭易損傷,且易產(chǎn)生誤報(bào)。因此,有必要設(shè)計(jì)一種非接觸式的管材表面缺陷檢測(cè)方法。
隨著科學(xué)技術(shù)的發(fā)展,機(jī)器視覺技術(shù)在缺陷檢測(cè)領(lǐng)域逐漸發(fā)揮重要作用。在加工制造業(yè),文獻(xiàn)[8]提出了一種基于YOLOv2的手機(jī)鏡片缺陷視覺檢測(cè)方法;文獻(xiàn)[9]設(shè)計(jì)了一種基于機(jī)器視覺的芯片引腳缺陷檢測(cè)系統(tǒng)。在日常生活中,文獻(xiàn)[10]搭建了一種針對(duì)平面口罩缺陷視覺檢測(cè)系統(tǒng),引入深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)不同口罩缺陷建模學(xué)習(xí);文獻(xiàn)[11]針對(duì)油炸花生的飽滿度、褶皺度等視覺特征設(shè)計(jì)了一種自動(dòng)分揀系統(tǒng),檢測(cè)已知類別花生種類準(zhǔn)確率可達(dá)95%。由上述研究成果可發(fā)現(xiàn),基于機(jī)器視覺的缺陷檢測(cè)技術(shù)較為成熟,擁有較多可借鑒的技術(shù)方案,具備工程實(shí)用的可行性。管材表面點(diǎn)狀缺陷和線狀缺陷的成像特征獨(dú)特,具備采用機(jī)器視覺算法開展檢測(cè)的先決條件,但目前極少見相關(guān)具體檢測(cè)方法。鑒于此,設(shè)計(jì)一種基于機(jī)器視覺的金屬管材表面缺陷檢測(cè)方法,用于檢測(cè)管材表面點(diǎn)狀和線狀缺陷,且通過可視化實(shí)驗(yàn)驗(yàn)證所提方法的可行性和準(zhǔn)確性,旨在提升表面缺陷檢測(cè)效率的基礎(chǔ)上降低企業(yè)的運(yùn)維成本。
搭建管材典型缺陷圖像采集平臺(tái),如圖1。搜集具有典型缺陷的管材并對(duì)其進(jìn)行編號(hào),使用日光燈對(duì)待測(cè)管材表面進(jìn)行補(bǔ)光后,使用攝像頭自上而下拍攝管材表面。通過搭建的實(shí)驗(yàn)平臺(tái)采集管材缺陷圖像樣本,可有效模擬管材在生產(chǎn)線上的成像狀態(tài),為其表面缺陷檢測(cè)創(chuàng)造條件。
圖1 典型缺陷圖像采集實(shí)驗(yàn)平臺(tái)Fig.1 Typical defect image collection experimental platform
搜集的管材典型表面缺陷為點(diǎn)狀缺陷和線狀缺陷,如圖2。線狀缺陷與直線狀的光線相似度較高,通常存在兩個(gè)端點(diǎn),這兩個(gè)端點(diǎn)與點(diǎn)狀缺陷較相似。因此,可將線狀缺陷視為點(diǎn)狀缺陷的特例,通過點(diǎn)狀缺陷檢測(cè)算法對(duì)其進(jìn)行檢測(cè)。
圖2 管材表面典型缺陷Fig.2 Typical defects on pipe surface
進(jìn)一步分析可知,點(diǎn)狀缺陷所在區(qū)域和其周圍區(qū)域存在明顯的圖像灰度差,因此文中考慮采用圖像特征點(diǎn)檢測(cè)算法檢測(cè)缺陷點(diǎn)所在區(qū)域。現(xiàn)有圖像特征點(diǎn)檢測(cè)算法主要有ORB(oriented FAST and rotated BRIEF)[12]、SIFT[13]和SURF[14]算法。SIFT 算法和SURF 算法在求解主方向時(shí)對(duì)局部區(qū)域的梯度方向依賴較高,且對(duì)圖像色彩信息利用率不高。ORB 算法在一定程度上不受圖像變換和噪聲的影響,具有準(zhǔn)確性高、運(yùn)算速度快等優(yōu)點(diǎn),被廣泛用于同步定位與建圖(simultaneous localization and mapping,SLAM)[15]和圖像拼接[16]等環(huán)節(jié)。鑒于ORB 算法技術(shù)成熟且優(yōu)點(diǎn)明顯,文中采用ORB算法檢測(cè)圖像中的點(diǎn)缺陷。
值得注意的是,采集的管材缺陷圖像包含部分無用背景,這些背景存在肉眼難以發(fā)現(xiàn)的圖像干擾,對(duì)缺陷檢測(cè)帶來較大影響。管材在圖像中的位置通常穩(wěn)定在某一大致區(qū)間,因此可針對(duì)圖像設(shè)定感興趣區(qū)域(region of interest,RoI),將RoI 設(shè)置為后續(xù)待檢測(cè)區(qū)域,其他區(qū)域不予處理,這樣既可減少圖像背景的影響,又可提升缺陷檢測(cè)效率。文中采用的ORB算法中,使用FAST算子搜尋缺陷圖像的特征點(diǎn),具體步驟如下:
1)隨機(jī)選取管材表面缺陷圖像中的一個(gè)像素點(diǎn)P,設(shè)其灰度值為L(zhǎng)P;
2)設(shè)定像素灰度對(duì)比閾值T,將像素點(diǎn)P與其水平和垂直方向的4個(gè)像素進(jìn)行對(duì)比;
3) 若點(diǎn)P與其領(lǐng)域內(nèi)N個(gè)像素存在對(duì)比差異(設(shè)N為3),則認(rèn)為點(diǎn)P為一個(gè)ORB特征點(diǎn)。
在上述步驟的基礎(chǔ)上,將檢測(cè)到的特征點(diǎn)設(shè)為圓心,以圓心與取點(diǎn)區(qū)域的形心連接線為橫坐標(biāo)構(gòu)建特征點(diǎn)描述子。本文算法流程圖如圖3。
圖3 本文算法流程圖Fig.3 Flowchart of the algorithm in this paper
實(shí)驗(yàn)平臺(tái)為Visual Studio Software,同時(shí)配置OpenCV 圖像處理庫(kù)構(gòu)建算法編程的軟件平臺(tái)。選取典型管材缺陷圖像進(jìn)行算法實(shí)驗(yàn)驗(yàn)證,結(jié)果如圖4。
圖4 檢測(cè)結(jié)果可視化效果Fig.4 Visualization of detection results
為便于肉眼觀察,使用黑色記號(hào)筆標(biāo)記缺陷所在的大致區(qū)域,標(biāo)記痕跡的顏色比缺陷顏色深。圖4(a)為點(diǎn)狀缺陷檢測(cè)結(jié)果,包含RoI 圖像和檢測(cè)結(jié)果兩部分信息。分析圖4(a)可知:通過設(shè)置合適的RoI 區(qū)域可刪除大部分無關(guān)圖像背景,有效保留了待檢測(cè)的管材區(qū)域;采用本文提出的檢測(cè)算法在準(zhǔn)確檢測(cè)出真實(shí)缺陷點(diǎn)所在位置的同時(shí),還檢測(cè)出了黑色記號(hào)筆的標(biāo)記痕跡,說明本文算法對(duì)圖像灰度變化區(qū)域較敏感,具備準(zhǔn)確檢測(cè)不同灰度缺陷的能力;采用本文算法檢測(cè)該圖缺陷的時(shí)間約0.32 s,速度較快,說明本文算法具備工程應(yīng)用的潛力。分析圖4(b)可知,本文算法不僅可準(zhǔn)確檢測(cè)出線狀缺陷的端點(diǎn),還可檢測(cè)出圖像右側(cè)未標(biāo)記的線狀缺陷端點(diǎn)。為驗(yàn)證本文算法在無干擾狀態(tài)下的檢測(cè)效果,選取一幅典型缺陷圖像并擦除黑色記號(hào)筆的標(biāo)記痕跡,結(jié)果如圖4(c)。分析圖4(c)可知,本文算法可準(zhǔn)確檢測(cè)出圖像中的缺陷點(diǎn),檢測(cè)時(shí)間約0.35 s。
隨機(jī)選取50 幅包含缺陷的管材圖像,采用文中算法對(duì)其進(jìn)行檢測(cè)。在實(shí)際檢測(cè)過程中,無論某管材上有多少個(gè)缺陷點(diǎn),只要檢測(cè)出其中一個(gè)缺陷點(diǎn)即可判定該管材存在缺陷,認(rèn)定算法檢測(cè)成功。在上述約定下,本文算法的檢測(cè)成功率約92%,說明本文算法的檢測(cè)準(zhǔn)確率較高。
為進(jìn)一步展示本文算法的檢測(cè)效率,隨機(jī)選取部分圖像的檢測(cè)時(shí)間,結(jié)果如圖5。分析圖5 可知,本文算法的平均檢測(cè)時(shí)間約0.32 s,說明本文算法具備快速檢測(cè)管材表面缺陷的潛力。
圖5 本文算法檢測(cè)時(shí)間Fig.5 Detection time of the algorithm in this paper
設(shè)計(jì)一種基于ORB 特征點(diǎn)的管材表面缺陷檢測(cè)方法,通過采集典型缺陷圖像構(gòu)建樣本集,分析缺陷的成像特征;設(shè)置RoI 區(qū)域減少圖像背景對(duì)檢測(cè)過程的干擾,使用ORB算法檢測(cè)管材表面的缺陷。實(shí)驗(yàn)結(jié)果表明,本文算法的檢測(cè)準(zhǔn)確率約92%,平均檢測(cè)時(shí)間約0.32 s,檢測(cè)準(zhǔn)確率較高且檢測(cè)速度較快,具備較高的工程實(shí)用價(jià)值。