邵鈺奕 沈金悅 盧瑤 張森
摘 要:提出了一種皮革視覺缺陷檢測算法。通過分析皮革圖像的低秩特征,將皮革圖像缺陷檢測問題轉(zhuǎn)變?yōu)閺牡椭缺尘皥D像中分離稀疏矩陣圖像。首先采用Gaussian高通濾波器對圖像進行了預(yù)處理,然后利用魯棒性主成成分分析(RPCA)對圖像進行低秩稀疏分解,并采用效率較高的非精確增廣拉格朗日乘子法(IALM)求解。對分解后的稀疏圖像進行了后處理,最終在二值圖像中獲得缺陷的形狀和位置。該算法的效率及準(zhǔn)確率已經(jīng)在實驗中進行了驗證,并與現(xiàn)有算法進行了比較。實驗表明,該算法可以用來檢測各種不同種類和大小的缺陷,檢測準(zhǔn)確率高且能夠提供完整的缺陷掩模。
關(guān)鍵詞:缺陷檢測;魯棒性主成成分分析;高通濾波器;皮革圖像
中圖分類號:TP183 ? ? ?文獻標(biāo)識碼:A
Abstract:This paper proposes a method of leather visual defect detection. By analyzing the low-rank features of leather images, the problem of leather image defect detection is transformed into separating sparse matrix images from low-rank background images. First, Gaussian high-pass filter is used to pre-process the image, then the Robust principal component analysis (RPCA) is used to perform low-rank sparse decomposition on the image, and the Inexact Augmented Lagrangian algorithm (IALM) is used to solve the problem. The decomposed sparse image is post-processed, and finally the shape and position of the defect are obtained in the binary image. The efficiency and accuracy of this method have been verified in experiments and compared with existing methods. Experiments show that the algorithm can be used to detect various types and sizes of defects, with high detection accuracy and a complete defect mask.
Key words:defect detection; robust principal component analysis; high-pass filter; leather image
近年來,隨著皮革的廣泛應(yīng)用,人們對高品質(zhì)皮革的需求量日益增大。盡管皮革制造廠的加工技術(shù)不斷進步,但在皮革切割過程中,難免會留下少量缺陷,這也一直是限制皮革應(yīng)用和發(fā)展的重要因素[1]。對皮革進行缺陷檢測成為加工高質(zhì)量皮革必不可少的條件,由于國內(nèi)缺陷檢測技術(shù)有限,人工檢測是目前皮革加工廠的主流檢測方式,這種用裸眼檢測的方法存在效率低、準(zhǔn)確率不穩(wěn)定等缺點[2]。此外,使用帶有缺陷的皮革,還會造成人力物力資源的浪費。因此,如何對皮革缺陷高效率精確的檢測與分類成為研究熱點問題。
自從數(shù)字圖像處理技術(shù)和人工智能在各個領(lǐng)域的成功應(yīng)用,其優(yōu)勢逐漸吸引了研究人員的關(guān)注。在此基礎(chǔ)上,提出了一系列基于圖像處理技術(shù)和機器學(xué)習(xí)的皮革缺陷檢測算法。王毅[3]針對皮革特點,采用并行區(qū)域的閾值分割技術(shù)對皮革圖像進行分割,但受光照等外界因素影響較大。Adamo F等[4]采用小波重構(gòu)算法對皮革進行缺陷檢測,有效的避免了相鄰像素之間的相互影響。Bai等[5]提出了一種基于顯著性和相位圖的工業(yè)圖像缺陷檢測算法,與傳統(tǒng)算法相比,其測試圖像與模板圖像之間的差異更小,且可以有效地適應(yīng)測試芯片或管芯中的微小變化,算法精度較高,但用于檢測工業(yè)皮革中的小缺陷時,準(zhǔn)確率較低。劉根[6]將顯著性檢測與自適應(yīng)閾值分割結(jié)合使用,在光度立體視覺平臺中采集皮革樣本,利用圖像譜殘差完成對皮革缺陷的檢測,該算法對不同缺陷具有較強的適應(yīng)性。Tang等[7]提出了一種基于分數(shù)達爾文粒子群優(yōu)化算法用于檢測皮革圖像中的缺陷,該算法采用分數(shù)演算來控制系統(tǒng)的收斂性,對閾值進行優(yōu)化計算,克服了傳統(tǒng)算法中收斂速度慢的缺點,但其受噪聲影響嚴(yán)重,導(dǎo)致準(zhǔn)確率低。
考慮到皮革圖像背景本身具有低秩性,皮革缺陷具有稀疏性,故引入魯棒性主成成分分析(RPCA)來檢測皮革缺陷。Wang等[8]提出了一種基于RPCA的目標(biāo)-背景分離算法用于目標(biāo)檢測,對噪聲干擾具有較強的抑制性,但算法耗時較長。針對RPCA本身的耗時長、準(zhǔn)確率較低的缺點,將Gaussian高通濾波器和RPCA結(jié)合使用,提出了一種基于Gaussian與RPCA的皮革缺陷檢測算法,使用非精確增廣拉格朗日乘子法(IALM)對RPCA模型進行求解,并通過實驗驗證了算法的可行性。
1 算法介紹
1.1 RPCA模型
魯棒性主成成分分析(RPCA)是低秩分解的代表算法,它可以將數(shù)據(jù)矩陣表示為低秩矩陣與稀疏噪聲矩陣之和,通過解決內(nèi)核范數(shù)優(yōu)化問題來恢復(fù)低秩矩陣[9]。低秩矩陣恢復(fù)的數(shù)學(xué)模型為:
2 實驗與分析
2.1 數(shù)據(jù)集介紹
為了驗證算法的有效性,選用的計算機配置為:處理器i7-8700,8G運行內(nèi)存,顯卡為GTX 1080,在Matlab2019b環(huán)境下運行。本文數(shù)據(jù)集是通過CCD攝像機獲取的200張帶有不同缺陷的皮革圖像,獲取圖像的分辨率大小為320*240。主要包括兩大類缺陷,分別為不同長短和形狀的刮痕以及大小不同的穿透的孔洞。實際的皮革樣本是由皮革生產(chǎn)廠提供的牛皮革,其尺寸大小為18cm*15cm,厚度為0.5cm,如圖4所示,為帶有兩大類缺陷的皮革部分樣本的正面與背面圖示。
2.2 對比實驗分析
通過對200張皮革圖像數(shù)據(jù)集進行了對比實驗,驗證了所提出算法的優(yōu)勢。通過與全局閾值分割算法[16]、顯著性檢測LC算法[17]以及傳統(tǒng)的RPCA算法進行對比,來驗證該算法的性能。如圖5所示,為四種算法檢測效果的對比圖,圖5(a)中只含有不同大小的穿透孔洞,可以看出低秩算法在檢測穿透孔洞和描述孔洞形狀方面,其效果明顯強于傳統(tǒng)的閾值分割和LC顯著性檢測算法。圖5(b)—(d)為含有兩種不同缺陷的皮革圖像,可以看出全局閾值分割對刮痕的檢測準(zhǔn)確率基本為零,LC顯著性檢測算法也無法完整的檢測出缺陷的位置和形狀。而RPCA算法對刮痕和孔洞檢測的準(zhǔn)確率雖然相對較高,但其受到背景無關(guān)信息干擾較大,檢測結(jié)果中含有相對較多的噪聲點。從圖5中對比實驗的結(jié)果來看,本文提出的基于Gaussian與RPCA的缺陷檢測算法相比于其它三種算法,不僅可以完整的描述出缺陷的形狀和位置,還有效的抑制了噪聲的干擾。
將實驗中算法對缺陷檢測的準(zhǔn)確率及虛警率作為評估算法性能的指標(biāo),其結(jié)果見表1所示。檢測準(zhǔn)確率表示成功檢測缺陷的樣本個數(shù)與總樣本個數(shù)的比值。虛警率則表示皮革圖像中原本沒有缺陷的位置虛報為缺陷的樣本個數(shù)與無缺陷樣本總個數(shù)的比值。根據(jù)準(zhǔn)確率和虛警率的對比評估,可以看出本文提出的算法在性能上要優(yōu)于其他三種算法,能更準(zhǔn)確的檢測出缺陷。
另外還統(tǒng)計了對圖5中的缺陷進行檢測時,四種算法的運行總時間,具體如表2所示。相比于顯著性檢測和RPCA,本文提出的算法效率相對較高。這也證明了Gaussian高通濾波器預(yù)處理可以減少RPCA中奇異值分解所消耗的時間,提高RPCA的運算效率。表中傳統(tǒng)的全局閾值分割算法耗時雖然短,但是其算法的準(zhǔn)確率遠不如其他三種算法。
為了更直觀的比較四種算法對皮革缺陷檢測的效果,本文對四種算法得到的掩模圖像進行像素級評估,即通過精準(zhǔn)率(P)、召回率(R)和綜合評價指標(biāo)(F)對四種算法檢測的缺陷掩模與真實缺陷的差異進行對比。其具體計算公式如下:
P=TPTP+FP (9)
R=TPTP+FN (10)
F=2×P×RP+R (11)
其中,精準(zhǔn)率為缺陷的正確檢測個數(shù)(TP)與檢測出的缺陷總數(shù)(TP+FP)的比值。召回率為缺陷的正確檢測個數(shù)(TP)與整個測試集中缺陷數(shù)量(TP+FN)的比值。綜合評價指標(biāo)是考慮了精準(zhǔn)率P與召回率R的結(jié)果,其值越高說明了算法越有效。如圖6所示為四種算法缺陷掩模評估對比,本文算法的精準(zhǔn)度、召回率及綜合評價指標(biāo)均高于其他三種算法,其中綜合評價指標(biāo)高于0.8,且召回率接近于1,這也表示算法檢測到的非真實缺陷的數(shù)量較少。以上比較表明,本文提出的皮革缺陷檢測算法對缺陷的分離效果較好,有助于對皮革缺陷進行弱標(biāo)記,并獲得缺陷標(biāo)簽數(shù)據(jù),以進一步優(yōu)化深度學(xué)習(xí)網(wǎng)絡(luò)模型。
綜上實驗分析可知,基于Gaussian與RPCA的缺陷檢測算法對于不同種類的皮革缺陷圖像具有較強的適應(yīng)性,并且算法綜合性能高于目前已有算法。
3 結(jié) 論
研究了基于RPCA的皮革圖像缺陷檢測問題。通過分析皮革圖像的低秩特征和稀疏的皮革缺陷,提出了一種用于皮革圖像的低秩稀疏分解算法和有助于去除稀疏圖像噪聲的后處理方法,可以高質(zhì)量且高效率的實現(xiàn)皮革圖像的缺陷檢測。使用含有不同大小的穿透孔洞和形狀大小不同刮痕的兩大類不同缺陷的數(shù)據(jù)集進行了實驗,驗證了算法的有效性。通過準(zhǔn)確率和算法運行時間對比,分析評估了算法的性能。實驗及分析結(jié)果表明,所提出的檢測算法雖在性能及掩模評估方面均高于其它三種算法,但是算法效率仍然有待于提高。
目前,深度學(xué)習(xí)在計算機視覺中的應(yīng)用已成為當(dāng)前研究的熱點。使用遷移學(xué)習(xí)的方法來解決無監(jiān)督網(wǎng)絡(luò)模型對數(shù)據(jù)量的依賴性是有效的。提供的算法可以自動分離定位皮革圖像上的缺陷,有利于缺陷的標(biāo)注和獲取大量的標(biāo)注數(shù)據(jù),對深度學(xué)習(xí)研究具有重要意義。
參考文獻
[1]范大煌,丁磊,鄧杰航.高清整皮表面缺陷自動檢測與定位[J].軟件導(dǎo)刊,2019(12):146-150.
[2]孫毅,張明,高延鑫.皮革表面缺陷檢測的研究現(xiàn)狀及展望[J].西部皮革,2015(20):28-31.
[3]王毅.皮革圖像分割及處理[D].西安:西北工業(yè)大學(xué),2004.
[4]ADAMO F, ATTIVISSIMO F, CAVONE G, et al. Artificial vision inspection applied to leather quality control[J]. 18th IMEKO World Congress, 2006(3):1970-1972.
[5]BAI X, FANG Y, LIN W, et al.Saliency-based defect detection in industrial images by using phase spectrum[J].IEEE Transactions on Industrial Informatics,2014, 10 (4) :2135-2145.
[6]劉根.基于光度立體視覺和圖像顯著性的皮革缺陷檢測[D].廣州:廣東工業(yè)大學(xué),2018.
[7]TANG Qing-ju,GAO Shuai-shuai,LIU Yong-jie,et al.Infrared image segmentation algorithmfor defect detectionbasedon FO-DPSO[J].Infrared Physics and Technology,2019,102.
[8]WANG C,QIN S, Adaptive detection methodof infrared small target based on target-back-ground separation via robust principal comp-onent analysis[J],Infrared Physics and Techn-ology,2015(69): 123-135.
[9]CANDES E J,LI Xiao-dong,MA Yi.Robust principal component analysis[J].Journal of the ACM,2011,58(3):1-37.
[10]CANDES E J,TAO T. The power of convex relaxation: near-optimal matrix completion[J]. IEEE Transactions on Information Theory, 2010,56(5):2053-2080.
[11]李軼鯤,胡玉璽,楊萍.基于頻率域信息的遙感圖像數(shù)據(jù)庫水體檢索[J].計算機科學(xué),2016(S1):118-121.
[12]ECKSTEIN J,BERTSEKAS D P.On the Do-uglas-Rachford splitting method and the pro-ximal point algorithm for maximal monotoneoperators[J].1992,55:293-318.
[13]LIN Z, ARVIND G, JOHN W,et al. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix[J]. Coordinated Science Laboratory Report no. UILU-ENG-09-2214, DC-246, 2009.
[14]LIN Z, CHEN M, MA Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices[J]. arXiv preprint arXiv:1009.5055, 2010.
[15]徐超,馮輔周,閔慶旭,等.基于形態(tài)學(xué)和OTSU算法的紅外圖像降噪及分割[J].紅外技術(shù),2017(6):512-516.
[16]毛慧華,王楓紅,陳熾坤,等.幾種常用CT圖像分割算法分析和探討[J].計算機與數(shù)字工程,2012(1):101-103.
[17]ALEKHA K D, ANGELI S. A simple LC method with UV detection for the analysisof creatine and creatinine and its application to several creatine formulations[J].Journal ofPharmaceutical and Biomedical Analysis,2002(29):939-945.
[18]SUR S R,SASHI K V,YATINDRA K.Reviewon recent development in infrared small tar-get detection algorithms[J].Procedia ComputerScience,2020(167):2496-2505.
[19]PARAG,K, et al, Leather quality estimationusing an automated machine vision system[J].IOSR Journal of Electronics and Commu-nication Engineering,2013:44-47.
[20]黎牧星,黃志鴻.基于極限學(xué)習(xí)機的玻璃瓶口缺陷檢測方法研究[J].計算技術(shù)與自動化,2016(4):117-120.