汪承研， 石偉萍， 李玉玲， 張 勇

（1.廣東機(jī)電職業(yè)技術(shù)學(xué)院， 廣東 廣州 510515； 2.東北財(cái)經(jīng)大學(xué)， 遼寧 大連 116025；3.深圳威斯特姆智能技術(shù)有限公司， 廣東 深圳 518000）

0 引言

機(jī)器視覺在識別、尺寸測量、缺陷檢測、定位引導(dǎo)等方面的應(yīng)用已經(jīng)較為普遍，尤其在缺陷檢測場景，比如零件的缺料、裂紋、多料等缺陷，在精度要求不高的情況下，機(jī)器視覺可以完全替代人眼， 并且檢測準(zhǔn)確度可以得到非常好的重復(fù)性。 但是，有些缺陷的檢測精度要求很高，而且呈現(xiàn)出多樣性和不可預(yù)測性， 傳統(tǒng)的機(jī)器視覺算法已經(jīng)無法滿足應(yīng)用需求， 隨著人工智能的深度學(xué)習(xí)算法發(fā)展，將其和機(jī)器視覺的缺陷檢測應(yīng)用結(jié)合起來，是提供外觀缺陷檢測精度的重要方法之一。

1 國內(nèi)外研究現(xiàn)狀、存在的問題及發(fā)展趨勢分析

1.1 國內(nèi)外研究現(xiàn)狀

在運(yùn)用機(jī)器視覺進(jìn)行結(jié)構(gòu)件特征和缺陷高精度檢測研究方面，國內(nèi)科研機(jī)構(gòu)近些年開展了相應(yīng)的研究。 五邑大學(xué)科研工作者開發(fā)了一種基于機(jī)器視覺的盤紙輪廓直徑和寬度大小的檢測模型， 該檢測模型是以霍夫圓檢測和canny 邊緣檢測算法作為設(shè)計(jì)基礎(chǔ)， 通過提取盤紙輪廓來實(shí)現(xiàn)圓心坐標(biāo)、直徑和寬度大小的檢測。 運(yùn)用圖形進(jìn)行細(xì)化后所提取的輪廓骨架， 確定邊緣像素的特征點(diǎn)位置， 運(yùn)用最小二次函數(shù)乘法將特征點(diǎn)位置的坐標(biāo)進(jìn)行擬合，標(biāo)定其極限值偏差，判定產(chǎn)品的合格性，其寬度檢測誤差在0.8mm 左右[1]。西南交通大學(xué)的科研工作者研究了基于機(jī)器視覺的航空鉚釘尺寸檢測技術(shù)，使用OpenCV 作為開發(fā)平臺， 采用閾值分割算法與分水嶺算法進(jìn)行圖像分割；同時(shí)，通過平滑處理、形態(tài)學(xué)、輪廓提取算法完成圖像處理，實(shí)測結(jié)果表明，其測量精度可以達(dá)到0.01mm[2]。

1.2 當(dāng)前存在的問題

機(jī)器視覺的應(yīng)用雖然蓬勃發(fā)展， 但是在機(jī)器視覺應(yīng)用本身的智能化程度并不高， 根據(jù)對機(jī)器視覺在缺陷檢測方面的需求調(diào)研，主要問題表現(xiàn)在兩個(gè)方面：

（1）測量精度問題。 受被測零件外表面不同的反光效果，光源和鏡頭，以及被測零件的定位精度等影響，缺陷檢測精度和準(zhǔn)確度還有較大的提升空間， 主要是一些處于臨界識別狀態(tài)的缺陷難被識別出來， 有一些缺陷有較大比例的誤判。

（2）調(diào)測參數(shù)繁多。 檢測前需要設(shè)定較多的前置參數(shù)，包括特征形狀，顏色，光源，大概尺寸，相對定位等，人工進(jìn)行參數(shù)調(diào)試時(shí)有可能因?yàn)榻?jīng)驗(yàn)不足導(dǎo)致設(shè)置不合理，直接影響檢測的精度，調(diào)測成本較高。

1.3 發(fā)展趨勢

技術(shù)上， 機(jī)器視覺本身屬于人工智能和模式識別一個(gè)子學(xué)科，機(jī)器視覺的處理對象就是視頻和圖片數(shù)據(jù)，隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)將與機(jī)器視覺緊密結(jié)合起來，一方面在海量數(shù)據(jù)中挖掘新的價(jià)值，另一方面將有助于解決機(jī)器視覺應(yīng)用中需要人工干預(yù)過多的問題。隨著設(shè)備分辨率的提升和軟件算法的改善，融合人工智能技術(shù)的機(jī)器視覺的處理速度和精度都會得到同步提升。

2 機(jī)器視覺缺陷檢測的定義

機(jī)器視覺進(jìn)行特征和缺陷檢測時(shí)， 其過程將需要轉(zhuǎn)換為數(shù)學(xué)表達(dá)。機(jī)器視覺需要三個(gè)過程任務(wù)，依次是分類任務(wù)，檢測任務(wù)，分割任務(wù)，見圖1。 機(jī)器視覺的分類任務(wù)要解決特征和缺陷是什么，通過提取特征信息，該任務(wù)要判斷目標(biāo)特征的具體信息， 比如目標(biāo)是劃痕或是異物等等； 機(jī)器視覺的檢測任務(wù)要解決特征和缺陷在何處，即需要標(biāo)記缺陷和特征所處的具體位置； 機(jī)器視覺的分割任務(wù)要解決缺陷是多少的問題，即缺陷的長度、面積、程度等一系列信息，這些信息能輔助進(jìn)行產(chǎn)品質(zhì)量等級評估， 從而可以對產(chǎn)品質(zhì)量等級進(jìn)行劃分。

圖1 機(jī)器視覺缺陷檢測的計(jì)算機(jī)任務(wù)

3 基于深度學(xué)習(xí)的外觀缺陷檢測

依據(jù)數(shù)據(jù)標(biāo)簽的不同， 基于深度學(xué)習(xí)的外觀缺陷檢測整體分為全監(jiān)督學(xué)習(xí)模型、 無監(jiān)督學(xué)習(xí)模型和其他方法，見圖2。 第一種全監(jiān)督學(xué)習(xí)模型中，將大量標(biāo)記有標(biāo)簽的缺陷圖像輸入系統(tǒng)進(jìn)行網(wǎng)絡(luò)訓(xùn)練， 比如將有劃痕的區(qū)域或圖像標(biāo)記為“劃痕”，系統(tǒng)訓(xùn)練后獲得各種規(guī)格和不同背景下的劃痕，并導(dǎo)入模版，在檢測階段，當(dāng)系統(tǒng)檢測到劃痕特征時(shí)，將判斷為“劃痕”缺陷。 相反，第二種弱監(jiān)督學(xué)習(xí)模型，將無缺陷的樣本導(dǎo)入進(jìn)行網(wǎng)絡(luò)訓(xùn)練，生成系統(tǒng)的“良品”模版，在檢測階段，當(dāng)系統(tǒng)檢測到正常樣本中未出現(xiàn)過的缺陷時(shí)，將判斷該對象為不合格品。 其他方法主要思想是將兩者結(jié)合起來，發(fā)揮各自模型的優(yōu)勢，形成半監(jiān)督學(xué)習(xí)模型和弱監(jiān)督學(xué)習(xí)模型。 目前多數(shù)研究主要集中在全監(jiān)督學(xué)習(xí)模型方向，主要該模型目前可信度略高，本文的研究也基于全監(jiān)督學(xué)習(xí)模型。

圖2 基于深度學(xué)習(xí)缺陷檢測模型

4 基于深度學(xué)習(xí)的外觀缺陷檢測系統(tǒng)設(shè)計(jì)

4.1 系統(tǒng)需求分析

以某結(jié)構(gòu)件產(chǎn)品的外觀檢測為例，見圖3，良品結(jié)構(gòu)上要求無變形、凹陷、機(jī)械損傷；色澤上要求表面光潔，無密集的異色點(diǎn)；產(chǎn)品品牌絲印正確等。 總結(jié)其缺陷特點(diǎn)：缺陷種類比較多，缺陷位置不確定，缺陷程度波動(dòng)幅度比較大，有些與良品的邊界較為模糊。人工方式會帶來較高的誤判率， 傳統(tǒng)的機(jī)器視覺檢測方法雖然可以一定程度降低誤判率，但改進(jìn)有限。 針對該類缺陷檢測需求，經(jīng)過驗(yàn)證，基于深度學(xué)習(xí)的機(jī)器視覺檢測方法是有效的。

圖3 某結(jié)構(gòu)件產(chǎn)品的凹陷和劃痕缺陷CCD 圖像分析

4.2 基于深度學(xué)習(xí)的外觀缺陷檢測平臺系統(tǒng)框架

基于深度學(xué)習(xí)的外觀缺陷檢測平臺系統(tǒng)框架由圖像采集子系統(tǒng)，機(jī)械運(yùn)動(dòng)子系統(tǒng)和主機(jī)組成，見圖4。 其中圖像采集子系統(tǒng)負(fù)責(zé)對產(chǎn)品拍照采集圖像； 主機(jī)包含圖像的預(yù)處理，缺陷分類，缺陷檢測，缺陷定級，結(jié)果呈現(xiàn)等模塊組成， 圖像進(jìn)入主機(jī)后首先需要進(jìn)行圖像的預(yù)處理， 然后依次進(jìn)行缺陷分類， 檢測缺陷的位置， 給缺陷分級， 最后根據(jù)檢測結(jié)果控制機(jī)械運(yùn)動(dòng)子系統(tǒng)； 在主機(jī)中還有一個(gè)重要的深度學(xué)習(xí)模塊，其提供缺陷網(wǎng)絡(luò)訓(xùn)練功能，并為目標(biāo)圖像分類，檢測，分割做決策支持。

圖4 基于深度學(xué)習(xí)的外觀缺陷檢測系統(tǒng)框架

4.3 基于深度學(xué)習(xí)的外觀缺陷檢測系統(tǒng)業(yè)務(wù)流程

基于深度學(xué)習(xí)的外觀缺陷檢測平臺的處理流程由缺陷的分類，缺陷的定位，以及缺陷的定級三大步驟組成，深度學(xué)習(xí)嵌入其中解決特征提取和識別，如圖5 所示。

被檢測件的圖像采集后，首先需要進(jìn)行預(yù)處理， 預(yù)處理是運(yùn)用視覺算法對圖像進(jìn)行降噪和提質(zhì)； 檢測的第一大步驟是使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和分類， 在訓(xùn)練過程中， 缺陷特征將不斷被加入模版庫， 在檢測過程中，被提取的特征與模版進(jìn)行匹配，從而判斷缺陷有無，如果沒有缺陷， 當(dāng)前檢測流程結(jié)束； 當(dāng)判斷為缺陷存在時(shí)，對當(dāng)前缺陷進(jìn)行分類；第二大步驟是確定缺陷所在的位置；第三大步驟是缺陷分級，本步驟中需要提取特征的顯著度值，并進(jìn)行標(biāo)記，在訓(xùn)練過程中，特征顯著度值被不斷標(biāo)記和等級劃分，在檢測過程中，系統(tǒng)根據(jù)被檢測件的特征顯著度值進(jìn)行等級劃分。

圖5 基于深度學(xué)習(xí)的外觀缺陷檢測系統(tǒng)業(yè)務(wù)流程

系統(tǒng)通過持續(xù)的訓(xùn)練后，隨著樣本數(shù)據(jù)的不斷增加，其檢測的精度變得更高，誤判率也急劇降低。在某產(chǎn)品的霧化器檢測應(yīng)用中，經(jīng)過訓(xùn)練后，缺陷檢測的誤判率短時(shí)間內(nèi)從最初的80%下降到了2%以內(nèi)。

5 結(jié)束語

外觀缺陷檢測是一個(gè)非常廣泛的領(lǐng)域， 傳統(tǒng)的機(jī)器視覺檢測缺陷步驟繁瑣，模式固定，調(diào)測復(fù)雜，已經(jīng)較難應(yīng)對當(dāng)前缺陷種類繁多，波動(dòng)范圍大，客戶自動(dòng)化要求高等需求?；谏疃葘W(xué)習(xí)的外觀缺陷檢測， 經(jīng)過驗(yàn)證可以比較好應(yīng)對當(dāng)前的挑戰(zhàn)，對于一些過往無法用機(jī)器進(jìn)行檢測的模糊缺陷，引入深度學(xué)習(xí)后，通過一定的訓(xùn)練，基于深度學(xué)習(xí)的外觀缺陷檢測系統(tǒng)在多數(shù)場景下是完全可以替代人工的。