陳宗仁，謝文達(dá)，余 君，胡建華，蔣小波

（廣東科學(xué)技術(shù)職業(yè)學(xué)院 計(jì)算機(jī)工程技術(shù)學(xué)院（人工智能學(xué)院），珠海 519090）

0 引言

工業(yè)金屬機(jī)械零件表面質(zhì)量檢驗(yàn)一直以來(lái)都是工件生產(chǎn)過(guò)程中必不可少的一個(gè)環(huán)節(jié)[1]。在實(shí)際生產(chǎn)各種類型工件的過(guò)程中，主要是通過(guò)人工篩選的方式對(duì)工件表面的缺陷進(jìn)行檢測(cè)，但這種方式存在檢測(cè)結(jié)果不準(zhǔn)確以及檢測(cè)效率偏低等問(wèn)題。因此，為了保證工件產(chǎn)品表面質(zhì)量，需要全面提升檢測(cè)結(jié)果的準(zhǔn)確性和檢測(cè)速率。

近幾年，隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，深度學(xué)習(xí)在各個(gè)研究領(lǐng)域均取得了比較廣泛的應(yīng)用，其中最主要的就是工業(yè)檢測(cè)方面[2]。相關(guān)機(jī)械制造企業(yè)可以利用智能檢測(cè)技術(shù)代替人工檢測(cè)技術(shù)，在降低運(yùn)營(yíng)成本的過(guò)程中全面提升金屬機(jī)械零件的質(zhì)量。

朱勇建[3]等人通過(guò)光度立體原理對(duì)金屬表面進(jìn)行三維重構(gòu)，對(duì)重構(gòu)結(jié)果進(jìn)行曲面擬合操作，同時(shí)利用級(jí)數(shù)展開(kāi)法將其轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)，從而實(shí)現(xiàn)金屬表面缺陷檢測(cè)。韓寧[4]等人對(duì)渦流傳感探頭進(jìn)行有限元建模以及參數(shù)分析，根據(jù)金屬材料的耦合作用，設(shè)計(jì)了對(duì)應(yīng)的測(cè)試系統(tǒng)，利用測(cè)試中的探頭對(duì)金屬的表面缺陷進(jìn)行檢測(cè)。然而，由于上述方法未對(duì)零件圖像進(jìn)行去噪處理，導(dǎo)致其檢測(cè)結(jié)果理想度較低、檢測(cè)耗時(shí)增加。

針對(duì)上述問(wèn)題，本研究提出了一種基于深度學(xué)習(xí)的金屬機(jī)械零件表面缺陷檢測(cè)方法

1 檢測(cè)方法設(shè)計(jì)

1.1 金屬機(jī)械零件圖像去噪處理

在分析中值濾波器的相關(guān)概念的過(guò)程中，需要將信號(hào)設(shè)定為常數(shù)或者理想信號(hào)。由于在圖像采集的過(guò)程中，受環(huán)境影響會(huì)使得圖像中存在大量的噪聲。為了確保后續(xù)檢測(cè)結(jié)果的準(zhǔn)確性，優(yōu)先需要對(duì)圖像進(jìn)行去噪處理，確保圖像中有利用價(jià)值的信息不會(huì)被破壞。

根據(jù)先驗(yàn)知識(shí)可知，針對(duì)自然圖像而言，由于不同像素點(diǎn)之間的關(guān)聯(lián)性比較強(qiáng)，因此除了孤立點(diǎn)外，隨機(jī)一點(diǎn)和鄰近像素點(diǎn)兩者的灰度值十分近似。在一幅完整的金屬機(jī)械零件表面圖像中，如果隨機(jī)一個(gè)像素點(diǎn)的取值高于或者低于鄰域像素點(diǎn)取值，則說(shuō)明該像素點(diǎn)被噪聲污染；反之，如果兩者的取值十分近似，則說(shuō)明該像素點(diǎn)為有利用價(jià)值的信號(hào)點(diǎn)。

綜合上述分析，設(shè)定信號(hào)S和噪聲N的判別依據(jù)如式(1)所示：

式中，xij代表原始圖像；max（W[xij]）代表窗口內(nèi)W[xij]的最小取值；max（W[xij]）代表窗口內(nèi)W[xij]的最大取值。

假設(shè)[yij]代表輸出圖像，則中值算法可以表示為式(2)的形式：

自適應(yīng)中值濾波大致可以劃分為如下三個(gè)步驟：

1）對(duì)金屬機(jī)械零件圖像進(jìn)行噪聲檢測(cè)；

2）通過(guò)各個(gè)區(qū)域受到噪聲污染的情況確定濾波窗口的具體規(guī)格。

3）對(duì)檢測(cè)出的噪聲依次進(jìn)行濾波處理。

自適應(yīng)中值濾波算法是由多個(gè)不同的部分組成，根據(jù)噪聲的特征，可以優(yōu)先檢測(cè)圖像中的脈沖噪聲，計(jì)算目標(biāo)圖像灰度值，確保信息的完整性，最后有效刪除圖像中的噪聲[5]。

對(duì)以點(diǎn)xij為中心的噪聲窗口按照點(diǎn)進(jìn)行排序計(jì)算，獲取式(3)形式的向量Aij：

當(dāng)排序后的點(diǎn)xij位于向量Aij的兩端時(shí)，說(shuō)明點(diǎn)xij附近會(huì)存在一個(gè)噪聲點(diǎn)。在此過(guò)程中，會(huì)經(jīng)常存在一個(gè)值m，它能夠包含噪聲圖像中的全部噪聲點(diǎn)。

對(duì)于參數(shù)m而言，需要結(jié)合實(shí)際需求進(jìn)行設(shè)定。為了確保檢測(cè)到的全部噪聲點(diǎn)，m要使區(qū)間[0，m]中包含全部噪聲點(diǎn)為最小整數(shù)。當(dāng)實(shí)際采用參數(shù)的過(guò)程中，m的選取和噪聲存在密切關(guān)聯(lián)。

假設(shè)圖像滿足設(shè)定的約束條件，則說(shuō)明該點(diǎn)為一個(gè)噪聲點(diǎn)，需要將標(biāo)志圖像矩陣標(biāo)記為1；反之，則說(shuō)明該點(diǎn)為信號(hào)點(diǎn)，需要將矩陣標(biāo)記為0。經(jīng)過(guò)上述操作獲取噪聲分布的二進(jìn)制圖像fij，如式(4)所示：

在使用噪聲檢測(cè)條件檢測(cè)出圖像中的噪聲以及信號(hào)點(diǎn)后，需要對(duì)噪聲點(diǎn)進(jìn)行濾除。假設(shè)一個(gè)樣本為脈沖噪聲，需要通過(guò)觀測(cè)窗口內(nèi)其他點(diǎn)計(jì)算出來(lái)的值進(jìn)行替換。由于在濾波窗口內(nèi)可能會(huì)含有一個(gè)脈沖，需要通過(guò)非線性思想來(lái)重構(gòu)噪聲點(diǎn)灰度值。

在濾波的過(guò)程中，需要優(yōu)先設(shè)定濾波窗口為3×3，在噪聲標(biāo)志矩陣中，主要分為以下兩種情況進(jìn)行處理：

1）假設(shè)鄰域存在信號(hào)點(diǎn)，將xij作為中心濾波窗WD范圍內(nèi)，對(duì)中值進(jìn)行計(jì)算。以式(5)對(duì)中心點(diǎn)的灰度值進(jìn)行計(jì)算：

式中，n代表標(biāo)記為0的點(diǎn)的總數(shù)；f（i，j）代表標(biāo)記為0的點(diǎn)的灰度值；fmid1（i，j）和fmid2（i，j）代表排名位于中間的點(diǎn)的灰度值。

2）假設(shè)噪聲周圍不存在任何圖像點(diǎn)，不需要對(duì)圖像點(diǎn)進(jìn)行任何處理，同時(shí)直接將其賦予給輸出矩陣[yij]對(duì)應(yīng)的位置yij。

噪聲濾除的過(guò)程能夠描述為：

首先以3×3的窗口長(zhǎng)度進(jìn)行濾波處理，具體的計(jì)算式如下：

式中，zij代表中值濾波。

在上述分析的基礎(chǔ)上，采用中值濾波對(duì)金屬機(jī)械零件圖像進(jìn)行去噪處理，詳細(xì)的操作步驟如下所示：

1）讀入含有噪聲的圖像；

2）通過(guò)約束條件確定標(biāo)識(shí)矩陣；

3）設(shè)定矩陣窗口規(guī)格；

4）對(duì)金屬機(jī)械零件圖像中的任意一點(diǎn)像素點(diǎn)進(jìn)行觀察和分析；

5）對(duì)原始圖像進(jìn)行處理；

6）修改標(biāo)志；

7）判定標(biāo)識(shí)矩陣中的元素取值是否為零；

8）輸出經(jīng)過(guò)去噪處理的圖像。

1.2 基于深度學(xué)習(xí)檢測(cè)金屬機(jī)械零件表面缺陷

在金屬機(jī)械零件表面缺陷檢測(cè)過(guò)程中，需要引入級(jí)聯(lián)分類器，對(duì)全部連接層中的輸出特征進(jìn)行分類處理，使其能夠獲取更加準(zhǔn)確的分類結(jié)果。為了全面提取全連接層的特征，采用卷積神經(jīng)網(wǎng)絡(luò)的梯度直方圖和局部二值模式提取輸出特征，同時(shí)對(duì)多個(gè)不同級(jí)聯(lián)分類器依次進(jìn)行訓(xùn)練，將得到的分類結(jié)果進(jìn)行決策融合，根據(jù)決策融合結(jié)果實(shí)現(xiàn)零件表面缺陷檢測(cè)。

方向梯度直方圖在細(xì)微變形的特征下具有良好的不變特性，但是方向梯度直方圖描述局部特征的能力存在缺陷，同時(shí)對(duì)噪聲十分敏感。局部二值模式具有較好的局部表達(dá)能力，所以方向梯度直方圖和局部二值模式具有比較好的互補(bǔ)性。

當(dāng)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取原始金屬機(jī)械零件圖像的特征后，將提取到的特征進(jìn)行統(tǒng)計(jì)，同時(shí)將其放入到全連接層中。全面利用HOG和LBP的互補(bǔ)特征，進(jìn)一步提取HOG的輸出特征。采用以上方式提取到的特征值具有比較強(qiáng)的魯棒特性。

使用梯度直方圖提取特征的詳細(xì)操作步驟如下：

將圖像灰度由RGB分量轉(zhuǎn)換為灰度圖像，具體的計(jì)算式為：

式中，R、G和B分別代表不同顏色的通道。

由于金屬機(jī)械零件圖像的照明是十分不均勻的，需要借助瑪咖處理來(lái)提升或者降低圖像整體亮度，具體計(jì)算式如下：

式中，I（x，y）代表金屬機(jī)械零件圖像信息；CGamma代表校正值。

通過(guò)式(9)獲取金屬機(jī)械零件圖像的水平和垂直方向的梯度：

式中，gx和gy分別代表x和y方向的梯度值。

計(jì)算梯度大小和梯度方向，具體的計(jì)算式為：

式中，Δg（x，y）代表金屬機(jī)械零件圖像的梯度量級(jí)；θ代表圖像的漸變方向。

將各個(gè)方向的梯度直方圖按照梯度角度劃分到對(duì)應(yīng)的范圍內(nèi)，同時(shí)將單元中的各個(gè)像素以投票方式劃分到梯度直方圖中。

將單元合并為一個(gè)大塊單元，在塊內(nèi)對(duì)梯度直方圖進(jìn)行標(biāo)準(zhǔn)化處理，同時(shí)將特征描述符組合成一個(gè)全新的塊。

當(dāng)金屬機(jī)械加工圖像處于不同的光照環(huán)境下時(shí)，圖像的亮度也會(huì)發(fā)生不同的變化。為了獲取更加清晰的圖像，需要對(duì)圖像進(jìn)行二值化處理，具體如式(11)所示。

式中，LBP（xc，yc）代表金屬機(jī)械圖像的二值化處理結(jié)果；（xc，yc）代表圖像中心像素的坐標(biāo)；p代表鄰域內(nèi)的第p個(gè)像素；ip和ic代表金屬機(jī)械零件圖像中隨機(jī)一點(diǎn)的中心像素灰度值；S（x）代表符號(hào)函數(shù)。

HOG-LBP特征是卷積神經(jīng)網(wǎng)絡(luò)的全連接層特征的進(jìn)一步優(yōu)化。輸出經(jīng)過(guò)優(yōu)化處理后的特征，以此為依據(jù)構(gòu)建不同的級(jí)聯(lián)分類器。第一個(gè)級(jí)聯(lián)分類對(duì)卷積神經(jīng)網(wǎng)絡(luò)第三層的輸出特征進(jìn)行分類；第二級(jí)聯(lián)分類器對(duì)HOG-LBP特征進(jìn)行分類，將以上兩個(gè)分類器獲取的結(jié)果進(jìn)行擬合處理，經(jīng)過(guò)計(jì)算獲取目標(biāo)圖像的后驗(yàn)概率。

通過(guò)各個(gè)分類器的分類準(zhǔn)確率確定決策權(quán)重，同時(shí)借助多個(gè)取值不同的決策權(quán)重對(duì)分類器進(jìn)行決策級(jí)融合，根據(jù)融合設(shè)定新的分類規(guī)則，最終實(shí)現(xiàn)金屬機(jī)械零件表面缺陷檢測(cè)，具體的操作過(guò)程如圖1所示。

圖1 基于深度學(xué)習(xí)的金屬機(jī)械零件表面缺陷檢測(cè)過(guò)程

不同分類器的決策權(quán)重是通過(guò)對(duì)應(yīng)分類的高精度分類結(jié)果形成歸一化方法，獲取的決策權(quán)重主要被應(yīng)用于決策級(jí)融合。其中，決策權(quán)重wr的具體計(jì)算公式為：

式中，Ar代表第r個(gè)分類器的權(quán)重取值；n代表分類器的總數(shù)。

在上述分析的基礎(chǔ)上，通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)金屬機(jī)械零件表面缺陷檢測(cè)。

2 仿真實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證基于深度學(xué)習(xí)的金屬機(jī)械零件表面缺陷檢測(cè)方法的有效性和可行性，設(shè)計(jì)如下實(shí)驗(yàn)。為形成實(shí)驗(yàn)對(duì)比，將文獻(xiàn)[3]中的基于光度立體和級(jí)數(shù)展開(kāi)法的表面缺陷檢測(cè)方法、文獻(xiàn)[4]中的基于渦流傳感的表面缺陷檢測(cè)方法作為對(duì)比，與本文方法共同完成性能驗(yàn)證。

實(shí)驗(yàn)選取2種不同類型的產(chǎn)品進(jìn)行表面缺陷檢測(cè)，具體實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 不同方法的金屬機(jī)械零件表面缺陷檢測(cè)結(jié)果對(duì)比

分析圖2中的實(shí)驗(yàn)數(shù)據(jù)可知，本文方法能夠準(zhǔn)確檢測(cè)金屬機(jī)械零件表面的缺陷，而2種傳統(tǒng)方法只能夠檢測(cè)到局部缺陷。由于本文方法引入中值濾波方法對(duì)采集到的金屬機(jī)械零件圖像中的噪聲進(jìn)行刪除，使其能夠獲取更加理想的檢測(cè)效果。

為了對(duì)檢測(cè)結(jié)果進(jìn)行有效性驗(yàn)證以及量化分析，需要引入基于像素統(tǒng)計(jì)的誤檢率ME，具體計(jì)算式如下：

式中，B0和BT代表原始目標(biāo)圖像的區(qū)域像素和背景像素；F0和FT代表經(jīng)過(guò)處理后的目標(biāo)區(qū)域和背景區(qū)域，取值越低，說(shuō)明檢測(cè)效果越好。

對(duì)圖2中的檢測(cè)結(jié)果進(jìn)行數(shù)據(jù)分析，具體實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同方法的誤檢率測(cè)試結(jié)果對(duì)比

由表1能夠看出，文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的F0和FT取值均高于本文方法，說(shuō)明兩種方法的檢測(cè)性能還有進(jìn)一步提升的空間，而本文方法的誤檢率明顯更低一些，說(shuō)明本文方法能夠?qū)饘贆C(jī)械零件表面缺陷實(shí)施精準(zhǔn)、全面地檢測(cè)。

在上述實(shí)驗(yàn)分析的基礎(chǔ)上，利用圖3分析三種不同檢測(cè)方法的耗時(shí)情況。

由圖3可知，本文方法的檢測(cè)效率明顯優(yōu)于另外兩種方法，說(shuō)明本文方法能夠以更快的速度完成缺陷檢測(cè)，這一結(jié)果進(jìn)一步驗(yàn)證了本文方法的優(yōu)越性。

圖3 不同方法的耗時(shí)結(jié)果對(duì)比分析

3 結(jié)語(yǔ)

針對(duì)傳統(tǒng)表面缺陷檢測(cè)方法存在的一系列問(wèn)題，本研究借助深度學(xué)習(xí)提出一種全新的缺陷檢測(cè)方法，以期提高金屬機(jī)械零件表面質(zhì)量。經(jīng)實(shí)驗(yàn)測(cè)試證明，本文方法能夠獲取精準(zhǔn)的檢測(cè)結(jié)果，同時(shí)還能夠有效降低檢測(cè)耗時(shí)。

本文方法雖然對(duì)金屬機(jī)械零件表面缺陷檢測(cè)方面的內(nèi)容進(jìn)行了大量的研究和探索，但是仍然存在不足，后續(xù)將針對(duì)以下幾方面的內(nèi)容進(jìn)行研究：

1）當(dāng)檢測(cè)到更加細(xì)微的缺陷時(shí)，需要不斷對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，確保檢測(cè)精度得到大幅度提升。

2）進(jìn)一步擴(kuò)大缺陷檢測(cè)范圍，同時(shí)加入更加廣泛的技術(shù)，全面提升金屬機(jī)械零件的質(zhì)量。