， ，，

(中北大學(xué) 信息與通信工程學(xué)院，太原 030051)

0 引言

隨著國家的發(fā)展，工業(yè)及民眾對玻璃的需求日趨增加，對高質(zhì)量玻璃的需求也越來越大，而玻璃的外觀質(zhì)量是影響其產(chǎn)品性能的一個重要因素。衡量玻璃外觀質(zhì)量的好壞主要通過檢測表面是否存在缺陷。由于玻璃生產(chǎn)工程中工藝制度的破壞或操作過程的差錯，使玻璃往往帶有不同類型和大小的缺陷。例如夾雜、氣泡、錫皮，麻點，線條和劃痕等，不僅影響制品的外觀質(zhì)量,還影響玻璃制品的透明性和光學(xué)均一性，降低了制品的機械強度和熱穩(wěn)定性[1]。因此，在生產(chǎn)過程中對玻璃缺陷進行識別，對于提高產(chǎn)品質(zhì)量等級，指導(dǎo)工藝改進具有重要意義。

傳統(tǒng)上玻璃缺陷的識別主要靠人工肉眼觀察和業(yè)內(nèi)專家的經(jīng)驗來識別缺陷，導(dǎo)致了人工的工作強度大、工作周期長，工作效率低，而且長時間疲勞工作會造成錯誤率提高。目前玻璃缺陷識別方法主要通過BP算法、小波變換、灰度共生矩陣、SVM等。文獻[2]中利用BFGS算法的三層前饋神經(jīng)網(wǎng)絡(luò)(BP)作為分類器，采用不變矩和灰度共生矩陣描述圖像的形狀和紋理，并綜合提取出可分類的特征向量，有效的實現(xiàn)了玻璃缺陷分類。文獻[3]中利用多分辨率和信息融合分析的方法對玻璃缺陷進行識別，并采用二維離散小波變換，將具有有效區(qū)域的相減缺陷圖像分解為近似子圖像和詳細子圖像。利用灰度共生矩陣對玻璃缺陷進行紋理特征提取，將氣泡、污點等缺陷進行分類[4]。利用統(tǒng)計方法的局部方差旋轉(zhuǎn)不變測量算子(RIMLV)檢測出缺陷邊緣，并采用統(tǒng)計模式識別理論中的多策略支持向量機(SVM)作為分類器對缺陷類型進行識別[5]。

然而上述特征提取方法均根據(jù)簡單的幾何特征提取，脫離了玻璃缺陷本身的特點：玻璃缺陷沒有固定的形狀特征,沒有固定的大小,沒有明顯的灰度差別,也沒有大量的細節(jié)特征[6]。因此特征提取同種缺陷時的特征差異較大，無法實現(xiàn)對玻璃表面質(zhì)量的客觀、高精度、高效率的識別。近年來計算機技術(shù)、電子技術(shù)的快速發(fā)展，基于機器學(xué)習(xí)自動化識別技術(shù)也得到了飛速的發(fā)展，為玻璃表面質(zhì)量檢測提供了切實可靠的方案。

目前，通過結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進多層感知器中的卷積神經(jīng)網(wǎng)絡(luò)在人臉識別[7]、車牌識別[8-9]等方面取得了極大地成功。卷積神經(jīng)網(wǎng)絡(luò)模擬具有層次結(jié)構(gòu)的生物視覺感知系統(tǒng)，圖像無須復(fù)雜預(yù)處理即可直接輸入網(wǎng)絡(luò)學(xué)習(xí)到描述缺陷目標的特征，直接輸入網(wǎng)絡(luò)學(xué)習(xí)到描述缺陷目標的特征，即使對光照、幾何畸變等因素干像仍具有很好識別效果[9]，這避免了傳統(tǒng)玻璃缺陷識別方法中需要復(fù)雜圖像預(yù)處理和繁瑣的人工提取過程。

因此本文提出了一種集成學(xué)習(xí)方法。將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)和KSVD字典相結(jié)合的方式進行識別操作。首先采用圖像處理方法中的分段線性變換方法來降低圖像原有的噪聲，實現(xiàn)圖像預(yù)處理工作。然后引入KL距離和L1范數(shù)稀疏化自編碼器(Sparse Autoencoder, SAE),再利用SAE預(yù)訓(xùn)練權(quán)值并給予卷積神經(jīng)網(wǎng)絡(luò)充當(dāng)卷積核進行訓(xùn)練，最后通過改進KSVD字典進行分類。

1 引入稀疏性的自編碼器

稀疏自編碼是指隱層特征具有稀疏響應(yīng)特性。其預(yù)訓(xùn)練：首先提取輸入圖片的小塊信息經(jīng)過輸入層到達隱藏層則是對輸入數(shù)據(jù)進行編碼，然后經(jīng)過隱藏層到達輸出層則是對輸入數(shù)據(jù)進行解碼重構(gòu)出小塊圖片的過程。通常，在隱藏層神經(jīng)元中引入稀疏性，這樣可以帶來很多優(yōu)勢：一是編碼方案存儲能力大，具有聯(lián)想記憶能力，并且計算簡便；二是使自然信號的結(jié)構(gòu)更加清晰；三是編碼方案既符合生物進化普遍的能量最小經(jīng)濟策略，又滿足電生理實驗的結(jié)論。

本文根據(jù)不同的情況引入兩種稀疏性，分別應(yīng)用在SAE的不同過程中，一種是不考慮隱層特征的維數(shù)與輸入維數(shù)之間的關(guān)系，利用KL距離引入稀疏性約束，二是在隱層特征的維數(shù)大于輸入的維數(shù)時，利用范數(shù)L1正則項引入稀疏性。

第一，利用KL距離引入稀疏性約束[10]：對于數(shù)據(jù)集有隱層特征的輸出：

(1)

利用如下公式計算隱層輸出每個節(jié)點的平均值：

(2)

讓隱層每個節(jié)點的平均輸出值盡量為0，大部分的隱層節(jié)點處于靜默狀態(tài)，為了量化隱層這種特性，通常假設(shè)隱層每個節(jié)點以一定的概率進行響應(yīng)，且節(jié)點之間相互獨立。設(shè)每個隱層節(jié)點響應(yīng)或發(fā)生的期望概率為ρ=0.05。利用KL距離構(gòu)造的稀疏正則項[11]為:

(3)

(4)

第二，利用范數(shù)L1正則引入稀疏性，對于隱層節(jié)點的輸出構(gòu)造的范數(shù)約束項為:

(5)

得到的稀疏自編碼網(wǎng)絡(luò)的優(yōu)化目標函數(shù)為:

(6)

2 改進KSVD算法

傳統(tǒng)的字典學(xué)習(xí)方法是應(yīng)用一種無監(jiān)督的學(xué)習(xí)方法，如K-均值[11]對從圖像中采樣得到的訓(xùn)練樣本進行聚類。然而K-均值算法訓(xùn)練得到的詞典不具有確定性和合理性。為改進K-均值算法而提出了KSVD算法。KSVD算法[12]是一個學(xué)習(xí)字典的優(yōu)化算法，當(dāng)算法中僅由一個聚類中心表示樣本點時即為K-均值算法。它主要通過SVD奇異值分解方法優(yōu)化每個字典原子從而減少誤差獲得最優(yōu)值并通過基于當(dāng)前字典的稀疏編碼輸入數(shù)據(jù)之間迭代交替，更新字典中的原子以更好的擬合數(shù)據(jù)來工作。

其優(yōu)化學(xué)習(xí)的目標函數(shù)為：

(7)

其中:Y是為算法輸入的無標記樣本，D為待訓(xùn)練的過完備稀疏冗余字典，X為應(yīng)用字典D對樣本Y進行表示的稀疏系數(shù)。稀疏約束為L0范數(shù)。公式(7)的求解是個NP難問題，可以使用Stephane提出的貪婪算法如正交匹配追蹤(orthogonal matching pursuit, OMP)，匹配追蹤(matching pursuit, MP)，弱匹配追蹤(weakly matching pursuit, WMP)和閾值算法(threshold algorithm, TA)。還有S.S Chen提出的松弛因子算法如基匹配算法(basis pursuit, BP)等求解。

在字典更新時，第一步得到的系數(shù)矩陣表示的數(shù)據(jù)往往和原數(shù)據(jù)有誤差，為了使整體誤差越來越小，采取逐列更新的方式并且更新后的字典滿足稀疏約束條件。更新規(guī)則為優(yōu)化目標函數(shù)：

(8)

每次迭代對進行奇異值(SVD)分解并更新Dk，使得目標函數(shù)值最小，其中Ek去掉字典Dk的重構(gòu)誤差，T為進行稀疏表示得到稀疏X中非零元素的個數(shù)的最大值。通過閾值T的設(shè)置來達到稀疏表示目的。

雖然KSVD方法在真實圖像中很有效，而且也考慮了重建誤差和系數(shù)的稀疏性，但是學(xué)習(xí)的字典沒有針對分類任務(wù)進行優(yōu)化。所以本文提出以下內(nèi)容進行優(yōu)化。

2.1 更改稀疏約束

凸松弛算法是常用的一種稀疏約束方法，利用L1范數(shù)代替L0，但L1范數(shù)是基數(shù)層面上的稀疏，編碼具有較少的信息?；诖巳秉c，本文引入比較流行的L1-L2范數(shù)，定義為：

(9)

L1-L2范數(shù)是群集水平上的稀疏。其目標函數(shù)改成：

(10)

其中:γ是平衡誤差和稀疏度的參數(shù)。

2.2 增加判別能力

KSVD方法在真實圖像中很有效，而且也考慮了重建誤差和系數(shù)的稀疏性，但是學(xué)習(xí)的字典沒有針對分類任務(wù)進行優(yōu)化。所以在此基礎(chǔ)上增加判別準則。此處的判別準則包括Softmax判別代價函數(shù)、費舍爾判別準則、線性預(yù)測分類誤差、Logistic代價函數(shù)等。其核心模型為：

(11)

其中:D為稀疏表示字典，W為判別能力字典，第二項為分類誤差。通過交替迭代求解優(yōu)化問題，得到的解為[D,W]。然后在測試階段，對于測試信號XTest，利用判別能力字典，得到l=W×XTest，通過判斷進而分類。

3 實驗研究

3.1 數(shù)據(jù)集

玻璃缺陷是影響玻璃質(zhì)量的首要因素。常見的玻璃缺陷主要有氣泡、光畸變、劃傷、夾雜、疥瘤等。本文數(shù)據(jù)是通過在實際生產(chǎn)線中使用CCD相機采集得到的圖片。其中我們選取夾雜、氣泡、劃痕、污點、癤瘤、斷板作為我們研究缺陷類型的初始樣本。由于采集的數(shù)據(jù)量不大，數(shù)據(jù)集中的正負樣本分布極不均勻等特點往往會出現(xiàn)過擬合現(xiàn)象，為了防止過擬合，可以利用正則化方法[13]或者數(shù)據(jù)集擴增的方法[14]。因為我們的數(shù)據(jù)樣本比較小所以在此采用數(shù)據(jù)集擴增的方法，既可以消除過擬合現(xiàn)象也可以提高識別準確率。

由于劃痕缺陷、夾雜缺陷、疥瘤缺陷、氣泡缺陷和污點缺陷這些缺陷特征圖受到系統(tǒng)噪聲的影響較大，為了降低系統(tǒng)噪聲，增大缺陷與背景灰度的差異，可以使用中值濾波和灰度變換方法。但某些小型缺陷和邊沿缺陷在濾除噪聲時會對其造成一定地損傷，因此我們采用分段線性變換方法。處理前后圖片分別為圖1和圖2。

圖1 部分未處理玻璃缺陷樣本

圖2 部分處理后玻璃缺陷樣本

3.2 實驗過程

實驗數(shù)據(jù)是在實際生產(chǎn)線中使用CCD像機采集的數(shù)據(jù)圖片。經(jīng)過后期操作總共可以使用的圖片為1800張，包含6種缺陷，每種缺陷各300張。其中每類抽取200張共計1200張作為訓(xùn)練圖片，600張作為測試圖片。圖片統(tǒng)一預(yù)處理為28*28的灰度圖片。針對小數(shù)據(jù)集的研究首先采用深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，提取特征，其中relu作為激活函數(shù)。參數(shù)設(shè)置如圖3所示。

圖3 深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)

訓(xùn)練集作為輸入圖片經(jīng)過圖4后分別提取S2層特征圖h1和S4層特征圖h2。然后分別作為SAE的輸入圖片。下面是對圖4 SK_CNN處理過程：

1)從訓(xùn)練樣本中隨機選取局部圖像塊進行Zero-phase Component Analysis (ZCA)白化處理[15]。

2)將處理后的圖片經(jīng)過稀疏自編碼(此過程用KL引入稀疏項)預(yù)訓(xùn)練得到權(quán)值W1。

3)特征圖h1進行ZCA白化處理。

4)將處理后的圖片經(jīng)過稀疏自編碼(此過程用L1范數(shù)引入稀疏項)預(yù)訓(xùn)練得到權(quán)值W2。

5)特征圖h2進行ZCA白化處理。

6)將處理后的圖片經(jīng)過稀疏自編碼(此過程用L1范數(shù)引入稀疏項)預(yù)訓(xùn)練得到權(quán)值W3。

7)W1,W2,W3在經(jīng)過CNN的監(jiān)督性訓(xùn)練就得到最優(yōu)的權(quán)值。

8)把測試集輸入CNN后經(jīng)過KSVD分類器，進行識別。

圖4 SK_CNN模型

如圖5所示分別對應(yīng)步驟2)、4)、6)所得到的權(quán)值圖像。此權(quán)值圖像是使用SAE無監(jiān)督訓(xùn)練CNNs濾波器權(quán)值W而得到的。設(shè)定CNNs第一層權(quán)值為12*7*7，即12個7*7大小的濾波器，則先在白化后的圖片切30000個7*7patches，將這些patches作為SAE的輸入，通過訓(xùn)練得到權(quán)值W為49*12，如圖5(a)所示，輸入層個數(shù)為49，隱藏層個數(shù)為12，輸入層維數(shù)大于隱藏層維數(shù)則引入KL稀疏約束，進行稀疏化；第二層權(quán)值為24*4*4，即24個4*4大小的濾波器。將上述提取的特征圖h1作為SAE的輸入，隱藏層個數(shù)為24，通過訓(xùn)練得到的權(quán)值W為24*16，如圖5(b)所示，輸入層維數(shù)小于隱藏層維數(shù)則引入L1范數(shù)進行稀疏化；第三層權(quán)值為48*3*3，即48個3*3大小的濾波器，將上述提取的特征圖h2作為SAE的輸入，隱藏層個數(shù)設(shè)為48，通過訓(xùn)練得到權(quán)值W為48*9，如圖5(c)所示，輸入層維數(shù)小于隱藏層維數(shù)則引入L1范數(shù)進行稀疏化。

圖5 步驟2)、4)、6)所得到的權(quán)值圖像

3.3 實驗結(jié)果

3.3.1 玻璃數(shù)據(jù)庫

我們在自己創(chuàng)建的數(shù)據(jù)庫上評估提出的玻璃缺陷識別方法，并將其性能與最近提出的幾種算法進行比較，包括softmax，SVM，kmeans和KSVD。在實驗中所有算法使用的參數(shù)全部相同，學(xué)習(xí)詞典大小是全連接層輸出的大小，稀疏度先設(shè)為T=6。識別結(jié)果表明本文算法在缺陷的識別中除了疥瘤缺陷外的每一類識別率均在90%以上，這可能由于疥瘤樣本數(shù)據(jù)量較少，沒有大范圍的涵蓋所有缺陷類型所致。但相比其他方法也具有明顯的提高。識別結(jié)果如表1所示。

表1 識別缺陷的個數(shù)

表2的實驗結(jié)果是在表1的基礎(chǔ)上完成的并增加了Kappa系數(shù)來說明。實驗參數(shù)不變。從表中可以觀察到，本文算法是在改進的KSVD上增加了稀疏自編碼器相比于單純的KSVD提高了識別時間和準確率。所有準確率和識別時間均是在訓(xùn)練了10次后取的平均值。

表2 分類算法對比結(jié)果

表3 不同方法對比

3.3.2 AR數(shù)據(jù)庫

AR數(shù)據(jù)庫對應(yīng)126個人(70名男性，56名女性)的4,000多張彩色圖片整合成的數(shù)據(jù)集。圖像具有不同的面部表情，每個人有26個人臉圖像。我們使用50名男性和50名女性的2,600張圖片作為新的數(shù)據(jù)集。本文隨機選取每個人的20張圖像作為訓(xùn)練，剩余的6張作為測試。實驗過程中算法參數(shù)保持不變。本文投影臉部圖像∈R192×168到一個矢量∈R540使用Randomface[17]。稀疏度設(shè)定為T= 10,識別結(jié)果總結(jié)在表4中。本文的方法優(yōu)于所有競爭方法。

表4 AR數(shù)據(jù)庫識別準確率

4 結(jié)語

傳統(tǒng)玻璃缺陷識別方法中缺陷特征類型的選取以及提取存在人為主觀因素影響、效率低、計算量大等不足。而玻璃缺陷目標存在形態(tài)復(fù)雜多變、目標過小等問題，采取人為設(shè)計的特征提取方法難以有效表述缺陷目標。因此基于稀疏自編碼與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的缺陷識別模型已經(jīng)建成。結(jié)合卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的多層次和精細轉(zhuǎn)換的優(yōu)點，本文采用SAE預(yù)訓(xùn)練卷積核，取代傳統(tǒng)CNN中權(quán)值的隨機初始化，在優(yōu)化前參數(shù)可以得到更合適的值，以提高識別時間。并用KSVD進行識別操作提高識別準確率。實驗結(jié)果表明，該方法可以對常見的玻璃缺陷進行精確的分類。但是應(yīng)用于人臉領(lǐng)域表現(xiàn)效果不是很好，接下來研究的重點是如何提高多方面領(lǐng)域的識別。