張詩涵 景軍鋒 宋智偉

（西安工程大學(xué)，陜西西安，710600）

絲餅是為了方便化纖長絲的運輸、存放和包裝，將其有規(guī)律地纏繞在紙管上，形成餅狀物［1］?；瘜W(xué)纖維以強度高、耐熱性好、耐輻射、彈性好等優(yōu)勢廣泛應(yīng)用于紡織行業(yè)以及其他領(lǐng)域［2?4］。在絲餅的制備過程中，由于機器纏繞的速度過高、張力不均勻等原因會形成各種各樣的缺陷［5］，其中毛羽缺陷最為常見。毛羽缺陷的存在嚴重影響絲餅的質(zhì)量、外觀以及使用價值。毛羽缺陷按照形態(tài)可劃分為毛絲、毛圈和毛團3 種類型［6］，如圖1所示。不同類型的毛羽缺陷影響絲餅的質(zhì)量評級，不同評級的絲餅影響后續(xù)成品的質(zhì)量等級，因此針對絲餅表面存在的毛羽缺陷進行嚴格分類的任務(wù)是必不可少的。

圖1 毛羽缺陷圖片

在目前的化纖長絲制造企業(yè)中，對于絲餅表面毛羽的分類任務(wù)大多仍采用人工目視的方法。人工檢測一方面存在人為檢測效率低、主觀性強、易漏檢誤檢等問題；另一方面還可能對絲餅造成二次污染。近年來，隨著機器視覺和深度學(xué)習(xí)的快速發(fā)展［7］，采用視覺無損技術(shù)檢測絲餅表面缺陷的方法也逐漸出現(xiàn)。文獻［8］構(gòu)建了一個具有特定結(jié)構(gòu)的卷積核提取絲餅毛羽的特征，最終實現(xiàn)了對絲餅毛羽的定位和計數(shù)。該方法對于簡單的毛羽缺陷能夠?qū)崿F(xiàn)很好的檢測效果，但是實際生產(chǎn)中的毛羽缺陷比較復(fù)雜，使用特定卷積核的魯棒性不強。文獻［9］使用改進的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了絲餅表面的缺陷識別。使用深度學(xué)習(xí)的方法能夠很好地表現(xiàn)出絲餅的缺陷特征并實現(xiàn)較好的檢測結(jié)果。但該文獻針對的缺陷為絲餅表面的拌絲、成形不良和油污缺陷，這幾類缺陷之間的差異比較明顯，使得分類任務(wù)的難度并不大，對于絲餅毛羽缺陷的分類效果有待驗證。文獻［10］采用信息熵和能量的組合特征表征絲餅缺陷，最后使用閾值分割將缺陷和背景分離。該方法對于絲餅表面的壓痕、污漬等缺陷能夠?qū)崿F(xiàn)較好的檢測效果，但不能實現(xiàn)絲餅毛羽缺陷的分類任務(wù)。

為解決絲餅毛羽缺陷的分類任務(wù)，本研究提出了一種基于破壞學(xué)習(xí)的殘差網(wǎng)絡(luò)絲餅毛羽缺陷分類方法。通過引入一種區(qū)域混亂機制將原圖進行破壞，使得卷積神經(jīng)網(wǎng)絡(luò)必須更加專注于學(xué)習(xí)缺陷的局部細節(jié)特征；隨后提出一種對抗損失函數(shù)消除區(qū)域混亂機制引入的噪聲，使得網(wǎng)絡(luò)更具魯棒性；最后使用全局最大池化代替平均池化加強網(wǎng)絡(luò)的特征提取能力。試驗結(jié)果表明，經(jīng)過破壞學(xué)習(xí)后的網(wǎng)絡(luò)性能有所提升，達到更高的分類精度，同時測試具有實時性，能夠滿足實際生產(chǎn)的需求。

1 絲餅毛羽圖像采集裝置設(shè)計

本研究所用絲餅圖像均來自生產(chǎn)線現(xiàn)場采集的圖片。由于毛羽缺陷絕大部分產(chǎn)生于表面，所以目前所需檢測的區(qū)域為絲餅的各表面，包括上表面、下表面和圓柱面。因化纖長絲的物理性質(zhì)所致，絲餅表面光滑且高度反光，這導(dǎo)致絲餅毛羽缺陷無法與背景很好地區(qū)分開來，因此相機和光源的擺放位置會嚴重影響采集的圖片質(zhì)量。經(jīng)過調(diào)整相機和光源的擺放位置，得到最佳的光源和相機擺放位置為光源垂直于絲餅的表面打光，相機與光源垂直擺放采集絲餅表面圖像，采集裝置示意圖如圖2 所示。

圖2 采集裝置示意圖

從圖2 可以看出，在絲餅旋轉(zhuǎn)的過程中，1 號光源和1 號相機負責(zé)上表面的打光和采集，2 號光源和2 號相機負責(zé)圓柱面的打光和采集，下表面的操作方式與上表面相同。從圖2 還可以看出，采用這種光源和相機的位置組合方式拍攝得到的圖片缺陷與背景分離且清晰，不需要再對圖片進行過多的預(yù)處理操作［11］。

由于毛羽缺陷部分占整張圖片的比例小，且整張圖片的分辨率太大，所以需要對采集到的原圖進行感興趣區(qū)域（ROI）提取。設(shè)置圖像尺寸大小為256 pixel×256 pixel 能夠很好地展示毛羽缺陷，使一張圖片中僅包含一類缺陷，且該尺寸大小和神經(jīng)網(wǎng)絡(luò)輸入尺寸相近，使神經(jīng)網(wǎng)絡(luò)能直接提取到毛羽缺陷的特征信息。

2 絲餅毛羽分類算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

殘差網(wǎng)絡(luò)在加深網(wǎng)絡(luò)提取更豐富特征的同時解決了網(wǎng)絡(luò)退化問題。本研究以殘差網(wǎng)絡(luò)ResNet50［12］為骨干網(wǎng)絡(luò)進行改進，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。網(wǎng)絡(luò)同時將絲餅原圖和通過區(qū)域混亂機制破壞后的圖片送入網(wǎng)絡(luò)中進行訓(xùn)練，通過4 個Bottleneck 結(jié)構(gòu)塊提取特征信息，圖4 展示了第一個Bottleneck 中的一個Block 的具體結(jié)構(gòu)。在經(jīng)過最后一個Bottleneck 結(jié)構(gòu)塊后采用全局最大池化代替ResNet50 網(wǎng)絡(luò)中的平均池化［13］。平均池化考慮整張圖片的信息，對所有特征值求平均，而毛羽缺陷相對于整張圖片較小，使用平均池化會弱化絲餅的局部特征。而全局最大池化輸出整個特征圖的最大值，保留最顯著的特征，更適合絲餅毛羽的識別。分類網(wǎng)絡(luò)負責(zé)識別原圖和破壞圖像所屬的類別，由于通過區(qū)域混亂機制破壞圖像后會不可避免的引入噪聲，提出一種對抗損失函數(shù)消除噪聲對分類網(wǎng)絡(luò)的影響。最后通過最小化分類損失函數(shù)和對抗損失函數(shù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使網(wǎng)絡(luò)達到更好的分類效果。

圖3 絲餅毛羽分類網(wǎng)絡(luò)框架

圖4 Block 結(jié)構(gòu)圖

2.2 區(qū)域混亂機制

由于絲餅表面缺陷在全局結(jié)構(gòu)下類別之間差異較小，甚至人眼都不能準確分類。在使用神經(jīng)網(wǎng)絡(luò)處理自然語言時，通過在句子中打亂單詞的順序可以讓神經(jīng)網(wǎng)絡(luò)專注于區(qū)分有判別性的單詞，忽略不相關(guān)的單詞［14］。將這種思想應(yīng)用于絲餅圖像上，如果將圖片的整體結(jié)構(gòu)破壞，神經(jīng)網(wǎng)絡(luò)不得不關(guān)注圖片的局部細節(jié)區(qū)域，從具有判別性的區(qū)域識別圖像類別。

本研究受到CHEN Y 等人［15］的啟發(fā)，提出一種在二維鄰域?qū)D片隨機打亂成局部區(qū)域的區(qū)域混亂機制。區(qū)域混亂機制示例如圖5 所示。 從圖5 可以看出，對于輸入圖片I，首先將圖像均勻地劃分為N×N個子區(qū)域，每個子區(qū)域用Ri，j表示，i和j分別為行列參數(shù)，其中1≤i，j≤N。對于第j列的圖像塊Ri，生成一個在范圍（-k，k）內(nèi)隨機選擇的隨機向量a，其中k為定義鄰域范圍的可調(diào)參數(shù)（1≤k＜N），通過上述操作后第j列新排列的塊為Si=Ri+a。對于第i行的塊Rj，采用相同的操作處理，得到新的N×N個子區(qū)域Si，j。這種打亂方式既能夠破壞全局結(jié)構(gòu)，又能夠使破壞在一個可控范圍內(nèi)進行。

圖5 區(qū)域混亂機制示例

2.3 損失函數(shù)

在網(wǎng)絡(luò)的整體框架中，損失函數(shù)由分類損失函數(shù)和對抗損失函數(shù)兩部分組成。這兩種損失函數(shù)以端到端的方式共同促進破壞學(xué)習(xí)，使其中只有有區(qū)別的局部細節(jié)被增強，無關(guān)的噪聲信息被過濾掉。損失函數(shù)的構(gòu)成如式（1）所示。式中，Lc和Ld分別表示分類損失函數(shù)和對抗損失函數(shù)。

2.3.1 分類損失

本研究使用有監(jiān)督的方法，網(wǎng)絡(luò)訓(xùn)練的輸入分別為原始圖片I，破壞后的圖片P（I）和圖片對應(yīng)的標簽l。分類網(wǎng)絡(luò)將輸入圖像映射成概率分布向量G（I，θc），其中θc是分類網(wǎng)絡(luò)中所有可學(xué)習(xí)的參數(shù)。分類損失函數(shù)構(gòu)成如式（2）所示。式中，M為訓(xùn)練所用數(shù)據(jù)集。

由于全局結(jié)構(gòu)已經(jīng)被區(qū)域混亂機制破壞，因此網(wǎng)絡(luò)必須要找到類別之間存在細小差異的區(qū)域才能識別這些破壞后的圖片。

2.3.2 對抗損失

使用區(qū)域混亂機制破壞圖像并不一定總能為分類任務(wù)帶來有益信息，以圖5 為例，在隨機打亂局部區(qū)域時，區(qū)域混亂機制同時也引入了噪聲視覺模式。網(wǎng)絡(luò)從噪聲視覺模式中學(xué)習(xí)到的特征對分類任務(wù)是有害的。因此，提出了另外一個對抗損失函數(shù)Ld消除區(qū)域混亂機制帶來的噪聲信息。首先給每一張圖片貼上一個標簽向量d∈{0，1}2表示圖像是否被破壞，然后通過在網(wǎng)絡(luò)中新添加一個鑒別器來判斷圖像是否被破壞，鑒別器D公式如式（3）所示。

3 試驗結(jié)果與分析

本試驗所用計算機操作系統(tǒng)為Windows10，內(nèi)存為64 GB，處理器為Intel（R）Core（TM）i7?5930K CPU（3.50 GHz），顯卡型號為NVIDIA GeForce GTX TITAN X，顯存大小為16 GB，采用Pytorch 深度學(xué)習(xí)開源框架進行網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練。

3.1 數(shù)據(jù)集構(gòu)建

根據(jù)相機實際拍攝過程中得到的圖片，專業(yè)檢測人員對所得圖片進行細致的分類工作，將數(shù)據(jù)集分為毛絲、毛圈、毛團、線頭、絲餅表面和螺旋紋共6 類，數(shù)據(jù)集中每種類別的代表圖片如圖6 所示。毛絲是纏繞過程中纖維斷裂在表面形成的一根單絲；毛圈是一根單絲的兩端嵌入在絲餅表面上形成的環(huán)狀缺陷；毛團是毛絲和毛圈組合而成的一種復(fù)雜混和缺陷；線頭是一股毛絲聚集而成的毛絲束；絲餅表面為相機拍攝的正常絲餅表面圖片；螺旋紋是絲餅纏繞過程中在表面形成的正常紋路。在這6 類圖片中，絲餅表面和螺旋紋這兩類圖片不屬于缺陷，通過將這兩類相機實際拍攝到的圖片加入到網(wǎng)絡(luò)中訓(xùn)練，讓網(wǎng)絡(luò)能學(xué)習(xí)到更加精確的缺陷特征，減少誤檢和漏檢。

圖6 數(shù)據(jù)集構(gòu)建

本試驗所構(gòu)建的數(shù)據(jù)集總圖片數(shù)量為43 433張，其中毛絲圖片數(shù)量為11 245 張，毛圈圖片數(shù)量為11 012 張，毛團圖片數(shù)量為3 691 張，線頭圖片數(shù)量為4 897 張，絲餅表面和螺旋紋圖片分別為1 697 和10 891 張。網(wǎng)絡(luò)訓(xùn)練按照9∶1 的比例劃分訓(xùn)練集和驗證集，訓(xùn)練集數(shù)量為39 039 張，驗證集數(shù)量為4 394 張。模型訓(xùn)練完成后另設(shè)置測試集1 200 張圖片，每類圖片數(shù)量為200 張。

3.2 試驗結(jié)果與性能對比

由于引入?yún)^(qū)域混亂機制需要將圖片進行分塊處理，因此需要設(shè)置分塊的數(shù)量N，且分塊數(shù)量N需要被輸入圖片的大小整除。輸入圖片的尺寸為256 pixel×256 pixel，分別設(shè)置分塊數(shù)量為2、4、8進行試驗。試驗結(jié)果：當(dāng)N=2 時，分類精度94.4%；當(dāng)N=4 時，分類精度95.0%；當(dāng)N=8時，分類精度94.5%。結(jié)果表明：N=4 時分類精度最高，為95.0%，因此選擇分塊的數(shù)量為4。

表1 為本研究方法在每類圖像中的分類準確率。從表1 可以看出，絲餅表面、螺旋紋和線頭這3 類圖片的分類準確率較高，達到98.0%以上，毛絲和毛圈這兩類圖片的分類準確率達到95.0%以上，分析原因為這幾類圖片特征之間的差異較大，每類圖片都有其獨特的特征，因此網(wǎng)絡(luò)能夠很好地完成分類。毛團的分類準確率較低，僅為83.5%。分析原因為實際生產(chǎn)過程中毛團出現(xiàn)概率較低，因此毛團訓(xùn)練的圖片數(shù)量少，同時毛團的特征復(fù)雜并且與其他類型的缺陷相似度高，導(dǎo)致網(wǎng)絡(luò)無法很好地識別該類圖片。

表1 各類圖片測試分類準確率

圖7 展示了毛羽分類的混淆矩陣。從圖7 可以直觀地反映網(wǎng)絡(luò)的預(yù)測結(jié)果與真實標簽之間的差異。

圖7 混淆矩陣

表2 為本研究方法和其他方法對絲餅毛羽分類識別準確率的性能對比。

表2 絲餅毛羽分類模型準確率性能對比

Paddle 為百度開發(fā)的一種新的深度學(xué)習(xí)框架［16］，簡化了深度學(xué)習(xí)過程中繁雜的步驟，能輕松實現(xiàn)從數(shù)據(jù)集構(gòu)建到模型訓(xùn)練再到結(jié)果預(yù)測這一過程，絲餅毛羽缺陷在該框架下的分類準確率為91.4%。LI P 等人［17］使用一個二階甚至高階的統(tǒng)計方法來代替一階的全局平均池化，并將這種分類方法命名為Fast?MPN，本研究選擇該方法下的兩個經(jīng)典分類骨干網(wǎng)絡(luò)進行測試，最終分類準確率為93.0%、92.5%。ZHOU M 等人［18］提出觀察對象的整體框架（LIO）學(xué)習(xí)結(jié)構(gòu)信息來增強對物體的識別，使用該方法達到的分類準確率為94.1%。YANG Z 等人［19］提出了一種新穎的無需更多標注細節(jié)的自監(jiān)督訓(xùn)練機制，并把在這種方式下訓(xùn)練出來的模型稱為NTS?Net，該方法最終實現(xiàn)90.5%的分類準確率。本研究選擇兩個經(jīng)典分類骨干網(wǎng)絡(luò)進行評估，試驗結(jié)果表明，使用ResNet50 骨干網(wǎng)絡(luò)效果優(yōu)于VGG16 的分類效果，最終選擇ResNet50 作為模型骨干。本研究在網(wǎng)絡(luò)最后一層卷積層后使用全局最大池化代替ResNet50 原網(wǎng)絡(luò)中的平均池化，試驗結(jié)果表明，使用全局最大池化后網(wǎng)絡(luò)的分類準確率（95.0%）高于平均池化的分類準確率（94.2%），這說明全局最大池化能更好地提取絲餅毛羽缺陷中更具判別性的特征，更加適合絲餅的毛羽分類任務(wù)。

不同模型訓(xùn)練過程中分類準確率曲線展示如圖8 所示。

圖8 模型訓(xùn)練分類準確率曲線對比

從圖8 可以看出，本研究所采用的方法在網(wǎng)絡(luò)進行一次迭代訓(xùn)練后，模型就已經(jīng)有較高的準確率，說明網(wǎng)絡(luò)能夠很好地提取到每類圖片的關(guān)鍵特征信息。隨著迭代次數(shù)的增加，模型的準確率較快趨于穩(wěn)定，最終實現(xiàn)相對最好的識別準確率。

由于本研究所使用的方法在訓(xùn)練過程不需要額外的標注信息，因此在預(yù)測階段沒有額外的計算量，經(jīng)測試，本研究方法在測試階段平均每張圖片測試時間為30 ms，可滿足工業(yè)實時檢測的需求。

4 結(jié)束語

本研究使用一種破壞學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)方法實現(xiàn)對絲餅毛羽缺陷的分類工作。首先根據(jù)真實采集到的絲餅表面圖像進行數(shù)據(jù)集的構(gòu)建。其次提出一種區(qū)域混亂機制破壞圖像的整體結(jié)構(gòu)，使分類網(wǎng)絡(luò)更加注意圖片的局部細節(jié)，通過提出的對抗損失函數(shù)消除區(qū)域混亂機制引入的噪聲信息。同時使用全局最大池化代替分類原網(wǎng)絡(luò)中的平均池化，使分類網(wǎng)絡(luò)針對絲餅毛羽缺陷達到更高的分類精度。試驗結(jié)果表明，本研究提出的方法對絲餅毛羽圖像的識別平均準確率達到95.0%，平均每張圖片的測試時間為30 ms，可滿足工業(yè)生產(chǎn)中的精度和實時性要求。但本研究方法針對毛團這類圖片的分類準確率較低，之后的工作會重點針對毛團這類缺陷進行改進，提高此類圖片的分類準確率。