李 龍

(許昌電氣職業(yè)學院，河南 許昌 461000)

棉花在中國紡織業(yè)中因為悠久的歷史，其高額的產(chǎn)量，以及巨大的使用量使得棉花在紡織品制造業(yè)中占舉足輕重的地位。2019年我國棉花種植面積為2.23×104km2，總產(chǎn)量588.9萬t[1]。隨著機械自動化技術(shù)的發(fā)展和機采棉技術(shù)的廣泛應(yīng)用，其中對棉花制品質(zhì)量起到較大影響的是大量的雜質(zhì)(如枝葉、砂石、蟲尸、鈴殼、破籽、不孕籽等)機器采集棉纖維之時被一起收集。雖然之后在籽清機、皮清機以及軋花機的不同階段的處理，皮棉中盡可能過濾了雜質(zhì)，但是根據(jù)經(jīng)驗發(fā)現(xiàn)，由于皮棉采集批次不同，在多道處理后的棉纖維的含雜率也不盡相同。棉纖維中的雜質(zhì)含量會對后續(xù)制造造成條干不均、染色不勻、棉紗斷頭、損耗過大等不同影響。同時由于雜質(zhì)導致的紡織成品的廢品、次品率也和棉纖維的去雜質(zhì)率成反比關(guān)系[2]。

棉纖維的雜質(zhì)檢驗的方法[3-4]主要有：光電檢測結(jié)合法，選用雜質(zhì)分析器以及原棉雜質(zhì)分析器的方法[5-6]，計算機圖像信息處理方法，自動稱量與雜質(zhì)分析器相結(jié)合的方法。在實際的棉花雜質(zhì)檢驗過程中，受其自身性質(zhì)影響，其檢驗過程受多方面因素影響，直接影響其檢驗效率，當前的棉花含雜率檢測主要依靠人工分揀方式配合雜質(zhì)機器檢測對抽樣樣本進行處理，該方式由于人工的參與導致耗時較長，同時雜質(zhì)分離方式檢測效率低[7-8]。相比之下，計算機視覺可以提升棉花的雜質(zhì)檢測速度，提升檢測流程的自動化程度[9-10]。因此，本文提出了一種基于計算機圖像的深度學習Mobile-Net-V2模型的棉花表面雜質(zhì)識別方法，同時設(shè)計了快速、穩(wěn)定的棉花表面雜質(zhì)自動識別系統(tǒng)，彌補了人工分揀的低效率，提高雜質(zhì)檢測穩(wěn)定性，進而為棉花表面雜質(zhì)分類以及棉花含雜率的測定提供基礎(chǔ)技術(shù)支撐，具有廣泛的應(yīng)用前景與現(xiàn)實意義。

1 理論基礎(chǔ)及系統(tǒng)搭建

1.1 棉花雜質(zhì)的計算機視覺表達

計算機視覺表達是指將人們主觀世界中的實際物體通過視覺采集裝置如照相機、攝像機等進行點陣描述，將圖像信號轉(zhuǎn)換成數(shù)字信號并利用計算機對其進行分析識別的過程。計算機視覺作為一門學科形成于20世紀 60 年代，當前已廣泛應(yīng)用于重工業(yè)零部件檢測、現(xiàn)代農(nóng)業(yè)數(shù)據(jù)分析[7-8]、移動數(shù)據(jù)用戶決策、人臉識別等諸多領(lǐng)域。

1.2 系統(tǒng)基礎(chǔ)架構(gòu)

在以計算機視覺為主要判別方式的前提下，本文搭建了一套基于Mobile-Net-V2機器學習網(wǎng)絡(luò)結(jié)構(gòu)的棉花雜質(zhì)識別系統(tǒng)，系統(tǒng)主要組成部分包括：LED光照系統(tǒng)、專業(yè)微單相機、嵌入式GPU(圖像處理單元)、嵌入式計算機、傳送軸，系統(tǒng)框架如圖1所示。

圖1 雜質(zhì)識別系統(tǒng)框架

依照系統(tǒng)設(shè)計其工作流程為：①隨機選取待檢測原棉樣本放置于檢測視窗的傳送軸；② 啟動傳送機械，將棉樣拉平緊貼傳送軸便于檢測；③開啟輔助LED光源，開啟專業(yè)微單相機采集棉樣圖像；④通過有線傳輸將圖像傳輸至含有GPU處理能力的人工智能單片計算設(shè)備完成計算判別。⑤該判別設(shè)備通過wifi將判別結(jié)果發(fā)送至服務(wù)器；⑥ 檢測人員可以通過計算機或手持終端系統(tǒng)對判別結(jié)果進行查詢。在滿足工況需要的情況下，系統(tǒng)采用LED照明設(shè)備、嵌入式智能計算設(shè)備，有效降低了用電量的同時，也降低了研制成本，具有一定的性價比。

2 基于Mobile-Net的棉花表面雜質(zhì)識別算法

依托棉花雜質(zhì)自動識別系統(tǒng)，本文采用基于Mobile-Net-V2的棉花表面雜質(zhì)識別算法，通過圖像平滑濾波、梯度幅值和方向計算、非極大值抑制、高低閾值檢測以及邊緣連接，實現(xiàn)棉花表面雜質(zhì)的自動識別。

2.1 構(gòu)造棉花雜質(zhì)訓練圖片庫

為了對棉花的各類雜質(zhì)進行精準的定位識別，首先需要對棉花的雜質(zhì)數(shù)據(jù)進行分類分析并建立有效的棉花雜質(zhì)類型數(shù)據(jù)標注。鑒于棉花樣本的雜質(zhì)類型在圖像上顯示的相似性，所以在本文中只討論棉花的3種主要雜質(zhì)，即破籽、僵片、棉結(jié)，進行類型識別的訓練學習。原棉雜質(zhì)標記圖見圖2，經(jīng)專家分類，紅色標記為棉結(jié)，綠色標記為破籽，黃色標記為僵片。

圖2 原棉雜質(zhì)標記圖

2.2 圖像預處理

導向濾波[5]是一種能夠在對圖像進行有效平滑的基礎(chǔ)上，提高邊緣的細節(jié)的圖像增強算法。該方式最主要的就是能夠?qū)δ繕藞D像的細節(jié)進行大幅的增強，同時在時間效率而言也較高。在棉花樣本的實時圖像處理中，該算法可以滿足對算法的時間復雜度要求。同時由于使用的是嵌入式計算機設(shè)備，所以更需要算法處理的高時效性?？紤]到處理的圖像樣本的特性，在原棉圖像雜質(zhì)的樣本特點上，其主要表現(xiàn)為色差和邊緣的卷曲性。

為了將樣本特點進行放大利用，以便對雜質(zhì)進行檢測和分類，在圖像的預處理步驟中選用了導向濾波算法，其具體算法描述如下：

qi=akIi+bi,?i∈ωk

(1)

qi=pi-ni

(2)

式中：p為圖像輸入，I為一個投影變換，稱為導向圖像，q為圖像輸出，a為所求的線性關(guān)系，b為截距。將輸出的圖像看成I的局部的空間線性變換，式(2)中n為噪聲。n是需要抑制的，因此優(yōu)化方式就是讓噪聲n取到最小。使用嶺回歸對式(1) (2)求局部最小值，即得式(3)：

南海的地緣政治重要性對南海周邊國家而言與美日兩國同等重要。因為占據(jù)南海諸島礁，既拓展了國土縱深，亦提升了自身在南海地區(qū)事務(wù)上的發(fā)言權(quán)和影響力，更遑論南海地區(qū)所能帶來的巨大的資源開發(fā)儲備了。更需提及的是越南、菲律賓等國還不斷憑借自身的地緣價值來引入域外行為體，以增強非法占據(jù)中國領(lǐng)土領(lǐng)海及海洋權(quán)益的底氣。例如越南就以“允許使用金蘭灣”作為籌碼來提升美國等國家對南海的地緣政治關(guān)切度。

(3)

算得的結(jié)果為：

(4)

(5)

2.3 Mobile-Net-V2模型結(jié)構(gòu)

Mobile-Net-V1是Google公司在2017年提出的一種輕量化的卷積網(wǎng)絡(luò)，相對于普通卷積網(wǎng)絡(luò)的優(yōu)勢有2點：一是網(wǎng)絡(luò)輕量化，計算復雜度降低；二是使用深度卷積塊的線性相加替換了復雜的映射操作。

而Mobile-Net-V2是在利用了Mobile-Net-V1的基礎(chǔ)上對利用了其第2個優(yōu)點，同時對V1模型在訓練中異常的退化問題進行了解決。本文對Mobile-Net-V1和Mobile-Net-V2均采用了的通過線性加法解決計算復雜問題進行詳細的闡述。

2.3.1 降低計算復雜度

具體方法為：假設(shè)圖像的尺寸為N×W×H×M，其中N為圖像色深、W為圖像寬度(像素)、H為圖像高度(像素)、M為通道數(shù)量(個)，設(shè)卷積核為a(長)×b(寬)×k(通道)，則使用普通卷積對圖像進行卷積的計算復雜度為:N×W×H×M×a×b×k。

而利用Mobile-Net模型對普通卷積進行拆分，分為Depthwise卷積以及Pointwise卷積的線性相加。其中Depthwise卷積可以描述為：將上述方法中的圖像按照通道分為M個組別，Depthwise 分組卷積見圖3。則該種操作的計算復雜度為：N×W×H×a×b×M。

圖3 Depthwise 分組卷積

而對應(yīng)的為了獲取每個點的特征值而進行的Pointwise卷積操作是以原圖像進行1×1卷積見圖4。該操作的計算復雜度為：N×W×H×M×k。

圖4 Pointwise 點卷積

通過以上對比發(fā)現(xiàn)計算量降低為原來的：

(6)

2.3.2 逆向殘差值

殘差值的使用在深度高于50層的網(wǎng)絡(luò)中可以明顯地提升訓練后的網(wǎng)絡(luò)分類精度。但是Deptwise卷積網(wǎng)絡(luò)提取的特征數(shù)量受到特征輸入維度的抑制，直接加入殘差的結(jié)果可能會在使用1×1卷積對輸入進行壓縮的過程中降低提取到的特征數(shù)量。Mobile-Net-V2在提取特征前，首先使用1×1的卷積通過通道的增加，提升了特征值的獲取數(shù)量。由于這里使用的升維的操作和常規(guī)網(wǎng)絡(luò)的降維互為逆操作，將Mobile-Net-V2的殘差利用方式稱為逆殘差。而在Mobile-Net-V2中使用的卷積步長存在2種，一種步長為1，一種步長為2，其bottleneck網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 模型bottleneck結(jié)構(gòu)

在Mobile-Net-V2模型中，每層的第1個bottleneck為Stride=2，即不采用殘差；而其余層次的bottleneck使用Stride=1，使用殘差增強。

2.4 改進模型結(jié)構(gòu)

通過對樣本的分析不難發(fā)現(xiàn)，原棉樣本中的雜質(zhì)小而雜，通過專業(yè)相機定焦鏡頭獲取的圖像尺寸為2 120像素×1 416像素，通過對實驗數(shù)據(jù)的手動標注，發(fā)現(xiàn)原棉中的大部分雜質(zhì)面積可以被96像素×96像素覆蓋。于是，通過對常用的模型改進結(jié)構(gòu)如表1所示。

表1 改進模型的結(jié)構(gòu)

表1中BN層為bottleneck的簡寫，其中t為BN層內(nèi)部維度提升的倍數(shù)，c為特征的維度，n為該BN層重復的次數(shù)，s為瓶頸層第1個卷積核移動的步幅。將常規(guī)224像素×224像素為輸入的圖像針對原棉樣本所采集樣本特征進行了計算尺寸的改進為更適合本研究對象的96像素×96像素。Conv2d是二維卷積的縮寫，Avgpool代表的是平均池化層。

2.5 算法流程

通過對棉花圖像平滑濾波一階導數(shù)與濾波器的選取，計算其梯度幅值與方向，確定非極大值抑制策略，并根據(jù)自適應(yīng)方法實現(xiàn)高低閾值檢測以及雜質(zhì)邊緣的連接，在此基礎(chǔ)上，基于Canny的棉花表面雜質(zhì)識別算法流程如圖6所示。

圖6 算法流程

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

為了驗證實驗的有效性和穩(wěn)定性，本文分別在計算機端和嵌入式開發(fā)板Jetson-Nano分別進行訓練及測試。實驗樣本來自我國新疆地區(qū)棉花加工廠，樣本已劃分為好、中、差3個類別。選用的樣本皮棉試樣總計100 kg，隨機抽取樣本并進行人工雜質(zhì)標注，其好∶中∶差的比率為1.0∶1.5∶1.2。依托本文搭建的棉花雜質(zhì)識別系統(tǒng)，專業(yè)相機采集的棉樣圖像分辨率為4 240 像素×2 832 像素，圖像格式為無壓縮BMP格式，位深度24。在PC系統(tǒng)以及Jetson開發(fā)板中均選用了Tensorflow-lite開源框架，采用Pycharm 作為開發(fā)工具編寫雜質(zhì)識別算法軟件。

3.2 導向濾波增強

實驗選取棉樣并采集其圖像如圖7(右上)所示，采用本文圖像增強算法進行處理后效果結(jié)果如圖7(右下)所示。通過棉樣原圖與導向濾波結(jié)果圖對比分析可以發(fā)現(xiàn)，圖7(右上)中相應(yīng)的雜質(zhì)點經(jīng)過濾波增強后，在圖7(右下)都能有效地被增強，雜質(zhì)與圖像背景的界限分明，對原棉圖像中的紋理進行了平滑，避免了雜質(zhì)與背景處理混淆。同時，經(jīng)過測試通過導向濾波后，原圖像大小占用空間僅為原圖像大小的25%左右。

圖7 濾波增強結(jié)果

在實驗參數(shù)配置方面，導向濾波內(nèi)為了盡量保留邊的信息并消除棉花表面毛對圖像的判斷影響，設(shè)置設(shè)定圖像窗口半徑為1，eps=0.001，快導濾波器的降采樣系數(shù)為2。

3.3 分類結(jié)果對比分析

為進一步驗證本文雜質(zhì)分類識別方法的有效性，按照含分類錯誤率進行對比實驗。首先，在現(xiàn)有皮棉試樣的基礎(chǔ)上，隨機選擇100個單位樣本，每個樣本質(zhì)量500 g，并為樣品編號。然后，針對每個樣品依次進行人工標注、本文實驗平臺分類檢測。最后，分別對其檢測結(jié)果進行對比分析，并計算標準誤差。

棉樣雜質(zhì)分類準確率結(jié)果如圖8所示。其訓練集樣本和測試集樣本選取方式為隨機選擇，二者比例為5∶1，利用預訓練遷移學習，設(shè)置測試訓練批次為30次。其結(jié)果中，分類精確率最高為訓練集90.7%，測試集89.5%，從圖中可以觀測出，分類樣本穩(wěn)定情況下訓練集和測試集的曲線基本吻合，可以分析該模型可以較好地匹配樣本圖像的分類。

圖8 原棉樣本雜質(zhì)分類準確率

又經(jīng)過50次的測試集進行錯誤率測試，其結(jié)果見圖9。從圖9雜質(zhì)錯誤率可以看出，在訓練集和測試集使用相同參數(shù)時，結(jié)果差異較小，測試集錯誤率略高于訓練集。以棉花專家手工標注檢測結(jié)果為參照，本文算法雜質(zhì)分類錯誤率標訓練集準偏差僅為0.051 7，測試集標準差為0.052 9，二者具有較高的吻合性，可以認為算法最后收斂，同時較小的標準差說明算法具有較高的穩(wěn)定性。

圖9 本文算法雜質(zhì)分類結(jié)果錯誤率

3.4 破籽類雜質(zhì)識別效果分析

為了進一步對樣本進行充分利用，提升算法的穩(wěn)定性，同時考慮到破籽類(破籽、軟籽表皮、帶纖維籽屑)雜質(zhì)含量較高，使用10分交叉驗證，對算法的穩(wěn)定性進行進一步的研究。實驗選取棉樣10份，每份500 g并壓平拍照，人工雜質(zhì)標注，并進行編號。原棉雜質(zhì)識別分類結(jié)果如表2所示。

表2 原棉雜質(zhì)識別分類結(jié)果

根據(jù)實驗數(shù)據(jù)，對量化雜質(zhì)分類識別結(jié)果進行10分交叉驗證進行魯棒性的測試，同時對訓練集和測試集進行離散性的比較。本文算法識別結(jié)果的準確率的訓練集標準偏差為0.020，測試集標準差為0.027，反應(yīng)了最大值與最小值差異較小，驗證了本文算法在雜質(zhì)分類識別方面的準確性和穩(wěn)定性，同時觀察loss值，可以分析得出算法在訓練的后期可以收斂，即該算法應(yīng)用于雜質(zhì)分類應(yīng)用有較大的可行性。

4 結(jié)束語

棉花雜質(zhì)的自動化檢測與識別是我國棉花質(zhì)量檢測的中心內(nèi)容。本文針對現(xiàn)有原棉雜質(zhì)分析需要人工參與過多以及精度不容易量化的問題，提出一種以機器學習算法為核心的Mobile-Net-V2模型的棉花表面雜質(zhì)自動化識別方法，算法在圖像預處理以及網(wǎng)絡(luò)的結(jié)構(gòu)進行了一定的改進，使之更契合于原棉雜質(zhì)的分類研究，通過實驗分析，驗證了本文方法能夠有效用于原棉檢測中的雜質(zhì)的分類識別。在當前工作基礎(chǔ)上，開展物體自動識別和增加識別的雜質(zhì)類別是今后需要研究的內(nèi)容。