夏 敏，孫 鵬，費(fèi)琦琪，趙旭東，楊琳琳

(云南農(nóng)業(yè)大學(xué) 機(jī)電工程學(xué)院，云南 昆明 650201)

天麻(Gastrodia elata Blume)是中國名貴中藥材，可以治療頭痛眩暈、肢體麻木、小兒驚風(fēng)、癲癇、抽搐和破傷風(fēng)等癥狀，有較高的實(shí)用價值[1]。但如果天麻不經(jīng)分選直接進(jìn)入銷售市場，會嚴(yán)重降低其經(jīng)濟(jì)價值；傳統(tǒng)的人工分選方式，勞動強(qiáng)度大、效率低，存在主觀性強(qiáng)、準(zhǔn)確率低和成本高等問題，已不能滿足天麻分選的實(shí)際要求。

近幾年隨著人工智能不斷發(fā)展，人工神經(jīng)網(wǎng)絡(luò)和機(jī)器視覺等方法應(yīng)用越來越廣泛，利用深度學(xué)習(xí)自動從大量樣本中識別特征并分類圖像的技術(shù)日漸成熟。如付豪等[2]設(shè)計并搭建基于機(jī)器視覺的玉米幼苗葉面積檢測裝置，開發(fā)相應(yīng)的圖像采集及處理軟件對裝置進(jìn)行控制，并對獲取的玉米幼苗植株圖像進(jìn)行處理，以實(shí)現(xiàn)對玉米幼苗葉面積的在線無損檢測。王佳[3]通過計算機(jī)視覺技術(shù)對香芋進(jìn)行病害識別，利用建立的香芋病害數(shù)據(jù)庫，對需要識別的香芋病害進(jìn)行特征提取、病害分析，實(shí)現(xiàn)病害自動識別。趙晶等[4]搭建了基于機(jī)器視覺的小?？Х榷箼z測系統(tǒng)，開發(fā)了系統(tǒng)分析與控制軟件，以期實(shí)現(xiàn)小?？Х裙S化生產(chǎn)中果徑寬度和烘焙程度的在線檢測分級。王利偉等[5]利用數(shù)字圖像處理相關(guān)技術(shù)對葡萄葉部白粉病、黑腐病和霜霉病圖像進(jìn)行預(yù)處理以及特征提取，并采用多特征組合的方式通過支持向量機(jī)(support vector machine)對病斑進(jìn)行分類識別測試。王奕[6]通過構(gòu)建二維馬鈴薯內(nèi)部病蟲害視覺圖像采集模型，結(jié)合圖像的分塊融合檢測方法進(jìn)行特征識別和提取，采用顏色提取分解和紋理分割技術(shù)，實(shí)現(xiàn)對馬鈴薯內(nèi)部病蟲害的特征識別。張飛云[7]分別提取小麥葉部病害的形狀、顏色和紋理特征參數(shù)，組成多特征參數(shù)，采用矢量量化神經(jīng)網(wǎng)絡(luò)對小麥病害進(jìn)行分類識別，算法簡單，速度快，并且可以達(dá)到很高的識別率。但現(xiàn)階段的研究重點(diǎn)主要集中在葡萄、馬鈴薯、玉米和香芋等農(nóng)產(chǎn)品，利用機(jī)器視覺技術(shù)對天麻表面破損的分選方面缺乏深入研究。

因此本研究提出了一種基于ResNet101[8]的殘差神經(jīng)網(wǎng)絡(luò)方法，主要以腐爛、霉變、機(jī)械損傷及完好4 類天麻為研究對象，利用ResNet101 網(wǎng)絡(luò)中的輸入卷積層以及4 個卷積組進(jìn)行特征提取，區(qū)域候選網(wǎng)絡(luò)生成天麻表面破損的初步位置候選框，最終實(shí)現(xiàn)候選框的分類和定位；并與Faster_rcnn_inception、SSD 和Rfcn_resnet101[9]等3 種網(wǎng)絡(luò)的識別率進(jìn)行了比較，以期取得較好的識別結(jié)果，為農(nóng)產(chǎn)品檢測技術(shù)提供借鑒和參考。

1 材料與方法

1.1 試驗(yàn)數(shù)據(jù)

本研究的研究對象為云南省昭通市冬天麻的霉變、腐爛、機(jī)械損傷和完好4 種表面樣本，對表面破損圖像進(jìn)行分類識別。原始圖像總計700 余張，對圖像沿順時針方向旋轉(zhuǎn)0°、90°、180°、270°和鏡像操作，將樣本集擴(kuò)充到3 500 張，訓(xùn)練集[10]2 800 張，測試集[11]700 張，部分圖像如圖1 所示。利用圖像標(biāo)注工具(Labelimg)標(biāo)記天麻表面破損的類別信息和位置信息。同時，統(tǒng)一將圖像分辨率修改為224×224 像素，以jpeg 格式導(dǎo)入計算機(jī)，構(gòu)建天麻表面破損數(shù)據(jù)庫。

圖1 天麻表面破損樣本圖Fig.1 Samples of surface damage of G.elate

1.2 試驗(yàn)方法

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是一種常見的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，主要由輸入層、卷積層(convolutional layer)[12]、池化層(pooling layer)[13]、全連接層及輸出層構(gòu)成，由于卷積層中輸出特征面的每一個神經(jīng)元與輸入的神經(jīng)元局部連接，并且通過與之對應(yīng)的權(quán)值和局部輸入進(jìn)行加權(quán)求和，由于多層卷積層和池化層能提取圖像的分類特征，Softmax[14]分類器能實(shí)現(xiàn)圖像分類識別，因此被廣泛用于圖像識別相關(guān)領(lǐng)域。

1.2.1 天麻表面破損檢測模型的基本結(jié)構(gòu)

天麻表面破損檢測模型利用ResNet101 卷積神經(jīng)網(wǎng)絡(luò)和區(qū)域候選網(wǎng)絡(luò)構(gòu)建，如圖2 所示。首先將處理后的224×224 像素圖像輸入Faster-RCNN[15]，利用ResNet101 網(wǎng)絡(luò)中的輸入卷積層以及4 個卷積組進(jìn)行特征提取，生成天麻表面破損卷積特征圖。其次將表面破損天麻卷積特征圖輸入?yún)^(qū)域生成網(wǎng)絡(luò)(region proposal network，RPN)，獲得天麻表面破損的初步位置候選框區(qū)域。再將天麻表面破損的初步候選框映射到天麻表面破損卷積特征圖，將其通過CNN 的感興趣區(qū)域池化層生成固定大小的天麻表面破損特征向量。最后將天麻表面破損特征向量輸入給Faster-R-CNN的2 個并行全連接層位置的精修層和分類層，最后得到表面破損天麻在圖像中的準(zhǔn)確位置和類別。

圖2 天麻外觀品質(zhì)檢測模型流程圖Fig.2 Flow chart of inspection model for appearance quality of G.elata

1.2.2 天麻表面破損檢測模型構(gòu)建

基于ResNet101 模型建立天麻表面破損分選模型。該模型包含1 個輸入層、5 組卷積層、2 個池化層、1 個輸出層和1 個Softmax 分類器。其中，5 組卷積包含1 個輸入卷積層33 個積木塊(building block)，每個building block 包含3 個卷積層，加上Softmax 分類層，共101 層。

輸入層[16]采用224×224×3 (H×W×D)大小的天麻樣本，當(dāng)輸入圖像是灰色圖像即單層圖像時D 為1，當(dāng)輸入圖像為三通道RGB (red，green，blue)圖像[17]時D 為3；利用特征提取層對特征進(jìn)行提取時采用64 個大小為7×7 的卷積核進(jìn)行特征提取，深度(padding)為3，步長為2，與輸入層的樣本進(jìn)行卷積得到64 個大小為112×112 的特征圖，既保證了提取的特征信息量，也最大程度上增加了網(wǎng)絡(luò)運(yùn)算效率；通過5 組卷積層進(jìn)行卷積計算，得到最終特征圖為7×7×2 048 和并利用平均池化層[18](average pool)和7×7 的池化核，提取每個(7×7)的最大或者平均值，即得到的最終輸出為1×1×2 048；通過Softmax 分類器，得出腐爛樣本、霉變樣本、機(jī)械損傷樣本和完好樣本4 種樣本的訓(xùn)練識別效率。

2 結(jié)果與分析

參與模型訓(xùn)練的天麻表面破損樣本數(shù)3 500張，其中訓(xùn)練樣本2 800 張，測試樣本700 張。試驗(yàn)軟件采用tensorflow[19]框架，選用Python[20]為編程語言，進(jìn)行模型訓(xùn)練。

2.1 模型參數(shù)的設(shè)置

為了保證天麻表面破損圖像網(wǎng)絡(luò)模型的收斂速度及訓(xùn)練效果，首先采用變量控制法，經(jīng)試驗(yàn)求得最佳學(xué)習(xí)率值及迭代次數(shù)，試驗(yàn)結(jié)果如表1所示。

表1 設(shè)置不同的模型參數(shù)測試識別精度分析表Tab.1 Set different model parameters to test and identify the accuracy analysis table

由表1 可知：設(shè)置初始迭代次數(shù)為100，學(xué)習(xí)率為0.01，模型識別精度為31.32%；迭代次數(shù)不變，改變學(xué)習(xí)大小，當(dāng)學(xué)習(xí)率為0.003 時，模型精度最高；選定學(xué)習(xí)率0.003，改變迭代次數(shù)大小，當(dāng)?shù)螖?shù)為3 000 時，精度達(dá)到最高，高達(dá)96.13%。所以，選定模型參數(shù)學(xué)習(xí)率為0.003，迭代次數(shù)為3 000。

2.2 模型性能變化趨勢分析

損失函數(shù)[21]是評價Faster R-CNN ResNet101網(wǎng)絡(luò)模型對天麻表面破損識別的重要性能指標(biāo)。權(quán)重參數(shù)的初始學(xué)習(xí)速率設(shè)置為0.003，經(jīng)過3 000 次迭代后，分別提取模型3 類損失結(jié)果圖，如圖3 所示。

由圖3 可知：隨著迭代次數(shù)增加，并未出現(xiàn)過擬合現(xiàn)象，說明訓(xùn)練后的模型具有較強(qiáng)的泛化能力，預(yù)測準(zhǔn)確率較高。在分類損失中，模型迭代到2 000 步左右時曲線逐漸趨于穩(wěn)定，分類損失值為0.15，說明迭代到2 000 步時分類效果較好；在定位損失中，模型在1 800 步左右時定位損失值最小為0.20，說明迭代到該步數(shù)時模型對圖像的定位與實(shí)際位置高度吻合，定位較好；在總損失中，模型在2 500 步時總損失值最小，曲線趨于平緩且平均識別率為95.14%，識別率高，可以有效識別天麻外觀缺陷。

圖3 迭代損失結(jié)果Fig.3 Iterative loss result

2.3 模型驗(yàn)證分析

為驗(yàn)證天麻表面破損識別模型的有效性，將測試集中的圖像輸入到已經(jīng)訓(xùn)練好的表面破損識別模型進(jìn)行識別率分析。選取測試集中700 幅圖像進(jìn)行一次性驗(yàn)證，驗(yàn)證結(jié)果如表2 所示。由表2可知：該模型的腐爛、霉變、機(jī)械損傷和完好樣本的平均識別率分別為92.93%、95.67%、93.49%、和91.89%，平均識別率均值為93.42%，查準(zhǔn)率為0.94，召回率為0.92。因此，所設(shè)計的殘差神經(jīng)網(wǎng)絡(luò)模型對天麻的腐爛、機(jī)械損傷、霉變和完好的圖像識別率高，可以準(zhǔn)確識別出天麻的外觀缺陷，縮短了檢測時間，提高了效率。識別結(jié)果如圖4 所示。

表2 驗(yàn)證結(jié)果Tab.2 Validation results

2.4 模型比較分析

為了表明本模型方法的優(yōu)越性，用本模型方法與SSD、Faster_rcnn_inception 與Rfcn_resnet101 3 種傳統(tǒng)神經(jīng)網(wǎng)絡(luò)識別方法進(jìn)行對比，如圖5所示。

由圖5 所示：本文提出的Fster R-CNN Resnet101 模型相較其他3 種模型隨著迭代次數(shù)的增加損失函數(shù)值逐漸降低，其損失值最低，該模型平均識別率為 95.14%。SSD、Faster_rcnn_inception 和Rfcn_ResNet101 的平均識別率分別為82.12%、84.45%和83.12%。相較于3 種模型，F(xiàn)aster R-CNN Resnet101 的識別率分別提高了13.02%和10.69%、12.02%，說明Faster R-CNN ResNet101 網(wǎng)絡(luò)模型能快速準(zhǔn)確定位識別目標(biāo)。

圖4 驗(yàn)證結(jié)果Fig.4 Validation results

3 討論

本研究針對傳統(tǒng)天麻表面破損檢測主要依靠人工檢測的問題，提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于天麻的表面破損識別中，建立了Faster R-CNN Res-Net101 的殘差神經(jīng)網(wǎng)絡(luò)天麻表面破損識別模型。

通過采集天麻4 種表面破損圖像，將采集到圖像進(jìn)預(yù)處理；通過CNN 結(jié)構(gòu)進(jìn)行圖像的特征提取，并生成特征圖，再將產(chǎn)生的特征圖利用RPN 網(wǎng)絡(luò)生成候選區(qū)域，并在池化層(ROI)將特征圖和候選區(qū)域進(jìn)行特征映射，最后進(jìn)行分類和回歸。Faster R-CNN ResNet101 網(wǎng)絡(luò)模型的平均識別準(zhǔn)確率為95.14%。

利用測試集進(jìn)行測試時，該模型對腐爛、霉變、機(jī)械損傷和完好的樣本識別的識別率分別為92.93%、95.67%、93.49%和91.89%，平均識別率為93.42%，查準(zhǔn)率為0.94，召回率為0.92。結(jié)果表明該模型針對天麻表面破損的實(shí)際問題，能一次性分選出腐爛、霉變、機(jī)械損傷和完好的天麻，精度高、處理速度快，一定程度上避免了常規(guī)方法中由人工主觀選取特征的不足。

通過與SSD、Faster_rcnn_inception 與Rfcn_resnet101 相比，F(xiàn)aster R-CNN ResNet101 識別率最高為95.14%，相對其他3 種網(wǎng)絡(luò)模型識別率提高了11%左右。

由于本研究只對天麻的4 種常見表面樣品進(jìn)行了研究分析，存在一定的局限性，為了使模型能更好地推廣應(yīng)用在農(nóng)產(chǎn)品中，下一步工作將收集大量的天麻表面破損圖像，對模型進(jìn)行優(yōu)化和調(diào)整，以提高天麻表面破損圖像識別的實(shí)用性和準(zhǔn)確性。

4 結(jié)論

本文針對傳統(tǒng)天麻表面破損主要依靠人工檢測的問題，提出利用殘差神經(jīng)網(wǎng)絡(luò)模型檢測方法識別天麻表面破損，平均識別率達(dá)95.14%，查準(zhǔn)率為0.94，召回率為0.92。與SSD、Faster_rcnn_inception 和Rfcn_resnet101 三種神經(jīng)網(wǎng)絡(luò)識別方法對比，識別精度分別提高了13.02%、10.69%和12.02%。該神經(jīng)網(wǎng)絡(luò)模型具有泛化能力強(qiáng)、準(zhǔn)確率較高和魯棒性較好等特點(diǎn)，為天麻表面破損的自動化檢測研究提供了參考和借鑒。