李志臣,凌秀軍,李鴻秋,李志軍

基于改進(jìn)ShuffleNet的板栗分級方法

李志臣1,凌秀軍1,李鴻秋1,李志軍2

1. 金陵科技學(xué)院機(jī)電工程學(xué)院, 江蘇 南京 211169 2. 五蓮縣松柏鎮(zhèn)農(nóng)業(yè)綜合服務(wù)中心, 山東 五蓮 262302

傳統(tǒng)的板栗分級方法主要依靠人工或機(jī)械的多級振動篩，不僅分級準(zhǔn)確率低而且容易把壞的板栗分成好的板栗。針對傳統(tǒng)板栗分級存在的問題，構(gòu)建輕量級的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)高精度的板栗的自動分級。在自然光條件下用小米Note9手機(jī)拍攝獲取包含優(yōu)等品、一等品、合格品、蟲蛀品和霉?fàn)€品板栗的5481幅圖像應(yīng)用于卷積網(wǎng)絡(luò)模型的訓(xùn)練、驗(yàn)證和測試。在學(xué)習(xí)的基礎(chǔ)上構(gòu)建了一個(gè)淺層卷積神經(jīng)網(wǎng)絡(luò)Shnet-1，Shnet-1由2個(gè)卷積模塊和4個(gè)構(gòu)成的板栗圖像特征提取網(wǎng)絡(luò)。特征提取網(wǎng)絡(luò)連接板栗分類器，分類器由全局平均池化層、隱含層和輸出層組成的多層感知器。為了實(shí)現(xiàn)板栗分類的最大精度和最小計(jì)算量，對Shnet-1模型的超參數(shù)進(jìn)行了優(yōu)化。將Shnet-1的分類性能與各種深度學(xué)習(xí)模型如AlexNet、Mnet-1、ResNet18進(jìn)行了比較分析。淺層卷積神經(jīng)網(wǎng)絡(luò)Shnet-1網(wǎng)絡(luò)模型應(yīng)用于板栗分級的準(zhǔn)確率達(dá)到98.90%，壞的板栗被分為好板栗的比例小于0.5%。Shnet-1的計(jì)算量小，板栗圖像分類時(shí)間為26 ms，其權(quán)重僅占488KB的物理存儲容量。改進(jìn)ShuffleNet的卷積神經(jīng)網(wǎng)絡(luò)模型Shnet-1模型能夠快速和準(zhǔn)確地完成對板栗的分級，為板栗的自動化分級提供了智能決策支持。

板栗分級;Net

對板栗進(jìn)行分級(分類)可增加板栗的附加值，傳統(tǒng)的板栗分級方法主要是人工或機(jī)械式的多級振動篩，勞動效率低、勞動強(qiáng)度大，不能區(qū)分蟲蛀和霉?fàn)€的壞板栗。結(jié)合圖像處理技術(shù)的機(jī)器視覺自動農(nóng)產(chǎn)品分級或者作物病害識別可以克服人工容易誤判、依賴經(jīng)驗(yàn)等缺點(diǎn)。馮斌設(shè)計(jì)的基于機(jī)器視覺的水果自動分級系統(tǒng)能智能輸出分類結(jié)果[1]。戴建民通過對圖像進(jìn)行中值濾波提取煙葉的長度、長寬比、圓形度、紋理等幾何特征，再加上煙葉的顏色特征，利用多特征模糊識別方法對煙葉分類的正確率可達(dá)到煙葉分級標(biāo)準(zhǔn)[2]。人工神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)能夠自動進(jìn)行圖像特征提取，在農(nóng)業(yè)檢測領(lǐng)域受到廣泛應(yīng)用。馬本學(xué)設(shè)計(jì)了基于殘差卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖像處理的干制哈密大棗外部品質(zhì)檢測系統(tǒng)，外部品質(zhì)檢測準(zhǔn)確率為93.13%，滿足干制哈密大棗品質(zhì)在線檢測裝備的生產(chǎn)需求[3]。彭文等以水稻田雜草為主要研究對象，利用多種結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)提取雜草特征和識別分類，結(jié)果顯示VGG16模型的精度最高[4]。彭旭等將標(biāo)準(zhǔn)化后以極坐標(biāo)表示的農(nóng)情數(shù)據(jù)編碼通過滑動窗口機(jī)制劃分子集，利用寬度卷積神經(jīng)網(wǎng)絡(luò)模型將每個(gè)子集數(shù)據(jù)重構(gòu)后矩陣進(jìn)行異常檢測，異常檢測準(zhǔn)確率均超過97.5%[5]。鄧向武提出了一種基于CNN與遷移學(xué)習(xí)相結(jié)合的稻田苗期雜草識別方法，該方法對稻田苗期雜草識別切實(shí)可行[6]。陸健強(qiáng)等提出一種基于Mixup算法和卷積神經(jīng)網(wǎng)絡(luò)的柑橘黃龍病果實(shí)識別模型進(jìn)行柑橘黃龍病果實(shí)圖像識別，模型識別準(zhǔn)確率可以達(dá)到91.38%[7]。樊湘鵬等在卷積層加入批標(biāo)準(zhǔn)化處理層，引入中心代價(jià)函數(shù)，對Faster R-CNN進(jìn)行改進(jìn)，采用隨機(jī)梯度下降算法優(yōu)化訓(xùn)練改進(jìn)后的網(wǎng)絡(luò)模型，實(shí)驗(yàn)結(jié)果表明將改進(jìn)后的Faster R-CNN算法用于田間復(fù)雜條件下的玉米病害智能診斷是可行的，具有較高的準(zhǔn)確率和較快的檢測速度[8]。王璨將卷積神經(jīng)網(wǎng)絡(luò)用于提取田間圖像的多尺度分層特征，將這些特征用于識別玉米苗與雜草的精確度較高[9]。李強(qiáng)改進(jìn)經(jīng)典CNN模型LeNet-5，獲得蔗芽平面位置識別的CNN模型，識別的準(zhǔn)確率達(dá)到92%[10]。謝圣橋設(shè)計(jì)了基于FasterR－CNN的毛桃目標(biāo)識別方法，能有效識別出疏果前期的毛桃目標(biāo)，模型具有較好的魯棒性和泛化能力[11]。朱德利用MobileNet提取多層特征并融合特征建立的MF-SSD卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于玉米穗絲的檢測，模型獲得很好的檢測效果[12]。

國內(nèi)針對板栗自動分級的研究開展的較早，在2005年，劉仕良應(yīng)用機(jī)器視覺技術(shù)與機(jī)電一體化技術(shù),對板栗實(shí)時(shí)條件下的視覺信息快速獲取與處理技術(shù)進(jìn)行了研究,設(shè)計(jì)了基于機(jī)器視覺的板栗精細(xì)分級裝置[13]。展慧在2010年研究了基于BP神經(jīng)網(wǎng)絡(luò)與板栗圖像特征的板栗分級方法，預(yù)測識別率達(dá)到了91.67%，還通過提取蟲眼邊緣特征向量，提出基于圖像處理技術(shù)識別蟲眼板栗的方法，方法的識別正確率可達(dá)88.9%[14-16]。Jiang通過圖像處理提取板栗的形狀特征參數(shù)，提出了一種基于決策融合的方法并利用神經(jīng)網(wǎng)絡(luò)進(jìn)行板栗自動分類的策略，提高了分類精度[17]。

上述板栗自動分級的研究的思路往往是根據(jù)圖像的顏色、紋理結(jié)構(gòu)采用邊緣檢測等方法，這些方法不能滿足自然條件下獲取的所有復(fù)雜背景圖像，最終的板栗分級精度不高。在研究中利用自然光源獲取板栗圖像，經(jīng)過圖像預(yù)處理后分為訓(xùn)練、驗(yàn)證和測試三組數(shù)據(jù)集，學(xué)習(xí)ShuffleNet的網(wǎng)絡(luò)架構(gòu)理念，設(shè)計(jì)了一個(gè)淺層卷積神經(jīng)網(wǎng)絡(luò)模型(Shnet-1)進(jìn)行板栗的分級，提高了板栗分級的準(zhǔn)確率。

1 材料與方法

1.1 板栗分級標(biāo)準(zhǔn)

根據(jù)中華人民共和國供銷社行業(yè)標(biāo)準(zhǔn)GH/T1029-2002的規(guī)定，板栗共分為優(yōu)等品、一等品和合格品三類，實(shí)際上板栗加工企業(yè)更關(guān)注霉?fàn)€和蟲蛀的板栗，這兩類板栗務(wù)必在加工前分揀出來而不能進(jìn)入加工環(huán)節(jié)，因此在標(biāo)準(zhǔn)GH/T1029-2002的基礎(chǔ)上，添加霉?fàn)€品和蟲蛀品，采集的板栗來自山東省五蓮縣的板栗果，分類標(biāo)準(zhǔn)見表1。

表 1 板栗分級標(biāo)準(zhǔn)

1.2 板栗圖像的獲取與預(yù)處理

從板栗加工企業(yè)選擇分級后的板栗成品5481粒，其中優(yōu)等品板栗1200粒、一等品板栗940粒、合格品板栗1162粒、蟲蛀品板栗1076粒，霉?fàn)€品板栗1103粒。用小米Note 9手機(jī)的攝像功能對這些板栗按級拍照，拍照時(shí)固定手機(jī)位置并且將板栗放置到一張白紙上，圖像分辨率為640像素(寬)*480像素(高)，圖1所示的就是所拍攝的板栗的優(yōu)等品(a)、一等品(b)、合格品(c)、蟲蛀品板栗(d)和霉?fàn)€品板栗(e)的原始圖像。

圖 1 板栗原始圖像

原始圖像的分辨率比較高，如果把全部像素的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，可能導(dǎo)致計(jì)算機(jī)顯存崩潰，輸入網(wǎng)絡(luò)時(shí)將圖像的分辨率縮減為224像素(寬)*224像素(高)。按照接近7:2:1的比例將5481幅圖像分成三組，一組為訓(xùn)練數(shù)據(jù)組，有圖像3839幅。第二組為驗(yàn)證數(shù)據(jù)組，有1095幅圖像，第三組為測試數(shù)據(jù)組，有547幅圖像。每一組的圖像分布如表2所示。

表 2 圖像數(shù)量分布

1.3 對比網(wǎng)絡(luò)模型

選擇AlexNet、ResNet、Mnet-1三個(gè)網(wǎng)絡(luò)模型進(jìn)行板栗的分級試驗(yàn)，將分級結(jié)果與改進(jìn)的ShuffleNet的卷積神經(jīng)網(wǎng)絡(luò)的板栗分級結(jié)果對比分析，從而選出最優(yōu)的用于板栗分級的卷積神經(jīng)網(wǎng)絡(luò)模型。

AlexNet使用ReLU作為CNN的激活函數(shù)，在全連接層使用了Dropout，使用最大池化，對局部神經(jīng)元的活動創(chuàng)建了競爭機(jī)制。AlexNet有5 797 317個(gè)參數(shù)，占用22 MB存儲空間。汪小旵運(yùn)用改進(jìn)AlexNet卷積網(wǎng)絡(luò)模型對基于葉綠素?zé)晒獬上窦夹g(shù)的番茄苗熱害脅迫進(jìn)行智能識別，模型的平均識別精度達(dá)98.8%[18]。金守峰運(yùn)用改進(jìn)的AlexNet模型對抓毛織物質(zhì)量進(jìn)行檢測，模型能夠提取抓毛織物表面特征并且模型的識別率高[19]。

ResNet是一個(gè)批歸一化的152層卷積的深層卷積神經(jīng)網(wǎng)絡(luò)模型，有11 252 036個(gè)參數(shù)。謝州益等學(xué)者針對傳統(tǒng)模型參數(shù)龐大的問題，提出一種基于ResNet18特征編碼器的圖像描述算法，對作物患病類型進(jìn)行識別并生成描述，模型算法描述細(xì)致準(zhǔn)確、魯棒性強(qiáng)[20]。張垚鑫以ResNet18為基礎(chǔ)構(gòu)建了一種用于識別不同部位羊肉的改進(jìn)ResNet18網(wǎng)絡(luò)模型，將ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積用深度可分離卷積替換后減少了參數(shù)量，改進(jìn)的網(wǎng)絡(luò)模型對羊肉部位識別的準(zhǔn)確率高達(dá)97.92%[21]。

Mnet-1是作者設(shè)計(jì)的一個(gè)改進(jìn)的MobileNet用于板栗分級淺層卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)采用中間大兩頭小的倒殘差結(jié)構(gòu)，采用了ReLU6激活函數(shù)，倒殘差結(jié)構(gòu)的最后一層的卷積采用了線性的激活函數(shù)，Mnet-1的最大優(yōu)點(diǎn)是占用資源少，可用于嵌入式設(shè)備。

1.4 基于改進(jìn)ShuffleNet的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

ShuffIeNet是一個(gè)作為輕量級卷積神經(jīng)網(wǎng)絡(luò)模型，模型復(fù)雜度低，適用場景廣，為了在保證精度的情況下減少網(wǎng)絡(luò)參數(shù)量，ShuffIeNet采用分組卷積。假設(shè)特征圖有個(gè)，分成個(gè)組，每個(gè)組的/個(gè)特征圖分別卷積處理后再進(jìn)行合并，這種操作就是分組卷積。無論ShuffIeNet的V1版還是V2版，卷積層還是很多，容易過擬合[22,23]，反而使板栗分級的精度降低，所以正確使用ShuffIeNet的方法就是在其基礎(chǔ)上改進(jìn)以適應(yīng)板栗分級的需求。

綜合考慮板栗分類準(zhǔn)確率、分類速度以及網(wǎng)絡(luò)模型所占物理存儲的大小，在學(xué)習(xí)的基礎(chǔ)上設(shè)計(jì)了一個(gè)淺層CNN(Shnet-1，圖2(a))，網(wǎng)絡(luò)Shnet-1的輸入圖像的分辨率是224*224像素，有R、G、B三個(gè)通道，圖像首先進(jìn)行卷積，卷積核大小為3*3，步距為2，有24個(gè)卷積核，輸出為112*112*24，卷積后經(jīng)過批歸一化和Relu函數(shù)激活后輸入Maxpool作3*3、步距=2的最大池化處理，經(jīng)池化處理后輸出的特征矩陣形狀是56*56*24。

批歸一化(Batch Normalization，BN)的目的使一批特征矩陣的每一個(gè)特征圖滿足均值為0、方差為1的分布規(guī)律，通過批歸一化，能夠加速網(wǎng)絡(luò)的訓(xùn)練和提升網(wǎng)絡(luò)的收斂速度以及提升板栗分類準(zhǔn)確率。

1.4.1 求均值

u第個(gè)批特征圖均值。

1.4.2 求方差

u第個(gè)批特征圖方差。

1.43 歸一化

56*56*24的特征圖輸入Shuffle1，Shuffle1的結(jié)構(gòu)如圖2(b)所示，輸入的特征圖首先經(jīng)過shufflesplit分組，分組的目的是為了采用不同的卷積核再對各個(gè)組進(jìn)行卷積，從而降低卷積的計(jì)算量，減少權(quán)重占用空間。分組后的主線先經(jīng)過第一次組卷積(group convolution，GConv)，組卷積后批歸一化，用的激活函數(shù)為Relu函數(shù)(GConvBnRelu)，見公式5。GConv層后不同組之間的特征圖是不通信的，各組之間是獨(dú)立的，沒有信息交流。為了解決這個(gè)問題，第一次GConv后進(jìn)行channel shuffle操作，就是將組之間的特征進(jìn)行交換，使得每個(gè)組包含了其他組的特征，從而實(shí)現(xiàn)不同信道組之間的信息通信，提高了板栗圖像特征提取的準(zhǔn)確性。為了進(jìn)一步提取板栗的特征細(xì)節(jié)，shuffle操作后進(jìn)行深度可分離卷積(Depthwise Separable Convolution，Dwc)操作，Dwc操作主要是降低傳統(tǒng)卷積的計(jì)算復(fù)雜度，卷積核大小為3*3，步距等于2，卷積后經(jīng)過BN操作。DwcBN后的板栗圖像特征矩陣再次GConvBnRelu完成主線操作。

在主線的DwcBN，步距等于2，而特征圖大小減小，輸入與輸出的特征圖的形狀不一致。因此Shuffle1殘差單元(分支)安排一個(gè)核大小為3*3、步距等于2的平均池化層(3*3Apool),從而使得主線和分支的輸出特征圖的形狀一致才能用Concat聯(lián)接輸出，輸出為28*28*116.

Shuffle2、Shuffle3和Shuffle4的結(jié)構(gòu)形狀與Shuffle1相同，但是DwcBN的步距等于1，分支沒有平均池化層。4個(gè)Shuffle后的板栗特征圖進(jìn)一步經(jīng)過128個(gè)卷積核、核大小為1*1的卷積(圖2(a)的Conv5)，至此完成板栗圖像的特征提取。

圖 2 Shnet-1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

分類器是一個(gè)多層感知器(Multilayer Perceptron，MLP)，MLP包括一個(gè)全局平均池化層(GAP)、一個(gè)隱藏層和一個(gè)輸出層，不同于Shufflenet的分類器，設(shè)計(jì)的Shnet-1增加了一個(gè)隱藏層，根據(jù)公式(6)計(jì)算隱藏層神經(jīng)元個(gè)數(shù)為316。板栗共有優(yōu)等品、一等品、合格品、霉?fàn)€和蟲蛀品5類，所以修改Shufflenet的輸出層的1 000個(gè)神經(jīng)元為5個(gè)神經(jīng)元，。Shnet-1的超參數(shù)如學(xué)習(xí)率、迭代次數(shù)和優(yōu)化函數(shù)在第2部分介紹。

=max(0,)(5)

式中：—隱含層的神經(jīng)元個(gè)數(shù)；—輸入層神經(jīng)元個(gè)數(shù)；—輸出層神經(jīng)元個(gè)數(shù)；—常數(shù)，設(shè)計(jì)中令=0。

2 網(wǎng)絡(luò)模型的訓(xùn)練與驗(yàn)證

2.1 環(huán)境與數(shù)據(jù)導(dǎo)入

4個(gè)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證的操作系統(tǒng)為Window10，深度學(xué)習(xí)軟件框架為TensorFlow.keras。訓(xùn)練和驗(yàn)證的硬件環(huán)境CPU型號為AMD-Ryzen-5-3550H，內(nèi)存為16 G，主頻2.1 GHZ。不使用GPU。

程序設(shè)計(jì)采用python語言，運(yùn)用Keras的image_dataset_from_directory函數(shù)導(dǎo)入訓(xùn)練、驗(yàn)證和測試數(shù)據(jù)并在數(shù)據(jù)加載的同時(shí)打亂數(shù)據(jù)，將label_mode參數(shù)設(shè)置為categorical，從而使得圖像數(shù)據(jù)自動生成標(biāo)簽向量，每批處理的數(shù)據(jù)為32幅圖像，對導(dǎo)入的圖像數(shù)據(jù)作歸一化處理。

2.2 訓(xùn)練和驗(yàn)證

分別以訓(xùn)練組和驗(yàn)證組的板栗圖像對卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet、ResNet18、Mnet-1和Shnet-1進(jìn)行訓(xùn)練和驗(yàn)證。根據(jù)以往對卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于農(nóng)產(chǎn)品分級的研究中發(fā)現(xiàn)，在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，自適應(yīng)矩估計(jì)(Adaptive moment estimation,Adam)優(yōu)化器是最優(yōu)的優(yōu)化函數(shù)，動量因子設(shè)置為0.9。學(xué)習(xí)率過大會造成網(wǎng)絡(luò)無法收斂，在最優(yōu)值附近振蕩，通過手動人工調(diào)整學(xué)習(xí)率的方法發(fā)現(xiàn)，當(dāng)學(xué)習(xí)率為0.001時(shí)板栗分類的綜合效果最好。模型訓(xùn)練迭代次數(shù)為75次，損失函數(shù)為對數(shù)交叉熵?fù)p失。訓(xùn)練和驗(yàn)證的準(zhǔn)確率以及損失見圖3，橫坐標(biāo)是訓(xùn)練和驗(yàn)證的迭代次數(shù)(epoch)。損失值反映了模型的擬合能力，損失越低，代表卷積神經(jīng)網(wǎng)絡(luò)模型擬合的能力越強(qiáng)。

ResNet18在板栗的訓(xùn)練與驗(yàn)證過程中，表現(xiàn)出不穩(wěn)定的狀態(tài)，準(zhǔn)確率和損失一直處于波動狀態(tài)。AlexNet的訓(xùn)練和驗(yàn)證準(zhǔn)確率在迭代60次后處于穩(wěn)定，訓(xùn)練的損失在0.93附近，驗(yàn)證損失接近于1。Mnet-1在epoch=50時(shí)，訓(xùn)練準(zhǔn)確率達(dá)到最高值1，訓(xùn)練損失達(dá)到最低值的0.5，驗(yàn)證準(zhǔn)確率達(dá)到0.97，驗(yàn)證損失為0.62并且一直保持穩(wěn)定。Shnet-1在epoch=50時(shí)訓(xùn)練準(zhǔn)確率達(dá)到極值1并保持穩(wěn)定，驗(yàn)證準(zhǔn)確率達(dá)到99%，訓(xùn)練損失達(dá)到最低值的0.38，驗(yàn)證損失為0.42。

表3是四種卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練和驗(yàn)證的性能參數(shù)，隨著網(wǎng)絡(luò)深度的增加，參數(shù)量和訓(xùn)練時(shí)間增加，ResNet18每個(gè)epoch訓(xùn)練和驗(yàn)證時(shí)間為11 min，75次迭代的時(shí)間達(dá)到13.7 h，Shnet-1每個(gè)epoch的訓(xùn)練和驗(yàn)證時(shí)間為1.43 min，75次迭代的時(shí)間達(dá)到1.8 h，Shnet-1的權(quán)重存儲只占488 KB，單幅板栗的分級識別時(shí)間僅用26 ms。

表 3 四種卷積網(wǎng)絡(luò)模型的性能對比

綜合板栗圖像的分類訓(xùn)練和驗(yàn)證的準(zhǔn)確率以及損失，卷積網(wǎng)絡(luò)模型ResNet18不適合板栗的分級應(yīng)用?；赟huffIeNet改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型Shnet-1在訓(xùn)練和驗(yàn)證集上損失值波動很小且達(dá)到最低值0.40左右，證明該模型相比基于MobileNet改進(jìn)的Mnet-1和AlexNet網(wǎng)絡(luò)模型泛化能力強(qiáng)。Shnet-1的訓(xùn)練和驗(yàn)證準(zhǔn)確率是最高的，占用存儲空間和圖像識別時(shí)間是最低的，這也說明Shnet-1的學(xué)習(xí)效果是最好的。

3 網(wǎng)絡(luò)模型的測試

3.1 評價(jià)指標(biāo)的選擇

混淆矩陣可以很好地展示分級的類型和分布，通過混淆矩陣計(jì)算網(wǎng)絡(luò)模型的相關(guān)評估指標(biāo)如準(zhǔn)確率、召回率和特異度。準(zhǔn)確率廣泛地應(yīng)用于分類的評估中，準(zhǔn)確率是最直觀的評價(jià)指標(biāo)，反映的是預(yù)測正確的樣本數(shù)占全部總樣本個(gè)數(shù)的比例，針對的是所有樣本的統(tǒng)計(jì)量(公式7)，但當(dāng)出現(xiàn)樣本不均衡的情況時(shí)，準(zhǔn)確率并不能合理反映模型的預(yù)測能力。召回率克服了準(zhǔn)確率的缺陷(公式8)，特異度指標(biāo)在一些嚴(yán)格要求不能漏檢異常樣本的任務(wù)中比較有意義(公式9)，在板栗的分級中，霉?fàn)€和蟲蛀板栗不能被分為優(yōu)等品、合格品或者一等品板栗。在混淆矩陣中，檳榔分級正確的有兩個(gè)參數(shù)，一個(gè)是正確預(yù)測為正樣本的數(shù)量(True Positive, TP)，另一個(gè)是正確預(yù)測為負(fù)樣本的數(shù)量(True Negative，TN)；檳榔分級錯(cuò)誤的也有兩個(gè)參數(shù)，一個(gè)是錯(cuò)誤的預(yù)測為正樣本的數(shù)量(False Positive，F(xiàn)P)，另一個(gè)是錯(cuò)誤地預(yù)測為負(fù)樣本的數(shù)量(False Negative, FN)。

=(+)/(+++)(7)

=/(+)(8)

=/(+)(9)

圖 3 四個(gè)網(wǎng)絡(luò)模型訓(xùn)練和驗(yàn)證的準(zhǔn)確率和損失

3.2 模型對比分析

將訓(xùn)練好的AlexNet、Mnet-1和Shnet-1三個(gè)網(wǎng)絡(luò)模型用于板栗的分級測試，測試板栗圖像為測試數(shù)據(jù)組的547幅圖像，3個(gè)網(wǎng)絡(luò)模型測試結(jié)果的混淆矩陣如表4所示，測試結(jié)果的性能指標(biāo)如表5所示。

如果把優(yōu)等品、一等品和合格品板栗稱為好板栗，把霉?fàn)€品和蟲蛀品板栗稱為壞板栗，那么就板栗加工企業(yè)的要求而言，壞板栗是不能被分為好板栗的，否則就損害消費(fèi)者利益，從而影響企業(yè)聲譽(yù)。為了增加企業(yè)利潤，好板栗分為壞板栗的比例要小。AlexNet模型對好板栗分級準(zhǔn)確率為94.8%，對壞板栗分級準(zhǔn)確率為94%，5粒霉?fàn)€板栗被預(yù)測為一等品，2粒霉?fàn)€板栗被預(yù)測為合格品，共占霉?fàn)€板栗的6.4%。

Mnet-1在547幅板栗圖像的分級中，優(yōu)等品板栗全都被正確分級，一等品板栗有6粒被分錯(cuò)，其中3粒被分成了合格品、3粒被分成了霉?fàn)€品，合格品板栗有7粒被分錯(cuò)，其中6粒被分成了一等品、1粒被分成了蟲蛀品，蟲蛀品板栗僅有1粒被錯(cuò)誤地分成霉?fàn)€品，霉?fàn)€品板栗有4粒被分錯(cuò)，其中1粒被分成了一等品(低于1%)、3粒被分成了蟲蛀品。壞的板栗被分為好板栗的比例為0.18%。

Mnet-1模型對好板栗分級準(zhǔn)確率為98.8%，對壞板栗分級準(zhǔn)確率為99.5%。Mnet-1模型測試的整體分類識別準(zhǔn)確率為98.68%。Mnet-1模型權(quán)重占用1.63 MB的存儲容量，單張板栗圖像的識別分級時(shí)間33 ms。

Shnet-1在547幅板栗圖像的分級中，優(yōu)等品板栗全都被正確分級，一等品板栗有2粒被分錯(cuò)為霉?fàn)€品，合格品板栗有10粒被分錯(cuò)，合格品的誤判率較高，其中9粒被分成了一等品、1粒被分成了蟲蛀品，實(shí)際上有小部分合格品板栗與一等品板栗外形特征十分接近，所以模型識別困難，其它三個(gè)模型也有類似現(xiàn)象，人工篩分級有少部分的一等品板栗和合格品板栗界限也很模糊。蟲蛀品板栗僅有1粒被錯(cuò)誤地分成霉?fàn)€品，霉?fàn)€品板栗有2粒被分錯(cuò)，其中1粒被分成了一等品(低于1%)、1粒被分成了蟲蛀品。壞的板栗被分為好板栗的比例為0.18%。

Shnet-1模型對好板栗分級準(zhǔn)確率為99.1%，對壞板栗分級準(zhǔn)確率為99.5%。優(yōu)等品板栗的分級準(zhǔn)確率為100%，一等品板栗分類識別準(zhǔn)確率為97.87%，合格品板栗分類識別準(zhǔn)確率為91.38%，蟲蛀品板栗分類識別準(zhǔn)確率為99.07%，霉?fàn)€品板栗分類識別準(zhǔn)確率為98.18%，Shnet-1模型測試的整體分類識別準(zhǔn)確率為98.90%。Shnet-1模型對板栗分級的準(zhǔn)確率、和召回率的值都超過97%，特異度的值都超過99%，說明壞板栗的漏檢率很低，所以基于Adam優(yōu)化的Shnet-1模型對板栗分級的效果好。Shnet-1的參數(shù)總量是65 009，Shnet-1的模型的深度小，參數(shù)總數(shù)和所占用的空間也小，最終的模型權(quán)重占用488 KB的存儲容量，單幅板栗圖像的識別分級時(shí)間只有26 ms，滿足嵌入式設(shè)備的要求。

CNN的層數(shù)增加，模型的復(fù)雜性也增加，參數(shù)的總數(shù)呈指數(shù)級增長又會導(dǎo)致增加了存儲空間，但是增加了深度并不能提高模型的性能。較深的卷積神經(jīng)網(wǎng)絡(luò)對于板栗的分級訓(xùn)練出現(xiàn)特征消失、過擬合和速度慢等問題，卷積網(wǎng)絡(luò)層數(shù)多反而降低了板栗分級的準(zhǔn)確率，ResNet18，AlexNet卷積神經(jīng)網(wǎng)絡(luò)不適和板栗分級的應(yīng)用。因?yàn)榘謇鯃D像特征并不復(fù)雜，比ImageNet數(shù)據(jù)庫中的圖像簡單的多，針對板栗圖像的分級，深度卷積網(wǎng)絡(luò)結(jié)構(gòu)是不必要的。根據(jù)對比，Shnet-1對板栗的分級具有最高的準(zhǔn)確率，其它的指標(biāo)相對于深層模型AlexNet和Mnet-1同樣具有較高的比率，所以Shnet-1模型針對板栗分級的性能是最高的。

表 4 神經(jīng)網(wǎng)絡(luò)模型的混淆矩陣

表 5 網(wǎng)絡(luò)模型的性能指標(biāo)

4 結(jié)論

以板栗待加工品為對象，吸收ShuffleNet的網(wǎng)絡(luò)優(yōu)勢，設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型Shnet-1對板栗的優(yōu)等品、一等品、合格品、蟲蛀品和霉?fàn)€品5類板栗進(jìn)行分級檢測。Shnet-1模型對板栗分級檢測的準(zhǔn)確識別率高達(dá)98.90%，其中對優(yōu)等品、一等品、合格品、蟲蛀品和霉?fàn)€品的識別率分別達(dá)到了100%、97.87%、91.38%、99.07%和98.18%。通過與AlexNet、Mnet-1、ResNet18三種卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、驗(yàn)證和測試的對比，Shnet-1卷積神經(jīng)網(wǎng)絡(luò)模型算法能有效提高板栗分級檢測識別的準(zhǔn)確率，降低了壞板栗識別為好板栗的誤識率。

模型不依賴高端的計(jì)算設(shè)備就能進(jìn)行實(shí)時(shí)的板栗分級檢測，Shnet-1吸收ShuffleNet神經(jīng)網(wǎng)絡(luò)模型算法優(yōu)點(diǎn)，具有準(zhǔn)確率高、權(quán)重空間小、計(jì)算功耗低、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)，易于部署在移動端和嵌入式設(shè)備中。為實(shí)現(xiàn)板栗分級檢測的自動化控制提供了基礎(chǔ)，具有一定的商業(yè)與工業(yè)價(jià)值。

在今后的工作中，可進(jìn)一步研究增強(qiáng)模型的適用性和網(wǎng)絡(luò)參數(shù)的自適應(yīng)調(diào)節(jié)，增加更多數(shù)量的各級原始板栗圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，提高模型的泛化能力,進(jìn)一步減少壞板栗識別為好板栗的比率。

[1] 馮斌,汪懋華.基于計(jì)算機(jī)視覺的水果大小檢測方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2003,34(1):73-75

[2] 戴建民,曹鑄,孔令華,等.基于多特征模糊識別的煙葉品質(zhì)分級算法[J].江蘇農(nóng)業(yè)科學(xué),2020,48(20):241-247

[3] 馬本學(xué),李聰,李玉潔,等.基于殘差網(wǎng)絡(luò)和圖像處理的干制哈密大棗外部品質(zhì)檢測[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2021,52(11):358-366

[4] 彭文,蘭玉彬,岳學(xué)軍,等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻田雜草識別研究[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2020,41(6):75-81

[5] 彭旭,饒?jiān)?喬焰.基于寬度卷積神經(jīng)網(wǎng)絡(luò)的異常農(nóng)情數(shù)據(jù)檢測方法[[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2022,43(2):113-121

[6] 鄧向武,馬旭,齊龍,等.基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的稻田苗期雜草識別[J].農(nóng)機(jī)化研究,2021,43(10):167-171

[7] 陸健強(qiáng),林佳翰,黃仲強(qiáng),等.基于Mixup算法和卷積神經(jīng)網(wǎng)絡(luò)的柑橘黃龍病果實(shí)識別研究[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2021,42(3):94-101

[8] 樊湘鵬,周建平,許燕.基于改進(jìn)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的田間玉米葉部病害識別[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2020,41(6):82-91

[9] 王璨,武新慧,李志偉.基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征識別玉米雜草[J].農(nóng)業(yè)工程學(xué)報(bào),2018,34(5):144-151

[10] 李強(qiáng),劉姣娣,許洪振,等.基于卷積神經(jīng)網(wǎng)絡(luò)的蔗芽識別定位[J].農(nóng)機(jī)化研究,2022,44(7):27-32

[11] 謝圣橋,宋健,湯修映,等.基于深度學(xué)習(xí)的機(jī)器人疏果前毛桃目標(biāo)識別方法[J].農(nóng)機(jī)化研究,2023,45(8):183-187

[12] 朱德利,林智健.基于MF-SSD卷積神經(jīng)網(wǎng)絡(luò)的玉米穗絲目標(biāo)檢測方法[[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2020,41(6):109-118

[13] 劉仕良.基于機(jī)器視覺的板栗分級設(shè)備研究[D].北京:北方工業(yè)大學(xué),2005

[14] 展慧,李小昱,王為,等.基于機(jī)器視覺的板栗分級檢測方法[J].農(nóng)業(yè)工程學(xué)報(bào),2010,26(4):327-331

[15] 展慧,李小昱,王為,等.蟲眼板栗的圖像識別方法研究[J].農(nóng)機(jī)化研究,2010,32(8):121-124

[16] 展慧,李小昱,周竹,等.基于近紅外光譜和機(jī)器視覺融合技術(shù)的板栗缺陷檢測[J].農(nóng)業(yè)工程學(xué)報(bào),2011,27(2):327-331.345-349

[17] Jiang YJ. Automatic classification of chestnuts based on decision fusion [C]. 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010), IPCSIT vol. 53 (2012)?(2012) IACSIT Press,Singapore,DOI: 10.7763/IPCSIT.2012.V53.No.2.59

[18] 汪小旵,吳忠賢,孫曄,等.基于葉綠素?zé)晒獬上窦夹g(shù)的番茄苗熱害脅迫智能識別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(7):171-179

[19] 金守峰,侯一澤,焦航,等.基于改進(jìn)AlexNet模型的抓毛織物質(zhì)量檢測方法[J].紡織學(xué)報(bào),2022,43(6):134-139

[20] 謝州益,馮亞枝,胡彥蓉,等.基于Res Net18特征編碼器的水稻病蟲害圖像描述生成[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(12):197-206

[21] 張垚鑫,朱榮光,孟令峰,等.改進(jìn)ResNet18網(wǎng)絡(luò)模型的羊肉部位分類與移動端應(yīng)用[J].農(nóng)業(yè)工程學(xué)報(bào),2021,37(18):331-338

[22] 曾華福,楊杰,李林紅.基于改進(jìn)ShuffleNet v1的服裝圖像分類算法[J].現(xiàn)代紡織技術(shù),2023,31(2):23-35

[23] 彭紅星,徐慧明,劉華鼐.基于改進(jìn)ShuffIeNet V2的輕量化農(nóng)作物害蟲識別模型[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(11):161-170

Chestnut Grading Method Based on Improved ShuffleNet

LI Zhi-chen1, LING Xiu-jun1, LI Hong-qiu1, LI Zhi-jun2

1.211169,2.262302,

The traditional chestnut grading method mainly relies on manual or mechanical multi-stage vibrating screens, which not only have low grading accuracy but also easily divide bad chestnuts into good ones. In response to the problems in chestnut grading, a lightweight convolutional neural network was constructed to achieve high-precision automatic grading of chestnuts. Under natural light conditions, a total of 5481 images of high-quality, first-class, qualified, worm-eaten, and moldy chestnuts were captured using a Xiaomi Note9 mobile phone and applied to the training, validation, and testing of convolutional network models. On the basis of learning ShuffleNet, a shallow convolutional neural network Shnet-1 was constructed. Shnet-1 is a chestnut image feature extraction network composed of two convolutional modules and four Shuffles. The feature extraction network connects the Chinese chestnut classifier. The classifier is a multilayer perceptron composed of a global average pooling layer, a hidden layer and an output layer. In order to achieve the maximum accuracy and minimum amount of calculation of chestnut classification, the hyperparameter of Shnet-1 model was optimized. The classification performance of Shnet-1 was compared and analyzed with various deep learning models such as AlexNet, Mnet-1, and ResNet18. The accuracy of applying the shallow convolutional neural network Shnet-1 network model to chestnut grading reaches 98.90%, and the proportion of bad chestnuts being classified as good chestnuts is less than 0.5%. The computational complexity of Shnet-1 is small, with a classification time of 26 ms for chestnut images, and its weight only accounts for 488KB of physical storage capacity. The improved ShuffleNet convolutional neural network model Shnet-1 can quickly and accurately grade chestnuts, providing intelligent decision support for automatic grading of chestnuts.

Chestnut grading;Net

TS736+.4

A

1000-2324(2023)02-0299-09

10.3969/j.issn.1000-2324.2023.02.020

2023-02-28

2023-03-11

國家自然科學(xué)基金面上項(xiàng)目(51775270)

李志臣(1970-),男,博士研究生,副教授,主要從事機(jī)電一體化研究. E-mail:lzc@jit.edu.cn