李志臣，凌秀軍，李鴻秋

(金陵科技學(xué)院機(jī)電工程學(xué)院,南京市,211169)

0 引言

檳榔在我國(guó)是一種常見食品,產(chǎn)值已達(dá)到了700多億元。檳榔加工品的人工分級(jí)存在一些問題,如工作強(qiáng)度大、勞動(dòng)效率低,人工的主觀意識(shí)、經(jīng)驗(yàn)和身心狀況等因素會(huì)影響分級(jí)的準(zhǔn)確性,因此探索機(jī)械化分級(jí)對(duì)于檳榔加工企業(yè)來說是一個(gè)重要的課題。檳榔加工品在上市前需要進(jìn)行分級(jí),以保證產(chǎn)品的質(zhì)量和市場(chǎng)競(jìng)爭(zhēng)力。采用機(jī)器分級(jí)可大幅提高分級(jí)的準(zhǔn)確度和效率,增加檳榔加工企業(yè)的生產(chǎn)效益和競(jìng)爭(zhēng)力,提高企業(yè)的自動(dòng)化水平和技術(shù)先進(jìn)性,促進(jìn)檳榔產(chǎn)業(yè)的發(fā)展。機(jī)器視覺通過光學(xué)設(shè)備獲取圖像,對(duì)圖像進(jìn)行處理并提取特征信息,實(shí)現(xiàn)對(duì)檳榔的自動(dòng)檢測(cè)分級(jí),是檳榔機(jī)械化分級(jí)的前提。

近年來,機(jī)器視覺廣泛應(yīng)用于農(nóng)產(chǎn)品分級(jí)和病蟲害檢測(cè)領(lǐng)域,并取得較好的研究進(jìn)展。王珊等[1]將葉片按照病斑面積的占比,通過對(duì)病斑縱向擴(kuò)展長(zhǎng)度的測(cè)量,將其與健康葉片的縱向長(zhǎng)度進(jìn)行比較,得到有效的健康葉片和病害葉片的分類結(jié)果。孫俊等[2]設(shè)計(jì)一種新的CNN模型檢測(cè)植物葉片病害,該模型特點(diǎn)是批歸一化和全局池化。Przybyo等[3]應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)提取橡子的局部特征與全局特征,用來檢測(cè)橡子,達(dá)到將健康與變質(zhì)橡子分類的目標(biāo)。張思雨等[4]在卷積神經(jīng)網(wǎng)絡(luò)損失中加入二次函數(shù)與正態(tài)分布模型,結(jié)合自適應(yīng)學(xué)習(xí)率,混合使用梯度下降與梯度上升更新網(wǎng)絡(luò),花生檢測(cè)的正確識(shí)別率達(dá)99%以上。王璨等[5]將卷積神經(jīng)網(wǎng)絡(luò)引入了多尺度分層特征提取的機(jī)制,該方法可以準(zhǔn)確地識(shí)別田間圖像中的玉米苗和雜草,能夠有效地提高農(nóng)業(yè)生產(chǎn)的效率。石洪康等[6]采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行家蠶病害圖像的識(shí)別研究,準(zhǔn)確率達(dá)到94%以上。何欣等[7]通過引入多尺度卷積核組合的方式改進(jìn)CNN的底層響應(yīng),提出的多尺度的殘差神經(jīng)網(wǎng)絡(luò)模型算法應(yīng)用于葡萄葉片病害的識(shí)別,正確識(shí)別率超過90%。趙騰飛等[8]優(yōu)化設(shè)計(jì)CNN的參數(shù)增強(qiáng)了模型的泛化性和魯棒性,針對(duì)核桃仁的分類正確率接近100%。許月明等[9]利用主成分分析法對(duì)獲取的檳榔圖像的顏色、形狀和紋理特征進(jìn)行分析,利用支持向量機(jī)(SVM)進(jìn)行檳榔分類,達(dá)到了較好的效果。李振亞[10]將檳榔圖像送入CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)檳榔圖像的內(nèi)外輪廓特征并對(duì)圖像進(jìn)行分割,對(duì)分割后的圖像進(jìn)行檳榔片的長(zhǎng)、寬等參數(shù)測(cè)量并判斷是否去核,以此來判斷檳榔的品質(zhì)等級(jí),有效地提高了檳榔分級(jí)準(zhǔn)確率。這些對(duì)檳榔的分類研究需要計(jì)算顏色、形狀、輪廓等物理參數(shù),增加了分類時(shí)圖像處理在時(shí)間和內(nèi)存上的消耗。

卷積神經(jīng)網(wǎng)絡(luò)可對(duì)農(nóng)產(chǎn)品準(zhǔn)確分類和實(shí)現(xiàn)農(nóng)作物病蟲害的有效識(shí)別。通過把圖像全像素作為輸入數(shù)據(jù),設(shè)計(jì)合適的卷積神經(jīng)網(wǎng)絡(luò)和調(diào)整網(wǎng)絡(luò)的參數(shù),最終達(dá)到可靠的檳榔分級(jí)結(jié)果,為以機(jī)器視覺技術(shù)檢測(cè)檳榔的機(jī)器分揀打下良好的基礎(chǔ)。在研究中利用自然光源獲取檳榔圖像,經(jīng)過圖像預(yù)處理后分為訓(xùn)練、驗(yàn)證和測(cè)試三組數(shù)據(jù)集,設(shè)計(jì)一個(gè)基于Adam優(yōu)化的淺層卷積神經(jīng)網(wǎng)絡(luò)模型(SCNN)進(jìn)行檳榔的分級(jí),通過調(diào)整學(xué)習(xí)率參數(shù)獲得最佳的卷積神經(jīng)網(wǎng)絡(luò)模型并開展對(duì)檳榔分級(jí)的試驗(yàn)。

1 圖像獲取與處理

1.1 圖像獲取與預(yù)處理

不同地區(qū)對(duì)檳榔的分級(jí)標(biāo)準(zhǔn)可能略有不同,但大體上都會(huì)根據(jù)檳榔的大小、形狀以及表面紋路等特征進(jìn)行分類,檳榔分級(jí)的從業(yè)人員一般按照以下傳統(tǒng)為檳榔分級(jí):表面有明顯的究頭,縱向和橫向紋路很深,長(zhǎng)度一般大于55 mm的是檳榔特級(jí)果(極品);表面紋路深且比例相對(duì)均勻,長(zhǎng)度一般大于50 mm的是檳榔一級(jí)果(金條);檳榔表面紋路相對(duì)較淺、較光滑且肚子的直徑比較大,長(zhǎng)度一般大于25 mm的是檳榔二級(jí)果(泡果);長(zhǎng)度小于25 mm的是檳榔三級(jí)果(小果)[9]。

從檳榔加工企業(yè)選擇分級(jí)后的檳榔成品1 698粒,在檳榔分級(jí)的數(shù)據(jù)采集方面,采用了小米Note9手機(jī)拍照,為保證圖像清晰度和背景一致性,固定手機(jī)的位置,檳榔背景為白紙,共拍得1 698幅分辨率為像素1 200(寬)×1 600(高)的板栗圖像,采集的圖像信息以RGB形式儲(chǔ)存。特級(jí)、一級(jí)、二級(jí)和三級(jí)檳榔的原始圖像如圖1所示。為能夠使網(wǎng)絡(luò)模型具備更好的適應(yīng)性,圖像拍攝時(shí)對(duì)拍攝環(huán)境無嚴(yán)格要求,有的圖像有陰影并且背景并不完全一致,原始圖像的分辨率比較高。如果把全部像素的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入,可能導(dǎo)致計(jì)算機(jī)內(nèi)存崩潰,所以先將圖像裁剪,裁剪后的檳榔圖像如圖2所示。為防止網(wǎng)絡(luò)模型在訓(xùn)練時(shí)過擬合現(xiàn)象,通過增強(qiáng)的方式擴(kuò)大訓(xùn)練與驗(yàn)證圖像數(shù)據(jù)集,增強(qiáng)的參數(shù)設(shè)置主要有3個(gè),隨機(jī)旋轉(zhuǎn)的角度范圍:rotation_range=10;圖片水平偏移的幅度:width_shift_range=0.1;圖片豎直偏移的幅度:height_shift_range=0.05。原始檳榔和增強(qiáng)圖像共有3 396幅。

(a) 特級(jí)

(a) 特級(jí)

1.2 圖像分組

將3 396幅圖像分成三組,一組為訓(xùn)練數(shù)據(jù)圖像,共2 380幅;第二組為驗(yàn)證數(shù)據(jù)組,共760幅圖像;第三組為測(cè)試數(shù)據(jù)組,共256幅圖像。每一組的圖像分布如表1所示,將三組圖像分別保存在train、val和test文件夾,為了自動(dòng)獲取標(biāo)簽值,將特級(jí)、一級(jí)、二級(jí)和三級(jí)檳榔圖像分別保存在名稱為0、1、2和3的文件夾。

表1 圖像數(shù)量分布

2 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的能力能夠自動(dòng)提取海量數(shù)據(jù)的特征[11],為檳榔的分類提供方便。相對(duì)于BP神經(jīng)網(wǎng)絡(luò)需要海量圖像數(shù)據(jù)訓(xùn)練才能獲得高準(zhǔn)確率的網(wǎng)絡(luò)模型,基于深度學(xué)習(xí)的CNN可以在小樣本圖像數(shù)據(jù)的前提下獲得較高的準(zhǔn)確率[12]。

設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和多層感知器(MLP)鏈接而成,網(wǎng)絡(luò)中的卷積層和池化層有多個(gè)。圖像的卷積運(yùn)算就是對(duì)圖像矩陣與濾波器(卷積核)矩陣進(jìn)行對(duì)應(yīng)相乘再求和運(yùn)算得到的新矩陣,卷積的作用可以快速提取圖像的邊緣,圖像的邊緣有橫線、豎線、斜線、曲線以及形狀特征。

檳榔圖像卷積運(yùn)算如式(1)所示。

B=A×F

(1)

式中:B——圖像卷積運(yùn)算后的特征圖小塊區(qū)域像素值;

A——檳榔圖像某個(gè)小塊區(qū)域的像素值;

F——卷積濾波器。

卷積計(jì)算過程如圖3所示,首先將濾波器中心點(diǎn)對(duì)準(zhǔn)A的像素點(diǎn)A11,將卷積濾波器每個(gè)格的值與對(duì)應(yīng)像素值相乘,最后求和并取整得到B的像素點(diǎn)B00的值133,計(jì)算過程如式(2)所示。依次向右、向下平移卷積濾波器,就能計(jì)算出A卷積后的值B。將濾波器應(yīng)用計(jì)算于整幅檳榔圖像,最后輸出的是檳榔特征圖。

圖3 卷積運(yùn)算過程

B00=int[(129×(-1)+115×0+145×1+117×(-2)+115×0+151×2+113×(-1)+122×0+162×1)/9]=133

(2)

卷積核可以有多個(gè),n個(gè)卷積核卷積后的通道數(shù)為n,也就是有n個(gè)特征圖。在檳榔圖像的訓(xùn)練過程中,卷積核的數(shù)值通過在檳榔圖像數(shù)據(jù)中學(xué)習(xí)得到。

檳榔卷積運(yùn)算后要加入激活函數(shù)。為更好地提高模型的非線性功能,在SCNN中選擇ReLu函數(shù)為激活函數(shù),如式(3)所示。檳榔特征圖的激活運(yùn)算如圖4所示,左側(cè)矩陣的-31對(duì)應(yīng)右側(cè)矩陣的值0。

圖4 激活運(yùn)算過程

f(x)=max(x,0)

(3)

直接用n個(gè)特征圖給檳榔分類容易造成過擬合,需要對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì),這種聚合的操作就叫做池化,但前提是圖像的核心信息不能丟失?？蓱?yīng)用的法則主要有兩個(gè),一個(gè)是最大池化法,即取滑動(dòng)窗口像素值的最大值;一個(gè)是平均池化法,即取滑動(dòng)窗口像素值的平均值,(2,2)平均池化就是將相鄰的四個(gè)像素的像素值取平均值。如圖5所示,矩陣D是由矩陣C經(jīng)池化計(jì)算得到的,計(jì)算過程如下。

圖5 池化運(yùn)算過程

D00=int[(133+225+177+200)/4]=183

D01=int[(225+76+200+20)/4]=130

D10=int[(177+200+168+148)/4]=173

D11=int[(200+20+148+0)/4]=92

檳榔圖像相對(duì)簡(jiǎn)單,在特征的理解上也不復(fù)雜,綜合考慮檳榔分類準(zhǔn)確率、分類速度以及網(wǎng)絡(luò)模型所占物理存儲(chǔ)的大小,設(shè)計(jì)了一個(gè)淺層卷積神經(jīng)網(wǎng)絡(luò)(SCNN),網(wǎng)絡(luò)由兩個(gè)卷積模塊和一個(gè)多層感知器(MLP)構(gòu)成,每個(gè)卷積模塊有兩個(gè)卷積層和一個(gè)池化層,卷積核的大小為3×3,第一個(gè)卷積模塊中卷積核的個(gè)數(shù)是32,第二個(gè)卷積模塊中有64個(gè)卷積核,池化層大小為2×2,池化方法為平均池化法。為了防止網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象的發(fā)生,每次迭代每個(gè)神經(jīng)元都有20%的概率被殺死,所以增加一個(gè)Dropout層,Dropout層也有利于刪除低相關(guān)的特征數(shù)據(jù)。

MLP包括一個(gè)全連接層(又叫扁平層)、一個(gè)隱藏層和一個(gè)輸出層,隱藏層神經(jīng)元個(gè)數(shù)計(jì)算如式(4)所示。

(4)

式中:l——隱含層的神經(jīng)元個(gè)數(shù);

n——輸入層神經(jīng)元個(gè)數(shù);

m——輸出層神經(jīng)元個(gè)數(shù);

a——常數(shù),本文中a=2。

檳榔共有特級(jí)、一級(jí)、二級(jí)和三級(jí)四類,所以輸出層有4個(gè)神經(jīng)元。因此隱藏層神經(jīng)元個(gè)數(shù)為256。總體的淺層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示,圖6中輸入的是檳榔圖像,終端out輸出的是檳榔的分類等級(jí),SCNN的各層輸入輸出以及參數(shù)等數(shù)據(jù)如表2所示,卷積層Conv1和Conv2各有32個(gè)卷積核,池化層Pool1和Pool2都是(2×2)的池化層,池化后數(shù)據(jù)維度降低,卷積層Conv3和Conv4各有64個(gè)卷積核。

表2 網(wǎng)絡(luò)各層的數(shù)據(jù)

圖6 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與驗(yàn)證

3.1 數(shù)據(jù)導(dǎo)入與處理

程序設(shè)計(jì)采用python語(yǔ)言,用到的主要模塊是Keras。運(yùn)用image_dataset_from_directory函數(shù)導(dǎo)入訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)并在數(shù)據(jù)加載的同時(shí)打亂數(shù)據(jù)。導(dǎo)入時(shí)要精確設(shè)置函數(shù)的參數(shù),將label_mode參數(shù)設(shè)置為categorical,從而使得圖像數(shù)據(jù)導(dǎo)入自動(dòng)生成標(biāo)簽向量,每批處理的數(shù)據(jù)為64幅圖像。為了簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),數(shù)據(jù)導(dǎo)入時(shí)減小圖像的size為128像素×128像素,同時(shí)為了保證數(shù)據(jù)打亂的隨機(jī)性,將seed參數(shù)設(shè)置為123。對(duì)導(dǎo)入的圖像數(shù)據(jù)作歸一化處理。

3.2 網(wǎng)絡(luò)訓(xùn)練

3.2.1 迭代次數(shù)選擇

取訓(xùn)練與驗(yàn)證組檳榔圖像作為輸入數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,在檳榔分級(jí)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練中,需要對(duì)每一幅圖像添加一個(gè)類標(biāo)簽。由于檳榔總共有4類,因此不同等級(jí)的檳榔分別對(duì)應(yīng)為一個(gè)4維的向量。具體來說,特級(jí)檳榔的類標(biāo)簽是[1,0,0,0];一級(jí)檳榔的類標(biāo)簽是[0,1,0,0];二級(jí)檳榔的類標(biāo)簽是[0,0,1,0];三級(jí)檳榔的類標(biāo)簽是[0,0,0,1]。加了類標(biāo)簽后,神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)到不同等級(jí)檳榔的特征,并輸出對(duì)應(yīng)的分類結(jié)果。

訓(xùn)練迭代次數(shù)的確定通常需要通過驗(yàn)證集上準(zhǔn)確率的變化來進(jìn)行確定,先取一定次數(shù)的迭代次數(shù),例如40次,然后觀察訓(xùn)練和驗(yàn)證集上的準(zhǔn)確率變化。如果準(zhǔn)確率隨著迭代次數(shù)的增加而不斷提升,需要增加迭代次數(shù),反之,如果準(zhǔn)確率已經(jīng)趨于穩(wěn)定或降低,說明網(wǎng)絡(luò)已經(jīng)趨于收斂,可以停止訓(xùn)練。針對(duì)設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練發(fā)現(xiàn),當(dāng)?shù)螖?shù)超過20以后,無論是訓(xùn)練還是驗(yàn)證的準(zhǔn)確率都不再上升,因此選擇網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證的迭代次數(shù)是20。

3.2.2 優(yōu)化函數(shù)的選擇

在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程,共選擇6中優(yōu)化函數(shù)進(jìn)行對(duì)比,分別是:

1) 隨機(jī)梯度下降的SGD優(yōu)化器。

2)自適應(yīng)矩估計(jì)(Adaptive moment estimation,Adam)優(yōu)化器[12-13]。

3)自適應(yīng)地確定參數(shù)的學(xué)習(xí)速度、對(duì)更新頻率低的參數(shù)做較大的更新、對(duì)更新頻率高的參數(shù)做較小的更新的Adagrad優(yōu)化器。

4) 針對(duì)Adagrad優(yōu)化器的改進(jìn),采用指數(shù)衰減平均的計(jì)算方法的Adadelt優(yōu)化器。

5) 梯度下降優(yōu)化算法的擴(kuò)展,是Adam和NAG(Nesterov Accelerated Gradient)兩種算法相結(jié)合的Nadam優(yōu)化器。

6) Adam的變體、對(duì)梯度平方的處理由指數(shù)衰減平均改為指數(shù)衰減求最大值的Adamax優(yōu)化器。

訓(xùn)練結(jié)束后建立的模型對(duì)檳榔分類的正確識(shí)別率如表3所示。

表3 不同優(yōu)化器的識(shí)別準(zhǔn)確率

其中Adamax、Adadelta和Adam三種優(yōu)化器的正確識(shí)別率都是96.1%,但從識(shí)別率上不能判斷哪種優(yōu)化器是最優(yōu)的,以三種優(yōu)化器建立的卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證的準(zhǔn)確率和損失曲線如圖7和圖8所示。以Adadelta優(yōu)化器建立的卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證的準(zhǔn)確率和損失曲線波動(dòng)較大;Adam、Adamax兩種優(yōu)化器在迭代10次以后曲線平滑。

(a) Adadelta

通過受試者工作特征曲線(Receiver Operating Characteristic,ROC)選擇最佳的優(yōu)化器,ROC曲線上各點(diǎn)反映著相同的感受性,是對(duì)同一信號(hào)刺激的反應(yīng),是在幾種不同的判定標(biāo)準(zhǔn)(閾值)下所得的結(jié)果[14-15],ROC曲線以混淆矩陣為基礎(chǔ)計(jì)算得出,橫坐標(biāo)、縱坐標(biāo)分別是假陽(yáng)率(False Positive Rate,FPR)和真陽(yáng)率(True Positive Rate,TPR),計(jì)算公式如式(5)、式(6)所示。

(5)

式中:TP——正確預(yù)測(cè)為正樣本的數(shù)量;

FN——錯(cuò)誤地預(yù)測(cè)為負(fù)樣本的數(shù)量。

(6)

式中:TN——正確預(yù)測(cè)為負(fù)樣本的數(shù)量;

FP——錯(cuò)誤地預(yù)測(cè)為正樣本的數(shù)量。

基于Adamax、Adadelta和Adam三種優(yōu)化器建立的卷積神經(jīng)網(wǎng)絡(luò)模型的ROC曲線如圖9所示,ROC曲線下的面積(Area Under Curve,AUC)越接近于1,該曲線對(duì)應(yīng)的分類器的效果越好。Adam優(yōu)化器的ROC曲線下的面積最大,并且AUC值等于1,對(duì)檳榔的分級(jí)是最優(yōu)的。

圖9 ROC曲線

3.2.3 Adam優(yōu)化SCNN

假設(shè)SCNN對(duì)檳榔分級(jí)的預(yù)測(cè)函數(shù)為Y=WX+B,Y是檳榔分類的輸出值,X是圖像數(shù)據(jù),W是輸入到神經(jīng)元的權(quán)值,B是常數(shù)。在訓(xùn)練迭代中Adam算法引入了二次梯度調(diào)整,可高效地計(jì)算,具有所需內(nèi)存少的優(yōu)點(diǎn)。SCNN對(duì)檳榔分級(jí)的Adam算法步驟如下。

2)t=t+1,利用式(7)計(jì)算mt和vt。

(7)

其中β1=0.9,β2=0.999。

式中:mt——第t步的一階矩向量;

vt——第t步的二階矩向量;

gt-1——第t步的梯度。

3) 為防止波動(dòng),利用式(8)對(duì)mt和vt糾偏。

(8)

4) 更新權(quán)重W和偏置B。

(9)

式中:θt-1——第t步的θ;

lr——學(xué)習(xí)率,可人為調(diào)整;

ε——常數(shù),ε=10-10,保證了除數(shù)不為0。

5) if損失函數(shù)值滿足要求,停止循環(huán),返回θ,else重復(fù)步驟(3)～步驟(5)。

3.2.4 學(xué)習(xí)率的選擇

學(xué)習(xí)率是神經(jīng)網(wǎng)絡(luò)模型最重要的超參數(shù)之一,它決定了網(wǎng)絡(luò)在每輪迭代中權(quán)重更新的速度,合適的學(xué)習(xí)率可以使得網(wǎng)絡(luò)能夠快速收斂到全局最優(yōu)解,同時(shí)避免了過快收斂導(dǎo)致陷入局部最優(yōu)解的問題。通常來說,較大的學(xué)習(xí)率可以加快網(wǎng)絡(luò)的學(xué)習(xí)速度,但容易導(dǎo)致權(quán)重震蕩和發(fā)散;較小的學(xué)習(xí)率可以使得網(wǎng)絡(luò)權(quán)重更新相對(duì)穩(wěn)定,避免權(quán)重跳躍或發(fā)散,但會(huì)使得訓(xùn)練過程變得緩慢。在檳榔分級(jí)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練中,采用了手動(dòng)人工調(diào)整學(xué)習(xí)率的方法,通過實(shí)驗(yàn)觀察訓(xùn)練和驗(yàn)證的損失函數(shù)和準(zhǔn)確率的變化,確定使得網(wǎng)絡(luò)性能最好的學(xué)習(xí)率。不同學(xué)習(xí)率下的訓(xùn)練和驗(yàn)證損失與準(zhǔn)確率如表4所示,雖然表4中學(xué)習(xí)率為0.000 1時(shí)的各項(xiàng)指標(biāo)是最佳的,但訓(xùn)練速度也是最低的,綜合考慮訓(xùn)練和測(cè)試準(zhǔn)確率,SCNN網(wǎng)絡(luò)選擇的學(xué)習(xí)率為0.001。

表4 不同學(xué)習(xí)率下的訓(xùn)練和驗(yàn)證損失與準(zhǔn)確率

3.2.5 評(píng)價(jià)指標(biāo)

準(zhǔn)確率是分類器分類準(zhǔn)確的樣本比例,其計(jì)算公式如式(10)所示,該指標(biāo)只考慮正確分類的樣本數(shù)量,而不考慮分類錯(cuò)誤的情況。當(dāng)樣本不均衡時(shí),即某個(gè)類別的樣本數(shù)量明顯大于其他類別的樣本數(shù)量時(shí),準(zhǔn)確率并不能有效地評(píng)估模型的預(yù)測(cè)性能。

ACC=(TP+TN)/(TP+FP+FN+TN)

(10)

精確率是指將真正屬于第i類別的樣本數(shù)量占所有被分類為第i類別的樣本數(shù)量的比例,其計(jì)算公式如式(11)所示。

P=TP/(TP+FP)

(11)

召回率表示的是將檳榔分級(jí)為正確第i類的檳榔數(shù)量占真正是第i類檳榔數(shù)量的比例,其計(jì)算公式如式(12)所示。

R=TP/(TP+FN)

(12)

F1值是精確率和召回率的調(diào)和平均值,可綜合衡量分類器的分類精度和召回率,其計(jì)算公式如式(13)所示。

F1=2×[(P×R)/(P+R)]

(13)

特異度是指將真正不屬于第i類別的樣本正確排除的比例,其計(jì)算公式如式(14)所示,特異度指標(biāo)更適用于一些嚴(yán)格要求不能漏檢異常樣本的任務(wù)中。在實(shí)踐中,需要根據(jù)具體的任務(wù)需求和數(shù)據(jù)特點(diǎn)選擇合適的評(píng)估指標(biāo),在不同的評(píng)估指標(biāo)之間進(jìn)行權(quán)衡,綜合考慮模型的性能。

TNR=TN/(FP+TN)

(14)

4 測(cè)試與分析

4.1 混淆矩陣

將訓(xùn)練好的SCNN模型用于檳榔的分級(jí)測(cè)試,測(cè)試檳榔圖像為測(cè)試數(shù)據(jù)組的256幅圖像,256幅檳榔圖像的分級(jí)的混淆矩陣如表5所示,混淆矩陣可以很好地展示SCNN模型的檳榔分級(jí)效果。74粒特級(jí)檳榔和62粒一級(jí)檳榔全都被正確分級(jí);二級(jí)檳榔有6幅被錯(cuò)誤的分為特級(jí),有2幅被錯(cuò)誤的分為三級(jí),這個(gè)分級(jí)錯(cuò)誤跨度較大,少量相鄰級(jí)檳榔被錯(cuò)誤分級(jí)尚能容忍,但是跨級(jí)分級(jí)錯(cuò)誤就需要進(jìn)一步改進(jìn)神經(jīng)網(wǎng)絡(luò)模型以更好地提取檳榔圖像特征;三級(jí)檳榔有2幅被錯(cuò)誤的分為二級(jí)。

表5 檳榔分級(jí)的混淆矩陣

4.2 結(jié)果分析

從表6可以看出,特級(jí)檳榔的分級(jí)準(zhǔn)確率是100%,一級(jí)檳榔的分級(jí)準(zhǔn)確率為100%,二級(jí)檳榔的分級(jí)準(zhǔn)確率為96.09%,二級(jí)檳榔分級(jí)準(zhǔn)確率較低,尤其是有6幅二級(jí)檳榔圖像被錯(cuò)分成特級(jí)檳榔,這種低等級(jí)檳榔跨級(jí)錯(cuò)分為高等級(jí)檳榔在實(shí)際生產(chǎn)中是不被允許的。這6幅被錯(cuò)分的檳榔,有三幅是另外三幅的增強(qiáng)圖像,在今后的研究中要減少這種跨級(jí)的低等級(jí)檳榔被錯(cuò)分為高等級(jí)檳榔的比例。三級(jí)檳榔的分級(jí)識(shí)別準(zhǔn)確率為98.44%,SCNN模型測(cè)試的整體分類平均識(shí)別準(zhǔn)確率為98.05%。

表6 SCNN評(píng)估指標(biāo)

用準(zhǔn)確率衡量SCNN模型不能反映細(xì)節(jié),如錯(cuò)誤分級(jí)的類型和實(shí)際分級(jí)的分布情況,通過混淆矩陣計(jì)算SCNN模型的相關(guān)評(píng)估指標(biāo)如準(zhǔn)確率、精確率、召回率、特異度和F1如表6所示。特級(jí)和一級(jí)檳榔分級(jí)的各項(xiàng)指標(biāo)都是100%,雖然二級(jí)檳榔的召回率只有85.19%,F1的得分僅僅90.2%,但是SCNN模型對(duì)所有檳榔分級(jí)的整體準(zhǔn)確率、精確率、召回率、特異度和F1的值都超過95%,所以基于Adam優(yōu)化的SCNN模型對(duì)檳榔分級(jí)的效果很好。

5 結(jié)論

1) 本文結(jié)合機(jī)器視覺技術(shù)與卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)檳榔成品的分級(jí)檢測(cè)。通過ROC曲線的對(duì)比分析,探索出最佳的優(yōu)化方法,再通過自適應(yīng)學(xué)習(xí)率的調(diào)整,縮短深層網(wǎng)絡(luò)的訓(xùn)練時(shí)間,提高識(shí)別精度。建立以Adam算法優(yōu)化的SCNN模型實(shí)現(xiàn)了自動(dòng)提取檳榔特征并以此特征進(jìn)行分類檢測(cè),解決了人工憑經(jīng)驗(yàn)判斷檳榔特征分類的準(zhǔn)確率和效率都不高的難題。

2) 測(cè)試試驗(yàn)結(jié)果表明,SCNN模型對(duì)檳榔分級(jí)檢測(cè)的準(zhǔn)確識(shí)別率高達(dá)98.05%,準(zhǔn)確率遠(yuǎn)高于人工分級(jí),為實(shí)現(xiàn)檳榔分級(jí)檢測(cè)的自動(dòng)化控制提供了基礎(chǔ),具有一定的商業(yè)與工業(yè)價(jià)值。

3) 在今后的工作中,可進(jìn)一步增強(qiáng)模型的適用性,進(jìn)一步研究卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)的自適應(yīng)調(diào)節(jié),在進(jìn)一步的研究中增加更多數(shù)量的各級(jí)原始檳榔圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型,拍攝圖像時(shí)位置、光照等的自然環(huán)境條件要一致,減少噪聲污染,提高檳榔圖像的質(zhì)量。針對(duì)采集到的檳榔數(shù)據(jù)集規(guī)模小的問題,結(jié)合遷移學(xué)習(xí)方法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),提高模型的泛化能力,可以嘗試選擇VGG-19(Visual Geometry Group 19)為遷移學(xué)習(xí)分類算法主模型,還可以嘗試運(yùn)用殘差卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檳榔的分級(jí)。