許德芳，趙華民，許建東，張淑娟

（山西農(nóng)業(yè)大學(xué)工學(xué)院，山西晉中 030801）

甜瓜是我國(guó)產(chǎn)量最大的水果之一，其香味濃郁、質(zhì)感甜脆，深受消費(fèi)者的喜愛(ài)。雖然每年的甜瓜產(chǎn)量很大，但是甜瓜的種植、分揀等過(guò)程依然大部分依靠人工，機(jī)械化和智能化程度較低。特別是采摘后甜瓜的分揀多采用人工進(jìn)行，效率低下，不利于甜瓜分級(jí)的標(biāo)準(zhǔn)化。為研究甜瓜的自動(dòng)化分級(jí)系統(tǒng)，采用機(jī)器視覺(jué)技術(shù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)基于Pytorch深度學(xué)習(xí)框架進(jìn)行甜瓜成熟度判別研究，為甜瓜自動(dòng)分級(jí)設(shè)備的研發(fā)提供理論基礎(chǔ)。

機(jī)器視覺(jué)主要是指通過(guò)CMOS或CCD傳感器獲取對(duì)象圖像，然后用機(jī)器代替人眼來(lái)做測(cè)量和判斷[1]。機(jī)器視覺(jué)檢測(cè)技術(shù)較傳統(tǒng)人工分選可以大大提高效率，已被應(yīng)用于各行各業(yè)。應(yīng)用于農(nóng)產(chǎn)品的質(zhì)量檢測(cè)和分級(jí)，能夠大大減少勞動(dòng)力資源的浪費(fèi)，提高生產(chǎn)效率。近幾年受到大量農(nóng)業(yè)方面研究學(xué)者的重視。劉鴻飛等人[2]基于機(jī)器視覺(jué)研究了溫室番茄裂果的檢測(cè)技術(shù)。潘思慧[3]采用機(jī)器視覺(jué)技術(shù)結(jié)合電子鼻技術(shù)研究了番茄貯藏過(guò)程中成熟度的變化，并建立了番茄成熟度識(shí)別的K-近鄰模型和支持向量機(jī)模型。張小花等人[4]研究了基于機(jī)器視覺(jué)的果園成熟柑橘快速識(shí)別及產(chǎn)量預(yù)估方法。祁雁楠[5]研究了基于機(jī)器視覺(jué)的馬鈴薯瘡痂檢測(cè)方法。張慶怡[6]、石瑞瑤[7]、凌強(qiáng)等人[8]采用機(jī)器視覺(jué)技術(shù)分別研究了蘋(píng)果的在線分級(jí)系統(tǒng)和分級(jí)方法。袁雷明[9]用機(jī)器視覺(jué)結(jié)合近紅外光譜技術(shù)研究了巨峰葡萄品質(zhì)無(wú)損檢測(cè)技術(shù)，提高鮮食葡萄品質(zhì)分級(jí)的客觀性與時(shí)效性。還有其他學(xué)者采用機(jī)器視覺(jué)對(duì)梨[10]、獼猴桃[11-12]等水果的分類(lèi)和加工等進(jìn)行了研究，不過(guò)對(duì)薄皮甜瓜的研究還比較少。

機(jī)器視覺(jué)目標(biāo)圖像分類(lèi)的方法主要由K-means[13-14]、隨機(jī)森林法[15]、支持向量機(jī)（SVM）[16-18]等傳統(tǒng)的機(jī)器學(xué)習(xí)方法，還有深度學(xué)習(xí)卷積網(wǎng)絡(luò)方法[19-21]等。因?yàn)樘鸸铣墒於鹊呐袆e主要是顏色跟紋理的判別，并且樣本較少。在這一方面，有學(xué)者發(fā)現(xiàn)在樣本數(shù)量較少時(shí)，傳統(tǒng)的機(jī)器學(xué)習(xí)方法比使用深度學(xué)習(xí)方法具有較高的識(shí)別精度，并且更容易根據(jù)模型的精度調(diào)節(jié)不同的訓(xùn)練特征[22-23]。所以選用傳統(tǒng)的機(jī)器學(xué)習(xí)方法LS-SVM進(jìn)行甜瓜成熟度判別。

1 材料和方法

1.1 試驗(yàn)樣本

研究所用甜瓜樣本取自山西太谷縣侯城鄉(xiāng)王海莊村某農(nóng)戶溫室內(nèi)，同一品種不同成熟階段的甜瓜，外表無(wú)缺陷的樣本進(jìn)行試驗(yàn)。

根據(jù)甜瓜的生長(zhǎng)階段，甜瓜未成熟時(shí)為綠色，半成熟時(shí)由綠轉(zhuǎn)白，成熟后由白轉(zhuǎn)為黃色。試驗(yàn)采集未成熟期、半成熟期、成熟期3個(gè)不同生理時(shí)期。研究選取甜瓜樣本共計(jì)195個(gè)，未熟期樣本55個(gè)，半熟期樣本60個(gè)，成熟期樣本80個(gè)。采摘后運(yùn)回實(shí)驗(yàn)室，并立即開(kāi)始試驗(yàn)。

1.2 圖像采集方法

甜瓜圖像采集裝置見(jiàn)圖1。

圖1 甜瓜圖像采集裝置

由圖1可知，甜瓜圖像采集通過(guò)自己試驗(yàn)搭建的平臺(tái)，攝像頭采用晟悅SY8031自動(dòng)對(duì)焦攝像頭。LED燈色溫為5500K，為防止甜瓜拍攝過(guò)程中偏色，攝像頭通過(guò)軟件調(diào)節(jié)白平衡為5 500 K。將升降臺(tái)調(diào)節(jié)到合適高度，然后將黑布鋪在升降臺(tái)表面，再將甜瓜放在升降臺(tái)上，對(duì)甜瓜正反兩面進(jìn)行圖像采集。

不同成熟期甜瓜圖像見(jiàn)圖2。

圖2 不同成熟期甜瓜圖像

利用Kennard-stone算法將試驗(yàn)樣本以3∶1的比例隨機(jī)分為校正集和預(yù)測(cè)集，校正集建立模型，預(yù)測(cè)集用于判別模型的穩(wěn)定性和準(zhǔn)確性。校正集樣本共計(jì)146個(gè)，其中未熟期樣本41個(gè)，半熟期樣本45個(gè)，成熟期甜瓜樣本60個(gè)；預(yù)測(cè)集樣本共計(jì)49個(gè)，其中未熟期樣本14個(gè)，半熟期樣本15個(gè)，成熟期樣本20個(gè)。

2 結(jié)果與分析

2.1 圖像預(yù)處理

由圖2可知，由于拍照過(guò)程中采用了黑色背景，黑色背景的灰度值接近于0。所以基本不會(huì)影響圖像的分析。但是為了突出圖像中甜瓜有效區(qū)域，增大甜瓜有效區(qū)域面積占比，對(duì)甜瓜圖像進(jìn)行裁剪，得到待分析的甜瓜圖像。

圖像裁剪見(jiàn)圖3。

圖3 圖像裁剪

2.2 圖像特征變量提取

首先計(jì)算R，G，B三通道像素值的均值和方差，得到甜瓜圖像的6個(gè)顏色特征。為反映甜瓜圖像在方向、相鄰間隔、變化幅度及快慢上的綜合信息，通過(guò)灰度共生矩陣來(lái)分析甜瓜圖像紋理特征。分別提取圖像0，45，90，135°，4個(gè)方向的ASM（angular second moment）能量、熵、慣性矩、相關(guān)性、逆差距5種參量，共20個(gè)紋理特征。

5個(gè)特征參量的均值見(jiàn)表1，5個(gè)特征參量的方差見(jiàn)表2，ASM能量和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)見(jiàn)表3，熵和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)見(jiàn)表4，慣性矩和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)見(jiàn)表5，相關(guān)性和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)見(jiàn)表6，逆差距和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)見(jiàn)表7。

由表3～表7可知，提取的26個(gè)特征值之間存在明顯相關(guān)性，因此需通過(guò)特征優(yōu)選來(lái)確定最有效的特征變量。

表1 5個(gè)特征參量的均值

表2 5個(gè)特征參量的方差

表3 ASM能量和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)

表4 熵和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)

表5 慣性矩和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)

表6 相關(guān)性和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)

表7 逆差距和6個(gè)顏色特征之間的皮爾遜相關(guān)系數(shù)

2.3 基于全特征變量的PLS分類(lèi)判別模型

基于不同成熟期甜瓜圖像RGB色彩模型和灰度共生矩陣來(lái)分析和計(jì)算甜瓜顏色和紋理全部特征變量，建立偏最小二乘法（PLS） 甜瓜成熟度識(shí)別模型。為驗(yàn)證模型的判別正確率，對(duì)預(yù)測(cè)集樣本進(jìn)行判別。

為便于計(jì)算機(jī)實(shí)現(xiàn)分級(jí)，模型輸出類(lèi)別值以數(shù)字1表示未熟期樣本，數(shù)字2表示半熟期樣本，數(shù)字3表示成熟期樣本；取0.5為判別閾值，由此可以推斷出，預(yù)測(cè)結(jié)果為0.5-1.5屬未熟期樣本，1.5-2.5屬半熟期樣本，2.5-3.5屬成熟期樣本。

全特征變量PLS模型預(yù)測(cè)集判別結(jié)果見(jiàn)圖4。

圖4 全特征變量PLS模型預(yù)測(cè)集判別結(jié)果

由圖4可知，未成熟、半成熟和成熟期甜瓜的預(yù)測(cè)準(zhǔn)確率分別達(dá)到100%，100%和95%，綜合判別率為97.96%。

2.4 基于主成分分析變量的分類(lèi)判別模型

主成分分析將存在相關(guān)性的原始變量通過(guò)特征分解、降維獲取方差最大的虛擬主成分代替原有變量，主成分之間相互獨(dú)立且消除原始數(shù)據(jù)中存在的相關(guān)性和信息冗余，提高了模型分析速率。

研究?jī)?yōu)選原始特征變量共提取出10個(gè)主成分，各主成分之間貢獻(xiàn)率，選擇前4個(gè)主成分作為新的特征變量，前4個(gè)主成分累計(jì)貢獻(xiàn)率為98.91%，滿足特征優(yōu)選的要求。

主成分貢獻(xiàn)率見(jiàn)表8。

表8 主成分貢獻(xiàn)率

基于顏色和紋理特征變量變換得到主成分，建立PCA-PLS快速識(shí)別模型。依據(jù)前4個(gè)主成分得分建立的判別模型，因?yàn)闇p少了大量的冗余信息，保留更多的關(guān)鍵信息，因此模型運(yùn)算速度更快。

PCA-PLS模型預(yù)測(cè)集判別結(jié)果見(jiàn)圖5。

由圖5可知，未熟期判別準(zhǔn)確率為100%，半熟期判別準(zhǔn)確率為100%，成熟期判別準(zhǔn)確率為95.00%，綜合判別率為97.96%，與全特征變量的PLS模型預(yù)測(cè)準(zhǔn)確率相同。

圖5 PCA-PLS模型預(yù)測(cè)集判別結(jié)果

最小二乘支持向量機(jī)適用于非線性的參數(shù)，判別效果優(yōu)異。將優(yōu)選出的主成分因子作為模型的輸入，基于主成分分析變量的PCA-LS-SVM分類(lèi)判別模型預(yù)測(cè)集判別結(jié)果。

PCA-LS-SVM模型預(yù)測(cè)集判別結(jié)果見(jiàn)圖6。

圖6 PCA-LS-SVM模型預(yù)測(cè)集判別結(jié)果

模型預(yù)測(cè)結(jié)果，未熟期判別準(zhǔn)確率為100%，半熟期判別準(zhǔn)確率為100%，成熟期判別準(zhǔn)確率為100%，綜合判別率為100%，相比前2種模型效果更好。

3 結(jié)論

基于甜瓜的表皮顏色和紋理進(jìn)行了成熟期識(shí)別研究。采用色彩空間法、灰度共生矩陣法相結(jié)合提取顏色和紋理特征變量，用于甜瓜成熟期的識(shí)別，綜合識(shí)別成功率達(dá)到了100%。該方法有望應(yīng)用于甜瓜分選環(huán)節(jié)。試驗(yàn)表明，通過(guò)圖像的顏色、紋理特征信息對(duì)甜瓜進(jìn)行識(shí)別應(yīng)用是完全可行的，此類(lèi)方法具備更深、更廣的研究空間。

研究全程在實(shí)驗(yàn)室靜態(tài)條件下進(jìn)行，為滿足分選生產(chǎn)線高效率的要求，需要進(jìn)一步研究甜瓜在動(dòng)態(tài)傳輸條件下的分選情況，并且試驗(yàn)甜瓜選擇表面無(wú)損傷的樣本，在損傷狀態(tài)下樣本的變化對(duì)預(yù)測(cè)結(jié)果的影響也需要繼續(xù)研究。