林家豪 張?jiān)獫?梁千月 陳耀暉 朱 明 李善軍

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院, 武漢 430070; 2.農(nóng)業(yè)農(nóng)村部長(zhǎng)江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室, 武漢 430070;3.華中農(nóng)業(yè)大學(xué)信息學(xué)院, 武漢 430070)

0 引言

近年來,我國(guó)獼猴桃種植面積與產(chǎn)量均快速增加,但經(jīng)濟(jì)效益提高卻不顯著,這主要是由于現(xiàn)階段售賣的獼猴桃多是成熟度較低的硬果,而消費(fèi)者更加青睞具有一定成熟度、硬度適中的果實(shí)[1]。獼猴桃在收獲至成熟階段,伴隨著果實(shí)的呼吸作用,分泌乙烯增加,細(xì)胞壁、淀粉等物質(zhì)開始分解,果實(shí)硬度逐漸降低。因此,開發(fā)獼猴桃的無(wú)損硬度檢測(cè)裝置來判斷果實(shí)的成熟度,有助于確定果實(shí)的貯藏周期[2]與銷售節(jié)點(diǎn)[3],對(duì)于提高其經(jīng)濟(jì)效益意義重大。

消費(fèi)者通常使用手指對(duì)獼猴桃進(jìn)行按壓,由受力感知判斷果實(shí)硬度。但是,這種方法的主觀性較高,且壓力過大時(shí)可能對(duì)獼猴桃果實(shí)造成損傷,影響其銷售價(jià)值。實(shí)驗(yàn)室測(cè)量獼猴桃硬度時(shí),使用Magness-Taylor穿刺法[4-5]——削去獼猴桃赤道一層較薄果皮后,將圓形探針以恒定速度與壓力插入果肉內(nèi)部,通過相互作用力推斷獼猴桃硬度。穿刺法可以精確地獲得獼猴桃硬度,但其測(cè)量具有破壞性且較為費(fèi)時(shí),在高通量、無(wú)損的特定場(chǎng)景下并不適用。

由于獼猴桃內(nèi)部果膠等物質(zhì)含有C—H、O—H等化學(xué)鍵,高光譜與可見光/近紅外光譜(Vis/NIR)技術(shù)具有對(duì)獼猴桃進(jìn)行硬度檢測(cè)的潛力[6-7],相關(guān)研究在國(guó)內(nèi)外也均有報(bào)道。LI等[8]使用可見光近紅外光譜對(duì)貯藏期內(nèi)商業(yè)獼猴桃進(jìn)行貯藏期預(yù)測(cè),短貯存性和長(zhǎng)貯存性果實(shí)預(yù)測(cè)準(zhǔn)確率分別達(dá)到了54%和79%。YANG等[9]使用9個(gè)不同峰值波長(zhǎng)的LED燈作為光源,采用光電二極管作為傳感器來檢測(cè)獼猴桃的反射光,并將獼猴桃分為未成熟、輕微成熟、成熟、完全成熟4個(gè)硬度等級(jí),對(duì)“徐香”品種獼猴桃和“華優(yōu)”品種獼猴桃的硬度分類精度分別為74%和91.5%。RAGNI等[10]結(jié)合高光譜成像技術(shù)與PLS模型對(duì)“海沃德”品種獼猴桃的硬度進(jìn)行檢測(cè),在測(cè)試集上均方根誤差為11.9 N。但上述光譜技術(shù)預(yù)測(cè)獼猴桃硬度的研究中,光譜數(shù)據(jù)維度繁多,因此建模較為復(fù)雜,且成本較高[11-12],限制了其進(jìn)一步發(fā)展與推廣。綜上,現(xiàn)階段仍然缺乏一種低成本、高精度的獼猴桃果實(shí)硬度無(wú)損檢測(cè)方法。

近年來關(guān)于視觸覺傳感器的研究發(fā)展迅速,已經(jīng)廣泛應(yīng)用于機(jī)器人感知技術(shù)中[13-15]。這類傳感器的觸覺傳感層大多使用帶有標(biāo)記物的可變形材料制作[16],當(dāng)觸覺傳感層與物體接觸時(shí),通過觀測(cè)標(biāo)記物位移和材料變形,可以預(yù)測(cè)物體的摩擦因數(shù)[17]、受力[18]、硬度[19]和形狀[16,20]等信息。由于這類傳感器本身具有較高的柔順性,可以與物體安全互動(dòng)[21-22],因此具有無(wú)損檢測(cè)水果指標(biāo)及品質(zhì)的潛力,但是相關(guān)研究尚未見報(bào)道。

同時(shí),結(jié)合深度學(xué)習(xí)技術(shù)的視觸覺傳感信息分析方法得到了廣泛關(guān)注[23-24]。KAKANI等[25]通過采集視觸覺傳感器數(shù)據(jù)集,訓(xùn)練后神經(jīng)網(wǎng)絡(luò)可預(yù)測(cè)與物體的接觸位置、面積與力分布,接觸力判斷誤差僅為0.022 N;崔永杰等[26]使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)3D視觸覺傳感器TactTip接觸的視觸覺圖像進(jìn)行分析,通過分析交互過程中動(dòng)態(tài)視觸覺信息,感知邊緣信息進(jìn)而判斷接觸輪廓。相關(guān)研究表明即使視觸覺傳感器接觸情況復(fù)雜,神經(jīng)網(wǎng)絡(luò)優(yōu)異的數(shù)據(jù)處理能力也能對(duì)交互信息進(jìn)行準(zhǔn)確判斷。

本文提出一種結(jié)合視觸覺傳感器與深度學(xué)習(xí)技術(shù)的獼猴桃硬度檢測(cè)方法。首先提出一種觸覺傳感層,與獼猴桃進(jìn)行柔性安全接觸,結(jié)合視覺制作獼猴桃序列圖像采集裝置,用于采集視觸覺傳感器與獼猴桃交互時(shí)的視觸覺序列圖像。對(duì)交互3 h后接觸部位果肉與非接觸部位果肉的CIELAB顏色分量進(jìn)行比較,檢驗(yàn)平均值差異是否具有顯著性,判斷此種方法是否對(duì)果肉存在滯后性損傷,并通過試驗(yàn)驗(yàn)證最優(yōu)深度學(xué)習(xí)預(yù)測(cè)模型性能,制作相關(guān)獼猴桃硬度自動(dòng)檢測(cè)裝置。

1 視觸覺檢測(cè)原理與序列圖像采集裝置制作

1.1 視觸覺檢測(cè)獼猴桃硬度原理

觸覺傳感層主要由彈性膜和彈性膜下方的“突觸”陣列組成,分別使用Ecoflex-0030和Dragon skin-20兩種硅膠材料制作,其材料硬度分別為00-30和20A。彈性膜尺寸為154 mm×114 mm,厚度為2 mm,接觸過程中能包覆獼猴桃最大截面;單個(gè)“突觸”圓柱體直徑為3 mm、厚度為2 mm,以 8 mm 為中心距均勻排列在彈性膜上,使用Dragon skin-20制作時(shí)添加有黑色顏料。兩者同時(shí)在模具中依次進(jìn)行澆注,凝固成型即可完成觸覺傳感層的制作。

觸覺傳感層制作完成后,固定4條邊,并在其形心正上方放置攝像頭,在觸覺傳感層靠近獼猴桃時(shí),攝像頭也會(huì)產(chǎn)生相同速度的位移,即攝像頭焦點(diǎn)與4條邊的垂直距離保持為L(zhǎng)。在與獼猴桃接觸的過程中,由于制作觸覺傳感層的兩種柔性材料硬度低于獼猴桃硬度,同時(shí)兼具剛度低、易變形的特點(diǎn),觸覺傳感層下方多個(gè)“突觸”將與獼猴桃表面進(jìn)行交互,在受力下出現(xiàn)空間位置改變,同時(shí)彈性膜具有一定的透明度,使得攝像頭可以在彈性膜正上方拍攝“突觸”空間位置的投影變化,即實(shí)現(xiàn)視觸覺序列圖像拍攝,通過拍攝的圖像序列中“突觸”的空間投影位置信息推測(cè)該交互過程中的動(dòng)態(tài)觸覺信息,進(jìn)而判斷接觸作用力的大小推測(cè)獼猴桃的硬度。整個(gè)接觸過程與檢測(cè)原理如圖1所示。

圖1 視觸覺檢測(cè)獼猴桃硬度原理圖Fig.1 Principle of vision-based tactile sensor testing kiwifruit firmness1.獼猴桃 2.彈性膜 3.“突觸” 4.攝像頭

另一方面,制作觸覺傳感層的兩種硅膠材料具有高柔順性,與獼猴桃接觸時(shí),交互力從整個(gè)接觸面被分散到了制作材料中,防止對(duì)獼猴桃造成損傷,實(shí)現(xiàn)與獼猴桃的柔性安全接觸。

1.2 視觸覺序列圖像采集裝置

制作的獼猴桃視觸覺序列圖像采集裝置如圖2所示,檢測(cè)臺(tái)放置獼猴桃后,由樹莓派運(yùn)行驅(qū)動(dòng)程序控制視觸覺模塊與獼猴桃進(jìn)行接觸與序列圖像拍攝。

圖2 視觸覺序列圖像采集裝置示意圖Fig.2 Schematic of vision-based tactile device of collecting sequence image1.步進(jìn)電機(jī)驅(qū)動(dòng)器 2.樹莓派開發(fā)板 3.數(shù)碼管 4.檢測(cè)開關(guān) 5.調(diào)試開關(guān) 6.步進(jìn)電機(jī) 7.視觸覺模塊 8.獼猴桃檢測(cè)臺(tái) 9.攝像頭 10.LED光源 11.觸覺傳感層 12.外殼

視觸覺模塊主要由觸覺傳感層、攝像頭、外殼和LED光源組成,固定在步進(jìn)電機(jī)下方的絲桿滑臺(tái)上。選用LRCP10620型攝像頭,使用USB數(shù)據(jù)線連接到樹莓派開發(fā)板上,鏡頭焦距為2.8 mm,鏡頭視角為110°,兩側(cè)有功率為1 W的漫反射LED光源照明,設(shè)置拍攝的灰度圖像分辨率為 640像素× 480像素,可以清晰拍攝到觸覺傳感層變化。模塊的外殼使用光固化樹脂激光打印制作,其底部覆蓋有觸覺傳感層,后者與相機(jī)焦點(diǎn)間距L為81 mm;正下方為獼猴桃檢測(cè)臺(tái),中央開有凹槽,放置獼猴桃時(shí),獼猴桃與攝像頭焦點(diǎn)、觸覺傳感層形心在同一條垂直線上。

1.3 獼猴桃視觸覺序列圖像

使用視觸覺序列圖像采集裝置采集獼猴桃接觸序列圖像時(shí),將待檢測(cè)獼猴桃水平放置于檢測(cè)臺(tái)凹槽中,按壓調(diào)試開關(guān)使視觸覺模塊底部與獼猴桃頂部近似重合。隨后運(yùn)行檢測(cè)程序,啟動(dòng)檢測(cè)開關(guān),視觸覺模塊在步進(jìn)電機(jī)驅(qū)動(dòng)下與獼猴桃進(jìn)行接觸。在接觸開始以及視觸覺模塊每位移6 mm時(shí),攝像頭會(huì)拍攝一幀觸覺圖像,并在拍攝第5幅圖像后觸覺模塊停止移動(dòng)并返回初始位置。針對(duì)單個(gè)獼猴桃樣本采集到的視觸覺序列圖像如圖3所示。

圖3 獼猴桃視觸覺灰度序列圖像Fig.3 Vision-based tactile sequence gray pictures of kiwifruit

2 研究方法

2.1 獼猴桃樣本獲取

試驗(yàn)所用的獼猴桃于2023年2月在華中農(nóng)業(yè)大學(xué)水果市場(chǎng)購(gòu)買,品種為“徐香”,共計(jì)650個(gè)。隨機(jī)選取其中50個(gè)用于視觸覺檢測(cè)的無(wú)損性研究,其余600個(gè)用于視觸覺序列圖像數(shù)據(jù)集獲取。

2.1.1視觸覺檢測(cè)無(wú)損性試驗(yàn)

由于該視觸覺序列圖像采集裝置與獼猴桃交互時(shí)產(chǎn)生了接觸,為了研究觸覺傳感層在這一過程中是否對(duì)獼猴桃果肉細(xì)胞造成了不可逆轉(zhuǎn)破壞,造成其硬度變小產(chǎn)生誤差,同時(shí)防止該損傷可能存在滯后性,選擇在視觸覺序列圖像采集裝置接觸獼猴桃后,間隔3 h后測(cè)量接觸部位與非接觸部位果肉顏色,判斷視觸覺檢測(cè)方法在接觸的過程中是否存在對(duì)獼猴桃的損傷。非接觸部位選擇赤道上受按壓部位和與之呈90°的任一非接觸面。

單個(gè)獼猴桃進(jìn)行顏色測(cè)量時(shí),削去赤道上接觸部位與非接觸部位1～2 mm厚的果皮、果肉組織,使用AN-3033L型便攜式分光測(cè)色儀(安孛納電子科技有限公司)測(cè)量L*、a*、b*三通道顏色分量,其值分別代表果肉顏色明暗度、紅綠色、黃藍(lán)色分量值,并對(duì)數(shù)據(jù)進(jìn)行差異性檢驗(yàn),比較接觸面果肉與非接觸面果肉L*、a*、b*分量下的平均數(shù)差異是否顯著。

2.1.2獼猴桃視觸覺數(shù)據(jù)集獲取

獼猴桃視觸覺序列圖像獲取方法如1.3節(jié)所述,采集完成后取出獼猴桃,1 h后使用質(zhì)構(gòu)儀進(jìn)行果肉硬度穿刺測(cè)試,所用質(zhì)構(gòu)儀型號(hào)為TA-XT Plus(SMS公司,英國(guó))。穿刺試驗(yàn)中,使用刨刀削去獼猴桃與觸覺觸感層接觸位置1～2 mm厚果皮,質(zhì)構(gòu)儀安裝的5 mm探針以恒定速度貫入果肉,與之連接的計(jì)算機(jī)會(huì)計(jì)算該過程中的應(yīng)力變化,取試驗(yàn)過程中應(yīng)力峰值為獼猴桃實(shí)際硬度y,單位為N,即該硬度為視觸覺檢測(cè)裝置采集到的獼猴桃樣本視觸覺序列圖像(圖3)在深度學(xué)習(xí)訓(xùn)練時(shí)對(duì)應(yīng)的實(shí)際硬度(標(biāo)簽值)。

2.2 視觸覺序列圖像處理

處理視觸覺序列圖像的深度學(xué)習(xí)模型主要由卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)和長(zhǎng)短時(shí)記憶單元(Long short-term memory,LSTM)組成,CNN用于每幅視觸覺圖像的特征提取,LSTM網(wǎng)絡(luò)可引入長(zhǎng)時(shí)和短時(shí)序列信息并返回該視觸覺序列圖像對(duì)應(yīng)的獼猴桃硬度。

2.2.1卷積深度學(xué)習(xí)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種廣泛應(yīng)用于圖像識(shí)別領(lǐng)域的前饋深度學(xué)習(xí)網(wǎng)絡(luò)計(jì)算模型[26-28]。ResNet網(wǎng)絡(luò)最早由HE等[29]于2016年提出,其獨(dú)特的殘差結(jié)構(gòu)設(shè)計(jì)使得網(wǎng)絡(luò)模型可以高效訓(xùn)練,且殘差結(jié)果對(duì)數(shù)據(jù)波動(dòng)敏感度高,因此可以捕捉“突觸”微小的位移變化。由于每幅視觸覺圖像的內(nèi)容相對(duì)簡(jiǎn)單,結(jié)構(gòu)較淺的網(wǎng)絡(luò)即可實(shí)現(xiàn)對(duì)圖像特征的全面提取,同時(shí)運(yùn)算更快、運(yùn)算資源占用更小。因此,本文中選取ResNet18卷積神經(jīng)網(wǎng)絡(luò)用于視觸覺序列圖像的特征提取,將其最后一層全連接層(Fully connected layers,FC)作為卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)輸出結(jié)果,單組視觸覺序列圖像輸入后返回結(jié)果為5組1 000維度的特征數(shù)據(jù)。

2.2.2長(zhǎng)短時(shí)記憶單元

由于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)在序列訓(xùn)練時(shí)可能會(huì)出現(xiàn)的梯度消失或梯度爆炸的問題,HOCHREITER等[30]最早在1997年提出了長(zhǎng)短時(shí)記憶單元,LSTM是一種特殊的RNN網(wǎng)絡(luò),在時(shí)間序列數(shù)據(jù)的分類或預(yù)測(cè)的效果往往比普通RNN效果更好[31-33]。

在本文中,CNN網(wǎng)絡(luò)可以提取視觸覺序列圖像中每幅圖像的瞬時(shí)特征,但獼猴桃的硬度需要由觸覺傳感層與獼猴桃交互時(shí)的動(dòng)態(tài)位移與變形來表征。在CNN網(wǎng)絡(luò)后端連接LSTM網(wǎng)絡(luò),引入長(zhǎng)時(shí)和短時(shí)信息進(jìn)行動(dòng)態(tài)特征信息分析,可以實(shí)現(xiàn)對(duì)獼猴桃硬度的推斷。

3 深度學(xué)習(xí)網(wǎng)絡(luò)與效果評(píng)價(jià)

3.1 深度學(xué)習(xí)網(wǎng)絡(luò)搭建

本文基于PyTorch框架搭建深度學(xué)習(xí)網(wǎng)絡(luò),該框架可調(diào)用ResNet18網(wǎng)絡(luò)與公開預(yù)訓(xùn)練權(quán)重對(duì)每幅視觸覺圖像進(jìn)行特征提取,但是公開的預(yù)訓(xùn)練權(quán)重可能不是最優(yōu)參數(shù)解。為了獲得最適用于獼猴桃硬度無(wú)損檢測(cè)的網(wǎng)絡(luò)模型,本文共搭建如圖4所示的3種網(wǎng)絡(luò)進(jìn)行比較:①CNN網(wǎng)絡(luò):網(wǎng)絡(luò)前半部分為無(wú)權(quán)重ResNet18結(jié)構(gòu),ResNet網(wǎng)絡(luò)的5組1 000維度特征信息依次連接輸出尺寸為256維的全連接層,經(jīng)其下采樣后展平為128維,激活函數(shù)選擇Leaky ReLU,之后再連接輸出尺寸為1維度的全連接層,其輸出值即為待檢測(cè)獼猴桃的硬度。②CNN-LSTM遷移學(xué)習(xí)網(wǎng)絡(luò):CNN特征提取網(wǎng)絡(luò)為調(diào)用公開預(yù)訓(xùn)練權(quán)重的ResNet18網(wǎng)絡(luò)結(jié)構(gòu),其網(wǎng)絡(luò)內(nèi)部參數(shù)為固定值,該特征提取網(wǎng)絡(luò)輸出的5組 1 000 維度特征信息經(jīng)合并后輸入到LSTM中,激活函數(shù)選擇Leaky ReLU。LSTM網(wǎng)絡(luò)輸出結(jié)果為5組1維張量,依次代表每幅觸覺序列圖像對(duì)應(yīng)的硬度預(yù)測(cè)值,取最后兩個(gè)維度的平均值作為待檢測(cè)獼猴桃的最終硬度預(yù)測(cè)值,該網(wǎng)絡(luò)搭建較為簡(jiǎn)易,網(wǎng)絡(luò)前半部分調(diào)用公開預(yù)訓(xùn)練權(quán)重參數(shù),訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),通過反向傳播僅調(diào)整LSTM網(wǎng)絡(luò)的內(nèi)部參數(shù)。③CNN-LSTM聯(lián)合學(xué)習(xí)網(wǎng)絡(luò):激活函數(shù)與獼猴桃硬度預(yù)測(cè)方法與網(wǎng)絡(luò)②相同,但CNN網(wǎng)絡(luò)搭建時(shí)僅使用與網(wǎng)絡(luò)②相同的結(jié)構(gòu),其內(nèi)部參數(shù)不再調(diào)用公開值。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中,通過反向傳播CNN與LSTM共同調(diào)整內(nèi)部參數(shù),即聯(lián)合學(xué)習(xí)將公開預(yù)訓(xùn)練權(quán)重調(diào)整為待訓(xùn)練權(quán)重,進(jìn)一步降低網(wǎng)絡(luò)訓(xùn)練損失,使得網(wǎng)絡(luò)達(dá)到比CNN-LSTM遷移學(xué)習(xí)網(wǎng)絡(luò)擬合更優(yōu)的效果。隨后對(duì)比以上3種網(wǎng)絡(luò)在測(cè)試集上的預(yù)測(cè)效果,找出擬合效果最優(yōu)的深度學(xué)習(xí)網(wǎng)絡(luò)作為視觸覺圖像序列計(jì)算模型。

圖4 3種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Structure diagram of three deep learning networks

3.2 損失函數(shù)

獼猴桃視觸覺序列圖像輸入CNN網(wǎng)絡(luò)后,連接兩層全連接層下采樣后輸出結(jié)果為1維張量,該張量表示獼猴桃預(yù)測(cè)硬度;輸入CNN-LSTM遷移學(xué)習(xí)網(wǎng)絡(luò)和聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)后,輸出結(jié)果為5維張量,分別表征序列圖像每一幀硬度,取張量最后兩個(gè)維度結(jié)果平均值作為獼猴桃的預(yù)測(cè)硬度;質(zhì)構(gòu)儀穿刺試驗(yàn)測(cè)得的獼猴桃硬度為實(shí)際硬度y,該任務(wù)為回歸類監(jiān)督學(xué)習(xí)任務(wù),選擇均方誤差(Mean squared error loss,MSELoss)[34]為損失函數(shù)計(jì)算深度學(xué)習(xí)網(wǎng)絡(luò)損失值,越近似于y,即兩者差的絕對(duì)值越小,證明深度學(xué)習(xí)網(wǎng)絡(luò)擬合效果越好,該損失函數(shù)計(jì)算結(jié)果為與y的歐氏距離。

3.3 評(píng)價(jià)指標(biāo)

在測(cè)試集中采用均方根誤差(Root mean square error, RMSE)、平均絕對(duì)誤差(Mean absolute error, MAE)、決定系數(shù)R2評(píng)價(jià)模型效果。

3.4 模型訓(xùn)練

為了加快深度學(xué)習(xí)模型訓(xùn)練迭代速度,本文選取處理器為AMD Ryzen 5-3600、運(yùn)行內(nèi)存為16 GB的Linux操作系統(tǒng)計(jì)算機(jī)進(jìn)行模型訓(xùn)練,并基于PyTorch深度學(xué)習(xí)框架,使用Python語(yǔ)言編寫,在GPU處理器上進(jìn)行模型訓(xùn)練與迭代。

本文試驗(yàn)在600組獼猴桃觸覺序列圖像中隨機(jī)挑選400組作為訓(xùn)練集調(diào)試深度學(xué)習(xí)模型及參數(shù),100組作為驗(yàn)證集驗(yàn)證模型訓(xùn)練效果,其余100組作為測(cè)試集評(píng)估深度學(xué)習(xí)模型泛化與擬合效果。

在網(wǎng)絡(luò)訓(xùn)練過程中,訓(xùn)練集觸覺序列圖像以概率50%隨機(jī)上下翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng),擴(kuò)增后的訓(xùn)練集樣本數(shù)量為602個(gè),訓(xùn)練優(yōu)化器選擇Adam(Adaptive moment estimation)算法,批量大小(Batch size)為4,初始學(xué)習(xí)率(Learning rate)為0.000 1;帶有LSTM網(wǎng)絡(luò)的模型隱藏層大小(Hidden size)為1,堆疊層數(shù)為2,遺忘概率(Drop out)為0.25。3組訓(xùn)練遍歷1 500個(gè)循環(huán)(epoch),損失函數(shù)為MSELoss,平均絕對(duì)誤差最小閾值設(shè)置為3.5 N,當(dāng)某一循環(huán)測(cè)試集平均絕對(duì)誤差e低于閾值時(shí)保存模型,同時(shí)最低閾值更新為e,迭代至訓(xùn)練結(jié)束。圖5、 6分別為訓(xùn)練過程中損失值與平均絕對(duì)誤差變化趨勢(shì)圖。

圖5 訓(xùn)練損失值變化趨勢(shì)Fig.5 Chart of training loss values’ tendency

圖6 平均絕對(duì)誤差變化趨勢(shì)Fig.6 Chart of MAE tendency

4 結(jié)果與分析

4.1 視觸覺檢測(cè)無(wú)損性評(píng)價(jià)

在該試驗(yàn)中,同一獼猴桃接觸面與非接觸面果肉顏色比較為配對(duì)對(duì)照,同時(shí)服從正態(tài)分布,在α取0.05檢驗(yàn)水平下,編寫Python程序計(jì)算得出檢驗(yàn)統(tǒng)計(jì)量t,并比較平均數(shù)的方差是否存在顯著性差異,繪制接觸面與非接觸面L*、a*、b*顏色分量柱狀圖如圖7所示。

圖7 接觸面與非接觸面L*、a*、b*顏色分量值Fig.7 Histogram of L*, a* and b* color components of contact and non-contact surfaces

4.2 深度學(xué)習(xí)模型對(duì)比

如圖5、6所示,網(wǎng)絡(luò)訓(xùn)練過程中,在620次左右的迭代中,平均絕對(duì)誤差穩(wěn)定在最優(yōu)點(diǎn)附近振蕩,雖然損失值逐漸下降,但對(duì)預(yù)測(cè)效果已無(wú)明顯提高,模型已近似達(dá)到最優(yōu)擬合效果。因此,訓(xùn)練循環(huán)中平均絕對(duì)誤差取得最小值時(shí)保存深度學(xué)習(xí)模型,該次循環(huán)訓(xùn)練的RMSE、MAE、R23個(gè)評(píng)價(jià)指標(biāo)如表1所示。

表1 模型評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of deep learning models’ evaluation indicators

表1為3種深度學(xué)習(xí)模型在測(cè)試集上的最優(yōu)效果比較結(jié)果,CNN提取視觸覺序列圖像特征后輸入LSTM網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)和聯(lián)合學(xué)習(xí)后,效果均得到提高,優(yōu)于僅采用CNN網(wǎng)絡(luò);同時(shí)CNN-LSTM聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)獲得了最佳預(yù)測(cè)精度,其RMSE、MAE、R2分別為1.611 N、1.360 N、0.856,且R2優(yōu)于現(xiàn)階段光譜成像技術(shù)(R2=0.82)[36]。

CNN網(wǎng)絡(luò)、CNN-LSTM遷移學(xué)習(xí)網(wǎng)絡(luò)、CNN-LSTM聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)在損失函數(shù)取得最小值時(shí),獼猴桃預(yù)測(cè)硬度與實(shí)際硬度相關(guān)性分析如圖8所示。

圖8 預(yù)測(cè)值與實(shí)際值相關(guān)性Fig.8 Correlation between predicted value and measured value

從圖8a可以看出,CNN網(wǎng)絡(luò)分析視觸覺序列圖像預(yù)測(cè)獼猴桃硬度效果不佳,離散程度高,模型決定系數(shù)僅為0.122,CNN網(wǎng)絡(luò)對(duì)觸覺圖像序列處理計(jì)算結(jié)果差,因此無(wú)法滿足預(yù)測(cè)獼猴桃硬度的要求。

引入LSTM網(wǎng)絡(luò)分析長(zhǎng)時(shí)與短時(shí)序列特征后,數(shù)據(jù)擬合度得到了明顯提高,證明在CNN網(wǎng)絡(luò)后端連接LSTM網(wǎng)絡(luò),引入長(zhǎng)時(shí)和短時(shí)信息進(jìn)行動(dòng)態(tài)特征信息關(guān)聯(lián)與分析,進(jìn)而推斷獼猴桃硬度的方法具有可行性。但CNN-LSTM遷移學(xué)習(xí)視觸覺序列圖像預(yù)測(cè)結(jié)果并不理想,因此單一調(diào)整LSTM內(nèi)部參數(shù)擬合效果較為有限。相比遷移學(xué)習(xí)網(wǎng)絡(luò),聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)在訓(xùn)練參數(shù)時(shí)隨著損失值變化反向傳播時(shí)可進(jìn)行參數(shù)調(diào)整,ResNet網(wǎng)絡(luò)獲得了模型的更優(yōu)參數(shù)解,魯棒性得到了增強(qiáng),相關(guān)性得到了進(jìn)一步提高,因此,CNN-LSTM遷移學(xué)習(xí)得到了最優(yōu)預(yù)測(cè)效果。

5 獼猴桃硬度自動(dòng)檢測(cè)裝置

模型訓(xùn)練完成后,將CNN-LSTM聯(lián)合學(xué)習(xí)模型嵌入樹莓派開發(fā)板中,并完善相關(guān)控制算法與檢測(cè)程序,制作了獼猴桃硬度自動(dòng)檢測(cè)裝置與裝置系統(tǒng)流程分別如圖9、10所示。

圖9 獼猴桃硬度自動(dòng)檢測(cè)裝置Fig.9 Automatic testing device for kiwifruits firmness

圖10 獼猴桃硬度檢測(cè)流程圖Fig.10 Flow chat for kiwifruits firmness testing

隨后,另隨機(jī)購(gòu)買20個(gè)獼猴桃進(jìn)行預(yù)測(cè)效果檢測(cè),該組獼猴桃最小硬度7.5 N,最大硬度 18.2 N,硬度檢測(cè)方法如2.1.2節(jié)所述。裝置預(yù)測(cè)最大絕對(duì)誤差2.23 N,預(yù)測(cè)平均絕對(duì)誤差為1.42 N,平均檢測(cè)時(shí)間為8.6 s。結(jié)果顯示,相同的數(shù)據(jù)采集方法下,硬度檢測(cè)裝置與深度學(xué)習(xí)預(yù)測(cè)集效果接近。該裝置可實(shí)現(xiàn)自動(dòng)化下獼猴桃硬度的較好檢測(cè)。

6 結(jié)論

(1)提出一種基于視觸覺技術(shù)與CNN-LSTM聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)模型的獼猴桃硬度檢測(cè)方法,主要通過分析觸覺傳感層接觸獼猴桃過程中動(dòng)態(tài)信息判斷交互力大小推斷獼猴桃硬度。通過試驗(yàn)證明了獼猴桃序列圖像采集裝置與獼猴桃接觸3 h后接觸面與非接觸面的果肉顏色CIELAB顏色分量均值無(wú)顯著差異,即可實(shí)現(xiàn)與獼猴桃的柔性安全交互,滿足無(wú)損檢測(cè)要求。

(2)收集獼猴桃視觸覺序列圖像后,可使用LSTM網(wǎng)絡(luò)引入長(zhǎng)時(shí)和短時(shí)信息動(dòng)態(tài)分析CNN提取視觸覺序列圖像特征信息。構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)在測(cè)試集上RMSE、MAE、R2指標(biāo)值與相關(guān)性分析結(jié)果顯示,CNN-LSTM聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)通過訓(xùn)練調(diào)整CNN與LSTM內(nèi)部參數(shù),反向傳播時(shí)CNN與LSTM共同調(diào)整內(nèi)部參數(shù),即聯(lián)合學(xué)習(xí)將公開預(yù)訓(xùn)練權(quán)重調(diào)整為待訓(xùn)練權(quán)重,進(jìn)一步降低損失值,使得網(wǎng)絡(luò)達(dá)到比CNN-LSTM遷移學(xué)習(xí)網(wǎng)絡(luò)預(yù)測(cè)更好的效果,其決定系數(shù)R2優(yōu)于現(xiàn)階段光譜技術(shù)研究結(jié)果,且不需要復(fù)雜建模過程,可以作為視觸覺序列圖像檢測(cè)推斷獼猴桃硬度的運(yùn)算模型。隨后將CNN-LSTM聯(lián)合學(xué)習(xí)模型嵌入樹莓派端,制作了獼猴桃硬度自動(dòng)檢測(cè)裝置,可實(shí)現(xiàn)短時(shí)間內(nèi)獼猴桃硬度的較為準(zhǔn)確檢測(cè)。