李善軍 宋竹平 梁千月 孟 亮 余勇華 陳耀暉

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.農(nóng)業(yè)農(nóng)村部長(zhǎng)江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室， 武漢 430070)

0 引言

實(shí)蠅是全球植物檢疫性有害生物，也是我國(guó)很多柑橘產(chǎn)區(qū)危害最嚴(yán)重的害蟲[1]，每年造成的損失占我國(guó)柑橘產(chǎn)業(yè)總產(chǎn)值的10%～20%，嚴(yán)重時(shí)可達(dá)50%[2]，在柑橘采后早期分選階段準(zhǔn)確地識(shí)別實(shí)蠅侵染柑橘是降低貯藏風(fēng)險(xiǎn)的關(guān)鍵。傳統(tǒng)的實(shí)蠅侵染柑橘檢測(cè)方法為有損操作，需要人工將柑橘剖開后進(jìn)行判斷[3]，過程繁瑣且耗時(shí)較長(zhǎng)，檢測(cè)結(jié)果的準(zhǔn)確性也難以保證。無損檢測(cè)技術(shù)是指在無損狀態(tài)下，通過檢測(cè)與水果品質(zhì)相關(guān)性較高的理化指標(biāo)，對(duì)水果的病變[4]、風(fēng)味[5]等內(nèi)部特性進(jìn)行篩選與分級(jí)。同時(shí)，現(xiàn)代柑橘商品化處理生產(chǎn)線將柑橘鮮果的防腐、清洗、打蠟、分級(jí)等環(huán)節(jié)集成到了一條自動(dòng)化流水線中，與傳統(tǒng)的人工處理相比，大幅度降低了人力成本并提高了生產(chǎn)效率，是全球柑橘產(chǎn)業(yè)采后處理的發(fā)展趨勢(shì)[6]。所以，研發(fā)適配于柑橘生產(chǎn)線的實(shí)蠅侵染果在線無損檢測(cè)方法，對(duì)于增強(qiáng)柑橘生產(chǎn)的自動(dòng)化程度、提高鮮果的品質(zhì)等級(jí)以及降低產(chǎn)業(yè)的經(jīng)濟(jì)風(fēng)險(xiǎn)有重要意義。

針對(duì)實(shí)蠅侵染柑橘，國(guó)內(nèi)外學(xué)者已經(jīng)嘗試了多種無損檢測(cè)技術(shù)進(jìn)行檢測(cè)。實(shí)蠅侵染柑橘的過程可以大致分為兩個(gè)階段：在侵染早期，蟲卵被實(shí)蠅產(chǎn)入柑橘內(nèi)部后逐漸孵化；而在侵染晚期，幼蟲會(huì)破壞柑橘表皮形成明顯的病斑。利用機(jī)器視覺技術(shù)，研究者們開發(fā)了基于顏色特征的機(jī)器學(xué)習(xí)算法[7]、基于灰度閾值的蟲害部位分割策略[8]以及基于大數(shù)據(jù)的深度學(xué)習(xí)方法[9]，對(duì)侵染晚期的柑橘實(shí)現(xiàn)了較高的檢測(cè)精度。但是，由于侵染早期柑橘的表皮在可見光下沒有明顯特征，圖像技術(shù)不再適用。文獻(xiàn)[10-11]開發(fā)了基于金屬氧化物傳感器的電子鼻，能夠?qū)?shí)蠅侵染柑橘釋放的氣體產(chǎn)生差別較明顯的電信號(hào)，然而該方法采樣效率較低，難以實(shí)現(xiàn)快速檢測(cè)。近紅外光譜[12]和高光譜[13]技術(shù)因其較高的檢測(cè)效率，已經(jīng)被廣泛應(yīng)用于蔬果品質(zhì)在線無損檢測(cè)中。文獻(xiàn)[14-15]分別對(duì)基于近紅外光譜和高光譜的蟲害侵染水果檢測(cè)研究進(jìn)行了總結(jié)，發(fā)現(xiàn)這些方法的檢測(cè)準(zhǔn)確率往往不高，其原因是光譜技術(shù)通常只會(huì)提取水果某一部分的光譜信息，而對(duì)蟲害侵染果的準(zhǔn)確篩查需要檢測(cè)水果的全部?jī)?nèi)部結(jié)構(gòu)。基于X-ray的DR(Digital radiography)成像技術(shù)和CT(Computed tomography)成像技術(shù)可以完全穿透柑橘類水果，為蟲害侵染水果檢測(cè)提供新的方案。文獻(xiàn)[16]探討了DR成像用于水果檢測(cè)的可能性，發(fā)現(xiàn)X-ray在穿透水果的過程中會(huì)發(fā)生衰減，因此衰減形成的對(duì)比度差異反映了水果內(nèi)部結(jié)構(gòu)特征，同時(shí)該技術(shù)的采樣與成像速度均較快。但是，DR技術(shù)的圖像精度較低，且每幅圖像采集的信息量比較有限，因此準(zhǔn)確識(shí)別水果內(nèi)部的微小蟲害侵染部位非常困難。文獻(xiàn)[17-18]分別研究了不同蟲齡米象侵染粒內(nèi)微觀結(jié)構(gòu)變化過程、儲(chǔ)糧米象生長(zhǎng)階段檢測(cè)。文獻(xiàn)[19]基于濾波反投影法等算法將2D-X-ray圖像重建為3D-CT圖像，精度可達(dá) 2.60 μm， 能夠?qū)崿F(xiàn)更精準(zhǔn)的蟲害侵染水果檢測(cè)。文獻(xiàn)[20]利用CT技術(shù)可視化了蟲害侵染水果的過程，但該技術(shù)的重建過程耗時(shí)較長(zhǎng)，難以應(yīng)用于柑橘生產(chǎn)線中進(jìn)行在線檢測(cè)。

上述蟲害侵染水果檢測(cè)研究中，研究者們僅使用單模態(tài)數(shù)據(jù)對(duì)水果進(jìn)行無損檢測(cè)，無法同時(shí)保障高采樣效率與高檢測(cè)精度。實(shí)蠅侵染柑橘的內(nèi)部、外部病變特征復(fù)雜，具有高采樣效率的單源數(shù)據(jù)難以準(zhǔn)確描述其侵染部位特征信息，極易導(dǎo)致檢測(cè)模型漏檢誤檢。多模態(tài)數(shù)據(jù)融合方法可將不同模態(tài)的數(shù)據(jù)按照某特定標(biāo)準(zhǔn)處理，充分挖掘更多的數(shù)據(jù)信息，且該方法目前已廣泛應(yīng)用于農(nóng)產(chǎn)品檢測(cè)領(lǐng)域[21]，可使識(shí)別率總體提高2%～5%[22]。因此，本文提出一種基于RGB和X-ray序列多模態(tài)數(shù)據(jù)融合的實(shí)蠅侵染柑橘檢測(cè)策略，模擬柑橘生產(chǎn)線檢測(cè)的實(shí)際情況，融合多角度實(shí)蠅侵染柑橘的內(nèi)外部信息并結(jié)合深度學(xué)習(xí)技術(shù)，在保障高采樣效率的同時(shí)，實(shí)現(xiàn)對(duì)處于不同侵染時(shí)期柑橘的高精度無損檢測(cè)。

1 材料與方法

1.1 試驗(yàn)材料及設(shè)備

研究中使用的試驗(yàn)材料為受實(shí)蠅侵染的溫州蜜柑，如圖1所示，采于湖北省宜昌市夷陵區(qū)溫州蜜柑產(chǎn)區(qū)，采摘后的柑橘樣本運(yùn)送至華中農(nóng)業(yè)大學(xué)柑橘X射線成像實(shí)驗(yàn)室。

圖1 樣本和X-ray系統(tǒng)組成示意圖Fig.1 Citrus sample and schematic of X-ray system1.實(shí)蠅侵染柑橘X-ray圖像 2.X-ray射線源 3.旋轉(zhuǎn)臺(tái) 4.探測(cè)器

1.2 總體思路

在實(shí)際柑橘采后分選過程中，如圖2所示，柑橘被放置在傳送帶上運(yùn)輸，傳送帶上的旋轉(zhuǎn)滾輪與柑橘果實(shí)摩擦帶動(dòng)柑橘果實(shí)發(fā)生旋轉(zhuǎn)，無損檢測(cè)裝置的圖像采集單元可對(duì)不同旋轉(zhuǎn)角度的柑橘進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)處理單元綜合考慮不同角度的柑橘特征信息對(duì)柑橘是否有侵染缺陷進(jìn)行判斷，由分選機(jī)構(gòu)在生產(chǎn)線末端對(duì)實(shí)蠅侵染柑橘剔除。以實(shí)蠅侵染柑橘為研究對(duì)象，模擬柑橘商品化生產(chǎn)線上搭載農(nóng)業(yè)X光機(jī)的檢測(cè)柑橘過程，構(gòu)建滿足柑橘生產(chǎn)線實(shí)際要求的在線無損檢測(cè)方法，柑橘滾動(dòng)通過農(nóng)業(yè)X光機(jī)時(shí)會(huì)旋轉(zhuǎn)360°，在此過程中采得6幅實(shí)蠅侵染柑橘的DR和RGB時(shí)序圖像。

圖2 柑橘生產(chǎn)線無損檢測(cè)數(shù)據(jù)采樣過程Fig.2 Non-destructive data sampling process for citrus production line1.X光射線源 2、4.CCD相機(jī) 3.射線源 5.蟲眼界面 6.探測(cè)器 7.傳送帶 8.健康界面

1.3 數(shù)據(jù)采集及預(yù)處理

1.3.1數(shù)據(jù)集采集

柑橘X射線成像實(shí)驗(yàn)室的室內(nèi)溫度為26℃、相對(duì)濕度為50%，成像前2 h送入室內(nèi)以平衡外部環(huán)境對(duì)樣本的干擾。將實(shí)蠅侵染柑橘放置在載物臺(tái)處的低密度聚苯乙烯泡沫支架上，支架在掃描過程起

到穩(wěn)定作用，使柑橘果軸大致與旋轉(zhuǎn)軸重合，防止柑橘旋轉(zhuǎn)過程中轉(zhuǎn)出成像區(qū)域引起圖像缺失。實(shí)蠅侵染柑橘X-ray數(shù)據(jù)由微焦點(diǎn)計(jì)算機(jī)斷層掃描儀(Nano Voxe2000型，天津三英公司)采得，RGB數(shù)據(jù)由網(wǎng)絡(luò)攝像頭(GuceeHD98型，谷客公司)采得，在X-ray射線源曝光的同時(shí)進(jìn)行CCD相機(jī)曝光，同時(shí)使用20 W的環(huán)形LED燈在數(shù)據(jù)采集空間內(nèi)增強(qiáng)和平衡照明條件。圖3展示了數(shù)據(jù)采集過程。對(duì)于每個(gè)樣本，掃描的角度步長(zhǎng)為60°，樣品繞旋轉(zhuǎn)臺(tái)中心軸定軸旋轉(zhuǎn)360°，可獲得6幅沿射線源發(fā)射方向的X-ray DR和RGB時(shí)序圖像。

圖3 數(shù)據(jù)采集過程Fig.3 Data collection process1.RGB相機(jī) 2.X-ray射線源 3.旋轉(zhuǎn)臺(tái) 4.柑橘樣本

每個(gè)柑橘的真實(shí)感染程度由3位接受過培訓(xùn)的人員分別在顯微鏡(VHX-6000型，日本基恩士公司)下剖開觀察后進(jìn)行判斷?；陲@微鏡觀察結(jié)果，將未發(fā)現(xiàn)任何內(nèi)部結(jié)構(gòu)損傷的柑橘標(biāo)記為健康柑橘，存在幼蟲對(duì)內(nèi)部結(jié)構(gòu)破壞但外表皮完整的柑橘標(biāo)記為侵染早期感染，果皮外表面已經(jīng)有明顯損害的柑橘標(biāo)記為侵染晚期柑橘，從大量樣本中篩得健康柑橘300個(gè)，早期侵染柑橘321個(gè)，晚期侵染柑橘283個(gè)。圖4展示了健康和實(shí)蠅侵染柑橘RGB和X-ray圖像。按照6∶2∶2的比例將這些柑橘的X-ray DR和RGB時(shí)序圖像劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。

圖4 實(shí)蠅侵染柑橘RGB和X-ray圖像Fig.4 Citrus infested by Bactrocera dorsalis RGB and X-ray image

1.3.2數(shù)據(jù)集預(yù)處理

在實(shí)際生產(chǎn)線檢測(cè)過程中，柑橘在生產(chǎn)線承載果杯上旋轉(zhuǎn)，圖像采集受光線、角度等因素影響。為擴(kuò)增數(shù)據(jù)集的樣本量提高網(wǎng)絡(luò)模型的魯棒性和泛化性，本研究使用旋轉(zhuǎn)、錯(cuò)切、移位、亮度、銳度5種數(shù)據(jù)增強(qiáng)操作，對(duì)訓(xùn)練集中的時(shí)序圖像進(jìn)行增強(qiáng)，數(shù)據(jù)增強(qiáng)效果如圖5所示。

圖5 數(shù)據(jù)增強(qiáng)效果Fig.5 Effects of data augmentation

1.4 多模態(tài)數(shù)據(jù)融合

1.4.1多模態(tài)融合策略

針對(duì)實(shí)蠅侵染柑橘，RGB圖像可從外部描述其表皮病變特征，X-ray圖像可從內(nèi)部描述其橘瓣缺失特征，采用內(nèi)外結(jié)合的多模態(tài)數(shù)據(jù)融合策略，可有效彌補(bǔ)單模態(tài)數(shù)據(jù)特征信息不足的缺陷。早期實(shí)蠅侵染柑橘表皮上蟲孔不明顯，判別結(jié)果易受到其它病灶點(diǎn)和污漬影響，如炭疽病、黃斑病等，同時(shí)X-ray圖像中的內(nèi)部結(jié)構(gòu)損傷也比較輕微，兩種數(shù)據(jù)相互補(bǔ)充可以獲得更加完整的實(shí)蠅侵染特征表達(dá)；晚期實(shí)蠅侵染柑橘表皮蟲孔處已表現(xiàn)出較為明顯的水漬斑，在X-ray圖像上也呈現(xiàn)出因橘瓣結(jié)構(gòu)性破壞而產(chǎn)生的異變區(qū)域，兩種數(shù)據(jù)互相驗(yàn)證能夠獲得更高精度的檢測(cè)效果。另外，RGB圖像上蟲孔的位置和X-ray圖像上的啃噬區(qū)域呈高度相關(guān)性，多模態(tài)數(shù)據(jù)融合策略可將實(shí)蠅侵染柑橘的RGB和X-ray數(shù)據(jù)信息進(jìn)行互補(bǔ)重構(gòu)，利用不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)性挖掘更復(fù)雜更精確的特征信息。選擇早期融合中的圖像融合和特征融合方法開展基于多模態(tài)數(shù)據(jù)融合的實(shí)蠅侵染柑橘檢測(cè)方法研究。

1.4.2圖像融合方法

對(duì)CNN網(wǎng)絡(luò)進(jìn)行修改，使網(wǎng)絡(luò)可以同時(shí)接受6通道的多模態(tài)實(shí)蠅侵染柑橘序列圖像，如圖6所示。CNN-LSTM(Convolutional neural networks-long short-term memory)網(wǎng)絡(luò)可按照特定編號(hào)形式，同時(shí)輸入尺寸為224×224×3且角度配準(zhǔn)后的RGB和X-ray時(shí)序圖像，經(jīng)由CNN對(duì)同一角度的實(shí)蠅侵染柑橘RGB圖像和X-ray圖像同時(shí)進(jìn)行特征提取，由LSTM單元綜合運(yùn)算所有角度的深度特征信息并輸出檢測(cè)結(jié)果。試驗(yàn)時(shí)將預(yù)訓(xùn)練參數(shù)導(dǎo)入改進(jìn)后的模型，并將RGB通道參數(shù)進(jìn)行加權(quán)處理賦予X-ray 通道，可提升網(wǎng)絡(luò)收斂速度，避免陷入局部最小值。

圖6 圖像融合Fig.6 Image fusion

1.4.3特征融合方法

改進(jìn)后的特征融合網(wǎng)絡(luò)仍用CNN作為特征提取網(wǎng)絡(luò)，將尺寸為224×224×3且成像角度相同的RGB和X-ray圖像作為輸入，并分別分配一個(gè)CNN網(wǎng)絡(luò)以提取RGB圖像特征和X-ray圖像特征，提取后的深度特征在最后一層卷積層上并聯(lián)以實(shí)現(xiàn)特征融合，如圖7所示。融合后的特征圖將被送入該角度對(duì)應(yīng)的LSTM單元進(jìn)行運(yùn)算，上一角度LSTM單元也會(huì)將運(yùn)算結(jié)果傳入本單元，以實(shí)現(xiàn)實(shí)蠅侵染柑橘的全面無損檢測(cè)。

1.5 檢測(cè)模型與評(píng)價(jià)指標(biāo)

1.5.1實(shí)蠅侵染柑橘檢測(cè)模型

本研究構(gòu)建的CNN-LSTM模型結(jié)構(gòu)如圖8所示。CNN對(duì)輸入的圖像序列進(jìn)行特征提取，以CNN提取的特征作為L(zhǎng)STM的輸入，構(gòu)建CNN-LSTM模型。該方法以6幅X-ray和RGB圖像為輸入，每幅圖像間隔60°，相當(dāng)于柑橘滾動(dòng)60°拍攝一幅圖像，對(duì)于每幅圖像都會(huì)分配一個(gè)CNN模型進(jìn)行特征提取，ResNet18最后一層輸出的1 000個(gè)深度特征，最終獲取6×1 000的二維矩陣信息。隨后6×1 000的矩陣將被同時(shí)送入LSTM模型中，LSTM模型先對(duì)0°圖像特征進(jìn)行計(jì)算，隨后將0°圖像過濾后的特征傳入下一個(gè)LSTM單元，此時(shí)60°圖像特征將會(huì)結(jié)合0°圖像特征信息進(jìn)行LSTM單元運(yùn)算，輸出信息繼續(xù)送往下一個(gè)LSTM單元，最終LSTM將會(huì)考慮 0°～360° 之間的6幅圖像信息輸出分類結(jié)果。以序列圖像作為模型的輸入可以解決由于柑橘本身厚度引起的X射線衰減而導(dǎo)致的圖像差異和單幅實(shí)蠅侵染柑橘RGB圖像的侵染特征遺漏問題。即某一幀圖像中出現(xiàn)蟲孔特征和實(shí)蠅啃噬特征，CNN-LSTM模型將會(huì)識(shí)別出該特征，從而實(shí)現(xiàn)整個(gè)柑橘的實(shí)蠅侵染檢測(cè)。

圖8 實(shí)蠅侵染柑橘檢測(cè)模型Fig.8 Detection model of citrus infested by Bactrocera dorsalis

1.5.2損失函數(shù)

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，為了獲得最優(yōu)的模型輸出結(jié)果，應(yīng)使得網(wǎng)絡(luò)輸出的預(yù)測(cè)值不斷逼近真實(shí)值，交叉熵用于衡量預(yù)測(cè)值和真實(shí)值概率分布之間的距離，該距離可被當(dāng)作網(wǎng)絡(luò)模型的損失函數(shù)。本研究模型訓(xùn)練時(shí)所使用的損失函數(shù)為交叉熵?fù)p失函數(shù)[23](CrossEntropy loss function)，該損失函數(shù)常被用于神經(jīng)網(wǎng)絡(luò)分類問題[24-26]。

1.5.3評(píng)價(jià)指標(biāo)

本研究采用準(zhǔn)確率作為模型檢測(cè)精度的評(píng)價(jià)指標(biāo)。準(zhǔn)確率被定義為

(1)

式中n——柑橘樣本數(shù)據(jù)集數(shù)量

I——模型檢測(cè)精度

x——輸入的柑橘X-ray圖像

f(xi)——檢測(cè)模型輸出的柑橘類別

yi——柑橘果實(shí)序列中的真實(shí)類別

柑橘果實(shí)序列x為輸入經(jīng)過的視覺模型預(yù)測(cè)結(jié)果f(xi)，將f(xi)與真實(shí)類別yi進(jìn)行對(duì)比，如果相同記為1，不同記為0，最后對(duì)n個(gè)樣本求平均得到檢測(cè)準(zhǔn)確率。

1.5.4模型訓(xùn)練

初始學(xué)習(xí)率設(shè)置為1×10-5，batch_size設(shè)置為4，lstm_hidden_size設(shè)置為128，lstm_layers設(shè)置為2，dropout_rate設(shè)置為0.2，循環(huán)次數(shù)(Epoch)設(shè)置為200。訓(xùn)練過程中，優(yōu)化器使用Adam算法。

1.5.5試驗(yàn)平臺(tái)

本研究試驗(yàn)基于Windows 10操作系統(tǒng)，GPU為GeForce RTX 3080Ti(8 GB顯存)，處理器為AMD Ryzen 7 5800H CPU 3.20 GHz，運(yùn)行內(nèi)存為32 GB。模型的搭建與訓(xùn)練驗(yàn)證通過Python語言實(shí)現(xiàn)，基于PyTorch深度學(xué)習(xí)框架，并行計(jì)算框架使用CUDA 11.0。

2 結(jié)果與分析

由于實(shí)時(shí)檢測(cè)中對(duì)檢測(cè)效率的要求較高，本研究選擇ResNet、GoogleNet、SqueezeNet、MobileNet輕量化卷積神經(jīng)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，構(gòu)建CNN-LSTM實(shí)蠅侵染柑橘檢測(cè)模型。為驗(yàn)證本文提出的實(shí)蠅侵染柑橘檢測(cè)模型性能和多模態(tài)數(shù)據(jù)融合方法的有效性，不同的網(wǎng)絡(luò)在相同數(shù)據(jù)集和試驗(yàn)環(huán)境下進(jìn)行測(cè)試，根據(jù)檢測(cè)后的結(jié)果對(duì)模型的準(zhǔn)確率、參數(shù)量、浮點(diǎn)運(yùn)算量和檢測(cè)時(shí)間進(jìn)行計(jì)算，試驗(yàn)結(jié)果如表1所示。

從表1可知，針對(duì)每個(gè)CNN特征提取網(wǎng)絡(luò)，多模態(tài)數(shù)據(jù)融合模型的檢測(cè)準(zhǔn)確率高于單模態(tài)X-ray和RGB數(shù)據(jù)模型的檢測(cè)準(zhǔn)確率，在實(shí)蠅侵染柑橘序列數(shù)據(jù)集上的檢測(cè)準(zhǔn)確率均在90%以上?；趫D像融合方法構(gòu)建的檢測(cè)模型中，ResNet18-LSTM的檢測(cè)準(zhǔn)確率、模型參數(shù)量和浮點(diǎn)運(yùn)算量均高于其它3種模型，該模型具有更大的參數(shù)量和模型復(fù)雜度，使其具有更優(yōu)異的特征提取能力，準(zhǔn)確率達(dá)到97.3%，檢測(cè)時(shí)間為2.662 s。相較于單模態(tài)檢測(cè)方法，圖像融合方法在第1個(gè)卷積層對(duì)通道疊加后的蟲橘圖像做卷積處理，在第1個(gè)卷積層上添加了另一模態(tài)的三通道參數(shù)，該操作導(dǎo)致了模型參數(shù)量和浮點(diǎn)運(yùn)算量的提升，輸入共12幅X-ray和RGB時(shí)序圖像數(shù)據(jù)導(dǎo)致了網(wǎng)絡(luò)模型的檢測(cè)時(shí)間延長(zhǎng)?；谔卣魅诤蠘?gòu)建的檢測(cè)模型中，各模型檢測(cè)準(zhǔn)確率同樣優(yōu)于單模態(tài)檢測(cè)方法，但是低于圖像融合檢測(cè)方法，同時(shí)需要花費(fèi)更多的檢測(cè)時(shí)間，GoogleNet-LSTM檢測(cè)時(shí)間達(dá)到4.187 s。這是由于特征融合方法中對(duì)RGB圖像和X-ray圖像分別分配一個(gè)CNN網(wǎng)絡(luò)以提取圖像特征，使模型的浮點(diǎn)運(yùn)算量提升至單模態(tài)方法的兩倍，需要更多GPU存儲(chǔ)空間和算力，同時(shí)雙CNN的結(jié)構(gòu)易使得網(wǎng)絡(luò)在訓(xùn)練過程中過擬合而導(dǎo)致檢測(cè)準(zhǔn)確率下降。在針對(duì)單模態(tài)方法的消融試驗(yàn)中，分別以6幅224×224×3實(shí)蠅侵染X-ray序列圖像和6幅RGB序列圖像作為輸入進(jìn)行對(duì)比。不同輸入的單模態(tài)方法模型參數(shù)量和浮點(diǎn)運(yùn)算量相同，檢測(cè)時(shí)間也均在0.797～0.887 s 之間。因此，相較于僅使用單模態(tài)X-ray和RGB數(shù)據(jù)的方法，本研究所提的多模態(tài)數(shù)據(jù)融合的實(shí)蠅侵染柑橘檢測(cè)方法在檢測(cè)準(zhǔn)確率方面有明顯提升，同時(shí)由于檢測(cè)模型參數(shù)量與浮點(diǎn)運(yùn)算量更大，需要更多的運(yùn)算時(shí)間。

表1 不同卷積神經(jīng)網(wǎng)絡(luò)模型性能對(duì)比Tab.1 Performance comparison of different convolutional neural network models

為了進(jìn)一步驗(yàn)證多模態(tài)方法對(duì)特征的提取與結(jié)合的合理性，本研究采用Grad-CAM(Class activation mapping，CAM)對(duì)網(wǎng)絡(luò)模型進(jìn)行可視化分析。以檢測(cè)精度最高的ResNet18-LSTM網(wǎng)絡(luò)為例，將ResNet18特征提取網(wǎng)絡(luò)最后一次卷積后提取到的特征進(jìn)行可視化，更加直觀地展示多模態(tài)數(shù)據(jù)融合方法的關(guān)鍵判別特征。圖9所示熱力圖反映了不同位置像素點(diǎn)對(duì)輸出結(jié)果的影響程度，橙紅色的高亮區(qū)域表示該區(qū)域的像素點(diǎn)對(duì)最終分類結(jié)果影響更大，在網(wǎng)絡(luò)的決策分類中占有更高權(quán)重。從實(shí)蠅侵染柑橘RGB和X-ray圖像的熱力圖中可以看出，檢測(cè)模型可以憑借實(shí)蠅侵染關(guān)鍵特征識(shí)別柑橘受否侵染。實(shí)蠅侵染柑橘RGB類激活可視化熱力圖上高亮區(qū)域主要集中在蟲孔附近位置，這表明網(wǎng)絡(luò)更加關(guān)注蟲孔附近的區(qū)域，蟲孔是網(wǎng)絡(luò)檢測(cè)的關(guān)鍵特征；實(shí)蠅侵染柑橘X-ray類激活可視化熱力圖上高亮區(qū)域主要集中在內(nèi)部實(shí)蠅啃噬區(qū)域，這表明實(shí)蠅啃噬區(qū)域在網(wǎng)絡(luò)分類決策時(shí)占有較高權(quán)重，網(wǎng)絡(luò)也關(guān)注到了實(shí)蠅啃噬區(qū)域這一關(guān)鍵特征。因此，實(shí)蠅侵染柑橘RGB上呈現(xiàn)出的蟲孔和X-ray上呈現(xiàn)出的實(shí)蠅侵染區(qū)域可作為網(wǎng)絡(luò)模型檢測(cè)的關(guān)鍵判別特征，多模態(tài)數(shù)據(jù)融合策略可將實(shí)蠅侵染柑橘的RGB和X-ray數(shù)據(jù)信息進(jìn)行互補(bǔ)，利用不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)性挖掘更復(fù)雜更精確的特征信息，有效提升網(wǎng)絡(luò)模型的檢測(cè)性能。

圖9 實(shí)蠅侵染柑橘類激活可視化分析Fig.9 Class activation heatmaps of citrus infestation by Bactrocera dorsalis

在本研究中多模態(tài)數(shù)據(jù)融合方法使得網(wǎng)絡(luò)模型的檢測(cè)準(zhǔn)確率提升8個(gè)百分點(diǎn)，該方法融合了12幅實(shí)蠅侵染柑橘RGB和X-ray序列圖像，綜合了實(shí)蠅侵染柑橘全角度的內(nèi)外部特征信息對(duì)柑橘進(jìn)行侵染診斷，但多幅圖像的輸入導(dǎo)致多模態(tài)融合后的檢測(cè)時(shí)間增加，使得模型有更高的GPU存儲(chǔ)空間和算力要求。針對(duì)該問題，本課題組擬在后續(xù)的研究中進(jìn)行進(jìn)一步的探索，在侵染檢測(cè)計(jì)算方面，設(shè)置并行計(jì)算模式提高運(yùn)算單元硬件配置，以滿足同時(shí)檢測(cè)多個(gè)柑橘樣本的運(yùn)算需求。從農(nóng)業(yè)X光機(jī)無損檢測(cè)裝備方面進(jìn)行結(jié)構(gòu)優(yōu)化，設(shè)置多通道的柑橘傳輸軌道，增大RGB相機(jī)和X-ray射線源照射角，延長(zhǎng)數(shù)據(jù)采集時(shí)的曝光距離，使得單幅圖像中能包含更多的柑橘樣本圖像，如圖10所示。

圖10 檢測(cè)裝置布置示意圖Fig.10 Schematic layout of detection device

3 結(jié)論

(1)構(gòu)建CNN-LSTM實(shí)蠅侵染柑橘檢測(cè)模型，以實(shí)蠅侵染柑橘RGB和X-ray序列圖像作為檢測(cè)模型的輸入，可模擬柑橘在生產(chǎn)線檢測(cè)的條件下對(duì)實(shí)蠅侵染柑橘進(jìn)行全面準(zhǔn)確識(shí)別。

(2)提出的多模態(tài)數(shù)據(jù)融合實(shí)蠅侵染柑橘方法比單模態(tài)檢測(cè)方法檢測(cè)性能更加優(yōu)異，準(zhǔn)確率提升8個(gè)百分點(diǎn)，表明利用多模態(tài)信息之間的互補(bǔ)性可獲取更全面的特征表達(dá)，彌補(bǔ)了單模態(tài)特征信息不足的問題，使檢測(cè)模型能提取到足量的實(shí)蠅侵染關(guān)鍵判別特征，提升實(shí)蠅侵染柑橘檢測(cè)模型的檢測(cè)能力，對(duì)全面篩查實(shí)蠅侵染問題數(shù)據(jù)融合很有必要。ResNet18-LSTM檢測(cè)準(zhǔn)確率最高，多模態(tài)的圖像融合和特征融合方法檢測(cè)準(zhǔn)確率分別達(dá)到97.3%和95.7%，但模型復(fù)雜度高；而MobileNetV2-LSTM的檢測(cè)準(zhǔn)確率為95.4%，其參數(shù)量和浮點(diǎn)運(yùn)算量約為ResNet18-LSTM的1/3、1/6，有望應(yīng)用在存儲(chǔ)量、運(yùn)算能力不足的終端檢測(cè)設(shè)備上，為柑橘生產(chǎn)線檢測(cè)系統(tǒng)搭建提供了可能性。

(3)深度學(xué)習(xí)方法進(jìn)行實(shí)蠅侵染柑橘檢測(cè)是可行的，通過可視化進(jìn)一步驗(yàn)證了RGB圖像上的實(shí)蠅侵染孔部位，以及X-ray圖像上像素點(diǎn)灰度較低的特征區(qū)域是模型檢測(cè)實(shí)蠅侵染的關(guān)鍵判別特征。

(4)傳統(tǒng)的檢測(cè)實(shí)蠅侵染主要依賴人工檢測(cè)，不僅檢測(cè)效率低下、無法重復(fù)且屬于有損檢測(cè)方式。本研究使用實(shí)蠅侵染柑橘X-ray和RGB圖像判別可實(shí)現(xiàn)實(shí)蠅侵染柑橘快速無損檢測(cè)。