高雨亮, 徐向英, 章永龍, 顧逸楓, 張力峰, 李 斌

(揚州大學(xué)信息工程學(xué)院, 江蘇 揚州 225127)

隨著智慧農(nóng)業(yè)的發(fā)展, 圖像處理技術(shù)在傳統(tǒng)農(nóng)業(yè)中的應(yīng)用頗有成效[1]．疫情當(dāng)下, 許多國家停止出口化肥和糧食, 全球糧食危機風(fēng)險增大, 對水稻種植的保障要求也越來越高．隨著人工智能的熱潮興起,利用深度學(xué)習(xí)網(wǎng)絡(luò)進行水稻病蟲害的圖像分類識別成為研究熱點[2]．黃雙萍等[3]使用GoogLeNet模型檢測水稻穗瘟病, 準(zhǔn)確率達92%; 范春全等[4]利用基于ResNet50的遷移學(xué)習(xí)模型在樣本較少的情況下完成識別; 王敬賢[5]通過遷移學(xué)習(xí)和多個神經(jīng)網(wǎng)絡(luò)模型融合的方法識別玉米和雜草種類, 準(zhǔn)確率達89.5%; Jiang等[6]使用深度卷積網(wǎng)絡(luò)和支持向量機進行水稻葉病害識別,準(zhǔn)確率達96.8%; Knoll等[7]使用卷積神經(jīng)網(wǎng)絡(luò)識別不同生長階段的雜草和作物,準(zhǔn)確率達98.0%; Rahman等[8]使用兩階段小型卷積神經(jīng)網(wǎng)絡(luò)識別水稻病蟲害,準(zhǔn)確率達93.3%; Ayan等[9]通過結(jié)合多種卷積神經(jīng)網(wǎng)絡(luò)來識別蟲害,準(zhǔn)確率達98.8%．上述深度學(xué)習(xí)網(wǎng)絡(luò)的泛化能力較強且精度較高, 但由于使用的傳統(tǒng)深度學(xué)習(xí)模型缺乏注意力權(quán)重機制,導(dǎo)致準(zhǔn)確度偏低．本文擬針對水稻病蟲害圖像分類問題, 將Inception-ResNetV1模塊[10]與分組注意力機制(shuffle attention, SA)[11]相結(jié)合, 提出一種新的分組殘差(SA-Inception-ResNetV1, SIR)識別算法, 以期使得模型更好地關(guān)注病蟲害的圖像特征, 提高識別能力．

1 水稻病蟲害圖像識別分組殘差算法

本文設(shè)計的模型由Inception-ResNetV1模塊和分組注意力模塊組成．Inception-ResNetV1模塊主要通過疊加不同大小的卷積核來提升網(wǎng)絡(luò)的寬度, 從而提高分類的準(zhǔn)確度．分組注意力機制則賦予圖像特征注意力權(quán)重, 以提高識別準(zhǔn)確度．

1.1 Inception-ResNetV1模塊

Inception卷積神經(jīng)網(wǎng)絡(luò)模型首先增加神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)寬度, 然后分多條支路以不同卷積核對輸入的特征進行特征提取得到多個尺度的信息, 最后進行特征疊加得到輸出特征．殘差網(wǎng)絡(luò)ResNet則將輸入略過中間的參數(shù)層,直接輸給輸出層, 即若輸入為X, Inception層為F(X), 則輸出Y=F(X)+X．Inception-ResNetV1是將傳統(tǒng)的Inception模塊與ResNet模塊相結(jié)合, Inception-ResNetV1模塊共有如圖1所示的5種結(jié)構(gòu)．Inception-ResNetV1-A/B/C通過不同卷積核的疊加來提取不同維度的特征, Reduction-A/B是通過卷積網(wǎng)絡(luò)改變特征維度從而輸入下一層．

圖1 Inception-ResNetV1 模塊Fig.1 Models of Inception-ResNetV1

1.2 分組注意力機制

分組注意力機制的算法流程如圖2所示．先將輸入特征在通道維度上按照分組數(shù)G進行分組,將每組特征平均分為Xk1和Xk2, 再分別賦予通道注意力和空間注意力權(quán)重．

圖2 分組注意力模塊Fig.2 Shuffle attention block

特征Xk1經(jīng)過通道注意力處理．首先根據(jù)Avgpool函數(shù)得到通道統(tǒng)計數(shù)據(jù), 再利用Fuse線性函數(shù)增強特征表示, 最后經(jīng)Sigmod函數(shù)激活后與原特征值相乘嵌入全局信息．通過上述3個函數(shù)共同組成通道注意力機制, 得到含有通道注意力權(quán)重的X′k1以強化特征的類別表現(xiàn),

X′k1=σ(Fc1(FA(Xk1)))·Xk1=σ(W1S1+b1)·Xk1,

(1)

其中Fc1為線性函數(shù),σ為Sigmod激活函數(shù),FA為Avgpool平均池化函數(shù),S1為經(jīng)過平均池化后的特征,b1和W1為線性函數(shù)參數(shù)．

特征Xk2經(jīng)過空間注意力處理．首先根據(jù)GroupNorm歸一化函數(shù)獲取空間統(tǒng)計數(shù)據(jù), 再利用Fuse線性函數(shù)增強特征表示, 最后經(jīng)Sigmod函數(shù)激活后與原特征值相乘嵌入全局信息．通過上述3個函數(shù)共同組成空間注意力機制, 得到含有空間注意力權(quán)重的X′k2以強化特征對于特定區(qū)域的重視程度,

X′k2=σ(Fc2(FGN(Xk2)))·Xk2=σ(W2S2+b2)·Xk2,

(2)

其中FGN為GroupNorm歸一化函數(shù),S2為經(jīng)過歸一化后的特征,b2,W2為線性函數(shù)參數(shù)．

合并經(jīng)通道注意力機制和空間注意力機制賦予權(quán)值的特征X′k1,X′k2, 回到分組后的維度CG-1×H×W, 其中C為通道維度,H,W為特征的長和寬．隨后, 再次合并分組后的各區(qū)塊, 回到最初的維度C×H×W．

1.3 SA-Inception-ResNetV1(SIR)模型

采用3種Inception-ResNetV1模塊對圖像特征進行多維度提取,通過分組注意力機制對疊加特征進行注意力權(quán)重賦值, Reduction用于改變特征維度輸出至下一層,設(shè)計的SIR模型如圖3所示．由圖3可見,整個模型的輸入病蟲害圖片樣本,輸入的樣本圖像先經(jīng)過2個分別由3個卷積核組成的卷積塊,2個卷積塊之間由池化層相連接;上一層的輸出特征即為下一層的輸入特征,依此類推, 隨后在經(jīng)過1個分組注意力模塊后再經(jīng)過3種Inception-ResNetV1模塊, 每種Inception-ResNetV1模塊之后經(jīng)過了1個分組注意力層, 最后通過一個全連接層和激活函數(shù)完成輸出．

圖3 SIR圖像識別模型Fig.3 SIR image identification model

2 實驗過程與結(jié)果分析

2.1 數(shù)據(jù)集設(shè)置

由于國內(nèi)外缺乏完善的公開水稻病蟲害數(shù)據(jù)庫[12], 故筆者通過互聯(lián)網(wǎng)收集了白葉枯病、稻瘟病、稻曲病、褐斑病和紋枯病等5種常見水稻病蟲害圖像作為數(shù)據(jù)集, 并采用鏡像、放大和旋轉(zhuǎn)等方法對圖像進行數(shù)據(jù)擴充,最終所得數(shù)據(jù)集共含圖像6 305幅, 其中每種病蟲害圖像約1 200幅．訓(xùn)練集和測試集按9∶1劃分．訓(xùn)練集用于模型訓(xùn)練, 在訓(xùn)練過程中采用隨機剪裁的方式進行數(shù)據(jù)擴充．測試集用于檢測模型的準(zhǔn)確率．此外, 為了驗證本文算法的通用性,筆者選擇CIFAR-10數(shù)據(jù)集進行驗證．水稻病蟲害樣本圖像如圖4所示．

圖4 水稻病蟲害圖像示例Fig.4 Examples of incidence rice disease and insect pest images

2.2 結(jié)果與分析

本文使用Pytorch作為深度學(xué)習(xí)框架,硬件設(shè)置: GTX1080顯卡, AMD Ryzen5 3500 CPU, 內(nèi)存為16 GB．采用隨機梯度下降優(yōu)化算法(stochastic gradient descent, SGD)為優(yōu)化算法, 學(xué)習(xí)率為0.01, 每50輪調(diào)整一次學(xué)習(xí)率, 共訓(xùn)練150輪次．在此環(huán)境參數(shù)下, 以水稻病蟲害圖像識別的準(zhǔn)確率(測試集中正確識別數(shù)/總圖像數(shù))為評價指標(biāo), 測試Inception-ResNetV1、ResNet50及SIR算法的識別效果, 結(jié)果如圖5所示, 訓(xùn)練后的最高準(zhǔn)確度如表1所示.

表1 各模型參數(shù)量與不同數(shù)據(jù)集下的識別準(zhǔn)確率

圖5 訓(xùn)練過程中ResNet50、 Inception-ResNetV1及SIR準(zhǔn)確率Fig.5 The accuracy of ResNet50, Inception-ResNetV1 and SIR during training

由圖5及表1可知: 各模型在訓(xùn)練50輪次后漸近收斂, 在訓(xùn)練過程中本文所提SIR模型的準(zhǔn)確率明顯高于傳統(tǒng)模型的, 且其最高準(zhǔn)確度與ResNet50和Incption-ResNetV1相比分別提高了1.8%、1.21%, 參數(shù)量分別下降了62.7%、32.5%, 表明分組注意力機制能提升神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性．

不同模型對病蟲害圖像的注意力權(quán)重如圖6所示, 相較于原圖,顏色越深的區(qū)域說明模型對此區(qū)域的注意力權(quán)重越大, 對最終分類結(jié)果的影響也越大．由圖6可見, Inception-ResNetV1模型更加關(guān)注背景環(huán)境, 而SIR模型可以更好地關(guān)注圖像中的病蟲害部分．這表明分組注意力機制降低了模型對背景信息的依賴,減少了過擬合,在提高傳統(tǒng)網(wǎng)絡(luò)準(zhǔn)確度的同時增強了神經(jīng)網(wǎng)絡(luò)模型的可解釋性．

圖6 SIR模型與Inception-ResNetV1注意力熱力圖Fig.6 SIR model and Inception-ResNetV1 attention heatmap

3 結(jié)論

本文針對傳統(tǒng)水稻病蟲害識別算法缺乏注意力機制和識別率偏低的問題, 提出SIR模型．通過在自制的5類水稻病蟲害數(shù)據(jù)集上進行測試, 結(jié)果表明SIR模型能在小參數(shù)量的情況下對水稻病蟲害圖像識別實現(xiàn)較高的準(zhǔn)確率,并且分組注意力機制可優(yōu)化Inception模塊．此外, 在CIFAR-10數(shù)據(jù)集上的測試結(jié)果驗證了本文算法的通用性．