李云霞，馬浚誠，劉紅杰，張領(lǐng)先*

1.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083 2.中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研究所，北京 100081 3.商丘市農(nóng)林科學(xué)院，河南 商丘 476000

引 言

分蘗數(shù)是表征冬小麥長勢優(yōu)劣，指導(dǎo)田間農(nóng)藝管理措施的重要形態(tài)指標。同時，分蘗數(shù)是冬小麥產(chǎn)量的主要構(gòu)成因素，分蘗的多少及壯弱是冬小麥產(chǎn)量的重要影響因素之一。冬小麥分蘗發(fā)生在越冬前和返青后，觀測冬小麥分蘗情況，可以充分了解冬小麥苗期的長勢，可為冬小麥種植過程田間農(nóng)藝管理舉措提供決策支持，對冬小麥的穗發(fā)育以及成穗品質(zhì)具有重要的現(xiàn)實意義[1]。

冬小麥分蘗數(shù)觀測的傳統(tǒng)方法是人工田間采樣，具有破壞性，影響作物的正常生長，且耗費人力物力，無法滿足農(nóng)業(yè)信息化背景下高通量、快速的作物長勢參數(shù)獲取需求[1]。準確、快速、高效的冬小麥分蘗數(shù)獲取方法的研究十分重要。國內(nèi)外許多學(xué)者利用多光譜和高光譜技術(shù)開展對作物分蘗數(shù)的觀測研究[1-3]，通常是將作物冠層反射率轉(zhuǎn)換為植被指數(shù)，進而反演獲得作物的分蘗數(shù)。基于光譜分析方法可以較好地實現(xiàn)作物分蘗數(shù)的觀測，但是仍然存在三個問題：(1)需要專門的光譜數(shù)據(jù)獲取設(shè)備，通常儀器較為昂貴，普及性有限；(2)非可見光譜數(shù)據(jù)需要較為繁多的專業(yè)預(yù)處理過程；(3)智能移動設(shè)備成本低，使用便捷，已廣泛普及，然而目前存在的分蘗數(shù)估算模型體量大，不適宜嵌入移動終端設(shè)備，缺乏小體量、高準確度的估算模型。

與其他波段光譜數(shù)據(jù)的獲取相比較，可見光RGB圖像的獲取設(shè)備成本低廉、獲取時間靈活、獲取方式便捷、預(yù)處理簡易，可以最大限度地降低人力物力成本[4]。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域興起，卷積神經(jīng)網(wǎng)絡(luò)無需人工提取圖像特征，以圖像作為模型的輸入，對圖像預(yù)處理要求簡單。該技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用發(fā)展，為作物長勢參數(shù)無損測量提供了新工具，如葉面積指數(shù)[5]、地上生物量[6]、麥穗數(shù)[7]、產(chǎn)量[8]等的估算與檢測。上述研究通常是基于經(jīng)典的非輕量級卷積神經(jīng)網(wǎng)絡(luò)，例如，AlexNet，ResNet等。然而經(jīng)典的非輕量級卷積神經(jīng)網(wǎng)絡(luò)通常具有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、大量的參數(shù)和計算量，應(yīng)用于移動設(shè)備時存在存儲難和運行慢的問題。針對嵌入移動終端設(shè)備的需求，輕量級卷積神經(jīng)網(wǎng)絡(luò)具有更大的優(yōu)勢，相較于非輕量級卷積神經(jīng)網(wǎng)絡(luò)中的常規(guī)卷積，具有更少的參數(shù)量，也降低了浮點計算量，更適合嵌入移動終端設(shè)備中，例如，MobileNetV2，SqueezeNet[9]，ShuffleNet，均是常用的輕量級卷積神經(jīng)網(wǎng)絡(luò)。輕量級卷積神經(jīng)網(wǎng)絡(luò)在農(nóng)業(yè)領(lǐng)域中正逐漸發(fā)展應(yīng)用，目前基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用主要集中于識別與分類任務(wù)，如葉部病害的識別分類[10]，果實的識別[11]。這為輕量級卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用的可行性提供了依據(jù)，然而，將輕量級卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于回歸任務(wù)的研究和討論較少，如作物分蘗數(shù)估算。

利用連續(xù)兩年采集的田間冬小麥冠層可見光RGB圖像，基于可見光RGB圖像的特點，結(jié)合MobileNetV2以及遷移學(xué)習(xí)方法構(gòu)建冬小麥分蘗數(shù)估算模型，并驗證模型在不同植株密度數(shù)據(jù)上的魯棒性以及在不同生長季變化數(shù)據(jù)上的泛化性。

1 實驗部分

1.1 數(shù)據(jù)采集

冬小麥試驗設(shè)置在河南省商丘市農(nóng)林科學(xué)院小麥試驗基地。該試驗基地是溫帶季風(fēng)氣候，屬于中國黃淮冬小麥產(chǎn)區(qū)。試驗采用適宜當(dāng)?shù)赝寥篮蜕L氣候的周麥22作為種植品種，連續(xù)種植2017年—2018年和2018年—2019年兩個生長季。在兩個生長季中，冬小麥種植時間分別為2017年10月14日和2018年10月15日。兩個生長季施肥與灌溉措施設(shè)置相同，均施用27∶16∶5(27%N, 16%P2O5, 5% K2O)的緩釋肥，施用量為750 kg·hm-2，施用時間與方式均為播種前一次性撒施；灌溉方式均是在播種期充分灌溉一次，起身期每畝補充灌溉25～30 m3。本研究設(shè)置大小為2.4 m×5 m的試驗小區(qū)，依據(jù)三種植株密度120，270和420 株·m-2各設(shè)置4個重復(fù)，共設(shè)置12個試驗小區(qū)。每個試驗小區(qū)內(nèi)以白色邊框設(shè)置3個互不重疊、尺寸為1 m×1 m的圖像采樣區(qū)。此次試驗連續(xù)采集了冬小麥2017年—2018年和2018年—2019年兩個生長季的冠層可見光RGB圖像數(shù)據(jù)和田間測量數(shù)據(jù)，數(shù)據(jù)采集前均對田間雜草進行處理。數(shù)據(jù)采集時間跨度是自第一年的11月下旬至次年的3月中旬，涵蓋冬小麥分蘗的兩個盛期。其中，2017年—2018年生長季共進行了17次數(shù)據(jù)采集，2018年—2019年生長季共進行了20次數(shù)據(jù)采集，數(shù)據(jù)采集詳情如表1所示。

表1 冬小麥冠層圖像數(shù)據(jù)采集日期

試驗數(shù)據(jù)采集分為可見光RGB圖像數(shù)據(jù)采集和田間測量數(shù)據(jù)采集，二者同時進行，一般每隔3～5 d在晴天或少云天氣進行一次采集。田間測量數(shù)據(jù)獲取的方法是田間采樣和試驗室測量的方式，田間使用隨機采樣法在試驗小區(qū)的非圖像采集區(qū)域隨機采集5個冬小麥樣本株，分別標號封裝帶回試驗室。5名具有冬小麥栽培以及田間管理相關(guān)知識的工作人員在互不干擾情況下分別對樣本株進行分蘗數(shù)統(tǒng)計。針對每個試驗小區(qū)，對獲得的人工樣本株分蘗數(shù)取中值，并作為該試驗小區(qū)的分蘗數(shù)田間測量值。冬小麥分蘗圖像如圖1所示。

圖1 冬小麥分蘗示例

以數(shù)碼相機(EOS 600D，Canon，佳能中國)作為冬小麥冠層圖像田間采集工具。為保證圖像采集的普遍性并真實反映田間環(huán)境，圖像采集中數(shù)碼相機關(guān)閉閃光燈、無光學(xué)變焦；鏡頭位于冬小麥冠層上方與地面垂直1.5 m處。田間獲取的冬小麥冠層原始圖像分辨率為5 184×3 456，保存格式為.jpg。根據(jù)以上數(shù)據(jù)采集要求，2017年—2018年生長季共采集冬小麥冠層圖像612張，2018年—2019年生長季共720張。

利用采集的初始圖像訓(xùn)練冬小麥冠層分蘗數(shù)估算模型，需對初始數(shù)據(jù)圖像進行以下預(yù)處理操作：(1)裁剪獲得白色標記邊框內(nèi)的圖像采樣區(qū)域；(2)調(diào)整裁剪后圖像像素尺寸為卷積神經(jīng)網(wǎng)絡(luò)輸入圖像尺寸；(3)將統(tǒng)一尺寸后的圖像以2∶1劃分為訓(xùn)練驗證集和測試集，然后再將訓(xùn)練驗證集以8∶2劃分為訓(xùn)練集和驗證集；(4)訓(xùn)練集和驗證集數(shù)據(jù)圖像進行數(shù)據(jù)擴充[6]。預(yù)處理后圖像示例，如圖2所示。

圖2 預(yù)處理后冬小麥冠層圖像

1.2 冬小麥分蘗數(shù)估算模型構(gòu)建

基于輕量級卷積神經(jīng)網(wǎng)絡(luò)和可見光RGB圖像構(gòu)建冬小麥分蘗數(shù)估算模型主要包括數(shù)據(jù)獲取、分蘗數(shù)模型構(gòu)建、分蘗數(shù)估算三個步驟，如圖3所示。

圖3 冬小麥分蘗數(shù)估算流程

MobileNetV2，SqueezeNet，ShuffleNet是目前常用的輕量級卷積神經(jīng)網(wǎng)絡(luò)，與經(jīng)典的非輕量級卷積神經(jīng)網(wǎng)絡(luò)比較具有更小的參數(shù)量和計算量，更適合嵌入移動終端設(shè)備。MobileNetV2，ShuffleNet通過設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)的方式減小模型體量，提升運行效率，SqueezeNet則是通過壓縮模型的方式實現(xiàn)。MobileNetV2采用深度可分離卷積，利用線性瓶頸層結(jié)構(gòu)更好地提取圖像高維空間和低維空間的特征，有效避免信息丟失，模型中的反向殘差結(jié)構(gòu)增加信息維度以提升模型提取特征的能力，進而提升模型的性能。ShuffleNet采用通道混洗(channel shuffle)的方式對組卷積中的特征信息進行重組，使得特征信息可以在不同組之間流轉(zhuǎn)，在保證模型精度的同時減少模型的計算量。SqueezeNet采用Fire模塊降低參數(shù)量，采用延遲降采樣的方式保留更多的特征信息，進而在有限的參數(shù)量下提高模型的性能。針對小樣本數(shù)據(jù)，基于共享參數(shù)的遷移學(xué)習(xí)方法可以有效提高模型的魯棒性，避免過擬合現(xiàn)象，基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的方法在形態(tài)學(xué)分割[10]、病害識別[10]、果實識別[11]品質(zhì)檢測[12]等農(nóng)業(yè)領(lǐng)域有較好的應(yīng)用。本研究將3個輕量級卷積神經(jīng)網(wǎng)絡(luò)模型在ImageNet數(shù)據(jù)庫上進行預(yù)訓(xùn)練，并將獲得的權(quán)重保存為初始權(quán)重。

為實現(xiàn)冬小麥分蘗數(shù)估算這一回歸任務(wù)，3個輕量級卷積神經(jīng)網(wǎng)絡(luò)改進為T-MobileNetV2，T-SqueezeNet，T-ShuffleNet，分別如圖4(a, b, c)所示。具體地，將原網(wǎng)絡(luò)中與分類任務(wù)相關(guān)的分類層、分類輸出層替換為與回歸任務(wù)相關(guān)的全連接層、dropout層以及回歸輸出層?；貧w輸出層的損失函數(shù)Loss，如式(1)所示

圖4 輕量級卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整圖

(1)

式(1)中，R是響應(yīng)總數(shù)，ti為目標輸出，yi為網(wǎng)絡(luò)對第i個響應(yīng)的預(yù)測值。

全連接層參數(shù)中的隱含神經(jīng)元數(shù)量設(shè)置為1，對應(yīng)輸出分蘗數(shù)；權(quán)重學(xué)習(xí)率因子設(shè)置為10，偏差學(xué)習(xí)率因子設(shè)置為10，以提升權(quán)重遷移后網(wǎng)絡(luò)學(xué)習(xí)的速率。模型訓(xùn)練時采用動量梯度下降法，初始學(xué)習(xí)率設(shè)置為網(wǎng)絡(luò)訓(xùn)練時收斂的最大學(xué)習(xí)率，批處理大小設(shè)置為32，最大訓(xùn)練次數(shù)設(shè)為50。通過網(wǎng)絡(luò)層和參數(shù)的調(diào)整與設(shè)置，模型可以更加適應(yīng)冬小麥分蘗數(shù)估算任務(wù)。

1.3 模型評價指標

為了評價試驗中卷積神經(jīng)網(wǎng)絡(luò)在冬小麥分蘗數(shù)估算任務(wù)中的性能，以決定系數(shù)(R2)、均方根誤差(root mean square error，RMSE)、歸一化均方根誤差(normalized root mean square error，NRMSE)作為評價指標。R2越高，RMSE和NRMSE越低表示估算值與實測值之間擬合度越高，估算結(jié)果越準確。R2，RMSE和NRMSE按照式(2)、式(3)和式(4)進行計算。

(2)

(3)

(4)

2 結(jié)果與討論

基于3個輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2，SqueezeNet，ShuffleNet構(gòu)建冬小麥分蘗數(shù)估算模型，并進行對比優(yōu)選試驗，將表現(xiàn)最佳的輕量級卷積神經(jīng)網(wǎng)絡(luò)模型與經(jīng)典的非輕量級卷積神經(jīng)網(wǎng)絡(luò)AlexNet，ResNet18，ResNet50比較分析?；诓煌仓昝芏鹊臄?shù)據(jù)集和不同生長季的數(shù)據(jù)集，對表現(xiàn)最佳的輕量級卷積神經(jīng)網(wǎng)絡(luò)進行魯棒性和泛化能力試驗。本研究硬件環(huán)境為Intel Xeon處理器，32GB內(nèi)存，英偉達顯卡NVIDIA Quadro P4000，使用的軟件為MATLAB 2019b(Mathworks，U.S.)。

2.1 基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的冬小麥分蘗數(shù)估算模型結(jié)果

基于3個輕量級卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了T-MobileNetV2，T-SqueezeNet，T-ShuffleNet分蘗數(shù)估算模型，利用2017年—2018年生長季數(shù)據(jù)進行冬小麥分蘗數(shù)估算訓(xùn)練驗證與測試，測試結(jié)果如表2所示。在3個基于輕量級卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的模型中，T-MobileNetV2表現(xiàn)最優(yōu)，具有最高的R2(R2=0.7)，最低的RMSE(RMSE=1.6)和NRMSE(NRMSE=0.2)。由此可得，基于輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2構(gòu)建的模型可以最優(yōu)完成冬小麥分蘗數(shù)估算的任務(wù)。

表2 輕量級卷積神經(jīng)網(wǎng)絡(luò)冬小麥分蘗數(shù)估算結(jié)果

2.2 與非輕量級卷積神經(jīng)網(wǎng)絡(luò)對比試驗結(jié)果

為了驗證模型的估算效果，以及基于輕量級卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的模型在嵌入移動終端設(shè)備時的優(yōu)勢，基于相同的數(shù)據(jù)和試驗環(huán)境，以基于非輕量級卷積神經(jīng)網(wǎng)絡(luò)AlexNet，ResNet18，ResNet50構(gòu)建的分蘗數(shù)估算模型和基于輕量級卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的分蘗數(shù)估算模型T-MobileNetV2進行冬小麥分蘗數(shù)估算對比試驗。AlexNet，ResNet18，ResNet50模型深度分別為8，18和50。AlexNet網(wǎng)絡(luò)深度最小，但具有經(jīng)典簡潔的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；ResNet系列網(wǎng)絡(luò)采用殘差結(jié)構(gòu)，解決了卷積神經(jīng)網(wǎng)絡(luò)不斷增加深度而導(dǎo)致的梯度消失或梯度爆炸的問題。這些模型均是在農(nóng)業(yè)中應(yīng)用廣泛的非輕量級卷積神經(jīng)網(wǎng)絡(luò)，因此，選為本研究的對比模型。四個卷積神經(jīng)網(wǎng)絡(luò)對比試驗結(jié)果如表3所示。由表可見，與非輕量級卷積神經(jīng)網(wǎng)絡(luò)相比較，輕量級卷積神經(jīng)網(wǎng)絡(luò)模型T-MobileNetV2體積具有明顯優(yōu)勢，R2相差0.1～0.2，但是模型體積相差2.3～16.1倍。明顯可見，輕量級卷積神經(jīng)網(wǎng)絡(luò)模型在保證模型性能的同時具有更小的體量，更加適合嵌入移動終端設(shè)備。

表3 基于不同卷積神經(jīng)網(wǎng)絡(luò)冬小麥分蘗數(shù)估算比較試驗結(jié)果

2.3 不同植株密度下分蘗數(shù)估算結(jié)果

植株密度是影響冬小麥分蘗的重要因素，為了驗證輕量級神經(jīng)網(wǎng)絡(luò)估算模型T-MobileNetV2在不同植株密度下的魯棒性，本研究將數(shù)據(jù)集按照三種植株密度120，270和420 株·m-2進行劃分，然后利用估算模型T-MobileNetV2進行測試，結(jié)果如表4所示。該冬小麥分蘗數(shù)估算模型在不同植株密度下表現(xiàn)魯棒，其中R2的值在120和270 株·m-2下優(yōu)于在420 株·m-2下的值，而誤差NRMSE則均為0.2。

表4 不同植株密度下輕量級卷積神經(jīng)網(wǎng)絡(luò)冬小麥分蘗數(shù)估算結(jié)果

2.4 泛化能力試驗結(jié)果

為驗證基于MobileNetV2構(gòu)建的冬小麥分蘗數(shù)估算模型在不同生長季數(shù)據(jù)上的泛化能力，本研究進行了泛化能力驗證試驗。T-MobileNetV2保留了在2017年—2018年生長季圖像數(shù)據(jù)上訓(xùn)練的權(quán)重，然后基于2018年—2019年生長季圖像數(shù)據(jù)進行再學(xué)習(xí)，結(jié)果如圖5(a,b)所示。比較T-MobileNetV2在2018年—2019年生長季圖像數(shù)據(jù)集上再學(xué)習(xí)前后的表現(xiàn)可知，R2由0.2提升至0.6，增長了2倍，NRMSE由0.290下降至0.268，下降了7.6%。由此可見，T-MobileNetV2經(jīng)過再學(xué)習(xí)性能整體提升，對不同生長季數(shù)據(jù)的差異具有較好的適應(yīng)性，表明模型具有較好的泛化能力。

圖5 2018年—2019年生長季數(shù)據(jù)分蘗數(shù)估算結(jié)果

3 結(jié) 論

基于冬小麥冠層可見光譜圖像，結(jié)合輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2研究冬小麥分蘗數(shù)估算方法，獲得如下結(jié)論。

(1)基于連續(xù)兩個生長季的冬小麥冠層可見光譜圖像，利用3個常用輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2, SqueezeNet, ShuffleNet和3個經(jīng)典非輕量級卷積神經(jīng)網(wǎng)絡(luò)AlexNet，ResNet18，ResNet50，針對冬小麥分蘗數(shù)估算進行了比較研究。結(jié)果表明基于可見光譜圖像和T-MobileNetV2的冬小麥分蘗數(shù)估算R2是0.7，RMSE是1.6，NRMSE是0.2，取得了最佳的效果，且具有較小的體積，可以較好地實現(xiàn)對冬小麥分蘗數(shù)的估算，并且適合嵌入移動終端設(shè)備。這也表明了輕量級卷積神經(jīng)網(wǎng)絡(luò)在該方面應(yīng)用的可行性。

(2)利用輕量級卷積神經(jīng)估算設(shè)備T-MobileNetV2在三個不同植株密度120，270和420 株·m-2的可見光譜圖像數(shù)據(jù)上進行比較試驗，驗證估算模型的魯棒性。試驗結(jié)果表明，該估算模型針對不同植株密度下的可見光譜圖像數(shù)據(jù)表現(xiàn)魯棒。

(3)基于2017年—2018年生長季圖像數(shù)據(jù)構(gòu)建冬小麥分蘗數(shù)估算模型T-MobileNetV2，在2018年—2019年生長季圖像數(shù)據(jù)進行再學(xué)習(xí)，驗證模型針對不同生長季數(shù)據(jù)的泛化能力。試驗結(jié)果表明，T-MobileNetV2在兩個生長季上估算結(jié)果，R2分別為0.7和0.6。結(jié)果表明T-MobileNetV2具有較好的泛化能力和季節(jié)適應(yīng)性。