楊琳琳, 別書凡, 王建坤, 皇甫懿, 劉 焱, 李文峰, 施 杰

(1.云南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院,云南昆明 650201; 2.云南省作物模擬與智能調(diào)控重點(diǎn)實驗室,云南昆明 650201)

玉米是世界上重要的糧食作物,其營養(yǎng)價值較高,同時,玉米也是食品、輕工業(yè)、化工業(yè)等產(chǎn)業(yè)不可或缺的原料之一。玉米長勢會直接影響到其產(chǎn)量和品質(zhì),有效地監(jiān)測玉米長勢可以為田間管理、早期產(chǎn)量估算提供宏觀的信息,為國家和相關(guān)部門決策提供重要的參考依據(jù),因此玉米長勢監(jiān)測研究具有重要的現(xiàn)實意義[1-2]。

近年來,植物表型組學(xué)逐漸興起并成為一門快速發(fā)展的數(shù)據(jù)密集型學(xué)科[3-4]。借助機(jī)器視覺技術(shù)、圖像分割和深度學(xué)習(xí)等技術(shù)來準(zhǔn)確地對植物的重要特征進(jìn)行采集和分析,是育種和生產(chǎn)過程管理的重要技術(shù)手段[5]。玉米的表型信息能直觀地描述玉米長勢,傳統(tǒng)的植物表型研究主要依靠人工觀察和測量得到,這種方法往往依賴于手動檢測小樣本的個別性狀,能夠得到的數(shù)據(jù)量非常有限,并且難以對植物的多種性狀進(jìn)行綜合分析,也容易引入人為因素導(dǎo)致的測量數(shù)據(jù)誤差[6-7]。因此,需要一種新型玉米表型檢測方法,能快速、無損、準(zhǔn)確地獲取表型?；跓o人機(jī)的玉米植株表型檢測方法在大田中已有應(yīng)用[8],但無人機(jī)僅能檢測大田作物的整體生長狀況,缺乏對單株植物的表型監(jiān)測?；跈C(jī)器視覺的玉米幼苗表型性狀檢測裝置,實現(xiàn)了玉米葉面積、植株鮮質(zhì)量及株高等表型參數(shù)的預(yù)測模型[9]。但該研究檢測裝置圖像處理原理簡單,所獲取的圖像表型信息有限,沒有充分利用圖像信息。

本研究提出了一種基于深度學(xué)習(xí)的玉米植株表型檢測方法,對采集圖像進(jìn)行效果最優(yōu)的降采樣,針對數(shù)據(jù)不均衡現(xiàn)象改進(jìn)均方誤差(MSE)和平均絕對誤差(MAE),實現(xiàn)了對單株玉米植株表型的無損檢測。

1 試驗材料與預(yù)處理

玉米采用鳳糯6號種子,種植于云南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院實驗樓,采集5～7葉期的玉米。試驗數(shù)據(jù)于2022年5月在云南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院實驗樓209采集。

1.1 圖像采集

采集玉米植株不同角度主視圖3幅以及俯視圖1幅,其中玉米植株主視圖拍攝相機(jī)距離玉米植株95 cm,俯視圖拍攝相機(jī)距離底部95 cm。共拍攝玉米植株圖像400幅。

拍攝相機(jī)采用?？低昅V-CA060-10GC彩色工業(yè)相機(jī),搭配?？低昅VL-HF0628M-6MPE鏡頭,玉米植株主視圖分辨率為1 788×1 436,玉米植株俯視圖及玉米葉片圖像分辨率為 2 388×1 408(圖1和圖2)。

1.2 表型數(shù)據(jù)采集

玉米植株表型檢測主要針對玉米植株鮮質(zhì)量、干質(zhì)量、葉面積進(jìn)行研究。(1)玉米植株鮮質(zhì)量的測量。采用精度為 0.01 g 的電子秤進(jìn)行測量。(2)玉米植株干質(zhì)量的測量。首先由花盆邊緣處對玉米植株底部進(jìn)行裁剪,將得到的植株放入烘烤箱,105 ℃殺青30 min,然后 80 ℃ 恒溫至恒質(zhì)量,最后稱質(zhì)量[10]。(3)葉面積的測量。葉面積使用常州三豐儀器科技有限公司的YMJ-A型號葉面積測量儀進(jìn)行測量。

1.3 圖像預(yù)處理

1.3.1 圖像分割 針對玉米植株表型進(jìn)行回歸監(jiān)測,其中大部分表型的回歸需要去除復(fù)雜的圖像背景,圖像背景分割的效果會直接影響表型回歸檢測的精度[11]?？紤]到圖像背景較為復(fù)雜,圖像標(biāo)注工作費(fèi)時費(fèi)力,因此決定使用基于深度學(xué)習(xí)的圖像分割對拍攝的數(shù)據(jù)圖像進(jìn)行處理,選擇基于PASCAL VOC數(shù)據(jù)集訓(xùn)練的Deeplab V3+模型進(jìn)行玉米植株圖像的分割工作。由于所使用的玉米植株圖像只包含單個待檢測對象,因此語義分割能夠滿足分割玉米植株和葉片與背景,使用實例分割會帶來額外的計算資源消耗,因此玉米植株和葉片與背景的分割均使用語義分割方法。分割效果如圖3和圖4所示。

1.3.2 數(shù)據(jù)增強(qiáng) 數(shù)據(jù)增強(qiáng)是指對圖像進(jìn)行不同的變化后,得到更大的數(shù)據(jù)集,使用該數(shù)據(jù)集訓(xùn)練可以減少過擬合現(xiàn)象,能夠提高網(wǎng)絡(luò)的泛化能力[12]。常見的數(shù)據(jù)增強(qiáng)方式有按角度旋轉(zhuǎn)、水平翻轉(zhuǎn)、豎直翻轉(zhuǎn)、調(diào)整對比度和色度等,由于本研究進(jìn)行的玉米葉片和植株表型回歸檢測,圖像中顏色與表型特征相關(guān)性較大,因此不宜改變色度和對比度等,數(shù)據(jù)增強(qiáng)采用水平和豎直翻轉(zhuǎn)、圖像90°旋轉(zhuǎn)等方式,各個操作交叉使用。

1.3.3 圖像歸一化 數(shù)據(jù)歸一化是指將數(shù)據(jù)映射到某一區(qū)間,圖像數(shù)據(jù)的每個像素值為0～255之間,圖像歸一化操作是把圖像像素值除以255,將圖像像素值歸一化到0～1之間[13],這種歸一化操作能夠加快網(wǎng)絡(luò)的訓(xùn)練,提高模型的收斂速度。由于作物表型數(shù)據(jù)是連續(xù)值,因此將表型數(shù)據(jù)也進(jìn)行歸一化處理,模型推理階段需要進(jìn)行反歸一化,將表型數(shù)據(jù)放大到原區(qū)間,以便進(jìn)行后續(xù)的數(shù)據(jù)分析。

2 玉米植株表型檢測模型搭建

2.1 玉米鮮質(zhì)量表型檢測基礎(chǔ)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)當(dāng)中一個非常重要的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它更多的是用于圖像圖片處理、視頻處理、音頻處理以及自然語言處理等。卷積神經(jīng)網(wǎng)絡(luò)總共有輸入層、卷積層、池化層、全連接層4個部分[14-15]。玉米鮮質(zhì)量表型檢測所用到的卷積神經(jīng)網(wǎng)絡(luò),其基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)如表1所示,命名為N-0,該模型輸入為4幅玉米植株圖像。

表1 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

考慮通過使用深度卷積和深度可分離卷積降低模型的參數(shù)量和計算量,分別使用普通卷積、深度卷積、深度可分離卷積進(jìn)行對比試驗,尋找最優(yōu)的卷積方式。

普通卷積是用1個卷積核與輸入的所有通道進(jìn)行卷積,然后將不同通道相同位置卷積后的結(jié)果再相加。卷積核的通道數(shù)等于輸入的通道數(shù),輸出的通道數(shù)等于卷積核數(shù)。使用大小為4×4、步距為4的平均池化替換基礎(chǔ)網(wǎng)絡(luò)模型中的Conv1。

深度卷積(DW卷積)的1個卷積核只負(fù)責(zé)1個通道,1個卷積核只與1個通道卷積,卷積核數(shù)與輸入的通道數(shù)相等,輸出的通道數(shù)等于輸入的通道數(shù)[16]。所以,深度卷積只能改變特征圖的大小,不改變通道數(shù)?？梢?這種運(yùn)算能對輸入層的每個通道進(jìn)行獨(dú)立卷積運(yùn)算[17]。由于單獨(dú)的深度卷積無法提高特征圖的通道數(shù),基于深度卷積的模型第1層均使用卷積核為64個的普通卷積,以提高后續(xù)特征圖的通道數(shù)。

深度可分離卷積(DS卷積)主要分為2個部分,分別是深度卷積和逐點(diǎn)卷積[18]。深度卷積對上層輸入的不同通道特征圖使用不同的卷積核單獨(dú)進(jìn)行卷積操作,逐點(diǎn)卷積將深度卷積的輸出使用 1×1 大小的普通卷積進(jìn)行卷積。

2.2 圖像降采樣

由于多視角多輸入模型相對于單輸入模型來說,模型計算量和模型參數(shù)量都提升了多倍,而所采集的圖像數(shù)據(jù)為512×512,為了降低模型計算消耗的資源和降低模型參數(shù)量,考慮通過降低圖像尺寸,在圖像輸入卷積神經(jīng)網(wǎng)絡(luò)前或者在卷積神經(jīng)網(wǎng)絡(luò)前幾層進(jìn)行圖像降采樣,考慮使用大步距卷積作為模型第1層卷積層,使用resize進(jìn)行降尺寸和大步距池化層降采樣3種方法,判斷3種方法對結(jié)果的影響。

2.3 MSE和MAE的改進(jìn)

本研究所構(gòu)建的數(shù)據(jù)集屬于小型數(shù)據(jù)集,存在表型數(shù)據(jù)不均衡問題,如圖5所示,回歸數(shù)據(jù)在中間段數(shù)據(jù)量大,在兩端數(shù)據(jù)量少,不同區(qū)間的數(shù)據(jù)量差距較大。不均衡的數(shù)據(jù)會導(dǎo)致模型過于關(guān)注數(shù)量較多的樣本,而對數(shù)量較少的樣本關(guān)注不足,影響模型的性能。在分類任務(wù)中會使得數(shù)據(jù)量小的類別分類錯誤,回歸任務(wù)中會使得模型結(jié)果更偏向于區(qū)間樣本較多的數(shù)據(jù),給模型效果帶來極大的誤差。

在處理數(shù)據(jù)不均衡問題時,選擇合適的損失函數(shù)可以有效地解決數(shù)據(jù)中的不平衡問題,通過使用加權(quán)損失函數(shù),可以使模型對于數(shù)量較少的區(qū)間給予更高的權(quán)重,從而提高少數(shù)區(qū)間樣本的預(yù)測準(zhǔn)確率,增強(qiáng)模型的預(yù)測效果。本研究對回歸函數(shù)進(jìn)行改進(jìn),以達(dá)到對不同數(shù)據(jù)量的樣本區(qū)間給予不同的權(quán)重。

均方誤差(MSE)是回歸損失函數(shù)中最常用的誤差,它是預(yù)測值與目標(biāo)值之間差值平方和的均值,其公式如下所示：

(1)

平均絕對誤差(MAE)是另一種常用的回歸損失函數(shù),它是預(yù)測值與目標(biāo)值之差絕對值和的均值,表示預(yù)測值的平均誤差幅度,其公式如下所示：

(2)

圖6是均方誤差值與平均絕對誤差的曲線分布,其中目標(biāo)值為0,預(yù)測值為-10～10,最小值為目標(biāo)值與預(yù)測值相同。

MSE是差值的平方和,平方會放大數(shù)據(jù)中異常值的影響,并對誤差較大的樣本進(jìn)行懲罰,可以更加關(guān)注預(yù)測誤差較大的數(shù)據(jù)點(diǎn),使得模型對異常值更加敏感。且損失函數(shù)是連續(xù)可導(dǎo)的,在優(yōu)化算法中更具優(yōu)勢。同時,由于MSE的計算結(jié)果是誤差的平方和除以樣本數(shù)量,因此其單位是原始數(shù)據(jù)單位的平方,無法直接比較不同數(shù)據(jù)集上的誤差大小。

MAE可以避免平方帶來的問題,更加穩(wěn)健,易于理解和解釋,誤差的單位和真實值相同。但對誤差較大的樣本沒有懲罰效果,因此可能忽略一些重要的數(shù)據(jù)點(diǎn)。由圖6可以看出,MAE曲線連續(xù),但是在[y-f(x)=0]處不可導(dǎo),在優(yōu)化算法中需要使用其他方法進(jìn)行優(yōu)化。而且MAE大部分情況下梯度相等,這意味著對于小的損失值,其梯度也與大的損失值相同,不利于函數(shù)的收斂和模型的學(xué)習(xí)[19]。

綜合來看,MSE和MAE在不同情況下都有其優(yōu)劣之處,但兩者面對數(shù)據(jù)不均衡問題時,都不能對不同數(shù)據(jù)量的區(qū)間賦予差別明顯的權(quán)重。

為了解決這個問題,本研究提出了改進(jìn)MSE和MAE,命名為B-MSE和B-MAE,如式3和4所示。

B-MSE=(1+MSE)×MSE;

(3)

B-MAE=(1+MAE)×MAE。

(4)

B-MSE對于MSE的改進(jìn)在于加入了1個懲罰因子,即(1+MSE)。它用于平衡數(shù)量較少的樣本和數(shù)量較多的樣本之間的權(quán)重,從而使模型更加關(guān)注數(shù)量較少的樣本,以提高模型的性能。當(dāng)MSE較小時,懲罰因子(1+MSE)的值接近1,此時模型更加關(guān)注數(shù)量較多的樣本;而當(dāng)MSE較大時,懲罰因子(1+MSE)的值會增加,從而使模型更加關(guān)注數(shù)量較少的樣本。具體來說,假設(shè)在一個房價預(yù)測問題中,大部分房屋的價格都在20萬～50萬元之間,但是存在少量豪宅,價格超過了500萬元,使用傳統(tǒng)的MSE指標(biāo)進(jìn)行評估時,模型可能更容易偏向于預(yù)測那些價格較為普遍的房屋,而對于少數(shù)極端樣本預(yù)測的準(zhǔn)確度不高。但是如果使用(1+MSE)×MSE指標(biāo),則對于這些極端樣本的誤差懲罰力度比傳統(tǒng)MSE指標(biāo)更大,從而使得模型更加關(guān)注這些極端樣本的預(yù)測,提高了對于少量極端樣本的識別能力。懲罰因子(1+MSE)的加入提高了模型的泛化能力和魯棒性。

圖7是改進(jìn)后的B-MSE和B-MAE的曲線分布。

2.4 模型性能評價指標(biāo)

在分類問題中,常見的評價指標(biāo)除了準(zhǔn)確率外,還有混淆矩陣、精度、召回率等評價指標(biāo)。為了增加評價指標(biāo)的可信度,除了使用相關(guān)系數(shù)r和確定系數(shù)R2外,另使用平均絕對百分比誤差(MAPE)對模型進(jìn)行評價,如式所示：

(5)

相關(guān)系數(shù)r可以描述2個變量之間的相關(guān)程度,r值越接近1表示兩變量相關(guān)程度越強(qiáng)。確定系數(shù)R2可以表示兩變量回歸方程擬合度的高低,R2越接近1表示兩變量回歸擬合越好。因此,使用相關(guān)系數(shù)r和確定系數(shù)R2評估模型在測試集上的預(yù)測精度,如式(6)和式(7)所示：

(6)

(7)

3 結(jié)果與分析

3.1 基于普通卷積的鮮質(zhì)量檢測模型

使用大小為4×4、步距為4的平均池化替換基礎(chǔ)網(wǎng)絡(luò)模型中的Conv1,命名為N-1。通過resize方式降低圖像尺寸的模型,在基礎(chǔ)模型上去除Conv1,輸入圖像尺寸為128×128,命名為N-2。以玉米植株鮮質(zhì)量為檢測目標(biāo),對3種模型進(jìn)行試驗,其中N-0模型最優(yōu)MAE為0.060 39,N-1模型MAE為0.065 19,N-2模型MAE為0.074 36。使用測試集進(jìn)行模型驗證,各個模型在測試集上試驗結(jié)果如表2所示。

表2 基于普通卷積模型改進(jìn)前的試驗結(jié)果

使用B-MSE損失函數(shù)對3種模型進(jìn)行訓(xùn)練,保存最小B-MAE值,N-0模型最小B-MAE為0.064 20,N-1模型最小B-MAE為0.065 19,N-2模型最小B-MAE為0.087 28,由于MAE改進(jìn)方式是MAE×(1+MAE),因此模型B-MAE稍大。使用測試集進(jìn)行模型驗證,各個模型在測試集上試驗結(jié)果見表3。

表3 基于普通卷積模型改進(jìn)后的試驗結(jié)果

由上述試驗結(jié)果可以發(fā)現(xiàn),同一模型下,B-MSE和B-MAE的使用提高了模型在測試集上的相關(guān)系數(shù)r和確定系數(shù)R2,并且降低了MAPE。

3.2 基于深度卷積的鮮質(zhì)量檢測模型

由于單獨(dú)的深度卷積無法提高特征圖的通道數(shù),因此,基于深度卷積的模型第1層均使用卷積核為64個的普通卷積,以提高后續(xù)特征圖的通道數(shù)。

將首層卷積為大步距卷積的深度卷積模型命名為DW-0,使用池化進(jìn)行降采樣的模型命名為DW-1,使用resize操作的模型命名為DW-2。

使用MSE損失函數(shù)對上述3個模型進(jìn)行訓(xùn)練,其中DW-0模型驗證集最低MAE為0.063 17,DW-1 模型驗證集最低MAE為0.090 88,DW-2模型驗證集最低MAE為0.077 33。各模型在測試集上的效果如表4所示。

表4 基于深度卷積模型改進(jìn)前的試驗結(jié)果

同樣的使用B-MSE和B-MAE進(jìn)行訓(xùn)練,其中DW-0模型驗證集最低B-MAE為0.053 92,DW-1模型驗證集最低B-MAE為0.093 94,DW-2 模型驗證集最低B-MAE為0.095 84。各模型在測試集上的效果如表5所示。

表5 基于深度卷積模型改進(jìn)后的試驗結(jié)果

由表4和表5可知,使用B-MSE各個模型效果均有提升。對比所有模型,基于B-MSE的 DW-0 和DS-0模型及基于MSE損失函數(shù)的 DW-0 模型效果均較好,3個模型在測試集上的相關(guān)系數(shù)均達(dá)到了0.98以上,確定系數(shù)均達(dá)到了0.97以上,平均絕對百分比誤差MAPE均在3.2%以內(nèi)。

3.3 基于深度可分離卷積的鮮質(zhì)量檢測模型

使用深度可分離卷積替換普通卷積模型中的卷積層,命名為DS-0,使用大小為4×4、步距為4的平均池化替換基礎(chǔ)網(wǎng)絡(luò)模型中的首層卷積,命名為DS-1。通過resize方式降低圖像尺寸的模型,輸入圖像尺寸為128×128,命名為DS-2。

首先使用MSE和MAE作為損失函數(shù)和評價指標(biāo)進(jìn)行深度可分離卷積模型的訓(xùn)練,其中DS-0模型最低MAE為0.062 89,DS-1最低MAE為 0.058 95,DS-2最低MAE為0.047 66。各模型在測試集上效果如表6所示。

表6 基于深度可分離卷積模型改進(jìn)前的試驗結(jié)果

使用B-MSE損失函數(shù)對3種模型進(jìn)行訓(xùn)練,保存最小B-MAE值,DS-0模型最小B-MAE為0.075 30,DS-1模型最小B-MAE為0.074 01,DS-2 模型最小B-MAE為0.089 76,基于深度可分離卷積的各個模型在測試集上試驗結(jié)果如表7所示。由表7可知,首層使用大步距卷積的DS-0模型在測試集上的結(jié)果均優(yōu)于DS-1模型和DS-2模型。

表7 基于深度可分離卷積模型改進(jìn)后的試驗結(jié)果

由表6和表7可知,基于B-MSE的損失函數(shù)相對于基于MSE的損失函數(shù)的模型,對測試集結(jié)果的相關(guān)系數(shù)r、確定系數(shù)R2均有提升,除基于B-MSE的DS-2模型外,DS-0和DS-1模型在測試集上的MAPE均有降低。由表6和表7可知,除 DS-2 模型外,基于深度可分離卷積和B-MSE損失函數(shù)的模型在測試集上的效果均優(yōu)于對應(yīng)的基于普通卷積的模型。

3.4 玉米植株干質(zhì)量檢測

使用DW-0和DS-0模型對玉米植株干質(zhì)量進(jìn)行模型訓(xùn)練和檢測。首先使用MSE損失函數(shù)進(jìn)行訓(xùn)練,DW-0模型最優(yōu)MAE為0.080 10,DS-0模型最優(yōu)MAE為0.068 02,測試集結(jié)果如表8所示。

表8 玉米干質(zhì)量檢測模型改進(jìn)前的試驗結(jié)果

使用B-MSE損失函數(shù)進(jìn)行訓(xùn)練,DW-0模型最優(yōu)B-MAE為0.081 84,DS-0模型最優(yōu)B-MAE為0.059 43,測試集結(jié)果如表9所示。

表9 玉米干質(zhì)量檢測模型改進(jìn)后的試驗結(jié)果

由表8和表9可知,基于B-MSE的模型在測試集上效果相對于使用MSE損失函數(shù)模型均有提升,且DW-0模型在平均絕對百分比誤差上要優(yōu)于DS-0。

3.5 玉米植株葉面積檢測

使用DW-0和DS-0模型對玉米植株干質(zhì)量進(jìn)行模型訓(xùn)練和檢測。首先使用MSE損失函數(shù)進(jìn)行訓(xùn)練,DW-0模型最優(yōu)MAE為0.058 58,DS-0模型最優(yōu)MAE為0.063 27,測試集結(jié)果如表10所示。

表10 玉米葉面積檢測模型改進(jìn)前的試驗結(jié)果

使用B-MSE損失函數(shù)進(jìn)行訓(xùn)練,DW-0模型最優(yōu)B-MAE為0.069 88,DS-0模型最優(yōu)B-MAE為0.059 43,測試集結(jié)果如表11所示。

表11 玉米葉面積檢測模型改進(jìn)后的試驗結(jié)果

由表10和表11可知,使用B-MSE損失函數(shù)的DW-0模型在測試集上的各個指標(biāo)均有提升,且由于DS-0模型,使用B-MSE的DS-0模型在測試集上相關(guān)系數(shù)r和確定系數(shù)R2對比使用MSE損失函數(shù)的DS-0模型略有降低,平均絕對百分比誤差MAPE降低。

4 結(jié)論與討論

本研究對比了普通卷積、深度卷積、深度可分離卷積3種卷積的效果,并針對小型數(shù)據(jù)集表型數(shù)據(jù)不均衡問題,改進(jìn)了MSE和MAE,進(jìn)行對比試驗。在玉米鮮質(zhì)量模型上,基于深度卷積和B-MSE損失函數(shù)的DW-0模型效果最優(yōu)。使用鮮質(zhì)量模型上表現(xiàn)較好的DW-0模型與DS-0模型,在玉米植株干質(zhì)量和葉面積檢測模型中進(jìn)行對比試驗,結(jié)果均為基于B-MSE損失函數(shù)的DW-0模型效果最優(yōu)。結(jié)果表明,使用深度卷積的效果最好,改進(jìn)后的B-MSE和B-MAE提高了模型在測試集上的相關(guān)系數(shù)r和確定系數(shù)R2,并且降低了MAPE。

本研究基于深度學(xué)習(xí)的玉米植株表型檢測方法,提供了一種對單株玉米植株表型進(jìn)行檢測的方法,提高了玉米植株鮮質(zhì)量、干質(zhì)量、葉面積的檢測準(zhǔn)確率。該方法未來可以應(yīng)用于農(nóng)業(yè)機(jī)器人、自動化灌溉和施肥、精準(zhǔn)農(nóng)業(yè)等領(lǐng)域,給玉米植株智能精準(zhǔn)化管理提供可行性。