嚴(yán)恩萍，棘 玉，尹顯明，莫登奎

基于無人機(jī)影像自動(dòng)檢測(cè)冠層果的油茶快速估產(chǎn)方法

嚴(yán)恩萍，棘 玉，尹顯明，莫登奎※

（1. 中南林業(yè)科技大學(xué)林業(yè)遙感大數(shù)據(jù)與生態(tài)安全湖南省重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410004；2. 中南林業(yè)科技大學(xué)南方森林資源經(jīng)營(yíng)與監(jiān)測(cè)國(guó)家林業(yè)與草原局重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410004；3. 中南林業(yè)科技大學(xué)林學(xué)院，長(zhǎng)沙 410004）

快速準(zhǔn)確的產(chǎn)量估算對(duì)油茶經(jīng)營(yíng)管理和可持續(xù)發(fā)展具有重要意義。該研究針對(duì)油茶快速估產(chǎn)的應(yīng)用現(xiàn)狀，提出一種基于無人機(jī)影像自動(dòng)檢測(cè)冠層果的方法用于油茶快速估產(chǎn)。首先借助無人機(jī)航拍影像，通過隨機(jī)抽樣選取120株油茶樹進(jìn)行無人機(jī)近景攝影和人工采摘稱量；然后利用Mask RCNN(Mask Region Convolutional Neural Networks)網(wǎng)絡(luò)開展基于近景影像的油茶冠層果自動(dòng)檢測(cè)與計(jì)數(shù)；采用線性回歸和K最鄰近建立冠層果數(shù)與單株果數(shù)之間的關(guān)系，同時(shí)結(jié)合研究區(qū)典型樣木株數(shù)和平均單果質(zhì)量，構(gòu)建基于冠層果自動(dòng)檢測(cè)的估產(chǎn)模型。結(jié)果表明：1）無人機(jī)超低空近景影像結(jié)合Mask RCNN網(wǎng)絡(luò)能夠有效檢測(cè)不同光照條件油茶果，平均F1值達(dá)89.91%；2）同傳統(tǒng)衛(wèi)星遙感相比，基于無人機(jī)近景攝影的冠層果自動(dòng)檢測(cè)在作物產(chǎn)量估測(cè)方面顯示出明顯優(yōu)勢(shì)，Mask RCNN網(wǎng)絡(luò)預(yù)測(cè)的冠層果數(shù)與油茶樣木單株果數(shù)之間具有良好的一致性，擬合決定系數(shù)2達(dá)0.871；3）結(jié)合線性回歸和K最鄰近構(gòu)建的模型估產(chǎn)精度均較高，擬合決定系數(shù)2和標(biāo)準(zhǔn)均方根誤差NRMSE（Normalized Root Mean Square Error）分別在0.892～0.913和28.01%～31.00%之間，表明基于無人機(jī)影像自動(dòng)檢測(cè)冠層果的油茶快速估產(chǎn)是一種切實(shí)可行的方法。研究結(jié)果可為油茶快速估產(chǎn)和智能監(jiān)測(cè)提供參考。

無人機(jī)；自動(dòng)檢測(cè)；油茶；快速估產(chǎn)；冠層果

0 引 言

油茶是中國(guó)南方特有的木本油料樹種，含有豐富的不飽和脂肪酸和維生素E，在醫(yī)藥保健方面具有重要的應(yīng)用價(jià)值[1]。作為油茶產(chǎn)量的重要組成部分，油茶果數(shù)量和單果質(zhì)量是反映油茶產(chǎn)量的重要指標(biāo)，因此快速獲取油茶果數(shù)量和單果質(zhì)量極為重要。傳統(tǒng)的油茶果數(shù)量和單果質(zhì)量獲取主要采用人工采摘計(jì)數(shù)稱量，消耗大量的人力物力財(cái)力。因此，開發(fā)一種高效準(zhǔn)確的油茶果數(shù)量和單果質(zhì)量監(jiān)測(cè)方法具有重要意義。

國(guó)內(nèi)外學(xué)者對(duì)基于圖像分析技術(shù)的果實(shí)數(shù)量監(jiān)測(cè)開展了相關(guān)研究[2]，例如為克服外界復(fù)雜環(huán)境的影響，李昕等[3]提出基于多特征融合的油茶果識(shí)別方法；李立君等[4]提出基于改進(jìn)凸殼理論的定位檢測(cè)算法。早期的果實(shí)監(jiān)測(cè)研究主要集中于蘋果[5-6]、柑橘[7]、西紅柿[8]、油茶[9]和番石榴[10]等。這些研究均采用基于像元的光譜響應(yīng)作為果實(shí)檢測(cè)的獨(dú)特特征，然而果實(shí)圖像存在顏色和形態(tài)多樣、遮擋重疊嚴(yán)重以及背景相似等問題，給油茶果的準(zhǔn)確識(shí)別帶來挑戰(zhàn)。

隨著計(jì)算機(jī)技術(shù)的進(jìn)步，深度學(xué)習(xí)理論廣泛用于基于果實(shí)數(shù)量監(jiān)測(cè)的作物估產(chǎn)。例如為提高油茶果識(shí)別的速度與精度，張習(xí)之等[11]提出基于改進(jìn)卷積自編碼機(jī)神經(jīng)網(wǎng)絡(luò)的油茶果圖像識(shí)別方法；Koirala等[12]比較了6種現(xiàn)有深度學(xué)習(xí)算法在樹冠圖像中檢測(cè)芒果果實(shí)的性能，結(jié)果表明YOLO(You Only Look Once)算法檢測(cè)日間芒果圖像數(shù)據(jù)集的效果較好，F(xiàn)1分?jǐn)?shù)達(dá)0.89。深度學(xué)習(xí)理論已被成功用于芒果[13]、柑橘[14]、番茄[15]和蘋果[16]等作物的產(chǎn)量估算。然而目前的研究均采用地面拍攝的近距離照片作為數(shù)據(jù)源，無法滿足大面積估產(chǎn)需求。

近年來，無人機(jī)遙感的發(fā)展為基于果實(shí)數(shù)量的大面積作物估產(chǎn)提供了條件。雖然衛(wèi)星遙感應(yīng)用于作物估產(chǎn)具有快速、無損、尺度大的優(yōu)勢(shì)[17]，但是由于空間分辨率的限制，無法獲取精確的果實(shí)數(shù)量[18]。同衛(wèi)星遙感相比，無人機(jī)遙感具有空間分辨率高、獲取速度快、操作簡(jiǎn)單的優(yōu)點(diǎn)[19-20]，可選擇最優(yōu)作業(yè)時(shí)期獲取高分辨率航拍影像，實(shí)現(xiàn)基于果實(shí)數(shù)量的大面積作物估產(chǎn)[21]。例如Apolo等[22]基于無人機(jī)捕獲的柑橘園影像，采用Faster RCNN(Faster Region Convolutional Neural Networks)模型對(duì)柑橘類水果進(jìn)行產(chǎn)量估算，模型估產(chǎn)精度較好，具有用于柑橘類相似作物產(chǎn)量估算的潛力。

鑒于此，本文擬開展基于冠層果自動(dòng)檢測(cè)的油茶快速估產(chǎn)研究，以無人機(jī)近景航拍影像為數(shù)據(jù)源，通過Mask RCNN(Mask Region Convolutional Neural Networks)網(wǎng)絡(luò)從近景影像中自動(dòng)檢測(cè)油茶冠層果數(shù)量，采用2種方法擬合Mask RCNN網(wǎng)絡(luò)預(yù)測(cè)的冠層果數(shù)與單株果數(shù)之間的關(guān)系，結(jié)合研究區(qū)油茶樣木株數(shù)和平均單果質(zhì)量，構(gòu)建基于冠層果自動(dòng)檢測(cè)的估產(chǎn)模型，以期為大面積油茶林的快速估產(chǎn)提供新的研究思路。

1 材料與方法

1.1 研究區(qū)概況

試驗(yàn)區(qū)位于湖南省中部的新邵縣陳家坊鎮(zhèn)江村，介于邵陽盆地和新漣盆地之間，屬典型的南方低矮丘陵，地處東經(jīng)111°08′～111°05′，北緯27°15′～27°38′之間（圖 1）。境內(nèi)春暖夏涼，四季分明，屬中亞熱帶大陸性季風(fēng)濕潤(rùn)氣候，年平均氣溫17.0 ℃，年均無霜期271 d，年降水量1 365.2 mm，油茶林面積300 hm2。江村油茶種植示范基地是新邵縣重點(diǎn)油茶產(chǎn)業(yè)基地，造林年度為2014年，總面積為59.18 hm2。

1.2 數(shù)據(jù)獲取與預(yù)處理

1.2.1 無人機(jī)影像數(shù)據(jù)

無人機(jī)影像數(shù)據(jù)包括航線規(guī)劃數(shù)據(jù)和近景攝影數(shù)據(jù)，其中前者用于獲取研究區(qū)油茶樣木的空間分布信息；后者用于油茶果樣本數(shù)據(jù)集的構(gòu)建，包括訓(xùn)練集、驗(yàn)證集和測(cè)試集。兩種數(shù)據(jù)均采用大疆御Mavic 2 PRO四軸無人機(jī)獲取，航拍當(dāng)日天氣晴朗、風(fēng)速0.3～1.5 m/s、光線充足。搭載的傳感器為Hasselblad L1D-20C航拍相機(jī)，焦距為28 mm，光圈值為/2.8～/11。相機(jī)圖像分辨率為5 472 像素×3 648像素（JPEG格式）。

無人機(jī)航線規(guī)劃數(shù)據(jù)采集于2020年10月19日至21日，拍攝高度為100 m，速度5 m/s，鏡頭垂直于地面，航向重疊率70%，旁向重疊率分別為80%，像元大小2.75 cm×2.75 cm。具體數(shù)據(jù)處理流程包括：①剔除重疊率低、重復(fù)和模糊的照片；②通過Agisoft Metashape軟件加載和匹配影像，構(gòu)建密集點(diǎn)云，利用密集點(diǎn)云重建三維模型生成正射影像；③基于正射影像顯示的油茶林空間分布信息，利用隨機(jī)抽樣選取120株典型油茶樣木。

無人機(jī)近景攝影數(shù)據(jù)采集于2020年10月25日至26 日，拍攝高度距離油茶樣木空間位置正上方3 m，鏡頭垂直于地面，連續(xù)拍攝，獲取油茶樣木的完整冠幅，像元大小0.082 5 cm×0.082 5 cm。共拍攝1 000張油茶冠幅影像，剔除重復(fù)、模糊等無效影像，最后保留800張近景影像。

1.2.2 地面實(shí)測(cè)數(shù)據(jù)

地面實(shí)測(cè)數(shù)據(jù)主要用于油茶冠層果標(biāo)注和估產(chǎn)模型的精度驗(yàn)證。采集時(shí)間為2020年10月25日至26日，通過隨機(jī)抽樣選取120株典型樣木進(jìn)行實(shí)地調(diào)查，記錄每株油茶樣木的編號(hào)、空間位置（經(jīng)度、緯度和海拔）、單株果數(shù)、單株產(chǎn)量和單果質(zhì)量，空間位置信息利用手持GPS采集，單株果數(shù)通過人工采摘計(jì)數(shù)獲取，單株產(chǎn)量采用電子秤實(shí)際稱量獲取，單果質(zhì)量由單株產(chǎn)量除以單株果數(shù)獲取。

2 研究方法

2.1 數(shù)據(jù)集構(gòu)建

油茶果樣本數(shù)據(jù)集的構(gòu)建包括數(shù)據(jù)標(biāo)注、數(shù)據(jù)擴(kuò)增和數(shù)據(jù)劃分3部分。①數(shù)據(jù)標(biāo)注：為滿足網(wǎng)絡(luò)訓(xùn)練的要求，利用Labeme軟件對(duì)油茶果的最小外接矩形進(jìn)行人工標(biāo)注，保證每個(gè)標(biāo)注框僅含有單個(gè)油茶果目標(biāo)；②數(shù)據(jù)擴(kuò)增：為提高網(wǎng)絡(luò)的泛化能力，從拍攝的照片中隨機(jī)抽取400張作為標(biāo)注樣本，采用圖像旋轉(zhuǎn)、圖像移動(dòng)、圖像縮放、圖像增強(qiáng)、噪聲注入、對(duì)比度變換等方法進(jìn)行數(shù)據(jù)擴(kuò)增（圖2），最后保留1 200張作為樣本數(shù)據(jù)集；③數(shù)據(jù)劃分：將擴(kuò)充數(shù)據(jù)集按8∶1∶1分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。其中訓(xùn)練集用于訓(xùn)練模型參數(shù)，驗(yàn)證集用于訓(xùn)練模型的超參數(shù)調(diào)優(yōu)，測(cè)試集用于評(píng)估模型的泛化能力。

注：混合變換指照片經(jīng)過上下翻轉(zhuǎn)，亮度/對(duì)比度變換以及像素值放大/縮小等處理。

2.2 Mask RCNN算法

本研究采用目前經(jīng)典的深度學(xué)習(xí)算法Mask RCNN網(wǎng)絡(luò)檢測(cè)油茶冠層果。該方法基于原有的Faster RCNN進(jìn)行擴(kuò)展，完成目標(biāo)檢測(cè)的同時(shí)實(shí)現(xiàn)高質(zhì)量的實(shí)例分割[23]。Mask RCNN算法包含3個(gè)任務(wù)分支：目標(biāo)分類、目標(biāo)框坐標(biāo)和目標(biāo)區(qū)域的二值掩碼。本文首先通過深度殘差網(wǎng)絡(luò)ResNet提取特征圖像，同時(shí)通過FPN(Feature Pyramid Networks)對(duì)特征圖像進(jìn)行多尺度特征融合，實(shí)現(xiàn)低維信息和高維特征的融合，避免高維語義信息的丟失；然后結(jié)合區(qū)域生成網(wǎng)絡(luò)RPN(Region Proposal Network)提取潛在的目標(biāo)區(qū)域ROI (Regions of Interest)；利用ROI align層將ROI映射成固定維數(shù)的特征向量，其中2個(gè)分支經(jīng)過全連接層進(jìn)行分類和目標(biāo)框回歸，另1個(gè)分支經(jīng)過全卷積運(yùn)算得到分割區(qū)域的二值掩碼[24]。具體Mask RCNN模型結(jié)構(gòu)如圖3所示。

本文油茶冠層果檢測(cè)的訓(xùn)練環(huán)境均為Google提供的云服務(wù)器Colaboratory，GPU為Tesla P100-PCIE-16 GB。訓(xùn)練網(wǎng)絡(luò)為基于PyTorch的Mask RCNN網(wǎng)絡(luò)，采用Python3.6語言編程實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。訓(xùn)練參數(shù)為：初始學(xué)習(xí)率0.004，學(xué)習(xí)率下降系數(shù)0.1，一次訓(xùn)練迭代2個(gè)樣本，共進(jìn)行54 000次迭代訓(xùn)練，第20 250次迭代和第27 000次迭代時(shí)學(xué)習(xí)率下降。分別輸出學(xué)習(xí)模型至文件夾，記錄訓(xùn)練日志。

由于精度評(píng)價(jià)需要同時(shí)考慮準(zhǔn)確率和召回率，本研究采用F1值作為油茶冠層果識(shí)別的評(píng)價(jià)指標(biāo)，具體表達(dá)式如下：

其中Precision代表精確率，%；Recall代表召回率，%；TP表示實(shí)際為油茶果且被模型預(yù)測(cè)為油茶果的樣本數(shù)；FP表示實(shí)際為背景但被模型預(yù)測(cè)為油茶果的樣本數(shù)；FN表示實(shí)際為油茶果但沒有被網(wǎng)絡(luò)識(shí)別為油茶果的樣本數(shù)。

2.3 估產(chǎn)模型構(gòu)建

2.3.1 單株果數(shù)估計(jì)

以Mask RCNN網(wǎng)絡(luò)預(yù)測(cè)的冠層果數(shù)為自變量，實(shí)測(cè)的單株果數(shù)為因變量，采用線性回歸和K最鄰近算法2種方法構(gòu)建冠層果數(shù)與單株果數(shù)之間的經(jīng)驗(yàn)?zāi)Ｐ?。線性回歸（Linear Regression，LR）是利用回歸方程確定目標(biāo)值與特征值之間線性關(guān)系的一種統(tǒng)計(jì)分析方法。本文采用的線性回歸滿足一元一次方程；K最鄰近（K-Nearest Neighbor，KNN）算法是經(jīng)典的模式識(shí)別方法，首先給定測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)之間的距離，其次選定距離最近的個(gè)訓(xùn)練數(shù)據(jù)完成測(cè)試數(shù)據(jù)的預(yù)測(cè)。研究采用Python3.8語言構(gòu)建油茶樣木單株果數(shù)預(yù)測(cè)模型，K最鄰近算法共設(shè)置5個(gè)值，最大值為5，值為2（即歐氏距離）。

2.3.2 估產(chǎn)模型

本研究采用冠層果數(shù)擬合的單株果數(shù)，構(gòu)建油茶樣木產(chǎn)量估算模型。具體計(jì)算公式如下：

式中Yield為研究區(qū)單株油茶估測(cè)產(chǎn)量，kg；代表研究區(qū)油茶樣木編號(hào)；代表研究區(qū)油茶樣木的平均單果質(zhì)量；代表研究區(qū)隨機(jī)抽樣選取的10%典型油茶樣木株數(shù)；Q代表研究區(qū)第株油茶樣木的單株果數(shù)，通過冠層果數(shù)擬合獲取。

以線性回歸擬合為例，則Q的計(jì)算公式如下：

式中q代表研究區(qū)第株油茶樣木基于Mask RCNN網(wǎng)絡(luò)預(yù)測(cè)的冠層果數(shù)，和分別表示線性回歸的斜率和截距。

本文油茶樣木的平均單果質(zhì)量= 0.020 kg，樣木株數(shù)=120，線性回歸擬合中和取值分別為1.016和4.943。油茶樣木單株產(chǎn)量估算公式為：

2.3.3 模型精度評(píng)價(jià)

采用決定系數(shù)（2）和標(biāo)準(zhǔn)均方根誤差（Normalized Root Mean Square Error，NRMSE）對(duì)油茶產(chǎn)量的預(yù)測(cè)結(jié)果進(jìn)行評(píng)價(jià)[25]。2反映預(yù)測(cè)產(chǎn)量與實(shí)測(cè)產(chǎn)量之間的擬合程度；NRMSE衡量預(yù)測(cè)產(chǎn)量與實(shí)測(cè)產(chǎn)量之間的標(biāo)準(zhǔn)化偏差程度，反映估測(cè)模型的可靠性，NRMSE越小，預(yù)測(cè)精度越高。計(jì)算公式如下：

3 結(jié)果與分析

3.1 樣本數(shù)據(jù)集處理

研究表明，不同大小的圖像對(duì)網(wǎng)絡(luò)的訓(xùn)練速度和特征提取均有一定影響。由于網(wǎng)絡(luò)結(jié)構(gòu)和硬件限制，Mask RCNN網(wǎng)絡(luò)訓(xùn)練時(shí)要求輸入特定尺寸的圖像，而無人機(jī)近景影像往往大于這個(gè)尺寸。因此為保證油茶果特征的提取精度，本文通過縮放裁剪操作使無人機(jī)影像滿足Mask RCNN網(wǎng)絡(luò)訓(xùn)練的輸入要求（如表1所示）。

表1 影像裁剪前后油茶果識(shí)別精度比較

由表1可知，裁剪前圖像的F1值僅為31.48%，召回率僅為19.15%，說明裁剪前預(yù)測(cè)結(jié)果非常不理想，難以實(shí)現(xiàn)目標(biāo)的準(zhǔn)確分割。裁剪后各項(xiàng)指標(biāo)均有提升，其中F1值達(dá)到89.91%，提高了約58個(gè)百分點(diǎn)；召回率從19.15%提高到82.03%，說明適當(dāng)?shù)膱D像裁剪操作，能夠?qū)崿F(xiàn)油茶果特征的準(zhǔn)確提取，提高模型預(yù)測(cè)精度。

3.2 冠層果自動(dòng)檢測(cè)

冠層果測(cè)試集為無人機(jī)近景圖像通過數(shù)據(jù)增強(qiáng)和隨機(jī)裁剪按比例隨機(jī)獲取，具體測(cè)試精度見表2。同時(shí)為更好地說明訓(xùn)練模型的泛化能力，選擇不同光照條件（陰天和晴天）的油茶果照片進(jìn)行檢測(cè)，具體檢測(cè)結(jié)果如圖4所示。

表2 測(cè)試集冠層果平均檢測(cè)精度

由表2可知，測(cè)試集共有679個(gè)油茶果目標(biāo)，本文方法識(shí)別的油茶果數(shù)目為560個(gè)，其中557個(gè)為油茶果目標(biāo)，平均召回率為82.03%，平均準(zhǔn)確率為99.46%，平均F1值為89.91%，說明Mask RCNN網(wǎng)絡(luò)的檢測(cè)精度較高，不僅能檢測(cè)目標(biāo)油茶果的定位框，而且能準(zhǔn)確識(shí)別油茶果的二值掩碼。

結(jié)合圖4分析可知，Mask RCNN網(wǎng)絡(luò)不僅適用于陰天采集的光照均勻圖像，同樣適用于晴天采集的強(qiáng)光照射圖像，F(xiàn)1值分別為89.64%和90.22%。強(qiáng)光照射可能導(dǎo)致油茶果目標(biāo)表面光線極強(qiáng)，導(dǎo)致肉眼無法將油茶果目標(biāo)正確識(shí)別，本文網(wǎng)絡(luò)能有效識(shí)別圖像中的油茶果目標(biāo)，召回率為82.97%；該網(wǎng)絡(luò)同樣適用于陰天部分遮擋情況的油茶果識(shí)別，召回率為81.22%。另外部分青色和紅色小果與檢測(cè)背景相似，存在一定的漏識(shí)別現(xiàn)象，說明不同成熟度的果實(shí)顏色對(duì)油茶果檢測(cè)精度有一定影響。總體上，Mask RCNN網(wǎng)絡(luò)檢測(cè)油茶果的精度較高，能夠用于后續(xù)油茶樣木的快速估產(chǎn)。

注：原圖大小均為5 472像素×3 648像素，放大圖大小為684像素×456像素；矩形框上方的數(shù)字表示目標(biāo)為油茶果的概率。

Note: The size of the original image is 5 472 pixels×3 648 pixels, and the size of the enlarged image is 684 pixels×456 pixels; the number above the rectangular box represents the probability that the target is a camellia oleifera fruit.

圖4 Mask RCNN網(wǎng)絡(luò)對(duì)不同光照條件油茶果的檢測(cè)效果

Fig.4 Detection effects of Mask RCNN network on camellia oleifera under different lighting conditions

3.3 樣木產(chǎn)量數(shù)據(jù)統(tǒng)計(jì)

根據(jù)油茶冠層果識(shí)別結(jié)果，對(duì)研究區(qū)120株油茶樣木的產(chǎn)量數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)（表3）。分析可知，油茶樣木冠層果數(shù)和單株果數(shù)平均值分別為38和133，在2～153和8～532之間變化；單株產(chǎn)量和單果質(zhì)量平均值分別為2.652和0.020 kg，介于0.042～10.542和0.004～0.047 kg之間，說明研究區(qū)油茶樣木產(chǎn)量普遍不高，具有一定的改良空間。另外，4類油茶產(chǎn)量數(shù)據(jù)均表現(xiàn)出不同程度的差異性，變化范圍介于30.00%～96.42%之間，說明本文選擇的油茶樣木具有一定的代表性，可能受油茶結(jié)實(shí)大小年、油茶品種和種植環(huán)境等因素影響，統(tǒng)計(jì)的產(chǎn)量數(shù)據(jù)呈現(xiàn)出較強(qiáng)的變異性。

3.4 估產(chǎn)結(jié)果分析

3.4.1 單株果數(shù)估計(jì)

基于預(yù)測(cè)的冠層果數(shù)據(jù)，構(gòu)建冠層果數(shù)與單株果數(shù)之間的經(jīng)驗(yàn)?zāi)Ｐ?，其?0株樣木數(shù)據(jù)用于模型構(gòu)建，預(yù)留的40株樣木數(shù)據(jù)用于精度驗(yàn)證，具體結(jié)果如表4所示。

分析可知，2種方法的2均不低于0.871，NRMSE均低于38%；其中LR模型估算精度較高，2和NRMSE分別為0.888和36.23%；KNN模型精度略低于LR模型。說明采用Mask RCNN網(wǎng)絡(luò)預(yù)測(cè)的冠層果數(shù)與實(shí)測(cè)的單株果數(shù)之間存在良好的線性擬合關(guān)系，證明了基于冠層果數(shù)擬合樣木單株果數(shù)的有效性。

表3 研究區(qū)油茶樣木產(chǎn)量數(shù)據(jù)統(tǒng)計(jì)結(jié)果

SD: Standard deviation; CV: Coefficient of variation.

表4 基于冠層果數(shù)擬合的單株果數(shù)精度檢驗(yàn)結(jié)果

NRMSE: Normalized Root Mean Square Error.

3.4.2 估產(chǎn)精度評(píng)價(jià)

基于冠層果數(shù)擬合的單株果數(shù)，利用公式（4）對(duì)研究區(qū)剩余的40株油茶樣木進(jìn)行產(chǎn)量估測(cè)，估產(chǎn)精度驗(yàn)證結(jié)果如圖5所示。

分析圖5可知，2種方法均取得較好的估產(chǎn)效果，2和NRMSE分別在0.892～0.913和28.01%～31.00%之間變化。估產(chǎn)精度方面，LR的估產(chǎn)精度略高于KNN，2和NRMSE分別為0.913和28.01%，說明基于冠層果數(shù)擬合的油茶樣木單株果數(shù)與單株產(chǎn)量之間存在良好的線性關(guān)系，本文方法具有較好的穩(wěn)定性和有效性。

4 討 論

4.1 油茶果樣本集擴(kuò)增

相關(guān)研究表明，數(shù)據(jù)擴(kuò)增是一種常用的數(shù)據(jù)增強(qiáng)方法，可在增加樣本數(shù)量的同時(shí)減少模型訓(xùn)練出現(xiàn)的過度擬合[26]?？紤]油茶果顏色與油茶葉片的相似性，以及無人機(jī)航拍的影像數(shù)量有限和環(huán)境的不確定性，難以滿足Mask RCNN網(wǎng)絡(luò)訓(xùn)練的樣本需求，研究采用圖像縮放、亮度、對(duì)比度、噪聲注入以及翻轉(zhuǎn)等方法，對(duì)已標(biāo)注的樣本進(jìn)行數(shù)據(jù)擴(kuò)增，結(jié)果表明適當(dāng)?shù)臄?shù)據(jù)擴(kuò)增操作，能夠提高模型的泛化能力，減少?gòu)?fù)雜環(huán)境對(duì)油茶果識(shí)別造成的不良影響，提高油茶果的識(shí)別精度。這與已有學(xué)者采用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充樣本數(shù)據(jù)集緩解過擬合的研究結(jié)論相似[27]，隨著研究的持續(xù)開展，后續(xù)將圍繞油茶果樣本數(shù)據(jù)集的標(biāo)準(zhǔn)化開展深入研究。

4.2 油茶果自動(dòng)檢測(cè)的影響因素

本研究采用Mask RCNN網(wǎng)絡(luò)對(duì)不同光照條件的油茶冠層果進(jìn)行識(shí)別，結(jié)果表明該網(wǎng)絡(luò)不僅能準(zhǔn)確提取目標(biāo)油茶果的定位框，還能準(zhǔn)確繪制目標(biāo)油茶果的二值掩碼，說明該網(wǎng)絡(luò)具有良好的準(zhǔn)確性和穩(wěn)定性，檢測(cè)油茶果的精度均較高[28]，預(yù)測(cè)的油茶果數(shù)量能夠用于后續(xù)研究；已有研究表明，遮擋重疊、分布密集、背景相似以及表面陰影是影響目標(biāo)對(duì)象精準(zhǔn)識(shí)別的主要干擾因素[29]，本文通過采用全卷積神經(jīng)網(wǎng)絡(luò)FCN提取油茶果目標(biāo)的準(zhǔn)確特征，一定程度減少背景、遮擋、重疊和陰影等因素的干擾，實(shí)現(xiàn)油茶果目標(biāo)的高效識(shí)別，這與已有學(xué)者采用全卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)蘋果的研究結(jié)論相似[30]。隨著樣本數(shù)據(jù)集的積累，后續(xù)將圍繞遮擋、重疊、背景（如不同成熟度的果實(shí)顏色）以及陰影等影響因素開展深入研究，以期進(jìn)一步提高油茶果自動(dòng)檢測(cè)的精度。

4.3 估產(chǎn)模型精度比較

為提高作物產(chǎn)量的估算精度，本研究以無人機(jī)航拍影像為數(shù)據(jù)源，采用Mask RCNN網(wǎng)絡(luò)開展基于近景影像的油茶冠層果自動(dòng)檢測(cè)與計(jì)數(shù)，然后利用2種方法建立預(yù)測(cè)的冠層果數(shù)與單株果數(shù)之間的關(guān)系，構(gòu)建基于冠層果自動(dòng)檢測(cè)的估產(chǎn)模型，旨在為無人機(jī)遙感在大面積作物快速估產(chǎn)中的應(yīng)用提供一種新的思路。雖然由傳統(tǒng)衛(wèi)星遙感估算的作物產(chǎn)量在區(qū)域和國(guó)家尺度可以接受，但是不能精確到單株樣木的產(chǎn)量估算，主要受衛(wèi)星遙感空間分辨率的限制[18, 31-32]。同傳統(tǒng)衛(wèi)星遙感相比，基于無人機(jī)近景攝影的冠層果自動(dòng)檢測(cè)在作物產(chǎn)量估測(cè)方面顯示出明顯的優(yōu)勢(shì)，因?yàn)閬碜詿o人機(jī)超低空近景拍攝的高清影像可以實(shí)現(xiàn)油茶樣木冠層果的準(zhǔn)確檢測(cè)與計(jì)數(shù)。

研究表明，由Mask RCNN網(wǎng)絡(luò)檢測(cè)的油茶冠層果數(shù)與單株果數(shù)之間具有良好的一致性，可作為大面積油茶林產(chǎn)量估算的真值數(shù)據(jù)。另外受無人機(jī)超低空航拍數(shù)據(jù)的限制，本文只是利用隨機(jī)抽樣采集部分典型油茶樣木的高清影像，通過高清影像預(yù)測(cè)的冠層果數(shù)擬合單株果數(shù)，同時(shí)結(jié)合研究區(qū)油茶樣木株數(shù)和實(shí)測(cè)單果質(zhì)量，探索構(gòu)建基于冠層果自動(dòng)檢測(cè)的估產(chǎn)模型的可行性。利用無人機(jī)超低空近景影像和實(shí)測(cè)產(chǎn)量數(shù)據(jù)開展大面積油茶林的精細(xì)化估產(chǎn)將是下一步的研究重點(diǎn)。眾所周知，油茶產(chǎn)量的估算精度受多種因素的影響，如油茶的生長(zhǎng)年份、大小年和不同品種等。隨著研究的持續(xù)推進(jìn)，后續(xù)將圍繞不同區(qū)域、不同年份、不同品種和不同種植密度開展試驗(yàn)研究，以填補(bǔ)油茶估產(chǎn)模型研究的空白。

5 結(jié) 論

隨著無人機(jī)遙感的快速發(fā)展，基于冠層影像的農(nóng)作物估產(chǎn)得到了廣泛關(guān)注，然而鮮有基于冠層果自動(dòng)檢測(cè)的油茶快速估產(chǎn)報(bào)道。鑒于此，研究以無人機(jī)航拍影像為數(shù)據(jù)源，通過隨機(jī)抽樣方法選取120株油茶樹進(jìn)行無人機(jī)近景拍攝和人工采摘稱量；然后利用Mask RCNN開展油茶冠層果的自動(dòng)檢測(cè)與計(jì)數(shù)；最后利用兩種方法擬合冠層果數(shù)和單株果數(shù)之間的關(guān)系，同時(shí)結(jié)合油茶樣木總株數(shù)和實(shí)測(cè)單果質(zhì)量，構(gòu)建基于冠層果自動(dòng)檢測(cè)的估產(chǎn)模型。結(jié)果表明：

1）借助無人機(jī)超低空近景攝影，利用Mask RCNN網(wǎng)絡(luò)能夠有效識(shí)別不同光照條件的油茶果，平均F1值達(dá)89.91%，可作為后續(xù)產(chǎn)量估測(cè)的真值數(shù)據(jù)；

2）同傳統(tǒng)的衛(wèi)星遙感相比，基于無人機(jī)近景攝影的冠層果自動(dòng)檢測(cè)在作物產(chǎn)量估測(cè)方面顯示出明顯的優(yōu)勢(shì)，Mask RCNN網(wǎng)絡(luò)預(yù)測(cè)的冠層果數(shù)與單株果數(shù)之間具有良好的一致性，決定系數(shù)2不低于0.871；

3）估產(chǎn)結(jié)果表明，結(jié)合2種方法（線性回歸和K最鄰近）構(gòu)建的模型估產(chǎn)精度均較高，擬合決定系數(shù)2和NRMSE分別在0.892～0.913和28.01%～31.00%間變化，說明基于冠層果自動(dòng)檢測(cè)的油茶估產(chǎn)方法具有較高的穩(wěn)定性和適用性，是一種可推廣的作物估產(chǎn)方法。

[1] 張東生，金青哲，薛雅琳，等. 油茶籽油的營(yíng)養(yǎng)價(jià)值及摻偽鑒定研究進(jìn)展[J]. 中國(guó)油脂，2013，38(8)：47-50.

Zhang Dongsheng, Jin Qingzhe, Xue Yalin, et al. Nutritional value and adulteration identification of oil tea camellia seed oil[J]. China Oils and Fats, 2013, 38(8): 47-50. (in Chinese with English abstract)

[2] Gongal A, Amatya S, Karkee M, et al. Sensors and systems for fruit detection and localization: A review[J]. Computers and Electronics in Agriculture, 2015, 116: 8-19.

[3] 李昕，李立君，高自成，等. 基于偏好人工免疫網(wǎng)絡(luò)多特征融合的油茶果圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(14)：133-137.

Li Xin, Li Lijun, Gao Zicheng, et al. Image recognition of camellia fruit based on preference for aiNET multi-features integration[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 133-137. (in Chinese with English abstract)

[4] 李立君，陽涵疆. 基于改進(jìn)凸殼理論的遮擋油茶果定位檢測(cè)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(12)：285-292，346.

Li Lijun, Yang Hanjiang. Revised detection and localization algorithm for camellia oleifera fruits based on convex hull theory[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(12): 285-292, 346. (in Chinese with English abstract)

[5] Gongal A, Karkee M, Amatya S. Apple fruit size estimation using a 3D machine vision system[J]. Information Processing in Agriculture, 2018, 5(4): 498-503.

[6] Zhou R, Damerow L, Sun Y, et al. Using colour features of cv. ‘Gala’ apple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture, 2012, 13(5): 568-580.

[7] Kurtulmus F, Lee W S, Vardar A. Green citrus detection using ‘eigenfruit’, color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture, 2011, 78(2): 140-149.

[8] Yamamoto K, Guo W, Yoshioka Y, et al. On plant detection of intact tomato fruits using image analysis and machine learning methods[J]. Sensors, 2014, 14(7): 12191-12206.

[9] 李昕，李立君，高自成，等. 改進(jìn)類圓隨機(jī)Hough變換及其在油茶果實(shí)遮擋識(shí)別中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(1)：164-170.

Li Xin, Li Lijun, Gao Zicheng, et al. Revised quasi-circular randomized hough transform and its application in camellia-fruit recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(1): 164-170. (in Chinese with English abstract)

[10] Lin G C, Tang Y C, Zou X J, et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field[J]. Sensors, 2019, 19(2): 428.

[11] 張習(xí)之，李立君. 基于改進(jìn)卷積自編碼機(jī)的油茶果圖像識(shí)別研究[J]. 林業(yè)工程學(xué)報(bào)，2019，4(3)：118-124.

Zhang Xizhi, Li Lijun. Research of image recognition of camellia oleifera fruit based on improved convolutional auto-encoder[J]. Journal of Forestry Engineering, 2019, 4(3): 118-124. (in Chinese with English abstract)

[12] Koirala A, Walsh K B, Wang Z, et al. Deep learning for real-time fruit detection and orchard fruit load estimation: Benchmarking of ‘MangoYOLO’[J]. Precision Agriculture, 2019, 20(6): 1107-1135.

[13] Wang Z, Walsh K, Koirala A. Mango fruit load estimation using a video based Mango YOLO-Kalman filter-hungarian algorithm method[J]. Sensors, 2019, 19(12): 2742.

[14] Zhuang J J, Luo S M, Hou C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electronics in Agriculture, 2018, 152: 64-73.

[15] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 905.

[16] H?ni N, Roy P, Isler V. Apple counting using convolutional neural networks[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 2559-2565.

[17] Wu S R, Yang P, Chen Z X, et al. Estimating winter wheat yield by assimilation of remote sensing data with a four-dimensional variation algorithm considering anisotropic background error and time window[J]. Agricultural and Forest Meteorology, 2021, 301: 108345.

[18] 徐權(quán)，郭鵬，祁佳峰，等. 基于無人機(jī)影像的SEGT棉花估產(chǎn)模型構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(16)：44-51.

Xu Quan, Guo Peng, Qi Jiafeng, et al. Construction of SEGT cotton yield estimation model based on UAV image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(16): 44-51. (in Chinese with English abstract)

[19] García-Martínez H, Flores-Magdaleno H, Ascencio-Hernández R, et al. Corn grain yield estimation from vegetation indices, canopy cover, plant density, and a neural network using multispectral and RGB images acquired with unmanned aerial vehicles[J]. Agriculture, 2020, 10(7): 277.

[20] 周小成，何藝，黃洪宇，等. 基于兩期無人機(jī)影像的針葉林伐區(qū)蓄積量估算[J]. 林業(yè)科學(xué)，2019，55(11)：117-125.

Zhou Xiaocheng, He Yi, Huang Hongyu, et al. Estimation of forest stand volume on coniferous forest cutting area based on two periods unmanned aerial vehicle images[J]. Scientia Silvae Sinicae, 2019, 55(11): 117-125. (in Chinese with English abstract)

[21] Zhou J, Zhou J F, Ye H, et al. Yield estimation of soybean breeding lines under drought stress using unmanned aerial vehicle-based imagery and convolutional neural network[J]. Biosystems Engineering, 2021, 204: 90-103.

[22] Apolo Apolo O E, Martínez-Guanter J, Egea G, et al. Deep learning techniques for estimation of the yield and size of citrus fruits using a UAV[J]. European Journal of Agronomy, 2020, 115: 126030.

[23] Khan M A, Akram T, Zhang Y D, et al. Attributes based skin lesion detection and recognition: A mask RCNN and transfer learning-based deep learning framework[J]. Pattern Recognition Letters, 2021, 143: 58-66.

[24] Lin T Y, Dollár P, Girshick R, et al. Feature Pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2117-2125.

[25] 嚴(yán)恩萍，趙運(yùn)林，林輝，等. 基于地統(tǒng)計(jì)學(xué)和多源遙感數(shù)據(jù)的森林碳密度估算[J]. 林業(yè)科學(xué)，2017，53(7)：72-84.

Yan Enping, Zhao Yunlin, Lin Hui, et al. Estimation of forest carbon density based on geostatistics and multi-r esource remote sensing data[J]. Scientia Silvae Sinicae, 2017, 53(7): 72-84. (in Chinese with English abstract)

[26] Pinheiro P O, Collobert R, Dollar P. Learning to segment object candidates[J]. NIPAS’15: Proceedings of the 28thInternational Conference on Neural Information Processing System, 2015, 2: 1990-1998.

[27] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[28] Fan Z M, Xia W J, Liu X, et al. Detection and segmentation of underwater objects from forward-looking sonar based on a modified Mask RCNN[J]. Signal, Image and Video Processing, 2021, 15: 1135-1143.

[29] Jia W K, Tian Y Y, Luo R, et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot[J]. Computers and Electronics in Agriculture, 2020, 172: 105380.

[30] 王丹丹，何東健. 基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋果目標(biāo)的識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(3)：156-163.

Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156-163. (in Chinese with English abstract)

[31] Yu N, Li L, Schmitz N, et al. Development of methods to improve soybean yield estimation and predict plant maturity with an unmanned aerial vehicle based platform[J]. Remote Sensing of Environment, 2016, 187: 91-101.

[32] 劉煥軍，孟令華，張新樂，等. 基于時(shí)間序列Landsat 影像的棉花估產(chǎn)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(17)：215-220.

Liu Huanjun, Meng Linghua, Zhang Xinle, et al. Estimation model of cotton yield with time series Landsat images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(17): 215-220. (in Chinese with English abstract)

Rapid estimation of camellia oleifera yield based on automatic detection of canopy fruits using UAV images

Yan Enping, Ji Yu, Yin Xianming, Mo Dengkui※

(1.,,410004,; 2.,,410004,; 3.,410004,)

Rapid and accurate yield estimation is of great significance to the management and sustainable development of Camellia oleifera production. The quantity and single fruit weight of camellia fruits are crucial indicators representing the Camellia yield. Therefore, a highly efficient and accurate monitoring of the quantity and single fruit weight of Camellia fruits can contribute to saving labor, material, and financial resources, as well as timely decision-making. Unmanned aerial vehicle (UAV) remote sensing has presented a high spatial resolution, fast data acquisition, and simple operation in recent years. An optimal operation period can be selected to obtain high-resolution aerial images, and thereby to realize the crop yield estimation in a large scale using the fruit numbers. However, only a few kinds of research are focused on the estimation of Camellia yield using UAV images and fruit number identification. In this study, a rapid yield estimation of Camellia oleifera was realized via the automatic detection of canopy fruit using UAV images. Firstly, a DJI Mavic 2 PRO UAV platform and Hasselblad L1D-20C camera were utilized to obtain UAV aerial images in the study area. 120 camellia oleifera trees were selected by random sampling for close-up UAV shooting, and manual picking, and weighing. A Mask RCNN framework was then employed to automatically detect and count the canopy fruits in the sample trees using UAV close-up images. Finally, two common Linear Regression (LR) and K-Nearest Neighbor (KNN) were used to build the relationship between the predicted fruit numbers of tree canopy and the measured. A yield estimation model was thus constructed using automatic detection of canopy fruits, according to the total numbers of sample trees and the average weight of single fruit. The results showed that: (1) There was an excellent performance of crop yield estimation via the automatic detection of canopy fruits using close-range photography of UAV, compared with the traditional method. (2) UAV ultra-low-altitude close-up images combined with Mask RCNN network effectively detected the camellia oleifera fruits under different lighting conditions, with an average F1 value of 89.91%. (3) There was well consistency between the predicted fruit numbers of tree canopy identified by Mask RCNN network and the measured, with2higher than 0.871. (4) The yield estimation results showed that the combined LR/KNN models presented a higher accuracy of yield estimation with2and NRMSE ranging from 0.892 to 0.913, and 28.01% to 31.00%, respectively. Consequently, the rapid yield estimation of Camellia oleifera sample trees can be achieved using automatic detection of canopy fruits from UAV images. The finding can provide highly versatile and great potential for rapid yield estimation and intelligent monitoring of the crops or trees in large areas.

UAV; automatic detection; Camellia oleifera; rapid yield estimation; canopy fruit

嚴(yán)恩萍，棘玉，尹顯明，等. 基于無人機(jī)影像自動(dòng)檢測(cè)冠層果的油茶快速估產(chǎn)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(16)：39-46.doi：10.11975/j.issn.1002-6819.2021.16.006 http://www.tcsae.org

Yan Enping, Ji Yu, Yin Xianming, et al. Rapid estimation of camellia oleifera yield based on automatic detection of canopy fruits using UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 39-46. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.16.006 http://www.tcsae.org

2021-04-01

2021-07-14

國(guó)家自然科學(xué)基金項(xiàng)目（31901311，32071682）

嚴(yán)恩萍，博士，講師，研究方向?yàn)榱謽I(yè)遙感與地理信息系統(tǒng)應(yīng)用。Email：Enpingyan@csuft.edu.cn

莫登奎，副教授，研究方向?yàn)榱謽I(yè)遙感與人工智能應(yīng)用。Email：dengkuimo@csuft.edu.cn

10.11975/j.issn.1002-6819.2021.16.006

S127；S757.2

A

1002-6819(2021)-16-0039-08