楊國(guó)，黃文靜，朱洪前*，丁鍵，任會(huì)，李丹，肖恒玉，胡濤

(1. 中南林業(yè)科技大學(xué)，長(zhǎng)沙 410004； 2. 江蘇護(hù)理職業(yè)學(xué)院，淮安 223002)

自然環(huán)境下柑橘檢測(cè)和產(chǎn)量預(yù)估受到不同光照、復(fù)雜的冠層結(jié)構(gòu)、生長(zhǎng)過(guò)程中的顏色變化、遮擋或者重果以及小尺寸的影響[1]。對(duì)于冠層結(jié)構(gòu)，韓蕊等[2]利用無(wú)人機(jī)遙感、多光譜圖像提取柑橘樹(shù)冠信息，進(jìn)行樹(shù)冠分割與株數(shù)統(tǒng)計(jì)。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，國(guó)內(nèi)外專(zhuān)家學(xué)者們?cè)谒麢z測(cè)方面取得了一系列的研究成果。Aleixos等[3]應(yīng)用貝葉斯決策理論實(shí)時(shí)對(duì)柑橘類(lèi)水果表面進(jìn)行多光譜檢測(cè)。López-García等[4]采用多變量圖像分析法和主成分分析法實(shí)現(xiàn)柑橘類(lèi)水果表面的缺陷檢測(cè)。Lu等[5]通過(guò)融合色差圖、歸一化RGB模型和光照?qǐng)D的分割結(jié)果，研究了可變光照和不同程度遮擋樹(shù)冠下柑橘類(lèi)水果的檢測(cè)，所采用的融合方法可以檢測(cè)目標(biāo)水果的高光、陰影和漫射區(qū)域。Sengupta等[6]開(kāi)發(fā)了霍夫圓檢測(cè)等算法，基于SVM的紋理分類(lèi)和其他假陽(yáng)性去除技術(shù)來(lái)檢測(cè)自然條件下綠色冠層中的未成熟柑橘。熊俊濤等[7]利用Faster R-CNN目標(biāo)檢測(cè)算法對(duì)樹(shù)上的綠色柑橘進(jìn)行檢測(cè)研究，建立了自然環(huán)境下不同光照、不同尺寸柑橘和不同數(shù)量柑橘的圖像樣本集，最終在測(cè)試集上的平均精度為85.49%。王丹丹等[8]提出一種利用RseNet-44對(duì)R-FCN網(wǎng)絡(luò)進(jìn)行改進(jìn)的蘋(píng)果目標(biāo)識(shí)別算法，采用RseNet-44全卷積網(wǎng)絡(luò)，最終在測(cè)試數(shù)據(jù)集上得到的召回率為85.7%，準(zhǔn)確率為95.1%，識(shí)別速度為0.187 s/幅。李善軍等[9]提出了一種基于改進(jìn)SSD深度學(xué)習(xí)模型的柑橘實(shí)時(shí)分類(lèi)檢測(cè)方法，最終該模型的mAP(mean average precision)達(dá)到87.89%，平均檢測(cè)時(shí)間為20.27 ms。韓文等[10]提出基于Tiny-YOLOv3網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法，在2個(gè)數(shù)據(jù)集上試驗(yàn)以驗(yàn)證改進(jìn)模型的有效性，在果園柑橘數(shù)據(jù)集中，準(zhǔn)確率、召回率以及F1分別為88.98%，95.29%和92.03%。呂石磊等[11]提出一種基于改進(jìn)YOLOv3-LITE輕量級(jí)神經(jīng)網(wǎng)絡(luò)的柑橘識(shí)別方法，在全部測(cè)試集上，F(xiàn)1和AP分別為0.936 9和91.13%。孫寶霞等[12]對(duì)夜間自然環(huán)境下成熟的柑橘進(jìn)行識(shí)別與表征缺陷檢測(cè)，所采用的YOLOv4模型檢測(cè)方法在柑橘測(cè)試集上的精確率、召回率、F1以及mAP分別為95.32%，94.59%，0.95和90.52%。

綜上所述，國(guó)內(nèi)外對(duì)于水果檢測(cè)特別是柑橘的檢測(cè)都取得了很多成果，但是大都只是對(duì)于一種顏色特征或者對(duì)于某一特定類(lèi)型的柑橘進(jìn)行檢測(cè)，得到的模型通用性和魯棒性不佳，而柑橘作為極為常見(jiàn)的水果，未成熟時(shí)為綠色，成熟之后更是存在黃色和綠色兩種顏色特征，加之其生長(zhǎng)環(huán)境極為復(fù)雜，進(jìn)一步增加了自然環(huán)境下的柑橘檢測(cè)難度。深度學(xué)習(xí)的方法通過(guò)層層網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)圖像的淺層到高層特征進(jìn)行提取歸類(lèi)，達(dá)到準(zhǔn)確識(shí)別類(lèi)別的目的[13]。筆者基于深度學(xué)習(xí)方法的識(shí)別模型選取了基于VGG16的 Faster R-CNN、基于Resnet的 Faster R-CNN以及YOLOv5s，以自然環(huán)境下成熟柑橘的兩種顏色形態(tài)建立數(shù)據(jù)集進(jìn)行柑橘檢測(cè)，通過(guò)試驗(yàn)對(duì)比及模型訓(xùn)練，將基于深度學(xué)習(xí)的算法模型用于自然環(huán)境下的柑橘檢測(cè)，以期為經(jīng)濟(jì)林下農(nóng)業(yè)生產(chǎn)中自然成熟狀態(tài)下果實(shí)為綠色和黃色的水果以及類(lèi)圓水果的視覺(jué)檢測(cè)研究提供技術(shù)支持。

1 材料與方法

1.1 圖像獲取

本研究以多個(gè)品種的柑橘作為研究對(duì)象，采集地點(diǎn)為長(zhǎng)沙市百果園及長(zhǎng)沙市橘子洲頭，采集圖像包含黃色和綠色柑橘。圖像采集在一天中的不同時(shí)段進(jìn)行，涵蓋晴天、陰天和雨后。所有圖像均使用智能手機(jī)攝像頭和工業(yè)相機(jī)采集，所有試驗(yàn)數(shù)據(jù)集均為自然狀態(tài)下未經(jīng)處理的自然圖像。數(shù)據(jù)集中共有13 091 個(gè)柑橘圖像，其中黃色柑橘圖像為8 877 個(gè)，綠色柑橘圖像為4 214個(gè)。自然環(huán)境下的柑橘具體數(shù)量分布情況見(jiàn)表1。

表1 自然條件下的柑橘數(shù)量Table 1 Number of citrus under natural conditions

1.2 數(shù)據(jù)集制作

圖像數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，最終采集了1 682張綠色柑橘圖像以及1 830張黃色柑橘圖像。對(duì)于黃色柑橘圖像，訓(xùn)練集圖像為1 498張，驗(yàn)證集圖像為167張，測(cè)試集圖像為165張；對(duì)于綠色柑橘圖像，訓(xùn)練集圖像為1 361張，驗(yàn)證集圖像為152張，測(cè)試集圖像為169張。

1.3 監(jiān)督學(xué)習(xí)的人工標(biāo)注

研究采取監(jiān)督學(xué)習(xí)的人工標(biāo)注，數(shù)據(jù)集標(biāo)注(圖1)過(guò)程中樣品位置按照邊界原則，將樣品盡可能標(biāo)記在最小切線(xiàn)矩形內(nèi)。圖1顯示了一個(gè)圖像注釋示例，包括一些部分被樹(shù)葉、枝干遮擋以及重疊造成的不完全標(biāo)注圖像。標(biāo)注使用的軟件是LabelImg，標(biāo)簽格式為“xml”。

圖1 數(shù)據(jù)集標(biāo)注Fig. 1 Data set annotation

1.4 柑橘檢測(cè)的深度學(xué)習(xí)算法

深度學(xué)習(xí)算法在圖像、語(yǔ)音、文本等方面的運(yùn)用越來(lái)越廣泛。鑒于傳統(tǒng)的檢測(cè)方法已經(jīng)不能滿(mǎn)足信息化、自動(dòng)化以及智能化需求，而深度學(xué)習(xí)的優(yōu)勢(shì)在于深度卷積神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能，可以通過(guò)端到端直接回歸訓(xùn)練，同時(shí)還有高精度和實(shí)時(shí)性等優(yōu)點(diǎn)，并且有利于發(fā)現(xiàn)高維的復(fù)雜結(jié)構(gòu)數(shù)據(jù)。此外，將更多的數(shù)據(jù)用于訓(xùn)練深度學(xué)習(xí)模型，將增加模型的魯棒性和泛化性。對(duì)比前人所采取的研究模型，本研究選用基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLOv5s這3種算法模型進(jìn)行柑橘檢測(cè)研究。

1.4.1 Faster R-CNN柑橘檢測(cè)算法

Faster R-CNN[14]是繼RCNN[15]和Fast-RCNN[16]后提出的目標(biāo)檢測(cè)方法，該算法可直接使用RPN生成檢測(cè)框?；贔aster R-CNN的用于柑橘檢測(cè)的圖像處理過(guò)程如圖2所示。

圖2 柑橘的Faster R-CNN圖像處理過(guò)程Fig. 2 The Faster R-CNN image processing process of orange

在目標(biāo)檢測(cè)中，F(xiàn)aster R-CNN的巨大優(yōu)勢(shì)是直接使用RPN生成檢測(cè)框，能極大提升檢測(cè)框的生成速度。Faster R-CNN損失函數(shù)通常可以選擇絕對(duì)值損失函數(shù)L1和平方損失函數(shù)L2，對(duì)于絕對(duì)值損失函數(shù)L1，容易導(dǎo)致訓(xùn)練不穩(wěn)定，而且這個(gè)函數(shù)在0點(diǎn)處導(dǎo)數(shù)不存在，因此可能會(huì)影響模型收斂。L2損失函數(shù)對(duì)離群點(diǎn)和異常值較為敏感，訓(xùn)練時(shí)容易發(fā)散；而在模型訓(xùn)練過(guò)程中，選擇分段函數(shù)作為損失函數(shù)很好地解決了上述問(wèn)題。SmoothL1同時(shí)避開(kāi)了L1和L2損失的缺陷，不會(huì)因預(yù)測(cè)值的梯度過(guò)大導(dǎo)致訓(xùn)練不穩(wěn)定。由于本研究的數(shù)據(jù)集比較復(fù)雜，所以選用SmoothL1作為損失函數(shù)，其RPN的損耗函數(shù)定義如下：

(1)

(2)

(3)

1.4.2 YOLOv5s柑橘檢測(cè)算法

YOLO將物體的定位和分類(lèi)一起完成，輸入一副原始圖像，由單一網(wǎng)絡(luò)可直接推理出目標(biāo)位置，更能滿(mǎn)足工業(yè)上的實(shí)時(shí)性要求，效果魯棒；從自然圖像遷移到藝術(shù)等其他領(lǐng)域的圖像時(shí)，效果也很好。考慮到模型的輕量化要求，本研究采用的是YOLOv5系列中網(wǎng)絡(luò)結(jié)構(gòu)最輕、深度最小以及特征圖寬度最小的YOLOv5s網(wǎng)絡(luò)。網(wǎng)絡(luò)主要分為輸入端、基準(zhǔn)網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)、預(yù)測(cè)框4個(gè)部分，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 YOLOv5s network structure

YOLOv5采用了BECLogits損失函數(shù)計(jì)算objectness score的損失[17]，class probability score采用了交叉熵?fù)p失函數(shù)(BCEclsloss)，bounding box采用了GIOU Loss。

(4)

(5)

式中：IoU為交并比；A和B為兩個(gè)任意框面積；C為A、B兩個(gè)框面積的最小閉包區(qū)域面積；A∩B表示兩個(gè)任意框面積的交集；A∪B表示兩個(gè)任意框面積的并集。式(5)表示用IoU減去閉包區(qū)域中不屬于兩個(gè)框的區(qū)域占閉包區(qū)域的比重。

2 試驗(yàn)過(guò)程與結(jié)果分析

2.1 試驗(yàn)環(huán)境

3種檢測(cè)模型為基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLOv5s，所采用的gpu為GTX2060，訓(xùn)練所采用的模型框架為Anaconda+PyCharm+Pytorch+Python3.8。

2.2 試驗(yàn)參數(shù)設(shè)置

完成數(shù)據(jù)集準(zhǔn)備、試驗(yàn)環(huán)境配置以及算法模型搭建后，經(jīng)過(guò)多次調(diào)參，最終確定了各個(gè)模型的參數(shù)，如表2所示。此外，為了節(jié)約內(nèi)存，迭代次數(shù)每訓(xùn)練50次保存1次模型。

表2 模型的參數(shù)設(shè)置Table 2 Parameter settings of the model

2.3 模型訓(xùn)練

試驗(yàn)過(guò)程中，根據(jù)驗(yàn)證集的損失值對(duì)模型性能進(jìn)行分析，損失值的大小用于判斷模型是否收斂。比較重要的是損失值有收斂的趨勢(shì)，即驗(yàn)證集損失值不斷下降，損失值并不是接近于0才好，如果驗(yàn)證集損失基本上不改變，則模型基本上就收斂了。

3個(gè)模型在兩種數(shù)據(jù)集下的訓(xùn)練損失loss值變化曲線(xiàn)見(jiàn)圖4～6。從圖4中可以看出，基于Resnet的Faster R-CNN在進(jìn)行綠色柑橘試驗(yàn)時(shí)，當(dāng)經(jīng)過(guò)30次迭代時(shí)，驗(yàn)證集損失值開(kāi)始趨于穩(wěn)定，之后繼續(xù)訓(xùn)練網(wǎng)絡(luò)，直到50次時(shí)停止訓(xùn)練；基于Resnet的Faster R-CNN在進(jìn)行黃色柑橘試驗(yàn)時(shí)，模型擬合較慢，直到50次迭代時(shí)才開(kāi)始收斂，訓(xùn)練出來(lái)的模型效果也很差，遠(yuǎn)遠(yuǎn)低于同一模型下的綠色柑橘模型訓(xùn)練結(jié)果。說(shuō)明該模型用于兩種特征的柑橘檢測(cè)時(shí)，通用性不強(qiáng)。由圖5可知，基于VGG16的Faster R-CNN在進(jìn)行綠色柑橘試驗(yàn)時(shí)，當(dāng)經(jīng)過(guò)40次迭代時(shí)，驗(yàn)證集損失值開(kāi)始趨于穩(wěn)定，模型收斂速度快，設(shè)置迭代80次后停止訓(xùn)練，模型的AP是92.82%；基于VGG16的Faster R-CNN在進(jìn)行黃色柑橘試驗(yàn)時(shí)，模型擬合較慢，直到50次迭代時(shí)才開(kāi)始收斂，訓(xùn)練出來(lái)的模型效果也很差，設(shè)置迭代80次，模型的AP僅為51.77%，此模型針對(duì)黃、綠兩種柑橘，訓(xùn)練結(jié)果差別相對(duì)較大，而且對(duì)于黃色柑橘檢測(cè)效果差，說(shuō)明此模型通用性也不強(qiáng)。由圖6可知，采用YOLOv5進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，數(shù)據(jù)收斂較快，在進(jìn)行綠色柑橘試驗(yàn)時(shí)AP是97.2%，在進(jìn)行黃色柑橘試驗(yàn)時(shí)AP是97.4%。

圖4 Faster R-CNN Resnet50模型訓(xùn)練損失曲線(xiàn)Fig. 4 Faster R-CNN Resnet50 model training loss curves

圖5 Faster R-CNN VGG16模型訓(xùn)練損失曲線(xiàn)Fig. 5 Faster R-CNN VGG16 model training loss curves

圖6 YOLOv5s模型訓(xùn)練驗(yàn)證損失曲線(xiàn)Fig. 6 YOLOv5s model training verification loss curves

2.4 評(píng)價(jià)指標(biāo)

本試驗(yàn)采用4個(gè)指標(biāo)進(jìn)行評(píng)估，分別是精確率(precision，公式中記為P)、召回率(recall rate，公式中記為R)、平均精度(average precision，公式中記為AP)以及F1(balanced F score，公式中記為F1)，以置信度高于0.5的目標(biāo)數(shù)量作為試驗(yàn)網(wǎng)絡(luò)所檢測(cè)到的柑橘數(shù)目。P、R、AP和F1的相關(guān)計(jì)算公式分別如式(6)～(9)所示：

P=tp/(tp+fp)

(6)

R=tp/(tp+fn)

(7)

(8)

F1=2×P×R/(P+R)

(9)

式中：tp是實(shí)際為正樣本被預(yù)測(cè)為正樣本；fp是實(shí)際為負(fù)樣本被預(yù)測(cè)為正樣本；fn是實(shí)際為正樣本被預(yù)測(cè)為負(fù)樣本。

2.5 結(jié)果與分析

2.5.1 黃色柑橘試驗(yàn)結(jié)果分析

黃色柑橘具有與自然環(huán)境下柑橘生長(zhǎng)環(huán)境完全不同的顏色特征。由柑橘在不同模型下的檢測(cè)指標(biāo)(表3)可知，對(duì)于所有黃色柑橘數(shù)據(jù)集，與YOLOv5s相比，基于Faster R-CNN的兩種檢測(cè)模型的試驗(yàn)結(jié)果都相對(duì)較差。針對(duì)數(shù)據(jù)集的情況以及試驗(yàn)結(jié)果分析如下：

1)模型自身的缺陷，對(duì)于Faster R-CNN，不論是使用VGGnet還是Resnet，其提取到的特征圖都是單層的，分辨率也比較小；

2)數(shù)據(jù)集中遮擋或者重果的圖像較多，在試驗(yàn)過(guò)程中，有時(shí)會(huì)出現(xiàn)錯(cuò)檢或者漏檢，說(shuō)明Faster R-CNN對(duì)遮擋的目標(biāo)檢測(cè)較困難；

3)數(shù)據(jù)集樣本中有太多自然環(huán)境因素的干擾，模型訓(xùn)練結(jié)束，將一些比較復(fù)雜和小尺寸柑橘圖像傳入模型后，檢測(cè)效果差，說(shuō)明Faster R-CNN的兩種檢測(cè)模型對(duì)于復(fù)雜程度過(guò)高以及密集小尺寸柑橘的檢測(cè)是存在困難的；

4)將小尺寸柑橘圖像以及遮擋或者重果圖像傳入訓(xùn)練好的YOLOv5s模型后，發(fā)現(xiàn)檢測(cè)效果更好，準(zhǔn)確性高而且速度更快，說(shuō)明與Faster R-CNN相比，YOLOv5s對(duì)于小尺寸柑橘以及遮擋重疊的柑橘檢測(cè)效果更好。

表3 柑橘在不同模型下的檢測(cè)結(jié)果Table 3 Detection results of orange using different models

綜上所述，對(duì)于黃色柑橘，YOLOv5s與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比，基于YOLOv5s的模型對(duì)于自然環(huán)境下黃色柑橘的檢測(cè)效果最優(yōu)，速度更快，其精確率為91.90%、召回率為99.00%、F1為 0.94、AP為97.40%。

2.5.2 綠色柑橘試驗(yàn)結(jié)果分析

對(duì)于綠色柑橘數(shù)據(jù)集，自然環(huán)境下綠色柑橘的表皮顏色特征與柑橘樹(shù)顏色特征基本一致。根據(jù)柑橘在不同模型下的檢測(cè)指標(biāo)可知，對(duì)于所有綠色柑橘，與YOLOv5s相比，基于Faster R-CNN兩個(gè)模型的精確率和F1相對(duì)較低，對(duì)Faster R-CNN柑橘檢測(cè)模型分析如下：

1)綠色柑橘數(shù)據(jù)集偏小，數(shù)據(jù)集過(guò)于復(fù)雜，導(dǎo)致模型沒(méi)有學(xué)習(xí)到更深層次的特征，精確率偏低；

2)Faster R-CNN模型的參數(shù)量過(guò)多，卷積層數(shù)過(guò)深，對(duì)于具有相似特征的目標(biāo)特征提取困難；

3)與黃色柑橘相比，綠色柑橘各項(xiàng)指標(biāo)更高，說(shuō)明所提取的目標(biāo)與背景具有相似顏色特征的情況下，F(xiàn)aster R-CNN模型仍然可以完成特征提取。

綜上所述，YOLOv5s模型用于自然環(huán)境下黃、綠兩種顏色特征的柑橘檢測(cè)，其各項(xiàng)指標(biāo)以及檢測(cè)效果均有了更大的提升，而且對(duì)于兩種顏色特征的柑橘都具有很好的檢測(cè)表現(xiàn)。與VGG16的Faster R-CNN模型以及Resnet的Faster R-CNN相比，YOLOv5s模型通用性更強(qiáng)，未來(lái)對(duì)于柑橘檢測(cè)的研究有更好的參考價(jià)值。

2.6 不同模型的測(cè)試效果

2.6.1 不同光照條件下的柑橘檢測(cè)試驗(yàn)

利用計(jì)算機(jī)視覺(jué)進(jìn)行目標(biāo)檢測(cè)時(shí)，一般要求工作環(huán)境具備良好的光照條件，但是自然環(huán)境下的場(chǎng)景較為復(fù)雜，可能包含一天中的不同時(shí)段，所以要求模型有更好的魯棒性，能適應(yīng)不同光照強(qiáng)度，在光照強(qiáng)度發(fā)生變化時(shí)，仍然能夠達(dá)到檢測(cè)要求。筆者收集了一部分不同光照強(qiáng)度的圖像(圖7)，將其傳入訓(xùn)練好的柑橘檢測(cè)模型中，給出了一些測(cè)試圖像在不同模型以及不同光照條件下的柑橘檢測(cè)效果。從檢測(cè)結(jié)果可以看出：對(duì)于黃色柑橘，Resnet50的檢測(cè)效果相對(duì)較差，甚至出現(xiàn)了漏檢，而Faster R-CNN+VGG16與YOLOv5s都能準(zhǔn)確無(wú)誤地將目標(biāo)檢測(cè)出來(lái)；對(duì)于綠色柑橘，所有模型均能達(dá)到很好的預(yù)測(cè)效果。

a)Faster R-CNN+Resnet50；b)Faster R-CNN+VGG16；c)YOLOv5s。圖7 不同模型不同光照環(huán)境下的柑橘檢測(cè)效果Fig. 7 Orange detection effect using different models and different lighting environments

2.6.2 遮擋與重果情況下的柑橘檢測(cè)試驗(yàn)

在自然環(huán)境下生長(zhǎng)的柑橘，往往會(huì)出現(xiàn)果實(shí)被枝葉包裹、遮擋以及果實(shí)密集等情況，這對(duì)于采摘機(jī)器人的視覺(jué)系統(tǒng)設(shè)計(jì)來(lái)說(shuō)是一個(gè)必須解決的關(guān)鍵問(wèn)題。在完成了柑橘檢測(cè)試驗(yàn)之后，收集了一部分重果和被枝葉遮擋的自然環(huán)境下的柑橘圖像，將未經(jīng)任何處理的柑橘圖像傳入訓(xùn)練好的柑橘檢測(cè)模型，3種檢測(cè)模型的效果如圖8所示。對(duì)于簡(jiǎn)單的重果和遮擋場(chǎng)景，3種模型都能完成預(yù)測(cè)；而對(duì)于重疊程度高以及枝葉遮擋較為嚴(yán)重的狀況，相比較而言，Resnet50就會(huì)出現(xiàn)偏差，甚至出現(xiàn)漏檢現(xiàn)象，而VGG16與YOLOv5s都能完成目標(biāo)檢測(cè)。

在圖像測(cè)試過(guò)程中，F(xiàn)aster R-CNN+VGG16與Faster R-CNN+Resnet在檢測(cè)時(shí)雖然能達(dá)到一定程度的檢測(cè)要求，但是訓(xùn)練模型用時(shí)長(zhǎng)，占用內(nèi)存多，而且檢測(cè)速度相對(duì)較慢，而YOLOv5s使得模型更加輕量化，檢測(cè)速度更快。本研究基于YOLOv5s訓(xùn)練自然環(huán)境下的柑橘檢測(cè)專(zhuān)用模型，平均檢測(cè)速度分別達(dá)到27和32幀/s，完全滿(mǎn)足檢測(cè)的實(shí)時(shí)性要求。

a)Faster R-CNN+Resnet50；b)Faster R-CNN+VGG16；c)YOLOv5s。圖8 不同模型不同遮擋或者重果環(huán)境下的柑橘檢測(cè)效果Fig. 8 Orange detection effect using different occlusions or heavy fruit environments of different models

自然環(huán)境下除了考慮上述因素，還會(huì)出現(xiàn)一些小尺寸柑橘，將相關(guān)圖像進(jìn)行采集測(cè)試，可得到Y(jié)OLOv5s試驗(yàn)的檢測(cè)結(jié)果，如圖9所示。

圖9 小尺寸柑橘檢測(cè)情況Fig. 9 Small size citrus detection situation

3 結(jié) 論

1)提出了一種基于YOLOv5s的自然環(huán)境下柑橘檢測(cè)方法，基于YOLOv5s深度學(xué)習(xí)框架，結(jié)合自然環(huán)境下柑橘的兩種顏色特征，分別進(jìn)行多次試驗(yàn)，最終訓(xùn)練得到的模型在黃、綠兩種柑橘驗(yàn)證集上的平均精度分別達(dá)到了97.40%與97.20%，平均檢測(cè)速度達(dá)到27和32幀/s，可滿(mǎn)足實(shí)時(shí)性要求。

2)對(duì)比其他算法的通用性，對(duì)于黃色柑橘，YOLOv5s模型與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比：精確率分別提高了51.54%和40.84%；召回率分別提高了41.08%和37.83%；F1分別提高了0.46和0.38；平均精度分別提高了45.51%和41.18%；平均檢測(cè)速度分別提高了22和23幀/s。

3)對(duì)比其他算法的通用性，對(duì)于綠色柑橘，YOLOv5s模型與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比：精確率分別提高了21.38%和17.88%；召回率分別提高了3.65%和3.36%；F1分別提高了0.12和0.10。平均精度分別提高了4.38%和4.13%；平均檢測(cè)速度分別提高了25和26幀/s。

4)YOLOv5s模型對(duì)于光照、重果、遮擋以及小尺寸柑橘的檢測(cè)都有很好的表現(xiàn)。

綜上所述，本研究針對(duì)柑橘成熟之后存在黃色和綠色兩種顏色特征，提出了針對(duì)兩種特征的通用檢測(cè)方案，試驗(yàn)結(jié)果有利于后續(xù)開(kāi)展機(jī)器采摘和柑橘估產(chǎn)研究工作。