關鍵詞 李； 機械采摘； 果實識別； YOLOv5； 圖像處理； 注意力機制； 目標檢測

李（Prunus salicina Lindl.），薔薇科李屬木本植物［1］，果實香甜脆爽，營養(yǎng)豐富，深受人們喜愛。目前，我國李的種植面積特別廣，但大部分果園機械化采摘應用非常少，果實的采摘任務都是由人工完成，增加了種植成本。機械化采摘既提高生產效率，也降低種植成本，是目前果園收獲的主要發(fā)展方向之一。采摘過程中的目標識別準確率是影響機械化采摘推廣重要影響因素之一。

近年來，為了解決目標因遮擋帶來的漏檢的問題，許多學者進行了相關研究。李欣等［2］使用YCb?Cr 顏色空間模型和OTSU 閾值分割技術對有遮擋的柑橘果實進行識別，檢出率達到了90.48%。周文靜等［3］針對田間復雜環(huán)境下傳統(tǒng)算法識別目標準確度低的問題，選取了與人類視覺相近的RGB 顏色空間，實現(xiàn)了田間環(huán)境下紅葡萄果穗圖像的分割。楊曉珍［4］使用Gabor 小波變換和支持向量機對西紅柿進行智能分類，提高了果實人工分類的效率。雖然數(shù)字圖像處理技術在對各種果實識別方面有著較為廣泛的應用，但是數(shù)字圖像處理技術對數(shù)據(jù)進行處理和分析的過程比較復雜，并且對較為復雜背景下目標的識別效果非常不穩(wěn)定，實時性較差，難以滿足果園采摘任務。因此，需要一種更快、更精確、更穩(wěn)定的識別方法。

隨著深度學習的應用與發(fā)展，利用卷積神經網絡對水果果實檢測獲得了優(yōu)異的效果［5-8］。卷積神經網絡的高特征提取能力，使其對復雜背景下目標的檢測成為可能。目標檢測模型主要為兩階段檢測模型和單階段檢測模型。兩階段檢測模型中，如Fast-RCNN［9］和Faster-RCNN［10］都是先通過區(qū)域建議網絡生成區(qū)域候選框，然后再對候選框進行進一步預測從而得到檢測結果。單階段檢測模型以YO?LO 系列模型［11-13］和SSD 系列模型［14］為代表。這些模型使用多尺度檢測，融合主干網絡中不同層的特征值，可以適應各種不同尺度目標的檢測任務。另外還有一類anchor-free 目標檢測網絡，如Center?net［15］和Cornernet［16］，它們不依賴于先驗框，而是通過預測關鍵點從而預測出目標的位置。要實現(xiàn)對果園中李的正確識別，就要克服果園環(huán)境存在的背景復雜、目標被各種遮擋物遮擋等問題。石展鯤等［17］提出一種改進的Faster-RCNN 模型，通過使用Mo?saic 數(shù)據(jù)增強和引入Soft NMS 算法來增強模型對小目標和密集目標的識別能力，結果表明，改進后的模型的召回率可達91.44%，準確率可達93.35%。Wang 等［18］對YOLOv4 進行改進，使用深度可分離卷積網絡將網絡壓縮至54.05 MB，并額外添加1 個檢測尺度來增強模型對小目標和遮擋目標的識別能力，改進后的模型平均精度均值（mPA）可以達到88.56%，檢測速度可達42.55 幀/s。楊福增等［19］基于Centernet 提出了1 種密集場景下多蘋果目標的快速識別方法，通過設計Tiny Hourglass-24 輕量級骨干網絡，同時優(yōu)化殘差模塊以提高目標識別速度，并且最終模型的平均精度可達98.90%。曾乾等［20］提出一種基于SSD 的循環(huán)融合特征增強目標檢測模型，使用K-means 算法改進先驗框的尺寸以及引入DIoU-NMS 和ECA 注意力機制，以此來解決復雜背景下青瓜目標識別率低、定位效果不佳等問題，改進后的SSD 模型的平均精度相比于原模型提高了4.61%。但上述的改進方法存在一些不足，如在提高模型精度的同時增加了模型的計算量，使得模型的訓練速度和預測速度變慢，或者在壓縮模型的同時降低模型的精度，難以做到模型的規(guī)模和精度平衡。

另一方面，需要提高模型本身的性能，提高模型對果實的定位精度。郜統(tǒng)哲等［21］使用YOLOv3 對同發(fā)育期的楊梅進行識別，該模型對雌花開花、幼果和成熟果實的識別準確率分別可達90.91%、90.79% 和90.83%。黃彤鑌等［22］提出1 種基于YOLOv5s 的改進模型，該模型通過引入CBAM 注意力模塊來提高網絡的特征提取能力，從而降低遮擋目標和小目標的漏檢率，結果表明該模型的平均精度可達91.3%，單張圖片的檢測時間為16.7 ms。趙文清等［23］針對視覺模型識別小目標精度低的問題，基于CornerNet提出隔級融合特征金字塔的方法來提高小目標平均準確率，最終其精度相比于原模型有著較大的提升。

上文所述模型中，YOLOv3 的參數(shù)量較大，不適用于實時檢測，改進YOLOv5s 模型則引入了額外的參數(shù)量，而CornerNet 不適用于遮擋目標的檢測。

目前，針對李的目標檢測研究較少，并且由于李具有自然環(huán)境復雜、枝葉遮擋等特點，使得現(xiàn)有模型很容易出現(xiàn)漏檢、誤檢等問題，不能滿足實時精確的檢測。針對以上問題，本研究基于YOLOv5s 提出了一個能在復雜的果園環(huán)境下識別李的目標檢測方法，旨在輔助果農檢測李果實以及為果園采摘機器人等智能產品提供算法依據(jù)。

1 材料與方法

1.1 數(shù)據(jù)集采集

數(shù)據(jù)集采集于四川省成都市的李產業(yè)園區(qū)，采集設備使用佳能800D 單反相機和榮耀V9 智能手機。采集到的原始圖像共621 張，其中使用單反相機采集到的圖像包括6 000 像素×4 000 像素和3 984像素×2 656 像素2 種分辨率，分別有429 和89張，使用手機相機采集到103 張圖像，分辨率為3 968像素×2 976 像素。另外，為增加數(shù)據(jù)豐富性，從網絡上爬取各種分辨率的圖像79張，共700張圖像。

1.2 數(shù)據(jù)集構建

為了增強模型的魯棒性以及數(shù)據(jù)的豐富性，同時為了防止由于數(shù)據(jù)過少發(fā)生過擬合，本研究對數(shù)據(jù)集進行數(shù)據(jù)增強處理，包括隨機亮度調節(jié)、隨機對比度調節(jié)、隨機飽和度調節(jié)、加入高斯噪聲、水平翻轉、運動模糊和旋轉15°［24-27］。每張圖片生成7 張新圖片，最終得到5 600 張圖片。使用Labeling 工具標注每張圖片中的李果實目標區(qū)域（圖1），遮擋目標只標注其未被遮擋部分，然后按照8︰1︰1 的比例劃分為訓練集（4 480 張）、驗證集（560 張）、測試集（560 張），每個數(shù)據(jù)集中都包含每種分辨率的圖像。

1.3 檢測模型

本研究以YOLOv5s 為基礎進行了改進。

1）Focus-Maxpool（FM）模塊。使用常規(guī)3×3 卷積對特征圖進行下采樣，不僅反向傳播的參數(shù)大，而且會損失特征圖信息。在果園的大視場條件下，部分李目標就顯得非常小，使用常規(guī)卷積對其進行下采樣時，會損失這些小目標和高遮擋目標的特征信息，從而造成漏檢。在YOLOv5 中，將Focus 放在網絡的輸入位置，用于將輸入的特征圖進行2 倍下采樣。其原理如圖2 所示，F(xiàn)ocus 在下采樣的過程中不會丟失任何特征信息。

雖然Focus 模塊在下采樣過程中不會丟失信息，但下采樣之后特征圖通道數(shù)會變?yōu)樵瓉淼? 倍，因此，在Focus 模塊之后一般會連接1 個卷積用于降維。YOLOv5 輸入端的Focus 模塊之后連接的是1個3×3 的卷積層，若是在模型中大量使用此模塊，將會極大程度地增加模型的參數(shù)量和計算量。

為了彌補常規(guī)卷積在下采樣時出現(xiàn)信息丟失的缺點，以及解決Focus 模塊參數(shù)量過大的問題，我們基于Focus 模塊提出了一種新的Focus-Maxpool 結構（圖3）。

該模塊由Focus 模塊、1×1 的常規(guī)卷積和1 個最大池化層組成，其中卷積層用于壓縮特征圖的通道數(shù)。YOLOv5 模型中的下采樣卷積的感受野是3×3，而Focus 模塊的感受野機制相當于一個全局感受野，它對目標具體特征的觀察能力有限，因此在后面連接一個感受野為3×3 的最大池化層用于優(yōu)化Focus模塊的感受野，該池化層不改變特征圖大小。該模塊在進行反向傳播計算時，只會增加用于降維的卷積層的參數(shù)，而此卷積層的卷積核為1×1，因此，F(xiàn)M結構的參數(shù)量僅是使用3×3 卷積下采樣時的4/9。

2）改進YOLOv5s 網絡結構。圖4 是改進之后的YOLOv5s 的主干網絡結構，使用新的FM 模塊替換主干網絡中的下采樣卷積層。由于SPP 模塊為特征圖提供了混合大小的感受野，因此，SPP 模塊前的下采樣卷積層直接替換為Focus 模塊，該層的降維卷積層仍使用1×1 的卷積核，以降低參數(shù)量。

圖5 是改進YOLOv5s 的結構圖。之所以只替換主干網絡中的下采樣卷積，是因為FM 模塊雖然參數(shù)量少，但在正向傳播時的計算量較大，效率也比常規(guī)卷積稍慢，因此在網絡中也不宜大量使用該模塊。主干網絡負責對輸入的圖像的主要特征的提取，并且主干網絡的結構深度較深，更容易丟失信息。頸部網絡中“自底向頂”的金字塔的網絡結構較淺，使用常規(guī)卷積進行下采樣也不會丟失太多信息。因此，只替換主干網絡中的下采樣卷積，以保證主干網絡盡可能地減少信息丟失。

3）損失函數(shù)。YOLOv5s 的損失函數(shù)主要包含定位損失、分類損失和置信度損失。定位損失表示模型預測框的位置與真實框之間的差異，分類損失表示預測類別的概率與真實類別的概率的差異，置信度損失則是表示預測框位置有目標的概率。YO?LOv5s 的損失組成為：

式（1）中，l 表示總損失，l loc 表示位置損失，lcls 表示分類損失，lconf 表示置信度損失，a、b 和c 則是權重常數(shù)。lloc 的計算方式如式（2）所示，本研究為了降低模型計算的復雜度，使用GIOU 損失（公式中用Giou表示）。GIOU 的計算公式如式（3）所示：

果園環(huán)境中粘連目標和高遮擋目標比較多，若是使用常規(guī)的交叉熵計算損失，模型會將權重集中在易分類的目標上，而容易忽略圖像中不明顯的遮擋目標和小目標。為了解決這種正、負樣本不平衡的問題，引入焦點損失（focal loss）［28］替換原本的分類損失。focal loss 的計算公式為：

其中，F(xiàn)L表示focal loss，y 表示樣本標簽的數(shù)量。pt 表示目標類別的概率，α 是平衡正、負樣本權重的系數(shù)，α 的取值范圍一般是0 lt; α lt; 1。γ 為難分類樣本的調制參數(shù)，并且γ gt; 0。

pt 作為目標類別的概率，可直接反映樣本分類的難易程度，pt 越大，樣本越易分類，反之，pt 越小，樣本越難分類。而γ 則是根據(jù)pt 的值來調整樣本在總損失中所占的比例，γ 越大，易分類樣本的損失就越低，難分類樣本的權重就增大了，因此，模型在訓練時更容易將權重集中在難分類的樣本上。

focal loss 容易受噪聲影響，當數(shù)據(jù)集中存在噪聲或者錯誤標簽的時候，focal loss 會將權重集中在這些錯誤的樣本上，并且會抑制較易分類樣本的損失，從而提高噪音在總損失中的比例。因此，直接用focalloss 替換原分類損失可能會影響訓練效果。為了降低噪音對focal loss 的干擾，使用focal loss 和交叉熵損失的加權損失作為模型的分類損失，其計算公式為：

式（5）～（6），j 和k 分別是focal loss 和交叉熵損失的權重系數(shù)。CE表示交叉熵損失，t 是真實值，a 是預測值。在本試驗中，j 和k 的值皆取0.5。交叉熵函數(shù)可以讓模型更容易識別目標是否為噪聲，從而降低噪聲對focal loss 的干擾。

1.4 模型訓練與測試

1）試驗平臺。本研究采用Windows10 操作系統(tǒng)，基于Python 3.7.4 和Pytorch 1.9.1 搭建深度學習框架來完成網絡模型的訓練與測試。使用的計算機配置為Intel Core i9-10900K 處理器，主頻3.70 GHz，運行內存為128 GB，GPU 使用NVIDIA QuadroRTX 5000，顯存為16 GB，使用的CUDA 版本是10.2，cudnn 版本為7.6.5。

2）模型訓練。本研究通過對所有圖像中的目標的真實框進行K-means 聚類得到先驗框。本研究所使用的先驗框為［8，10］、［12，17］、［18，23］、［22，35］、［36，30］、［31，48］，［42，60］、［57，83］、［121，137］。模型訓練時，將所有訓練集圖像的分辨率統(tǒng)一轉換為608像素×608像素。優(yōu)化器使用SGD優(yōu)化器。為了更有效利用顯存，訓練時使用混合精度訓練模型，并且將批量（batch-size）設置為32。權值的衰減速率（weight-decay）設為0.000 5，動量（mo?mentum）設為0.937。模型的總epoch 數(shù)設為100，并自動保存模型識別精度最高的權重。訓練時初始學習率為0.01，并使用余弦退火法來調整每個epoch 的學習率。為了加快模型的收斂速度，先讓模型在PASCAL VOC（http：//host.robots.ox.ac.uk/pascal/VOC/index.html）數(shù)據(jù)集上訓練并得到預訓練模型，再將預訓練模型用于本研究數(shù)據(jù)集的訓練。

3）評價指標。采用推理速度作為模型檢測速度的評判指標，推理速度代表每秒可識別的圖像數(shù)量，幀/s。采用平均精度（average precision，AP；公式中用PA表示）作為模型識別精度的評判指標。平均精度與模型的準確率（precision，P）和召回率有關（re?call，R）有關：

式（8）～（9）中，TP為正確檢測為李的數(shù)量，F(xiàn)P表示被錯誤劃分為李的數(shù)量，即誤檢數(shù)量，F(xiàn)N則為圖像中被漏檢的目標的數(shù)量。

2 結果與分析

2.1 YOLOv5s 模型改進前后的性能對比

1）整體效果對比。分別將YOLOv5s 模型和改進YOLOv5s 模型在同一測試集上進行測試（表1）。表1 中小目標對應的是測試集中分辨率小于原圖像分辨率0.5% 的李果實目標，小目標在整個測試集中占比為65.63%。YOLOv5s 模型在測試集上所有目標的平均精度、召回率和準確率分別為94.72%、84.56% 和96.29%，其中小目標的平均精度、召回率和準確率分別85.22%、74.48% 和91.78%。改進的YOLOv5s 模型在測試集上所有目標的平均精度、召回率和準確率相比原模型分別提高了2.84、9.53 和1.66 百分點；對于小目標，則分別提高了6.79、14.33和3.75 百分點。由此可以看出，改進YOLOv5s 模型的主干網絡由于保留了更多的細節(jié)信息，使得模型能夠識別出更多的小目標，從而使得模型的性能在整體上有了提高。并且新的分類損失函數(shù)可以讓模型更準確地預測出目標的位置，對模型的精度做出了一定的貢獻。主干網絡中添加的FM 結構的參數(shù)量比常規(guī)3×3 卷積少，因此，改進后的模型的大小比原模型降低3.3 MB。由于FM 結構中需要對特征圖進行切片、降維和池化操作，因此，F(xiàn)M 結構的工作效率比常規(guī)卷積稍低，最終推理速度下降2.79 幀/s，而這對模型的實時檢測基本上沒有影響。

圖6 是YOLOv5s 模型改進前后對測試集中李的檢測效果。由圖6 可知，改進后的模型對李的識別置信度普遍比原YOLOv5s 模型高。相比圖6B，圖6A中YOLOv5s 模型對高遮擋的李目標的檢測均有漏檢，而圖6B 中改進YOLOv5s 模型可以將被樹葉遮擋和被果實遮擋的目標全部檢出。

YOLOv5s 模型改進前后的損失圖像如圖7 所示。由此也能看出改進后的模型在替換了下采樣結構和分類損失后，訓練效果要比原模型好，并且收斂過程穩(wěn)定。

2）不同密度情況下的檢測結果。為了進一步驗證改進YOLOv5s 模型對不同密度情況下李的檢測都有著較高精度，本研究對測試集中的圖片根據(jù)目標密度進行分類。其中，單位距離間像素大于40 的圖片被歸類于高密度。由于數(shù)據(jù)集中有些圖片是大視場下的場景，這些圖片中的目標數(shù)較多，但目標成簇分布，每個簇中目標較為密集，但簇之間的距離較遠，直接計算密度會導致密度的值偏低，因此，本研究直接將圖片中目標個數(shù)大于20 的也歸類于高密度。而單位距離間像素小于等于20 且大于等于10的圖片被歸類于中密度，單位距離間像素小于10 的圖片被歸類于低密度。最終高密度的圖片有205 張，中密度的圖片有188 張，低密度的圖片有167 張。從表2 可知，改進后模型對不同密度下的檢測結果皆優(yōu)于原模型，改進后模型的性能優(yōu)勢主要表現(xiàn)在召回率上，在高密度、中密度和低密度情況下，改進后模型的召回率比原模型分別提高10.46、8.36 和7.57 百分點。

對比圖8 的檢測結果可以看到，改進后的模型計算出的目標置信度普遍要高于原模型，并且原模型漏檢一些遮擋度較高的目標，而改進模型則識別出了所有目標。改進后的模型可以在果實比較密集且樹葉比較密集的情況下有效識別出目標，且有較高的置信度，說明改進后的模型有著較強的對遮擋目標的識別能力。

2.2 消融試驗

表3 中試驗1 是將YOLOv5s 模型的主干網絡中的下采樣卷積替換為FM 結構的測試結果，對比表1中原模型的測試結果可知，試驗1 的平均精度、召回率和準確率分別提升了2.71、9.34 和1.53 百分點。使用FM 結構作下采樣可以保留更多的細節(jié)信息，避免特征圖在多次下采樣后丟失小目標和遮擋目標的特征信息，從而降低了整體的漏檢率。試驗2 是在改進模型的基礎上將原分類損失替換為focal loss，從表3可知，試驗2 的召回率相對試驗1 降低3.02 百分點，這是因為focal loss 容易受噪音影響，而果園中環(huán)境背景較為復雜，可能會出現(xiàn)較多的干擾。因此，試驗3 在試驗2 的基礎上，將focal loss 與交叉熵損失函數(shù)相結合，取二者的加權值作為模型的分類損失，而最終的平均精度、召回率和準確率相比試驗1 分別提升0.13、0.19 和0.13 百分點，加權損失函數(shù)可以使模型的性能在整體上有一個小幅度的提升。

2.3 改進YOLOv5s 與其他模型的性能對比試驗

為了進一步證明改進YOLOv5s 模型的有效性，本研究將同樣的數(shù)據(jù)集分別在Faster-RCNN、YO?LOv4、SSD 和Centernet 上進行了訓練。表4 所示是各個模型的性能評估結果。對比表1 中的原YO?LOv5s 模型的性能可以看出，雖然YOLOv5s 的召回率不如Faster-RCNN，準確率不如SSD 和Centernet，但其平均精度高于其他4 個模型，且模型大小比其他模型小，推理速度也最快，說明其綜合性能最好。這是因為YOLOv5s 有著較優(yōu)秀的結構設計和訓練策略，使其在保持較好性能的同時，也能有較高的推理速度，這也表明了本研究選取YOLOv5s 模型的合理性。

對于改進YOLOv5s 模型，其平均精度比Faster-RCNN、YOLOv4、SSD 和Centernet 模型分別高13.69、8.77、6.77 和6.02 百分點。其中，F(xiàn)aster-RCNN 在處理密集目標時會出現(xiàn)重疊區(qū)域較多的情況，這會使得檢測結果不準確，從而導致準確率低。對于YOLOv4，其頸部網絡中采用的都是普通的卷積操作，對來自不同層的特征信息的融合能力有限，而YOLOv5s 的頸部網絡中，采用的CSP 結構，擁有更強的網絡特征融合的能力，能夠提取更多淺層的關于小目標的特征信息。SSD 和Centernet 雖然有著較高的準確率和平均精度，但它們的召回率較低，對小目標和遮擋目標的識別能力有限。Centernet 則是因為需要預測中心點來預測目標位置，在處理遮擋目標和小目標時會丟失細節(jié)信息，從而導致召回率較低。綜上所述，改進YOLOv5s 模型的綜合性能最好，其模型大小僅為SSD 的1/4，推理速度也比Cen?ternet 高35.84 幀/s，可以快速有效地識別出李。

圖9 是上述5 個模型對測試集中不同尺寸的目標的識別效果。從圖9A，B 可以看出，改進YO?LOv5s 模型和Faster-RCNN 能夠準確識別圖片中的每個目標，但Faster-RCNN 的模型較大，且速度較慢。如圖9C，D 所示，YOLOv4 模型和SSD 模型都將紫色瓶子誤檢為了李。圖9E 圖中Centernet 模型漏檢了圖像中被遮擋的目標。由此可見，改進后模型對遮擋目標有較高的檢出率和識別精度。

對比圖9F～J，可以看到，相比于其他模型，改進YOLOv5s 模型可以檢測出更多的目標。Faster-RCNN、SSD 和Centernet 模型漏檢了許多尺寸較小，遮擋度較高的目標，而YOLOv4 可以檢測出較多的目標，但還是漏檢了一些被枝葉遮擋的目標。在大視場情況下，果實目標就會顯得較小，一些被遮擋的目標則變得更加不明顯，而改進YOLOv5s 中的FM模塊可以讓模型在訓練時更多地保留小目標信息和被遮擋目標的信息，從而提升模型對這些較難識別的目標的檢測能力。

綜上所述，改進YOLOv5s 模型不僅能夠對較明顯的目標有著高精度和高檢出率，并且也能精確識別出尺寸較小和遮擋度較高的目標的位置。本研究提出的改進YOLOv5s 模型在能保證比較高的精度的情況下，又不會使模型在推理過程中引入太多的參數(shù)而影響推理速度，改進后YOLOv5s 模型規(guī)模較原模型有所降低，所需的算力資源較少，適合部署于嵌入式設備。

3 討論

本研究基于YOLOv5s 模型提出一種果園自然環(huán)境下李果實目標檢測模型，制作了自然場景下的李果實數(shù)據(jù)集用于模型的訓練和測試。試驗結果表明，改進YOLOv5s 模型識別李果實的平均精度提高到97.56%，識別小目標的平均精度達到92.01%，其模型大小只有23.8 MB，在GPU 上的推理速度為91.37 幀/s，可以滿足于嵌入式設備的部署條件。

本研究使用Focus-Maxpool 模塊替換主干網絡中的下采樣卷積，使模型在下采樣時能夠保留更多高遮擋目標和小目標的特征信息，使用focal loss 和交叉熵函數(shù)的加權損失作為模型的分類損失，提升模型對密集目標的識別能力。本研究還設計不同的試驗來對比模型改進前后的性能，并且將改進后的模型與YOLOv4、Faster-RCNN、SSD 和Centernet 的作對比，說明改進后模型的優(yōu)越性。在以后的研究中，可將該模型進一步改良，豐富數(shù)據(jù)集，實現(xiàn)模型對李子成熟度和病蟲害的識別。