劉忠意, 魏登峰, 李 萌, 周紹發(fā), 魯 力, 董雨雪

(長(zhǎng)江大學(xué)計(jì)算機(jī)科學(xué)學(xué)院,湖北荊州 434000)

橙子是中國(guó)高產(chǎn)量的水果之一,具有巨大的經(jīng)濟(jì)效應(yīng)。然而,隨著人工采摘成本不斷增加,傳統(tǒng)水果采摘的方式已經(jīng)不太適用,開(kāi)發(fā)自動(dòng)化水果采摘機(jī)器人是當(dāng)前的必然趨勢(shì)[1]。如何精確識(shí)別目標(biāo)果實(shí)是當(dāng)前研發(fā)水果采摘機(jī)器人的重要難題。傳統(tǒng)計(jì)算機(jī)視覺(jué)圖像識(shí)別方法主要依靠形狀、紋理和色差單個(gè)特征或多個(gè)特征的組合來(lái)識(shí)別?；趥鹘y(tǒng)方法,Hussin等使用圓形霍夫變換方法檢測(cè)芒果類(lèi)物體[2];Payne等采用RGB以及基于相鄰像素可變性的紋理分割,從背景中分割芒果[3];孫建桐等提出一種基于Canny邊緣檢測(cè)番茄分割方法[4]。這些方法只能在簡(jiǎn)單的場(chǎng)景中識(shí)別單一類(lèi)型的水果,在復(fù)雜的自然環(huán)境下,它們很難適應(yīng)枝葉遮擋、相鄰果實(shí)重疊等情況,無(wú)法準(zhǔn)確識(shí)別目標(biāo)水果。當(dāng)前基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法已廣泛應(yīng)用于水果檢測(cè)中。與傳統(tǒng)的圖像檢測(cè)方法相比,深度學(xué)習(xí)是以數(shù)據(jù)為驅(qū)動(dòng),以大量數(shù)據(jù)為基礎(chǔ)進(jìn)行自我學(xué)習(xí)的方法。在深度學(xué)習(xí)方法中,Parvathi等使用Faster R-CNN網(wǎng)絡(luò)用于檢測(cè)復(fù)雜背景下椰子的2個(gè)重要成熟階段[5];Tian等將改進(jìn)YOLO v3網(wǎng)絡(luò)用于檢測(cè)不同階段的蘋(píng)果[6];Chen等將改進(jìn)YOLO v4網(wǎng)絡(luò)用于檢測(cè)密集狀態(tài)橘子[7]。這些方法雖然能夠?qū)崿F(xiàn)準(zhǔn)確的檢測(cè),但使用網(wǎng)絡(luò)結(jié)構(gòu)太大,計(jì)算復(fù)雜度高,不適合部署在用于檢測(cè)的嵌入式設(shè)備中。為了能夠在復(fù)雜自然環(huán)境下實(shí)現(xiàn)對(duì)橙子的精準(zhǔn)檢測(cè),本研究以YOLO v5網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行改進(jìn),能夠在保證較高準(zhǔn)確度的情況下,同時(shí)最大限度地降低復(fù)雜度。改進(jìn)的網(wǎng)絡(luò)首先在主干結(jié)構(gòu)中使用RepVGG模塊以提高特征提取能力;隨后應(yīng)用鬼影混洗卷積降低模型參數(shù)量;然后加入ECA注意力的模塊準(zhǔn)確定位目標(biāo)信息;最后改進(jìn)損失函數(shù),加快邊界框的回歸。

1 材料與方法

1.1 數(shù)據(jù)來(lái)源

本研究使用數(shù)碼相機(jī)和智能手機(jī)采集橙子圖片,拍攝時(shí)間為2022年的9—12月,拍攝地點(diǎn)為中國(guó)橙子密集種植區(qū)域,分別為湖北省宜昌市和江西省贛州市,拍攝時(shí)按照不同距離和多種不同角度進(jìn)行拍攝,共采集1 500多張未經(jīng)任何處理的橙子圖片,圖片格式為JPG。為了增加樣本數(shù)量,又通過(guò)網(wǎng)絡(luò)獲取300多張自然環(huán)境下的橙子圖片。在收集的圖片中,包括不同果實(shí)數(shù)量、不同生長(zhǎng)階段、不同背景、不同遮擋程度的圖片。每張圖片都包含橙子目標(biāo)水果(圖1)。

1.2 數(shù)據(jù)預(yù)處理

為了增強(qiáng)模型泛化能力,防止過(guò)擬合,對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。增強(qiáng)方式包括對(duì)圖片進(jìn)行等比例縮放、隨機(jī)平移、使用不同亮度和垂直翻轉(zhuǎn)等。數(shù)據(jù)增強(qiáng)后得到3 661張橙子圖片,使用LabelImg標(biāo)注工具對(duì)圖片中橙子目標(biāo)進(jìn)行標(biāo)注,在人工標(biāo)注圖片過(guò)程中,將所有完全暴露橙子的目標(biāo)進(jìn)行標(biāo)注,對(duì)遮擋或有果實(shí)重疊的目標(biāo)進(jìn)行部分標(biāo)注。圖像中枝葉遮擋程度超過(guò)80%沒(méi)有標(biāo)注,2個(gè)果實(shí)重疊程度超過(guò)80%采用同一矩形框進(jìn)行標(biāo)注。再將標(biāo)注好的圖片進(jìn)行劃分,分成訓(xùn)練集2 439張、驗(yàn)證集611張、測(cè)試集611張(圖2)。

1.3 方法

1.3.1 YOLO v5網(wǎng)絡(luò)結(jié)構(gòu) YOLO v5網(wǎng)絡(luò)結(jié)構(gòu)主要由主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、預(yù)測(cè)頭3個(gè)部分組成。

主干網(wǎng)絡(luò)主要由C3、Conv、SPPF和其他特征模塊組成,主要作用是提取輸入圖像的特征信息。

頸部網(wǎng)絡(luò)主要由FPN(feature pyramid network)和PAN(path augmentation network)2個(gè)部分組成,其中FPN部分是將Backbone輸出的多個(gè)特征層由上到下通過(guò)橫向連接的方式進(jìn)行融合,增加低分辨特征的語(yǔ)義信息;PAN是對(duì)FPN結(jié)構(gòu)的補(bǔ)充,將低分辨特征與高分辨特征進(jìn)一步融合,提高目標(biāo)定位方面的能力,從而提高檢測(cè)的準(zhǔn)確率。

預(yù)測(cè)頭主要由3個(gè)用于檢測(cè)不同尺寸目標(biāo)的檢測(cè)層組成,每個(gè)檢測(cè)層對(duì)輸入的圖像特征進(jìn)行預(yù)測(cè),生成目標(biāo)邊界框并判斷類(lèi)別。YOLO v5總體結(jié)構(gòu)見(jiàn)圖3。

1.3.2 模型改進(jìn)

1.3.2.1 主干網(wǎng)絡(luò)的改進(jìn) 原始的YOLO v5模型采用CSPDarkNet53作為主干特征提取網(wǎng)絡(luò)[8],在非密集和不存在遮擋目標(biāo)的情況下對(duì)特征提取能力表現(xiàn)優(yōu)異,但對(duì)于密集且存在果實(shí)重疊和枝葉遮擋的復(fù)雜自然環(huán)境下,模型對(duì)橙子特征的提取能力有限。RepVGG是一個(gè)簡(jiǎn)單且計(jì)算效率高的卷積神經(jīng)網(wǎng)絡(luò)模塊[9]。RepVGG模塊主要由3×3卷積分支、1×1卷積殘差分支和恒等連接殘差分支組成。該模塊在訓(xùn)練和推理階段使用不同的網(wǎng)絡(luò)結(jié)構(gòu)。模型在訓(xùn)練階段更加關(guān)注模型精度,其采用3×3卷積作為主分支結(jié)構(gòu),同時(shí)在3×3主分支的基礎(chǔ)上引入1×1卷積的殘差分支和恒等映射殘差分支。多分支結(jié)構(gòu)的使用給網(wǎng)絡(luò)增加多條梯度流動(dòng)的路徑,可以提供更多有效的特征信息,增加模型的表征能力。另外,多分支的殘差結(jié)構(gòu)也能保證不會(huì)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)因模型加深而出現(xiàn)梯度退化和消失的問(wèn)題。在推理階段,模型更加關(guān)注速度,通過(guò)使用重參數(shù)融合的策略將所有網(wǎng)絡(luò)層等價(jià)轉(zhuǎn)化為以3×3卷積為主分支的網(wǎng)絡(luò)結(jié)構(gòu),保證模型擁有強(qiáng)大的特征提取能力,且能夠?qū)崿F(xiàn)高效的推理(圖4)。

本研究使用RepVGG模塊來(lái)替代CSPDarkNet53主干網(wǎng)絡(luò)中的C3模塊,加強(qiáng)主干網(wǎng)絡(luò)對(duì)這些難以獲取的目標(biāo)進(jìn)行特征獲取。

1.3.2.2 鬼影混洗卷積改進(jìn) 在網(wǎng)絡(luò)推理過(guò)程中,模型的運(yùn)行速度和檢測(cè)精度同等重要。相對(duì)于傳統(tǒng)卷積操作,采用深度可分離卷積可明顯降低模型運(yùn)算參數(shù)量[10]。但對(duì)于多個(gè)屬性的提取和融合,深度可分離卷積并不是很強(qiáng)。為了平衡二者的作用,引入鬼影混洗卷積[11],它能夠在保證精度的前提下,降低模型的運(yùn)算參數(shù)量。

由圖5可知鬼影混洗卷積的原理：先將輸入通道數(shù)為C1的特征圖通過(guò)傳統(tǒng)標(biāo)準(zhǔn)卷積得到輸出通道數(shù)一半,即C2/2通道的特征圖,然后經(jīng)過(guò)深度可分離卷積得到另一個(gè)通道數(shù)相同的特征圖,把2個(gè)特征圖在通道數(shù)進(jìn)行拼接,最后通過(guò)通道混洗操作將產(chǎn)生的信息滲透到特征圖的每一個(gè)部分,得到最終的特征圖[12]。

輸入的圖像在主干網(wǎng)絡(luò)提取特征過(guò)程中空間信息逐步向通道傳輸,且每次特征圖的寬度和高度壓縮和通道擴(kuò)展都會(huì)導(dǎo)致語(yǔ)義信息部分丟失,而在頸部網(wǎng)絡(luò)階段空間信息基本完全轉(zhuǎn)化為通道信息,此時(shí)通道維度達(dá)到最大,寬度維度達(dá)到最小,不需要進(jìn)行空間信息轉(zhuǎn)換。所以,本研究在網(wǎng)絡(luò)的頸部網(wǎng)絡(luò)階段使用鬼影混洗卷積替代標(biāo)準(zhǔn)卷積,能夠避免丟失特征信息。

1.3.2.3 ECA注意力改進(jìn) 注意力機(jī)制是一種仿生物視覺(jué)機(jī)制。通過(guò)快速掃描全局圖像,篩選出感興趣的區(qū)域,投入更多的注意力資源,并抑制其他無(wú)用信息,從而提高視覺(jué)信息處理的效率與準(zhǔn)確性[13]。

橙子在檢測(cè)過(guò)程中很容易受到背景環(huán)境等因素的影響,導(dǎo)致原始的YOLO v5網(wǎng)絡(luò)在推理過(guò)程中容易丟失目標(biāo)的表征信息,從而導(dǎo)致檢測(cè)精度差。本研究將ECA注意力嵌入到模型的輸出端,增強(qiáng)網(wǎng)絡(luò)對(duì)橙子的關(guān)注度,降低自然背景等其他因素的影響,提高網(wǎng)絡(luò)的識(shí)別精度[14]。

ECA注意力和SE注意力見(jiàn)圖6,其中G表示全局平均池化,σ表示激活函數(shù),o表示逐元素相乘,r表示通道壓縮率。ECA注意力在SE注意力的基礎(chǔ)上,去掉SE注意力中的全連接層,因?yàn)?個(gè)全連接層直接使用進(jìn)行通道降維,會(huì)影響通道注意力的準(zhǔn)確性[15]。ECA注意力在全局平均池化過(guò)程后使用一個(gè)可以權(quán)重共享的卷積核進(jìn)行特征學(xué)習(xí),在降低模型計(jì)算復(fù)雜度的同時(shí),可以避免通道維度縮減對(duì)預(yù)測(cè)網(wǎng)絡(luò)的準(zhǔn)確性產(chǎn)生影響。

圖6-b中的K表示跨通道信息交互作用的覆蓋范圍。K和通道C之間的關(guān)系見(jiàn)公式(1)。

(1)

1.3.2.4 EIOU損失函數(shù)改進(jìn) 在自然環(huán)境中檢測(cè)尺度較小的橙子目標(biāo)時(shí),預(yù)測(cè)框的少量偏移和縮放會(huì)對(duì)檢測(cè)精度產(chǎn)生重大影響。原始的YOLO v5網(wǎng)絡(luò)采用CIOU作為位置回歸損失函數(shù),其計(jì)算公式為

(2)

式中：IOU(intersection over union)表示模型預(yù)測(cè)的目標(biāo)框和實(shí)際真實(shí)目標(biāo)框重疊區(qū)域與并集區(qū)域的比值;p2(b,bgt) 表示模型預(yù)測(cè)目標(biāo)框和實(shí)際真實(shí)框的中心點(diǎn)距離;c表示能同時(shí)包含模型預(yù)測(cè)目標(biāo)框和實(shí)際真實(shí)框最小閉包區(qū)域的對(duì)角線距離;a表示平衡比例的參數(shù);v表示模型預(yù)測(cè)的目標(biāo)框和實(shí)際真實(shí)框的長(zhǎng)寬比的一致性。其中,a和v的公式分別為

(3)

(4)

CIOU的缺點(diǎn)是預(yù)測(cè)框和真實(shí)框的寬和高呈現(xiàn)線性比例時(shí), 會(huì)導(dǎo)致預(yù)測(cè)框的寬和高不能同時(shí)增大或減少,這樣會(huì)阻礙網(wǎng)絡(luò)快速和準(zhǔn)確收斂。EIOU改進(jìn)了CIOU的缺點(diǎn),將反映縱橫比之間差異的影響因子v拆分為預(yù)測(cè)的寬高與最小外接框?qū)捀叩牟钪?從而可以更快地使目標(biāo)框與預(yù)測(cè)框收斂,并提高邊界框的回歸精度[16]。EIOU的公式為

(5)

式中：p2(w,wgt)、p2(h,hgt)分別表示預(yù)測(cè)框的寬和高與真實(shí)框的中心點(diǎn)的寬和高的距離;c、Cw、Ch分別表示真實(shí)框和預(yù)測(cè)框最小外接矩形的對(duì)角線、邊寬、邊長(zhǎng)。

CIOU和EIOU損失函數(shù)在預(yù)測(cè)框回歸過(guò)程的迭代示意見(jiàn)圖7?？梢钥闯鯡IOU在回歸過(guò)程中解決了CIOU的寬和高不能同時(shí)增大或減少的問(wèn)題。

1.3.2.5 改進(jìn)后的整體網(wǎng)絡(luò)結(jié)構(gòu) 改進(jìn)后整體的網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)表1。參數(shù)設(shè)置是當(dāng)前層模塊所需要的參數(shù)信息,參數(shù)設(shè)置包括輸入通道數(shù)、輸出通道數(shù)、卷積核大小、步長(zhǎng)信息以及填充大小。

表1 改進(jìn)的YOLO v5網(wǎng)絡(luò)結(jié)構(gòu)

2 結(jié)果與分析

2.1 試驗(yàn)環(huán)境

試驗(yàn)的搭建、訓(xùn)練以及測(cè)試都是使用同一平臺(tái)。試驗(yàn)環(huán)境：CPU為Intel? Xeon? Platinum 8358P CPU @ 2.60 GHz,運(yùn)行內(nèi)存為80 G,GPU為GeForce RTX 3080, 操作系統(tǒng)為L(zhǎng)inux, 深度學(xué)習(xí)框架為PyTorch,CUDA版本為11.1。試驗(yàn)時(shí)間為2022年12月至2023年2月,試驗(yàn)地點(diǎn)為長(zhǎng)江大學(xué)計(jì)算機(jī)科學(xué)學(xué)院。

2.2 超參數(shù)設(shè)置

本研究在改進(jìn)的YOLO v5試驗(yàn)中使用表2的超參數(shù)。

表2 改進(jìn)的YOLO v5模型超參數(shù)

2.3 評(píng)估指標(biāo)

本研究采用精準(zhǔn)率(precision,P)、召回率(recall,R)、平均精度(mean average precision,mAP)、計(jì)算量(GFLOPs)和參數(shù)量(params)作為評(píng)價(jià)指標(biāo)。其中,平均精度表示loU閾值為0.5時(shí)的平均檢測(cè)精度,GFLOPs表示10億次/s的浮點(diǎn)運(yùn)算數(shù)。精準(zhǔn)率、召回率、平均精度的具體公式分別為

(6)

(7)

(8)

(9)

式中：TP(true postives)表示網(wǎng)絡(luò)預(yù)測(cè)為正類(lèi)、實(shí)際也為正類(lèi)的樣本數(shù)量;FP(false postives)表示網(wǎng)絡(luò)預(yù)測(cè)為正類(lèi)、實(shí)際為負(fù)類(lèi)的樣本數(shù)量;FN(false negatives)表示網(wǎng)絡(luò)預(yù)測(cè)為負(fù)類(lèi)、實(shí)際為正類(lèi)的樣本數(shù)量。

2.4 消融試驗(yàn)

為了更好地驗(yàn)證本研究所提出的改進(jìn)方法具有有效性,對(duì)所提出的改進(jìn)方法進(jìn)行一系列的消融試驗(yàn),在試驗(yàn)中使用相同的數(shù)據(jù)集進(jìn)行測(cè)試,試驗(yàn)結(jié)果見(jiàn)表3。

表3 消融試驗(yàn)

由表3可知,在加入每一種改進(jìn)方法后,網(wǎng)絡(luò)平均精度都會(huì)有一定提升,表明本研究改進(jìn)方法有效。

2.5 對(duì)比試驗(yàn)

2.5.1 注意力對(duì)比試驗(yàn) 為了驗(yàn)證ECA注意力機(jī)制的有效性,本研究將ECA注意力與其他熱門(mén)注意力模塊進(jìn)行對(duì)比試驗(yàn),將ECA注意力模塊與BoTNet(bottleneck transformers)注意力模塊、CBAM(convolutional block attention module)注意力模塊、SimAM(simple attention module)注意力模塊進(jìn)行對(duì)比,發(fā)現(xiàn)ECA注意力的檢測(cè)精度更高(表4)。

表4 不同注意力對(duì)比試驗(yàn)結(jié)果

2.5.2 不同模型對(duì)比試驗(yàn) 為了體現(xiàn)所提出網(wǎng)絡(luò)的優(yōu)越性,本研究選取目前熱門(mén)的深度學(xué)習(xí)目標(biāo)檢測(cè)算法作為對(duì)比,選用的對(duì)比網(wǎng)絡(luò)分別是CenterNet、YOLO v3、YOLO v4。試驗(yàn)中采取相同數(shù)據(jù)集劃分策略(表5)。

表5 不同網(wǎng)絡(luò)模型對(duì)比試驗(yàn)結(jié)果

由表5可知,與CenterNet、YOLO v3、YOLO v4和原始YOLO v5網(wǎng)絡(luò)相比,改進(jìn)的YOLO v5具有最高平均精度。改進(jìn)的YOLO v5網(wǎng)絡(luò)在模型權(quán)重大小、計(jì)算量和參數(shù)量上略大于改進(jìn)前,但遠(yuǎn)遠(yuǎn)小于其他網(wǎng)絡(luò)。改進(jìn)后網(wǎng)絡(luò)權(quán)重大小為18.6 MB, 計(jì)算量為23.1 GFLOPs,參數(shù)量為9.6 M。與上述4種網(wǎng)絡(luò)相比,改進(jìn)的YOLO v5在平均精度上分別提升4.4%、6.4%、6.3%、0.9%。綜上,改進(jìn)后的YOLO v5不僅擁有良好的檢測(cè)精度,且相比其他網(wǎng)絡(luò)在模型權(quán)重大小、計(jì)算量和參數(shù)量方面均有減小。

2.6 結(jié)果分析

選取不同環(huán)境下的橙子圖片,使用改進(jìn)后的YOLO v5網(wǎng)絡(luò)進(jìn)行測(cè)試,檢測(cè)結(jié)果見(jiàn)圖8。

由圖8可知,改進(jìn)的YOLO v5在無(wú)遮擋、果實(shí)重疊、枝葉遮擋和密集小目標(biāo)4種情況下,對(duì)于絕大部分橙子目標(biāo)都能夠較準(zhǔn)確地檢測(cè)出來(lái)。表明改進(jìn)的網(wǎng)絡(luò)對(duì)不同環(huán)境下的橙子檢測(cè)具有較好的泛化性。

為了直觀驗(yàn)證改進(jìn)后的YOLO v5網(wǎng)絡(luò)的檢測(cè)效果,選用不同網(wǎng)絡(luò)模型進(jìn)行對(duì)比測(cè)試,檢測(cè)結(jié)果見(jiàn)圖9。

由圖9可知,5種網(wǎng)絡(luò)對(duì)沒(méi)有枝葉遮擋、果實(shí)重疊且正常大小目標(biāo)基本都能夠正確地檢測(cè)出來(lái),但對(duì)存在枝葉遮擋和果實(shí)遮擋的條件下,網(wǎng)絡(luò)表現(xiàn)差異明顯。其中,CenterNet、YOLO v3和YOLO v4在檢測(cè)存在枝葉遮擋和果實(shí)遮擋目標(biāo)時(shí),出現(xiàn)大部分漏檢情況。原始的 YOLO v5和改進(jìn)的YOLO v5在檢測(cè)遮擋目標(biāo)時(shí),雖然也存在少量漏檢,但相比其他網(wǎng)絡(luò)表現(xiàn),漏檢數(shù)目較少,且改進(jìn)的YOLO v5網(wǎng)絡(luò)在檢測(cè)目標(biāo)時(shí)平均置信度較高。綜合分析可知,改進(jìn)的YOLO v5網(wǎng)絡(luò)對(duì)遮擋和重疊的橙子目標(biāo)檢測(cè)效果更好,更適合在復(fù)雜的自然環(huán)境下進(jìn)行檢測(cè)。

3 結(jié)論

針對(duì)自然條件下的橙子檢測(cè)任務(wù),本研究提出一種改進(jìn)的YOLO v5檢測(cè)方法,首先,在主干網(wǎng)絡(luò)結(jié)構(gòu)中使用RepVGG模塊,提高對(duì)橙子目標(biāo)特征的提取能力;其次,應(yīng)用鬼影混洗卷積降低模型參數(shù)量;再次,加入ECA注意力模塊,其能夠更加準(zhǔn)確定位目標(biāo)信息;最后,改進(jìn)損失函數(shù),提升位置邊界框的回歸精度。改進(jìn)的網(wǎng)絡(luò)在自然環(huán)境的橙子檢測(cè)中平均精度達(dá)到90.1%,相比于目前熱門(mén)的檢測(cè)網(wǎng)絡(luò)CenterNet、YOLO v3和YOLO v4,改進(jìn)的YOLO v5網(wǎng)絡(luò)在枝葉遮擋、相鄰果實(shí)重疊等復(fù)雜情況下,橙子識(shí)別效果可以得到一定的提升。后續(xù),將會(huì)繼續(xù)優(yōu)化網(wǎng)絡(luò),并將使用現(xiàn)有模型應(yīng)用于果園計(jì)數(shù)和產(chǎn)量預(yù)測(cè)等任務(wù)中。