苗榮慧 李志偉 武錦龍

(1.山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院, 太谷 030801; 2.山西農(nóng)業(yè)大學(xué)農(nóng)業(yè)工程學(xué)院, 太谷 030801)

0 引言

視覺識(shí)別系統(tǒng)作為果蔬采摘機(jī)器人系統(tǒng)的組成部分,在果蔬目標(biāo)識(shí)別定位、自動(dòng)采摘和果蔬估產(chǎn)等方面具有至關(guān)重要的作用[1]。櫻桃番茄因其營養(yǎng)價(jià)值高、風(fēng)味獨(dú)特而被廣泛種植[2]。由于櫻桃番茄果實(shí)高度密集、果實(shí)小,且葉片遮擋嚴(yán)重、果蔬高度不一,采收成為最費(fèi)時(shí)耗力的工作。目前,櫻桃番茄的采摘主要依靠人工,成本高、效率低且不能保證采摘的果實(shí)處于最佳采摘時(shí)期。對(duì)果實(shí)成熟期的判定直接決定果實(shí)的運(yùn)輸和貯藏方式,對(duì)果實(shí)的價(jià)格及風(fēng)味也會(huì)造成極大的影響[3]。因此,研究具有高識(shí)別率的成熟度自動(dòng)檢測系統(tǒng)對(duì)于確定不同成熟度果實(shí)的分布區(qū)域,實(shí)現(xiàn)櫻桃番茄的自動(dòng)化采摘具有重要意義。

深度學(xué)習(xí)技術(shù)在目標(biāo)檢測領(lǐng)域有巨大的優(yōu)勢,由于其對(duì)目標(biāo)高維特征的高度提取,使復(fù)雜情況下不同成熟度的果實(shí)識(shí)別成為可能。陳鋒軍等[11]提出一種改進(jìn)的EfficientDet的油橄欖果實(shí)成熟度檢測方法,改進(jìn)的模型不僅具有良好的檢測精度,而且模型占用內(nèi)存較小,能夠勝任自然條件下推廣應(yīng)用的實(shí)際需求。龍潔花等[12]提出改進(jìn)Mask R-CNN的溫室環(huán)境下不同成熟度番茄果實(shí)的分割方法,該方法對(duì)綠熟期、半熟期、成熟期番茄果實(shí)分割的平均精度均值都較高,可為番茄采摘機(jī)器人精準(zhǔn)作業(yè)提供依據(jù)。TIAN等[13]提出了一種改進(jìn)的YOLO v3模型,用于在不同光照條件、復(fù)雜背景以及遮擋等情況下檢測不同成熟度的蘋果。熊俊濤等[14]提出一種輕量化YOLO v5-Lite模型對(duì)自然環(huán)境下木瓜成熟度進(jìn)行檢測,該方法對(duì)不同拍攝距離、不同遮擋情況以及不同光照情況下的果實(shí)均能實(shí)現(xiàn)準(zhǔn)確識(shí)別?？梢娋矸e神經(jīng)網(wǎng)絡(luò)在果實(shí)成熟度檢測研究中優(yōu)勢顯著,其中YOLO v7模型具有檢測精度高、速度快、支持高分辨率圖像、支持多種類型目標(biāo)等優(yōu)點(diǎn),已被應(yīng)用到行人檢測[15]、工業(yè)產(chǎn)品缺陷檢測[16]等領(lǐng)域。目前,在每秒傳輸5～160幀圖像范圍內(nèi),YOLO v7模型的速度和精度都超過了所有已知的目標(biāo)檢測模型。因此,選取YOLO v7模型為基礎(chǔ)模型進(jìn)行櫻桃番茄成熟度的檢測。

目前,基于卷積神經(jīng)網(wǎng)絡(luò)的水果成熟度檢測方法,存在如下問題:大多數(shù)檢測精度高的方法,模型計(jì)算復(fù)雜度高,檢測速度慢;而模型計(jì)算復(fù)雜度低,檢測速度快的方法,檢測精度卻又不高。對(duì)于平衡好檢測速度、檢測精度和模型計(jì)算復(fù)雜度的櫻桃番茄檢測方法,當(dāng)前的研究還較少。櫻桃番茄果實(shí)具有如下特性:每個(gè)花序結(jié)果少則一到兩個(gè),多則十幾個(gè),果實(shí)之間往往存在遮擋問題;櫻桃番茄果實(shí)在生長發(fā)育過程中易受光照、環(huán)境等因素的影響,同一花序所結(jié)果實(shí)成熟度不一致且相鄰成熟度特征差異不明顯。這些都會(huì)導(dǎo)致YOLO v7模型對(duì)相鄰成熟度及遮擋果實(shí)的檢測能力較差。針對(duì)以上問題,本文提出一種改進(jìn)的YOLO v7輕量化櫻桃番茄成熟度檢測模型。首先,在數(shù)據(jù)采集時(shí)對(duì)具有不同成熟度的部分圖像進(jìn)行跟蹤采集,對(duì)標(biāo)注數(shù)據(jù)進(jìn)行修訂以提高模型對(duì)相鄰成熟度果實(shí)的檢測能力。然后,將YOLO v7模型的骨干特征提取網(wǎng)絡(luò)替換為輕量級(jí)的網(wǎng)絡(luò)MobileNetV3,大幅降低模型的參數(shù)量和計(jì)算量。在特征融合模塊引入GAM注意力模塊來加強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力,降低因模型參數(shù)量少而造成檢測精度下降的影響,提高相鄰成熟度果實(shí)和被遮擋果實(shí)的檢測精度。最后,通過試驗(yàn)驗(yàn)證改進(jìn)的YOLO v7模型對(duì)自然環(huán)境下櫻桃番茄果實(shí)成熟度的檢測效果以及確定成熟果實(shí)的分布區(qū)域,為櫻桃番茄果實(shí)的自動(dòng)化采摘提供參考依據(jù)。

1 材料與方法

1.1 圖像采集

試驗(yàn)研究區(qū)域選取山西省晉中市太谷區(qū)范村鎮(zhèn)象谷村番茄種植基地,該基地主要栽培品種為紅美玉、黑珍珠、迷彩、紅珍珠、黃珍珠等。本文以產(chǎn)量最高的紅珍珠為研究對(duì)象,于2023年3—5月使用Oppo Reno5型手機(jī)采集溫室條件下的不同植株及不同成熟度的櫻桃番茄圖像。采集時(shí)間包括上午、中午和下午,以獲取不同光照條件下的圖像,共獲取3 468像素×4 624像素的櫻桃番茄圖像1 560幅,其中,部分圖像采用跟蹤拍攝方式對(duì)櫻桃番茄成熟過程進(jìn)行采集。采集圖像類型包括單目標(biāo)圖像、多目標(biāo)圖像、順光圖像、逆光圖像、有枝葉遮擋圖像、無枝葉遮擋圖像和重果圖像等,如圖1所示。

圖1 櫻桃番茄樣本圖像Fig.1 Sample images of cherry tomato

1.2 果實(shí)成熟度等級(jí)劃分

國家標(biāo)準(zhǔn)GH/T 1193—2021[17]將番茄成熟度等級(jí)根據(jù)果皮和果肉顏色變化劃分為6級(jí),即未熟期、綠熟期、變色期、紅熟前期、紅熟中期和紅熟后期。而本文研究的重點(diǎn)是無損檢測掛枝狀態(tài)下櫻桃番茄的成熟度,與直接采摘果實(shí)通過剖面獲取果肉顏色判斷成熟度相比,掛枝狀態(tài)無法獲取果肉顏色變化;與普通番茄相比,櫻桃番茄因其果實(shí)尺寸小、生長發(fā)育周期短,導(dǎo)致相鄰成熟度差異較小。因此,本文根據(jù)櫻桃番茄實(shí)際生長發(fā)育情況及果皮顏色變化將6級(jí)成熟度(表1)合并為5級(jí)成熟度。其中,6級(jí)成熟度的第1級(jí)為未熟期,該時(shí)期果實(shí)尚未充分生長發(fā)育定形,催熟困難不宜采摘,將第1級(jí)刪除;6級(jí)成熟度的2～6級(jí)與5級(jí)成熟度的1～4級(jí)成熟度完全一致,都是根據(jù)果皮顏色的變化進(jìn)行劃分。因此,將6級(jí)成熟度的 2～6 級(jí)根據(jù)果皮顏色定義為5級(jí),分別為綠熟期、轉(zhuǎn)色期、初熟期、中熟期和完熟期,如表2所示。從表2可知,不同成熟度的番茄會(huì)直接影響其加工、貯藏及運(yùn)輸方式,采收成熟度因用途的不同而有所差別,適時(shí)采摘具有重要意義。

表1 番茄6級(jí)成熟度描述Tab.1 Maturity description of tomato at six levels

表2 櫻桃番茄5級(jí)成熟度描述Tab.2 Maturity description of cherry tomato at five levels

1.3 數(shù)據(jù)集構(gòu)建

由于櫻桃番茄數(shù)據(jù)集的數(shù)據(jù)樣本量不足以讓模型在訓(xùn)練時(shí)達(dá)到收斂狀態(tài),為了改善網(wǎng)絡(luò)訓(xùn)練模型效果和提高模型泛化能力,采用數(shù)據(jù)增強(qiáng)方法增加樣本數(shù)量,防止網(wǎng)絡(luò)因訓(xùn)練樣本不足導(dǎo)致過擬合問題。本研究采用高斯模糊、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、非等比例縮放、隨機(jī)平移、透視變換和隨機(jī)裁剪等數(shù)據(jù)增強(qiáng)方式隨機(jī)組合,對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充,部分?jǐn)?shù)據(jù)增強(qiáng)樣本如圖2所示。通過數(shù)據(jù)增強(qiáng)共獲得8 745幅樣本圖像,按照比例7∶1∶2將數(shù)據(jù)集劃分為訓(xùn)練集(6 121幅)、驗(yàn)證集(875幅)、測試集(1 749幅)。

圖2 櫻桃番茄數(shù)據(jù)增強(qiáng)圖像Fig.2 Data enhanced images of cherry tomato

本研究訓(xùn)練的模型為YOLO系列格式的數(shù)據(jù)集,采用LabelImg軟件對(duì)圖像中不同成熟度櫻桃番茄果實(shí)進(jìn)行標(biāo)注,格式為.txt文檔,標(biāo)注規(guī)則為:①對(duì)圖像中果實(shí)相互遮擋但不影響人工判斷成熟度等級(jí)的果實(shí)分別進(jìn)行標(biāo)注。②對(duì)果實(shí)遮擋嚴(yán)重,人工難以辨別成熟度等級(jí)的果實(shí)不予標(biāo)注。③對(duì)于未長大的綠色櫻桃番茄不予標(biāo)注。由于櫻桃番茄同一花序所結(jié)果實(shí)成熟度不一致,使得有的圖像涵蓋多個(gè)成熟度級(jí)別。數(shù)據(jù)集中不同成熟度櫻桃番茄果實(shí)數(shù)量如表3所示。

表3 數(shù)據(jù)集中不同成熟度櫻桃番茄標(biāo)注數(shù)量Tab.3 Annotation number of cherry tomato with different maturities

1.4 櫻桃番茄成熟度檢測模型

櫻桃番茄在生長發(fā)育過程中易受光照和環(huán)境因素的影響,同一花序所結(jié)果實(shí)成熟度存在差異,本研究構(gòu)建的數(shù)據(jù)集中多數(shù)圖像包含多個(gè)成熟度級(jí)別,且相鄰成熟度特征差異不明顯,同時(shí)存在枝葉遮擋及果實(shí)遮擋問題,導(dǎo)致準(zhǔn)確檢測果實(shí)的成熟度較困難。現(xiàn)有基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型雖然檢測精度高,但模型計(jì)算復(fù)雜度高、檢測速度慢。因此,為了平衡好檢測速度、檢測精度和模型計(jì)算復(fù)雜度,同時(shí),有效解決影響相鄰成熟度和被遮擋果實(shí)的檢測問題,本研究對(duì)YOLO v7模型進(jìn)行了改進(jìn)。

首先,為了達(dá)到模型在有較高檢測精度和檢測速度的同時(shí),模型參數(shù)盡可能少的目的,將YOLO v7的骨干特征提取網(wǎng)絡(luò)替換為輕量級(jí)MobileNetV3網(wǎng)絡(luò)。為了提高相鄰成熟度的檢測能力,在特征融合網(wǎng)絡(luò)中加入GAM注意力模塊以提高網(wǎng)絡(luò)的表達(dá)能力,改進(jìn)后的YOLO v7輕量化櫻桃番茄模型結(jié)構(gòu)如圖3所示。

4.1 PIVAS與住院藥房一體化信息系統(tǒng)的構(gòu)建，需要有資深藥學(xué)技術(shù)人員的積極參與[5]。藥學(xué)技術(shù)人員既要有豐富的藥學(xué)專業(yè)知識(shí)，又要有良好的程序開發(fā)理念，這樣才能與程序員做到有效溝通，進(jìn)而將深?yuàn)W的藥學(xué)需求用信息來實(shí)現(xiàn)[6]。

圖3 改進(jìn)的YOLO v7輕量化網(wǎng)絡(luò)模型Fig.3 Lightweight network model of improved YOLO v7

1.4.1MobileNetV3模型

MobileNet網(wǎng)絡(luò)是由Google團(tuán)隊(duì)提出的一種輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型,使用深度可分離卷積(Depthwise separable convolution)和反向殘差結(jié)構(gòu)的思想構(gòu)建模型[18]。與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)相比,MobileNet在準(zhǔn)確率小幅度降低的前提下大大減少了模型參數(shù)量與運(yùn)算量[19]。MobileNetV3綜合了MobileNetV2和MobileNetV1的特點(diǎn),在MobileNetV2網(wǎng)絡(luò)的基礎(chǔ)上加入了SE(Squeeze and excitation networks)模塊[20],其網(wǎng)絡(luò)結(jié)構(gòu)如圖4和表4所示。

表4 MobileNetV3網(wǎng)絡(luò)參數(shù)Tab.4 Network parameters of MobileNetV3

圖4 MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of MobileNetV3

表4中,第1列為每個(gè)特征層輸入向量的尺寸;第2列為每個(gè)特征層所進(jìn)行的操作;第3和第4列分別代表了Bottleneck結(jié)構(gòu)中逆殘差結(jié)構(gòu)升維后的通道數(shù)和Bottleneck輸出的通道數(shù);SE代表本層是否引入注意力機(jī)制SE模塊;NL代表激活函數(shù)的類型,其中HS代表hard-swish,RE代表ReLU;最后一列代表Bottleneck結(jié)構(gòu)中卷積的步長。conv2d表示普通卷積,bneck(The inverted residual with linear bottleneck block)表示由線性瓶頸的逆殘差結(jié)構(gòu)組成的特征提取塊,pool表示池化層。MobileNetV3網(wǎng)絡(luò)操作過程:首先利用1×1的卷積進(jìn)行升維,再引入MobileNetV2線性瓶頸的逆殘差結(jié)構(gòu);然后進(jìn)行3×3深度可分離卷積,降低網(wǎng)絡(luò)的計(jì)算量;再通過注意力模型SE-Net,使網(wǎng)絡(luò)關(guān)注更加有用的通道信息來調(diào)整每個(gè)通道的權(quán)重;最后,使用hard-swish激活函數(shù)代替swish函數(shù),減少運(yùn)算量以提高模型性能。該網(wǎng)絡(luò)能夠在保證模型輕量化的基礎(chǔ)上,提高模型精度及運(yùn)行速度,因此,本文使用MobileNetV3網(wǎng)絡(luò)作為YOLO v7模型的骨干網(wǎng)絡(luò)實(shí)現(xiàn)特征提取。

線性瓶頸的逆殘差結(jié)構(gòu)[21]是一種可以有效減小計(jì)算量并且防止細(xì)節(jié)特征消失的特征提取結(jié)構(gòu),圖5所示是具有瓶頸結(jié)構(gòu)的深度可分離卷積模塊。特征首先會(huì)在卷積塊中通過1×1的卷積進(jìn)行維度擴(kuò)張,再使用3×3的卷積進(jìn)行深度可分離卷積,同時(shí)模塊在深度可分離卷積的同時(shí)融入了輕量級(jí)注意力機(jī)制將特征圖進(jìn)行全局平均池化(Global average pooling,GAP),并經(jīng)過ReLU和hard-swish激活函數(shù)后和特征圖相乘,調(diào)整特征圖的每個(gè)通道的權(quán)重。(圖5中Dwise 3×3表示3×3卷積核的深度可分離卷積,BN表示Batch Normalization,GAP表示全局平均池化,Conv 1×1表示1×1的卷積)。

圖5 線性瓶頸的逆殘差結(jié)構(gòu)塊Fig.5 Inverted residual with linear bottleneck block

1.4.2加入GAM注意力模塊的特征融合網(wǎng)絡(luò)

卷積塊注意力模塊(Convolutional block attention module,CBAM)是一種結(jié)合了空間注意力模塊和通道注意力的卷積注意力模塊[22],通過學(xué)習(xí)可以自動(dòng)獲取每個(gè)特征空間和特征通道的重要程度,并根據(jù)重要程度分配不同的權(quán)重來加強(qiáng)重要特征的提取,抑制其他無關(guān)的信息。但由于信息減少及維度分離,該機(jī)制只能利用有限的感受野實(shí)現(xiàn)視覺表示,缺乏空間和通道的交互作用。GAM是一種可以減少信息縮減并放大全局維度交互特征的注意力機(jī)制[23],它采用CBAM中的順序通道-空間注意機(jī)制,并對(duì)子模塊進(jìn)行了重新設(shè)計(jì),其模型結(jié)構(gòu)如圖6所示。

圖6 GAM注意力模塊Fig.6 GAM attention module

GAM能夠穩(wěn)定地提高不同架構(gòu)和深度的卷積神經(jīng)網(wǎng)絡(luò)的性能,具有良好的數(shù)據(jù)拓展能力和魯棒性。

F2=Mc(F1)?F1

(1)

F3=Ms(F2)?F2

(2)

其中:F1∈RC×H×W為輸入特征圖;Mc和Ms分別為通道和空間注意特征圖;?為矩陣點(diǎn)乘。

通道注意力子模塊采用3D組合保留跨三維度信息,然后采用多層感知機(jī)(Multilayer perceptron,MLP)讓特征向量在不同維度間充分交互,使得模型能夠獲取更多非線性特征和組合特征信息,如圖7所示,圖中C、H、W分別為特征圖的通道數(shù)、高和寬。其中MLP代表多層感知機(jī)(全連接層);Sigmoid為激活函數(shù)。

圖7 GAM通道注意力子模塊Fig.7 Channel attention submodule of GAM

為了更多關(guān)注空間信息,在空間注意力子模塊中采用2個(gè)卷積層對(duì)空間信息進(jìn)行融合。由于最大池化減少了信息量且對(duì)模型具有消極影響,該模塊中刪除了池化過程來更好地保留特征圖,如圖8所示。

圖8 GAM空間注意力子模塊Fig.8 Spatial attention submodule of GAM

1.5 試驗(yàn)環(huán)境配置與網(wǎng)絡(luò)參數(shù)設(shè)置

試驗(yàn)所用操作系統(tǒng)為Windows 10,CPU型號(hào)為Intel(R) Core(TM) i7-12700F @2.10 GHz,GPU型號(hào)為NVIDIA GeForce RTX 3080,運(yùn)行內(nèi)存為32 GB,1 TB機(jī)械硬盤,編程語言為Python 3.9,使用的深度學(xué)習(xí)框架為Pytorch 1.13.0,GPU加速庫為CUDA 11.7、CUDNN 8.4.1。為縮短網(wǎng)絡(luò)訓(xùn)練的時(shí)間,采用凍結(jié)訓(xùn)練的方法,凍結(jié)骨干網(wǎng)絡(luò)訓(xùn)練時(shí)初始學(xué)習(xí)率設(shè)為0.001,批處理量設(shè)為16,動(dòng)量設(shè)置為0.9;解凍之后的網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)率設(shè)為0.000 1,批大小設(shè)為8,動(dòng)量設(shè)置為0.9,迭代次數(shù)為300次。

1.6 模型評(píng)價(jià)指標(biāo)

對(duì)櫻桃番茄果實(shí)成熟度的檢測過程需要考慮檢測精度和速度。在模型檢測精度方面,選用精確率(Precision,P)、召回率(Recall,R)和平均精度(Average precision,AP)作為評(píng)價(jià)指標(biāo);在模型檢測性能方面,選取平均精度均值(mAP)、平均檢測時(shí)間(Average detection time,ADT)和模型內(nèi)存占用量作為評(píng)價(jià)指標(biāo)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 改進(jìn)YOLO v7模型試驗(yàn)

為驗(yàn)證改進(jìn)YOLO v7模型的性能,對(duì)測試集中的1 749幅櫻桃番茄圖像進(jìn)行測試評(píng)價(jià),表5為本文算法在不同成熟度級(jí)別的檢測結(jié)果。從表5中可知,本文算法的平均精度均值可以達(dá)到98.2%,精確率為98.6%,召回率為98.1%,所有成熟度級(jí)別檢測結(jié)果均在96%以上。部分檢測示例如圖9所示,從圖9中可以看出,本文算法能夠準(zhǔn)確檢測出不同成熟度的櫻桃番茄,對(duì)于圖9a中掉落在地上的小目標(biāo)以及距離較遠(yuǎn)的小目標(biāo)本文識(shí)別結(jié)果也較好。由于果實(shí)成熟時(shí)間不一致,圖像包含多個(gè)成熟度級(jí)別,對(duì)于剛進(jìn)入初熟期的果實(shí)與進(jìn)入中熟期的果實(shí)特征差異較小,極易發(fā)生誤判,改進(jìn)的算法可以提取果實(shí)表型形狀的細(xì)粒度特征實(shí)現(xiàn)不同成熟度的準(zhǔn)確檢測。圖9中櫻桃番茄果實(shí)可能受枝葉以及其他果實(shí)的遮擋,改進(jìn)的YOLO v7模型可進(jìn)一步融合遮擋果實(shí)的位置信息以及語義信息,提高對(duì)遮擋果實(shí)成熟度的檢測能力。綜上所述,改進(jìn)的YOLO v7模型能夠準(zhǔn)確地檢測果實(shí)的成熟度,對(duì)小目標(biāo)、多目標(biāo)、枝葉遮擋、重果、光照影響等都有較好的檢測效果。

表5 本文算法不同成熟度級(jí)別檢測結(jié)果Tab.5 Detection results with different maturities of proposed algorithm %

圖9 改進(jìn)后的YOLO v7模型檢測結(jié)果Fig.9 Detection results of improved YOLO v7 model

2.2 改進(jìn)YOLO v7模型消融試驗(yàn)

為了進(jìn)一步驗(yàn)證改進(jìn)YOLO v7模型的性能,本研究設(shè)置了消融試驗(yàn)驗(yàn)證4組網(wǎng)絡(luò)的性能,分別為在YOLO v7特征融合中加入GAM模塊、替換YOLO v7骨干網(wǎng)絡(luò)為MobileNetV3、YOLO v7和本文算法。從定量的角度分析4組網(wǎng)絡(luò)的性能,對(duì)測試集中的1 749幅櫻桃番茄圖像進(jìn)行客觀評(píng)價(jià),評(píng)價(jià)指標(biāo)包括模型檢測精度、平均檢測時(shí)間等,評(píng)價(jià)對(duì)比結(jié)果如表6所示。從表6可知,改進(jìn)后模型平均精度均高于其他3組模型。

表6 改進(jìn)的YOLO v7模型消融試驗(yàn)結(jié)果Tab.6 Ablation test results of improved YOLO v7 model

2.3 不同目標(biāo)檢測網(wǎng)絡(luò)對(duì)比結(jié)果分析

為定性評(píng)價(jià)改進(jìn)YOLO v7模型的檢測結(jié)果,將改進(jìn)的模型與Faster R-CNN[24]、YOLO v3[25]模型、YOLO v5s[26]模型以及原始YOLO v7模型對(duì)測試集中的櫻桃番茄圖像進(jìn)行算法對(duì)比,算法對(duì)比結(jié)果如圖10所示。

圖10 不同目標(biāo)檢測網(wǎng)絡(luò)對(duì)比結(jié)果Fig.10 Comparison results of different detection networks

從圖10b可知,該算法在單果目標(biāo)圖像中能夠識(shí)別小目標(biāo),但部分結(jié)果存在重復(fù)識(shí)別情況;在多目標(biāo)圖像中,存在重復(fù)識(shí)別情況,算法將圖像中部分樹葉誤識(shí)別為果實(shí),對(duì)重果的識(shí)別效果也差,并且存在漏檢情況。從圖10c可知,該算法在單果目標(biāo)圖像中能夠較好地識(shí)別小目標(biāo)、遠(yuǎn)距離目標(biāo);在多目標(biāo)圖像中,重果識(shí)別效果較差,部分圖中將樹葉識(shí)別為果實(shí),存在誤識(shí)別,也存在漏檢情況。從圖10d可知,該算法在單果目標(biāo)圖像中能夠較好地識(shí)別小目標(biāo);在多目標(biāo)圖像中,針對(duì)重果、枝葉遮擋、多目標(biāo)等情況識(shí)別效果都較好。從圖10e可知,該算法在單果目標(biāo)圖像中識(shí)別小目標(biāo)情況較差;在多目標(biāo)圖像中,綠色多目標(biāo)和重果識(shí)別效果較差,部分圖中將樹葉識(shí)別為果實(shí),存在誤識(shí)別,也存在漏檢情況。從圖10f可知,該算法在單果目標(biāo)圖像中能夠較好地識(shí)別小目標(biāo)、遠(yuǎn)距離目標(biāo);在多目標(biāo)圖像中,針對(duì)重果、枝葉遮擋、多目標(biāo)等情況識(shí)別效果都較好。

為定量比較改進(jìn)模型的性能,將改進(jìn)模型與Faster R-CNN、YOLO v3模型、YOLO v5s模型以及原始YOLO v7模型在測試圖像上進(jìn)行性能比較,如表7所示。從表7中可知,與其他模型相比,改進(jìn)的YOLO v7櫻桃番茄成熟度檢測模型在精確率、召回率、平均精度指標(biāo)都是最優(yōu)的,分別為98.6%、98.1%、98.2%,其平均精度均值mAP與Faster R-CNN、YOLO v3模型、YOLO v5s模型以及原始YOLO v7模型相比分別提升18.7、0.2、0.3、0.1個(gè)百分點(diǎn)。本文模型在原始YOLO v7模型的基礎(chǔ)上進(jìn)行了輕量化改進(jìn),改進(jìn)之后的模型內(nèi)存占用量也是最少的。

表7 不同檢測模型在測試集中的性能結(jié)果Tab.7 Performance of different detection models in test sets

3 結(jié)論

(1)提出了一種改進(jìn)的輕量化YOLO v7網(wǎng)絡(luò)模型用于櫻桃番茄成熟度檢測。該網(wǎng)絡(luò)將YOLO v7原始模型中骨干網(wǎng)絡(luò)替換為輕量型MobileNetV3結(jié)構(gòu)并在特征融合網(wǎng)絡(luò)中引入GAM注意力機(jī)制,不僅能夠充分并有效利用全局維度的交互特征,還使得網(wǎng)絡(luò)能夠平衡運(yùn)算速度和模型復(fù)雜度的問題。

(2)為了驗(yàn)證改進(jìn)YOLO v7模型的性能,本文設(shè)置了4組網(wǎng)絡(luò)進(jìn)行消融試驗(yàn)驗(yàn)證并對(duì)試驗(yàn)結(jié)果進(jìn)行了定量分析,4組網(wǎng)絡(luò)分別為在YOLO v7特征融合中加入GAM模塊、替換YOLO v7骨干網(wǎng)絡(luò)為MobileNetV3、YOLO v7和本文算法,試驗(yàn)結(jié)果表明改進(jìn)后的模型在模型檢測精度和平均檢測時(shí)間方面均優(yōu)于其他3組模型。

(3)在相同的試驗(yàn)條件下,通過與Faster R-CNN、YOLO v3、YOLO v5s、YOLO v7模型對(duì)比,改進(jìn)的模型在櫻桃番茄數(shù)據(jù)集上取得了較優(yōu)的效果,平均精度均值mAP分別提升18.7、0.2、0.3、0.1個(gè)百分點(diǎn)。試驗(yàn)充分證明了本文提出的輕量化模型不僅在評(píng)價(jià)指標(biāo)上有所提高,同時(shí)在視覺上也取得了較好的效果。通過本研究可以將成熟度檢測應(yīng)用于農(nóng)產(chǎn)品智能采摘中,為其他農(nóng)產(chǎn)品智能采摘機(jī)器人的視覺識(shí)別、目標(biāo)定位以及分級(jí)等后續(xù)工作提供依據(jù)。