国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進YOLOv5的輕量級黃花成熟檢測方法

2024-12-31 00:00:00吳利剛呂媛媛周倩陳樂張梁史建華
中國農(nóng)機化學報 2024年7期
關(guān)鍵詞:注意力機制黃花輕量化

摘要:黃花菜具有較短的采摘周期和相對嚴格的采摘要求,針對傳統(tǒng)人工采摘效率低、主觀性高的問題,提出一種基于深度學習的SSH-YOLOv5黃花成熟度檢測算法。以YOLOv5模型為基礎(chǔ),結(jié)合輕量級網(wǎng)絡(luò)ShuffleNet V2基本殘差單元壓縮網(wǎng)絡(luò)模型大小,提升模型目標檢測速度;引入SE Net通道注意力機制模塊,增強模型對有用特征信息的敏感度,提高目標檢測精度;將普通卷積替換為深度可分離卷積模塊,進一步減少模型計算量。試驗結(jié)果表明,改進后的SSH-YOLOv5模型參數(shù)量和浮點運算量分別減少61.6%和68.3%,網(wǎng)絡(luò)層數(shù)減少18%,同時SSH-YOLOv5的檢測精度由原算法的88.8%提高到91.2%,實時檢測速度達到66.4 f/s,相比原算法提高18.1%,達到實時檢測要求。改進后的算法不僅實現(xiàn)模型的輕量化,同時也使黃花成熟度檢測更加準確和快速,可以較好地滿足黃花檢測需求。

關(guān)鍵詞:黃花;深度學習;YOLOv5算法;輕量化;注意力機制

中圖分類號:TP399

文獻標識碼:A

文章編號:20955553 (2024) 070235

09

Lightweight method for maturity detection of Hemerocallis citrina Baroni

based on improved YOLOv5

Wu Ligang1, Lü Yuanyuan2, Zhou Qian3, Chen Le2, Zhang Liang2, Shi Jianhua1

(1. School of Mechanical and Electrical Engineering, Shanxi Datong University, Datong, 037003, China;

2. School of Coal Engineering, Shanxi Datong University, Datong, 037003, China;

3. School of Business, Shanxi Datong University, Datong, 037003, China)

Abstract:

Hemerocallis citrina Baroni has a short picking cycle and relatively strict picking requirements. Aiming at the problems of" the low efficiency and high subjectivity of manual harvesting of Hemerocallis citrina Baroni, a deep learning-based SSH-YOLOv5 Hemerocallis citrina Baroni maturity detection algorithm was proposed. Based on the YOLOv5 model, combined with the lightweight network ShuffleNet V2 basic residual unit to compress the size of the network model, and improve the model target detection speed. The attention mechanism module of Squeeze-and-Excitation network was integrated into the model to enhance the sensitivity of the model to useful feature information, and improve target detection precision, and ordinary convolution was replaced with depth-separable convolution module to further reduce the model computation. The experimental results showed that the number of parameters and floating point operations of the improved SSH-YOLOv5 model were reduced by 61.6% and 68.3% respectively, and the number of network layers was reduced by 18%, while the detection precision of SSH-YOLOv5 was improved from 88.8% to 91.2% of the original algorithm. The real-time detection speed reached 66.4 f/s, which was 18.1% higher than the original YOLOv5 algorithm and met the real-time detection requirements. The improved algorithm not only makes the model lightweight, but also makes Hemerocallis citrina Baroni maturity detection more accurate and faster, which can better meet the demand of Hemerocallis citrina Baroni detection.

Keywords:

Hemerocallis citrina Baroni; deep learning; YOLOv5 algorithm; lightweight; attention mechanism

0 引言

當前黃花采摘以人工采摘為主,黃花的最佳采摘時間在光照強度較弱的凌晨或傍晚,工人需在短時間內(nèi)根據(jù)黃花的形態(tài)、顏色和大小等特征迅速識別黃花是否達到采摘標準,因此存在主觀性高、采摘效率低的問題[1]。隨著目標識別領(lǐng)域的迅速發(fā)展,通過智能采摘代替人工采摘,是提高黃花種植產(chǎn)量和采摘效率的有效途徑[2]。

近年來,基于卷積神經(jīng)網(wǎng)絡(luò)的智能采摘算法表現(xiàn)出優(yōu)秀的性能[3, 4],目前被廣泛應(yīng)用于果實與農(nóng)作物檢測的深度學習算法主要有兩類,一類是以R-CNN[5]、Faster R-CNN[6]為代表的Two-stage算法,將檢測過程分為兩個階段,側(cè)重于目標檢測的精度;另一類是以SSD[7]、YOLO[810]為代表的One-stage算法,將目標檢測任務(wù)轉(zhuǎn)換為端到端的回歸問題,因此在目標檢測的速度方面有更好的表現(xiàn)[11]。朱紅春等[12]以復雜背景下的茶葉嫩芽為檢測對象,通過對比基于Fast R-CNN的深度學習算法和傳統(tǒng)檢測算法對茶葉嫩芽的檢測結(jié)果,表明了基于深度學習目標檢測算法的優(yōu)越性;岳有軍等[13]提出一種基于改進Cascade R-CNN網(wǎng)絡(luò)對番茄果實識別方法,增強了網(wǎng)絡(luò)對重疊果實的識別能力,識別準確率相較原網(wǎng)絡(luò)提高了約2個百分點。湯旸等[14]提出一種基于改進YOLOv3-tiny輕量化柑橘識別方法,平均檢測精度為96.52%,在不同的背景下,均具有良好的檢測性能;王卓等[15]提出基于YOLOv4的輕量化蘋果檢測算法,平均檢測精度達到92.23%,在嵌入式平臺的檢測速度為15.11FPS,可滿足采摘機器人實時性需求;Zhang等[16]提出一種基于YOLOv5的輕量化雙注意力機制算法,將網(wǎng)絡(luò)模型壓縮了63.4%,對自然背景環(huán)境下黃花菜的檢測精度達到84.9%?;谏疃葘W習的智能采摘已被廣泛應(yīng)用,為進一步提高目標檢測網(wǎng)絡(luò)的實時性,智能采摘目標檢測模型的輕量化改進也成為熱門研究方向,為黃花的輕量級成熟度檢測方法提供了參考。

大規(guī)模種植下的黃花植株密集,在復雜的自然環(huán)境背景下,存在花朵重疊、枝葉遮擋、光線不均的情況,因此會對模型檢測精度造成一定的影響[17],另外,在黃花檢測網(wǎng)絡(luò)的實際應(yīng)用場景中,通常需要搭載于算力資源有限的嵌入式平臺,而復雜、大型的檢測模型難以部署其中[18],因此,如何在保證模型檢測精度的同時精簡模型,成為自然環(huán)境下黃花成熟度檢測算法的主要研究問題和難點[19]。

針對上述問題,本文提出一種結(jié)合ShuffleNet V2網(wǎng)絡(luò)和SE Net注意力機制的SSH-YOLOv5黃花成熟度檢測方法,以YOLOv5算法為基礎(chǔ),將主干網(wǎng)絡(luò)的C3模塊替換為輕量級網(wǎng)絡(luò)ShuffleNet V2基礎(chǔ)模塊,壓縮模型、提升模型檢測速度,把普通卷積模塊替換為深度可分離卷積模塊,進一步減少模型計算量;引入通道注意力機制模塊,彌補模型輕量化對檢測精度造成的部分損失。

1 SSH-YOLOv5算法

1.1 YOLOv5算法

YOLO算法是由Joseph Redmon等提出的一種One-stage實時目標檢測方法,YOLOv5是目前YOLO系列較新且穩(wěn)定性高的一個算法,具有良好的泛化性能,被廣泛應(yīng)用于各個領(lǐng)域的目標檢測。

YOLOv5網(wǎng)絡(luò)有輸入端(Input)、特征提取網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)、輸出端(Head)四個部分。YOLOv5的檢測流程如圖1所示,圖像在輸入端經(jīng)過數(shù)據(jù)增強后由特征提取網(wǎng)絡(luò)提取圖像特征,特征提取網(wǎng)絡(luò)主要由CBS模塊、C3模塊和SPPF模塊組成,CBS模塊與C3模塊通過大量的卷積操作提取特征并生成特征圖,處在Backbone末端的SPPF模塊則將不同尺度的特征圖輸出一個固定長度的向量,然后將固定長度的向量輸入到全連接層,進行后續(xù)的分類檢測任務(wù),經(jīng)過特征提取后得到三個不同尺度的特征圖像,分別用來識別不同大小的目標信息,頸部網(wǎng)絡(luò)將三個尺度的特征進行融合,增強語義表達和目標框定位能力,最后在輸出端將三個維度的預測結(jié)果輸出,包括預測目標的位置、類別以及置信度。

YOLOv5網(wǎng)絡(luò)模型雖然具有極佳的目標檢測效果,但神經(jīng)網(wǎng)絡(luò)多層不同尺度的卷積操作會產(chǎn)生大量的冗余特征圖,會對模型的檢測速度造成一定影響,因此需針對此問題對YOLOv5的特征提取網(wǎng)絡(luò)模塊進行輕量化改進,以保證黃花成熟度檢測模型在嵌入式設(shè)備中有較高的實時性。

1.2 網(wǎng)絡(luò)輕量化

1.2.1 ShuffleNet V2輕量化網(wǎng)絡(luò)

本文的檢測任務(wù)僅針對黃花,YOLOv5網(wǎng)絡(luò)模型在單類別檢測任務(wù)中,參數(shù)量以及計算量冗余的問題更為顯著,在Backbone中,C3模塊是結(jié)構(gòu)更為復雜的特征提取模塊,因此將YOLOv5特征提取網(wǎng)絡(luò)中的C3模塊替換為輕量化網(wǎng)絡(luò)ShuffleNet V2的基礎(chǔ)模塊,壓縮模型大小,減少模型計算量,提升目標檢測速度,保證黃花成熟度檢測網(wǎng)絡(luò)的實時性。

ShuffleNet V2[20]充分考慮內(nèi)存訪問成本(MAC),提出在盡量保證1×1卷積操作通道寬度相等的情況下,減少組卷積、模型分支和通道相加(add)等元素級運算,相較ShuffleNet V1[21]網(wǎng)絡(luò),ShuffleNet V2網(wǎng)絡(luò)具有更加高效的網(wǎng)絡(luò)模塊,第一個核心網(wǎng)絡(luò)模塊如圖2(a)所示,輸入的特征圖由通道分離(channel split)操作分成兩個分支,右邊的分支由深度卷積和普通卷積構(gòu)成,左邊分支做同等映射,兩個分支輸出的特征圖經(jīng)過通道合并(concat)后,進一步將不同通道的信息進行融合(channel shuffle),加強通道之間的信息交流。ShuffleNet V2的第二個核心模塊是下采樣模塊,如圖2(b)所示,該模塊不再有通道分離,而是將特征圖直接輸入到兩個通道,每個分支都有步長為2的下采樣,最后兩通道進行合并,可以使特征圖空間大小減半,但是通道數(shù)翻倍。

將YOLOv5特征提取網(wǎng)絡(luò)的C3模塊替換為ShuffleNet V2中心網(wǎng)絡(luò)模塊,可以有效地降低模型的參數(shù)量和計算量,提升目標檢測速度,但同時會帶來精度的損失,因此需進一步對網(wǎng)絡(luò)模型進行改進,以彌補網(wǎng)絡(luò)輕量化對模型精度造成的影響,將檢測速度與精度實現(xiàn)較好的平衡。

1.2.2 深度可分離卷積

深度可分離卷積(Depth-wise separable convolution)是MobileNet-v1[22]、MobileNet-v2[23]等輕量化網(wǎng)絡(luò)的卷積模塊,目的在于減少卷積計算量。

深度可分離卷積模塊由深度卷積(Depth-wise Conv)和逐點卷積(Pointwise Conv)兩部分卷積組成,如圖3所示,大小為DF×DF的特征圖像在深度卷積部分由M個深度為1、大小為DK×DK的分通道卷積核卷積,每個卷積核和輸出的通道對應(yīng),沒有有效的利用相同空間位置上不同層的有效信息,因此第二部分逐點卷積將第一部分各自獨立的特征圖再通過N個深度為M、大小為1×1的卷積核進行融合,生成新的特征圖,進一步提取特征。深度可分離卷積與傳統(tǒng)卷積的參數(shù)量之比C計算如式(1)所示。

C=1N+1DK2

(1)

由式(1)可知,傳統(tǒng)卷積的參數(shù)量是深度可分離卷積模塊的C倍(Cgt;1),而CBS模塊由傳統(tǒng)卷積、BN層和SiLU函數(shù)構(gòu)成,因此將YOLOv5特征提取網(wǎng)絡(luò)中的CBS模塊替換為輕量化的深度可分離卷積模塊,可以有效降低卷積運算計算量,壓縮模型大小,保證模型目標跟蹤的實時性,更符合嵌入式設(shè)備對黃花目標檢測模型的輕量化要求。

1.3 SE Net注意力機制

SE Net[23](Squeeze-and-Excitation Networks)是一種通道注意力機制,在通道尺度上通過學習的方式給不同的通道特征施加權(quán)重,權(quán)重越大代表相關(guān)度越大,可以幫助模型獲取每個通道的重要程度,強調(diào)有用的信息,忽視不重要的信息,從而使檢測效果更加準確。

SE網(wǎng)絡(luò)首先通過全局信息嵌入(Squeeze)操作,如圖4所示,將大小為C×W×H的原三維特征圖進行全局池化,通過壓縮函數(shù)Fsq執(zhí)依次遍歷每個特征圖的高和寬。因此壓縮計算可以表示為:在空間維度將每個二維特征通道(W×H)壓縮為一個實數(shù),且輸出的維度和輸入的特征通道數(shù)相匹配,得到一個帶有全局感受野大小為1×1×C的特征圖,計算如式(2)所示。

Fsq(uc)=zc=1H×W∑Hi=1∑Wj=1uc(i,j)

(2)

式中:

uc——

三維特征圖u的第c個二維矩陣。

第二步進行自適應(yīng)重新校正(Excitation),該模塊由兩個全連接神經(jīng)網(wǎng)絡(luò)連接,通過sigmoid函數(shù)為每個特征通道生成權(quán)重,表示各個特征通道間的相關(guān)性,計算如(3)所示。

Fex(z,W)=sigmoid[W2×ReLU(W1z)]

(3)

式中:

W1、W2——線性層;

z——Squeeze操作后的特征圖。

最后Scale操作將c個權(quán)重逐通道加權(quán),完成在通道維度上對原始特征的自適應(yīng)重標定,把重要的特征增強,不重要的特征減弱,使每個通道重要性不同,從而讓提取的特征指向性更強,得到最終的特征圖如式(4)所示。

Fscale(uc,sc)=x~c=scuc

(4)

式中:

sc——通道權(quán)重。

施加SE Net注意力機制可以一定程度上彌補輕量化特征提取網(wǎng)絡(luò)對檢測精度造成的損失,同時,自然環(huán)境下的黃花背景復雜,存在花朵枝葉折疊遮擋的情況,注意力機制可以提高模型對目標的敏感度,忽視背景特征,提高自然環(huán)境下對黃花識別的準確度。

1.4 SSH-YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

SSH-YOLOv5算法基于YOLOv5網(wǎng)絡(luò),根據(jù)檢測任務(wù)對網(wǎng)絡(luò)模型進行改進,在特征提取網(wǎng)絡(luò)中,C3模塊由CBS模塊和Bottleneck殘差結(jié)構(gòu)組成,作為更為重要的特征提取模塊,將其替換為ShuffleNet V2輕量化網(wǎng)絡(luò)的基本殘差單元,同時用深度可分離卷積模塊替代CBS傳統(tǒng)卷積模塊,減少特征提取網(wǎng)絡(luò)中的傳統(tǒng)卷積操作,進而減少其生成的冗余特征圖,壓縮模型大小,提升目標檢測速度,同時引入通道注意力機制SE Net,將不同重要程度的特征施加權(quán)重,提升主干網(wǎng)絡(luò)提取重要特征的能力在頸部網(wǎng)絡(luò)中,由FPN+PAN結(jié)構(gòu)將提取到的特征進行融合,F(xiàn)PN把高層特征的語義信息自上而下的傳達,通過上采樣與底層特征融合,PAN則是從下向上傳輸定位信息的特征金字塔,是對FPN操作進行進一步的補充。

SSH-YOLOv5算法步驟如下:首先輸入黃花數(shù)據(jù)集,圖像進入圖5所示的特征提取網(wǎng)絡(luò),由改進后的輕量化特征提取網(wǎng)絡(luò)對不同種類、不同大小的特征進行提取,下一步在頸部網(wǎng)絡(luò)進行上采樣、卷積、融合等操作,最后模型在輸出端部分輸出三個維度的預結(jié)果,包括目標框、目標類型和目標置信度。

2 試驗結(jié)果與分析

本次試驗的數(shù)據(jù)集均為實地場景拍攝,采集時間均為清晨或傍晚黃花菜采集的最佳時間段。采集設(shè)備為Conon EOS 90D,獲得的圖像數(shù)據(jù)集分辨率為6960像素×4640像素。采集了不同光線、背景以及不同遮擋情況下的黃花圖像,保證了數(shù)據(jù)集的多樣性。

在對數(shù)據(jù)集的處理過程中,對圖像進行篩選與對比,共獲得834張圖像。其中訓練集和驗證集分別為500張和200張,測試集134張。此外,應(yīng)用LabelImg軟件對數(shù)據(jù)集中的834張黃花圖像進行標注,文件格式為YOLO格式,用數(shù)據(jù)標注工具包對黃花圖像進行標簽制作,分為未成熟(immature)與成熟(mature)兩個類別,保存標注信息為txt格式。

為驗證所提出SSH-YOLOv5算法的優(yōu)勢,消融試驗在相同的試驗環(huán)境和訓練參數(shù)下進行,模型訓練均在AUTODL服務(wù)器完成,運行環(huán)境為PyTorch1.7.0、Python 3.8、Cuda 11.0,硬件配置為RTX 3080 GPU,12核Intel(R) Xeon(R) CPU、45GB內(nèi)存和10GB顯存。

訓練時迭代次數(shù)(epochs)設(shè)置為300輪,批量大?。╞atch size)為8,起始學習率(learning rate)為0.01,權(quán)重衰減系數(shù)(weight decay)為0.005,動量系數(shù)(momentum)為0.937。YOLOv5-6.0版本新增的早停機制會實時監(jiān)控訓練效果,根據(jù)訓練情況自動提前終止訓練,可以提升模型訓練效率。在早停機制的作用下,原始算法在完成265次停止訓練,改進的算法完成295輪后停止訓練。

2.1 評價指標

本文以精確率P(Precision)、召回率R(Recall)、特定平均精度(mAP@0.5、mAP@0.5∶0.95)作為模型檢測精度的評價指標。精確率P表示所有預測為正樣本的結(jié)果中,預測正確的比率;召回率R表示所有正樣本中被正確預測的比率,計算如式(5)、式(6)所示。

P=TPTP+FP

(5)

R=TPTP+FN

(6)

式中:

TP——

模型識別正確的正樣本的數(shù)量;

TN——

模型識別錯誤的負樣本的數(shù)量;

FN——

模型識別正確的負樣本的數(shù)量;

FP——

網(wǎng)絡(luò)識別錯誤的正樣本的數(shù)量。

取N個類別的平均精度(AP)以及先驗框與真實框的特定交并比閾值IOUth,可計算得到特定精度mAP@0.5、mAP@0.5∶0.95,計算如式(7)、式(8)所示。

mAP@0.5=1N∑Ni=1APi(IOUth=0.5)

(7)

mAP@0.5∶0.95=1N∑Ni=1∑jAPi(IOUth=j)

(8)

另外,從以下三方面評價模型的性能:使用單位時間圖像檢測數(shù)量(FPS)評價模型的檢測速度;浮點運算數(shù)(Flops)、模型參數(shù)量大?。╬arameters)評價模型的大小和計算復雜度;損失函數(shù)(Loss)模型預測值和真實值的差距,損失函數(shù)由邊界框損失(Lcoord)、置信度預測損失(Lconf)和類別損失(Lcls)構(gòu)成,其中邊界框損失采用GIoU損失,計算如式(9)、式(10)所示。

Lcoord=1-IoU+|C/(A∪D)|C

(9)

IoU=A∩DA∪D

(10)

式中:

A——真實框;

D——預測框;

C——預測框和真實框的最小外接矩形框。

置信度損失和類別損失沿用YOLOv4算法的交叉熵損失,計算如式(11)、式(12)所示。

Lconf=

∑S2i=0∑Bj=0Iobjij[C^jilog(Cij)+(1-C^ji)log(1-

Cji)]-λnoobj∑S2I=0∑Bj=0Inoobjij[C^jilog(Cji)]-

λnoobj∑S2I=0∑Bj=0Inoobjij(1-C^ji)log(1-Cji)

(11)

Lclass=

-∑S2i=0Iobjij∑c∈classes[p^jilogpji+(1-p^ji)lg(1-pji)]

(12)

式中:

S2——網(wǎng)格數(shù)量;

B——錨框個數(shù);

Inoobjij——

第i個網(wǎng)絡(luò)的第j個錨框沒有目標;

Iobjij——

第i個網(wǎng)絡(luò)的第j個錨框有目標;

Cji——預測置信度;

C^ji——真實置信度;

pji——預測類別;

p^ji——真實類別;

λnoobj——損失權(quán)重系數(shù)。

2.2 輕量化試驗對比分析

將YOLOv5特征提取網(wǎng)絡(luò)中的C3模塊替換為ShuffleNet V2基本殘差結(jié)構(gòu),CBS模塊替換為深度可分離卷積模塊,由表1可知,改進后的輕量化網(wǎng)絡(luò)YOLOv5-light的參數(shù)量和浮點運算量分別下降61.6%和75%,模型檢測速度提升了16%,但精度下降約3.8個百分點。

輕量化網(wǎng)絡(luò)可以有效降低模型復雜度,但同時會造成檢測精度的損失,因此為實現(xiàn)模型各方面性能的平衡,在輕量化網(wǎng)絡(luò)的基礎(chǔ)上對模型進行優(yōu)化。

2.3 注意力機制試驗對比分析

為減輕網(wǎng)絡(luò)輕量化對模型檢測精度的影響,將SE Net注意力機制引入特征提取網(wǎng)絡(luò),提高模型對黃花特征的敏感度,彌補輕量化網(wǎng)絡(luò)對模型檢測精度的損失。注意力機制施加在不同的位置對模型的大小和檢測性能均會有不同的影響,因此通過試驗對比選取施加SE Net注意力機制的最佳位置。

在輕量化網(wǎng)絡(luò)的基礎(chǔ)上,將注意力機制施加在圖6所示的四個不同位置,即特征融合網(wǎng)絡(luò)每個ShuffleNet V2基本殘差結(jié)構(gòu)之后,記四個模型為分別SE-1、SE-2、SE-3和SE-4,對比不同的施加位置對模型檢測效果的影響。

如表2所示,在檢測精度方面,將SE Net注意力機制施加在位置1和位置2,模型檢測精度分別為86.3%和87.6%,相較輕量化網(wǎng)絡(luò)精度分別提高1.5%和3.0%,但仍低于原始算法;施加在位置3處,檢測精度幾乎與原始YOLOv5原始網(wǎng)絡(luò)精度相同,施加在位置4,相較原始算法模型檢測精度上升了約2.4%。

由此可知,在輕量化模型特征提取網(wǎng)絡(luò)較后的位置施加注意力機制,精度可以有更好的提升,SE Net注意力機制對細粒度特征更加敏感,位置4處于特征提取網(wǎng)絡(luò)的末端,相較前三個位置能獲取到更加豐富的特征信息,因此可以較好的提升模型檢測精度。

在YOLOv5原始網(wǎng)絡(luò)模型的基礎(chǔ)上,將SE Net注意力機制施加在特征提取網(wǎng)絡(luò)第四個C3模塊后,與圖5中的位置4相對應(yīng),模型大小和檢測性能均沒有得到改善,因此SE Net注意力機制不是必定會為模型帶來檢測性能的提升,要針對目標檢測網(wǎng)絡(luò),選擇合適的施加位置來為模型檢測精度帶來改善。同時由表2可知,注意力機制帶來的額外參數(shù)量和運算量較小,可以以極小的計算開銷帶來檢測精度的提升。

在模型大小和模型復雜度方面,SE-4模型的網(wǎng)絡(luò)層數(shù)、參數(shù)量以及浮點運算量有明顯的輕量化特征,在檢測性能方面,SE-4有相對其他模型較高的檢測精度和檢測速度。綜上所述,將YOLOv5特征提取網(wǎng)絡(luò)中的C3模塊替換為ShuffleNet V2輕量化網(wǎng)絡(luò)基礎(chǔ)模塊,CBS模塊替換為深度可分離卷積,可以有效減少網(wǎng)絡(luò)計算量,降低模型復雜度,提升目標檢測速度,同時在圖5所示的位置4施加SE Net注意力機制可以彌補輕量化網(wǎng)絡(luò)造成的精度損失,因此選取該網(wǎng)絡(luò)結(jié)構(gòu)為最終的黃花成熟度檢測模型。

2.4 目標檢測綜合性能對比分析

不同的網(wǎng)絡(luò)參數(shù)下模型所表現(xiàn)出的性能如表3所示,YOLOv5原始模型在黃花成熟度任務(wù)中的檢測精度較高,但網(wǎng)絡(luò)參數(shù)量大,在檢測過程中存在計算冗余問題,因此檢測速度較慢;將YOLOv5進行網(wǎng)絡(luò)輕量化改進,改進后的YOLOv5-light網(wǎng)絡(luò)的運算量和參數(shù)量大幅下降,檢測速度提高了約18%,但輕量化網(wǎng)絡(luò)造成了精度的損失;在YOLOv5原始模型直接施加SE Net注意力機制,在模型大小和檢測性能方面都沒有較好的提升;在YOLOv5輕量化網(wǎng)絡(luò)的基礎(chǔ)上,將SE Net注意力機制施加在特征提取網(wǎng)絡(luò)合適的位置中,征提取網(wǎng)絡(luò)的四個輕量化殘差模塊Shuffle block_ni和特征融合網(wǎng)絡(luò)中的C3_mj模塊可以迭代使用多次,ni和mj分別表示第n個模塊使用了i次和第m個模塊使用了j次,SSH-YOLOv5模型中n1=3,n2=6,n3=6,n4=3,mj的參數(shù)均為1;SSH-YOLOv5-A模型ni和mj的參數(shù)都為1,因此模型參數(shù)量較小,但綜合檢測性能相對較差;SSH-YOLOv5-B模型中,ni的參數(shù)均為3,mj的參數(shù)均為1;SSH-YOLOv5-C模型n1=3,n2=6,n3=9,n4=3,mj的參數(shù)均為3,不僅模型參數(shù)量較大,且檢測性能不佳。

因此,綜合考慮模型的大小和檢測性能,在網(wǎng)絡(luò)輕量化和SE Net注意力機制的雙重作用下的SSH-YOLOv5擁有更輕量的網(wǎng)絡(luò)、相對較高的檢測精度和檢測速度,模型參數(shù)量和浮點運算量相較原始算法分別有61.6%和86.3%的下降,實時檢測速度達到66.4f/s,檢測精度為91.2%,不僅在檢測速度提高了17.1個百分點,同時檢測精度提升了2.7%,雖然召回率相較原始YOLOv5算法有略小幅度的下降,但總體上較好地實現(xiàn)了各方面性能的綜合平衡。

YOLOv5和SSH-YOLOv5算法在訓練過程中的損失曲線如圖7所示,兩種算法訓練集和驗證集的整體損失都隨著迭代訓練而減小,表示模型預測的結(jié)果與真實結(jié)果的差距逐漸縮小。YOLOv5和SSH-YOLOv5訓練集損失在前50輪迅速下降,50輪到訓練結(jié)束持續(xù)小幅度的下降,最終趨于收斂,分別穩(wěn)定在0.04左右和0.05左右;兩種算法的驗證集的損失值在前25輪快速下降,SSH-YOLOv5驗證集的損失曲線比原YOLOv5算法的損失曲線收斂速度更快,并且在訓練后期損失值略低于YOLOv5,具有更好的收斂性,說明改進后的算法具有更強的學習能力,對于黃花的目標檢測有更好的檢測效果。

YOLOv5和SSH-YOLOv5模型訓練精度曲線如圖8所示,可以看出在訓練前期改進后的算法精度較低,經(jīng)過約75次迭代訓練后精度曲線與原始算法基本持平,最終SSH-YOLOv5的精確率明顯高于原始算法。

圖9是SSH-YOLOv5算法和YOLOv5算法的特定精度mAP@0.5和mAP@0.5∶0.95的曲線,兩種算法的特定精度曲線最終都趨于收斂,但在后期SSH-YOLOv5算法的曲線更加穩(wěn)定。召回率曲線如圖10所示,SSH-YOLOv5的召回率比YOLOv5略低,改進后的輕量化網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)的層數(shù)比YOLOv5原始算法有所減少,會丟失部分特征信息,相對容易錯誤區(qū)分背景與目標,因此召回率有小幅下降。

由圖11可知,在不同環(huán)境下SSH-YOLOv5算法都表現(xiàn)出較好的檢測性能,在簡單場景中,改進后的算法對較大的成熟黃花目標有更高的置信度,誤檢和漏檢的情況較少;在復雜環(huán)境下,黃花目標重疊,部分未成熟的黃花與背景枝葉顏色相近,YOLOv5和SSH-YOLOv5算法都有較好的檢測效果,YOLOv5對小目標更加敏感,而SSH-YOLOv5能夠正確檢測到更多的目標。

因此,經(jīng)過試驗可以驗證所提方法有較好的檢測性能和魯棒性,不僅可以滿足嵌入式平臺對網(wǎng)絡(luò)的輕量化要求,同時在速度和精度上有更好的表現(xiàn),能夠完成自然背景下的黃花成熟度檢測任務(wù)。

3 結(jié)論

1)" 針對黃花采摘對檢測網(wǎng)絡(luò)的輕量化要求,提出一種SSH-YOLOv5黃花檢測算法,通過改進YOLOv5的特征提取網(wǎng)絡(luò)和頸部網(wǎng)絡(luò),減少模型的復雜度和計算量,同時將模型的檢測精度和速度分別提高2.7個和18.1個百分點。

2)" 將特征提取網(wǎng)絡(luò)的C3模塊替換為輕量化網(wǎng)絡(luò)ShuffleNet V2模塊,使用深度可分離卷積降低計算量,同時施加SE Net注意力機制,減少因網(wǎng)絡(luò)輕量化以及復雜背景對檢測精度的負面影響,并對比不同注意力施加位置、不同網(wǎng)絡(luò)深度的檢測效果,選取最佳注意力施加位置和網(wǎng)絡(luò)深度,綜合考慮各項網(wǎng)絡(luò)性能評價指標,最終提出SSH-YOLOv5黃花成熟度檢測算法。試驗結(jié)果表明,改進后的輕量化算法可以滿足對黃花實際采摘需求。

參 考 文 獻

[1]馬聰, 陳學東. 黃花菜采摘機器人視覺系統(tǒng)研究[J]. 寧夏農(nóng)林科技, 2021, 62(12): 60-64.

Ma Cong, Chen Xuedong. Vision system of daylily picking robot [J]. Ningxia Journal of Agriculture and Forestry Science and Technology, 2021, 62(12): 60-64.

[2]鄭太雄, 江明哲, 馮明馳. 基于視覺的采摘機器人目標識別與定位方法研究綜述[J]. 儀器儀表學報, 2021, 42(9): 28-51.

Zheng Taixiong, Jiang Mingzhe, Feng Mingchi. Vision based target recognition and location for picking robot: A review [J]. Chinese Journal of Scientific Instrument, 2021, 42(9): 28-51.

[3]岑海燕, 朱月明, 孫大偉, 等. 深度學習在植物表型研究中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學報, 2020, 36(9): 1-16.

Cen Haiyan, Zhu Yueming, Sun Dawei,et al. Current status and future perspective of the application of deep learning in plant phenotype research [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(9): 1-16.

[4]趙立新, 邢潤哲, 白銀光, 等. 深度學習在目標檢測的研究綜述[J]. 科學技術(shù)與工程, 2021, 21(30): 12787-12795.

Zhao Lixin, Xing Runzhe, Bai Yinguang, et al. Review on survey of deep learning in target detection [J]. Science Technology and Engineering, 2021, 21(30): 12787-12795.

[5]Girshick R, Donahue J, Darrell T, et al. Region based convolutional networks for accurate object detection and segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1): 142-158.

[6]Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 1137-1149.

[7]Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multi box detector [C]. European Conference on Computer Vision, 2016: 21-37.

[8]Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 779-788.

[9]Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 7263-7271.

[10]Redmon J, Farhadi A. YOLOv3: An incremental improvement [C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

[11]董文軒, 梁宏濤, 劉國柱, 等. 深度卷積應(yīng)用于目標檢測算法綜述[J]. 計算機科學與探索, 2022, 16(5): 1025-1042.

Dong Wenxuan, Liang Hongtao, Liu Guozhu, et al. Review of deep convolution applied to target detection algorithms [J]. Journal of Frontiers of Computer Science and Technology, 2022, 16(5):1025-1042.

[12]朱紅春, 李旭, 孟煬, 等. 基于Faster R-CNN網(wǎng)絡(luò)的茶葉嫩芽檢測[J]. 農(nóng)業(yè)機械學報, 2022, 53(5): 217-224.

Zhu Hongchun, Li Xu, Meng Yang, et al. Tea bud detection based on Faster R-CNN network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(5): 217-224.

[13]岳有軍, 孫碧玉, 王紅君, 等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄果實目標檢測[J]. 科學技術(shù)與工程, 2021, 21(6): 2387-2391.

Yue Youjun, Sun Biyu, Wang Hongjun, et al. Object detection of tomato fruit based on cascade RCNN [J]. Science Technology and Engineering, 2021, 21(6): 2387-2391.

[14]湯旸, 楊光友, 王焱清. 面向采摘機器人的改進YOLOv3-tiny輕量化柑橘識別方法[J]. 科學技術(shù)與工程, 2022, 22(31): 13824-13832.

Tang Yang, Yang Guangyou, Wang Yanqing. Improved YOLOv3-tiny lightweight citrus recognition method for picking robot [J]. Science Technology and Engineering, 2022, 22(31): 13824-13832.

[15]王卓, 王健, 王梟雄, 等. 基于改進YOLOv4的自然環(huán)境蘋果輕量級檢測方法[J]. 農(nóng)業(yè)機械學報, 2022, 53(8): 294-302.

Wang Zhuo, Wang Jian, Wang Xiaoxiong, et al. Lightweight real-time apple detection method based on improved YOLOv4 [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(8): 294-302.

[16]Zhang L, Wu L, Liu Y. Hemerocallis citrina Baroni maturity detection method integrating lightweight neural network and dual Attention mechanism [J]. Electronics, 2022, 11(17): 2743.

[17]鄧穎, 吳華瑞, 朱華吉. 基于實例分割的柑橘花朵識別及花量統(tǒng)計[J]. 農(nóng)業(yè)工程學報, 2020, 36(7): 200-207.

Deng Ying, Wu Huarui, Zhu Huaji. Recognition and counting of citrus flowers based on instance segmentation [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(7): 200-207.

[18]宋爽, 張悅, 張琳娜, 等. 基于深度學習的輕量化目標檢測算法[J]. 系統(tǒng)工程與電子技術(shù), 2022, 44(9): 2716-2725.

Song Shuang, Zhang Yue, Zhang Linna, et al. Lightweight target detection algorithm based on deep learning [J]. Systems Engineering and Electronics, 2022, 44(9): 2716-2725.

[19]李東升, 胡文澤, 蘭玉彬, 等. 深度學習在雜草識別領(lǐng)域的研究現(xiàn)狀與展望[J]. 中國農(nóng)機化學報, 2022, 43(9): 137-144.

Li Dongsheng, Hu Wenze, Lan Yubin, et al. Research status and prospect of deep learning in weed recognition [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(9): 137-144.

[20]Ma N, Zhang X, Zheng H, et al. Shuffle Net v2: Practical guidelines for efficient CNN architecture design[C]. European Conference on Computer Vision, 2018: 116-131.

[21]Zhang X, Zhou X, Lin M, et al. Shuffle Net: An extremely efficient convolutional neural network for mobile devices [C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018: 6848-6856.

[22]Andrew G Howard, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications [J]. Computer Vision and Pattern Recognition, 2017.

[23]Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks [C]. IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4510-4520.

猜你喜歡
注意力機制黃花輕量化
云小萱:助大同黃花飄香
三利黃花:三代人專注59年
汽車輕量化集成制造專題主編
黃花梁啊黃花香
黃河之聲(2020年16期)2020-11-05 01:57:46
路邊種黃花“一種三得”
基于深度學習的問題回答技術(shù)研究
一種輕量化自卸半掛車結(jié)構(gòu)設(shè)計
智富時代(2019年2期)2019-04-18 07:44:42
基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
基于注意力機制的雙向LSTM模型在中文商品評論情感分類中的研究
軟件工程(2017年11期)2018-01-05 08:06:09
InsunKBQA:一個基于知識庫的問答系統(tǒng)
南溪县| 潍坊市| 香河县| 福安市| 江西省| 肇东市| 蚌埠市| 通州区| 丽江市| 新昌县| 密云县| 彭阳县| 辉县市| 文水县| 德庆县| 赞皇县| 寻乌县| 石阡县| 天镇县| 新乡市| 岑溪市| 云浮市| 庆城县| 鄂尔多斯市| 汝州市| 红安县| 济宁市| 鄄城县| 蒙城县| 秦皇岛市| 肇州县| 宁城县| 林周县| 丽水市| 岢岚县| 梅州市| 和顺县| 罗田县| 山阳县| 阜新| 大石桥市|