袁紅春, 白寶來, 陶 磊

(上海海洋大學(xué)信息學(xué)院,上海 201306)

中華絨螯蟹(Eriocheirsinernsis),俗稱河蟹、毛蟹或大閘蟹,是我國(guó)特有的水產(chǎn)珍品,具有極高的經(jīng)濟(jì)及醫(yī)用價(jià)值[1]。由于缺乏規(guī)范化、標(biāo)準(zhǔn)化管理措施,目前我國(guó)中華絨螯蟹養(yǎng)殖的自動(dòng)化程度低[2]。通過目標(biāo)檢測(cè)方法精確地檢測(cè)與定位中華絨螯蟹,可以為精確投放餌料、質(zhì)量估計(jì)、形態(tài)學(xué)分析和行為分析等提供指導(dǎo)方案,實(shí)現(xiàn)自動(dòng)化養(yǎng)殖。Faster RCNN[3]、YOLO系列[4-7]和FCOS[8]檢測(cè)方法是通過水平檢測(cè)框來定位目標(biāo),檢測(cè)精度高,但不適用于中華絨螯蟹目標(biāo)檢測(cè)。由于中華絨螯蟹的活動(dòng)方向是任意的,水平檢測(cè)框會(huì)造成目標(biāo)范圍不準(zhǔn)確(包含大量背景區(qū)域),且中華絨螯蟹在攝食、避險(xiǎn)等情況下水平檢測(cè)框之間會(huì)出現(xiàn)強(qiáng)烈重疊,從而降低檢測(cè)精度,無法獲得目標(biāo)運(yùn)動(dòng)方向的信息[9]。使用具有角度信息的旋轉(zhuǎn)目標(biāo)檢測(cè)方法可以克服水平檢測(cè)框定位目標(biāo)檢測(cè)方法的局限性,例如:Yang et al[10]在Faster RCNN基礎(chǔ)上添加一個(gè)角度預(yù)測(cè)分支構(gòu)成旋轉(zhuǎn)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(rotational region CNN,R2CNN)模型,但該模型存在檢測(cè)速度慢、角度回歸不準(zhǔn)確等問題;Xu et al[11]采用一種新的旋轉(zhuǎn)框表示方法建立旋轉(zhuǎn)目標(biāo)檢測(cè)(gliding vertex )模型,但這一模型存在檢測(cè)框預(yù)測(cè)不準(zhǔn)確、檢測(cè)速度慢等問題;Yang et al[12]采用從粗粒度到細(xì)粒度逐步回歸的方法(R3Det)來快速、準(zhǔn)確地檢測(cè)目標(biāo),但該方法存在訓(xùn)練速度慢等問題;Zhou et al[13]通過在模型中使用極坐標(biāo)系建立一種無錨框的旋轉(zhuǎn)檢測(cè)方法(rotation-equivariant detector, P-RSDet),但檢測(cè)精度不高。由此可知,現(xiàn)有的旋轉(zhuǎn)目標(biāo)檢測(cè)方法難以同時(shí)兼顧檢測(cè)精度、訓(xùn)練速度和檢測(cè)速度。

YOLOv5_OBB是在YOLOv5[14]基礎(chǔ)上使用環(huán)形平滑標(biāo)簽(circular smooth label, CSL)技術(shù)[15]完成旋轉(zhuǎn)目標(biāo)的檢測(cè)的,具有輕量化和實(shí)時(shí)性等優(yōu)點(diǎn),但檢測(cè)準(zhǔn)確率不夠高。針對(duì)中華絨螯蟹數(shù)據(jù)集存在小目標(biāo)和密集目標(biāo)的情況,本研究擬對(duì)YOLOv5_OBB模型進(jìn)行改進(jìn),基于中華絨螯蟹數(shù)據(jù)集驗(yàn)證各種改進(jìn)措施的檢測(cè)精度,實(shí)現(xiàn)對(duì)中華絨螯蟹的快速檢測(cè)和準(zhǔn)確定位。

1 材料與方法

1.1 圖像采集與處理

中華絨螯蟹數(shù)據(jù)集圖像拍攝于2022年1月11日至15日,在寬38 cm、長(zhǎng)56 cm的收納筐中放入8～23只中華絨螯蟹、3～7個(gè)石頭和1～4塊水草,以模擬中華絨螯蟹天然養(yǎng)殖環(huán)境。圖像尺寸為3 248×2 160,共1萬余張。通過篩選去除相似圖片、水體渾濁圖片和模糊圖片,保留5 000張圖片。

使用rolabelimg工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注,將每張圖片上的所有目標(biāo),包括中華絨螯蟹、石頭和水草,用最小任意方向的矩形框標(biāo)注。為了縮短圖像標(biāo)注的時(shí)間,降低成本,設(shè)計(jì)一種半自動(dòng)數(shù)據(jù)標(biāo)注方法:(1)使用旋轉(zhuǎn)標(biāo)記工具(rolabelimg)工具標(biāo)注少量數(shù)據(jù)集,記為已標(biāo)注數(shù)據(jù)集A;(2)使用數(shù)據(jù)集A訓(xùn)練模型M,選擇部分未標(biāo)注的數(shù)據(jù)集B,通過模型M檢測(cè)數(shù)據(jù)集B中的目標(biāo),保存檢測(cè)框信息;(3)在rolabelimg工具中手動(dòng)調(diào)整檢測(cè)框位置,并將數(shù)據(jù)集B放入已標(biāo)注的數(shù)據(jù)集A中。如果數(shù)據(jù)集U中所有圖像均標(biāo)注完畢,即A=U,則結(jié)束半自動(dòng)標(biāo)注;否則,重復(fù)上述(2)、(3)步驟,直至標(biāo)注完畢。

1.2 YOLOv5_OBB網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5_OBB旋轉(zhuǎn)目標(biāo)檢測(cè)算法以YOLOv5目標(biāo)檢測(cè)算法為基礎(chǔ),而YOLOv5目前共有5個(gè)版本,占用的計(jì)算資源和檢測(cè)準(zhǔn)確率有所不同。將旋轉(zhuǎn)目標(biāo)檢測(cè)框的角度回歸任務(wù)轉(zhuǎn)換為角度分類任務(wù),完成多方向目標(biāo)檢測(cè)。網(wǎng)絡(luò)模型由輸入端、主干網(wǎng)絡(luò)(backbone)、頸部模塊(neck)和輸出端4個(gè)部分組成。其中,輸入端、主干網(wǎng)絡(luò)和Neck模塊依然沿用YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu),在輸出端添加角度預(yù)測(cè)信息,包括損失計(jì)算和目標(biāo)檢測(cè)框篩選。在YOLOv5_OBB模型中使用一種沒有邊界問題的角度預(yù)測(cè)方法,即將角度預(yù)測(cè)作為分類問題。采用CSL技術(shù)完成角度分類任務(wù)。CSL的表達(dá)式為:

(1)

式中:g(x)為窗口函數(shù);r為窗口半徑;θ為當(dāng)前檢測(cè)框的角度。

1.3 改進(jìn)策略

由于中華絨螯蟹個(gè)體較小,在拍攝距離較大時(shí)數(shù)據(jù)集出現(xiàn)大量小目標(biāo)。在YOLOv5_OBB中,隨著數(shù)據(jù)流在網(wǎng)絡(luò)中不斷加深,目標(biāo)特征表現(xiàn)逐漸減弱,會(huì)造成小目標(biāo)漏檢。本研究通過在空間金字塔池化(spatial pyramid pooling -fast,SPPF)模塊之前添加通道關(guān)注(efficient channel attention, ECA)[16]模塊,增強(qiáng)網(wǎng)絡(luò)對(duì)重要通道的學(xué)習(xí)能力,提高模型對(duì)小目標(biāo)的識(shí)別率。此外,本研究采用加權(quán)雙向特征金字塔網(wǎng)絡(luò)(bidirectional feature pyramid network, BiFPN)多尺度特征融合,通過雙向跨尺度連接和加權(quán)特征融合得到包含高層和底層語(yǔ)義信息的全局特征,加強(qiáng)特征融合,提高檢測(cè)速度。

YOLOv5_OBB是一種基于錨框的目標(biāo)檢測(cè)算法,在不同尺度的特征圖上每個(gè)空間點(diǎn)安排3個(gè)先驗(yàn)框,從而產(chǎn)生大量負(fù)樣本,正負(fù)樣本之間不平衡,在密集目標(biāo)檢測(cè)中會(huì)出現(xiàn)漏檢或誤檢,故以變焦損失(varifocal loss, VFL)[17]代替焦點(diǎn)損失(focal loss)[18]。

(2)

式中:p∈[0,1],為正樣本預(yù)測(cè)概率;pγ為負(fù)樣本調(diào)制因子;q為目標(biāo)分?jǐn)?shù);對(duì)于正樣本,q為邊界框與真實(shí)值(ground truth, GT)之間的交并比(intersection over union, IOU)值。為了平衡正樣本和負(fù)樣本間的損失,在負(fù)樣本項(xiàng)中添加了一個(gè)可調(diào)整的比例因子α。

通過系統(tǒng)試驗(yàn),對(duì)不同的改進(jìn)策略進(jìn)行驗(yàn)證,評(píng)估這些策略對(duì)模型性能的提升效果,論證這些策略在提高模型性能方面的有效性。

1.4 試驗(yàn)設(shè)置

操作系統(tǒng)的配置為Ubuntu16.04.4 LTS系統(tǒng),深度學(xué)習(xí)框架為Pytorch 1.11.0和CUDA 11.2。計(jì)算機(jī)硬件配置: AMD 5950X CPU,GeForce RTX 3090 24 GB GPU,16 GB內(nèi)存。共拍攝5 000張圖像,按照8∶2劃分訓(xùn)練集和測(cè)試集。超參數(shù)設(shè)置:批大小(batch size)為16,訓(xùn)練周期(epochs)為200,初始學(xué)習(xí)率為0.01。中華絨螯蟹具有一定的長(zhǎng)寬比,圖像中特定角度明顯,使用CSL時(shí)窗口函數(shù)為高斯函數(shù),窗口半徑設(shè)置為6。

采用精確率P(precision)、召回率R(recall)和平均精度均值(mean average precision, mAP)來評(píng)價(jià)模型的準(zhǔn)確性。

2 結(jié)果與分析

2.1 基準(zhǔn)模型的選擇

YOLOv5_OBB是基于YOLOv5改建的,而YOLOv5共有5個(gè)版本。添加通道注意力(efficient channel attention, ECA)模塊后,以不同版本YOLOv5為基準(zhǔn)模型,采用BiFPN和變焦損失計(jì)算精確率、召回率、平均精度均值、權(quán)重,并進(jìn)行對(duì)比,結(jié)果如表1所示。

表1 YOLOv5基準(zhǔn)模型的對(duì)比結(jié)果Table 1 Comparison of YOLOv5 benchmark model

由表1可知,以YOLOv5n為基準(zhǔn)模型的召回率與最優(yōu)結(jié)果僅相差0.2%,而精確率、平均精度均值、模型大小和計(jì)算量在不同模型中的表現(xiàn)均好,因此,選擇YOLOv5n作為YOLOv5_OBB的基準(zhǔn)模型。

2.2 消融試驗(yàn)

通過消融試驗(yàn)驗(yàn)證各個(gè)改進(jìn)策略對(duì)模型的優(yōu)化效果?；谧越ǖ闹腥A絨螯蟹數(shù)據(jù)集,以精確率、召回率和平均精度均值作為評(píng)價(jià)指標(biāo),驗(yàn)證改進(jìn)效果,結(jié)果如表2所示。

表2 消融試驗(yàn)結(jié)果1) Table 2 Results of ablation experiment

由表2可知,本研究采用的改進(jìn)策略可提高中華絨螯蟹多方向目標(biāo)檢測(cè)精度,效果最佳。

2.3 改進(jìn)前后模型檢測(cè)精度的對(duì)比

通過檢測(cè)結(jié)果和可視化結(jié)果分析改進(jìn)后YOLOv5_OBB模型對(duì)目標(biāo)檢測(cè)精度的提升效果。在相同配置下將改進(jìn)后YOLOv5_OBB模型和原始YOLOv5_OBB模型訓(xùn)練200輪,得到精確率、召回率和平均精度均值的對(duì)比曲線(圖1)。由圖1可知:前25輪兩種模型都迅速收斂;75輪之后模型趨于穩(wěn)定;兩種模型的訓(xùn)練效果均沒有出現(xiàn)過擬合和欠擬合現(xiàn)象,且改進(jìn)后YOLOv5_OBB模型的各項(xiàng)評(píng)價(jià)指標(biāo)均有所改善。

圖1 不同評(píng)價(jià)指標(biāo)的對(duì)比曲線Fig.1 Comparison curves of different evaluation indicators

小目標(biāo)檢測(cè)結(jié)果如圖2A、2B所示,原YOLOv5_OBB對(duì)于右上角小目標(biāo)存在漏檢現(xiàn)象,而改進(jìn)后的YOLOv5_OBB成功檢測(cè)出此小目標(biāo),表明改進(jìn)后模型的檢測(cè)精度更高。密集目標(biāo)檢測(cè)結(jié)果如圖2C、2D所示,原YOLOv5_OBB存在3處誤檢(圖2C中的黑色標(biāo)注),而改進(jìn)后的YOLOv5_OBB沒有出現(xiàn)誤檢,表明改進(jìn)后模型的檢測(cè)準(zhǔn)確率提高。

圖2 可視化結(jié)果Fig.2 Visualized results

基于自建中華絨螯蟹數(shù)據(jù)集,原YOLOv5_OBB模型和改進(jìn)的YOLOv5_OBB模型在精確率、召回率、平均精度均值、權(quán)重和運(yùn)算量方面的對(duì)比結(jié)果如表3所示。從表3可知,改進(jìn)后的模型在權(quán)重增加0.1 MB、10億次浮點(diǎn)運(yùn)算量增加0.1 s的情況下,精確率提高了1.2%,召回率提高了1.9%,平均精度均值提高了1.3%?？梢暬Y(jié)果(圖2)和數(shù)據(jù)分析結(jié)果(表3)均驗(yàn)證了改進(jìn)策略的可行性。

表3 原始模型和改進(jìn)后模型的對(duì)比Table 3 Comparison between the original and improved model

2.4 不同模型的對(duì)比試驗(yàn)

使用Rotated FasterRCNN、RoI Transformer[19]、ReDet[20]和Oriented R-CNN[21]多方向目標(biāo)檢測(cè)模型與本文改進(jìn)的YOLOv5_OBB模型進(jìn)行對(duì)比,使用自建中華絨螯蟹數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試,得到各模型在精確率、召回率、平均精度均值和權(quán)重方面的對(duì)比結(jié)果(表4)。

表4 各模型對(duì)比結(jié)果Table 4 Comparison of each model

由表4可知,基于中華絨螯蟹數(shù)據(jù)集改進(jìn)的YOLOv5_OBB模型的精確率、平均精度均值和模型權(quán)重均優(yōu)于其他多方向目標(biāo)檢測(cè)算法,其召回率略低于RoI Transformer,但平均精度均值比RoI Transformer提高11.1%,模型大小僅4.4 MB。這表明改進(jìn)的YOLOv5_OBB模型的綜合性能更佳。

3 小結(jié)

本研究基于自建的中華絨螯蟹數(shù)據(jù)集,提出了一種基于改進(jìn) YOLOv5_OBB的旋轉(zhuǎn)目標(biāo)檢測(cè)方法,首先引入了高效通道注意模塊和BiFPN網(wǎng)絡(luò)結(jié)構(gòu),采用VariFocal Loss進(jìn)行訓(xùn)練,在YOLOv5_OBB的主干網(wǎng)絡(luò)中進(jìn)行特征融合,實(shí)現(xiàn)雙向跨尺度連接和加權(quán)特征融合。以精確度、召回率和平均精度均值作為評(píng)價(jià)指標(biāo)進(jìn)行檢測(cè),結(jié)果表明:改進(jìn)的YOLOv5_OBB模型的檢測(cè)精度比原模型有所提高,克服了原模型存在的小目標(biāo)和密集目標(biāo)漏檢或誤檢等問題;改進(jìn)的YOLOv5_OBB模型具有輕量化、檢測(cè)精度高等優(yōu)點(diǎn)。