国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種基于解耦旋轉(zhuǎn)錨框匹配策略的谷粒檢測方法

2022-02-07 02:08王宏樂王興林李文波鄒阿配葉全洲劉大存
廣東農(nóng)業(yè)科學(xué) 2022年12期
關(guān)鍵詞:錨框谷粒邊界

王宏樂,王興林,李文波,鄒阿配,葉全洲,劉大存

(1.華南理工大學(xué)環(huán)境與能源學(xué)院,廣東 廣州 510006;2.深圳市豐農(nóng)控股有限公司,廣東 深圳 518055;3.深圳市宇眾物聯(lián)科技有限公司,廣東 深圳 518126;4.深圳市豐農(nóng)數(shù)智農(nóng)業(yè)科技有限公司,廣東 深圳 518055)

【研究意義】種子檢測是作物質(zhì)量檢測的關(guān)鍵環(huán)節(jié),也是品種選育、新品種審定和推廣的重要依據(jù)。種子的傳統(tǒng)檢測方法主要依賴于人工或電子計(jì)數(shù)儀,存在效率低、誤差大、耗時(shí)耗力等問題[1-3]。Duan 等[4]研發(fā)了一種采用單色線陣列相機(jī)進(jìn)行稻粒圖像在線采集的水稻谷??挤N系統(tǒng),該系統(tǒng)能夠分析稻??偭?shù)、實(shí)粒數(shù)、空粒數(shù)和千粒重,但仍存在設(shè)備體積太大、功能不夠完善、使用不便利等問題。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)被運(yùn)用于農(nóng)業(yè)領(lǐng)域中的花、果以及種子計(jì)數(shù)等場景中[3,5-6]。Tan 等[7]報(bào)道了基于分割的水稻谷粒統(tǒng)計(jì)的算法;Yu 等[8]報(bào)道了使用深度學(xué)習(xí)框架R-CNN進(jìn)行水平框目標(biāo)檢測的方法對水稻小穗進(jìn)行識別和計(jì)數(shù),并獲得了優(yōu)異的效果;Deng 等[9]通過改進(jìn)R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化了稻穗上谷粒檢測的準(zhǔn)確性,使漏檢問題有所改善。新技術(shù)在考種領(lǐng)域的應(yīng)用可以提高工作效率和準(zhǔn)確度。在谷粒質(zhì)量檢測及水稻育種中,谷粒粒型(粒長、粒寬、長寬比)是品種選育、識別和衡量稻米外觀品質(zhì)的主要指標(biāo),與稻米食味品質(zhì)以及商業(yè)價(jià)值顯著相關(guān),可以使用圖像分割的方法、邊界提取算法來實(shí)現(xiàn)該參數(shù)的快速計(jì)算[1,10-14],但尚未見使用目標(biāo)檢測的方法來計(jì)算谷粒長寬比的報(bào)道。探索建立谷粒計(jì)數(shù)檢測和谷粒粒型參數(shù)提取相結(jié)合的可能性,可以簡化考種的工作流程,同時(shí)提升檢測效果以及探索其在考種中的應(yīng)用。

【前人研究進(jìn)展】目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域的基本任務(wù)之一。基于深度學(xué)習(xí)的目標(biāo)檢測算法有兩大主流方向,分別是兩階段(Twostage)模型和一階段(One-stage)模型[15]。兩階段模型以基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Regions with convolutional neural network,RCNN)的網(wǎng)絡(luò)結(jié)構(gòu)作為代表,第一步是計(jì)算生成候選框,第二步是通過深度學(xué)習(xí)對候選框進(jìn)行特征提取,預(yù)測候選框的目標(biāo)類別與目標(biāo)位置[16]。兩階段模型由于要對候選框進(jìn)行大量搜索,以及對大量候選框進(jìn)行卷積操作,使得計(jì)算比較耗時(shí)[17]。一階段模型以CenterNet 和YOLO(You only look once)系列為代表,可直接從輸入圖片中提取特征,同時(shí)確定目標(biāo)物體的類別與定位,實(shí)現(xiàn)了更快的檢測速度[18-19]。傳統(tǒng)的目標(biāo)檢測器通過水平邊界框(Horizontal bounding boxes,HBB)定位對象。HBB 具有良好的魯棒性,但準(zhǔn)確性不足,在許多實(shí)際應(yīng)用中具有一定的局限性,如文本識別、遙感目標(biāo)檢測等,這些目標(biāo)物體都具有任意方向性、高縱橫比和密集分布的特征,因此,基于HBB 的模型可能會導(dǎo)致嚴(yán)重的重疊和噪聲[17]。

為了解決這類問題,Ma 等[20]提出了基于旋轉(zhuǎn)的邊界框(Bounding box),并將之引入RPN架構(gòu),實(shí)現(xiàn)了遙感圖像任意方向的文本檢測;Zhou 等[21]提出一種新的旋轉(zhuǎn)目標(biāo)定義方式,通過學(xué)習(xí)特征點(diǎn)到旋轉(zhuǎn)框的四邊距離以及角度信息,實(shí)現(xiàn)了一階段文本檢測;Yang 等[22]提出一種新的一階段旋轉(zhuǎn)目標(biāo)檢測網(wǎng)絡(luò)(R3Det),該框架通過特征插值將當(dāng)前精煉的邊界框位置信息重新編碼為對應(yīng)的特征點(diǎn),以實(shí)現(xiàn)特征重構(gòu)和對齊,從而獲取更準(zhǔn)確的特征以提高旋轉(zhuǎn)目標(biāo)檢測性能。該方法的優(yōu)點(diǎn)是可以更好地分離密集分布的目標(biāo)物體,避免相鄰邊界框的重疊,以及減少捕獲目標(biāo)而引入的背景噪聲。目前,流行的基于回歸方式的角度預(yù)測方法存在一些邊界問題,會導(dǎo)致產(chǎn)生一個(gè)較大的損失值,因此,Yang 等[23]提出環(huán)形平滑標(biāo)簽(Circular smooth label,CSL)方法,將角度的回歸問題轉(zhuǎn)換成一個(gè)分類問題,通過限制預(yù)測結(jié)果的范圍來消除這一問題。隨后,Yang 等[24]進(jìn)一步從過于厚重的預(yù)測層以及對類正方形目標(biāo)檢測不友好等方面優(yōu)化了CSL 旋轉(zhuǎn)目標(biāo)檢測網(wǎng)絡(luò),提升了檢測精度。盡管上述方法在旋轉(zhuǎn)目標(biāo)檢測方面取得很大進(jìn)步,但是旋轉(zhuǎn)邊界框的引入還是會存在一些小問題,比如較小的角度變化將導(dǎo)致交并比(Intersection over union,IoU)迅速下降,導(dǎo)致檢測結(jié)果不準(zhǔn)確。為了解決這一問題,一種比較好的方法就是解耦旋轉(zhuǎn)錨框的匹配,將旋轉(zhuǎn)邊界框(Oriented bounding boxes,OBB)視為水平邊界框(HBB)和角度的組合,匹配過程基于旋轉(zhuǎn)解耦邊界框的IoU 而非OBB,因此錨框匹配的穩(wěn)定性會更好[17]。

【本研究切入點(diǎn)】傳統(tǒng)水平框檢測雖已得到廣泛應(yīng)用,并具有相當(dāng)準(zhǔn)確率,但對不規(guī)則的目標(biāo)物體特征提取仍十分有限。解耦的旋轉(zhuǎn)錨框匹配策略是基于特征金字塔網(wǎng)絡(luò)(FPN)的結(jié)構(gòu),該結(jié)構(gòu)采用了多尺度特征融合技術(shù),對小目標(biāo)物體檢測效果有比較明顯的提升,適合于遙感和水稻谷粒等小目標(biāo)物體檢測。【擬解決的關(guān)鍵問題】相比傳統(tǒng)HBB 檢測中存在大量非目標(biāo)背景區(qū)域,不能準(zhǔn)確計(jì)算出水稻谷粒的長寬比,不利于檢測目標(biāo)區(qū)域準(zhǔn)確的面積計(jì)算,使得傳統(tǒng)水平框目標(biāo)檢測不能在考種中對谷粒長寬比進(jìn)行有效計(jì)算。傳統(tǒng)水平框的目標(biāo)檢測方法,因標(biāo)注區(qū)域存在非目標(biāo)區(qū)域,以及水平框標(biāo)注不能解決密集分布目標(biāo)的重疊問題,較難實(shí)現(xiàn)對密集分布目標(biāo)檢測的準(zhǔn)確區(qū)分,經(jīng)常存在漏檢情況。本研究旨在設(shè)計(jì)一種解耦的旋轉(zhuǎn)錨框匹配策略,在保證檢測精度的同時(shí)實(shí)現(xiàn)稻谷長寬比的快速準(zhǔn)確計(jì)算,簡化考種工作流程,開發(fā)方便快速的基于計(jì)算機(jī)視覺目標(biāo)檢測的谷粒檢測新方式,并探索基于這種錨框匹配策略在考種中的應(yīng)用。

1 材料與方法

1.1 數(shù)據(jù)采集、特征標(biāo)注及處理

水稻谷粒數(shù)據(jù)集的采集設(shè)備為CANON powershot A70,像素為320 萬,拍攝時(shí)光源為自然光,光照強(qiáng)度為100~1 000 lx。將水稻谷粒置于黑色或白色背景板上,谷粒隨機(jī)排列。相機(jī)固定于50 cm 高處用于水稻谷粒圖像采集,采集的圖像中的谷粒數(shù)量為1~500 不等。

為降低重復(fù)圖片數(shù)量以及無谷粒圖片對模型訓(xùn)練的干擾,使用人工篩選的方法對采集圖像進(jìn)行數(shù)據(jù)清洗,即刪除同一個(gè)樣本的重復(fù)圖片。清洗后的數(shù)據(jù)采用人工劃分方法,使用Rolabelimg軟件[23]對目標(biāo)谷粒分別進(jìn)行水平框和旋轉(zhuǎn)框的框選,對圖像邊緣顯示的谷粒面積≥30%以上進(jìn)行標(biāo)定,否則不標(biāo)定。水平框標(biāo)注采用(x,y,w,h)表示,其中(x,y)是目標(biāo)框的中心坐標(biāo),w和h是分別沿X 和Y 軸的邊界框的長度。旋轉(zhuǎn)框標(biāo)注采用(x,y,h,w,θ)表示(圖1),θ為旋轉(zhuǎn)框與水平線的夾角。

圖1 訓(xùn)練集圖片的不同標(biāo)注方式Fig.1 Different types of annotations of bounding boxes in training datasets

自建的水稻谷粒數(shù)據(jù)集包含144 張標(biāo)注的圖片,其中訓(xùn)練集96 張,測試集和驗(yàn)證集各24 張,白色背景和黑色背景數(shù)據(jù)各50%,共包含2 922個(gè)谷粒樣本,圖片分辨率為20 161 512。驗(yàn)證集用于平均準(zhǔn)確率(Mean average precision,mAP)的計(jì)算,測試集用于計(jì)算召回率和精確率。將圖片尺寸調(diào)整到640×640,用于訓(xùn)練與測試。

1.2 檢測方法

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu) 水平標(biāo)注水稻谷粒圖像使用YOLOv5l 的網(wǎng)絡(luò)體系結(jié)構(gòu),模型的深度和寬度均為1,參照李志軍等[24]的方法進(jìn)行實(shí)驗(yàn),將前景和背景IoU 閾值設(shè)置為0.3。本研究參照解耦旋轉(zhuǎn)框檢測匹配策略(Rotation-decoupled detector,RDD)的方法[17],首先從骨干網(wǎng)絡(luò)中獲取多尺度特征圖,其次是將多尺度特征圖輸入金字塔結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行特征融合。金字塔網(wǎng)絡(luò)實(shí)現(xiàn)了語義信息的傳輸,這有助于進(jìn)行多尺度目標(biāo)檢測。為了連接不同比例的特征層,對特征圖進(jìn)行上采樣,并將其與上一層特征圖的對應(yīng)元素相加。在求和前后,添加卷積層以確保檢測特征的可分辨性。最后,預(yù)測層輸出分類和回歸。分類和回歸使用具有相同結(jié)構(gòu)的兩個(gè)預(yù)測層,并且它們僅在輸出通道數(shù)上有所不同。分類的輸出通道數(shù)為a×c,回歸的輸出通道數(shù)為a×5,a、c 分別對應(yīng)錨點(diǎn)和類別的數(shù)量,所示結(jié)構(gòu)在實(shí)踐中也可以擴(kuò)展到更多的層。在訓(xùn)練階段設(shè)計(jì)旋轉(zhuǎn)解耦的錨框匹配策略,隨后的模型只使用水平錨框,而不是旋轉(zhuǎn)錨框。本研究選擇ResNet101 和DarkNet53[16-17,25]進(jìn)行試驗(yàn)。

1.2.2 邊界框表示 本研究采用一種新的邊界框表示方法,結(jié)合了HBB 和OBB 方法各自的優(yōu)點(diǎn),這種邊界框表示方法將OBB 分類成兩類,一類為長邊沿水平方向的矩形框(x,y,w,h),另一類為長邊垂直水平方向的矩形框(x,y,h,w),任何OBB 都可以由這兩類HBB 來表示,它們具有相同的形狀和中心點(diǎn),它們之間的夾角θ被約束在[-π/4,π/4]之內(nèi),這個(gè)夾角θ重新定義為新邊界框的角度。新的旋轉(zhuǎn)邊界框的表示與傳統(tǒng)HBB 表示方法較類似,在與真實(shí)框(Ground truth)進(jìn)行匹配計(jì)算時(shí),能有效避免OBB 帶來的角度周期性問題。此外,傳統(tǒng)的旋轉(zhuǎn)檢測器為了獲取任意角度目標(biāo)物體的準(zhǔn)確檢測,采取了大量旋轉(zhuǎn)錨框設(shè)置,相比之下,新的旋轉(zhuǎn)邊界框表示減少了大量錨框的使用,極大地優(yōu)化了模型訓(xùn)練與推理過程。

1.2.3 旋轉(zhuǎn)解耦錨框匹配策略 基于上述定義的邊界框,可以實(shí)現(xiàn)一種旋轉(zhuǎn)解耦的錨框匹配策略。首先將旋轉(zhuǎn)的邊界框或者真實(shí)框解耦為長邊平行或垂直水平方向的矩形框和一個(gè)夾角,其中解耦后的矩形框被用作新的真實(shí)框進(jìn)行匹配,這樣旋轉(zhuǎn)框的夾角就不會參與到真實(shí)框的匹配過程,減少角度周期性引入的干擾。具體來說,當(dāng)IoU 大于前景給定閾值時(shí),將錨框分配給真實(shí)框并歸入前景(正樣本)參與訓(xùn)練;當(dāng)IoU 低于背景給定閾值時(shí),將錨框歸為背景(負(fù)樣本)參與訓(xùn)練。本研究將前景IoU 閾值設(shè)置為0.5,將背景IoU 閾值設(shè)置為0.4。為了使得錨框能夠更好地與不同尺度不同方向的真實(shí)框進(jìn)行匹配,這里使用了7 個(gè)寬高比{1、3/2、2/3、3、1/3、5、1/5、8、1/8}的水平錨框,每個(gè)水平錨框再使用3 種不同尺度{20、21/3、22/3}的縮放。

1.2.4 損失函數(shù) 對于目標(biāo)檢測問題,損失函數(shù)都會包括分類問題和回歸問題的損失函數(shù)。對于分類損失,根據(jù)前面設(shè)置的正負(fù)樣本IoU 閾值,圖片在錨框與真實(shí)框匹配過程中會被標(biāo)記為正樣本或者負(fù)樣本,由于大量圖片的真實(shí)目標(biāo)占比較少,所以標(biāo)定的負(fù)樣本會遠(yuǎn)遠(yuǎn)多于正樣本,從而導(dǎo)致訓(xùn)練過程中正-負(fù)樣本不平衡問題。為了緩解這種不平衡問題,分類損失采用當(dāng)前使用比較流行的Focal loss 損失函數(shù)(Lcls),計(jì)算方法參照Lin 等[26]的方法。對于回歸損失,如果直接使用絕對坐標(biāo)預(yù)測真實(shí)框,會導(dǎo)致定位不準(zhǔn)確。由于真實(shí)框尺度不一致,預(yù)測框與真實(shí)框的相同偏差對不同尺度真實(shí)框的誤差表現(xiàn)會不一樣,尺度大的真實(shí)框誤差表現(xiàn)較小,尺度小的真實(shí)框誤差表現(xiàn)較大,因而直接預(yù)測絕對坐標(biāo)所產(chǎn)生的loss 不能真正反映預(yù)測框的好壞,因此采用目前流行的偏移量進(jìn)行回歸預(yù)測,回歸損失(Lreg)的計(jì)算參照Zhong 等[17]的方法??偟膿p失函數(shù)(Ltotal)由分類損失和回歸損失組成,表示為Ltotal=Lcls+λLreg,兩項(xiàng)之間的權(quán)衡由平衡參數(shù)λ 控制,本研究將λ 設(shè)置為1。

1.3 模型訓(xùn)練

本研究在臺式計(jì)算機(jī)上,基于PyTorch 深度學(xué)習(xí)框架實(shí)現(xiàn)改進(jìn)模型和訓(xùn)練算法。臺式計(jì)算機(jī)配有NVIDIA V100 的圖形處理器(GPU),搭載Intel(R) Xeon(R) Gold 5218 CPU@2.30GHz,內(nèi)存為128 GB。實(shí)驗(yàn)環(huán)境為Ubuntu 18.04 LTS 64 位系統(tǒng)、Cuda11.3、Cudnn8.1.0、Pytorch1.7.1、Python3.7。

本研究模型訓(xùn)練使用YOLOv5l 進(jìn)行水平框標(biāo)注圖片的訓(xùn)練,使用DarkNet53 和ResNet101 進(jìn)行旋轉(zhuǎn)框標(biāo)注圖片的訓(xùn)練。水平框和旋轉(zhuǎn)框標(biāo)注圖像訓(xùn)練采用的批處理大小為64,輸入圖像統(tǒng)一分辨率為640×640。其中旋轉(zhuǎn)框標(biāo)注圖片訓(xùn)練使用衰減系數(shù)為5×10-4、動量為0.9 的隨機(jī)梯度下降(Stochastic gradient desent,SGD)作為優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.001,學(xué)習(xí)率調(diào)整策略為帶熱重啟的隨機(jī)梯度下降(Stochastic gradient descent with warm restart,SGDR)[27-28],基本周期為1,倍率為2,每個(gè)周期開始時(shí)學(xué)習(xí)率為基礎(chǔ)學(xué)習(xí)率,結(jié)束后學(xué)習(xí)率降為0,學(xué)習(xí)率退火方式為余弦退火[29]。實(shí)驗(yàn)共設(shè)計(jì)3 種不同的迭代次數(shù),分別為3 600、5 040、6 000 次。

1.4 水稻谷粒長寬比計(jì)算

從測試集中隨機(jī)抽取32 粒稻谷計(jì)算長寬比。水稻谷粒的真實(shí)長寬比由游標(biāo)卡尺測量及計(jì)算,長寬比為谷粒的真實(shí)長度(h)與寬度(w)的比值。使用HBB 和OBB 檢測模型預(yù)測的谷粒長寬比(Aspect ratio,AR)計(jì)算公式如下:

平均長寬比為32 個(gè)水稻谷粒測量值或預(yù)測值的平均值。預(yù)測結(jié)果的準(zhǔn)確性使用均方根誤差(Root mean square error,RMSE)進(jìn)行評價(jià)。數(shù)據(jù)分析使用SAS 軟件(Release 8.01)和EXCEL2007軟件;利用方差分析(ANOVA)及鄧肯氏新復(fù)極差法(Duncan’s Multiple Range Test,DMRT),在P=0.05 水平上進(jìn)行差異顯著性分析。

2 結(jié)果與分析

用相同的驗(yàn)證集和測試集樣本對構(gòu)建的基于HBB 的YOLOv5l 模 型、基 于OBB 的ResNet101和DarkNet53 模型進(jìn)行測試,結(jié)果如表1 所示。由表1 可知,所有模型平均精度均值(Mean average precision,mAP)在88.69%~94.80%之間,精確率為99.47%~100.00%,召回率為95.95%~99.47%。其 中,YOLOv5l 模型的mAP 值略高于基于OBB 的ResNet101 和DarkNet53 模 型;除迭代3 600 次的ResNet101 模型的召回率為95.95%,低 于YOLOv5l 模型的97.71%~98.06%外,其余基于OBB 訓(xùn)練的模型的召回率均不低于YOLOv5l 模型。這表明基于OBB 的ResNet101 和DarkNet53 模型以及基于HBB 的YOLOv5l 模型均對谷粒圖像具有較高的識別精度,基于OBB 的目標(biāo)檢測的深度學(xué)習(xí)方法可成功對谷粒圖像進(jìn)行準(zhǔn)確識別。圖2 為YOLOv5l(水平框)、ResNet101(旋轉(zhuǎn)框)以及DarkNet53(旋轉(zhuǎn)框)3 種網(wǎng)絡(luò)結(jié)構(gòu)分別迭代6 000 次的模型在測試集上的檢測結(jié)果,藍(lán)色框表示漏檢,黃色框表示誤檢,邊緣少于30%的谷粒不納入統(tǒng)計(jì)。

圖2 3 種不同網(wǎng)絡(luò)結(jié)構(gòu)的模型在測試集上的谷粒檢測結(jié)果Fig.2 Grains detection results of three different network structures in test datasets

2.1 模型迭代次數(shù)對谷粒識別率的影響

本研究選擇YOLOv5l 網(wǎng)絡(luò)結(jié)構(gòu)對水平框標(biāo)注圖片進(jìn)行訓(xùn)練,選擇ResNet101 和DarkNet53 對旋轉(zhuǎn)框標(biāo)注圖片進(jìn)行訓(xùn)練。模型訓(xùn)練迭代次數(shù)分別為3 600、5 040、6 000 次。由表1 可知,不同網(wǎng)絡(luò)結(jié)構(gòu)模型的mAP 均隨迭代次數(shù)增加而增加,當(dāng)?shù)螖?shù)從3 600 次增加到6 000 次時(shí),mAP增加幅度最小的網(wǎng)絡(luò)結(jié)構(gòu)模型為ResNet101,變化值為0.33%;其次為YOLOv5l,mAP 增加幅度為0.80%;mAP 增加幅度最大的是DarkNet53,變化值為3.54%。同時(shí),所有模型的召回率也隨迭代次數(shù)增加而增加,當(dāng)?shù)螖?shù)從3 600 次增加到6 000 次時(shí),ResNet101 的召回率從95.95%增加到98.59%,變化值為2.64%;YOLOv5l 的召回率從97.71%增加到98.06%,變化值為0.35%;DarkNet53 的召回率從98.94%增加到99.47%,變化值為0.53%。

表1 不同方法在水稻谷粒測試集的檢測精度對比Table 1 Comparison of detection accuracy of different methods in rice grains test dataset

2.2 不同方式標(biāo)注對模型谷粒識別率的影響

由表1 可知,使用水平框標(biāo)注圖片訓(xùn)練的YOLOv5l 模型的mAP 值均在94%以上,略高于使用旋轉(zhuǎn)框標(biāo)注圖片訓(xùn)練的DarkNet53 和ResNet101 模型。但這3 種不同網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練得到的模型的召回率差別不大,以DarkNet53 明顯優(yōu)于YOLOv5l 和ResNet101,而在迭代次數(shù)大于5 040 次后,ResNet101 表現(xiàn)優(yōu)于YOLOv5l。由圖2 可知,使用旋轉(zhuǎn)框標(biāo)注圖片訓(xùn)練的模型檢測到的目標(biāo)物體中包含的非目標(biāo)背景區(qū)域占比更少;當(dāng)目標(biāo)樣本密集分布時(shí),使用水平框標(biāo)注圖片訓(xùn)練的YOLOv5l 模型存在漏檢情況,而使用旋轉(zhuǎn)框標(biāo)注圖片訓(xùn)練的ResNet101 和DarkNet53 模型的漏檢情況得到明顯改善。相比使用水平框標(biāo)注圖片訓(xùn)練的YOLOv5l 模型,ResNet101 和DarkNet53在誤檢上表現(xiàn)稍為遜色;當(dāng)YOLOv5l 模型迭代次數(shù)大于5 040 次時(shí)的精確率可達(dá)100.00%,而在使用旋轉(zhuǎn)框標(biāo)注圖片訓(xùn)練得到的模型中,除ResNet101-3600 精確率為100.00%外,其他模型的精確率均在99.00%以上。

2.3 不同方式的標(biāo)注對模型在谷粒長寬比計(jì)算的影響

由表2 可知,使用基于YOLOv5l 的HBB 檢測模型計(jì)算得到的谷粒平均長寬比范圍為2.14~2.16,使用OBB 檢測模型計(jì)算得到的谷粒平均長寬比范圍為3.37~3.57,真實(shí)值的谷粒平均長寬比為3.57。與真實(shí)值相比,HBB 檢測模型計(jì)算結(jié)果的均方根誤差為9.38~9.45,而旋轉(zhuǎn)框檢測模型的計(jì)算結(jié)果的均方根誤差值為0.91~2.29,且訓(xùn)練迭代次數(shù)增加與預(yù)測準(zhǔn)確性無明顯相關(guān)。顯著性分析結(jié)果表明,基于YOLOv5l 的HBB 檢測模型的計(jì)算結(jié)果與真實(shí)值存在顯著差異,而基于DarkNet53 和ResNet101 的OBB 檢測模型的計(jì)算結(jié)果與真實(shí)值無顯著差異。結(jié)果表明,HBB 檢測模型不能準(zhǔn)確地計(jì)算水稻谷粒的長寬比,而使用OBB 檢測模型可以準(zhǔn)確預(yù)測并計(jì)算水稻谷粒的長寬比。

表2 不同模型計(jì)算的水稻谷粒長寬比Table 2 Aspect ratios of rice grains calculated by different models

3 討論

傳統(tǒng)的水平框檢測雖然具有不錯(cuò)的準(zhǔn)確率,但對細(xì)長的密集物體依然存在漏檢現(xiàn)象,且不利于準(zhǔn)確提取該類物體的長寬比。因此,開發(fā)谷粒計(jì)數(shù)與谷粒長寬比提取相結(jié)合的輕量型模型很有必要,在谷粒質(zhì)量快速檢測以及品種快速鑒定的場景中具有實(shí)用意義。本研究中,HBB 檢測模型YOLOv5l 的mAP 值略高于OBB 檢測模型DarkNet53 和ResNet101。OBB 相 比HBB,增 加了邊界框的角度θ,而θ具有周期性,會導(dǎo)致IoU突然下降,同時(shí)預(yù)測框角度的較小變化,對IoU造成很大損失[17,22],這可能是造成其mAP 低于HBB 的主要原因。本研究使用的OBB 檢測方法,誤檢率高于水平框的傳統(tǒng)檢測方法,仍需進(jìn)一步優(yōu)化以降低誤檢率。

水稻谷粒的長寬比與其品種、質(zhì)量等級、價(jià)格息息相關(guān),其中雜質(zhì)和不完善粒的比例極大影響谷粒的質(zhì)量等級和價(jià)格,也是糧食育種選擇、品種鑒定的重要參數(shù)之一[10-13,29]。Gotmare 等[28]使用MATLAB 處理圖像提取谷粒的空間參數(shù)信息來計(jì)算谷粒的長寬比及粒徑分布,誤差率約為10%左右,但在當(dāng)時(shí)的環(huán)境條件下運(yùn)行緩慢,沒有實(shí)用性。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的圖像分割技術(shù)也可用于種子計(jì)數(shù)及長寬比計(jì)算,但訓(xùn)練需要的圖像標(biāo)注方法復(fù)雜,耗時(shí)費(fèi)力,計(jì)算相對耗時(shí),而且分割計(jì)算種子長寬比采用的是分割結(jié)果的外接矩形框,因此受分割準(zhǔn)確度影響較大[3,5-6,8,31-32];相比之下,本研究建立的谷粒計(jì)數(shù)及長寬比計(jì)算方法具有標(biāo)注簡單、計(jì)算速度更快的優(yōu)點(diǎn),而且能直接輸出種子長寬比,具有較強(qiáng)的實(shí)用性。

水稻谷粒性狀包括形狀、形態(tài)、紋理等指標(biāo),其中粒長、粒寬、長寬比、圓度與水稻產(chǎn)量和外觀品質(zhì)直接相關(guān)[10-13,33-35]。本研究使用的旋轉(zhuǎn)框目標(biāo)檢測方法可實(shí)現(xiàn)較高精度的谷粒計(jì)數(shù)及谷粒長寬比的快速計(jì)算,但目前無法實(shí)現(xiàn)其他指標(biāo)如截面積、圓度等的精細(xì)測量。黃成龍等[11]報(bào)道了基于X-ray 透射成像的稻穗米粒的檢測測量方法,包括谷粒粒型、長度、寬度及飽滿度,平均誤差小于2%,但X-ray 的采集設(shè)備十分昂貴。本研究使用的旋轉(zhuǎn)框檢測策略在迭代6 000 次后具有不錯(cuò)的測量精度,測量的長寬比與實(shí)際測量值相比均方根誤差均小于1,且本研究建立的谷粒計(jì)數(shù)及長寬比計(jì)算方法僅需普通攝像頭拍攝可見光照片即可實(shí)現(xiàn),具有方便、價(jià)格低廉的優(yōu)點(diǎn)。

本研究使用的方法對密集谷粒的漏檢存在一定改善,但仍存在對非谷粒物體的誤檢情況,有待進(jìn)一步優(yōu)化。在進(jìn)一步的研究中,將考慮通過準(zhǔn)備摻混不同谷粒雜質(zhì),并通過計(jì)算目標(biāo)物體的長寬比來實(shí)現(xiàn)雜質(zhì)檢測的方法來嘗試實(shí)現(xiàn)凈度分析、種子真實(shí)性和品種純度鑒定,同時(shí)與現(xiàn)行標(biāo)準(zhǔn)方法[33]的結(jié)果進(jìn)行比較來進(jìn)一步驗(yàn)證方法的可行性及可靠性。

4 結(jié)論

本研究結(jié)果表明,與HBB 檢測方法相比,使用OBB 檢測方法,更加適合高縱橫比及密集分布的目標(biāo)檢測,如谷粒檢測。該方法相比傳統(tǒng)水平框的檢測方法,具有以下優(yōu)點(diǎn):(1)檢測目標(biāo)中包含的背景噪聲占比更少,因而具有更高的準(zhǔn)確率。相比傳統(tǒng)HBB 檢測中存在大量非目標(biāo)背景區(qū)域,不能準(zhǔn)確計(jì)算出水稻谷粒的長寬比,不利于檢測目標(biāo)區(qū)域準(zhǔn)確的面積計(jì)算,使得傳統(tǒng)水平框目標(biāo)檢測不能在考種中對谷粒長寬比進(jìn)行有效計(jì)算,而OBB 檢測的方法大大改進(jìn)了這兩項(xiàng)缺點(diǎn),可準(zhǔn)確計(jì)算水稻的長寬比,可考慮進(jìn)一步開發(fā)并應(yīng)用于谷粒質(zhì)量檢測或品種識別場景。(2)該方法可解決傳統(tǒng)HBB 檢測中對距離較近的谷粒的漏檢問題。傳統(tǒng)水平框的目標(biāo)檢測方法,因標(biāo)注區(qū)域存在非目標(biāo)區(qū)域以及水平框標(biāo)注不能解決密集分布目標(biāo)的重疊問題,較難實(shí)現(xiàn)對密集分布目標(biāo)檢測的準(zhǔn)確區(qū)分,經(jīng)常存在漏檢情況。而使用旋轉(zhuǎn)框的目標(biāo)檢測方法可以有效解決漏檢問題,從而提升目標(biāo)檢測的召回率。綜上所述,本研究證明了旋轉(zhuǎn)框的目標(biāo)檢測方法在谷粒檢測場景中進(jìn)行計(jì)數(shù)和長寬比計(jì)算應(yīng)用的可行性,可實(shí)現(xiàn)高效準(zhǔn)確地進(jìn)行谷粒長寬比的計(jì)算,通過進(jìn)一步優(yōu)化和開發(fā)可運(yùn)用于種子質(zhì)量檢測及品種鑒定等數(shù)字化育種場景中。

猜你喜歡
錨框谷粒邊界
錨框策略匹配的SSD飛機(jī)遙感圖像目標(biāo)檢測
基于SSD算法的輕量化儀器表盤檢測算法*
基于GA-RoI Transformer的遙感圖像任意方向目標(biāo)檢測
拓展閱讀的邊界
探索太陽系的邊界
食言者
食言者
意大利邊界穿越之家
基于深度學(xué)習(xí)的齒輪視覺微小缺陷檢測①
食言者
镇平县| 大宁县| 开化县| 大石桥市| 花莲县| 子洲县| 营山县| 丹东市| 四川省| 化隆| 伊春市| 奉化市| 万年县| 临桂县| 九龙坡区| 大埔区| 商都县| 赤城县| 阳城县| 武功县| 通道| 通江县| 綦江县| 邵阳县| 惠东县| 宁国市| 太仆寺旗| 尼勒克县| 涟源市| 漠河县| 双桥区| 湾仔区| 巴彦县| 临朐县| 聂荣县| 拜泉县| 蓬安县| 六盘水市| 航空| 墨玉县| 富蕴县|