黃成龍 ,華向東 ,黃詩豪 ,盧智浩 ,董佳樂 ,張 俊 ,楊萬能
(1. 華中農(nóng)業(yè)大學(xué)工學(xué)院,武漢 430070;2. 農(nóng)業(yè)農(nóng)村部長江中下游農(nóng)業(yè)裝備重點實驗室,武漢 430070;3. 華中農(nóng)業(yè)大學(xué)作物遺傳改良全國重點實驗室,武漢 430070)
中國是世界上最大的稻米生產(chǎn)和消費國,水稻生產(chǎn)直接關(guān)系國內(nèi)糧食安全和農(nóng)業(yè)的可持續(xù)發(fā)展[1-2]。再生稻是采用一定栽培措施,使頭季水稻收割后稻樁上休眠芽萌發(fā)生長成穗的水稻品種[3]。再生稻具有一種兩收、省時省工、經(jīng)濟效益高的優(yōu)勢,對保障中國糧食安全意義重大。再生稻再生季產(chǎn)量由再生季的單位面積有效穗數(shù)決定,而有效穗數(shù)由再生芽萌發(fā)能力決定[4-6]。因此再生芽萌發(fā)的數(shù)量和再生稻再生能力有著直接關(guān)系。
傳統(tǒng)再生力鑒定方法主要通過人工計算水稻再生季有效穗數(shù)與頭季有效穗數(shù)之比實現(xiàn),徐富賢等[7]將再生芽出鞘率作為再生稻前期再生力的鑒定指標(biāo)。且再生芽傳統(tǒng)統(tǒng)計方法同樣依靠人工檢測,需要剝離水稻莖稈外部葉鞘和表皮進行再生芽計數(shù),人工方法存在接觸損傷、主觀低效、重復(fù)性差等缺點。因此提出一種水稻再生芽無損檢測方法具有重要的意義[8]。X 射線計算機斷層掃描(computed tomography,CT)是一種廣泛應(yīng)用于醫(yī)學(xué)、工業(yè)實踐、分子成像和植物等領(lǐng)域的三維透射成像技術(shù)[9],可以無損獲取植物組織和器官的內(nèi)部三維結(jié)構(gòu)[10]。吳迪等[11]采用基于X 射線和濾波反投影算法對小麥莖稈進行斷層重建,實現(xiàn)小麥分蘗數(shù)、分蘗角度和壁厚參數(shù)的提取。YANG 等[12]利用Micro-CT 成像技術(shù)實現(xiàn)水稻分蘗數(shù)的高通量無損檢測系統(tǒng)。許智隼等[13]通過X-CT 掃描表層結(jié)皮土樣和圖像分析方法獲取了土樣的三維孔隙結(jié)構(gòu)和不同土層的滲透率。銀學(xué)波等[14]利用CT 成像和圖像處理完成對玉米籽粒的三維結(jié)構(gòu)重建,并計算了不同粒位下籽粒的8 種胚部組織表型參數(shù)。因此Micro-CT 作為一種高分辨透射式三維成像技術(shù),可以為水稻莖稈內(nèi)部的再生芽信息的無損獲取提供一種有效途徑。
隨著深度學(xué)習(xí)技術(shù)和計算機硬件的快速發(fā)展,針對2D、3D 圖像的目標(biāo)檢測、追蹤算法得到長足發(fā)展[15],農(nóng)業(yè)作物追蹤計數(shù)、產(chǎn)量統(tǒng)計方法也得到了進一步的提高。高芳芳等[16]基于YOLOv4-tiny、卡爾曼濾波和改進的匈牙利算法實現(xiàn)對蘋果的追蹤計數(shù);黃成龍等[17]基于VFNet,加入了融合多尺度訓(xùn)練和動態(tài)卷積進行優(yōu)化,完成患病棉花葉片檢測,并通過DeepSORT 算法融合撞線匹配機制完成患病棉花葉片的追蹤,最后通過追蹤結(jié)果進行特征提取和棉花患病葉片分級;OSMAN 等[18]基于YOLOv3 和以ResNet 為特征提取的DeepSORT 對不同水果作物的田間產(chǎn)量進行統(tǒng)計。HE 等[19]利用YOLOv3對水果進行檢測,通過加入級聯(lián)特征匹配將水果檢測結(jié)果和軌跡進行匹配完成對水果的追蹤計數(shù)。HAO 等[20]基于CenterNet 對棉花幼苗進行anchor-free 檢測,并將棉苗的位置和識別信息融合入DeepSORT 算法,完成了棉苗數(shù)量的追蹤計算。將上述目標(biāo)檢測、追蹤算法應(yīng)用于再生稻CT 圖像,對水稻莖稈內(nèi)的再生芽進行目標(biāo)追蹤,可以為再生芽的精準(zhǔn)計數(shù)提供一種新的途徑。
本研究提出開展基于Micro-CT 成像和改進DeepSORT的再生稻再生芽追蹤計數(shù)與再生力評價研究。采用Micro-CT 透射成像技術(shù),無損獲取水稻莖稈再生芽信息;提出基于斷層圖像視頻流和改進DeepSORT 的再生芽多目標(biāo)追蹤方法。計算有效芽和莖稈數(shù)之比得到水稻早期再生力,實現(xiàn)再生季產(chǎn)量預(yù)測,擬為早期解析水稻再生力加速再生稻品種選育、克服環(huán)境影響提供一種技術(shù)方案。
再生稻頭季收獲后,休眠芽會從殘留莖稈內(nèi)部不同節(jié)位處再次萌發(fā),因此一個莖稈內(nèi)可能會萌發(fā)多個再生芽。為實現(xiàn)對莖稈內(nèi)所有再生芽的準(zhǔn)確計數(shù)及水稻再生力評價,提出基于Micro-CT 成像和改進DeepSORT 的再生芽追蹤計數(shù)和再生力測量方法,研究技術(shù)路線如圖1所示。首先對頭季收獲后水稻莖稈進行Micro-CT 掃描重建;然后進行水稻莖稈斷層圖像進行視頻流和數(shù)據(jù)集制作;再基于YOLOv5s 網(wǎng)絡(luò)完成再生芽和水稻莖稈目標(biāo)檢測;接著基于改進DeepSORT 算法實現(xiàn)再生芽的追蹤計數(shù),追蹤計數(shù)過程如圖2 所示;最后基于莖稈數(shù)量和有效芽數(shù)量對再生稻早期的再生力進行評價,并實現(xiàn)與產(chǎn)量的相關(guān)性分析。
圖1 再生芽追蹤計數(shù)和再生力評估技術(shù)路線圖Fig.1 Technology roadmap for regenerated bud tracking count and regenerative ability evaluation
圖2 水稻再生芽追蹤示意圖Fig.2 Schematic diagram of rice regenerated buds tracking
本試驗材料來源于華中農(nóng)業(yè)大學(xué)作物遺傳改良全國重點實驗室,再生稻品種包括豐兩優(yōu)香1 號(FLYX)和黃華占(HHZ)。每個品種分別進行了使用促芽肥(Nbud)和不使用促芽肥(No)、飽和含水(S)和70%土壤相對含水(D)不同處理,共計8 種不同處理的再生稻,每盆中種植3 株完全相同處理的再生稻,總計104 盆再生稻。試驗材料如表1 所示。水稻頭季收獲3~4 d 后是出葉、分蘗的旺盛時期,研究表明頭季收獲第5 天再生芽出鞘率與水稻再生力密切相關(guān)[6],因此本研究CT 掃描拍攝時間為再生稻頭季收割后第5 天。
表1 再生稻試驗材料Table 1 Experimental material of ratooning rice
本試驗所使用的X 射線CT 掃描成像裝置為依科視朗FF35CT(德國),Micro-CT 成像裝置如圖3a 所示。在進行X 射線掃描前,需將再生稻盆栽放置設(shè)備旋轉(zhuǎn)臺正中心,并通過射線源的投影圖進行位置矯正如圖3b 所示,使再生稻整體均處于成像視野范圍。CT 成像示意圖如圖3c 所示,射線源到旋轉(zhuǎn)中心距離為850 mm,射線源到探測器距離1 181 mm,探測器有效檢測面積432 mm×432 mm。
圖3 再生稻CT 成像裝置及掃描示意圖Fig.3 CT imaging device for ratooning rice and scanning schematic
再生稻Micro-CT 成像掃描參數(shù)如表2 所示。根據(jù)預(yù)試驗效果,進行CT 掃描時采用的電流為200 μA、電壓為60 kV,以0.25°的步進角度對每個樣本進行 360°旋轉(zhuǎn)采集,共 1 080 張投影圖像,掃描幀率為 6 幀/s。在再生稻掃描完后,通過系統(tǒng)自帶的 3D 重建軟件CERA 進行再生稻三維重建,重建時間為11 min。每個樣品重建結(jié)果保存成 2 880 像素×2 880 像素×2 880 像素大小,空間像素分辨率為0.107 9 mm。然后通過VGStudio MAX 3.0 軟件進行再生稻3D 圖像預(yù)處理,將空氣等不必要的背景進行去除,通過感興趣區(qū)域提取,保留再生稻斷層圖像尺寸為1 800 像素×1 800 像素。最后沿著水稻生長方向,提取莖稈斷層圖像,保存為jpg 格式。
表2 再生稻Micro-CT 掃描裝置參數(shù)Table 2 Micro-CT parameters for scanning ratooning rice
數(shù)據(jù)集標(biāo)注采用LabelImg 軟件進行人工標(biāo)注,再生芽和莖稈標(biāo)注圖像如圖4 所示。
圖4 LabelImg 軟件斷層圖再生芽和莖稈標(biāo)注Fig.4 Regenerated bud and stem labeling by software LabelImg in CT image
每個重建后的再生稻有2 880 張斷層圖像,標(biāo)注時對不同盆栽、不同高度斷層圖進行隨機挑選,總計抽取了1 730 張斷層圖用于再生芽和莖稈目標(biāo)檢測,其中訓(xùn)練集與測試集比例為8∶2,1 384 張圖像集為訓(xùn)練集,346 張圖像集為測試集。由于DeepSORT算法導(dǎo)入的為視頻流格式,本研究采用VGStudio MAX 3.0 沿著水稻生長方向提取莖稈斷層圖像,并將其轉(zhuǎn)為視頻流格式,視頻幀率為30 幀/s。
基于深度學(xué)習(xí)的目標(biāo)檢測算法發(fā)展迅速,自R-CNN[21]被提出后,又不斷出現(xiàn)了Fast R-CNN[22]、Faster R-CNN[23]、SSD[24]、SPPNet[25]和YOLO[26]等一系列目標(biāo)檢測算法,而其中YOLOv5 相比于其他幾種具有速度快、精度高和體積小等優(yōu)點。本研究采用YOLOv5s 進行莖稈和再生芽目標(biāo)檢測,其網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示,主要結(jié)構(gòu)包括四個部分:Input 輸入端、Backbone 主干網(wǎng)絡(luò)、Neck 網(wǎng)絡(luò)、Head 輸出端。Input 輸入端主要是對輸入圖像的預(yù)處理操作,包括了Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算和自適應(yīng)圖片縮放等操作。Backbone 主干網(wǎng)絡(luò)借鑒了跨階段部分網(wǎng)絡(luò)(cross stage partial network,CSPNet[27])的思路,設(shè)計了CSPDarknet53。Neck 部分包括特征金字塔(feature pyramid networks,F(xiàn)PN[28])和改進的路徑聚合結(jié)構(gòu)CSP_PAN,CSP_PAN 同樣借鑒了CSPNet 網(wǎng)絡(luò),在路徑聚合結(jié)構(gòu)(path aggregation network,PAN[29])中加入了CSP 結(jié)構(gòu),加強了網(wǎng)絡(luò)特征融合的能力。Head 輸出端主要包括Bounding box 損失函數(shù)和非極大值抑制(nonmaximum suppression,NMS)。
圖5 YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of YOLOv5s
2.2.1 DeepSORT 算法
經(jīng)典的多目標(biāo)追蹤算法有DeepSORT[30]、EAMTT[31]、STAM[32]、Sort[33]等,其中DeepSORT 具有較好的追蹤性能。DeepSORT 算法是在Sort 算法的基礎(chǔ)上改進而來,追蹤思路與Sort 相同依舊是卡爾曼濾波加匈牙利算法,且相比于Sort 算法,加入了CNN 網(wǎng)絡(luò)進行目標(biāo)特征提取,改善了追蹤過程中由于遮擋產(chǎn)生的追蹤問題。DeepSORT 算法中使用了一個8 維度的量(x,y, γ,h,x˙,,,)描述目標(biāo)的狀態(tài)和在圖像坐標(biāo)系中的運動信息。其中(x,y)表示目標(biāo)中心點的水平坐標(biāo)和目標(biāo)中心的垂直坐標(biāo),γ是寬高比,h是高度,其余4 個變量(,,,)表示對應(yīng)4 個變量在圖像坐標(biāo)系中的速度信息[34]。
卡爾曼濾波主要分為預(yù)測和更新檢測框的信息,匈牙利算法是一種優(yōu)化組合算法,可以將預(yù)測框和檢測框完成任務(wù)分配。級聯(lián)特征匹配思路為:在完成目標(biāo)的檢測后,通過卡爾曼濾波對檢測框進行預(yù)測行動的軌跡,并計算預(yù)測框和檢測框之間的馬氏距離作為匹配度量,此外通過深度網(wǎng)絡(luò)提取了每個檢測目標(biāo)的信息特征,并計算了最小余弦距離作為判斷軌跡是否匹配,并將兩者依據(jù)不同占比計算代價矩陣,作為匈牙利軌跡匹配的輸入,代價矩陣公式如1 所示。
式中ci,j為第i個追蹤框和第j個檢測框的代價矩陣;d(1)(i,j)為第i個追蹤框和第j個檢測框的馬氏距離;d(2)(i,j)為第i個追蹤框和第j個檢測框的余弦距離; λ為權(quán)重系數(shù)。
DeepSORT 追蹤過程是每一幀的檢測框和上一幀的追蹤器通過卡爾曼預(yù)測結(jié)果進行匹配的過程。首先對檢測框和確認狀態(tài)追蹤框進行級聯(lián)特征匹配,后續(xù)將級聯(lián)匹配結(jié)果中未匹配上的檢測框、未匹配上追蹤器和非確認狀態(tài)的追蹤框進行IOU 匹配,將匹配成功的軌跡進行卡爾曼濾波更新,完成追蹤過程。
通過DeepSORT 算法對再生芽進行多目標(biāo)追蹤時,發(fā)生了追蹤目標(biāo)ID(identity document)分配錯誤和追蹤過程多個再生芽錯誤匹配的問題。
再生芽ID 分配錯誤是由于當(dāng)完成級聯(lián)特征匹配和IOU 匹配后,結(jié)果中的未匹配上的檢測框在后續(xù)的處理中,會初始化一個非確認狀態(tài)的新追蹤框,追蹤器對新追蹤框直接按照追蹤順序定義了ID,但是新追蹤框的狀態(tài)并非確認狀態(tài),從而導(dǎo)致了追蹤再生芽過程中的跳號。
再生芽的錯誤匹配導(dǎo)致了在再生芽追蹤過程中不同的目標(biāo)被分配相同的ID。如目標(biāo)A 和目標(biāo)B 在不同幀數(shù)下的ID 都是相同的,此錯誤情況發(fā)生在目標(biāo)A 追蹤結(jié)束后,在后續(xù)的匹配過程中,恰好目標(biāo)B 出現(xiàn),此時,目標(biāo)B 的檢測框和上一幀目標(biāo)A 的預(yù)測框進行級聯(lián)特征匹配和IOU 匹配,導(dǎo)致目標(biāo)B 的檢測框和上一幀目標(biāo)A 的預(yù)測框成功匹配,使得不同的目標(biāo)被賦予相同的ID,影響最終再生芽計數(shù)的結(jié)果。
再生芽生長在再生稻莖稈節(jié)點上,但是由于營養(yǎng)限制,并非所有莖稈節(jié)點上的再生芽最終都可成長為稻穗,高度小于1 cm 的再生芽可認定為無效芽,后期無法成長為稻穗[35],因此將再生芽高度大于1 cm 認定為有效芽,因此需要對再生芽追蹤過程增加高度信息。
2.2.2 DeepSORT 算法改進
為提高再生芽追蹤計數(shù)的準(zhǔn)確性,對DeepSORT 算法進行ID 分配的改進和匹配過程的改進,并對再生芽追蹤中加入有效芽的判別。改進后DeepSORT 算法流程圖如圖6 所示。
圖6 改進DeepSORT 追蹤計數(shù)算法流程圖Fig.6 Flowchart for improved DeepSORT tracking and counting algorithm
1) 改進目標(biāo)追蹤ID 不符問題
由于追蹤框的ID 是在創(chuàng)建新的追蹤框時產(chǎn)生的,因此需要在追蹤框轉(zhuǎn)為確認狀態(tài)的過程中對追蹤框的ID 進行賦予真實ID 號,如圖6 中ID 分配部分所示。如果追蹤框的狀態(tài)為非確認狀態(tài),并且檢測框和追蹤框匹配的次數(shù)大于給定閾值,則完成狀態(tài)轉(zhuǎn)變,對再生芽進行ID賦值,從而改進了追蹤過程中再生芽ID 錯誤的問題。
2) 改進追蹤過程匹配問題
由于在同一拍攝重建出的CT 斷層圖像中,相鄰兩張圖像的特征較為相似,可以判斷出任意兩張的再生稻斷層圖像中,再生芽在相鄰兩張斷層圖像中的所屬位置變化較小,因此基于CT 斷層圖像的特征,增加了一種針對兩幀圖像之間的第二次IOU 匹配方法,如圖6 改進部分所示。在檢測框和追蹤軌跡完成級聯(lián)特征匹配和第一次IOU 匹配后,對匹配成功的軌跡進行第二次IOU 匹配,將追蹤成功的追蹤框的ID 和前追蹤成功的追蹤框ID 進行配比,將相同ID 的追蹤框進行IOU 計算,對于匹配成功的軌跡,進行后續(xù)卡爾曼更新,對于匹配失敗的軌跡,將其補入未匹配成功的追蹤器和未匹配成功的檢測框。
3) 實現(xiàn)追蹤過程有效芽判別
基于再生稻再生芽的高度特性,在追蹤過程中對追蹤器添加了再生芽的高度信息,如圖6 計數(shù)部分所示,當(dāng)追蹤框從非確認狀態(tài)轉(zhuǎn)為確認狀態(tài)時,將當(dāng)前幀的追蹤框進行保存,在后續(xù)進行追蹤的每一幀中通過與首幀追蹤框進行計算,獲取每一幀中每個被追蹤目標(biāo)的高度,高度公式如式(2)所示,并對再生芽高度進行判別,滿足高度要求的再生芽計為有效芽,最終計算所有再生芽和有效芽數(shù)量。
式中H為當(dāng)前幀再生芽高度,cm;Fn為目標(biāo)標(biāo)當(dāng)前幀數(shù);Ff為目標(biāo)第一幀的幀數(shù);Vh為CT 拍攝像素的大?。籲init為轉(zhuǎn)確認狀態(tài)的連續(xù)匹配次數(shù)。
2.2.3 模型訓(xùn)練
本文再生芽和莖稈目標(biāo)檢測及多目標(biāo)追蹤系統(tǒng)基于Pytorch 深度學(xué)習(xí)框架,Python 編程語言版本為3.7,整體在Windows10 系統(tǒng)上執(zhí)行,使用NVIDIA-GPU RTX2080 ti進行模型訓(xùn)練及測試。YOLOv5s 目標(biāo)檢測訓(xùn)練中,再生芽訓(xùn)練迭代次數(shù)為200,水稻莖稈訓(xùn)練迭代次數(shù)為100。
再生稻再生力通??杀磉_為再生季下萌發(fā)的再生芽生長成有效穗的能力,因此可將早期再生芽數(shù)量作為早期再生力的重要指標(biāo)。本文將再生稻的早期再生力值定義為頭季收割5 d 后的有效芽數(shù)量與頭季莖稈數(shù)之比。
式中F為再生稻早期再生力值;Ns為收割5 d 后的再生芽中有效芽數(shù)量;Ng為頭季莖稈數(shù)量。
2.4.1 目標(biāo)檢測評價指標(biāo)
本文采用精確率(precision,P)、召回率(recall,R)、F1 值、平均檢測準(zhǔn)確率(mean average precision, mAP50)和檢測速率對訓(xùn)練的模型進行評估。
2.4.2 目標(biāo)追蹤評價指標(biāo)
本文采用以下4 個評價指標(biāo)對算法多目標(biāo)追蹤效果進行評價。
1)ID 跳變
在追蹤過程中,某一個目標(biāo)的ID 發(fā)生了改變,則計一次ID Switch,其值越小追蹤性能越好。
2)多目標(biāo)跟蹤準(zhǔn)確度
整個追蹤過程中除去的所有的漏檢、誤檢和錯誤匹配之后剩下的正確匹配所占比例。衡量了多目標(biāo)追蹤識別和保持一致性的能力,并且MOTA 與目標(biāo)追蹤位置精確度無關(guān),其數(shù)值越大說明追蹤性能越好,計算公式如式(4)所示。
式中t為幀索引號;g為真實標(biāo)注的再生芽個數(shù);n為未追蹤到再生芽的數(shù)量;p為錯誤追蹤再生芽的數(shù)量;RIDSW為ID 跳變的次數(shù)。
3)高階跟蹤精度
在多目標(biāo)追蹤準(zhǔn)確度的基礎(chǔ)上,加入了高階跟蹤精度的指標(biāo),可以更加全面的更加均衡地衡量多目標(biāo)追蹤算法的性能,數(shù)值越大說明追蹤性能越好,計算式如式(5)~(6)所示。
式中c為某一再生芽追蹤ID 序號;RTP為追蹤過程中正確匹配集合;RFN跟蹤過程中漏檢的集合;RFP跟蹤過程中錯檢的集合;RTPA(c)為給定的RTP集合中,預(yù)測的ID和真實值ID 都為c;RFNA(c)為給定的RTP集合中,真實值的ID 為c但是預(yù)測的ID 不為c,以及RFN集合中真實值的ID 為c的情況;RFPA(c)為給定的的RTP集合中,預(yù)測的ID 為c但是真實值的ID 不為c,和RFP集合中預(yù)測的ID 為c的情況。
4)追蹤速率
多目標(biāo)追蹤算法每秒追蹤圖像的幀數(shù),數(shù)值越大說明追蹤速度越快。
2.4.3 誤差分析評價指標(biāo)
對再生芽追蹤計數(shù)的結(jié)果誤差分析選取決定系數(shù)、均方根誤差和平均絕對百分比誤差進行分析。
研究采用YOLOv5s 對再生芽和莖稈進行單獨建模和混合建模對比。不同訓(xùn)練方式,再生芽、莖稈目標(biāo)檢測精確率、召回率、F1 值、平均檢測準(zhǔn)確率和檢測速率如表3 所示,其中單獨建模再生芽的F1 值和平均檢測準(zhǔn)確率分別為92.6%和97.3%,莖稈的F1 值和平均檢測準(zhǔn)確率分別為97.8%和99.1%;混合建模再生芽的F1 值和平均檢測準(zhǔn)確率分別為91.4%和95.3%,莖稈的F1 值和平均檢測準(zhǔn)確率分別為98.0%和99.3%。結(jié)果顯示單獨建模相較于混合建模再生芽目標(biāo)檢測的F1 值提升了1.2個百分點,平均檢測準(zhǔn)確率提升了2.0 個百分點,證明單獨建??梢越档筒煌悇e目標(biāo)間的干擾。因此本研究采用單獨的YOLOv5s模型進行后續(xù)水稻斷層圖像的莖稈和再生芽識別。
表3 再生芽和莖稈目標(biāo)檢測結(jié)果Table 3 Detection results of regenerated buds and stem targets
隨機抽取了5 個再生稻視頻使用DarkLabel 對再生芽進行逐幀標(biāo)注,計算DeepSORT 算法改進前后的多目標(biāo)追蹤準(zhǔn)確率、高階跟蹤精度和ID 跳變,用于評價水稻再生芽追蹤方法性能,結(jié)果如表4 所示。結(jié)果表明,改進后DeepSORT 的RMOTA平均為77.61%,較原始算法提升1.5 個百分點;ID 跳變由99 降低至6,降低94%;改進后的RHOTA為61.73%,提升8.5 個百分點;改進DeepSORT 的追蹤速率從25 變?yōu)?4 幀/s,追蹤速度無明顯差異。
表4 算法改進前后試驗結(jié)果對比Table 4 Results before and after algorithm improvement
改進DeepSORT 算法的再生芽多目標(biāo)追蹤效果如圖7 所示,圖中追蹤框首個數(shù)字為再生芽的追蹤ID。改進前DeepSORT 算法對某一再生芽進行追蹤時,圖7a 中第1 800、1900 幀中再生芽的ID 為39,第2 100 幀中原算法對同一目標(biāo)追蹤的ID 跳變?yōu)?9;如圖7b 所示,通過改進后DeepSORT 算法對其進行追蹤時,再生芽的ID 保持為58,并未發(fā)生ID 跳變,改進后的DeepSORT 算法有效降低了再生芽多目標(biāo)追蹤過程中的ID 跳變。
圖7 DeepSORT 算法改進前后的再生芽追蹤對比Fig.7 Comparison of regenerated buds tracking before and after DeepSORT algorithm improvement
本文選取2 個再生稻樣本進行視頻末期結(jié)果分析,改進DeepSORT 算法的再生芽追蹤視頻末期結(jié)果如圖8所示。第2 600 幀處于視頻末期,再生芽基本全部追蹤結(jié)束。通過人工統(tǒng)計,兩個再生稻樣本對應(yīng)的視頻一和視頻二的再生芽數(shù)量分別為76 和71,圖8a 中改進前DeepSORT 算法在兩個樣本視頻中第2 600 幀下追蹤的再生芽ID 最大為149 和192,與人工統(tǒng)計值相差較大。在改進后的DeepSORT 算法中,如圖8b 所示,視頻一和視頻二追蹤的再生芽最大ID 為72 和73,改進后算法在再生芽追蹤計數(shù)準(zhǔn)確度上提升明顯,因此改進后DeepSORT 算法可對再生稻再生芽數(shù)量準(zhǔn)確計數(shù)。
圖8 DeepSORT 改進前后視頻末期再生芽追蹤結(jié)果對比Fig.8 Comparison of tracking results of late stage regenerated buds in videos before and after improved DeepSORT
有效芽數(shù)量直接決定了水稻的再生能力。在水稻再生芽的有效芽識別中,對8 種不同處理,共計104 盆再生稻的再生芽和高度大于1 cm 的有效芽進行追蹤計數(shù),對每個品種的再生芽和有效芽進行平均統(tǒng)計,再生芽和有效芽統(tǒng)計結(jié)果如圖9 所示,由圖可得,2 個品種下使用促芽肥且飽和含水量處理的追蹤計數(shù)結(jié)果高于其他3種處理。
圖9 再生芽和有效芽追蹤計數(shù)結(jié)果Fig.9 Results of regenerated buds and effective buds counting
對8 種不同處理共計104 盆再生稻進行再生芽真實值進行人工統(tǒng)計,并與改進DeepSORT 算法追蹤出的再生芽進行相關(guān)分析,結(jié)果如圖10 所示。結(jié)果表明,本方法對再生芽進行追蹤計數(shù)與人工值相比的決定系數(shù)R2為0.983,均方根誤差為3.460,平均絕對百分比誤差為5.647%。結(jié)果表明本研究提出的基于Micro-CT 和改進DeepSORT 的再生稻再生芽追蹤計數(shù)方法,在不破壞再生稻的前提下統(tǒng)計的再生芽數(shù)量與人工測量相比具有較高的一致性,是一種高精度、無損的再生芽計數(shù)方法。
圖10 再生芽追蹤計數(shù)和人工值相關(guān)性分析Fig.10 Correlation analysis between traced and ground truth
水稻生長過程中,從底部到頂部部分莖稈發(fā)生變細或消失,因此對低中高3 個位置進行對比,選出和頭季莖稈人工值最接近的莖稈高度進行莖稈數(shù)量檢測。對某一盆栽莖稈數(shù)量統(tǒng)計人工值為41,不同高度莖稈算法檢測結(jié)果如圖11 所示:圖11a 中,底部第300 幀莖稈檢測數(shù)量為41;圖11b 和圖11c 中,由于水稻中部和頂部莖稈發(fā)生枯萎,導(dǎo)致算法檢測的莖稈數(shù)量較人工值偏低,因此選擇底部第300 幀斷層圖作為頭季莖稈檢測與再生力鑒定的圖像。
圖11 不同高度莖稈檢測Fig.11 Stem detection at different heights
對8 種不同處理再生稻的再生季產(chǎn)量進行統(tǒng)計,每盆中有三株水稻,產(chǎn)量計算時,將每盆三株產(chǎn)量的平均值作為每盆的最終產(chǎn)量。對上述8 種不同處理的再生稻產(chǎn)量和早期再生力進行回歸分析,結(jié)果如圖12 所示。
圖12 早期再生力與產(chǎn)量相關(guān)性分析Fig.12 Regenerative ability and yield correlation analysis
FLYX 和HHZ 品種的再生力和產(chǎn)量的決定系數(shù)分別為0.795 和0.764。結(jié)果表明本文方法計算的早期再生力與實際產(chǎn)量之間存在較高的回歸性,其中使用促芽肥并飽和含水率處理下的再生力在2 個品種下均為最高,與試驗預(yù)期結(jié)果一致。
再生稻再生季產(chǎn)量與再生芽數(shù)量密切相關(guān),通過對早期再生芽的數(shù)量統(tǒng)計,從而計算再生稻的早期再生能力可以對再生稻的產(chǎn)量進行有效預(yù)測。因此本文提出一種基于Micro-CT 成像和改進DeepSORT 算法的再生稻再生芽追蹤計數(shù)方法。得到以下主要結(jié)論:
1)研究采用Micro-CT 成像獲取水稻莖稈斷層圖像和視頻流;對DeepSORT 算法進行了ID 分配改進和增加追蹤中的匹配過程,并增加了有效芽判別,實現(xiàn)對再生芽的高精度、無損追蹤計數(shù)。
2)改進后DeepSORT 算法的多目標(biāo)跟蹤準(zhǔn)確度為77.61%,較原算法提升了1.5 個百分點;高階跟蹤精度為61.73%,相比與原算法分別提升了8.5 個百分點;ID跳變?yōu)?,相比原算法降低了94%。通過本文方法對再生芽追蹤的數(shù)量與真實值的決定系數(shù)為0.983,均方根誤差為3.460,平均絕對百分比誤差為5.647%。
3)通過水稻再生芽的無損追蹤計數(shù)、有效芽的判別和水稻莖稈數(shù)檢測,得到了豐兩優(yōu)香1 號和黃華占水稻品種共8 種處理的水稻再生力指標(biāo),與再生季產(chǎn)量相關(guān)分析得到?jīng)Q定系數(shù)分別為0.795 和0.764,表明早期再生力與再生季產(chǎn)量具有較高的回歸性。