張亞莉，肖文蔚，盧小陽，劉愛民，祁 媛， 劉含超，施澤坤，蘭玉彬

（1. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州 510642； 2. 國家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國際聯(lián)合研究中心，廣州 510642； 3. 袁隆平農(nóng)業(yè)高科技股份有限公司，長沙 410125； 4. 海南大學(xué)植物保護(hù)學(xué)院，?？?570228； 5. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣州 510642；6. 華南農(nóng)業(yè)大學(xué)人工智能學(xué)院，廣州 510642）

0 引言

雜交水稻制種是水稻異交結(jié)實(shí)，需父系花粉傳播到母系柱頭上受精結(jié)實(shí)，其異交結(jié)實(shí)率高低，取決于父本花粉散落到母本柱頭上的有無與數(shù)量。雜交水稻制種授粉時(shí)期需父本與母本同期抽穗開花，父系水稻開花時(shí)間為每日10:00－12:00，開花時(shí)需人工輔助授粉。水稻穎花開花需要一定的溫光條件，一般在亞熱帶或熱帶環(huán)境下，開花溫度為24～35 ℃，相對濕度為70%～90%。水稻開花期約10 d，每天開花1.5～2 h，花粉壽命為4～5 min，為保證制種母系的結(jié)實(shí)率，人工輔助授粉需在花期內(nèi)完成[1]。因授粉時(shí)間短，每天需準(zhǔn)確把握授粉時(shí)機(jī)，要在父系開花高峰期時(shí)授粉。

目前，水稻父系穎花開花信息等表型數(shù)據(jù)的獲取主要依靠人工觀察[2]，適用于人工輔助授粉，但對于大規(guī)模全程機(jī)械化制種，采用無人機(jī)輔助授粉時(shí)，人工觀察難以有效準(zhǔn)確地獲取全部農(nóng)田水稻開花狀態(tài)，也難以實(shí)現(xiàn)智能授粉作業(yè)。通過采集田間水稻穎花可見光圖像自動檢測開花狀態(tài)信息[3]，為實(shí)現(xiàn)無人農(nóng)場提供數(shù)據(jù)支持與決策參考，是降低勞動成本、提高制種率、實(shí)現(xiàn)科學(xué)制種的重要舉措，對實(shí)現(xiàn)雜交水稻制種授粉智能化決策與農(nóng)場無人化作業(yè)有積極意義。

國內(nèi)外學(xué)者對視覺識別小麥和水稻等作物穗部和穎花進(jìn)行了有益嘗試。多數(shù)學(xué)者通過對圖像顏色空間的變換處理[4]與閾值設(shè)置[5]，分離目標(biāo)與背景，廣泛應(yīng)用于水果分離計(jì)數(shù)[6]、小麥穗部計(jì)數(shù)[7]、田間農(nóng)作物分類[8-10]等類別間有顏色差異的圖像。Fernandez-Gallego等[11-12]通過對田間小麥可見光圖像進(jìn)行濾波與極大值分割處理，從小麥俯視圖中分離出麥穗，識別成功率達(dá)0.9。Guo等[13]采用尺寸不變特征變換（Scale Invariant Feature Transform，SIFT）算法提取水稻穎花可見光圖像特征點(diǎn)和描述算子，再用支持向量機(jī)訓(xùn)練模型，準(zhǔn)確度為0.8。對于SIFT算法，同一幅圖像初始質(zhì)心選擇不同，往往會出現(xiàn)不一樣的特征，需要提取特征人員具備足夠經(jīng)驗(yàn)。Sadeghi-Tehran等[14]采用車載與手持可見光相機(jī)采集圖像，應(yīng)用超像素分割算法結(jié)合深度學(xué)習(xí)識別田間小麥麥穗，相對均方誤差達(dá)0.11。Alkhudaydi等[15]采用4個(gè)作物數(shù)量表型工作站固定于試驗(yàn)田中進(jìn)行高頻成像，采集近三年不同生長時(shí)期小麥可見光圖像側(cè)視圖，對每張圖像小麥穗部進(jìn)行標(biāo)注，再輸入全卷積神經(jīng)網(wǎng)絡(luò)（Full Convolutional Neural Networks，F(xiàn)CN）訓(xùn)練，模型交并比最高可達(dá)0.53。Hasan等[16]采用地面小車搭載可見光相機(jī)獲取小麥穗部圖像，經(jīng)過區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regional Convolutional Neural Networks，RCNN）算法識別計(jì)算小麥穗數(shù)，準(zhǔn)確率達(dá)0.933。Xiong等[17]通過模擬自然光，采用深度學(xué)習(xí)與超像素分割方法識別水稻穗部，準(zhǔn)確度達(dá)0.767。

上述研究均對作物表型檢測進(jìn)行了一定探索，但目前尚無將張開穎花內(nèi)外穎作為特征進(jìn)行穎花開花狀態(tài)檢測的研究報(bào)道，也未發(fā)現(xiàn)將深度學(xué)習(xí)技術(shù)運(yùn)用于水稻穎花開花狀態(tài)檢測的研究報(bào)道。本文研究基于前人研究結(jié)果提出基于視覺圖像處理技術(shù)串聯(lián)使用大津法，簡稱串聯(lián)大律法（Series Otsu，SOtsu），提取吐出穎花花藥，同時(shí)使用深度學(xué)習(xí)[18]算法，基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)（Faster Regional Convolutional Neural Network，F(xiàn)asterRCNN）和YOLO-v3，對水稻開花張開穎花內(nèi)外穎與吐出穎花花藥兩種特征進(jìn)行檢測，并探討了上述三種算法對水稻開花不同特征的識別效果，為自動化檢測水稻開花狀態(tài)提供參考。

1 材料與方法

1.1 圖像獲取

1.1.1 試驗(yàn)環(huán)境

該研究試驗(yàn)地點(diǎn)位于海南省東方市感城鎮(zhèn)制種基地（18°52′48′′N，108°42′36′′E），屬熱帶海洋性季風(fēng)氣候，光照強(qiáng)，無明顯季節(jié)區(qū)別。試驗(yàn)時(shí)間為2020年10月9日-2020年10月23日。由于穎花一般在中午溫度達(dá)到25～33 ℃時(shí)開花，故試驗(yàn)時(shí)間為北京時(shí)間10:00－14:00。試驗(yàn)地環(huán)境相對濕度為82%左右，東北風(fēng)4～5級，平均海拔高度6 m，試驗(yàn)水稻制種組合為華煜4127S/華恢4156。

1.1.2 數(shù)據(jù)采集

試驗(yàn)采用可見光相機(jī)Canon EOS 80D（日本佳能株式會社，東京，日本）獲取圖像，CMOS傳感器，相機(jī)快門速度為1/8000～30 s，圖像大小為2.42×108像素，圖像存儲格式為.RAW。相機(jī)在自動曝光與自動聚焦模式下使相機(jī)鏡頭平行于穎花，于北京時(shí)間10:00－14:00穎花開花時(shí)拍攝兩組距離不同圖像各2 000張，第一組距離穎花15 cm，第二組距離穎花45 cm。當(dāng)環(huán)境到達(dá)開花條件時(shí)，水稻穎花基部漿片吸水膨脹，相互擠壓且壓迫外穎，把內(nèi)外穎扣接槽脫開，外穎頂向一邊，使得穎花開放，同時(shí)吐出花藥[19]。原始穎花數(shù)據(jù)圖像如圖1。

1.2 試驗(yàn)方法

1.2.1 基于SOtsu檢測方法

SOtsu基于圖像灰度信息進(jìn)行前景與背景的分離。相較于深度學(xué)習(xí)算法需要人工添加標(biāo)簽與訓(xùn)練模型等繁雜的預(yù)處理工作，SOtsu基于可見光圖像各通道間灰度值差異進(jìn)行目標(biāo)提取[8,20-21]是一種簡單高效的方法。分割結(jié)果精確到每個(gè)像元點(diǎn)。

該研究使用可見光單反相機(jī)采集圖像數(shù)據(jù)，且該型號相機(jī)具有自動聚焦功能，在前景選定后，背景自動虛化，可順利地分離出整株稻穗與背景。串聯(lián)大津法基于圖像灰度值進(jìn)行分割，而穎花內(nèi)外穎與綠色水稻葉片顏色相近，因此該研究未使用串聯(lián)大津法對穎花內(nèi)外穎進(jìn)行識別試驗(yàn)。

穎花花藥提取步驟見圖2，先將可見光圖像進(jìn)行紅/綠/藍(lán)通道分離，生成對應(yīng)的通道灰度圖像，基于藍(lán)色通道灰度圖像掃描整幅圖像灰度值，將灰度值分為0～255共256個(gè)灰度階梯，并統(tǒng)計(jì)整幅圖像中對應(yīng)灰度階梯的像素點(diǎn)個(gè)數(shù)，生成灰度直方圖。在此基礎(chǔ)上運(yùn)用最大類間方差法（大津法）分離稻穗與背景，背景灰度置0。在已提取的穎花花藥與穎花內(nèi)外穎像素點(diǎn)范圍內(nèi)獨(dú)立使用最大類間方差分析，找出穎花花藥與穎花內(nèi)外穎灰度范圍內(nèi)最大類間方差所對應(yīng)的灰度值，作為進(jìn)一步分類操作的閾值，保留花藥原有灰度值，穎花內(nèi)外穎灰度值置0。最終結(jié)合原始圖像輸出提取效果，并輸出以八連通法計(jì)算的連通區(qū)個(gè)數(shù)。

類間方差計(jì)算公式[5]如式（1）所示：

式中σB為類間方差值；μT為整幅圖像的平均灰度值；μ1和μ2分別為類1和類2的平均灰度值；ρ1和ρ2分別為類1和類2發(fā)生的概率。

1.2.2 基于FasterRCNN檢測方法

目前深度學(xué)習(xí)算法眾多，但FasterRCNN依然是深度學(xué)習(xí)領(lǐng)域的主流。Ren等[22]開發(fā)了FasterRCNN算法，該算法將特征抽取、區(qū)域選擇、邊界框回歸、分類器分類整合在一個(gè)網(wǎng)絡(luò)中，如圖3所示。檢測方法是通過區(qū)域卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生大量可能包含待檢測物體的潛在邊界框，再用分類器判斷每個(gè)邊界框里是否包含物體，以及物體所屬類別的置信度，通過后處理改善邊界框，消除重復(fù)檢測目標(biāo)。

1.2.3 基于YOLO-v3檢測方法

YOLO[23]由于其極高的處理速度被廣泛[24-27]應(yīng)用于深度學(xué)習(xí)目標(biāo)識別領(lǐng)域。如圖4所示，YOLO將輸入圖像分成S×S個(gè)區(qū)域，將物體檢測任務(wù)當(dāng)作回歸問題來處理，使用一個(gè)神經(jīng)網(wǎng)絡(luò)，直接從一整張圖像來預(yù)測出邊界框坐標(biāo)、邊界框包含物體的置信度和類別概率。YOLO在訓(xùn)練和測試時(shí)都能看到整張圖像信息，因此YOLO在檢測物體時(shí)能很好地利用上下文信息。

Redmon等[28]整理了PASCAL VOC2007及VOC2012數(shù)據(jù)集下FasterRCNN，SSD[29]，YOLO三種算法的平均均勻精度（mean Average Precision，mAP）以及幀速（Frames Per Second，F(xiàn)PS）。FasterRCNN的mAP達(dá)到76.4%[30]，但是處理頻率最慢，為5幀/s。YOLO[23]的處理速度較快，為45幀/s，但是mAP最低，只有63.4%，而YOLO-v3的精度和處理速度均高于先前版本[23,28,31]。

針對穎花開花檢測，算法應(yīng)具有更強(qiáng)的實(shí)時(shí)性，及時(shí)檢測水稻開花信息，同時(shí)須有較高識別精度，減少誤判率。YOLO-v3版本與系列新版本YOLO-v4[32]、YOLO-v5相較，參考資料與開源代碼分享較多，且YOLO系列主打處理速度，YOLO-v4較YOLO-v3速度上有所提升，但精度提升不明顯，故該研究采用YOLO-v3進(jìn)行試驗(yàn)。

1.2.4 深度學(xué)習(xí)檢測技術(shù)路線

試驗(yàn)基于PASCAL VOC2012[33]格式的數(shù)據(jù)集運(yùn)用FasterRCNN和YOLO-v3兩種算法進(jìn)行模型訓(xùn)練，結(jié)合精確率與處理時(shí)間，綜合分析兩種算法在水稻穎花開花檢測中的應(yīng)用效果。

訓(xùn)練圖像分為兩組，第一組圖像基于開放穎花內(nèi)外穎特征，第二組圖像基于吐出花藥特征，各2 000張。采用NVIDIA GeForce RTX 3090顯卡進(jìn)行訓(xùn)練。訓(xùn)練模型輸入圖像均采用分辨率為6 024×4 022像素的原始圖像。采用基于PyTorch框架的FasterRCNN[34]和YOLO-v3[35]作為目標(biāo)檢測算法，參與訓(xùn)練圖像包括距離相機(jī)鏡頭15和45 cm的水稻穎花開穎圖像。主要技術(shù)路線如圖5所示。

1.2.5 圖像標(biāo)注方法

在模型訓(xùn)練前用LabelImg軟件對可見光穎花圖像人工添加標(biāo)簽數(shù)據(jù)，每張已標(biāo)注圖像會生成后綴為.xml的文本文件，用于深度學(xué)習(xí)算法有監(jiān)督學(xué)習(xí)。

將標(biāo)注完成圖片按照8:1:1的比例分為訓(xùn)練集、驗(yàn)證集與測試集，采用PASCAL VOC2012數(shù)據(jù)集作為樣本數(shù)據(jù)庫格式，訓(xùn)練集用于訓(xùn)練模型參數(shù)，驗(yàn)證集測試訓(xùn)練好的模型參數(shù)，并根據(jù)測試結(jié)果優(yōu)化模型參數(shù)，最終選出最優(yōu)識別模型。測試集用于測試訓(xùn)練模型識別穎花開花狀態(tài)的泛化能力。

訓(xùn)練完成的模型用于識別穎花開花狀態(tài)，在水稻農(nóng)田中每獲取一張圖像都可導(dǎo)入訓(xùn)練好的模型進(jìn)行識別，識別結(jié)果通過矩形框框出并顯示識別結(jié)果置信度及方框數(shù)量。

置信度（Confidence）公式如式（2）所示，置信度取值范圍為0～100%，越接近0說明檢測到的目標(biāo)對象（Object）置信度越低，相反，越接近100%說明檢測到的目標(biāo)置信度越高。置信度與檢測目標(biāo)的交并比（Intersaction over Union, IoU）有關(guān)，目標(biāo)檢測中，可通過邊界框同時(shí)定位目標(biāo)，通過算法定位的目標(biāo)邊界框與實(shí)際目標(biāo)邊界框的交集和并集之比為交并比。交并比可用來評價(jià)目標(biāo)檢測算法的定位是否精準(zhǔn)，該研究采用IoU ≥ 0.3作為閾值進(jìn)行檢測。

水稻開穎伴隨著張開穎花內(nèi)外穎與吐出穎花花藥兩個(gè)明顯特征。穎花內(nèi)外穎張開形狀與閉合形狀差別較大，形狀與水稻葉片等其他背景差異明顯，但穎花內(nèi)外穎顏色與水稻葉片顏色近乎一致。花藥顏色呈淡黃色，顏色與形狀明顯區(qū)別于張開的穎花內(nèi)外穎、葉片等非花藥類別，但是同一幅圖像中，花藥所占圖像的比例小于穎花內(nèi)外穎，因此該模塊通過人工標(biāo)注花藥與張開穎花內(nèi)外穎，并計(jì)算同一深度學(xué)習(xí)算法中兩種標(biāo)注方法的精確率（Precision）、召回率（Recall）以及F1系數(shù)，來研究深度學(xué)習(xí)算法下更適合水稻穎花開花的識別特征，標(biāo)記方法如圖6。

1.2.6 評估指標(biāo)

該研究將精確率（Precision），召回率（Recall），F(xiàn)1系數(shù)，皮爾遜系數(shù)r以及回歸函數(shù)作為評估指標(biāo)。

Precision表示算法檢測到的目標(biāo)中正確的樣本比例。Recall表示所有實(shí)際目標(biāo)中被算法檢測到的比例。F1系數(shù)為精確率和召回率的加權(quán)調(diào)和平均，F(xiàn)1系數(shù)值越高，說明試驗(yàn)效果越好。皮爾遜系數(shù)r用于分析兩個(gè)變量X和Y之間的線性相關(guān)性，取值區(qū)間為[-1, 1]，1表示完全正相關(guān)，0表示無關(guān)，-1表示完全負(fù)相關(guān)。該研究中r用于分析人工觀察穎花開花數(shù)量與算法識別之間的相關(guān)性。

從試驗(yàn)結(jié)果中有規(guī)律地抽取一定數(shù)量圖像，對每張圖像建立相應(yīng)的混淆矩陣。假設(shè)檢測目標(biāo)為正樣本，背景為負(fù)樣本，一個(gè)二分類問題可以產(chǎn)生四種結(jié)果，真陽性（TP）即正確分類檢測目標(biāo)；假陽性（FP）即錯(cuò)誤歸類背景為檢測目標(biāo)；假陰性（FN）即將檢測目標(biāo)錯(cuò)誤歸類為背景；真陰性（TN）即正確歸類背景。該研究討論二進(jìn)制分類問題，無需正確分類背景，此處TN始終為0[16]。驗(yàn)證指標(biāo)為精確率，召回率和F1系數(shù)，計(jì)算公式如式（3）-（5）所示：

2 結(jié)果與分析

2.1 串聯(lián)大津法檢測結(jié)果

使用MATLAB將圖7a穎花可見光圖像分為紅（R）/綠（G）/藍(lán)（B）三個(gè)波段的灰度圖像（圖7b～7d），使用ENVI 5.3，在每幅圖片上均勻選取穎花花藥與穎花內(nèi)外穎各約28 000個(gè)像素點(diǎn)，繪制灰度直方圖（圖8）。

基于三個(gè)通道的灰度直方圖統(tǒng)計(jì)穎花花藥與穎花內(nèi)外穎的三種可見光波段像元灰度值的均值與標(biāo)準(zhǔn)差，如表1所示。利用均值作為穎花花藥與穎花內(nèi)外穎像元值差異的評價(jià)標(biāo)準(zhǔn)，利用標(biāo)準(zhǔn)差作為穎花花藥與穎花內(nèi)外穎各波段中像元波動范圍的評價(jià)指標(biāo)，通過1倍標(biāo)準(zhǔn)差與均值相結(jié)合判斷穎花花藥與穎花內(nèi)外穎各波段像元是否有明顯交叉重疊現(xiàn)象，繪制圖9。

通過表1和圖9可知，穎花在紅、綠、藍(lán)三個(gè)波段中的像元均值都高于200，穎花內(nèi)外穎像元均值在紅、綠、藍(lán)三個(gè)通道中呈上升狀態(tài)，在藍(lán)波段中穎花內(nèi)外穎的像元均值與花藥差別明顯，且在1倍標(biāo)準(zhǔn)差范圍內(nèi)無交叉重疊，其他兩個(gè)波段中，穎花花藥與穎花內(nèi)外穎像元值相接近。這表明，基于可見光圖像藍(lán)色通道進(jìn)行花藥提取是可行的，基于可見光圖像藍(lán)波段灰度圖像串聯(lián)大津法進(jìn)行花藥與穎花內(nèi)外穎分離可得到比其他波段更好的分離效果。

串聯(lián)大津法提取花藥結(jié)果示例如圖10所示，圖中黑色像素點(diǎn)為已識別的花藥。

2.2 FasterRCNN與YOLO-v3檢測結(jié)果

YOLO-v3與FasterRCNN算法的識別結(jié)果如圖11所示，識別結(jié)果通過方框表示，并在方框上方顯示結(jié)果置信度。圖11a與圖11c分別是YOLO-v3識別穎花內(nèi)外穎與花藥的結(jié)果，圖11b與圖11d分別是FasterRCNN識別穎花內(nèi)外穎與花藥的結(jié)果。FasterRCNN置信度高達(dá)98%，比YOLO-v3測試結(jié)果置信度高一倍以上。

FasterRCNN與YOLO-v3算法識別穎花內(nèi)外穎與花藥的損失函數(shù)如圖12所示。FasterRCNN算法識別兩個(gè)特征對象均在第30次迭代時(shí)趨于最小值，YOLO-v3算法在第300次迭代時(shí)曲線斜率近似于0，損失函數(shù)值趨于最小值。

圖13是FasterRCNN算法與YOLO-v3算法分別進(jìn)行30次與300次迭代訓(xùn)練的類別平均均勻精度；穎花內(nèi)外穎識別平均均勻精度，F(xiàn)asterRCNN算法為0.897，YOLO-v3算法為0.847。穎花花藥識別平均均勻精度，F(xiàn)asterRCNN為0.788，YOLO-v3算法為0.773。

2.3 三種算法檢測結(jié)果對比分析

2.3.1 檢測精度分析

試驗(yàn)從227張可見光測試圖片中每10張抽取1張，共抽取20張可見光圖像，統(tǒng)計(jì)20張圖像中YOLO-v3與FasterRCNN及SOtsu識別開放穎花內(nèi)外穎與花藥的效果。

三種算法平均檢測時(shí)間與識別精確率統(tǒng)計(jì)結(jié)果分別如表2、表3所示。針對花藥識別，F(xiàn)asterRCNN精確率為0.99，召回率與精度差異較大，只有0.93，F(xiàn)1系數(shù)為0.95，平均處理時(shí)間為169.4 ms。SOtsu精度為0.92，召回率與F1系數(shù)均為0.93，平均處理時(shí)間為560 ms。這說明FasterRCNN算法更適用于及時(shí)檢測水稻穎花花藥吐出狀態(tài)，其精度與F1系數(shù)均高于SOtsu，但SOtsu更能平衡精度與召回率。明顯地，F(xiàn)asterRCNN算法檢測效果優(yōu)于SOtsu。

表2 三種算法的平均檢測時(shí)間 Table 2 Average detection time of three algorithms

表3 三種算法對張開穎花內(nèi)外穎與花藥檢測結(jié)果統(tǒng)計(jì) Table 3 Statistical results of the opening spikelet hull and spikelet anthers detection by three algorithms

針對開放的穎花內(nèi)外穎識別，F(xiàn)asterRCNN對開放穎花內(nèi)外穎識別結(jié)果精度為1，召回率為0.97，F(xiàn)1系數(shù)為0.98，均優(yōu)于花藥識別。雖然YOLO-v3平均檢測時(shí)間7.3 ms，比FasterRCNN（169.4 ms）快約23倍，但YOLO-v3試驗(yàn)效果不理想，識別開放穎花內(nèi)外穎和吐出花藥效果均遜色于SOtsu和FasterRCNN，且測試結(jié)果與模型訓(xùn)練結(jié)果差異大，在與FasterRCNN使用同一訓(xùn)練集情況下出現(xiàn)了過擬合現(xiàn)象。

試驗(yàn)結(jié)果表明，開放穎花內(nèi)外穎比吐出穎花花藥更適用于表征水稻穎花開花狀態(tài)，F(xiàn)asterRCNN算法適合用于水稻穎花開花狀態(tài)檢測。

2.3.2 圖像識別與人工識別相關(guān)性分析

用Origin軟件對227張可見光圖像分別針對三種算法及兩種開花特征進(jìn)行手動計(jì)數(shù)與自動計(jì)數(shù)相關(guān)性回歸統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如圖14所示。FasterRCNN算法識別開放穎花內(nèi)外穎存在大量重疊樣本，與人工識別具有高度一致性，r高達(dá)0.993，數(shù)據(jù)擬合曲線斜率為0.992，截距為0.01。相比之下，F(xiàn)asterRCNN算法識別花藥r為0.973，擬合曲線斜率為0.957，截距為0.329，與人工識別具有較高一致性，但擬合效果比識別開放穎花內(nèi)外穎差，有低估花藥數(shù)量的跡象。

同樣，SOtsu自動計(jì)數(shù)也低估了花藥數(shù)量，r為0.936，擬合曲線斜率為0.875，截距為2.795。

YOLO-v3相比其他兩種算法，在花藥與開放穎花內(nèi)外穎識別上均無優(yōu)勢，與人工識別幾乎沒有相關(guān)性，該算法不適用于檢測水稻穎花開花狀態(tài)。

2.4 算法魯棒性

為保證算法魯棒性，使深度學(xué)習(xí)算法模型適用于不同環(huán)境，不同光線強(qiáng)度以及不同大小目標(biāo)的識別，該研究訓(xùn)練集融合了不同光線強(qiáng)度與不同成像距離的圖像。由于穎花一般于北京時(shí)間10:00－12:00，溫度為24～35 ℃，相對濕度為70%～90%時(shí)開花。

穎花開花時(shí)一般天氣情況較好，但有云朵遮蓋時(shí)，采集的水稻穎花圖像光照強(qiáng)度比無云朵遮蓋時(shí)弱，陽光直射情況下，由于水稻穎花間交疊遮擋，同一株水稻會出現(xiàn)光照不均勻情況。故將圖像在不同外界光條件下，定性分成三類，分別是低光照強(qiáng)度、高光照強(qiáng)度與光線不均勻。低光照強(qiáng)度、高光照強(qiáng)度與光線不均勻情況下三種算法對花藥的識別效果，如圖15和表4所示，在低光照強(qiáng)度條件下，SOtsu識別效果優(yōu)于其他兩個(gè)算法，精度為0.96，略低于FasterRCNN，但召回率與F1系數(shù)均高于其他兩個(gè)算法。

表4 不同環(huán)境下三種算法識別花藥結(jié)果 Table 4 Results of the three algorithms of spikelet anthers detection in different environments

在高光照強(qiáng)度下，SOtsu識別效果與低光照強(qiáng)度下的識別效果接近，略遜色于FasterRCNN算法，這說明SOtsu不受光照強(qiáng)度變化的制約，可以隨著光照強(qiáng)度的改變自動調(diào)節(jié)閾值大小，也更傾向于在光照強(qiáng)度較低情況下分割前景與背景。

光線不均勻情況下，SOtsu識別花藥的精度、召回率、F1系數(shù)都低于0.8，識別效果明顯不如FasterRCNN算法。光線不均勻會導(dǎo)致同一幅圖像中的花藥或穎花內(nèi)外穎呈現(xiàn)不同的灰度值，而SOtsu只能計(jì)算出規(guī)定區(qū)域中的單個(gè)閾值，所以光線不均勻的情況下，過度曝光的地方會被錯(cuò)誤地識別為花藥，而暗區(qū)域的花藥則被歸類為背景。

SOtsu識別花藥在光線均勻情況下取得了良好的分割效果，該方法或可結(jié)合語義分割用于花藥的自動添加標(biāo)簽中，基于像素點(diǎn)進(jìn)行分割，作為語義分割模型的數(shù)據(jù)集標(biāo)注圖。

如圖16所示，當(dāng)圖像中的背景是天空或者其他同樣呈現(xiàn)白色的物體時(shí)，SOtsu會因背景干擾而無法正確識別花藥。FasterRCNN在白色背景以及光線不均勻下仍能準(zhǔn)確識別花藥，不受光照強(qiáng)度及不均勻光線的干擾，表現(xiàn)出了極強(qiáng)的魯棒性。

圖17為低光照強(qiáng)度、高光照強(qiáng)度與光線不均勻情況下YOLO-v3與FasterRCNN對穎花內(nèi)外穎的量化識別結(jié)果，統(tǒng)計(jì)結(jié)果見表5。

表5 不同環(huán)境下兩種算法識別穎花內(nèi)外穎結(jié)果 Table 5 Results of the two algorithms of spikelet hull detection in different environments

如表5所示，F(xiàn)asterRCNN算法在不同強(qiáng)度的光照條件以及光照不均勻情況下在低光照強(qiáng)度條件下對穎花內(nèi)外穎的識別精度、召回率、F1系數(shù)均為1，識別效果均優(yōu)于YOLO-v3算法。明顯地，F(xiàn)asterRCNN算法對穎花內(nèi)外穎的識別上魯棒性較強(qiáng)。

2.5 已凋謝（裂藥散粉）花藥識別效果

當(dāng)天張開的穎花，會馬上吐出花藥，吐出的花藥在3～5 min裂開散出花粉，散出花粉后，花藥當(dāng)天凋謝，凋謝的花藥仍掛在稻穗上。識別穎花開花是為了給后續(xù)水稻制種授粉決策提供參考信息，凋謝花藥不具備花粉，無識別意義。在對花藥識別過程中，需避免錯(cuò)誤地識別已凋謝花藥。由2.3.2節(jié)可知YOLO-v3與SOtsu和FasterRCNN相比，不適用于水稻穎花開花狀態(tài)的檢測，故只用SOtsu和FasterRCNN做了對已調(diào)謝穎花花藥的檢測試驗(yàn)。

如圖18所示，凋謝花藥呈淡黃色，與新開放花藥在顏色上有明顯區(qū)別，形狀上幾乎無差別，但明顯區(qū)別于開放穎花內(nèi)外穎的形狀與顏色。圖18中稻穗上黑色部分為已識別到的當(dāng)天開放的花藥，SOtsu提取花藥恰好能完美避開已凋謝花藥，而FasterRCNN算法識別花藥會出現(xiàn)將已凋謝花藥錯(cuò)誤識別的現(xiàn)象。相比之下，F(xiàn)asterRCNN算法識別開放穎花內(nèi)外穎則無此類干擾。故FasterRCNN算法在水稻穎花開花狀態(tài)檢測中，可識別開放穎花內(nèi)外穎進(jìn)一步判斷穎花的開花狀態(tài)。

綜上所述，F(xiàn)asterRCNN算法不受光線影響，算法魯棒性強(qiáng)，但該算法在識別已凋謝花藥上還需進(jìn)一步優(yōu)化。FasterRCNN識別前期需要采集一定數(shù)量圖像樣本，人工添加標(biāo)簽，訓(xùn)練識別模型。串聯(lián)大津法無需做前期工作準(zhǔn)備，可直接進(jìn)行花藥識別。故串聯(lián)大津法適合前期樣本數(shù)據(jù)庫無足夠樣本情況下，代替FasterRCNN算法進(jìn)行水稻穎花開花狀態(tài)的檢測，直到FasterRCNN檢測模型前期準(zhǔn)備工作完成投入檢測。

3 結(jié) 論

該研究探討了檢測水稻開花張開穎花內(nèi)外穎和吐出穎花花藥兩種特征在SOtsu、FasterRCNN與YOLO-v3三種算法上的實(shí)現(xiàn)效果。首次將開放穎花內(nèi)外穎作為特征運(yùn)用于水稻穎花開花狀態(tài)檢測，取得了較好識別效果，具有與人工識別較高的一致性。

該研究中，串聯(lián)大津法與FasterRCNN算法適用于檢測水稻穎花開花狀態(tài)，且張開穎花內(nèi)外穎作為穎花開花特征應(yīng)用于深度學(xué)習(xí)檢測中效果比花藥好。串聯(lián)大津法識別花藥精確率、召回率與F1系數(shù)均達(dá)到0.92以上，與人工識別間的相關(guān)性達(dá)0.936，在光線均勻情況下取得了良好分割效果，且能避開對已凋謝花藥的識別。FasterRCNN識別花藥精確率為0.99，召回率為0.93，F(xiàn)1系數(shù)為0.95，與人工識別的相關(guān)性達(dá)0.973；FasterRCNN識別張開的穎花內(nèi)外穎精確率為1，召回率為0.97，F(xiàn)1系數(shù)為0.98，與人工識別的皮爾遜相關(guān)系數(shù)高達(dá)0.993，說明FasterRCNN檢測穎花開花狀態(tài)具有與人工觀察高度的一致性，可以代替人工觀察，檢測水稻穎花開花狀態(tài)，且不同環(huán)境條件下魯棒性強(qiáng)。YOLO-v3算法對穎花內(nèi)外穎與花藥的識別效果與SOtsu和FasterRCNN相比較差。

與深度學(xué)習(xí)算法需要做大量前期工作相較，串聯(lián)大津法無需進(jìn)行模型訓(xùn)練準(zhǔn)備，可在深度學(xué)習(xí)算法做前期準(zhǔn)備工作時(shí)代替進(jìn)行水稻穎花開花狀態(tài)檢測。

該研究面向雜交水稻制種授粉、農(nóng)場無人化作業(yè)的需求，基于可見光圖像對水稻穎花開花狀態(tài)檢測進(jìn)行了有益嘗試。在研究過程中對影像識別結(jié)果的因素進(jìn)行了減少與控制。該研究使用可見光相機(jī)進(jìn)行數(shù)據(jù)采集，有助于基于串聯(lián)大津法進(jìn)行圖像分割，雖然分割結(jié)果進(jìn)行了形態(tài)學(xué)開運(yùn)算處理，但對于交疊、重合的穎花花藥識別具有一定局限性。

后續(xù)研究可基于該研究所提出的檢測流程進(jìn)一步研究在無人為干預(yù)下，自動獲取田間穎花圖像，自動添加標(biāo)簽，自動訓(xùn)練模型以及自動切換檢測算法，實(shí)現(xiàn)水稻穎花開花狀態(tài)檢測全程智能化，并對高通量檢測方法進(jìn)行更深入地探索。