黃筑斌, 吳 雋
(貴州省農(nóng)業(yè)科技信息研究所, 貴州 貴陽 550006)
計(jì)算機(jī)視覺(Computer Vision)是指用計(jì)算機(jī)及相關(guān)設(shè)備對生物視覺進(jìn)行模擬,通過對采集的圖片、視頻進(jìn)行處理,以獲得相應(yīng)信息,實(shí)現(xiàn)物體識別、形狀方位確認(rèn)、運(yùn)動判斷等功能,以適應(yīng)、理解外界環(huán)境和控制自身運(yùn)動[1]。其研究最早可追溯到1982年英國神經(jīng)和心理學(xué)家大衛(wèi)·馬爾 (David Marr) 所著《視覺 (Vision)》一書[2]。計(jì)算機(jī)視覺綜合了計(jì)算機(jī)科學(xué)和工程、信號處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)等多個(gè)學(xué)科,涉及圖像處理、模式識別、人工智能、信號處理等多項(xiàng)技術(shù),應(yīng)用場景包括圖像分類、目標(biāo)檢測、圖像語義分割、目標(biāo)跟蹤等。經(jīng)過40余年的發(fā)展,特別是在進(jìn)入21世紀(jì)以來,隨著大數(shù)據(jù)技術(shù)和深度學(xué)術(shù)技術(shù)的快速發(fā)展,推進(jìn)了計(jì)算機(jī)視覺在公共安全、自動駕駛、醫(yī)療健康、新零售等領(lǐng)域的廣泛應(yīng)用[1],使其成為人工智能技術(shù)的主要分支之一。在農(nóng)業(yè)領(lǐng)域,計(jì)算機(jī)視覺技術(shù)同樣得到廣泛應(yīng)用[3-5],并且,隨著我國推進(jìn)農(nóng)業(yè)現(xiàn)代化進(jìn)程中日益重視將包括人工智能在內(nèi)的新一代信息技術(shù)與農(nóng)業(yè)融合,加快數(shù)字農(nóng)業(yè)技術(shù)創(chuàng)新和轉(zhuǎn)化[6],發(fā)展數(shù)字農(nóng)業(yè)和智慧農(nóng)業(yè)等業(yè)態(tài)[7],計(jì)算機(jī)視覺在農(nóng)業(yè)領(lǐng)域的應(yīng)用將具有良好的發(fā)展前景。
近年來,我國農(nóng)業(yè)生產(chǎn)數(shù)字化改造已初見成效[7],糧食生產(chǎn)領(lǐng)域也在積極探索數(shù)字化和智能化轉(zhuǎn)型升級[8-9],國內(nèi)眾多學(xué)者隨之以促進(jìn)實(shí)現(xiàn)水稻生產(chǎn)的智能化為目標(biāo),開展了計(jì)算機(jī)視覺技術(shù)應(yīng)用于水稻生產(chǎn)的研究。為推進(jìn)計(jì)算機(jī)視覺在水稻生產(chǎn)中的應(yīng)用研究提供參考,概述計(jì)算機(jī)視覺在我國水稻生產(chǎn)中的應(yīng)用研究成果。
葉綠素含量是反映作物生長過程中光合作用能力、營養(yǎng)脅迫和生長發(fā)育的重要指標(biāo)[10]。準(zhǔn)確測定水稻葉綠素含量有利于了解水稻的光合作用能力,為水稻高產(chǎn)育種和栽培提供依據(jù)。吳少俊[11]通過對水稻葉片圖像進(jìn)行處理并提取葉片輪廓,以G-R、B-R和R/(G+B)等3個(gè)顏色特征參數(shù)建立估算模型測定水稻葉綠素含量,結(jié)果表明,基于G-R和R/(G+B)參數(shù)的模型對檢驗(yàn)樣本SPAD值擬合方程的決定系數(shù)和斜率均接近1,精度較高。陳誠等[10]利用計(jì)算機(jī)視覺技術(shù)獲取水稻葉片的多個(gè)顏色指標(biāo),結(jié)合BP網(wǎng)絡(luò)、多元回歸模型和遺傳算法,建立葉綠素相對含量(SPAD值)的預(yù)測模型,其預(yù)測結(jié)果與大田實(shí)測數(shù)據(jù)相對誤差率僅為3.355 7%。童釗[12]提出基于計(jì)算機(jī)視覺的水稻葉片葉色網(wǎng)格分析法和測量葉片面積的新方法,并建立實(shí)驗(yàn)室環(huán)境下和大田環(huán)境下水稻葉片顏色特征值與SPAD值的模擬模型,其預(yù)測精度最高可分別達(dá)97.5%和96.59%。路艷[13]提出基于OpenCV獲取水稻葉片形態(tài)參數(shù)的方法,并應(yīng)用BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)及隨機(jī)森林構(gòu)分別建立水稻的葉面積和SPAD模型,結(jié)果表明,BP神經(jīng)網(wǎng)絡(luò)模型對水稻葉面積和SPAD值的擬合效果均最佳。
氮素是作物生長所必需的重要物質(zhì)。有效測定水稻氮素含量有利于掌握水稻的氮素營養(yǎng)狀況,為科學(xué)施肥提供依據(jù)。劉江桓[14]對不同生長時(shí)期的水稻葉片顏色分量與葉片及全株氮素含量的相關(guān)性進(jìn)行擬合分析得出,稻株的頂3葉對植株全氮最為敏感,同時(shí),葉片顏色的G以及G/(R+G+B)特征與植株全氮含量具有最高的相關(guān)性,以其作為參數(shù)建立模型對水稻氮素營養(yǎng)狀況進(jìn)行診斷具有較好的識別率。
隨著工廠化育苗的發(fā)展,采用恒溫箱進(jìn)行育秧在水稻生產(chǎn)中得以應(yīng)用。對于此類封閉式環(huán)境,秧苗形態(tài)識別及其生長參數(shù)監(jiān)測是保障秧苗正常生長的重要措施。陳信新等[15]利用協(xié)方差聚類算法對秧苗RGB彩色圖像進(jìn)行分割,再選用連續(xù)腐蝕開操作結(jié)合Hough變換進(jìn)行預(yù)處理,提取與秧苗徒長直接相關(guān)的株高、葉面積、著生角、生長速率等形態(tài)指標(biāo)參數(shù)進(jìn)行曲線擬合,探索了一種識別恒溫箱封閉式育秧環(huán)境下秧苗發(fā)育狀態(tài)的方法。該方法識別秧苗及其形態(tài)指標(biāo)參數(shù)的準(zhǔn)確率達(dá)87.5%,秧苗形態(tài)參數(shù)識別誤差低于7%。
工廠化育秧作業(yè)中,育秧盤普遍存在空穴和單粒穴的情況,影響秧盤育秧成秧率。為解決該問題,王桂蓮等[17]針對超級雜交稻缽體秧盤育秧播種質(zhì)量檢測與補(bǔ)種,基于計(jì)算機(jī)視覺技術(shù)開發(fā)了針對空穴和單粒穴補(bǔ)種的智能補(bǔ)種裝置。其通過對秧盤圖像的處理與分析獲取空穴和1粒穴位置坐標(biāo),再利用定位機(jī)構(gòu)和補(bǔ)種機(jī)構(gòu)從種槽取種和對秧盤指定位置動態(tài)補(bǔ)種。
自動導(dǎo)航是實(shí)現(xiàn)農(nóng)業(yè)機(jī)械化的重要內(nèi)容[18]。針對水稻插秧機(jī)的自動導(dǎo)航,毛可駿等[19]提出了一種利用秧苗行分割線作為基準(zhǔn)線提取導(dǎo)航參數(shù)的算法。其主要原理是根據(jù)秧苗在田間環(huán)境的特征,采用EXG因子分割圖像,在此基礎(chǔ)上擬合秧苗區(qū)域的水平分割線,再利用分割線計(jì)算插秧機(jī)的位移偏差和角度偏差,作為插秧機(jī)的導(dǎo)航參數(shù)。該算法計(jì)算得出的位移偏差及角度偏差與人工測量誤差小,且實(shí)時(shí)性好、精度高。對于水稻收獲機(jī)的自動導(dǎo)航,關(guān)卓懷等[20]提出了一種水稻收獲作業(yè)視覺導(dǎo)航路徑提取方法。其采用基于2R-G-B超紅特征模型的綜合閾值法進(jìn)行圖像分割,對分割圖像進(jìn)行形態(tài)學(xué)運(yùn)算處理,根據(jù)圖像灰度垂直投影值動態(tài)設(shè)定感興趣區(qū)域,水平掃描獲取作物線擬合關(guān)鍵點(diǎn),最后采用多段三次B樣條曲線擬合法提取水稻待收獲區(qū)域邊界線。經(jīng)室內(nèi)試驗(yàn)表明,提取的圖像中距離信息平均誤差為9.9 mm、偏差率為2.0%,角度信息平均誤差為0.77°、誤差率2.7%。
另外,在水稻制種田授粉作業(yè)中,植保無人機(jī)已得到廣泛運(yùn)用[21-22]。為提高無人機(jī)授粉作業(yè)效率,郭祥雨等[23]提出一種在復(fù)雜環(huán)境下快速準(zhǔn)確提取水稻制種田導(dǎo)航線的方法。其原理是基于田間圖像中父本與母本行的特點(diǎn)分割出父本行,再結(jié)合中值濾波和形態(tài)學(xué)方法對圖像去噪,基于作物行最大連通區(qū)域提取感興趣區(qū)域(ROI),引入趨勢線消除斷行與作物形態(tài)的影響,水平行掃描提取特征點(diǎn)等擬合出導(dǎo)航基準(zhǔn)線。該方法的準(zhǔn)確率可達(dá)92%以上,且處理實(shí)時(shí)圖像的耗時(shí)較短,在不同環(huán)境下具有良好的可靠性。
水稻含雜率、破碎率是衡量聯(lián)合收獲機(jī)作業(yè)質(zhì)量的重要標(biāo)準(zhǔn)[24],2021年,農(nóng)業(yè)農(nóng)村部還明確要求將機(jī)收減損作為當(dāng)前和今后一個(gè)時(shí)期糧食生產(chǎn)機(jī)械化工作的重中之重常抓不懈[25]。快速準(zhǔn)確地計(jì)算該兩項(xiàng)指標(biāo),有助于合理調(diào)整聯(lián)合收獲機(jī)的工作參數(shù),提高收獲作業(yè)質(zhì)量。陳進(jìn)等[26]采用經(jīng)多尺度Retinex算法增強(qiáng)的原始圖像,對HSV顏色模型的色調(diào)、飽和度分別設(shè)定閾值進(jìn)行圖像分割,并結(jié)合形狀特征進(jìn)行分類識別,結(jié)果表明,莖稈雜質(zhì)、細(xì)小枝梗雜質(zhì)、破碎籽粒識別的綜合評價(jià)指標(biāo)值分別達(dá)86.92%、85.07%、84.74%。另外,采用“色譜訓(xùn)練-驗(yàn)證”兩步法對完整和破碎籽粒進(jìn)行識別,結(jié)果表明,完整和破碎籽粒的識別率達(dá)96%,破碎率監(jiān)測值與真實(shí)人工監(jiān)測值具有良好的趨勢一致性[27]。
種子活力是種子品質(zhì)評估的重要指標(biāo)。隨著水稻免耕直播技術(shù)和大規(guī)模機(jī)械化插秧的推廣應(yīng)用,對種子活力提出了較高要求[28]。針對種子活力檢測方法較繁復(fù)的不足,章華仙[29]利用Matlab 6.5對四唑染色后的水稻種子胚圖像進(jìn)行預(yù)處理,選定閾值進(jìn)行圖像分割,特征提取,區(qū)域標(biāo)記和圖像識別,結(jié)果表明,圖像處理結(jié)果和標(biāo)準(zhǔn)發(fā)芽測試與人工判定結(jié)果間有很好的相關(guān)性。
除種子活力外,還有學(xué)者利用計(jì)算機(jī)視覺技術(shù)對識別正常稻種、微裂稻種、霉變稻種、裂穎稻種進(jìn)行研究。成芳[30]構(gòu)建適用于稻種質(zhì)量檢驗(yàn)的機(jī)器視覺硬件系統(tǒng),設(shè)計(jì)適用于稻種質(zhì)量檢測的圖像預(yù)處理方法,并開發(fā)高精度識別算法進(jìn)行不同品質(zhì)水稻的識別,對正常稻種、微裂稻種、裂穎稻種的平均識別準(zhǔn)確率分別達(dá)96%、92%、87%。
水稻出現(xiàn)空殼會對其產(chǎn)量帶來不利影響,而水稻自身的品種特性是影響其空殼率的因素之一[31],因此,計(jì)算空殼率對于評估稻種品質(zhì)具有一定的參考意義。為實(shí)現(xiàn)水稻空殼率的自動化檢測,王康[32]設(shè)計(jì)了一種基于機(jī)器視覺技術(shù)的水稻空殼率檢測設(shè)備。其利用稻谷的透光性,使用普通可見光照射方式對水稻顆粒圖像進(jìn)行分析處理,分別采用灰度特征和YUV顏色模型進(jìn)行空殼稻粒的識別。結(jié)果表明,在稻粒無粘連的情況下,錯(cuò)判數(shù)僅為9粒,誤差率為4.86‰,符合水稻空殼率計(jì)算誤差必須控制在5‰以內(nèi)的標(biāo)準(zhǔn)。
品質(zhì)優(yōu)良的稻種是保障水稻產(chǎn)量和質(zhì)量的基礎(chǔ)。為探索精準(zhǔn)自動篩選稻種的技術(shù)方法,陳兵旗等[33]以面積和寬長比作為稻種類型的特征參數(shù),以等價(jià)矩形長、寬的差值最小為標(biāo)準(zhǔn),進(jìn)行未知稻種類型的判斷;以掃描線上黑白像素的變化次數(shù)和掃描線數(shù)判斷稻種的破裂;以不同閾值提取的稻種面積差判斷稻種是否霉變。結(jié)果表明,對稻種類型、工位有無種子、種子幾何參數(shù)以及發(fā)霉與破損情況判斷的正確率分別達(dá)100%、91.4%、88.9%和76.8%。
成熟度判定是開展水稻收獲作業(yè)的關(guān)鍵因素,對水稻實(shí)收產(chǎn)量和質(zhì)量具有顯著影響。許煊汶[34]通過對水稻的圖像信息分析,使用大數(shù)據(jù)統(tǒng)計(jì)的方式計(jì)算出不同成熟度所對應(yīng)的不同水稻RGB信息,結(jié)合深度學(xué)習(xí)算法,并通過制作“比色板”方式輔助算法對水稻的成熟度進(jìn)行預(yù)測,構(gòu)造以青米率為判別成熟度指標(biāo)的模型。與人工測定青米率判斷成熟度的方式相比,該模型的最大絕對誤差為8%,最大相對誤差為13%。
雜草稻是一種具有野生稻和栽培稻特性的一類雜草[35],其會與水稻爭奪陽光和養(yǎng)分等,進(jìn)而顯著影響水稻的產(chǎn)量。為準(zhǔn)確識別水稻雜株,以實(shí)現(xiàn)對其進(jìn)行有效控制,李寧等[36]設(shè)計(jì)了一種由圖像獲取系統(tǒng)、特征提取系統(tǒng)和模式識別方法系統(tǒng)組成的水稻雜株識別系統(tǒng)。該系統(tǒng)可利用顏色特征識別圖像中的雜株,通過 DS 融合理論程序?qū)崿F(xiàn)水稻雜株的識別,準(zhǔn)確率達(dá)92%以上。袁南星等[37]采用類似方法對水稻各生長發(fā)育期的雜株進(jìn)行識別得出,秧苗期水稻雜株的識別率較低,僅為89.1%,而抽穗期的識別率最高。楊紅云[38]利用水稻葉片冠層圖像,針對水稻葉片與單片近圓形雜草的識別,提出了凹點(diǎn)檢測與Hough變換相結(jié)合的識別方法;同時(shí),針對多片雜草交疊生長的情況,提出了基于二值圖像輪廓曲率的雜草識別方法。2種方法對水稻雜草的識別準(zhǔn)確率分別超90%和87%。
病蟲害識別是計(jì)算機(jī)視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的主要應(yīng)用場景,涉及病害蟲的分類、檢測和識別等[39]。針對水稻葉斑病,劉濤等[40]利用水稻大田、病害圖冊和病害數(shù)據(jù)庫的圖像數(shù)據(jù),建立顏色、形狀、紋理、病健交界4個(gè)特征參數(shù)的支持向量機(jī)模型,其平均識別準(zhǔn)確率為92.67%,平均漏報(bào)率為7.00%,最大漏報(bào)率和誤報(bào)率分別為15.00%和25.00%。呂軍[41]采用基于圖像灰度差分的背景分割方法,以支持向量機(jī)作為分類器對多種水稻燈誘害蟲進(jìn)行識別,實(shí)現(xiàn)了對每種害蟲的準(zhǔn)確計(jì)數(shù)。針對水稻紋枯病,沈美等[42]通過分析自然環(huán)境中典型水稻葉部紋枯病病害的顏色特征與局部模糊特征,運(yùn)用神經(jīng)網(wǎng)絡(luò)算法對5個(gè)危害級別150個(gè)樣本進(jìn)行識別得出,2級病葉識別的正確率接近80%,3級90%,4級100%,5級正確率接近75%。針對水稻基部白背飛虱,劉慶杰[43]采用NCuts算法進(jìn)行水稻粘連害蟲圖像分割,建立綜合Adaboost算法、HOG特征、SVM分類器、常規(guī)特征參數(shù)的檢測機(jī)制,實(shí)現(xiàn)白背飛虱的檢測與計(jì)數(shù)。在水稻病蟲害識別的實(shí)踐應(yīng)用上,管澤鑫[44]構(gòu)建水稻病害數(shù)據(jù)庫,以計(jì)算機(jī)視覺技術(shù)結(jié)合模式識別方法為基礎(chǔ),開發(fā)了具有圖像采集、病斑分割、特征提取、室內(nèi)病斑評價(jià)、病害識別等功能的水稻病害智能識別系統(tǒng)。
計(jì)算機(jī)視覺在水稻生產(chǎn)上的應(yīng)用涉及水稻的生長監(jiān)測、稻種品質(zhì)檢測、病蟲害識別等方面,其主要的實(shí)現(xiàn)方式可概括為圖像獲取-圖像特征提取-建立算法(模型)識別特征?,F(xiàn)有的相關(guān)研究也主要圍繞這三方面開展,以實(shí)現(xiàn)方法上的改進(jìn),但相較于其他領(lǐng)域的計(jì)算機(jī)視覺技術(shù)應(yīng)用現(xiàn)狀,并且與我國水稻的總體生產(chǎn)規(guī)模相比,并未普遍有效實(shí)現(xiàn)成果轉(zhuǎn)化,沒有在水稻生產(chǎn)實(shí)踐中得到廣泛應(yīng)用。從產(chǎn)業(yè)發(fā)展的角度看,我國農(nóng)業(yè)整體的數(shù)字化和智能化程度仍然不高,尚需一定的發(fā)展過程。從技術(shù)層面看,與其他應(yīng)用計(jì)算機(jī)視覺技術(shù)較成熟的領(lǐng)域相比,農(nóng)業(yè)領(lǐng)域應(yīng)用計(jì)算機(jī)視覺仍需要改善軟硬件配套,提高技術(shù)的實(shí)用性和易用性。另外,與其他行業(yè)相比,特別是標(biāo)準(zhǔn)化和可控程度更高的工業(yè),農(nóng)業(yè)生產(chǎn)本身具有特殊的復(fù)雜性,存在諸多影響因素和不可控的風(fēng)險(xiǎn),實(shí)現(xiàn)計(jì)算機(jī)視覺技術(shù)在農(nóng)業(yè)生產(chǎn)中的成熟應(yīng)用具有更大的技術(shù)難度。綜合來看,推進(jìn)計(jì)算機(jī)視覺在包括水稻生產(chǎn)在內(nèi)的農(nóng)業(yè)領(lǐng)域進(jìn)行應(yīng)用,不僅需要從技術(shù)上持續(xù)改進(jìn),也要結(jié)合我國農(nóng)業(yè)數(shù)字化和智能化發(fā)展的現(xiàn)實(shí)條件和趨勢,探索技術(shù)最終得以應(yīng)用的有效方式及相應(yīng)的保障和支撐措施,逐漸建立相對完善的技術(shù)研發(fā)和應(yīng)用體系,更好地實(shí)現(xiàn)科技興農(nóng)。