楊斯 黃鋁文 張馨
摘要:機(jī)器視覺是利用機(jī)器代替人眼來對(duì)目標(biāo)物做模式識(shí)別、測(cè)量與判斷的一項(xiàng)綜合技術(shù),其在農(nóng)業(yè)各領(lǐng)域中的研究與應(yīng)用發(fā)展迅速。從作物育苗的特性、機(jī)器視覺在苗期管理的作用、苗期作物視覺信息采集設(shè)備及葉片提取方法的發(fā)展3個(gè)方面分析了設(shè)施育苗對(duì)基于機(jī)器視覺的苗期作物監(jiān)測(cè)的需求;總結(jié)了苗期作物視覺信息的主流獲取技術(shù),即成像傳感器的成像技術(shù)、多傳感器圖像融合技術(shù)、三維重建技術(shù)的特點(diǎn);回顧了機(jī)器視覺技術(shù)近年來在國內(nèi)外苗期作物中的應(yīng)用情況,從苗期作物關(guān)鍵生長參數(shù)監(jiān)測(cè)檢測(cè)方面進(jìn)行綜述,分析、對(duì)比、總結(jié)苗期作物關(guān)鍵生長參數(shù)的提取方法,最后概述我國現(xiàn)階段機(jī)器視覺技術(shù)在苗期作物的應(yīng)用中主要存在的問題以及發(fā)展前景。
關(guān)鍵詞:機(jī)器視覺;農(nóng)業(yè);作物苗期;生長參數(shù);設(shè)施育苗;作物生長監(jiān)測(cè)
機(jī)器視覺是利用機(jī)器代替人眼來對(duì)目標(biāo)物做模式識(shí)別、測(cè)量與判斷等的一項(xiàng)綜合技術(shù)。機(jī)器視覺在農(nóng)業(yè)生產(chǎn)中應(yīng)用十分廣泛,在農(nóng)作物生長過程的監(jiān)測(cè)[1-2]、農(nóng)產(chǎn)品的質(zhì)量分級(jí)[3]、病蟲草害的識(shí)別與控制[4]、采摘農(nóng)業(yè)果實(shí)系統(tǒng)[5-6]等方面均有研究與應(yīng)用。典型的機(jī)器視覺系統(tǒng)結(jié)構(gòu)見圖1[7]。
隨著機(jī)器視覺技術(shù)、計(jì)算機(jī)技術(shù)的成熟,其在育苗監(jiān)測(cè)中的研究與應(yīng)用得到廣泛開展。機(jī)器視覺對(duì)苗期作物生長信息的檢測(cè)主要是及時(shí)采集苗期作物圖形圖像信息,通過圖形圖像處理技術(shù)提取出與苗期作物營養(yǎng)狀況相關(guān)的參數(shù)信息,能夠?yàn)榕袛嗝缙谧魑锷L狀況提供決策支持。實(shí)現(xiàn)了苗期作物生長狀態(tài)的無損檢測(cè),且具有測(cè)量速度快,測(cè)量結(jié)果誤差低,節(jié)省大量人力、物力等優(yōu)勢(shì)。目前,機(jī)器視覺在作物生長過程中的研究與應(yīng)用主要集中在葉片面積、葉色、葉片溫度、葉片形態(tài)、植株高度等關(guān)鍵生長參數(shù)方面和作物營養(yǎng)信息檢測(cè)等方面[8],并取得了一定的研究成果。
農(nóng)作物苗期生長是一個(gè)動(dòng)態(tài)的、復(fù)雜的生理生化及代謝過程[1],苗期作物的生長發(fā)育將直接影響到作物的生物產(chǎn)量、經(jīng)濟(jì)產(chǎn)量、營養(yǎng)品質(zhì)及其安全性[9]。農(nóng)作物苗期的生長監(jiān)測(cè)對(duì)于工廠化育苗、種苗質(zhì)量分級(jí)等都具有指導(dǎo)作用[9]。
本研究先分析基于機(jī)器視覺技術(shù)苗期作物關(guān)鍵生長參數(shù)監(jiān)測(cè)的需求,然后總結(jié)概括苗期作物視覺信息獲取技術(shù)優(yōu)劣,依次分析苗期作物關(guān)鍵生長參數(shù)提取方法的優(yōu)缺點(diǎn)和創(chuàng)新點(diǎn),最后總結(jié)現(xiàn)階段機(jī)器視覺技術(shù)在苗期作物生長檢測(cè)上存在的問題及未來的研究方向。
1 基于機(jī)器視覺苗期作物監(jiān)測(cè)需求分析
1.1 作物育苗的特性
作物育苗的目的是為了培育出優(yōu)質(zhì)種苗,進(jìn)而實(shí)現(xiàn)作物早播種,早收獲,延長作物的供應(yīng)期,并提高農(nóng)產(chǎn)品的產(chǎn)量和品質(zhì)。育苗產(chǎn)業(yè)蓬勃發(fā)展,可以有效地解決技術(shù)與大田的對(duì)接,且有利于育苗戶與購苗戶的互利共贏。育苗是作物生產(chǎn)中的重要環(huán)節(jié),正確使用優(yōu)質(zhì)種子培育出高質(zhì)量的種苗是獲得優(yōu)質(zhì)、高產(chǎn)、高效益產(chǎn)品的保障,因此培育出高質(zhì)量種苗是實(shí)現(xiàn)作物高效生產(chǎn)的關(guān)鍵。培育出高質(zhì)量幼苗與種子質(zhì)量、育苗方式以及苗期管理有著直接和間接的關(guān)系,其中在種子質(zhì)量、育苗方式確定的條件下,苗期管理對(duì)培育出高質(zhì)量種苗起著關(guān)鍵性作用。
農(nóng)業(yè)生產(chǎn)上認(rèn)為好種子出好苗,好苗子促高產(chǎn),對(duì)于好苗的評(píng)判標(biāo)準(zhǔn)因沒有統(tǒng)一的質(zhì)量規(guī)范而良莠不齊。且對(duì)種苗進(jìn)行農(nóng)產(chǎn)品質(zhì)量方面的分等分級(jí),收購的種苗好壞不一,阻礙了優(yōu)質(zhì)優(yōu)價(jià)的實(shí)現(xiàn)和優(yōu)質(zhì)農(nóng)產(chǎn)品的生產(chǎn)[10]。因此,對(duì)種苗進(jìn)行農(nóng)產(chǎn)品質(zhì)量分等分級(jí)在推進(jìn)農(nóng)業(yè)現(xiàn)代化建設(shè)、提高種苗市場(chǎng)競(jìng)爭力方面均有重大意義[11]。
1.2 機(jī)器視覺在苗期管理的作用
機(jī)器視覺的苗期管理是指將計(jì)算機(jī)學(xué)科的圖形圖像處理和模式識(shí)別理論與農(nóng)業(yè)工程學(xué)科的農(nóng)產(chǎn)品品質(zhì)檢測(cè)與分級(jí)理論相結(jié)合[3]。利用圖形圖像處理技術(shù)與模式識(shí)別技術(shù)提取出苗期作物的關(guān)鍵生長參數(shù)信息,根據(jù)提取的信息評(píng)估其生長狀態(tài)是否良好,及時(shí)對(duì)作物是否須要澆水、施肥、噴灑農(nóng)藥等農(nóng)事操作做出決策;在成苗期可根據(jù)規(guī)定的種苗質(zhì)量等級(jí)標(biāo)準(zhǔn),應(yīng)用機(jī)器視覺技術(shù)提取出苗期作物的關(guān)鍵生長參數(shù),進(jìn)而對(duì)苗期作物進(jìn)行質(zhì)量分等分級(jí),對(duì)農(nóng)產(chǎn)品質(zhì)量分級(jí)的發(fā)展、農(nóng)產(chǎn)品市場(chǎng)經(jīng)濟(jì)具有重大意義。
1.3 苗期作物對(duì)視覺信息采集設(shè)備的需求
植物葉片的圖像分析是農(nóng)業(yè)自動(dòng)化的重要任務(wù)之一,因?yàn)橹参锶~片含有豐富的植物信息。自動(dòng)檢測(cè)個(gè)別葉片是實(shí)現(xiàn)植物生長檢測(cè)的根本任務(wù)。由于植物葉片在自然條件下會(huì)顯示出各種變化姿勢(shì)和復(fù)雜的形狀,因此單個(gè)葉片的分割是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。植物葉片分割在過去幾十年中得到廣泛的研究[12]。
國內(nèi)外研究員提出了許多感測(cè)技術(shù)來獲取植物信息,如圖像相機(jī),紅外相機(jī),光譜相機(jī)等。在初始階段,植物葉片分割主要是通過使用2D分割方法進(jìn)行的,可以成功地從簡單自然背景中提取。然而,這些方法很難識(shí)別出遮擋的葉片,并且葉片可能對(duì)照明變化敏感。為了處理遮擋植物葉片的檢測(cè),提出了包含葉片形狀先驗(yàn)知識(shí)的可變形模型,從復(fù)雜的背景中分割出個(gè)體葉片。開發(fā)了參數(shù)化可變形模型,以葉片頂端為基礎(chǔ)識(shí)別雜草信息。最近,使用活動(dòng)形狀模型(ASM)來檢測(cè)具有先驗(yàn)知識(shí)的現(xiàn)場(chǎng)條件下的遮擋葉,活動(dòng)形狀模型在雜草鑒定中表現(xiàn)出高精度。
最近,由于成像系統(tǒng)的快速發(fā)展和計(jì)算機(jī)計(jì)算性能的提高而提出了植物葉片的三維分割。研究人員開發(fā)各種成像系統(tǒng)以獲得植物3D圖像,例如立體相機(jī)和激光掃描儀。從多個(gè)視圖(例如立體視覺)的三維重建是獲得研究對(duì)象準(zhǔn)確3D信息的成功技術(shù)之一。Quan等開發(fā)了一種基于圖像的植物建模系統(tǒng),通過從植物多視角的一組2D圖像重建植物的3D模型[13]。該方法從不同角度拍攝的30多張2D圖像中,通過圖像融合技術(shù)得到植物的點(diǎn)云數(shù)據(jù),提出了一種集3D和2D信息的圖為基礎(chǔ)的分割方案,用于分割葉片,并通過擬合葉片模型重建植物葉片的三維結(jié)構(gòu)。由于收集植物的多個(gè)視圖應(yīng)在受控條件下進(jìn)行,因此該方法尚不適用于田間農(nóng)業(yè)應(yīng)用。
通過使用3D激光掃描儀獲得植物的高精度3D數(shù)據(jù)。利用激光雷達(dá)(lidar)傳感器檢測(cè)作物田間的單株植物是為農(nóng)業(yè)機(jī)器人導(dǎo)航而開發(fā)的?;谟杉す鈷呙鑳x獲得的點(diǎn)云實(shí)現(xiàn)植物表型檢測(cè),并且通過使用激光掃描數(shù)據(jù)對(duì)葉和莖等器官進(jìn)行分類。此外,Klose等開發(fā)了飛行時(shí)間(ToF)相機(jī),用于測(cè)量物體的精確3D信息,并已被應(yīng)用于植物的3D分析[14]。通過使用ToF相機(jī)研究作物關(guān)鍵生長參數(shù)的提取方法,通過應(yīng)用基于圖的分割、深度數(shù)據(jù)進(jìn)行單個(gè)植物葉片的分割。此外,通過在室內(nèi)和室外條件下與立體相機(jī)進(jìn)行比較,評(píng)估了使用ToF相機(jī)進(jìn)行農(nóng)業(yè)應(yīng)用的適用性,且ToF相機(jī)與立體視覺相機(jī)的精度相當(dāng)。
雖然立體視覺和激光掃描儀可以提供植物的高精度3D數(shù)據(jù),但由于激光掃描儀價(jià)格非常高,農(nóng)業(yè)實(shí)踐不可負(fù)擔(dān)。ToF相機(jī)受到研究者的青睞,大多數(shù)ToF相機(jī)提供了低分辨率的深度圖像(例如CamCube)。最近開發(fā)出低成本彩色深度(RGB-D)相機(jī),比ToF相機(jī)具有更高圖像分辨率的3D成像(例如Kinect)。該RGB-D相機(jī)在3D重建、對(duì)象識(shí)別等應(yīng)用中已被廣泛使用。與高精度激光掃描儀相比,低成本的RGB-D相機(jī)在3D植物表型研究中通過使用深度數(shù)據(jù)重建植物的3D結(jié)構(gòu)[15],并展示了自動(dòng)化農(nóng)業(yè)應(yīng)用的可能性。此外,Chéné等進(jìn)行了使用RGB-D相機(jī)的3D植物表型的室內(nèi)測(cè)試,使用了深度數(shù)據(jù)進(jìn)行葉片分割,并證明了基于RGB-D相機(jī)的植物監(jiān)測(cè)的可行性[16]。
在前人的研究中,RGB-D相機(jī)在植物圖形圖像分析中表現(xiàn)出很高的性能。RGB-D相機(jī)可以產(chǎn)生實(shí)時(shí)深度數(shù)據(jù),與激光和立體相機(jī)相比,3D映射的計(jì)算成本較低,因此 RGB-D 相機(jī)性價(jià)比高,基本滿足苗期作物對(duì)視覺信息采集設(shè)備的需求。
2 苗期作物視覺信息獲取技術(shù)
2.1 成像技術(shù)
現(xiàn)代成像技術(shù)具有高分辨率,并允許多維和多參數(shù)數(shù)據(jù)的可視化。成像技術(shù)可用于量化作物相關(guān)生長、產(chǎn)量等復(fù)雜性狀,成像傳感器的完善使得成像技術(shù)更容易地實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)作物生長。目前主要的成像技術(shù)有可見光成像、熒光成像、熱成像、近紅外成像、高光譜成像等。不同成像技術(shù)在作物生長監(jiān)測(cè)中的應(yīng)用見表1。
2.2 多傳感器圖像融合技術(shù)
由于單一傳感器獲取的作物生長參數(shù)數(shù)據(jù)信息較為有限,在實(shí)際研究與應(yīng)用中,難以滿足需求,利用多傳感器圖像融合技術(shù)可以獲取更多的信息。在目標(biāo)對(duì)象定位與識(shí)別的過程中,獲取多源信息,并通過一定的算法將這些獲取的信息進(jìn)行有效的融合,將會(huì)顯著提高目標(biāo)對(duì)象的識(shí)別性能。圖2為標(biāo)準(zhǔn)的圖像融合技術(shù)的系統(tǒng)框架。
2.3 三維重建技術(shù)
傳統(tǒng)的三維重建技術(shù)主要是在被掃描的目標(biāo)在靜止?fàn)顟B(tài)下進(jìn)行掃描,三維掃描設(shè)備十分昂貴。隨著計(jì)算機(jī)硬件大規(guī)模計(jì)算能力的快速發(fā)展,尤其是中央處理器(GPU)和分布式計(jì)算點(diǎn)的快速發(fā)展,使得實(shí)時(shí)高效的解決方案成為可能。基于圖像的三維重建和基于深度相機(jī)的三維重建為目前主流的三維重建的2種方法(圖3)。其中基于圖像的三維重建又分為基于單幅圖像和基于圖像序列的三維重建,該重建方法需要大量的后期計(jì)算與處理,且得到的模型精度較低。基于深度相機(jī)的三維重建技術(shù)可以獲取深度圖像數(shù)據(jù),重建的難度大大降低。
3 作物關(guān)鍵生長參數(shù)提取方法的研究進(jìn)展
3.1 葉片數(shù)
作物苗期的葉片數(shù)變化較為明顯,人工的方法絕大部分采用的是人眼目測(cè)、人工計(jì)數(shù),雖然測(cè)量的結(jié)果比較精確,對(duì)于少量植株可行,但是對(duì)于植株群體則需要大量的人力和時(shí)間,也無法在植物的整個(gè)生長過程中實(shí)現(xiàn)持續(xù)的監(jiān)測(cè)。
運(yùn)用機(jī)器視覺的技術(shù),是對(duì)植物的葉片進(jìn)行葉片分割等相關(guān)的圖形圖像處理,進(jìn)而得出葉片數(shù)。Chéné等對(duì)1株植物的深度圖選取最小區(qū)域進(jìn)行葉片分割,結(jié)合背景中的顏色標(biāo)記,得到每張葉片的高度順序,進(jìn)而分割出每張葉片(圖4)[16]。
3.2 葉顏色
顏色是葉的一個(gè)主要特征,有經(jīng)驗(yàn)的種植者能夠根據(jù)葉的顏色特征判斷植物的健康狀況,決定是否需要澆水、施肥、噴灑農(nóng)藥。植物生長智能檢測(cè)中的關(guān)鍵步驟是提取植物葉顏色特征。種植者的判斷依賴經(jīng)驗(yàn),可以借助機(jī)器視覺的圖像處理、模式識(shí)別、數(shù)據(jù)庫等理論和技術(shù)實(shí)現(xiàn)自動(dòng)化、智能化地實(shí)時(shí)判斷;實(shí)現(xiàn)對(duì)作物生長的智能監(jiān)控。其中,圖像處理的應(yīng)用能夠?yàn)闆Q策提供重要的數(shù)據(jù)支持。
葉顏色的測(cè)量隨著機(jī)器視覺技術(shù)的引入而變得簡單易行,研究者可以根據(jù)自己的研究需求提取不同顏色空間的值。夏永泉等為了提高病斑圖像的分割精度,提出了一種在色 調(diào)- 飽和度-強(qiáng)度(hue-saturation-intensity,簡稱HIS)顏色空間中植物葉片病斑提取的方法,并證明,基于HIS顏色空間的植物葉片病斑提取方法是有效可行的[53]。張凱兵等提出一種基于HSV顏色空間的非均勻直方圖量化和組合多個(gè)支撐向量機(jī)分類器的智能化油菜缺素分析與診斷方法(圖5),結(jié)果表明可以較準(zhǔn)確地判別常見油菜的缺素類型,對(duì)5種缺素的總體識(shí)別率達(dá)到93%,為數(shù)字化和智能化的油菜營養(yǎng)分析與診斷提供了一條有效途徑[54]。
3.3 葉面積
葉片的總面積是農(nóng)作物產(chǎn)量和品質(zhì)的評(píng)價(jià)指標(biāo)[55],其面積大小是遺傳育種、植物栽培等方面研究經(jīng)??紤]的內(nèi)容,也是評(píng)價(jià)環(huán)境因子效應(yīng)的重要生長指標(biāo)。因此建立方便、準(zhǔn)確的葉面積測(cè)定方法,對(duì)植物苗期選育出健康苗,并針對(duì)不同健康程度的種苗做出相應(yīng)的栽培規(guī)劃具有重要意義。
傳統(tǒng)的葉面積測(cè)量的方法較多,葉的質(zhì)量估計(jì)葉面積法和方格法均須要將硫酸紙(或掃描紙)沿葉片邊緣繪出葉樣,
或者掃描儀掃描出葉片形狀,以上方法雖然能夠較為準(zhǔn)確地估算出葉面積,但須要將葉片采摘下來,實(shí)際上也是一種破壞性測(cè)量,且不能忽略人為帶來的誤差,以及擴(kuò)展到大量葉面積測(cè)量,其工作量極其繁重。艾軍等利用回歸方程法,通過測(cè)得的北五味子葉寬和葉長預(yù)測(cè)出葉面積,該方法精確度較高、快速方便,可活體測(cè)量實(shí)現(xiàn)無損檢測(cè),但依然不能忽略人為帶來的誤差,以及擴(kuò)展到大量葉面積的測(cè)量時(shí),工作量極其繁重[56]。
徐貴力等提出參考物法實(shí)現(xiàn)葉面積的無損測(cè)量,設(shè)計(jì)了一個(gè)活體葉片采樣密閉光照箱,方便可行且精度和效率高,可在不影響植物生長的條件下進(jìn)行活體葉片面積的測(cè)量,但是須將植物葉片伸入光照箱中才可以測(cè)量,缺乏靈活性[57]。進(jìn)口葉面積測(cè)定儀,雖然準(zhǔn)確簡單快速,但價(jià)格昂貴,且需要人工測(cè)量,葉面積測(cè)定儀見圖6。李長纓等利用機(jī)器視覺系統(tǒng)對(duì)黃瓜幼苗生長進(jìn)行無損監(jiān)測(cè),并計(jì)算葉冠投影面積,但無法解決葉片生長過程中出現(xiàn)的多葉片重疊遮擋的技術(shù)難點(diǎn)[2]。Fanourakis等研究了2種雙子葉植物(油菜、番茄)和2種單子葉植物(玉米、大麥),通過將植物每旋轉(zhuǎn)10°獲取1次數(shù)據(jù)集,旋轉(zhuǎn)1周獲取17次,得出多視角數(shù)據(jù)集,有助于解決植物葉片自我重疊遮擋給植物葉面積測(cè)量帶來的技術(shù)難點(diǎn),圖7-A表示光幕陣列(LC)正在掃描一排植物,光柵、移動(dòng)裝置在2個(gè)垂直方向上發(fā)射和接收光束;圖7-B表示一排油菜籽植物的植物輪廓,綠色表示分割植物輪廓與花盆輪廓分離的步驟;圖7-C至圖7-E為估計(jì)不同大小的番茄植物的最大株高[58]。
二維成像技術(shù)所得到的目標(biāo)葉片面積精度將受限于葉片的彎曲度與卷曲度,隨著3D信息捕獲設(shè)備的廣泛使用,獲得了植物葉片點(diǎn)云數(shù)據(jù),進(jìn)而進(jìn)行三角網(wǎng)格化處理,如圖8所示,根據(jù)海倫公式計(jì)算出目標(biāo)葉片面積的方法得到普遍的認(rèn)可。王可提出一種自然生長狀態(tài)下原位植株葉片三維信息獲取及三維重建方法,針對(duì)已獲取的原位植物葉片的三維可視化模型,根據(jù)海倫公式進(jìn)行葉片表面積計(jì)算,三維重建的方法可以較為精確地測(cè)量彎曲或卷曲的葉片面積[59]。
3.4 葉溫度
溫度測(cè)量的方法多種多樣,葉片溫度是研究植物光合作用、蒸騰作用以及生長發(fā)育等各項(xiàng)生命過程的關(guān)鍵參數(shù)。在實(shí)踐中,具體的測(cè)量手段較多,各有特點(diǎn)。有研究人員使用紅外測(cè)溫儀,通過接收植物體表面(很多情況下是葉片)發(fā)射出的紅外線,在一定的精度范圍內(nèi)經(jīng)數(shù)據(jù)處理得到植物的體溫?cái)?shù)值。這是一種與植物體非接觸式的測(cè)量體溫的方法。更進(jìn)一步的,Oerke等運(yùn)用紅外熱像儀,把植物葉片發(fā)出的紅外線信號(hào)轉(zhuǎn)變成圖像,從而可以直觀地看到植物葉片上溫度的分布情況(圖9)[60]。Chéné等結(jié)合熱成像相機(jī),直觀地看到植物葉片上溫度的分布情況并判斷出病原體葉片,并結(jié)合深度相機(jī)將含有病原體的葉片分割出來仔細(xì)研究,圖10-A至圖10-C分別為同一蘋果樹的RGB圖、深度圖、熱成像圖,蘋果樹在3個(gè)葉片上含有蘋果痂病病原體,圖10-D至圖10-F為從蘋果樹的熱成像圖結(jié)合深度圖分割出3片含有病原體的葉片[16]。
除了上述利用紅外技術(shù)來測(cè)量植物葉片溫度外,也可以用接觸式的熱電偶測(cè)溫儀來測(cè)量。其原理在于,植物體溫度被熱電偶傳感器探測(cè)到后,轉(zhuǎn)變?yōu)殡娦盘?hào)后再顯示為具體的溫度數(shù)值。為了更好地測(cè)量植物葉片的溫度,陶冶等設(shè)計(jì)了傳輸路徑的熱電偶測(cè)量裝置(圖11),取得了一定效果[61]。
3.5 株高
植株高度是植物形態(tài)特征中的一項(xiàng)指標(biāo),可以反映植物生長速度,也是農(nóng)業(yè)機(jī)械自動(dòng)控制系統(tǒng)和各種農(nóng)業(yè)機(jī)器研究應(yīng)用需要的一個(gè)重要信息,如聯(lián)合收割機(jī)割臺(tái)高度自動(dòng)調(diào)整系統(tǒng)、對(duì)耙噴藥的位置控制系統(tǒng),均須獲取植物生長的高度信息。農(nóng)業(yè)在其生產(chǎn)過程中,通過對(duì)植物的株高進(jìn)行監(jiān)測(cè),在種苗期能夠篩選出健康苗;在生長期能夠及時(shí)并準(zhǔn)確地了解其生長信息,并且能夠?yàn)橹参锾镩g的管理策略提供相關(guān)依據(jù),便于田間管理者采取合適的方法來保證植物的健康生長,對(duì)其最終的高穩(wěn)產(chǎn)賦予了非常重要的意義。
株高的人工測(cè)量方法主要包括利用游標(biāo)卡尺、卷尺等工具進(jìn)行接觸式測(cè)量,雖然測(cè)量的結(jié)果比較精確,但是耗費(fèi)了大量的人力和時(shí)間,在大量的作物群體中株高測(cè)量無法迅速獲得較為精確的結(jié)果,且無法在作物的整個(gè)生長過程中實(shí)現(xiàn)株高的持續(xù)監(jiān)測(cè)。株高的自動(dòng)化無損測(cè)量主要以非接觸式測(cè)量為主,是以光電、電磁等技術(shù)為基礎(chǔ),在不直接接觸被測(cè)物體的情況下,得到物體表面參數(shù)信息,主要包括被動(dòng)式測(cè)高和主動(dòng)式測(cè)高[62]。被動(dòng)式測(cè)高主要利用機(jī)器視覺技術(shù)實(shí)現(xiàn),即通過圖像傳感器獲取圖像并轉(zhuǎn)換成數(shù)字圖像,模擬人眼的判別準(zhǔn)則,利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和判別,最終提取被測(cè)物體的特征,實(shí)現(xiàn)對(duì)被測(cè)目標(biāo)的實(shí)時(shí)監(jiān)測(cè)、控制。在計(jì)算機(jī)技術(shù)的快速發(fā)展下,計(jì)算機(jī)視覺、圖像處理等技術(shù)在植物生長信息獲取方面應(yīng)用廣泛。劉洪見等利用圖像處理技術(shù)通過提取出玉米的株型骨架,進(jìn)而計(jì)算出玉米植株株高[63]。齊華山在實(shí)驗(yàn)室環(huán)境下通過圖像處理技術(shù),采用線性標(biāo)定法,實(shí)現(xiàn)了單株玉米植株的株高的機(jī)器測(cè)量[64]。Zhang等以50個(gè)辣椒缽苗為試驗(yàn)材料,探索基于機(jī)器視覺技術(shù)快速采集盆苗苗高的方法[65]。王傳宇等利用雙目視覺系統(tǒng)實(shí)現(xiàn)了重建玉米3D株形,通過矩陣投影得出葉片邊緣點(diǎn)的三維坐標(biāo),進(jìn)而得到葉片高度,葉即株高[66]。呂朝輝等將計(jì)算機(jī)立體視覺結(jié)合圖像處理技術(shù),進(jìn)行三維重建,進(jìn)而實(shí)現(xiàn)測(cè)定秧苗的直立度,結(jié)果與人工測(cè)量方法無顯著差異[67]。
主動(dòng)式測(cè)高主要利用聲波、光波的反射特性,實(shí)現(xiàn)距離的測(cè)量。李霞等基于超聲波技術(shù)研究設(shè)計(jì)了一套可適時(shí)調(diào)節(jié)棉花打頂高度的系統(tǒng),此系統(tǒng)簡單、操縱方便,實(shí)現(xiàn)了棉株高度的自動(dòng)測(cè)量[68]。高巍等利用超聲波傳感器、單片機(jī)等自動(dòng)控制技術(shù)研制出一種植物高度自動(dòng)測(cè)量裝置,對(duì)帶莖稈的水稻、綠色植物進(jìn)行高度測(cè)量,其測(cè)量誤差不大于6.8%[69]。上述2種方法均是使用超聲波技術(shù),獲取的作物株高,但是測(cè)量對(duì)象單一,1次實(shí)驗(yàn)只能測(cè)量1株作物的株高。還有一種方法是ToF主動(dòng)式測(cè)高,Hmmerle等研究了一種直接從單次播種活動(dòng)中捕獲的完整種植玉米植株的數(shù)據(jù)得出作物高度的方法,將基于與地面激光掃描(TLS)得到的數(shù)據(jù)與低成本的3D攝像機(jī)Kinect V2收集的數(shù)據(jù)進(jìn)行全面比較,得出低成本3D相機(jī)可以取代昂貴的激光掃描儀器直接獲取作物高度,從而提高農(nóng)業(yè)效率和生產(chǎn)率,這樣可以節(jié)省時(shí)間和成本(圖12)[70]。Chéné等應(yīng)用深度相機(jī),對(duì)一株植物的深度圖選取最小區(qū)域進(jìn)行葉片分割,結(jié)合背景中的顏色標(biāo)記,得到每張葉片的高度順序,株高即是離深度相機(jī)最近的像素點(diǎn)與地面的距離[16]。ToF主動(dòng)式測(cè)高克服了超聲波主動(dòng)式測(cè)高1次實(shí)驗(yàn)只能測(cè)1個(gè)目標(biāo)對(duì)象以及測(cè)量儀器搭建復(fù)雜、普適性弱等缺點(diǎn),為植物株高測(cè)量提供了方便快捷、簡易可靠的方法。
3.6 其他生長參數(shù)
3.6.1 葉曲率 每張葉片可以被建模為具有確定角度的2個(gè)連接的平面,可以根據(jù)向量(u→,v→)的夾角和三角函數(shù)的知識(shí)計(jì)算葉曲率(圖13)。圖13-B中白色箭頭表示成對(duì)的向量(u→,v→)形成葉片的2個(gè)平面。向量的夾角見表2。
3.6.2 葉片的方向 如果葉片是平面的,計(jì)算葉片的曲率就沒有意義了,植物上葉片的方向決定植物對(duì)其光合作用截?cái)喙獾哪芰?,并因此確定其對(duì)其他物種或品種的競(jìng)爭力。平面
葉片的方向可以通過垂直于平面的單位向量來評(píng)估,由2個(gè)角度定義:(1)方位角,即法向量在水平面上的投影和北方向之間的角度;(2)天頂角,即法向量和垂直之間的角度(圖14)[16]。
3.6.3 生長速率 Aksoy等使用紅外立體圖像序列建立煙草植物的葉生長,以自動(dòng)和非侵入性方式,通過預(yù)處理、莖葉分割和莖葉跟蹤(圖15),成功地測(cè)試了顯示煙草植物幼苗生長大約30 d的紅外圖像序列的方法,測(cè)量相關(guān)的植物生長參數(shù),葉生長速率,該方法的未來應(yīng)用包括植物生長監(jiān)測(cè),可用于優(yōu)化溫室中的植物生產(chǎn)[71]。
4 存在問題與發(fā)展方向
4.1 存在問題
隨著傳感器技術(shù)、機(jī)器視覺技術(shù)的快速發(fā)展,國內(nèi)外對(duì)于苗期作物生長參數(shù)檢測(cè)方法的技術(shù)研究有了很大的提升。但作物的苗期生長過程是一個(gè)復(fù)雜、動(dòng)態(tài)的生理生化的代謝過程,在研究應(yīng)用過程中存在以下問題:(1)傳統(tǒng)傳感器技術(shù)、機(jī)器視覺技術(shù)對(duì)作物的生長檢測(cè)局限于單株成年期作物的生長檢測(cè),忽略了作物的關(guān)鍵生長期——苗期,作物群體生長檢測(cè)方法的研究。(2)傳統(tǒng)苗期作物的生長檢測(cè)大多局限于單一信息的獲取及分析,未能對(duì)苗期作物進(jìn)行全面的生長檢測(cè),同時(shí)造成視覺信息的浪費(fèi)。(3)測(cè)量環(huán)境的搭建復(fù)雜,機(jī)器視覺技術(shù)應(yīng)用在作物生長檢測(cè)的實(shí)效性較弱,阻礙了作物生長的實(shí)時(shí)監(jiān)測(cè)。
4.2 發(fā)展方向
針對(duì)目前行業(yè)中存在的問題,苗期作物關(guān)鍵生長參數(shù)的檢測(cè)要朝著低成本、高穩(wěn)定性、高可靠性,低操作性、綜合參數(shù)監(jiān)測(cè)的方向發(fā)展。(1)從單一數(shù)據(jù)的獲取及分析轉(zhuǎn)移到多源、多尺度數(shù)據(jù)的獲取;苗期作物長勢(shì)綜合評(píng)估;自動(dòng)化苗期作物質(zhì)量分等分級(jí)等將是未來的研究重點(diǎn)。(2)未來將沿著研制便攜式和專用型的作物形態(tài)測(cè)量和監(jiān)測(cè)設(shè)備的方向發(fā)展,以及沿著單株作物形態(tài)的自動(dòng)化檢測(cè)到作物群體的自動(dòng)化檢測(cè)的方向發(fā)展。(3)將沿著苗期作物生長參數(shù)的檢測(cè)向作物全生育期生長監(jiān)測(cè)的方向發(fā)展。(4)今后的發(fā)展趨勢(shì)將是苗期作物的生長建模、虛擬植物、數(shù)字植物。
5 結(jié)束語
本研究首先分析與總結(jié)了苗期作物監(jiān)測(cè)對(duì)機(jī)器視覺的需求,視覺信息的獲取技術(shù)、苗期作物關(guān)鍵生長參數(shù)提取方法的研究進(jìn)展,之后提出存在的問題和發(fā)展方向。目前,基于機(jī)器視覺的單株作物形態(tài)檢測(cè)與監(jiān)測(cè)技術(shù)已經(jīng)比較成熟,隨著計(jì)算機(jī)技術(shù)與機(jī)器視覺技術(shù)的快速發(fā)展,智慧農(nóng)業(yè)和數(shù)字農(nóng)業(yè)的發(fā)展,著手于解決現(xiàn)有的問題,對(duì)苗期作物群體關(guān)鍵生長參數(shù)的提取方法進(jìn)行研究,進(jìn)一步實(shí)現(xiàn)作物群體全生育期的生長監(jiān)測(cè),對(duì)我國精準(zhǔn)農(nóng)業(yè)、智慧農(nóng)業(yè)、數(shù)字農(nóng)業(yè)的發(fā)展具有重要的意義。
參考文獻(xiàn):
[1]吳 瓊. 基于高光譜成像技術(shù)的小麥苗期監(jiān)測(cè)研究[D]. 長春:吉林大學(xué),2012.
[2]李長纓,滕光輝,趙春江,等. 利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)對(duì)溫室植物生長的無損監(jiān)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2003,19(3):140-143.
[3]趙有生. 蔬菜工廠化育苗的智能管理與綜合評(píng)價(jià)研究[D]. 長春:吉林大學(xué),2011.
[4]王克如. 基于圖像識(shí)別的作物病蟲草害診斷研究[D]. 北京:中國農(nóng)業(yè)科學(xué)院,2005.
[5]王 濱. 獼猴桃采摘機(jī)器人目標(biāo)果實(shí)空間坐標(biāo)獲取方法的研究[D]. 咸陽:西北農(nóng)林科技大學(xué),2016.
[6]呂繼東. 蘋果采摘機(jī)器人視覺測(cè)量與避障控制研究[D]. 鎮(zhèn)江:江蘇大學(xué),2012.
[7]寧紀(jì)鋒,龍滿生,何東健,等. 農(nóng)業(yè)領(lǐng)域中的計(jì)算機(jī)視覺研究[J]. 計(jì)算機(jī)與農(nóng)業(yè),2001(1):1-3.
[8]刁智華,王會(huì)丹,魏 偉. 機(jī)器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J]. 農(nóng)機(jī)化研究,2014(3):206-211.
[9]吳 瓊,朱大洲,王 成,等. 農(nóng)作物苗期長勢(shì)無損監(jiān)測(cè)技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程,2011(4):19-25.
[10]楊 沖. 加強(qiáng)農(nóng)產(chǎn)品質(zhì)量分等分級(jí)[J]. 現(xiàn)代農(nóng)業(yè)科技,2005(8):6-7.
[11]趙 卓,于 冷. 農(nóng)產(chǎn)品質(zhì)量分級(jí)的微觀經(jīng)濟(jì)學(xué)分析:國內(nèi)外文獻(xiàn)綜述[J]. 中國農(nóng)村觀察,2008(4):73-79.
[12]Guyer D E,Miles G E,Schreiber M M,et al. Machine vision and image processing for plant identification[J]. Transactions of the ASAE,1986,29(6):1500-1507.
[13]Quan L,Tan P,Zeng G,et al. Image-based Plant Modeling[C]//Acm Siggraph. ACM,2006.
[14]Klose R,Penlington J,Ruckelshausen A. Usability study of 3D Time-of-Flight cameras for automatic plant phenotyping[J]. Bornimer Agrartechnische Berichte,2009,69:93-105.
[15]Azzari G,Goulden M,Rusu R. Rapid characterization of vegetation structure with a microsoft kinect sensor[J]. Sensors,2013,13(2):2384-2398.
[16]Chéné Y,Rousseau D,Lucidarme P,et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture,2012,82:122-127.
[17]Clark R T,Maccurdy R B,Jung J K,et al. Three-dimensional root phenotyping with a novel imaging and software platform[J]. Plant Physiology,2011,156(2):455-465.
[18]Duan L F,Yang W N,Huang C L,et al. A novel machine-vision-based facility for the automatic evaluation of yield-related traits in rice[J]. Plant Methods,2011,7(1):1-13.
[19]Grift T E,Novais J,Bohn M. High-throughput phenotyping technology for maize roots[J]. Biosystems Engineering,2011,110(1):40-48.
[20]Hoyos-Villegas V,Houx J H,Singh S K,et al. Ground-based digital imaging as a tool to assess soybean growth and yield[J]. Crop Science,2014,54(4):1756-1768.
[21]Moshou D,Bravo C,Oberti R,et al. Plant disease detection based on data fusion of hyper-spectral and multi-spectral fluorescence imaging using Kohonen maps[J]. Real-Time Imaging,2005,11(2):75-83.
[22]Bürling K,Hunsche M,Noga G. Quantum yield of non-regulated energy dissipation in PSⅡ (Y(NO)) for early detection of leaf rust (Puccinia triticina) infection in susceptible and resistant wheat (Triticum aestivum L.) cultivars[J]. Precision Agriculture,2010,11(6):703-716.
[23]Rascher U,Agati G,Alonso L,et al. CEFLES2:the remote sensing component to quantify photosynthetic efficiency from the leaf to the region by measuring sun-induced fluorescence in the oxygen absorption bands[J]. Biogeosciences,2009,6(7):1181-1198.
[24]Mishra K B,Iannacone R,Petrozza A,et al. Engineered drought tolerance in tomato plants is reflected in chlorophyll fluorescence emission[J]. Plant Science,2012,182(1):79-86.
[25]Chaerle L,Hagenbeek D,De Bruyne E,et al. Chlorophyll fluorescence imaging for disease-resistance screening of sugar beet[J]. Plant Cell,2007,91(2):97-106.
[26]Manickavasagan A,Jayas D S,White N D G. Thermal imaging to detect infestation by Cryptolestes ferrugineus inside wheat kernels[J]. Journal of Stored Products Research,2008,44(2):186-192.
[27]Araus J L,Serret M D,Edmeades G O. Phenotyping maize for adaptation to drought[J]. Frontiers in Physiology,2012,3(8):1-20.
[28]Jones H G,Serraj R,Loveys B R,et al. Thermal infrared imaging of crop canopies for the remote diagnosis and quantification of plant responses to water stress in the field[J]. Functional Plant Biology,2009,36(11):978.
[29]Sakamoto T,Shibayama M,Kimura A,et al. Assessment of digital camera-derived vegetation indices in quantitative monitoring of seasonal rice growth[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):872-882.
[30]Shibayama M,Sakamoto T,Takada E,et al. Estimating paddy rice leaf area index with fixed point continuous observation of near infrared refl ectance[J]. Plant Production Science,2011,14(1):30-46.
[31]Shibayama M,Sakamoto T,Takada E,et al. Regression-based models to predict rice leaf area index using biennial fixed point continuous observations of near Infrared digital images[J]. 2011,14(4):365-376.
[32]Bolon Y T,Haun W J,Xu W W,et al. Phenotypic and genomic analyses of a fast neutron mutant population resource in soybean[J]. Plant Physiology,2011,156(1):240-253.
[33]Cook J P,McMullen M D,Holland J B,et al. Genetic architecture of maize kernel composition in the nested association mapping and inbred association panels[J]. Plant Physiology,2012,158(2):824-834.
[34]Munns R,James R A,Sirault X,et al. New phenotyping methods for screening wheat and barley for beneficial responses to water deficit.[J]. Journal of Experimental Botany,2010,61(13):3499-3507.
[35]Nguyen H T,Lee B W. Assessment of rice leaf growth and nitrogen status by hyperspectral canopy reflectance and partial least square regression[J]. European Journal of Agronomy,2006,24(4):349-356.
[36]Liu Z Y,Shi J J,Zhang L W,et al. Discrimination of rice panicles by hyperspectral reflectance data based on principal component analysis and support vector classification[J]. Journal of Zhejiang University Science,2010,11(1):71-78.
[37]Singh C B,Jayas D S,Paliwal J,et al. Identification of insect-damaged wheat kernels using short-wave near-infrared hyperspectral and digital colour imaging[J]. Computers and Electronics in Agriculture,2010,73(2):118-125.
[38]Yang Y,Chai R,He Y. Early detection of rice blast (Pyricularia) at seedling stage in Nipponbare rice variety using near-infrared hyper-spectral image[J]. African Journal of Biotechnology,2012,11(26):6809-6817.
[39]Huang J,Liao H,Zhu Y,et al. Hyperspectral detection of rice damaged by rice leaf folder (Cnaphalocrocis medinalis)[J]. Computers and Electronics in Agriculture,2012,82:100-107.
[40]Biskup B,Scharr H,Schurr U,et al. A stereo imaging system for measuring structural parameters of plant canopies[J]. Plant,Cell & Environment,2007,30(10):1299-1308.
[41]van der Heijden G,Song Y,Horgan G,et al. SPICY:towards automated phenotyping of large pepper plants in the greenhouse[J]. Functional Plant Biology,2012,39(11):870-877.
[42]Reis R J. Evaluation of phenotyping methods for maize[D]. Urbana:University of Illinois at Urbana-Champaign,2013.
[43]Paulus S,Behmann J,Mahlein A,et al. Low-cost 3D systems:suitable tools for plant phenotyping[J]. Sensors,2014,14(2):3001-3018.
[44]Fang S,Yan X,Liao H. 3D reconstruction and dynamic modeling of root architecture in situ and its application to crop phosphorus research[J]. The Plant Journal,2009,60(6):1096-1108.
[45]Hillnhutter C,Sikora R A,Oerke E C,et al. Nuclear magnetic resonance:a tool for imaging belowground damage caused by Heterodera schachtii and Rhizoctonia solani on sugar beet[J]. Journal of Experimental Botany,2011,63(1):319-327.
[46]Poorter H,Bühler J,van Dusschoten D,et al. Pot size matters:a meta-analysis of the effects of rooting volume on plant growth[J]. Functional Plant Biology,2012,39(11):839-850.
[47]Rascher U,Blossfeld S,F(xiàn)iorani F,et al. Non-invasive approaches for phenotyping of enhanced performance traits in bean[J]. Functional Plant Biology,2011,38(12):968.
[48]Garbout A,Munkholm L J,Hansen S B,et al. The use of PET/CT scanning technique for 3D visualization and quantification of real-time soil/plant interactions[J]. Plant and Soil,2012,252(1/2):113-127.
[49]Yang W N,Xu X C,Duan L F,et al. High-throughput measurement of rice tillers using a conveyor equipped with x-ray computed tomography[J]. Review of Scientific Instruments,2011,82(2):102-107.
[50]Flavel R J,Guppy C N,Tighe M,et al. Non-destructive quantification of cereal roots in soil using high-resolution X-ray tomography[J]. Journal of Experimental Botany,2012,63(7):2503-2511.
[51]Karunakaran C,Jayas D S,White N D G. Detection of internal wheat seed infestation by Rhyzopertha dominica using X-ray imaging[J]. Journal of Stored Products Research,2004,40(5):507-516.
[52]Gregory P J,Hutchison D J,Read D B,et al. Non-invasive imaging of roots with high resolution X-ray micro-tomography[J]. Plant and Soil,2003,255(1):351-359.
[53]夏永泉,李耀斌,曾 莎. 基于HSI顏色空間的植物葉片病斑提取方法[J]. 江蘇農(nóng)業(yè)科學(xué),2015,43(8):406-408.
[54]張凱兵,章愛群,李春生. 基于HSV空間顏色直方圖的油菜葉片缺素診斷[J]. 農(nóng)業(yè)工程學(xué)報(bào),2016,32(19):179-187.
[55]何學(xué)友,蔡守平,謝一青,等. 不同葉面積損失對(duì)油茶產(chǎn)量及品質(zhì)的影響[J]. 林業(yè)科學(xué),2013,49(5):85-91.
[56]艾 軍,李愛民,王玉蘭,等. 北五味子葉面積的回歸測(cè)算法[J]. 特產(chǎn)研究,1999(1):44-46.
[57]徐貴力,毛罕平,胡永光. 基于計(jì)算機(jī)視覺技術(shù)參考物法測(cè)量葉片面積[J]. 農(nóng)業(yè)工程學(xué)報(bào),2002,18(1):154-157.
[58]Fanourakis D,Briese C,Max J F,et al. Rapid determination of leaf area and plant height by using light curtain arrays in four species with contrasting shoot architecture[J]. Plant Methods,2014,10(1):1-11.
[59]王 可. 基于Xtion傳感器的植物果實(shí)和葉片三維重建及其尺寸參數(shù)提取[D]. 昆明:昆明理工大學(xué),2015.
[60]Oerke E C,Steiner U,Dehne H W,et al. Thermal imaging of cucumber leaves affected by downy mildew and environmental conditions[J]. Journal of Experimental Botany,2006,57(9):2121-2131.