王風(fēng)云 鄭紀(jì)業(yè) 唐研 劉延忠 李喬宇 穆元杰 王磊
摘要:隨著圖像處理、模式識別、人工智能等技術(shù)的不斷發(fā)展,機(jī)器視覺技術(shù)在我國農(nóng)業(yè)上的研究逐步深入,并取得了許多重要成果。本文基于中國知網(wǎng)全文數(shù)據(jù)庫檢索系統(tǒng),對我國基于機(jī)器視覺的農(nóng)業(yè)研究進(jìn)行了博、碩士學(xué)位論文與期刊論文的統(tǒng)計、分析。結(jié)果顯示,我國農(nóng)業(yè)機(jī)器視覺研究主要涉及檢測、圖像處理、軌跡跟蹤與車輛導(dǎo)航、模式識別及其應(yīng)用等主題,主要集中在圖像信息獲取方法、圖像處理與識別算法、智能導(dǎo)航算法以及系統(tǒng)集成應(yīng)用等方面,以《農(nóng)機(jī)化研究》、《農(nóng)業(yè)工程學(xué)報》和《農(nóng)業(yè)機(jī)械學(xué)報》為主要發(fā)表刊物,主要受國家自然科學(xué)基金、國家高技術(shù)研究發(fā)展計劃(“863”計劃)、國家科技支撐計劃、省科技攻關(guān)計劃、省自然科學(xué)基金等項目支持,國內(nèi)研究機(jī)構(gòu)以中國農(nóng)業(yè)大學(xué)、南京農(nóng)業(yè)大學(xué)、浙江大學(xué)、華南農(nóng)業(yè)大學(xué)、山西農(nóng)業(yè)大學(xué)和江蘇大學(xué)為主。但目前我國基于機(jī)器視覺的農(nóng)業(yè)研究在作物生長信息檢測、雜草識別、變量控制、機(jī)械智能導(dǎo)航、采摘與分選等方面離實用化、商品化仍有一定的距離,集成符合我國農(nóng)業(yè)發(fā)展實際的機(jī)器視覺技術(shù)系統(tǒng)將是今后重要的研究方向。本研究為機(jī)器視覺在我國農(nóng)業(yè)上的進(jìn)一步應(yīng)用研究提供了參考。
關(guān)鍵詞:機(jī)器視覺;農(nóng)業(yè);圖像處理;模式識別;視覺導(dǎo)航
中圖分類號:S126 文獻(xiàn)標(biāo)識號:A 文章編號:1001-4942(2016)04-0139-06
機(jī)器視覺的概念起始于20世紀(jì)60年代,最先應(yīng)用于機(jī)器人的研制,即通過視覺系統(tǒng)采集圖像并進(jìn)行處理,然后估算出目標(biāo)的位置,從而控制機(jī)器運動。1979年提出的視覺伺服(Visual Ser-vo)概念,則可以將視覺信息用于連續(xù)反饋,以提高視覺定位或追蹤的精度。
國內(nèi)有關(guān)機(jī)器視覺的應(yīng)用研究起步于20世紀(jì)80年代,主要應(yīng)用于半導(dǎo)體和電子行業(yè),如PCB印刷、電路組裝、元器件制造及半導(dǎo)體設(shè)備集成等。農(nóng)業(yè)機(jī)器視覺的研究,早期主要以探討農(nóng)業(yè)機(jī)器人的技術(shù)、經(jīng)濟(jì)可行性、潛力與前景等宏觀研究為主,后來逐步擴(kuò)展到圖像數(shù)據(jù)的采集、分析與處理、軌跡跟蹤與車輛導(dǎo)航、智能識別等關(guān)鍵技術(shù)的研究與應(yīng)用上。為了解我國農(nóng)業(yè)機(jī)器視覺研究的進(jìn)展情況,本文基于中國知網(wǎng)全文數(shù)據(jù)庫檢索系統(tǒng),通過檢索機(jī)器視覺在我國農(nóng)業(yè)上集成應(yīng)用和研究的相關(guān)文獻(xiàn),并對其數(shù)據(jù)進(jìn)行統(tǒng)計,分析了該領(lǐng)域的研究進(jìn)展及出現(xiàn)的問題,以期為機(jī)器視覺技術(shù)在我國農(nóng)業(yè)中的深入研究與應(yīng)用提供參考。
1 數(shù)據(jù)來源
本研究基于中國知網(wǎng)的全文數(shù)據(jù)庫,以“機(jī)器視覺”與“農(nóng)業(yè)”為檢索詞,分別在博、碩士學(xué)位論文庫和中國期刊全文數(shù)據(jù)庫中進(jìn)行主題路徑邏輯“與”的檢索,時間截止到2015年9月24日,并對檢出文獻(xiàn)的研究主題、基金來源、作者機(jī)構(gòu)及其在不同學(xué)術(shù)期刊上的分布進(jìn)行分析。然后據(jù)此分析結(jié)果對機(jī)器視覺在農(nóng)業(yè)上的應(yīng)用研究進(jìn)展進(jìn)行簡要介紹和綜述,指出目前應(yīng)用中存在的一些問題。
采用Microsoft Excel 2007進(jìn)行數(shù)據(jù)處理與作圖。
2 結(jié)果與分析
2.1 博、碩士學(xué)位論文檢索結(jié)果
檢索結(jié)果顯示,從2000年開始,共檢索到農(nóng)業(yè)機(jī)器視覺研究的博、碩士學(xué)位論文235篇,其中博士論文38篇,碩士論文197篇(見表1)。
2.1.1 博、碩士學(xué)位論文作者的機(jī)構(gòu)分布 從表1可以看出,博士論文以南京農(nóng)業(yè)大學(xué)的最多,共9篇,主要研究黃瓜和棉花收獲機(jī)器人系統(tǒng),基于機(jī)器視覺的作物對行噴藥控制、雜草和稻飛虱識別技術(shù),基于圖像特征的田間籽棉成熟度與品級判別技術(shù),機(jī)器視覺導(dǎo)航系統(tǒng)及光照問題等。其次是中國農(nóng)業(yè)大學(xué),共7篇,多為近幾年的文獻(xiàn),如:2013年王建侖以果園田問葉片為研究對象,進(jìn)行田間葉片圖像分割與單幅三維重建的算法研究,并利用機(jī)器視覺系統(tǒng)解決了遠(yuǎn)程獲取農(nóng)業(yè)生產(chǎn)現(xiàn)場葉片農(nóng)學(xué)性狀參數(shù)的問題;2014年李寒、張春龍、張東波、楊振宇和黃小龍五位博士基于機(jī)器視覺分別進(jìn)行了目標(biāo)檢測、信息獲取與視覺伺服策略、伺服控制、機(jī)器人末端執(zhí)行器優(yōu)化設(shè)計等研究;2015年馬锃宏進(jìn)行了田問作物對靶噴施機(jī)器關(guān)鍵技術(shù)的研究。浙江大學(xué)的相關(guān)研究論文也較多,有6篇,涉及稻種質(zhì)量無損檢測、田間路徑識別算法與車輛自動導(dǎo)航方法、基于光譜和多光譜的雜草識別、水稻氮磷鉀營養(yǎng)識別和診斷等研究。
碩士論文以江蘇大學(xué)最多,共19篇,以基于機(jī)器視覺的雜草圖像分割、特征提取、識別和定位等研究為主;南京農(nóng)業(yè)大學(xué)次之,共17篇;華中農(nóng)業(yè)大學(xué)、西北農(nóng)林科技大學(xué)和浙江大學(xué)共28篇。197篇碩士論文中涉及的關(guān)鍵詞頻度,機(jī)器視覺94次,圖像處理44次,特征提取15次,圖像分割15次,雜草識別11次,顏色特征9次,視覺導(dǎo)航9次,模式識別9次,DSP 9次,說明農(nóng)業(yè)應(yīng)用機(jī)器視覺的研究主要以圖像處理、特征提取、圖像分割、雜草識別、顏色特征、視覺導(dǎo)航、模式識別和DSP為主。
2.1.2 博、碩士學(xué)位論文數(shù)量的年度分布 由圖1可以看出,2000~2002年,基于機(jī)器視覺的農(nóng)業(yè)研究學(xué)位論文數(shù)量為1~2篇,說明當(dāng)時國內(nèi)從事相關(guān)研究的學(xué)者還很少;之后,該研究領(lǐng)域越來越受到學(xué)者們的關(guān)注,博碩論文數(shù)量大幅增加,雖年際問有波動,但整體呈上升趨勢,至2014年有關(guān)農(nóng)業(yè)機(jī)器視覺研究的論文已達(dá)到35篇。
2.2 期刊論文檢索結(jié)果
2.2.1 論文數(shù)量年度分布 由表2可以看出,中國知網(wǎng)期刊全文數(shù)據(jù)庫1999~2015年間共收錄了基于機(jī)器視覺的農(nóng)業(yè)研究論文179篇。論文數(shù)量年度分布沒有明顯的規(guī)律可循,其中,1999~2003年數(shù)量較少,說明國內(nèi)這方面的研究剛剛起步;2004~2015年論文數(shù)量在7~27篇之間波動,以2011年數(shù)量最多,說明該研究領(lǐng)域受到了研究人員的持續(xù)關(guān)注。
2.2.2 研究主題分布 由統(tǒng)計結(jié)果可以看出,農(nóng)業(yè)機(jī)器視覺研究主要涉及檢測、圖像處理、軌跡跟蹤與車輛導(dǎo)航、模式識別及其應(yīng)用等方面。機(jī)器視覺檢測包括機(jī)器人運動障礙目標(biāo)檢測、長勢無損檢測以及果蔬品質(zhì)檢測等。圖像處理主要包括圖像采集、分析與處理。軌跡跟蹤與車輛導(dǎo)航主要研究環(huán)境感知、路徑規(guī)劃、車輛模型與控制等。機(jī)器視覺的模式識別主要有路徑識別、作物品種識別、成熟果蔬識別、病蟲害識別以及雜草識別等。機(jī)器視覺主要應(yīng)用于農(nóng)產(chǎn)品的分級分選、病蟲草害控制、自動采摘、長勢監(jiān)測以及機(jī)械定位與導(dǎo)航中。機(jī)器視覺的研究離不開算法研究,包括檢測算法、圖像處理算法、軌跡跟蹤算法、導(dǎo)航算法以及識別算法等。
2.2.3 期刊分布 根據(jù)中國知網(wǎng)數(shù)據(jù),179篇期刊論文共發(fā)表在了18種核心期刊上,包含4種EI檢索期刊,其中《農(nóng)機(jī)化研究》36篇,最多,《農(nóng)業(yè)工程學(xué)報》28篇,《農(nóng)業(yè)機(jī)械學(xué)報》17篇,三者的論文數(shù)量占45.25%。另有15篇發(fā)表在高校和農(nóng)業(yè)科研院所出版的期刊上,比較多的是《安徽農(nóng)業(yè)科學(xué)》,有6篇。其它論文主要發(fā)表在與計算機(jī)軟件及計算機(jī)應(yīng)用、農(nóng)業(yè)工程、自動化技術(shù)、農(nóng)業(yè)基礎(chǔ)科學(xué)、植物保護(hù)、農(nóng)藝學(xué)、園藝、農(nóng)作物等相關(guān)的期刊上??梢姡瑱C(jī)器視覺在農(nóng)業(yè)上的某些研究仍比較前沿,受到《農(nóng)機(jī)化研究》、《農(nóng)業(yè)工程學(xué)報》和《農(nóng)業(yè)機(jī)械學(xué)報》等核心期刊和EI檢索期刊的歡迎。
2.2.4 基金來源 資金支持是科學(xué)研究的基礎(chǔ),統(tǒng)計結(jié)果顯示,檢索到的文獻(xiàn)中得到項目資助的有78篇,占43.57%,受國家自然科學(xué)基金支持的論文有23篇,受國家高技術(shù)研究發(fā)展計劃(“863”計劃)支持的21篇,受國家科技支撐計劃支持的4篇,三者占檢索到的期刊論文總數(shù)的26.82%;受各省科技攻關(guān)計劃支持的研究論文7篇,受各省自然科學(xué)基金項目支持的6篇,受高校或教育部門支持的9篇。由此可見,國家和各省、部委都高度重視機(jī)器視覺在農(nóng)業(yè)中的研究與應(yīng)用。
2.2.5 作者機(jī)構(gòu)分布 對179篇期刊論文作者(限第一作者)的單位進(jìn)行統(tǒng)計,結(jié)果顯示,來自高校院系的作者136位,占75.98%;來自研究院所的作者14位,占7.82%;來自其它機(jī)構(gòu)的有29位,占16.20%。中國農(nóng)業(yè)大學(xué)、南京農(nóng)業(yè)大學(xué)、浙江大學(xué)、華南農(nóng)業(yè)大學(xué)、山西農(nóng)業(yè)大學(xué)和江蘇大學(xué)位居論文作者所在機(jī)構(gòu)的前六位,其中來自中國農(nóng)業(yè)大學(xué)的論文作者最多,有22位,占檢索期刊論文總數(shù)的12.29%。表明,中國農(nóng)業(yè)大學(xué)、南京農(nóng)業(yè)大學(xué)、浙江大學(xué)等是目前國內(nèi)農(nóng)業(yè)機(jī)器視覺研究實力比較雄厚的高校。
3 機(jī)器視覺在農(nóng)業(yè)上的應(yīng)用研究進(jìn)展
通過對文獻(xiàn)資料的分析、研究可以發(fā)現(xiàn),我國基于機(jī)器視覺的農(nóng)業(yè)應(yīng)用研究主要集中在圖像信息獲取方法、圖像處理與識別算法、智能導(dǎo)航算法以及系統(tǒng)集成應(yīng)用方面。
3.1 圖像信息獲取方法研究
精確獲取圖像信息是機(jī)器視覺的基礎(chǔ),直接影響到機(jī)器視覺判斷的精度,且圖像采集的速度影響著機(jī)器視覺執(zhí)行的速度。由于農(nóng)業(yè)應(yīng)用環(huán)境差異大,機(jī)器視覺獲取圖像信息的方法需根據(jù)應(yīng)用對象與目的的不同而變化,目前多是采用相機(jī)或攝像機(jī)結(jié)合近紅外光譜或高光譜信息進(jìn)行圖像信息的采集與分析處理。
上海交通大學(xué)翟鵬針對葡萄自身的特點和現(xiàn)場條件,設(shè)計了由全光譜的自然光源、反光傘、CCD相機(jī)、定時拍攝觸發(fā)控制器、漫射擋光背景板和球坐標(biāo)腳架組成的圖像采集系統(tǒng),對葡萄果實和根系的表型特征進(jìn)行了采集與分析。華中農(nóng)業(yè)大學(xué)肖武建立了基于近紅外光譜和機(jī)器視覺技術(shù)快速檢測土壤含水率的方法,同時對湖北地區(qū)黃棕壤、潮土和稻田土樣品的光譜進(jìn)行了主成分分析,結(jié)果表明能很好地將土壤含水率分級。沈陽理工大學(xué)劉哲基于雙目立體視覺系統(tǒng),對蘋果幼果的圖像進(jìn)行了立體重建,且能夠?qū)μO果幼果進(jìn)行正確的匹配并標(biāo)號,實現(xiàn)了對蘋果果實的三維定位。
3.2 圖像處理與識別算法研究
機(jī)器視覺在農(nóng)業(yè)應(yīng)用的自然場景中,光照條件的變化以及農(nóng)作物個體顏色、形狀、位置、姿態(tài)、遮擋和重疊程度等都給機(jī)器視覺識別、特征提取帶來很大的困難,能否快速、準(zhǔn)確地識別出目標(biāo)直接影響機(jī)器視覺系統(tǒng)的實時性和可靠性,因此,圖像處理與識別算法研究成為機(jī)器視覺在農(nóng)業(yè)中應(yīng)用的關(guān)鍵環(huán)節(jié)。
華南農(nóng)業(yè)大學(xué)張志斌等提出的基于加速魯棒特征(Speeded up robust features,SURF)的綠色作物特征提取與圖像匹配算法,首先在RGB空間進(jìn)行圖像分割,并采用開運算對分割圖像進(jìn)行濾波處理,然后采用SURF旋轉(zhuǎn)不變性原理進(jìn)行左、右綠色作物圖像特征提取,最后采用最近距離比次近距離法匹配特征點,該方法為提高田問條件下的3D視覺導(dǎo)航參數(shù)精度、準(zhǔn)確獲取基于無線傳感器網(wǎng)絡(luò)的作物生長參數(shù)提供了參考。呂強(qiáng)等采用圖像G-B色差分量、最大類問方差法自適應(yīng)閾值分割、基于距離變換的分水嶺分割、凸包算法、基于Tukey權(quán)重函數(shù)的最小二乘圓擬合法識別自然場景下的柑橘果實。在果實或病害識別上,支持向量機(jī)識別的正確率高于只用顏色、紋理或形狀特征進(jìn)行識別的正確率,識別性能也優(yōu)于神經(jīng)網(wǎng)絡(luò)方法。
3.3 視覺定位導(dǎo)航算法研究
基于機(jī)器視覺的導(dǎo)航系統(tǒng)能自動采集農(nóng)田環(huán)境圖像,通過分析識別出導(dǎo)航路徑,最終計算出系統(tǒng)導(dǎo)航參數(shù)以控制機(jī)械沿導(dǎo)航路徑行走。定位導(dǎo)航算法是機(jī)器視覺導(dǎo)航的核心,決定著導(dǎo)航定位的準(zhǔn)確性以及控制的魯棒性。
華南農(nóng)業(yè)大學(xué)張志斌等提出了基于Hough變換和Fisher準(zhǔn)則的壟線識別算法,使得作物壟線定位的準(zhǔn)確性、適應(yīng)性均得到提高,而且能夠避免較大面積雜草等的影響。上海交通大學(xué)周俊等人基于卡爾曼濾波的思想,融合各傳感器的觀測值,提出了一種預(yù)測跟蹤控制算法,避免了以視覺系統(tǒng)為主的計算耗時導(dǎo)致狀態(tài)反饋滯后而產(chǎn)生的不利影響,改善了導(dǎo)航控制的魯棒性和精度。南京農(nóng)業(yè)大學(xué)安秋等人針對農(nóng)業(yè)機(jī)器人視覺導(dǎo)航中存在的陰影干擾問題,提出了基于光照無關(guān)圖的算法,能夠去除導(dǎo)航圖像中的陰影,然后利用增強(qiáng)的最大類問方差算法分割和優(yōu)化圖像的Hough變換提取作物行中心線,最終通過坐標(biāo)轉(zhuǎn)換獲得導(dǎo)航參數(shù),此算法不僅滿足了導(dǎo)航實時性的要求,而且使農(nóng)業(yè)機(jī)器人在光照變化的情況下導(dǎo)航參數(shù)提取的魯棒性有了更大的提高。
3.4 機(jī)器視覺在農(nóng)業(yè)中的系統(tǒng)集成
機(jī)器視覺在農(nóng)業(yè)中的應(yīng)用,集成了光學(xué)、電氣、機(jī)械以及計算機(jī)等技術(shù)。李志臣利用機(jī)器視覺集成了雜草對準(zhǔn)噴藥系統(tǒng),整個系統(tǒng)搭載在一輛拖拉機(jī)上,由運動執(zhí)行單元來驅(qū)動,視覺部分由攝像頭和千兆網(wǎng)卡組成,完成圖像采集、雜草識別和信息發(fā)送功能;控制部分由計算機(jī)和可編程控制器(PLC)組成,接收并解釋信息和發(fā)送控制電壓;執(zhí)行部分由藥箱、泵、電磁閥、溢流閥、噴嘴和一些管路組成,輸送藥液和進(jìn)行噴藥。郭海針等人在一臺輪式拖拉機(jī)上裝載計算機(jī)、CCD攝像機(jī)和電液控制系統(tǒng),集成了基于機(jī)器視覺的農(nóng)業(yè)機(jī)械無人駕駛系統(tǒng),利用計算機(jī)圖像處理和識別技術(shù),采用模糊控制策略,實現(xiàn)了農(nóng)業(yè)車輛的視覺伺服。李謙結(jié)合除草機(jī)器人苗草識別的試驗,討論了機(jī)器視覺在除草機(jī)器人中的應(yīng)用,并集成了基于機(jī)器視覺的苗草識別系統(tǒng),包括工控計算機(jī)、攝像頭、光源和可升降仿形裝置等,試驗識別率達(dá)到了95%以上。
3.5 目前農(nóng)業(yè)機(jī)器視覺研究中存在的問題
雖然我國基于機(jī)器視覺的農(nóng)業(yè)研究已取得了一定的成果,但由于農(nóng)業(yè)研究對象的多樣性和復(fù)雜性以及機(jī)器視覺技術(shù)的特點,目前仍存在著許多問題。
(1)機(jī)器視覺測量的可靠性仍有待提高。由于機(jī)器視覺處理的主要是圖像或視頻信息,測量條件、環(huán)境、被測物表面特性等的改變,有時甚至輕微改變,就會大大影響處理的結(jié)果,這是目前機(jī)器視覺在農(nóng)業(yè)上應(yīng)用比較突出的問題,只能針對具體問題研究相應(yīng)光照、特征提取、匹配、重建、標(biāo)定等具體方法。
(2)視覺測量的環(huán)境適應(yīng)性差,而且農(nóng)業(yè)研究對象復(fù)雜多樣,目前還無法找到一種具有普適性的方法,因此針對不同研究對象的圖像處理算法、導(dǎo)航算法、識別算法等仍是目前農(nóng)業(yè)機(jī)器視覺研究的核心,而且今后的研究對算法的魯棒性和實時性提出了較高的要求,這也是機(jī)器視覺技術(shù)在農(nóng)業(yè)實際應(yīng)用中的難點所在。
(3)系統(tǒng)集成應(yīng)用是機(jī)器視覺研究的最終目的,但由于視覺系統(tǒng)、智能機(jī)械及電氣控制集成成本和科技含量高,導(dǎo)致集成機(jī)器視覺的成套智能控制系統(tǒng)對農(nóng)業(yè)應(yīng)用來說成為高大上的設(shè)備,與目前農(nóng)業(yè)分散經(jīng)營的模式和農(nóng)民總體認(rèn)識水平還有一定的距離,這是某些關(guān)鍵技術(shù)仍處于研究試驗階段的一個重要原因。
3.6 農(nóng)業(yè)機(jī)器視覺研究的發(fā)展趨勢
目前我國的農(nóng)業(yè)機(jī)器視覺技術(shù)在作物生長信息檢測、雜草識別、變量控制、機(jī)械智能導(dǎo)航、采摘與分選等方面的研究已有很大進(jìn)步,但離實用化、商品化應(yīng)用仍有一定距離,符合我國農(nóng)業(yè)發(fā)展實際的機(jī)器視覺技術(shù)系統(tǒng)集成將是一個重要的研究趨勢。
另外,隨著計算機(jī)圖像處理技術(shù)的日新月異、傳感器及其它相關(guān)硬件性能的日趨提高,利用視覺技術(shù)檢測農(nóng)田信息實現(xiàn)自動導(dǎo)航將成為未來農(nóng)業(yè)機(jī)械無人駕駛的重要發(fā)展方向。
4 結(jié)論
本研究通過對中國知網(wǎng)博、碩士學(xué)位論文數(shù)據(jù)庫和全文期刊數(shù)據(jù)庫的檢索分析發(fā)現(xiàn),我國基于機(jī)器視覺的農(nóng)業(yè)研究比較活躍,主要集中在圖像的采集、分析與處理、軌跡跟蹤與車輛導(dǎo)航、模式識別、品質(zhì)檢測等方面,但由于農(nóng)業(yè)研究對象的復(fù)雜性,仍存在著許多問題。如何進(jìn)一步提升機(jī)器視覺檢測的可靠性,提高算法的魯棒性和實時性,仍將是今后一段時間的研究熱點。由于在某些方面,如播種、噴藥、除草、農(nóng)產(chǎn)品后期加工等農(nóng)業(yè)生產(chǎn)過程中,應(yīng)用機(jī)器視覺技術(shù)可以部分代替人工,不僅能避免不良環(huán)境對人體造成的危害,減輕勞動強(qiáng)度,而且能大大提高生產(chǎn)效率,因此,集成機(jī)器視覺的智能控制系統(tǒng)將是未來農(nóng)業(yè)智能化、精準(zhǔn)化發(fā)展的趨勢之一。