盧峰,胡利軍
(江西環(huán)境工程職業(yè)學院,341000,江西贛州)
在國家實施鄉(xiāng)村振興戰(zhàn)略的背景下,贛南臍橙產業(yè)逐步成為贛南果農的主要收入來源。但是,以往的臍橙采摘主要采用較為傳統(tǒng)的人工采摘作業(yè)方式,需要耗費大量的勞動力資源,工作量巨大。隨著我國農業(yè)科技的不斷發(fā)展及農業(yè)勞動人口總額的降低,臍橙采摘正在向智能化、自動化的方向發(fā)展?,F(xiàn)階段,絕大多數(shù)臍橙種植地區(qū)仍然主要依靠人工采摘,如何利用臍橙采摘機器人提高采摘效率,解決我國農業(yè)勞動力不足正是我們研究的問題。在臍橙采摘機器人完成采摘作業(yè)的過程中,需要利用視覺系統(tǒng)對果實進行識別與定位,機器人的果實識別準確度與定位效率決定了視覺系統(tǒng)的性能水平,從而對臍橙采摘效果帶來直接影響。
基于此,必須對臍橙采摘機器人的視覺系統(tǒng)進行深入研究與創(chuàng)新,研發(fā)一種視覺系統(tǒng),使得臍橙采摘機器人在采摘過程中可以實時、快速定位空間果實并準確采摘。
應用臍橙采摘機器人是臍橙智能采摘的趨勢,可以實現(xiàn)對臍橙的實時定位并快速采摘。在實時定位的過程中,識別定位的精準度與效率是最關鍵的影響因素。因此不斷提升視覺系統(tǒng)識別定位的準確度與實時性,可以改進并優(yōu)化臍橙采摘機器人的工作性能,從而提升采摘效率,有利于進一步推廣應用。
臍橙采摘機器人的視覺系統(tǒng)一般由以下幾個部分組成:攝像機、計算機、圖像處理與距離測量設備?,F(xiàn)階段,大部分臍橙采摘機器人應用一個或兩個攝像機,所以應用的識別技術主要為單目視覺技術或雙目視覺技術。在采摘前,臍橙采摘機器人會應用視覺系統(tǒng)中的攝像機捕捉果實的實時圖像,在獲取圖像后進行處理與分析,從而分辨并識別出果實部位,最后確定臍橙的精準空間坐標。
本文研究的臍橙采摘機器人采用控制器、攝像頭、上位機組成的視覺系統(tǒng),其中控制器采用美國國家儀器公司(簡稱NI)的myRIO-1900 作為圖像處理設備,NI myRIO 是針對教學和學生創(chuàng)新應用的嵌入式系統(tǒng)開發(fā)平臺,內嵌Xilinx Zynq 芯片,使用戶可以利用雙核ARM Cortex-A9 的實時性能及Xilinx FPGA 定制化I/O,學習從簡單嵌入式系統(tǒng)開發(fā)到具有一定復雜度的系統(tǒng)設計,用戶可以實時應用,通過myRIO-1900 自帶的內置WiFi 功能模塊進行無線操作,也可以通過USB有線傳輸程序下載。圖1 為myRIO 實現(xiàn)WiFi 連接的不同方式:myRIO 可以通過一個外置的無線路由器來實現(xiàn)WiFi 連接,如圖1(a)所示;myRIO 自身也可以被配置為一個WiFi 熱點,上位機和其他智能終端都可以通過其發(fā)射的無線網(wǎng)絡連接至myRIO上,如圖1(b),這樣就不需要再通過第三方的無線路由器來實現(xiàn)連接,在實際應用中會顯得更加便捷。
圖1 myRIO 實現(xiàn)WiFi 連接的不同方式
系統(tǒng)采用單個攝像頭進行圖像采集,上位機應用編程處理。由于myRIO 有豐富的板載資源,擁有40 條數(shù)字I/O線,支持SPI、PWM 輸出、正交編碼器輸入、UART 和I2C,以及8 個單端模擬輸入、2 個差分模擬輸入、4 個單端模擬輸出和2 個對地參考模擬輸出,可方便地通過編程控制與連接各種傳感器及外圍設備,因此視覺系統(tǒng)組成框圖如圖2 所示。
圖2 視覺系統(tǒng)組成框圖
本文研究的臍橙采摘機器人視覺系統(tǒng)采用NI 公司的LabVIEW 軟件,它是一種圖形化的編程語言開發(fā)環(huán)境,已經廣泛地被工業(yè)界、學術界和研究實驗室所接受,被視為一個標準的數(shù)據(jù)采集和儀器控制軟件,其采用圖形化編輯語言G 編寫使用。對于臍橙采摘我們使用LabVIEW 軟件中的Vision Development Module 視覺開發(fā)模塊,其優(yōu)勢在于機器視覺應用的開發(fā)可在之前采集的程序基礎上,增加機器視覺相關的算法。LabVIEW 提供了豐富的功能算法,例如邊緣檢測、顆粒分析、模式匹配、文字識別等,方便了對臍橙采摘的視覺識別。圖像采集處理過程如下。
(1)臍橙圖片采集。通過圖像采集系統(tǒng)中的Acquire Images 相機采集臍橙實物圖片,分別對不同光照程度下的臍橙進行數(shù)據(jù)采集。
(2)采集臍橙數(shù)據(jù)模板。使用Color Classification顏色分類模塊,創(chuàng)建顏色分類樣本,選取臍橙樣本,盡可能選取不同光照條件下有不同陰影的臍橙。采集完顏色模板后,對其進行訓練,采集的模板越多,機器人視覺識別越精細,隨后保存采集到的顏色模板。
(3)圖像存儲。將圖像存儲到緩存中,方便重新利用它們。將當前的圖像復制到一個圖像緩存中,以便后續(xù)的步驟再利用此圖像。圖像緩存共有10 個可以利用。
(4)抽取彩色平面。從HSL 圖像中抽取飽和度平面,將彩色圖像轉換成灰度圖像。由于我們采摘的臍橙圖片是彩色的,我們需要得到一幅灰度圖像,以便處理函數(shù)能接受灰度圖像。
(5)二值化處理。對灰度圖像進行二值化處理,處理后圖像中只有黑白兩色,而不是灰度圖或彩色圖。采用手動二值化,選擇Manual Threshold 手動,可以手動調整閾值范圍,從而得到所需的目標。
(6)填充缺口。對圖像中丟失的模塊進行填充,使得臍橙圖像更易識別。
(7)臍橙大小檢測。選擇合理的臍橙圖像半徑范圍,得到滿足條件的臍橙圓心坐標和半徑,如圖3 所示,為方便機器人后續(xù)采摘提供條件。
圖3 臍橙檢測
我們通過以上對臍橙采摘圖像的處理,目標是優(yōu)先選取圖像中臍橙直徑識別最大的臍橙個體進行采摘,更易實現(xiàn)我們采摘機器人的采摘功能。
本研究提出的快速視覺系統(tǒng)由攝像機、上位機、NI myRIO-1900 控制器等組成。在應用過程中通過多角度拍攝20 組圖像,采用VI 程序文件進行實時識別實驗。為了驗證系統(tǒng)的識別情況,采用攝像機隨機選取20 個直徑范圍為50~120 mm 的目標臍橙進行識別測試,如圖4 所示,記錄和測量坐標中心點和臍橙直徑。結果臍橙識別成功17次,漏檢1 次(未檢出水果),誤檢2 次。除此之外,在特征分析的過程中所采集的臍橙圖片樣本具有良好的代表性,能達到較好的采集效果;但如果遇見干擾性較強的橙色背景光線,識別效果較差,還需要進行樣本優(yōu)化或進行其他數(shù)據(jù)處理。
圖4 臍橙識別試驗
本文對臍橙采摘機器人的視覺系統(tǒng)加以探討,并提出了一種臍橙機器視覺識別的方法,希望可實現(xiàn)采摘機器人的快速視覺識別與精準定位??紤]進一步提升采摘識別效率及減少橙色背景光線的干擾,本方法還有一定的改進提升空間。