(北京農(nóng)業(yè)職業(yè)學(xué)院,北京 102442)
擠奶機(jī)是奶牛場(chǎng)牛奶質(zhì)量和乳房炎控制的關(guān)鍵點(diǎn)之一[1]。提升奶牛養(yǎng)殖智能化水平,實(shí)現(xiàn)無人化擠奶作業(yè),是保證奶牛健康和有效控制牛奶品質(zhì)、安全、衛(wèi)生,以及提高產(chǎn)奶量、擴(kuò)大飼養(yǎng)規(guī)模和大幅度節(jié)省勞動(dòng)力的重要技術(shù)措施[2]。
當(dāng)前,全自動(dòng)智能擠奶機(jī)器人研制生產(chǎn)技術(shù)主要被歐美西方發(fā)達(dá)國(guó)家所掌握[3]。目前,以擠奶機(jī)器人為代表的全自動(dòng)無人化擠奶設(shè)備迅猛發(fā)展,已形成Lely、DeLaval、Boumatic、GEA、Fullwood Packo和Boumatic 等擠奶機(jī)器人知名品牌。國(guó)內(nèi)對(duì)全自動(dòng)智能擠奶機(jī)器人的研究起步較晚,受材質(zhì)、工藝水平及設(shè)計(jì)施工等能力的限制,當(dāng)前我國(guó)全自動(dòng)擠奶設(shè)備的設(shè)計(jì)生產(chǎn)水平較國(guó)外有很大差距,多數(shù)的全自動(dòng)智能化擠奶機(jī)器人設(shè)備處于設(shè)計(jì)研究或樣機(jī)實(shí)驗(yàn)階段,并未應(yīng)用到實(shí)踐和取得良好的效果[2]。
擠奶機(jī)自動(dòng)奶杯套杯技術(shù)是智能擠奶機(jī)器人國(guó)產(chǎn)化必須突破的關(guān)鍵技術(shù),其核心技術(shù)是乳頭識(shí)別與定位,通過視覺傳感技術(shù)識(shí)別出奶牛站立位置和乳頭位置分布,再利用智能控制系統(tǒng)控制機(jī)構(gòu)完成相應(yīng)擠奶動(dòng)作,該過程消耗的時(shí)間直接影響到整個(gè)擠奶過程的效率。為了突破擠奶機(jī)器人這一關(guān)鍵技術(shù),筆者進(jìn)行了雙目立體視覺的擠奶機(jī)自動(dòng)奶杯套杯方法的研究。
擠奶機(jī)器人由控制中心、擠奶室、自動(dòng)奶杯套/脫杯裝置、以及末端執(zhí)行機(jī)構(gòu)等組成(如圖1所示)。其中,自動(dòng)奶杯套/脫杯裝置在整個(gè)擠奶機(jī)器人設(shè)備中起著至關(guān)重要的作用,它關(guān)系著奶牛乳頭識(shí)別、乳頭清洗、套杯、擠奶、脫杯等一系列擠奶動(dòng)作的實(shí)現(xiàn)。
圖1 擠奶機(jī)器人結(jié)構(gòu)組成
擠奶機(jī)自動(dòng)奶杯套杯裝置是奶牛乳頭識(shí)別與定位的載體,在其工作過程中,造成識(shí)別錯(cuò)誤最大的因素是目標(biāo)區(qū)域里奶牛身體上以及區(qū)域背景里的乳房狀物體,這些物體會(huì)被系統(tǒng)錯(cuò)誤的識(shí)別為乳房[4]。在某些特殊光照條件下乳房部位的影子以及機(jī)械手的移動(dòng)都會(huì)對(duì)乳房的識(shí)別造成干擾。
目前,奶牛乳頭識(shí)別與定位運(yùn)用較多的是激光掃描視覺傳感技術(shù),通過激光掃描相機(jī)得到乳頭的準(zhǔn)確位置,缺點(diǎn)是耗時(shí)較長(zhǎng)。此外,3D直接拍攝、紅外熱成像以及結(jié)構(gòu)光等技術(shù)均在乳頭識(shí)別與定位的解決方案上嶄露頭角,但都存在著性能不穩(wěn)定、耗時(shí)較長(zhǎng)、套杯準(zhǔn)確率偏低等問題。
雙目立體視覺技術(shù)是建立在計(jì)算機(jī)視覺和圖像處理基礎(chǔ)上的一門新興技術(shù),用計(jì)算機(jī)模擬人的視覺功能,通過攝像機(jī)獲取場(chǎng)景圖像,經(jīng)過圖像處理與分析獲取被識(shí)別物體的信息,結(jié)合雙目攝像機(jī)對(duì)深度信息的感知能力,最終完成目標(biāo)的識(shí)別與定位任務(wù)[5]。雙目視覺具有高效、高精度、非接觸式以及能感知深度信息等優(yōu)點(diǎn),在目標(biāo)識(shí)別與定位中已得到廣泛應(yīng)用。將雙目立體視覺技術(shù)運(yùn)用于擠奶機(jī)器人,探究快速、精確、實(shí)時(shí)的乳頭三維空間定位及姿態(tài)角度檢測(cè)方法,突破技術(shù)瓶頸,對(duì)于推動(dòng)擠奶機(jī)器人國(guó)產(chǎn)化,具有十分重要的意義。
2.1.1 硬件平臺(tái)
自動(dòng)奶杯套杯裝置具有需要有較大的工作空間以及較好的運(yùn)動(dòng)靈活性,結(jié)合實(shí)驗(yàn)特性,本文選擇滑臺(tái)模組作為自動(dòng)奶杯套杯實(shí)驗(yàn)裝置的基礎(chǔ)構(gòu)件,通過滑臺(tái)模組三維結(jié)構(gòu)實(shí)現(xiàn)運(yùn)動(dòng)范圍內(nèi)位置的變化。運(yùn)動(dòng)及控制部件的主要參數(shù)如表1所示。擠奶杯奶襯型號(hào)為IP10U,仿真乳房及乳頭的尺寸為荷斯坦泌乳牛尺寸(乳頭長(zhǎng)約8cm,中部直徑約2.2cm)。
表1 自動(dòng)奶杯套杯實(shí)驗(yàn)裝置運(yùn)動(dòng)及控制部件主要參數(shù)
2.1.2 軟件環(huán)境
運(yùn)動(dòng)控制程序在Microsoft Visual C++ 6.0平臺(tái)上開發(fā),上位機(jī)為PC機(jī),控制界面如圖2a所示。
視覺系統(tǒng)選用由瑞爾威視公司生產(chǎn)的雙目USB攝像頭模組,型號(hào)為3D-1MP02-V92,相機(jī)殼自行設(shè)計(jì)。當(dāng)上位機(jī)通過圖像采集系統(tǒng)采集到奶牛乳頭定位位置后,將位置信息發(fā)送給控制器,控制器將命令發(fā)送給步進(jìn)電機(jī)并驅(qū)動(dòng)滑臺(tái)模組執(zhí)行末端運(yùn)動(dòng)到奶牛乳頭位置,進(jìn)行套杯。自動(dòng)奶杯套杯實(shí)驗(yàn)裝置的硬件結(jié)構(gòu)如圖2b所示。
圖2 自動(dòng)奶杯套杯實(shí)驗(yàn)裝置
2.1.3 系統(tǒng)流程
通過雙目立體視覺系統(tǒng)進(jìn)行目標(biāo)的識(shí)別和定位,并根據(jù)定位結(jié)果控制滑臺(tái)模組對(duì)仿真乳頭進(jìn)行自動(dòng)奶杯套杯。整個(gè)系統(tǒng)流程圖如圖3所示。
圖3 系統(tǒng)流程
2.2.1 攝像機(jī)標(biāo)定
張正友等人提出了平面法來標(biāo)定單攝像頭[6]。本文利用此方法對(duì)2個(gè)攝像頭分別進(jìn)行標(biāo)定,標(biāo)定物選擇標(biāo)準(zhǔn)棋盤格(如圖4所示)。棋盤格的尺寸為28mm,角點(diǎn)的尺寸為7×5。經(jīng)計(jì)算,左右攝像頭的重投影誤差均低于一個(gè)像素。
圖4 標(biāo)準(zhǔn)棋盤格
2.2.2 圖像分割
采用基于顏色相似度的圖像分割方法,將圖像從RGB 空間轉(zhuǎn)換到HSV空間,進(jìn)而計(jì)算顏色模板,設(shè)置閾值后進(jìn)行圖像分割。對(duì)于顏色分割圖像中的噪聲,采用形態(tài)學(xué)的腐蝕和膨脹處理方法。
2.2.3 立體匹配
立體匹配是雙目視覺中最關(guān)鍵的一步,立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的。本實(shí)驗(yàn)的目標(biāo)物體為奶牛乳頭(仿真),其形狀不規(guī)則,故采用關(guān)鍵點(diǎn)匹配法,選擇圖像的邊緣凸點(diǎn)作為關(guān)鍵點(diǎn)。具體做法是利用上一步驟中圖像分割后獲得的二值圖像,計(jì)算其邊緣凸點(diǎn)作為關(guān)鍵點(diǎn)實(shí)現(xiàn)立體匹配。
2.2.4 三維重建
為了評(píng)測(cè)雙目立體視覺系統(tǒng)的功能和精度,對(duì)棋盤格中的角點(diǎn)進(jìn)行三維重建。實(shí)驗(yàn)中,相機(jī)保持工作位角度,棋盤位置做相應(yīng)調(diào)整。利用亞像素級(jí)別的角點(diǎn)檢測(cè)方法得到圖像中的角點(diǎn)坐標(biāo),對(duì)棋盤格中的角點(diǎn)進(jìn)行三維重建,得到35個(gè)三維重建坐標(biāo)。將三維重建坐標(biāo)與實(shí)際坐標(biāo)比較,利用(1)式計(jì)算測(cè)量平均絕對(duì)誤差,計(jì)算結(jié)果為0.9684mm。從結(jié)果上來看,此方法可以比較精確地實(shí)現(xiàn)乳頭末端三維測(cè)距。
2.2.5 自動(dòng)奶杯套杯
將雙目立體視覺系統(tǒng)對(duì)仿真乳頭末端識(shí)別和定位的結(jié)果作為依據(jù),控制滑臺(tái)模組的相應(yīng)運(yùn)動(dòng),從而成功地實(shí)現(xiàn)了自動(dòng)奶杯套杯裝置對(duì)仿真乳頭的自動(dòng)奶杯套杯。自動(dòng)奶杯套杯裝置的工作流程為: 首先識(shí)別仿真乳頭,進(jìn)而進(jìn)行立體匹配,并對(duì)仿真乳頭實(shí)際位置進(jìn)行定位,根據(jù)定位結(jié)果,首先控制滑臺(tái)模組水平運(yùn)動(dòng)到仿真乳頭正下方,進(jìn)而控制滑臺(tái)模組進(jìn)行垂直向上運(yùn)動(dòng),最終完成自動(dòng)奶杯套杯。實(shí)驗(yàn)中,滑臺(tái)模組三維結(jié)構(gòu)可成功地自動(dòng)奶杯套杯,實(shí)際套杯過程部分截圖如圖5所示。通過實(shí)際測(cè)量,該自動(dòng)奶杯套杯實(shí)驗(yàn)裝置定位誤差在1mm以內(nèi)。
圖5 實(shí)際套杯過程截圖
奶牛乳頭識(shí)別與定位是機(jī)器人擠奶非常關(guān)鍵的一個(gè)環(huán)節(jié),也是智能擠奶機(jī)器人國(guó)產(chǎn)化必須突破的關(guān)鍵技術(shù)?;谀膛I飳W(xué)特性,探究快速、精確、實(shí)時(shí)的乳頭三維空間定位及姿態(tài)角度檢測(cè)方法十分緊迫。本文設(shè)計(jì)的基于雙目立體視覺的自動(dòng)奶杯套杯實(shí)驗(yàn)裝置,通過滑臺(tái)模組三維結(jié)構(gòu)來實(shí)現(xiàn)運(yùn)動(dòng)范圍內(nèi)位置的變化,用雙目立體視覺系統(tǒng)來實(shí)現(xiàn)仿真乳頭的識(shí)別與定位,以雙目立體視覺系統(tǒng)對(duì)仿真乳頭末端識(shí)別和定位的結(jié)果為依據(jù),控制滑臺(tái)模組的相應(yīng)運(yùn)動(dòng),實(shí)現(xiàn)了自動(dòng)奶杯套杯裝置對(duì)仿真乳頭的自動(dòng)奶杯套杯。實(shí)驗(yàn)結(jié)果表明,基于雙目立體視覺的自動(dòng)奶杯套杯實(shí)驗(yàn)裝置,能夠成功進(jìn)行自動(dòng)奶杯套杯且定位誤差較小。需要指出的是,實(shí)際擠奶環(huán)境如奶廳光線、周圍物體以及奶牛站立姿態(tài)等較為復(fù)雜,同時(shí)還存在奶牛乳頭形態(tài)有差異、身體晃動(dòng)等情況,本文提出的自動(dòng)奶杯套杯新方法應(yīng)結(jié)合實(shí)際應(yīng)用場(chǎng)景進(jìn)一步深入研究。