林澤鴻
(1.哈爾濱學(xué)院 工學(xué)院,哈爾濱 150086;2.哈爾濱工程大學(xué) 機(jī)電學(xué)院,哈爾濱 150001)
近幾年,中國(guó)的馬鈴薯種植面積一直居于世界領(lǐng)先地位。據(jù)農(nóng)業(yè)部相關(guān)數(shù)據(jù),“十三五”期間,馬鈴薯種植面積擴(kuò)大到0.07億hm2以上,平均產(chǎn)量提高到19 500kg/hm2,總產(chǎn)達(dá)到1.3億t左右;優(yōu)質(zhì)脫毒種薯普及率達(dá)到45%,適宜主食加工的品種種植比例達(dá)到30%。中國(guó)食品工業(yè)協(xié)會(huì)馬鈴薯食品專業(yè)委員會(huì)組織編制的《馬鈴薯加工業(yè)“十三五”發(fā)展規(guī)劃(2016-2020)》中指出:我國(guó)馬鈴薯種植業(yè)相對(duì)落后,廣泛采用效率低、成本高的人力種薯切種方法,需加強(qiáng)裝備制造創(chuàng)新,同時(shí)重點(diǎn)發(fā)展與馬鈴薯加工業(yè)相關(guān)的育、耕、種等主要生產(chǎn)過(guò)程使用的先進(jìn)裝備,提高信息收集、智能決策和精準(zhǔn)農(nóng)田作業(yè)及精深加工能力。可見(jiàn),對(duì)馬鈴薯自動(dòng)化切割策略研究將為馬鈴薯自動(dòng)化種植打下良好的基礎(chǔ)。
機(jī)器視覺(jué)因其無(wú)損、快速等特點(diǎn)在農(nóng)產(chǎn)品檢測(cè)中得到了廣泛應(yīng)用[1-2]。在馬鈴薯分級(jí)與切種方面,田海韜等[3]提出一種基于機(jī)器視覺(jué)技術(shù)的芽眼識(shí)別方法,分別從彩色空間和灰度空間進(jìn)行閾值分割,結(jié)合兩個(gè)空間的分割結(jié)果后利用數(shù)學(xué)形態(tài)學(xué)處理方法標(biāo)記出芽眼,獲得了較高識(shí)別準(zhǔn)確率。李錦衛(wèi)等[4]提出了快速亮度截留與快速G截留兩種圖像分割方法,可以用馬鈴薯表面特征將馬鈴薯表面疑似缺陷一次性分離出來(lái)。鄭冠楠等[5]根據(jù)馬鈴薯大小、外形、顏色和邊界等特性進(jìn)行馬鈴薯在線綜合檢測(cè)分級(jí)。郁志宏等[6]提出一種基于歐氏距離的算法對(duì)發(fā)芽馬鈴薯進(jìn)行檢測(cè),結(jié)合形態(tài)學(xué)中的孔洞填充和移除小目標(biāo)實(shí)現(xiàn)對(duì)發(fā)芽區(qū)域的準(zhǔn)確分割,得到較高的發(fā)芽馬鈴薯識(shí)別率。許偉棟等[7]提出了一種基于高通濾波的馬鈴薯機(jī)械損傷檢測(cè)方法,能夠準(zhǔn)確識(shí)別馬鈴薯的機(jī)械損傷缺陷。
可見(jiàn),現(xiàn)階段機(jī)器視覺(jué)技術(shù)在馬鈴薯品質(zhì)檢測(cè)方面已經(jīng)取得了較為豐碩的研究成果,但針對(duì)馬鈴薯自動(dòng)切種的相關(guān)研究不多。已有研究主要由芽眼識(shí)別研究、三維重建研究和品質(zhì)分級(jí)研究組成,其中芽眼識(shí)別主要基于機(jī)器視覺(jué)技術(shù)在灰度空間或彩色空間進(jìn)行識(shí)別,需要進(jìn)行擺拍且馬鈴薯完全清洗干凈;三維重建技術(shù)主要應(yīng)用于農(nóng)作物生物學(xué)特性和機(jī)器人的研究,對(duì)于切割種薯重建意義不大;品質(zhì)分級(jí)研究針對(duì)馬鈴薯的大小、形狀、出芽、綠皮、損傷和腐爛等情況,主要應(yīng)用于品質(zhì)鑒別,而種薯相當(dāng)一部分在播種時(shí)已薯芽萌出且表皮皺縮,現(xiàn)有的分級(jí)策略并不適用。為此,本文提出的分級(jí)方法和切割策略主要基于ZMP理論進(jìn)行馬鈴薯穩(wěn)定姿態(tài)研究,適用于自主達(dá)到穩(wěn)定姿態(tài)的馬鈴薯分析;并通過(guò)頂部和側(cè)面攝像的方法,在二維層面上解決了最大橫截面積確定問(wèn)題,進(jìn)而進(jìn)行分級(jí)和切割策略分析與研究。
零力矩點(diǎn) ZMP(Zero Moment Point)主要應(yīng)用于判定機(jī)器人在運(yùn)動(dòng)過(guò)程中運(yùn)動(dòng)姿態(tài)及穩(wěn)定性等問(wèn)題[8-9],本文將改進(jìn)的ZMP理論應(yīng)用于馬鈴薯姿態(tài)分析。馬鈴薯隨意扔放在地面上會(huì)受到地面向上的作用力F,作用點(diǎn)為P,對(duì)應(yīng)的零力矩點(diǎn)ZMP的定義為合力F的作用點(diǎn)P,具體如圖1所示。
圖1 零力矩點(diǎn)(ZMP)定義Fig.1 Zero moment point definition
在二維平面內(nèi),除了F以外,接觸面還受水平摩擦力,該力的方向與扔置方向或運(yùn)動(dòng)方向相反。其中,垂直和水平方向單位長(zhǎng)度的作用力大小分別用p(x)和q(x)表示,如圖2和圖3所示。垂直和水平的受力可以通過(guò)等效力和等效力矩代替,進(jìn)而簡(jiǎn)化結(jié)果如圖4所示。
圖2 垂直方向力分布Fig.2 The vertical force distribution
圖3 水平方向力分布Fig.3 The horizontal force distribution
圖4 等效力和等效力矩Fig.4 The equivalent force and equivalent moment
其中,F(xiàn)(x)和F(z)分別為水平方向和垂直方向的合力,t(px)為繞點(diǎn)px的等效力矩,可得
(1)
(2)
(3)
考慮px為合力矩為0的點(diǎn)(ZMP),則有t(px)=0,將其帶入式(3)可得
(4)
由上文可知,p(x)為垂直方向單位長(zhǎng)度的受力大小,點(diǎn)px為中心點(diǎn)。在馬鈴薯與地面接觸的過(guò)程中,只有當(dāng)中心點(diǎn)px落在馬鈴薯最大橫截面積內(nèi)時(shí),馬鈴薯才能相對(duì)穩(wěn)定并最終靜止,否則受力不平衡會(huì)繼續(xù)翻滾。通俗地講,馬鈴薯不受外力的情況下不可能“立”或“倒立”在地面上,“趴”(姿態(tài)1)和“側(cè)臥”(姿態(tài)2)為穩(wěn)定姿態(tài)。實(shí)驗(yàn)中,姿態(tài)1和姿態(tài)2以概率87%和13%存在,因此從頂部和側(cè)面分別進(jìn)行拍攝完全能鑒別馬鈴薯整體大小和形狀。
大量實(shí)驗(yàn)表明:馬鈴薯出芽部位的顏色比正常薯皮及泥土的顏色要淺要亮,但在灰度直方圖上僅占有極小的比例,且不呈現(xiàn)凸顯的波峰,即常規(guī)的多閾值方法很難直接識(shí)別芽體。因此,對(duì)于芽體萌出且表皮皺縮的馬鈴薯種薯而言,只保留感興趣的深色區(qū)域可以在去除芽體對(duì)馬鈴薯整體輪廓識(shí)別效果的影響。選取亮度(Intensity,I)作為灰度空間參數(shù),即
(5)
其中,R對(duì)應(yīng)紅色分量,G對(duì)應(yīng)綠色分量,B對(duì)應(yīng)藍(lán)色分量,R、G、B及I∈[0,255]。將其等分為黑色部分[0,127),白色部分[127,255],實(shí)驗(yàn)中只保留其中的黑色部分,灰度閾值截留分割將用于芽體剔除以精準(zhǔn)識(shí)別馬鈴薯輪廓。
本文算法要得到馬鈴薯的最大橫切面積,需要從馬鈴薯側(cè)面和頂部分別拍攝照片。具體而言,圖像獲取采用CCD彩色數(shù)碼相機(jī),三基色日光型環(huán)形燈管為照明設(shè)備,為使圖片擁有相同的漫反射光照條件,在兩個(gè)相機(jī)對(duì)側(cè)用白色A4紙為背景。馬鈴薯的形狀大多是球形和橢球形,在實(shí)驗(yàn)中馬鈴薯的姿態(tài)是隨意的,這有利于算法向傳送帶等生產(chǎn)實(shí)踐應(yīng)用。獲得馬鈴薯原始圖像為24位真彩色JPG格式,分辨率均為640×480。圖5給出了近球型馬鈴薯和橢球形馬鈴薯的采集和處理過(guò)程。算法目標(biāo)為切割,馬鈴薯為類球形還是橢球形對(duì)切塊影響不大。具體按以下幾個(gè)步驟完成:
1)將同一馬鈴薯姿態(tài)1和姿態(tài)2的圖5(a)應(yīng)用Sobel算子進(jìn)行邊緣提取得到圖5(b);
2)因圖5(b)突出的頂芽將影響分級(jí)的準(zhǔn)確性,通過(guò)灰度閾值截留分割進(jìn)行邊緣平滑得到圖5(c);
3)根據(jù)邊緣平滑結(jié)果得到圖5(d);
4)判斷姿態(tài)1和姿態(tài)2兩者的有效投影面積較大者,并以此為分級(jí)標(biāo)準(zhǔn);具體而言,分別在有效投影上取最長(zhǎng)直徑D1和D2,取D=max(D1,D2)所對(duì)應(yīng)的照片保留;
5)將D與分級(jí)大小的閾值相比, 將馬鈴薯分為一級(jí)馬鈴薯、二級(jí)馬鈴薯、三級(jí)馬鈴薯和等級(jí)外馬鈴薯等 4 個(gè)等級(jí),完成馬鈴薯的大小分級(jí);
6)按照分級(jí)結(jié)果完成切割,根據(jù)分級(jí)閾值設(shè)定,一級(jí)馬鈴薯切成4塊,二級(jí)切成3塊,三級(jí)切成2塊,等級(jí)外馬鈴薯可以不分割。
馬鈴薯A 姿態(tài)1(a)原圖 (b)邊緣提取 (c)邊緣平滑 (d)有效投影
馬鈴薯A 姿態(tài)2(a)原圖 (b)邊緣提取 (c)邊緣平滑 (d)有效投影
馬鈴薯B姿態(tài)1(a)原圖 (b)邊緣提取 (c)邊緣平滑 (d)有效投影
馬鈴薯B姿態(tài)2(a)原圖 (b)邊緣提取 (c)邊緣平滑 (d)有效投影圖5 馬鈴薯圖像處理過(guò)程Fig.5 The potato image processing
為了驗(yàn)證本文提出的分級(jí)及切割馬鈴薯策略,對(duì)80個(gè)馬鈴薯進(jìn)行了5次分級(jí)實(shí)驗(yàn),并進(jìn)行人工分級(jí)對(duì)比,分級(jí)測(cè)試效果如圖6所示。
圖6 分級(jí)測(cè)試效果對(duì)比Fig.6 Grading test result contrast
由圖6可知:分級(jí)效果相對(duì)于人工數(shù)據(jù)偏差不大,為了系統(tǒng)地對(duì)分級(jí)效果進(jìn)行測(cè)試,具體誤差分析如表1所示。
表1 馬鈴薯分級(jí)結(jié)果分析Table 1 Potato grading result analysis
在實(shí)驗(yàn)中,分錯(cuò)數(shù)為x=30,馬鈴薯總數(shù)為y=400,則馬鈴薯分析錯(cuò)誤率p=x/y為7.5%,可見(jiàn)機(jī)器識(shí)別的準(zhǔn)確率區(qū)q=(y-x)/y可以達(dá)到92.5%。
為了保證種植效果,切割要達(dá)到的標(biāo)準(zhǔn)為切塊質(zhì)量不應(yīng)小于20~25g,且每個(gè)切塊上至少要帶1~2個(gè)芽眼?;痉桨笧橐患?jí)馬鈴薯可以縱切為4塊,這樣有利于增加帶頂芽的塊數(shù)。 對(duì)于大薯塊來(lái)說(shuō),可以從種薯的尾部開始,按芽眼排列順序螺旋形向頂部斜切,最后將頂部一分為二;二級(jí)馬鈴薯切成3塊,方法是先從基部切下帶2個(gè)芽眼的1塊,剩余部分縱切為2塊;三級(jí)馬鈴薯可從頂部到尾部縱切成2塊;等級(jí)外馬鈴薯不用切割。
實(shí)驗(yàn)數(shù)據(jù)集按人工校驗(yàn)結(jié)果可得226個(gè)切塊,機(jī)器識(shí)別并進(jìn)行切割得到的預(yù)計(jì)種塊數(shù)如表1所示。由表1可知:總偏差為29塊,最大偏差為10塊,均在容錯(cuò)范圍之內(nèi)。
提出了基于最大橫截面積的馬鈴薯分級(jí)及切割策略。研究發(fā)現(xiàn):通過(guò)零力矩點(diǎn)分析得出馬鈴薯兩種常見(jiàn)穩(wěn)定姿態(tài)分別占比為87%和13%,因此可以采取頂部和側(cè)面攝像機(jī)進(jìn)行采集,并在二維維度進(jìn)行邊緣提取和邊緣平滑處理,進(jìn)而得到馬鈴薯的最大有效投影面積,并以此為依據(jù)進(jìn)行分級(jí)和切割策略分析。實(shí)驗(yàn)表明:本方法分級(jí)準(zhǔn)確性達(dá)到92.5%,對(duì)應(yīng)的切塊策略誤差較小,對(duì)表皮皺縮且薯芽萌出的種薯識(shí)別效果良好,可為后續(xù)自動(dòng)化切割及種植提供借鑒。