楊 茜，竇 輝，張建鋒

(西北農(nóng)林科技大學(xué) 信息工程學(xué)院，陜西 楊凌 712100)

0 引言

在我國(guó)，蘋果產(chǎn)量最大，是最受消費(fèi)者喜愛的水果， 2017年的產(chǎn)量占世界總產(chǎn)量的65%，且品質(zhì)高于其它國(guó)家[1]。蘋果對(duì)生態(tài)環(huán)境的適應(yīng)力強(qiáng)，生長(zhǎng)周期短，耐于儲(chǔ)藏，除直接食用外，還可用于深加工果汁飲品，在我國(guó)的農(nóng)業(yè)生產(chǎn)中占有重要地位；但是，蘋果采摘的季節(jié)性強(qiáng)，工作量大，在我國(guó)大規(guī)模種植蘋果的背景下，如何能提高采摘效率和減少人工的使用具有深刻的意義。

隨著社會(huì)的進(jìn)步和農(nóng)業(yè)生產(chǎn)的現(xiàn)代化趨勢(shì)，各種機(jī)器人開始替代人類從事繁重的農(nóng)業(yè)生產(chǎn)工作，我國(guó)農(nóng)業(yè)耕作面積大，對(duì)機(jī)器人有很大的需求量。但是，機(jī)器人由于成本高，對(duì)復(fù)雜條件的作業(yè)環(huán)境適應(yīng)性差，還無法被大規(guī)模替代人力[2]。

機(jī)器人作業(yè)時(shí)對(duì)障礙物的識(shí)別能力是其對(duì)環(huán)境適應(yīng)能力的重要表現(xiàn)，科研工作者對(duì)此進(jìn)行了廣泛研究。機(jī)器人在作業(yè)時(shí)自身的移動(dòng)和障礙物的運(yùn)動(dòng)會(huì)產(chǎn)生疊加效應(yīng)，周俊等使用雙線性模型模式匹配后的特征點(diǎn)與圖像之間的運(yùn)動(dòng)特性，通過最小二乘法的最優(yōu)估計(jì)得到圖像之間的變換矩陣，再利用此矩陣識(shí)別出障礙物目標(biāo)[3]。劉靈敏等人設(shè)計(jì)了一種基于計(jì)算機(jī)視覺技術(shù)的采摘機(jī)器人避障系統(tǒng)，將嵌入式智能控制技術(shù)和計(jì)算機(jī)視覺技術(shù)相結(jié)合，使用3D立體坐標(biāo)對(duì)作業(yè)環(huán)境中的障礙物進(jìn)行精準(zhǔn)識(shí)別[4]。解決農(nóng)業(yè)機(jī)器人障礙物識(shí)別主要采用基于機(jī)器視覺的圖像處理方法[5]。機(jī)器視覺技術(shù)根據(jù)工作時(shí)攝像頭的個(gè)數(shù)可以分為單目視覺和立體視覺。單目視覺算法易于實(shí)現(xiàn)，各個(gè)模塊之間易于配合，匹配效果好，在實(shí)際生產(chǎn)中應(yīng)用廣泛。

本文采用單目視覺方法，將L*a*b*顏色空間模型與改進(jìn)后的SURF算法相結(jié)合，對(duì)蘋果園區(qū)內(nèi)的障礙物進(jìn)行識(shí)別。

1 圖像預(yù)處理

圖像采集于陜西省武功縣代家南留蘋果基地，通過攝像頭獲得。機(jī)器人在蘋果園區(qū)壟行間作業(yè)時(shí)，主要的障礙物有園藝工作者、園區(qū)工作的機(jī)器和園藝工具等。采集到的障礙物圖像由于圖像背景復(fù)雜，需要進(jìn)行預(yù)處理，預(yù)處理是后期進(jìn)行障礙物識(shí)別的基礎(chǔ)。

1.1 灰度變換

采集到的圖像中，壟行內(nèi)的裸露地面呈現(xiàn)為黃色，部分區(qū)域的雜草呈現(xiàn)為綠色，障礙物的顏色包括了所有類別的顏色。在進(jìn)行障礙物的識(shí)別過程中，必須把壟行內(nèi)可行走區(qū)域的黃色部分濾除掉，并把壟行內(nèi)的障礙物保留下來。采集到的障礙物圖像，如圖1所示。

在L*a*b*空間中，0～+127b表示黃色，-128～0b表示藍(lán)色。采用 L*a*b*顏色空間中的b*分量進(jìn)行灰度化處理，可以將大部分的黃色區(qū)域都視為背景區(qū)域。因此，本文先將采集到的RGB顏色空間圖像轉(zhuǎn)換為L(zhǎng)*a*b*顏色空間圖像，再采用b*分量進(jìn)行灰度化處理[6]。灰度化處理效果，如圖2所示。

圖1 壟行內(nèi)障礙物圖像Fig.1 Ridge line obstacle image

圖2 b*灰度化效果Fig.2 b*gray effect

首先，將RGB圖像轉(zhuǎn)換到XYZ絕對(duì)色彩空間中，則有

再將XYZ轉(zhuǎn)換CIEL*a*b*(CIELAB)，則有

式中Xn、Yn和Zn—參照白點(diǎn)的CIEXYZ三色刺激值。

對(duì)比圖1和圖2可知：采用b*灰度化可以有效濾除行內(nèi)地面背景，保留行內(nèi)障礙物及果樹部分。

1.2 圖像分割

對(duì)b*灰度化后的效果圖進(jìn)行閾值分割后，再進(jìn)行圖像的二值化處理。閾值T設(shè)為164，處理后的結(jié)果如圖3所示。

圖3 打藥箱閾值分割效果圖Fig.3 Medicine box threshold segmentation effect chart

2 蘋果壟行的障礙物識(shí)別

障礙物平移、旋轉(zhuǎn)等相對(duì)位置的改變會(huì)使得其識(shí)別精度降低，通過對(duì)比SURF算法和改進(jìn)后的SURF算法的匹配準(zhǔn)確率和匹配時(shí)間，最終采用改進(jìn)的SURF算法進(jìn)行障礙物的識(shí)別。

2.1 基于SURF算法的障礙物特征提取

Speeded Up Robust Features(SURF，加速穩(wěn)健特征)，是一種穩(wěn)健的局部特征點(diǎn)檢測(cè)和描述算法,基于Haar特征和積分圖像的概念，利用Hessian矩陣構(gòu)建尺度空間。該算法是SIFT算法的改進(jìn)版，不僅保留了SIFT算法的優(yōu)點(diǎn)，還解決了SIFT算法處理效率低的弊端，并對(duì)特征點(diǎn)的提取等方面步驟進(jìn)行了改進(jìn)，提高了計(jì)算的速度。

1)構(gòu)建Hessian矩陣的目的是為了生成相關(guān)興趣點(diǎn)，這些興趣點(diǎn)可以用于特征的提取。Hessian矩陣能夠描述函數(shù)的局部曲率，Hessian矩陣H是多元函數(shù)和它的偏導(dǎo)數(shù)結(jié)合在一起所構(gòu)成的矩陣，其公式為

式中f(x,y)—圖像像素I(x,y)。

由上式可知，每一個(gè)像素點(diǎn)都可以得出一個(gè)相應(yīng)的Hessian矩陣判別式，即

由判別式可以得到矩陣的特征值，通過判斷像素點(diǎn)取值的正負(fù)情況來確定該點(diǎn)是否為極值點(diǎn)。在利用標(biāo)準(zhǔn)的二階高斯函數(shù)作為濾波器及特定核之間的卷積計(jì)算二階偏導(dǎo)數(shù)之前需要對(duì)圖像進(jìn)行高斯濾波操作，此時(shí)Hessian可表示為

Lxy(x,σ)、Lyy(x,σ)—與Lxx(x,σ)的含義類似。

此時(shí)，H矩陣的判別式為

det(Happrox)=DxxDyy-(wDxy)2

式中Dxx、Dxy、Dyy—盒狀濾波器；

w—權(quán)值，是用來減小平衡因子近似所帶來的偏差，經(jīng)過計(jì)算w的取值為0.9。

計(jì)算Hessian矩陣的過程，必須先進(jìn)行高斯濾波然后求得二階導(dǎo)數(shù)。為了使運(yùn)算復(fù)雜度得到簡(jiǎn)化，離散像素點(diǎn)可利用模板卷積進(jìn)行求解，另外通過積分圖進(jìn)行計(jì)算也可提高運(yùn)算效率。

2)構(gòu)建尺度空間。O組L層構(gòu)成了SURF的尺度空間，只需一組坐標(biāo)(O，L)就可以唯一確定高斯金字塔中的一幅圖像。與SIFT不同的是，SURF中所有組間圖像的尺寸大小都一樣，不同組間使用的濾波器的模板尺寸會(huì)逐漸變大，而同一組間不同層間雖然使用同一尺寸的濾波器，但濾波器的模糊系數(shù)也會(huì)逐漸地變大。

3)特征點(diǎn)的定位。SURF算法特征點(diǎn)的定位方法與SIFT一樣，都是把Hessian矩陣處理過的每個(gè)像素點(diǎn)與尺度空間和二維圖像空間鄰域中的26個(gè)點(diǎn)進(jìn)行對(duì)比，再刪除錯(cuò)誤定位的關(guān)鍵點(diǎn)和能量較弱的關(guān)鍵點(diǎn)，最終得到穩(wěn)定的特征點(diǎn)。

4)特征點(diǎn)主方向分配。SURF算法在特征點(diǎn)所處的圓形鄰域內(nèi)，將圓心角度數(shù)為60°的扇形區(qū)域內(nèi)所有的harr小波特征進(jìn)行統(tǒng)計(jì)，扇形再以0.2rad為間隔進(jìn)行旋轉(zhuǎn)并統(tǒng)計(jì)旋轉(zhuǎn)后該區(qū)域內(nèi)harr小波特征值之和，最后把值最大的扇形方向作為該特征點(diǎn)的主方向，其實(shí)現(xiàn)過程如圖4所示。

圖4 SURF關(guān)鍵點(diǎn)主方向確定過程Fig.4 SURF key point main direction determination process

5)生成特征點(diǎn)描述子。沿著特征點(diǎn)的主方向，在特征點(diǎn)的周圍切分出一個(gè)大小為4×4的矩形區(qū)域塊，統(tǒng)計(jì)每個(gè)子區(qū)域25個(gè)像素的垂直和水平方向的haar小波特征。haar小波特征為水平方向值、垂直方向值、水平方向絕對(duì)值和垂直方向絕對(duì)值的和。

6)特征點(diǎn)匹配。SURF算法的匹配度是根據(jù)兩個(gè)特征點(diǎn)間的歐式距離來確定的，距離越短，表示兩個(gè)點(diǎn)的匹配對(duì)越好。相較于SIFT而言，SURF中加入了Hessian矩陣跡的判斷，如果兩個(gè)特征點(diǎn)的矩陣跡符號(hào)相同，則表示這兩個(gè)特征在相同方向上有對(duì)比度變化：若不同，即使歐式距離的值為0，也應(yīng)予以排除。

SURF算法流程如圖5所示。

圖5 SURF算法流程圖Fig.5 SURF algorithm flow chart

采用SURF算法進(jìn)行障礙物匹配，匹配的效果如圖6所示。

圖6 SURF算法匹配效果圖Fig.6 SURF algorithm matching effect chart

2.2 改進(jìn)的SURF算法障礙物特征提取

在對(duì)障礙物進(jìn)行匹配時(shí)，通過選擇2張圖片里障礙物的特征點(diǎn)建立一一對(duì)應(yīng)的關(guān)系來進(jìn)行匹配。其度量方法一般采用歐式距離，歐式距離的值越小，匹配的效果越好。一般常用的匹配算法是快速最近鄰匹配算法，該算法主要針對(duì)高維數(shù)據(jù)的匹配[7],但在實(shí)際匹配過程中也會(huì)出現(xiàn)匹配錯(cuò)誤和匹配不夠精確的問題。

基于以上問題，對(duì)障礙物識(shí)別時(shí)的快速最近鄰匹配算法進(jìn)行改進(jìn)，通過設(shè)定距離閾值的方法來提高障礙物匹配的正確率，為確保匹配的唯一性，引入雙向匹配機(jī)制。其實(shí)現(xiàn)步驟如下：

1)通過快速近鄰匹配算法找到兩幅圖像之間具有最小歐氏距離的匹配點(diǎn)的集合{m，m'}。

2)查找出所有匹配點(diǎn)對(duì)之間的最小歐式距離dmin，并以此來設(shè)定距離閾值D=μ·dmin，μ是所有匹配點(diǎn)對(duì)距離的均值。

3)比較有匹配點(diǎn)對(duì)的歐式距離d和D之間的大小，當(dāng)d≥D時(shí)，則該匹配點(diǎn)對(duì)不能作為特征點(diǎn)。

4)使用第3步中的方法重新計(jì)算兩幅圖像之間具有最小歐氏距離的匹配點(diǎn)的集合{n，n'}。將集合{n，n'}和集合{m，m'}進(jìn)行對(duì)比，只保留兩次匹配結(jié)果都一致的匹配點(diǎn)對(duì)所包含的特征點(diǎn)。采用改進(jìn)的SURF算法進(jìn)行障礙物匹配的效果如圖7所示。

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)采集到的原始圖像經(jīng)過預(yù)處理后，可以有效地將壟行內(nèi)可行走區(qū)域的黃色地面部分濾除掉，并把壟行內(nèi)的障礙物保留下來。障礙物匹配實(shí)驗(yàn)結(jié)果如表1所示。通過表1分析可得：采用改進(jìn)前的SURF算法，有效的匹配對(duì)數(shù)為77個(gè)，匹配的準(zhǔn)確率為85.2%，匹配所用時(shí)間為2 011ms；采用改進(jìn)后的SURF算法，有效的匹配對(duì)數(shù)可以提高到89個(gè)，匹配的準(zhǔn)確率為90.7%，匹配時(shí)間縮短到1 878ms。實(shí)驗(yàn)表明：采用改進(jìn)后的SURF算法對(duì)障礙物的特征向量進(jìn)行匹配時(shí)，可以增加有效的匹配對(duì)數(shù)，提高匹配的準(zhǔn)確率，減少匹配時(shí)間。

圖7 改進(jìn)的SURF算法匹配效果圖Fig.7 Improved SURF algorithm matching effect chart表1 實(shí)驗(yàn)結(jié)果分析Table 1 Analysis of experimental results

算法有效的匹配對(duì)數(shù)/個(gè)匹配準(zhǔn)確率/%匹配時(shí)間/msSURF7785.22011改進(jìn)SURF8990.71878

4 結(jié)論

蘋果作業(yè)機(jī)器人在作業(yè)時(shí)，壟行內(nèi)存在的障礙物會(huì)妨礙其工作，對(duì)障礙物的判斷能力和識(shí)別速度決定了作業(yè)機(jī)器人的工作效率和安全性。本文采用單目視覺方法對(duì)蘋果園區(qū)作業(yè)機(jī)器人障礙物進(jìn)行識(shí)別，使用L*a*b*顏色空間模型的b通道進(jìn)行灰度化和閾值分割對(duì)復(fù)雜背景下的壟行障礙物圖像處理，并與改進(jìn)后的SURF算法相結(jié)合，對(duì)蘋果園區(qū)內(nèi)的障礙物進(jìn)行識(shí)別。實(shí)驗(yàn)表明：本方法可以應(yīng)對(duì)復(fù)雜環(huán)境因素和障礙物位置的改變，提高了蘋果作業(yè)機(jī)器人的障礙物識(shí)別的速度，減少了障礙物匹配的時(shí)間。