馮凱，王茂勵，何曉寧，王東偉，岳丹松，初香港

(1. 青島農(nóng)業(yè)大學機電工程學院，山東青島，266000； 2. 曲阜師范大學網(wǎng)絡(luò)空間安全學院，山東曲阜，276800)

0 引言

基于機器視覺導航的農(nóng)業(yè)機械裝備在生產(chǎn)作業(yè)中具有較強的靈活性和適應(yīng)性，且視覺導航常與其他類型的導航方式進行組合來提高導航定位的精度和穩(wěn)定性[1-3]，使其具有了廣泛的研究前景，已經(jīng)成為智慧農(nóng)業(yè)中的一項重要技術(shù)。農(nóng)機具視覺導航的核心在于對圖像的處理，其中最為關(guān)鍵一步的則是對作業(yè)導航路徑的實時、準確地提取，其精度和準確性也常受圖像處理效果、檢測方法等多方面因素的影響。針對導航路徑提取問題的相關(guān)研究已經(jīng)取得較多的研究成果。

目前，此類研究中，通常采用不同的圖像處理算法或與最小二乘法、Hough變換及其改進算法結(jié)合來進行導航路徑提取[4-7]。王毅等[8]提出了一種基于邊緣檢測的導航線提取方法，對處理后的圖像計算中點、斜率，進而計算出農(nóng)業(yè)機器人的偏離角并實時調(diào)整以實現(xiàn)，試驗表明該算法處理速度較快且抑制了噪聲，但是中點的選取對精度影響較大。關(guān)卓懷等[9]針對目前算法在非綠色環(huán)境下的導航適應(yīng)性差的問題，提出了一種基于暗原色原理的灰度化方法來分離農(nóng)作物和土壤，采用基于垂直投影法的中心導航線提取算法提取土壤感興趣區(qū)域，再利用最小二乘擬合提取導航線。Bkp等[10]提出一種基于預測點Hough變換的擬合算法，用新灰度化因子進行圖像處理且利用回歸方程確定預測點，最后通過提出的算法對導航路徑進行擬合，試驗表明該文導航路徑擬合算法的平均誤差小，計算時間低。此類研究方法均能對導航線進行有效提取，在一定程度上提高了運算速度，保證了導航的精度和準確性，但是在大噪聲環(huán)境中的抗干擾能力較差，因此需要在此基礎(chǔ)上進行更深入的研究。

另外一種研究思路在于部分學者將智能優(yōu)化算法及其他類算法應(yīng)用到視覺導航研究中，以進一步提高算法的抗干擾能力和檢測精度[11-13]。較為典型的Qian等[14]提出了一種基于SUSAN(最小單值段同化核)角點和改進序列聚類算法的稻田除草機器人導航線檢測方法，提取角點為特征點并利用改進的順序聚類算法和霍夫變換對幼苗導航線進行提取，試驗結(jié)果表明該方法在復雜環(huán)境下具有良好的性能。李勇等[15]針對導航線檢測速度慢、抗干擾能力不足的問題，提出一種基于改進遺傳算法的導航線檢測方法，通過隨機選取頂邊像素坐標進行染色體編碼，將適應(yīng)度最高的個體作為作物行直線編碼得到導航線。何潔等[16]針對農(nóng)業(yè)機器人導航基準線提取方法時效性低及對光照變化敏感等問題，提出一種自然光照環(huán)境下基于人工蜂群算法的視覺導航路徑提取方法，通過灰度垂直投影獲取作物行區(qū)域并提取作物行特征點，將其作為人工蜂群算法目標函數(shù)，進而得到導航路徑。此類研究可以準確地對導航線進行提取，效果明顯較好，適應(yīng)性強；但是通常需要考慮隨機性影響，且算法收斂速度、搜索能力等因素對導航線提取的影響較大，需要對算法進行改進，工作量較大。

其他方法的研究[17-18]中較典型的有趙博等[19]提出適用于壟溝作物的立體視覺導航線檢測方法，將圖像分為脊線和犁溝兩個區(qū)域，然后檢測每個區(qū)域的邊界點，采用線性回歸方法從檢測到的邊界點中提取一條引導線，并將該算法檢測到的導航線與人工標注引導線進行對比，在側(cè)向偏差和航向角上的誤差均較小。王新忠等[20]提出的基于深度學習果園道路導航線提取方法，采用YOLOV3卷積神經(jīng)網(wǎng)絡(luò)提取果園道路圖像上的特征點，并通過最小二乘法擬合生成導航線，試驗結(jié)果表明該方法適應(yīng)性強，誤差小。

綜上所述，針對導航路徑提取算法的研究均能達到預期效果，但是大部分只在特定場景下(農(nóng)田、果園等)具有較強的適用性，在非綠色環(huán)境下(水泥路、土壤、林地)的導航提取算法應(yīng)用受到限制，為了提高導航路徑提取的準確性以及在不同場景下的適用性，本文提出了一種基于輔助線的農(nóng)機視覺導航路徑提取算法，以期能夠解決上述問題，為今后研究提供一種新思路。

1 農(nóng)田圖像處理原理

1.1 均衡化處理

由于作業(yè)時間的不確定性，所獲取的圖像會因光照、震動等造成較大噪聲，因此需對待處理的農(nóng)田圖像進行直方圖均衡化處理，以增強圖像的對比度，降低噪聲的影響。以采集的花生田地相關(guān)圖像為例，直方圖法均衡化處理的結(jié)果如圖1所示。其中，所采用的直方圖則是圖像中對應(yīng)某個灰度級的像素的數(shù)量值[21]。

圖1(a)經(jīng)過均衡化處理后為圖1(b)，整體畫面顏色的對比度加深，變得更為清晰；對應(yīng)圖1(a)的直方圖(c)峰頂部分的對比度得到增強，而兩側(cè)峰谷部分的對比度降低了，最終得到一個較為平滑的分段直方圖，如圖1(d)所示。其灰度值也均勻分布在0～255之間，更加有利于后續(xù)處理。

(a) 原圖 (b) 均衡化

(c) 原圖直方圖 (d) 直方圖均衡化

1.2 灰度化處理

通過灰度化處理可降低處理復雜度，避免圖像失真，常用的圖像灰度化特征因子主要有ExR、ExG及ExG-ExR因子等[22-23]。假設(shè)農(nóng)田圖像像素點的顏色為(R,G,B)，R、G、B分別表示其紅色分量、綠色分量和藍色分量，ExG因子為2G-R-B。本文對綠色作業(yè)環(huán)境下的圖像采用的灰度化公式是對ExG因子進行改進后得到；同時，在實際農(nóng)業(yè)生產(chǎn)環(huán)境中，也存在一些非綠色環(huán)境的農(nóng)業(yè)場景，因此也應(yīng)該考慮算法對非綠色農(nóng)田圖像的適用性，所以本文對綠色及非綠色農(nóng)田作業(yè)環(huán)境下的圖像的灰度化處理分別為

E_green=1.8G-R-0.8B

E_nongreen=1.7G-R-0.3B

(1)

如圖2所示，圖2(a)和圖2(b)表示對圖1(b)圖像分別采用2G-R-B和1.8G-R-0.8B顏色模型灰度化后得到的圖像；圖2(c)和圖2(d)則表示為對應(yīng)于圖2(a)和(b)的灰度直方圖。相對于圖2(c)而言，圖2(d) 的直方圖分布更加均勻，且縱坐標數(shù)值小，說明各個灰度值的像素在圖像中出現(xiàn)的次數(shù)或概率小，因此灰度層次相對比較明顯，使得地物之間的辨別更高，更易于進行圖像分割。

圖3所示為非綠色農(nóng)田環(huán)境圖像灰度轉(zhuǎn)換結(jié)果，相對于圖3(c)而言，圖3(e)的直方圖中存在較明顯的波峰及波谷，更容易進行閾值分割。同時，明顯看出暗處的土壤部分可以與壟溝間進行明顯的區(qū)分。因此，本文方法能夠更好地滿足農(nóng)機具視覺導航在不同場景環(huán)境的下適用性，且具有較高效的實時性、準確性。

(a) ExG灰度化

(b) 1.8G-R-B灰度化

（c）ExG灰度直方圖

（d）1.8G-R-0.8B灰度直方圖

(a) 原圖

(b) 均衡化

(c)ExG灰度直方圖

（d）1.7G-R-0.3B灰度直方圖

1.3 降噪及形態(tài)學處理

假設(shè)待處理農(nóng)田圖像I(x,y)的像素大小為W×H，W表示寬度，H表示高度，二維中值濾波處理公式如式(2)所示。

g(x,y)=med{I(x-k,y-l),(k,l∈W)}

(2)

式中：g(x,y)——處理后的圖像；

(k,l)——輸入二維模板，尺寸設(shè)為9×9。

首先，對圖2(b)及圖3(e)圖像均進行9×9模板的中值濾波，然后再通過Otsu法對濾波后的不同圖像進行閾值分割處理，因篇幅原因具體原理不再贅述。

由于閾值分割后的圖像中存在顆粒狀噪聲、缺株或多株連結(jié)造成的噪聲等干擾，需要通過形態(tài)學方法對閾值分割后的圖像進行再次濾波。形態(tài)學處理具體操作過程如下。

1) 通過半徑為5 pixel的圓盤狀結(jié)構(gòu)進行形態(tài)學開運算，用以消除細小毛刺，平滑較大物體邊界。

2) 再用5 pixel×10 pixel的線性結(jié)構(gòu)對開運算后的圖像進行形態(tài)學閉運算處理，用以彌合狹窄的間斷，填充背景中小的孔洞，最后得到二值圖像IBW。最終的綜合處理結(jié)果如圖4和圖5所示。

(a) 濾波 (b) OTSU分割

(c) 開運算 (d) 先開后閉運算

上述中，圖4(a)、圖4(b)、圖4(c)和圖4(d)分別為針對綠色農(nóng)田圖像進行的濾波、閾值分割、形態(tài)學開運算及先開后閉的運算處理；同理，圖5所示為非綠色農(nóng)田圖像的處理結(jié)果。由此可知，經(jīng)過濾波處理后消除了雜散噪聲點且能夠以較小程度地造成邊緣模糊，形態(tài)學處理后的圖像作物區(qū)間與土壤區(qū)間分明，細小毛刺消失，孔洞也被填充，為后續(xù)處理奠定了基礎(chǔ)。

(a) 濾波 (b) OTSU分割

(c) 開運算 (d) 先開后閉運算

2 路徑檢測與提取

在不同農(nóng)業(yè)環(huán)境下進行視覺導航時，要提取土壤部分或者感興趣區(qū)域，則需將上述形態(tài)學處理得到的二值圖像，進行取反處理，即Gbw=～IBW，Gbw為取反后的圖像。此時，綠色農(nóng)田圖像中作物行表現(xiàn)為黑色，壟間土壤區(qū)域為白色；非綠色農(nóng)田左右兩邊為黑色，中間壟溝為白色，得到取反圖像后在此基礎(chǔ)上進行后續(xù)操作。

2.1 基于垂直投影法的輔助檢測方法

已知圖像像素為W×H，通過size( )函數(shù)獲取取反圖像寬度W、高度H的數(shù)值大小，如式(3)所示。

[W,H]=size(Gbw)

(3)

在上述基礎(chǔ)上采用垂直投影法求取農(nóng)田二值圖像的投影曲線并計算出曲線中心位置，計算公式如式(4)所示。

(4)

式中：Gbw(i,j)——點(i,j)處的像素灰度值；

s(j)——第j列的灰度值之和；

s(i)——第i行的灰度值之和。

此時，將坐標O(0.5H, 1)作為中心導航定位點，并在此基礎(chǔ)上進行輔助線處理，得到輔助線的坐標(X,Y)，公式如式(5)所示。

(5)

(6)

利用垂直投影的相關(guān)原理，以圖像大小的方式按照式(5)選擇為綠色農(nóng)田環(huán)境下的圖像自動添加輔助線；同理，按照式(6)選擇為非綠色農(nóng)田環(huán)境下的圖像自動添加輔助線，輔助線添加后自動獲取像素水平輔助線及垂直輔助線交點的坐標并自動保存坐標記錄，以進行后續(xù)操作。如圖6所示，根據(jù)進行輔助線選取添加操作，可清楚標記出區(qū)域，提高算法整體的精確度。

(a) 綠色圖像取反 (b) 綠色圖像垂直投影 (c) 綠色圖像輔助處理

(d) 非綠色圖像取反 (e) 非綠色圖像垂直投影 (f) 非綠色圖像輔助處理

2.2 導航路徑提取

本研究在上述操作基礎(chǔ)上，根據(jù)輔助線提取感興趣區(qū)域，然后進行導航定位點的提取計算，最后基于最小二乘法擬合導航線得到最終的導航路徑。

1) 感興趣區(qū)域提取。當農(nóng)機在作業(yè)時對當前前進的方向及位置已確定，則可利用輔助線對該前進區(qū)域白色像素進行篩選，從而確定感興趣區(qū)域，具體步驟如下。

Step1：確定農(nóng)田圖像的作物行區(qū)域或待處理圖像左右兩部分黑色區(qū)域的上、下頂邊界部分，以此為感興趣區(qū)域的劃分依據(jù)。

Step2：將上述部分與輔助線的交點(共選擇4個點的信息)作為感興趣區(qū)域的起點、經(jīng)過點及終點位置。

Step3：當終點與起點重合時，連成封閉區(qū)域(藍色梯形區(qū)域)后得到導航感興趣區(qū)域(Region of Interest，ROI)，其選擇順序為左上、左下、右下、右上、左上。

2) 導航點選擇及導航路徑提取。為了減少算法的工作量及算法的復雜性，提高準確度，本研究選擇三個坐標點作為導航定位點。具體實現(xiàn)步驟如下。

Step1：設(shè)已處理農(nóng)田圖像的感興趣區(qū)域左上、左下、右下及右上角像素點分別為I1(x1,y1)、I2(x2,y2)、I3(x3,y3)和I4(x4,y4)，在上述ROI處理時自動將坐標進行保存。

Step2：分別取梯形ROI的上底線中點I1,4和梯形ROI下底線中點I2,3兩個像素位置點作為導航點，兩個點的像素坐標分別表示為

再加上導航定位校正點O(0.5H, 1)，共3個導航點。

Step3：在導航點確定后，考慮到導航實時性、有效性要求，采用最小二乘擬合的方法對導航點擬合，從而得到導航路徑，直線方程為f(x)=kx+b。

如圖7(c)、圖7(f)所示，能夠清楚地看出導航路徑的提取效果，說明算法達到了預期的效果，但是需要對算法的靈活性及普適性進一步的試驗，在下文中有詳細的分析。

圖7 導航路徑提取過程

Fig. 7 Navigation path extraction process

3 仿真試驗與分析

3.1 性能測試

為了驗證本文算法對不同場景環(huán)境的適用性、抗干擾性以及靈活性，分別選取了在室外、室內(nèi)等不同場景環(huán)境的圖像，包括有綠色農(nóng)作物的圖像、非綠色農(nóng)田的圖像以及在干擾情況下的圖像等，采用Matlab2019(a)軟件對導航路徑提取效果進行分析對比，并采用歐式距離(Euclidean distance)作為路徑提取的精度評價因子，如式(7)所示，歐氏距離越大，結(jié)果越不相似，即提取的精度越高，所有試驗結(jié)果如圖8～圖10所示。

(7)

(a) 小麥 (b) 蕓豆 (c) 花生

(d) 水稻 (e) 玉米 (f) 胡蘿卜

圖8所示為不同場景環(huán)境下對部分綠色農(nóng)田圖像導航路徑提取的結(jié)果，其中圖8(a)為小麥圖像，圖像分辨率為4 100×2 845；圖8(b)為蕓豆圖像，圖像分辨率為1 080×1 440；圖8(c)為花生圖像，圖像分辨率為695×531；圖8(d)為水稻圖像，圖像分辨率為354×431；圖8(e)為玉米圖像，圖像分辨率為659×849；圖8(f)為胡蘿卜圖像，圖像分辨率為1 080×1 440。圖9所示為不同環(huán)境下非綠色農(nóng)田圖像導航路徑提取結(jié)果，其中，圖9(a)為壟地、圖9(b)為農(nóng)田塊、圖9(c)為未耕農(nóng)田；圖9(d)為荒地；圖9(a)～圖9(d)的像素分辨率均為4 224×5 632；圖9(e)為壟行，像素分辨率為640×707；圖9(f)為收獲后的麥田，像素分辨率為525×560。

(a) 壟地 (b) 農(nóng)田塊 (c) 農(nóng)田

(d) 荒地 (e) 壟行 (f) 麥田

圖8及圖9所示試驗結(jié)果對應(yīng)的數(shù)據(jù)如表1所示(保留1位小數(shù))，結(jié)合設(shè)置的對比試驗及相關(guān)數(shù)據(jù)可知，本文算法對不同場景環(huán)境下的農(nóng)田圖像進行處理時，歐氏距離均比較大，說明了路徑提取在一定范圍內(nèi)表現(xiàn)出了較高的精度，同時在不同環(huán)境下表現(xiàn)出了較強的可用性及靈活性。

同時，為了驗證本文算法在不同干擾條件的對導航路徑提取的適用能力及抗干擾性，在強光、陰影、夜晚及雜草的干擾情況下進行試驗，如圖10所示，像素分辨率均為4 224×5 632。干擾條件下的試驗驗證了在不同程度干擾下路徑提取的準確性和抗干擾能力，特別是對不同類型、不同環(huán)境的圖像都能較準確地提取出導航路徑，通過對比說明其具有廣泛的普適性和良好的抗干擾性。

表1 農(nóng)田導航路徑提取數(shù)據(jù)Tab. 1 Farmland navigation path extraction data

(a) 強光 (b) 陰影

(c) 夜晚 (d) 雜草

3.2 效率及精度測試

為了驗證本文算法效率，對包括上述所有圖像在內(nèi)的共35幅圖像，其中像素小于2 000×2 000的有15張，像素大于2 000×2 000有20張，使用本文算法和傳統(tǒng)Hough變換算法對不同分辨率的視覺導航圖像進行導航路徑提取，運行時間對比結(jié)果如表2所示。

由表2可知，本文算法在對分辨率大于2 000×2 000 的不同場景及環(huán)境下的圖像進行處理時平均損耗時間約為傳統(tǒng)Hough變換的1/5倍，縮短了79.6%，圖像處理的平均效率為Hough變換的7倍多，提升了86.4%；分辨率小于2 000×2 000的圖像平均損耗時間也小于傳統(tǒng)Hough變換，同時平均效率高于Hough變換，效率提升了50%，說明了本文算法的速度較快，滿足實時性的基本要求。

表2 導航路徑提取時間統(tǒng)計Tab. 2 Navigation path extraction time statistics

為了對所提方法的精確度進行評價，在將本文所提方法與Hough變換算法進行對比，對比結(jié)果如圖 11所示，紅色直線為本文算法導航路徑，藍色直線為Hough變換導航路徑。從對比試驗結(jié)果中可知，兩種方法均可以正確的提取農(nóng)田圖像的導航線。其相應(yīng)的數(shù)據(jù)結(jié)果統(tǒng)計如表3及表4所示。

(a) 本文算法 (b) Hough變換

(c) 對比

通過對表3數(shù)據(jù)分析可知，本文算法所得到的定位點像素坐標參數(shù)與Hough變換參數(shù)相差范圍在一定范圍內(nèi)且變化相對較小，證明了本文算法的有效性，且能夠保證視覺導航時所要求的精度范圍。由表4可知，本文算法提取的路徑斜率為0.27，截距為132.2，Hough變換提取的路徑斜率為-59.06，截距為29 530.5，二者斜率差的絕對值為58.79，截距差為29 398.3，對比可知，本文算法所得到的斜率、截距與Hough變換算法相對比相差較大，結(jié)合圖11(c)對比結(jié)果可知本文方法路徑提取效果顯示其更加接近中心區(qū)域，準確性和魯棒性更好。同時，本算法的歐式距離為1 001.9，Hough變換的歐式距離為522.3，相差較大，說明了本文算法的二維信號(像素)相似程度低，不容易互相干擾，從而精度更高，即精度提高了47.9%。再由視覺感官結(jié)合實際需求可知，說明本文方法不僅能夠滿足視覺導航所需要的精度要求，而且具有更好的適用性。

表3 不同算法定位點坐標及參數(shù)Tab. 3 Location point coordinates and parameters of different algorithms

表4 不同算法直線參數(shù)對比Tab. 4 Comparison of straight-line parameters of different algorithms

4 結(jié)論

為了保證農(nóng)機具視覺導航路徑提取的準確性，提高在綠色農(nóng)田、非綠色農(nóng)田等不同場景下的適用性和抗干擾能力，提出了一種基于輔助線的農(nóng)機具視覺導航路徑提取算法。

1) 對圖像進行直方圖均衡化處理后，運用1.8G-R-0.8B顏色模型對綠色農(nóng)田圖像灰度化處理(非綠色農(nóng)田圖像使用1.7G-R-0.3B顏色模型)，得到目標與背景明顯區(qū)分的灰度圖像。本文所用的灰度化方法可較為準確地對不同場景環(huán)境的農(nóng)田圖像的目標進行分離，表現(xiàn)出了對復雜環(huán)境較強的適應(yīng)性和靈活性，為后續(xù)的相關(guān)處理提供了模板。

2) 采用OTSU法對農(nóng)田圖像二值化處理，再進行先開后閉的形態(tài)學處理；最后根據(jù)圖像場景采用垂直投影法獲取輔助線標準點，從而進行相應(yīng)的輔助處理，并結(jié)合改進的ROI方法提取感興趣區(qū)域，進而確定導航定位點，最終通過最小二乘法將定位點擬合得到導航路徑，減少了計算量同時也提高了處理效率。

3) 本研究在不同環(huán)境下進行的導航路徑擬合試驗均具取得了理想的效果，且運算復雜度低，抗干擾能力強，相對于Hough變換，效率提高50%～86.7%，精度提高了47.9%，說明了研究具有較強的普適性，為視覺導航路徑的提取提供了一種可行的研究思路；但是在對大量圖像進行批量處理時該算法具有一定的局限性，且在對比試驗中只與Hough變換進行了比較，缺少進一步的比對試驗，后續(xù)需繼續(xù)進行優(yōu)化以提高該算法的魯棒性。