余帥振，張富貴，張龍，鄭樂(lè)，閆建偉

（550025 貴州省 貴陽(yáng)市 貴州大學(xué) 機(jī)械工程學(xué)院）

0 引言

視覺(jué)導(dǎo)航技術(shù)是我國(guó)建設(shè)智慧農(nóng)業(yè)的基礎(chǔ)之一，可緩解當(dāng)前農(nóng)村勞動(dòng)力不足等問(wèn)題，同時(shí)能提高農(nóng)業(yè)機(jī)械作業(yè)的質(zhì)量和效率[1-3]。視覺(jué)導(dǎo)航技術(shù)已用于執(zhí)行多種農(nóng)業(yè)任務(wù)，如種植[4]、作物收獲[5]和除草[6]等。它是利用視覺(jué)傳感器感知周?chē)h(huán)境信息，為機(jī)器運(yùn)動(dòng)提供依據(jù)的導(dǎo)航技術(shù)。視覺(jué)導(dǎo)航技術(shù)與GPS 和激光雷達(dá)等導(dǎo)航方式相比，具有成本低和操作簡(jiǎn)單等優(yōu)點(diǎn)。根據(jù)攝像機(jī)的數(shù)目，視覺(jué)導(dǎo)航分為單目視覺(jué)導(dǎo)航[7]、雙目視覺(jué)導(dǎo)航[8]和多目視覺(jué)導(dǎo)航[9]。在農(nóng)業(yè)領(lǐng)域?qū)嶋H運(yùn)用中，作業(yè)機(jī)械對(duì)實(shí)時(shí)性要求較高，故主要采用單目視覺(jué)導(dǎo)航和雙目視覺(jué)導(dǎo)航。

農(nóng)業(yè)機(jī)械視覺(jué)導(dǎo)航的關(guān)鍵步驟包括圖像預(yù)處理和導(dǎo)航路徑提取。目前，國(guó)內(nèi)外研究聚焦于對(duì)上述步驟的改進(jìn)，解決農(nóng)業(yè)機(jī)械視覺(jué)導(dǎo)航技術(shù)面臨的挑戰(zhàn)，如圖像預(yù)處理無(wú)法較好地去除圖像中的陰影和光照變化等噪聲干擾，并且導(dǎo)航路徑提取算法存在實(shí)時(shí)性差和準(zhǔn)確性不足等問(wèn)題。

本文總結(jié)視覺(jué)導(dǎo)航技術(shù)的關(guān)鍵步驟圖像預(yù)處理與導(dǎo)航路徑現(xiàn)有提取方法面臨的挑戰(zhàn)，并分別對(duì)國(guó)內(nèi)外在上述關(guān)鍵步驟的改進(jìn)方法進(jìn)行詳細(xì)綜述；針對(duì)農(nóng)業(yè)機(jī)械視覺(jué)導(dǎo)航面臨田端換行和實(shí)時(shí)性挑戰(zhàn)，提出了2 種相應(yīng)解決思路；最后闡明了農(nóng)業(yè)機(jī)械視覺(jué)導(dǎo)航技術(shù)未來(lái)發(fā)展方向。

1 圖像預(yù)處理

農(nóng)業(yè)機(jī)械作業(yè)環(huán)境通常比較復(fù)雜，導(dǎo)航效果易受環(huán)境干擾，如作物和田壟旁長(zhǎng)有雜草、拍攝的圖像受光照變化干擾等[10]，如果直接對(duì)原始圖像進(jìn)行處理，會(huì)影響導(dǎo)航系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性。為了快速及準(zhǔn)確提取作物特征信息，去除圖像的噪聲，對(duì)獲取的原始圖像采用圖像預(yù)處理操作。圖像預(yù)處理主要包括顏色空間的選擇、作物灰度特征提取、圖像濾波、圖像分割等[11]。

針對(duì)傳統(tǒng)圖像預(yù)處理方法提取作物特征效果較差的問(wèn)題，研究人員提出以下改進(jìn)：（1）采用多顏色特征融合更好地呈現(xiàn)作物特征信息；（2）建立圖像灰度法的評(píng)價(jià)體系，更準(zhǔn)確判斷作物與背景的區(qū)分程度；（3）采用自適應(yīng)濾波更好保留作物特征信息，去除圖中噪聲；（4）采用基于深度學(xué)習(xí)的圖像分割，能有效提高作物特征提取準(zhǔn)確度。上述改進(jìn)有效提高了作物特征提取效果，但計(jì)算量增加，造成導(dǎo)航系統(tǒng)的實(shí)時(shí)性變差。

1.1 顏色空間的選擇

不同的顏色空間強(qiáng)調(diào)的顏色特征不同，根據(jù)作物特定的顏色特征選擇合適的顏色空間至關(guān)重要。在傳統(tǒng)方法中通過(guò)比較作物在多種顏色空間的效果，選取其中最佳顏色空間，這種方法比較復(fù)雜，且不能很好表達(dá)作物的顏色特征。為了解決上述問(wèn)題，研究人員提出了多顏色特征融合和自動(dòng)選擇最優(yōu)顏色空間的方法。Hernández 等[12]提出了一種新的顏色處理概率方法。該方法不僅可以為植物/土壤分割創(chuàng)建最佳顏色模型，而且能為每個(gè)問(wèn)題選擇最合適的顏色空間，在最佳空間和通道中生成顏色模型；Li 等[13]引入LAB 顏色空間中的高斯混合模型來(lái)描述作物像素的分布，并應(yīng)用超像素技術(shù)進(jìn)行結(jié)構(gòu)保持，能夠更好地表達(dá)作物顏色特征。

1.2 作物特征提取

顏色空間包含大量雜草和土壤等背景的顏色信息。如果直接對(duì)彩色圖像進(jìn)行閾值分割處理，耗時(shí)比較長(zhǎng)，并且存在大量噪聲容易造成分割效果不佳，故采用提取作物特征和灰度化方法。

常用的作物特征提取方法包括超綠灰度法[14]、超綠-超紅灰度法[15]、S 分量法[16]等，但上述傳統(tǒng)方法仍存在一些不足，如缺少一套標(biāo)準(zhǔn)的評(píng)價(jià)體系，不能根據(jù)特定的環(huán)境設(shè)定出最佳的提取方法等。為了解決上述問(wèn)題，宋宇等[17]通過(guò)對(duì)多幅樣本圖像進(jìn)行預(yù)處理得出最佳α值。當(dāng)α值過(guò)大容易造成過(guò)度提取，相反就容易造成欠提取。該方法與2G-R-B 相比，能更好提取作物的特征；Wang 等[18]采用一種暗原色灰度法，將像素的RGB 中3 個(gè)顏色通道的最小值作為灰度值。該方法可提取作物的非綠色特征，實(shí)現(xiàn)了非綠作物與背景的有效分離；陳少杰[19]提出了一種評(píng)價(jià)參數(shù)e 對(duì)圖像灰度化效果的評(píng)價(jià)方法。在灰度圖像中，e 越大則目標(biāo)區(qū)域與背景越容易區(qū)分，e 越小則難以區(qū)分。

1.3 圖像濾波

由于相機(jī)的硬件、圖像拍攝和處理等過(guò)程容易產(chǎn)生噪聲，干擾后續(xù)圖像處理，常采用圖像濾波處理，即盡可能保留圖像細(xì)節(jié)的條件下抑制目標(biāo)圖像的噪聲，是圖像預(yù)處理不可缺少的操作，預(yù)處理效果會(huì)影響后續(xù)圖像處理的有效性、可靠性及分析。

常用的圖像濾波包括均值濾波[20]、高斯濾波和中值濾波[21]，這些方法都只采用固定的濾波窗口，容易在處理噪聲時(shí)犧牲掉部分的圖像細(xì)節(jié)[22]。為了解決上述問(wèn)題，郭麗等[23]提出了一種自適應(yīng)中值濾波方法，根據(jù)子塊中噪聲干擾大小來(lái)確定濾波窗口大??；趙玲玲[24]在自適應(yīng)濾波基礎(chǔ)上進(jìn)一步改進(jìn)，當(dāng)判斷圖像像素不是噪聲時(shí)，直接輸出；刁智華等[25]提出了一種新的排序方法，將傳統(tǒng)的中值濾波排序次數(shù)從36 次減少到21 次。

1.4 圖像分割

上述圖像處理突出了目標(biāo)特征，改善了圖像分割的效果。目前，基于閾值分割是最常用的圖像分割方法，它是將灰度圖像中每個(gè)像素的灰度值與一個(gè)或多個(gè)預(yù)設(shè)閾值進(jìn)行比較，然后根據(jù)比較結(jié)果將像素分為相應(yīng)的類(lèi)別[26]。

目前常用閾值分割的方法有Otsu 法[27]、迭代閾值分割和最大熵閾值分割[28]，但這些方法都只使用單個(gè)特征進(jìn)行背景和作物的分割，當(dāng)背景中存在與作物相似的特征，分割效果將大幅下降，故研究人員提出以下改進(jìn)方法：Chen 等[29]通過(guò)比較分析了6 個(gè)單一特征和不同融合策略的綜合識(shí)別性能，得到了玉米苗期田間雜草檢測(cè)的最佳多特征融合方法；Hu 等[30]提出一種圖形雜草網(wǎng)絡(luò)，可以從復(fù)雜牧場(chǎng)采集的RGB圖像中識(shí)別多種類(lèi)型的雜草。

2 導(dǎo)航路徑提取

提取導(dǎo)航路徑是視覺(jué)導(dǎo)航重要一環(huán)，直接影響農(nóng)業(yè)機(jī)械的作業(yè)精度和安全。提取導(dǎo)航路徑主要包括作物行的特征點(diǎn)檢測(cè)、導(dǎo)航參考線的擬合和導(dǎo)航路徑的提取。

在單目和雙目2 種視覺(jué)導(dǎo)航方式中，提取導(dǎo)航路徑的過(guò)程存在差異，但作物行的特征點(diǎn)擬合算法相似。在單目視覺(jué)導(dǎo)航中，從二值圖像中提取導(dǎo)航路徑有2 種方法：（1）通過(guò)邊緣檢測(cè)算法提取作物行邊界；（2）通過(guò)滑動(dòng)窗口方法獲得作物行中心線。在雙目視覺(jué)導(dǎo)航中，通常采用圖像匹配和高程圖分割提取作物行中心線。這2 種方法的效果如圖1 所示。

作物在種植過(guò)程種子存在未發(fā)芽或漏播，作物生長(zhǎng)邊界普遍不規(guī)則等問(wèn)題，造成傳統(tǒng)導(dǎo)航路徑提取算法面臨實(shí)時(shí)性差和準(zhǔn)確性低等挑戰(zhàn)。針對(duì)上述問(wèn)題，研究人員做出以下改進(jìn)：（1）采用提取作物行中心線方法有效減小作物邊界不規(guī)則的影響，且該方法實(shí)時(shí)性較好；（2）采用3 次B 樣條法解決曲線擬合，增加擬合算法的適用范圍；（3）采用蟻群算法和簡(jiǎn)化算法步驟有效減少運(yùn)算量。

2.1 作物行邊緣檢測(cè)

在二值圖像中，作物行的邊緣是灰度值在空間或梯度方向上發(fā)生突變的像素集合。常用邊緣檢測(cè)的方法有Canny 算法、Sobel 算法和Roberts 算法[32]。但傳統(tǒng)邊緣檢測(cè)算法面臨抗椒鹽噪聲能力差和閾值選擇適應(yīng)性差等問(wèn)題。鑒于此，杜緒偉等[33]提出了一種改進(jìn)的Canny 算法，利用雙邊濾波來(lái)替換高斯濾波進(jìn)行圖像預(yù)處理，能保留更多的圖像邊緣細(xì)節(jié)和有效地去除噪聲；Zhang 等[34]提出一種基于Canny 的改進(jìn)圖像邊緣檢測(cè)算法，結(jié)合改進(jìn)的自適應(yīng)中值濾波來(lái)降低圖像噪聲，改進(jìn)后的算法解決了傳統(tǒng)Canny 算法的不足，在去除椒鹽噪聲的干擾和保留圖像邊緣細(xì)節(jié)方面效果更好；Bustacara-Medina 等[35]提出在非極大值抑制步驟中加入曲率信息，以解決傳統(tǒng)Canny 算法的不足，可以獲得準(zhǔn)確的邊緣識(shí)別。

2.2 作物行候選點(diǎn)的檢測(cè)

通過(guò)擬合作物行邊界確定導(dǎo)航路徑，這種方法計(jì)算量較大，實(shí)時(shí)性較差。研究人員先檢測(cè)作物行候選點(diǎn)，再擬合候選點(diǎn)獲得作物行中心線，大大提高了運(yùn)算速度。單目視覺(jué)導(dǎo)航和雙目視覺(jué)導(dǎo)航的檢測(cè)方法不相同，分述如下：

2.2.1 單目視覺(jué)導(dǎo)航方法

在單目視覺(jué)導(dǎo)航中，作物行候選點(diǎn)常用的檢測(cè)方法有基于水平條的方法[36]、基于類(lèi)聚的方法[37]，這2 種方法面臨許多挑戰(zhàn)，如作物在種植過(guò)程種子未發(fā)芽或漏播、雜草密度較大等對(duì)提取候選點(diǎn)的影響。為克服上述問(wèn)題，研究人員提出基于滑動(dòng)窗口的方法。王愛(ài)臣等[38]提出一種類(lèi)聚窗口提取作物行的候選點(diǎn)的方法，以圖像高度的1/10 為窗口高度，通過(guò)垂直投影法確定類(lèi)聚窗口帶寬，然后把K-means 聚類(lèi)中心點(diǎn)作為作物行的候選點(diǎn)；Zhang 等[39]提出一種結(jié)合距離約束和特征點(diǎn)之間角度約束的位置聚類(lèi)算法，設(shè)置距離閾值和角度閾值排除偽特征點(diǎn)，減少了行間雜草和作物間隙的影響；Garc?á 等[40]提出通過(guò)擬合多條拋物線，尋找過(guò)最多點(diǎn)的拋物線，就可以解決作物行間的間隙。

2.2.2 雙目視覺(jué)導(dǎo)航方法

在雙目視覺(jué)導(dǎo)航中，作物行獲選點(diǎn)的檢測(cè)過(guò)程包括：使用匹配算法對(duì)灰度圖進(jìn)行目標(biāo)特征提取和立體匹配，再設(shè)置高度閾值，獲得作物的高程圖。

（1）圖像匹配

對(duì)圖像中目標(biāo)特有的特征信息進(jìn)行提取，根據(jù)相似性度量和搜索策略進(jìn)行圖像間的特征匹配，尋找特征間最佳的匹配對(duì)應(yīng)關(guān)系，稱(chēng)為圖像匹配。目前常用圖像匹配算法有SIFT 算法[41]、SURF 算法[42]和ORB 算法[43-44]等。上述方法的不足：SIFT 算法的運(yùn)算復(fù)雜且匹配精度較低，ORB 算法存在特征點(diǎn)分布不均勻、特征錯(cuò)配多和魯棒性差等問(wèn)題。針對(duì)這些問(wèn)題，研究人員提出多種改進(jìn)方法。Qiao等[45]采用圖像雙邊濾波的改進(jìn)SIFT 特征提取算法，可以提高邊緣響應(yīng)穩(wěn)定的特征點(diǎn)的提取效果，同時(shí)抑制邊緣響應(yīng)不穩(wěn)定的特征點(diǎn)的提取，從而提高匹配精度；Li 等[46]將基于C4.5 算法的決策樹(shù)加入到傳統(tǒng)FAST 中，將原始數(shù)據(jù)分成2 棵決策樹(shù)，使特征提取性能更加穩(wěn)定，特征點(diǎn)提取更高效；趙謙等[47]提出一種SURF-RANSAC 算法，采用自適應(yīng)閾值方法實(shí)現(xiàn)特征點(diǎn)粗匹配，減少人為設(shè)定閾值對(duì)匹配結(jié)果的影響，通過(guò)特征向量構(gòu)建余弦約束對(duì)隨機(jī)采樣一致性算法進(jìn)行改進(jìn)，實(shí)現(xiàn)對(duì)匹配點(diǎn)對(duì)的提純。

（2）高程圖構(gòu)建

通過(guò)立體匹配可獲得視差圖，并計(jì)算特征點(diǎn)的3D 坐標(biāo)信息，獲得作物的高程圖。參考作物平均高度，設(shè)置2 個(gè)高度閾值提取作物行的特征點(diǎn)，其余特征點(diǎn)視為噪聲去除。由于精匹配后得到的匹配點(diǎn)非常稀疏，直接生成高程圖的效果不佳，故需要對(duì)匹配點(diǎn)進(jìn)行增強(qiáng)處理。Zhang 等[48]采用模板大小為4×4 的形態(tài)擴(kuò)張算子對(duì)相鄰區(qū)域的特征點(diǎn)進(jìn)行擴(kuò)張。

2.3 導(dǎo)航基準(zhǔn)線的確定

導(dǎo)航基準(zhǔn)線擬合是基于視覺(jué)導(dǎo)航的關(guān)鍵一步，導(dǎo)航基準(zhǔn)線是否準(zhǔn)確，直接影響機(jī)器行駛的安全性。提取導(dǎo)航基準(zhǔn)線的過(guò)程包括：（1）根據(jù)作物行的特征點(diǎn)擬合參考線，參考線一般選取離機(jī)器最近兩側(cè)的作物行邊界或作物行中心線；（2）提取參考線之間的中心線，此中心線即為導(dǎo)航基準(zhǔn)線。

傳統(tǒng)的參考線擬合方法包括Hough 變換[49]、PCA 方法[50]、最小二乘法等。上述方法在特征點(diǎn)近似直線分布的擬合效果較好，但農(nóng)業(yè)環(huán)境較為復(fù)雜，特征點(diǎn)分布一般呈曲線或不規(guī)則形狀。針對(duì)此問(wèn)題，研究人員提出了一系列解決方法。Chen 等[51]提出了一種預(yù)測(cè)點(diǎn)霍夫變換算法。與傳統(tǒng)的Hough算法相比，該算法改進(jìn)了遍歷角度范圍，提高了交叉路口檢測(cè)范圍，具有更好的抗干擾性和實(shí)時(shí)性；孟慶寬等[27]采用人工蟻群算法進(jìn)行特征點(diǎn)擬合。該算法與傳統(tǒng)的擬合方法相比，具有更好的擬合速度和準(zhǔn)確性；關(guān)卓懷等[52]提出一種3 次B 樣條曲線方法，將1 個(gè)相鄰的擬合關(guān)鍵點(diǎn)作為一組，每組擬合生成一條三次B 樣條曲線，全部樣條曲線連接就形成擬合曲線。

3 待解決的關(guān)鍵問(wèn)題與展望

目前，基于視覺(jué)導(dǎo)航的農(nóng)業(yè)機(jī)械已用于執(zhí)行多種農(nóng)業(yè)任務(wù)，但也面臨著諸多問(wèn)題：（1）在雙目視覺(jué)導(dǎo)航中，需根據(jù)作物行邊界獲得置信密度圖，再提取導(dǎo)航參考線。目前常用的2 種方法：一是通過(guò)圖像分割和邊緣檢測(cè)提取作物行邊界，此過(guò)程耗時(shí)長(zhǎng)，實(shí)時(shí)性不佳；二是根據(jù)實(shí)地測(cè)量，設(shè)定作物行寬度閾值與相鄰作物行間距閾值，從而確定作物行的邊界，但只適用于相機(jī)位于作物行中心線正上方，適用范圍較小。（2）基于視覺(jué)導(dǎo)航的農(nóng)業(yè)機(jī)械在田端換行時(shí)，無(wú)法通過(guò)作物行的信息有效提取導(dǎo)航路徑，造成實(shí)際運(yùn)用受到限制。

針對(duì)上述問(wèn)題，本文提出解決思路：針對(duì)問(wèn)題（1），采用垂直投影檢測(cè)高程圖中作物行邊界。將高程圖進(jìn)行垂直投影，統(tǒng)計(jì)各列特征點(diǎn)的數(shù)量，將數(shù)量發(fā)生突變的地方視為作物行邊界。與現(xiàn)有方法相比，該方法過(guò)程簡(jiǎn)單且適用范圍廣。針對(duì)問(wèn)題（2）提出新的田端換行法。該方法分為：①提取相鄰2 根導(dǎo)航路徑，并計(jì)算之間距離S；②田端檢測(cè)。當(dāng)拍攝圖片的上部分像素發(fā)生突變，從而判定前方出現(xiàn)田端，計(jì)算此時(shí)機(jī)器到田端的距離D；③田端換行。通過(guò)里程計(jì)估計(jì)機(jī)器行駛距離D 時(shí)，判定機(jī)器到達(dá)地頭，然后繞自身旋轉(zhuǎn)90°，直線前進(jìn)S，再次同方向繞自身旋轉(zhuǎn)90°，即完成一次田端換行。與現(xiàn)有方法相比，該方法易于獲取田端換行導(dǎo)航路線。

隨著深度學(xué)習(xí)在視覺(jué)導(dǎo)航中的應(yīng)用，作物與背景的分割變得更加準(zhǔn)確，可以適應(yīng)更為復(fù)雜的環(huán)境。但目前算法耗時(shí)較長(zhǎng)，如何提高實(shí)時(shí)性成為研究熱點(diǎn)之一。智慧農(nóng)業(yè)對(duì)農(nóng)業(yè)機(jī)械視覺(jué)導(dǎo)航系統(tǒng)的準(zhǔn)確性提出更高要求，因單一視覺(jué)傳感器獲得信息有限，且易受環(huán)境變化干擾，因此采用多傳感器信息融合可對(duì)環(huán)境信息進(jìn)行冗余和互補(bǔ)。視覺(jué)傳感器與其它傳感器信息融合的導(dǎo)航方式是未來(lái)研究重點(diǎn)之一。

隨著自主駕駛農(nóng)業(yè)機(jī)械的普及，多機(jī)協(xié)同作業(yè)技術(shù)可發(fā)揮機(jī)群作業(yè)優(yōu)勢(shì)，提高農(nóng)機(jī)作業(yè)效率。實(shí)現(xiàn)多機(jī)協(xié)同已逐漸成為研究熱點(diǎn)之一。