刁智華，閆嬌楠，趙素娜，賀振東

（鄭州輕工業(yè)大學(xué) 電氣信息工程學(xué)院，河南 鄭州 450002）

農(nóng)業(yè)機(jī)器人視覺導(dǎo)航已經(jīng)廣泛應(yīng)用于農(nóng)作物種植、除草、施肥等農(nóng)業(yè)環(huán)節(jié)[1-2]，可以有效減少人工勞動(dòng)強(qiáng)度，提高作業(yè)精度與作業(yè)效率[3]。而作物行識別可以為農(nóng)業(yè)機(jī)器人的自動(dòng)導(dǎo)航和行間除草提供依據(jù)，是農(nóng)業(yè)智能化的重要組成部分[4]，促進(jìn)智慧農(nóng)業(yè)的發(fā)展。

傳統(tǒng)作物行識別技術(shù)包括圖像預(yù)處理、特征提取、作物行擬合。經(jīng)過預(yù)處理技術(shù)能減少圖像中雜草和土壤等因素的干擾，為后面的圖像處理節(jié)省計(jì)算量；通過特征提取使得作物行的定位更準(zhǔn)確，提高作物行識別的精確性；獲得作物行信息后，對經(jīng)過一系列處理的作物行進(jìn)行直線擬合。國內(nèi)外研究者對以上技術(shù)進(jìn)行了深刻的探討，并取得了豐碩的成果。

隨著智慧農(nóng)業(yè)的發(fā)展，對作物行識別精度和速度的要求不斷提高，傳統(tǒng)的作物行識別算法存在明顯的不足。近幾年，深度學(xué)習(xí)（Deep learning，DL）成為農(nóng)業(yè)領(lǐng)域的研究熱點(diǎn)，特別是在病蟲害檢測、農(nóng)作物及雜草檢測與分類、農(nóng)業(yè)障礙物檢測等智能農(nóng)業(yè)領(lǐng)域。DL 的優(yōu)勢是能更好地提取農(nóng)業(yè)領(lǐng)域所采集圖像和結(jié)構(gòu)化數(shù)據(jù)的各種特征，并與農(nóng)業(yè)機(jī)械有效結(jié)合，對農(nóng)業(yè)領(lǐng)域智能化機(jī)械設(shè)備的研發(fā)意義深遠(yuǎn)。綜述了基于圖像處理的作物行識別的兩大研究熱點(diǎn)——基于傳統(tǒng)方法的作物行識別和基于DL的作物行識別，并針對現(xiàn)在研究中遇到的問題，對未來的發(fā)展做出展望。

1 基于傳統(tǒng)方法的作物行識別

1.1 傳統(tǒng)識別方法關(guān)鍵技術(shù)

1.1.1 圖像預(yù)處理 大田環(huán)境下雜草、陰影、非目標(biāo)區(qū)域等因素會(huì)對作物行的識別產(chǎn)生干擾，直接識別較難獲得理想效果。通過灰度化可增大目標(biāo)區(qū)域和非目標(biāo)區(qū)域的顏色區(qū)分，將RGB 色彩圖像轉(zhuǎn)換為HIS[5]、YCrCb[6]、Lab[7]等色彩模型可消除部分陰影干擾；通過合理的設(shè)置感興趣區(qū)域（ROI）[8-9]可減少非目標(biāo)行的干擾，減少計(jì)算量。通過二值化將灰度化后圖像變成黑白色，使作物和背景區(qū)分得更清晰，常用的二值化方法有最大類間方差法（OTSU）[10]、迭代閾值法[11]、固定閾值法[12]、混合閾值法[13]等。通過濾波及形態(tài)學(xué)算法可以去除掉點(diǎn)狀噪聲，并通過腐蝕、膨脹對作物行加以修正。

1.1.2 特征提取 在機(jī)器學(xué)習(xí)、模式識別和圖像處理中，特征提取的好壞對泛化能力有至關(guān)重要的作用。準(zhǔn)確提取作物行的特征能避免直線擬合時(shí)出現(xiàn)偏行、錯(cuò)誤行。特征提取方法一般有方向梯度直方圖（HOG）[14]、尺度不變特征變換（SIFT）和ORB 算法[15]。它們各自的特點(diǎn)如表1所示。

表1 特征提取方法特點(diǎn)Tab.1 Features of feature extraction methods

1.1.3 作物行擬合 國內(nèi)外學(xué)者對作物行擬合方法展開了大量研究，主要包括最小二乘法[16-18]、Hough 變換法[19-21]、垂直投影法[22-23]等，特點(diǎn)如表2所示。

表2 作物行擬合方法特點(diǎn)Tab.2 Characteristics of crop row fitting methods

1.1.3.1 最小二乘法 最小二乘法是勒讓德在19世紀(jì)發(fā)現(xiàn)的，是一種數(shù)學(xué)優(yōu)化方法?；驹硎峭ㄟ^計(jì)算最小化誤差的平方和，尋找數(shù)據(jù)的最佳函數(shù)匹配。在進(jìn)行直線檢測時(shí)通過對n個(gè)點(diǎn)擬合，使距離擬合直線的總體誤差最小。在作物行直線檢測時(shí)選取的n個(gè)點(diǎn)通常是作物行具有代表性的特征點(diǎn)，運(yùn)用聚類算法對特征點(diǎn)聚類，最小二乘法對聚類后的特征點(diǎn)進(jìn)行直線擬合，獲得作物行的位置信息。

宋宇等[24]根據(jù)垂直投影圖找出玉米根莖峰值點(diǎn)，對峰值點(diǎn)篩選提取玉米根莖定位點(diǎn)，該方法剔除大塊的玉米葉片噪聲的影響，減少了運(yùn)算量，采用基于已知點(diǎn)的最小二乘法擬合提取作物行特征點(diǎn)，不僅提高了實(shí)時(shí)性，而且降低了算法的復(fù)雜度。ZHANG 等[25]在作物行檢測過程中，先后應(yīng)用位置聚類算法和最短路徑法確定最終的聚類特征點(diǎn)集，最后采用基于最小二乘法的線性回歸方法對作物行進(jìn)行擬合。MONTALVO 等[26]提出一種用于高雜草壓力下玉米田圖像作物行的檢測方法，用雙閾值分割雜草和作物，作物行檢測采用最小二乘線性回歸進(jìn)行直線調(diào)整。曾宏偉等[27]在小麥已收割和未收割區(qū)域?qū)Ρ榷群艿偷那闆r下，通過掃描二值圖像的邊界點(diǎn)，對獲得的邊界點(diǎn)進(jìn)行最小二乘法直線擬合，不易受作物生長密度和麥茬的干擾，能夠精確地提取出小麥邊線。王僑等[28]基于離群特征點(diǎn)去除后的最小二乘法進(jìn)行線性擬合，可快速實(shí)現(xiàn)不同環(huán)境因素干擾下的多條作物行線的同步檢測。

最小二乘法識別作物行算法簡單，在高雜草壓力下的識別效果不佳，通常要借助先驗(yàn)知識來提高識別精度。

1.1.3.2 Hough 變換法 Hough 變換是圖像處理領(lǐng)域內(nèi)從圖像中檢測直線的方法之一。Hough變換直線檢測的基本原理在于利用點(diǎn)與線的對偶性，即圖像空間中的直線與參數(shù)空間中的點(diǎn)是一一對應(yīng)的，參數(shù)空間中的直線與圖像空間中的點(diǎn)也是一一對應(yīng)的。

基于Hough 變換的作物行識別抗干擾能力強(qiáng)，對圖像中直線的殘缺部分、噪聲以及其他共存的非直線結(jié)構(gòu)不敏感，能容忍特征邊界描述中的間隙。王曉杰[29]對特征點(diǎn)圖像進(jìn)行Hough 變換，利用Kmeans 聚類算法檢測作物行直線形成的消隱點(diǎn)，基于消隱點(diǎn)，識別出正確的作物行。但該算法無法在復(fù)雜條件下檢測作物行。為了降低計(jì)算的復(fù)雜度，刁智華等[30]提出了一種改進(jìn)的Hough 變換算法，Hough 變換參數(shù)θ空間的范圍采用45°～135°，減小了計(jì)算量，保證了精度。然而，在一些特殊情況下，如雜草過多、天氣惡劣時(shí)，該算法不能很好地提取作物行信息。針對農(nóng)業(yè)機(jī)器人視覺導(dǎo)航中存在的陰影干擾問題，安秋等[31]采用了一種光照無關(guān)圖的方法，并用優(yōu)化的Hough 變換提取作物行中心線。ZHANG 等[32]應(yīng)用改進(jìn)的序列聚類算法和Hough 變換檢測幼苗行線，該算法在仿真環(huán)境中是有效的。為了與農(nóng)業(yè)機(jī)械有效結(jié)合，算法的處理速度要快，高國琴等[33]采用Canny 算子進(jìn)行邊緣檢測，提取圖像邊緣離散點(diǎn)，利用Hough變換對離散點(diǎn)進(jìn)行擬合。整個(gè)圖像處理流程，單幅圖像處理時(shí)耗降低53.26%，系統(tǒng)實(shí)時(shí)性能好。

Hough變換算法能同時(shí)識別圖像中的多條作物行，但存在對雜草敏感、計(jì)算量大及峰值檢測困難等問題。

1.1.3.3 垂直投影法 由于作物行的提取需要一系列的定位點(diǎn)，而定位點(diǎn)需要在指定區(qū)域中進(jìn)行提取，基于垂直投影的作物行提取算法將農(nóng)田圖像分割為若干條形圖，然后在圖像列方向上進(jìn)行像素累加，作物在垂直投影圖上顯示為波峰，作物行間顯示為波谷，通過波峰的坐標(biāo)可以得到作物行的定位點(diǎn)。SOGAARD 等[34]較早闡述垂直投影法，用該方法分割目標(biāo)區(qū)域和非目標(biāo)區(qū)域，確定作物行數(shù)和作物行中心線候選點(diǎn)。孟慶寬等[35]基于二維直方圖的模糊C聚類算法分割玉米和土壤背景，在分割后的圖像中作物行為白色，利用垂直投影法對白色像素進(jìn)行投影，獲取作物行位置和個(gè)數(shù)信息。袁佐云等[36]提出了基于垂直投影法的作物行定位方法，利用穩(wěn)健回歸法對定位點(diǎn)進(jìn)行線性擬合得到作物的行中心線。孟慶寬等[37]對二值圖像灰度垂直投影，獲取作物行特征點(diǎn)，解決了常規(guī)識別算法存在的實(shí)時(shí)性差、準(zhǔn)確性低等問題。

1.1.3.4 其他 除了上述的作物行識別方法外，國內(nèi)外學(xué)者還提出了許多方法。姜國權(quán)等[38]用中心線檢測算法代替垂直投影法獲得作物行信息。馬振[39]研究了基于輪廓查找與線掃描的作物行檢測算法，利用作物定位點(diǎn)所在直線斜率一致的原則，有效解決了缺株情況下的問題。ROMEO 等[40]應(yīng)用一種基于圖像透視投影的方法進(jìn)行作物行檢測，該方法搜索沿直線對齊的分割綠色像素的最大累積量。ZHANG 等[41]使用LoG 算子提取作物行邊緣信息，提取效果與真實(shí)行的邊緣邊界一致。FENG 等[42]將植物描述為一組連接的組件，基于角度公差和距離公差建立判斷模型，通過兩步遍歷將基于該模型的同一行中的連接部件合并，得到植物行的軸。TENHUNEN 等[43]對圖像塊應(yīng)用傅立葉變換獲得行之間的信息，分段地獲得嘗試性聚類，通過主成分分析得到精確的播種線位置。LI等[44]設(shè)計(jì)了一個(gè)基于FPGA 架構(gòu)的流水線式作物行檢測系統(tǒng)，能滿足復(fù)雜田間條件下農(nóng)業(yè)機(jī)器人的實(shí)時(shí)性要求。

傳統(tǒng)的作物行識別出現(xiàn)時(shí)間早，算法較為成熟。國內(nèi)外學(xué)者通過對傳統(tǒng)作物行識別算法進(jìn)行不斷的創(chuàng)新和改進(jìn)，解決了田間雜草壓力大、作物行不連續(xù)等問題帶來的作物行識別效果不好的難題。為更好地應(yīng)用于農(nóng)業(yè)機(jī)器人，學(xué)者對作物行的識別速度和精度要求在不斷提高。

2 基于DL的作物行識別

2.1 DL簡介

DL 最早由HINTON 團(tuán)隊(duì)于2006 年提出。HINTON 等[45]提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的方法，這一方法具體分為2 步：第一，逐層構(gòu)建單層神經(jīng)元，每次訓(xùn)練一個(gè)單層網(wǎng)絡(luò)；第二，當(dāng)所有層訓(xùn)練完后，使用wake-sleep 算法進(jìn)行調(diào)優(yōu)。2012 年，HINTON 團(tuán)隊(duì)采用正則化方法改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)，并在ImageNet 分類競賽上，將錯(cuò)誤率降低至15.3%[46]，這一突破標(biāo)志著基于DL 繁榮的開始。2015 年，LECUN 等[47]對DL 進(jìn)行了綜述，DL 是具有多層次的表示學(xué)習(xí)方法，通過組合簡單但非線性的模塊獲得，每個(gè)模塊將一個(gè)層次的表示轉(zhuǎn)換為更高、稍微抽象的層次的表示。有了足夠多的這種變換的組合，就可以學(xué)習(xí)非常復(fù)雜的函數(shù)。

特征學(xué)習(xí)是DL 的一大特點(diǎn)，它可以從原始數(shù)據(jù)中自動(dòng)提取特征。典型的DL 模型有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）[48-49]、深度置信網(wǎng)絡(luò)（Deep belief network，DBN）[50]、堆棧自編碼網(wǎng)絡(luò)（Stacked auto-encoder network，SAE）[51]。CNN 是一種前饋神經(jīng)網(wǎng)絡(luò)，能夠?qū)⒋髷?shù)據(jù)量的圖片有效地降維成小數(shù)據(jù)量，而且不影響結(jié)果，類似人類的視覺原理，能夠保留圖片的特征。DBN 是一個(gè)概率生成模型，由多層隨機(jī)隱變量組成，上面的層無向?qū)ΨQ連接，下面的層自頂向下有向連接，最底層為可見輸入數(shù)據(jù)向量。SAE是一個(gè)2層的神經(jīng)網(wǎng)絡(luò)，第1層為編碼層，第2 層為解碼層。CNN 是農(nóng)業(yè)中最常用的網(wǎng)絡(luò)模型，如圖1所示。

圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 CNN network structure

從圖1可以看出，圖像作為輸入層，接著是卷積層，卷積層的激活函數(shù)使用的是ReLU。在卷積層后面是池化層，卷積層+池化層的組合可以在隱藏層出現(xiàn)很多次，圖1 中出現(xiàn)2 次。在實(shí)際運(yùn)用的過程中這個(gè)次數(shù)是根據(jù)模型的需要來定的?？梢造`活使用卷積層+卷積層，或者卷積層+卷積層+池化層的組合，這些在構(gòu)建模型的時(shí)候沒有限制。但是最常見的CNN 都是若干卷積層+池化層的組合，如圖1 中的CNN 結(jié)構(gòu)。在若干卷積層+池化層后面是全連接層。經(jīng)過這一系列的操作就可以獲得圖像的特征信息。

2.2 DL在農(nóng)業(yè)中的應(yīng)用

DL是解決計(jì)算機(jī)視覺、語音識別和自然語言處理等大數(shù)據(jù)問題的一種強(qiáng)有力的方法。目前在農(nóng)業(yè)領(lǐng)域中的應(yīng)用越來越廣泛，如植物識別[52]、病蟲害檢測[53]、農(nóng)作物目標(biāo)分類[54]、農(nóng)業(yè)障礙物檢測[55]、農(nóng)產(chǎn)品產(chǎn)量估計(jì)[56]等。DL 在農(nóng)業(yè)方面的應(yīng)用，打開了農(nóng)業(yè)現(xiàn)代化的大門，DL 算法為農(nóng)民構(gòu)建有用的工具，使農(nóng)業(yè)管理走向高效性、科學(xué)性。

在DL 的快速發(fā)展下，農(nóng)業(yè)領(lǐng)域中各種網(wǎng)絡(luò)架構(gòu)相繼出現(xiàn)，MILELLA 等[57]為了檢測葡萄表型，用了AlexNet、VGG16、VGG19和GoogLeNet 4個(gè)深度學(xué)習(xí)框架。SUNGCHAN 等[58]在評估棉花的種植密度中，利用YOLOv3網(wǎng)絡(luò)架構(gòu)分離、定位和計(jì)數(shù)苗期棉花植株。利用DL 較好的識別效果，能更精確地識別出作物行線，使農(nóng)業(yè)機(jī)器人在田間行走的過程中減少對農(nóng)作物的損害。

2.3 DL在作物行識別中的應(yīng)用

DL 較其他算法展示出明顯的優(yōu)勢，能提高檢測、識別等準(zhǔn)確率；較傳統(tǒng)方法雖然訓(xùn)練的時(shí)間長，但識別時(shí)間短；可以通過運(yùn)用圖像剪裁擴(kuò)增數(shù)據(jù)集來訓(xùn)練模型，節(jié)省在復(fù)雜環(huán)境中收集圖像信息的工作量。因此，DL在農(nóng)業(yè)領(lǐng)域中越來越受到關(guān)注。國內(nèi)外學(xué)者基于DL 對作物行識別進(jìn)行了大量的研究，效果顯著。呂盛坪等[59]研究了DL在我國農(nóng)業(yè)中的應(yīng)用現(xiàn)狀，從預(yù)處理、模型框架以及性能對比等角度進(jìn)行了綜述。BAH 等[60]使用CNN 和Hough 變換來檢測圖像中的作物行，與傳統(tǒng)方法進(jìn)行定量比較，顯示了最佳和最穩(wěn)健的結(jié)果。PONNAMBALAM等[61]應(yīng)用SegNet語義分割，然后進(jìn)行作物行擬合，所提出的方法可以在實(shí)際領(lǐng)域中在線運(yùn)行。LUCAS等[62]在CNN 方法中實(shí)現(xiàn)了2 個(gè)分支架構(gòu)，同時(shí)檢測植物個(gè)體和種植行，在該方法中實(shí)現(xiàn)新的功能，能克服未來關(guān)于種植模式的不同挑戰(zhàn)。ADHIKARI等[63]利用“語義圖形”訓(xùn)練CNN，然后訓(xùn)練一個(gè)增強(qiáng)的卷積編碼器-解碼器網(wǎng)絡(luò)，直接學(xué)習(xí)作物線的概念，在真實(shí)的農(nóng)場環(huán)境中表現(xiàn)出穩(wěn)健的性能。

3 作物行識別展望

3.1 作物行特征訓(xùn)練選擇研究

特征選擇的目的是通過相關(guān)算法選擇合適的特征集構(gòu)建模型，但在特征選擇的過程中會(huì)面臨許多問題，例如特征訓(xùn)練數(shù)據(jù)集中特征變量不足，特征訓(xùn)練數(shù)據(jù)集不能夠充分反映整體特點(diǎn)等。在獲取大量特征時(shí)，需要通過相關(guān)算法篩選相關(guān)性強(qiáng)的特征信息，能夠準(zhǔn)確地反映作物行的情況。目前作物行識別算法的種類較多，但精度不高。未來，在對作物行特征訓(xùn)練問題上，需要深化特征訓(xùn)練算法，優(yōu)化算法的精度，提高模型的識別效果。

3.2 最佳觀測角度研究

在實(shí)際應(yīng)用中，智能農(nóng)機(jī)拍攝圖像識別作物行，農(nóng)機(jī)在復(fù)雜的農(nóng)田環(huán)境中完成行走，復(fù)雜的農(nóng)田環(huán)境包括雜草壓力、作物行特征不明顯、行線彎曲等。這些因素都將影響作物行識別精度。因此，需要結(jié)合各種作物行識別方法，開展作物行的最佳觀測角度研究。另外，近年來無人機(jī)技術(shù)發(fā)展迅速，它具有機(jī)動(dòng)、靈活的特點(diǎn)，搭載低成本傳感器可獲取時(shí)間、空間分辨率高的圖像，尤其適合田塊尺度的觀測，基于無人機(jī)的作物行識別也將是未來研究方向之一。

3.3 擴(kuò)大作物行數(shù)據(jù)庫規(guī)模研究

近年來DL 算法在作物行識別上受到關(guān)注，從DL 增強(qiáng)模型泛化能力方法來看，往往采用隨機(jī)旋轉(zhuǎn)、左右翻轉(zhuǎn)、上下翻轉(zhuǎn)、隨機(jī)裁剪等方法來增加數(shù)據(jù)集的規(guī)模及樣本多樣性。但因?yàn)閿?shù)據(jù)集本身不具有代表性，所以并不能很好地提高模型的泛化能力。如何用有限的作物行圖像識別出精確的作物行，可以嘗試采用生成式對抗網(wǎng)絡(luò)生成作物行圖像數(shù)據(jù)來擴(kuò)充數(shù)據(jù)規(guī)模，以增強(qiáng)DL 模型在各種復(fù)雜條件下識別作物行圖像的泛化能力，同時(shí)有效緩解DL模型的過擬合問題。

4 結(jié)論

從作物行識別算法層面綜述了傳統(tǒng)作物行識別和DL 作物行識別。傳統(tǒng)識別技術(shù)發(fā)展較為成熟，解決了作物行識別過程中遇到的缺株導(dǎo)致作物行不連續(xù)、高雜草壓力等問題。在實(shí)驗(yàn)室條件下取得了較為滿意的效果，但在實(shí)際應(yīng)用過程中傳統(tǒng)識別方法實(shí)時(shí)性差，識別精度達(dá)不到預(yù)期的要求。隨著DL 算法的推廣，在農(nóng)業(yè)領(lǐng)域受到高度重視，它不僅能提高作物行識別準(zhǔn)確率，還具有很好的泛化性和通用性。CNN 是作物行識別最常用的網(wǎng)絡(luò)模型。通過深入研究DL 模型，提出改進(jìn)措施，進(jìn)一步優(yōu)化特征訓(xùn)練算法的精度和樣本的數(shù)據(jù)庫規(guī)模，有待進(jìn)一步將DL 研究成果融入農(nóng)機(jī)裝備和裝置，以真正落實(shí)理論成果，推動(dòng)智慧農(nóng)業(yè)的發(fā)展。