楊 洋 張亞蘭 苗 偉 張 鐵 陳黎卿 黃莉莉

(1.安徽農(nóng)業(yè)大學(xué)工學(xué)院， 合肥 230036； 2.安徽省智能農(nóng)機(jī)裝備工程實(shí)驗(yàn)室， 合肥 230036； 3.中國(guó)農(nóng)業(yè)機(jī)械化科學(xué)研究院， 北京 100083)

0 引言

我國(guó)玉米中后期病蟲(chóng)害防治現(xiàn)今仍以人工噴灑農(nóng)藥為主，對(duì)施藥人員身體健康危害較大，實(shí)現(xiàn)自動(dòng)噴霧作業(yè)，推進(jìn)玉米中后期田間機(jī)械化管理是研究的方向。農(nóng)業(yè)機(jī)械路徑的自動(dòng)獲取是實(shí)現(xiàn)自動(dòng)噴灑農(nóng)藥的關(guān)鍵，路徑的獲取方式從早期的預(yù)埋電纜導(dǎo)航發(fā)展到北斗導(dǎo)航、機(jī)器視覺(jué)導(dǎo)航和激光導(dǎo)航[1]，其中視覺(jué)導(dǎo)航具有成本低和信息采集豐富的特點(diǎn)，已成為廣大學(xué)者研究的熱點(diǎn)。刁智華等[2]以早期玉米圖像為研究對(duì)象，采用過(guò)綠特征算法識(shí)別作物中心線，實(shí)現(xiàn)玉米的精準(zhǔn)施藥。宋宇等[3]以玉米中后期圖像為研究對(duì)象，提出大田環(huán)境下快速、精確提取玉米根莖導(dǎo)航基準(zhǔn)線方法，為農(nóng)業(yè)AGV在中后期玉米大田中的自主行走提供了導(dǎo)航方法。還有學(xué)者采用機(jī)器視覺(jué)的方法獲取果園、秧苗和棉花等的作業(yè)導(dǎo)航線[4-5]。

相比常規(guī)方法，近年興起的卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法直接由數(shù)據(jù)本身特征自我學(xué)習(xí)，對(duì)圖像具有極強(qiáng)的數(shù)據(jù)表征能力，具有適應(yīng)性好、抗干擾能力強(qiáng)的特點(diǎn)，已在醫(yī)學(xué)[6]、軍事[7-8]、人臉識(shí)別[9-10]和行為識(shí)別[11-12]等領(lǐng)域廣泛應(yīng)用，獲得了較好的效果。在農(nóng)業(yè)領(lǐng)域，學(xué)者們也開(kāi)展了CNN在病蟲(chóng)害檢測(cè)和作物分類(lèi)識(shí)別方面的研究。對(duì)于作物病害檢測(cè)研究，劉德?tīng)I(yíng)等[13]提出卷積神經(jīng)網(wǎng)絡(luò)模型的白背飛虱識(shí)別，孫俊等[14]采用改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別植物葉片病害，譚文學(xué)等[15]設(shè)計(jì)了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)預(yù)警果蔬病害。對(duì)于作物分類(lèi)識(shí)別研究，傅隆生等[16]基于卷積神經(jīng)網(wǎng)絡(luò)開(kāi)展獼猴桃圖像識(shí)別，高震宇等[17]基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了鮮茶葉智能分選系統(tǒng)。

通過(guò)對(duì)國(guó)內(nèi)外文獻(xiàn)的分析可以看出，已有大量學(xué)者將CNN應(yīng)用于農(nóng)作物分類(lèi)和病蟲(chóng)害檢測(cè)，但是對(duì)于作物根莖精確識(shí)別以及路徑規(guī)劃方面，尚缺乏研究。本文針對(duì)農(nóng)業(yè)中玉米行間環(huán)境目標(biāo)檢測(cè)圖像的特點(diǎn)，提出一種以Faster R-CNN為基礎(chǔ)，在VGG-16網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)的目標(biāo)檢測(cè)方法。

1 履帶自走式熱霧機(jī)機(jī)器視覺(jué)系統(tǒng)

1.1 履帶自走式熱霧機(jī)設(shè)計(jì)

針對(duì)玉米作物中后期的病蟲(chóng)害防治，設(shè)計(jì)了履帶自走式熱霧機(jī)，主要由履帶驅(qū)動(dòng)系統(tǒng)、熱霧機(jī)、電子控制元器件、整機(jī)機(jī)架等部分組成，如圖1所示，集成了圖像采集、噴霧作業(yè)和田間自走功能。

圖1 履帶自走式熱霧機(jī)Fig.1 Crawler self-propelled hot fogging machine1.熱霧機(jī) 2.控制器 3.機(jī)架 4.履帶張緊輪 5.鋰電池 6.拖輪 7.網(wǎng)橋 8.高清相機(jī) 9.驅(qū)動(dòng)系統(tǒng)

履帶熱霧機(jī)自走底盤(pán)控制系統(tǒng)采用基于STM32控制核心的電動(dòng)驅(qū)動(dòng)器，利用雙電動(dòng)機(jī)差速控制轉(zhuǎn)向，根據(jù)機(jī)器視覺(jué)規(guī)劃出的路徑，基于滑模軌跡跟蹤控制算法[18]實(shí)現(xiàn)路徑跟蹤。

1.2 圖像采集系統(tǒng)設(shè)計(jì)

如圖1所示，圖像采集設(shè)備采用CMOS機(jī)器視覺(jué)攝像頭，圖像分辨率為1 024像素×768像素，攝像頭安裝在履帶自走式底盤(pán)前方，并利用相機(jī)成像原理對(duì)相機(jī)進(jìn)行標(biāo)定。履帶自走式底盤(pán)設(shè)計(jì)了減振系統(tǒng)，有效降低圖像采集平臺(tái)振動(dòng)加速度，提高了圖像質(zhì)量。

履帶自走式底盤(pán)行走速度設(shè)定為1 m/s，視頻/圖像信號(hào)和控制指令通過(guò)Alvarion網(wǎng)橋搭建數(shù)據(jù)鏈路進(jìn)行傳輸，玉米行間有效傳輸距離大于500 m。圖像傳輸和指令返回時(shí)間小于20 ms，圖像處理平均時(shí)間180 ms，該采集系統(tǒng)能夠?qū)崿F(xiàn)動(dòng)采集動(dòng)處理功能。圖像處理硬件采用Thinkpad P50移動(dòng)工作站，Inter Core i7處理器，主頻2.6 GHz，內(nèi)存容量32 GB，Nvidia Quadro M2000M型顯卡，顯存4 GB。

1.3 玉米根莖精確識(shí)別與路徑跟蹤流程

本文旨在通過(guò)圖像信息識(shí)別出玉米田間行駛路徑，實(shí)現(xiàn)履帶自走熱霧機(jī)的對(duì)行行走。首先需要對(duì)圖像進(jìn)行預(yù)處理，去除噪聲并增強(qiáng)圖像中的有用信息，提取出單株玉米根莖的特征圖像并導(dǎo)入遷移網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得玉米根莖目標(biāo)檢測(cè)器。然后基于履帶自走熱霧機(jī)圖像采集模塊采集圖像，并對(duì)所采集的圖像提取感興趣區(qū)域(ROI)，利用已訓(xùn)練好的目標(biāo)檢測(cè)器精確識(shí)別玉米根莖位置，最后采用最小二乘法識(shí)別路徑，履帶熱霧機(jī)底盤(pán)根據(jù)已識(shí)別出的路徑，采用雙電動(dòng)機(jī)差速控制方式實(shí)現(xiàn)熱霧機(jī)自主對(duì)行行走，具體流程如圖2所示。

圖2 玉米田間路徑識(shí)別流程圖Fig.2 Path recognition flowchart of maize field

2 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米根莖精確識(shí)別模型構(gòu)建

2.1 基于Faster R-CNN的目標(biāo)檢測(cè)方法

隨著計(jì)算機(jī)視覺(jué)原理的發(fā)展應(yīng)用，針對(duì)圖像的目標(biāo)檢測(cè)成為近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)目標(biāo)檢測(cè)通過(guò)滑動(dòng)窗口進(jìn)行區(qū)域選擇，容易造成窗口冗余，而手工設(shè)計(jì)的特征對(duì)于多樣性變化缺乏很好的魯棒性，對(duì)于復(fù)雜場(chǎng)景下的目標(biāo)檢測(cè)效果不好。

2012年，卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像識(shí)別基礎(chǔ)上取得了先進(jìn)的性能，引起科學(xué)界的廣泛關(guān)注。2014年，UIJLINGS等[19]提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)，利用selective search算法在圖像中提取候選區(qū)域并輸入到卷積神經(jīng)網(wǎng)絡(luò)(CNN)，提取卷積特征，通過(guò)SVM分類(lèi)器對(duì)候選區(qū)域提取的特征進(jìn)行分類(lèi)，最后對(duì)SVM分類(lèi)建議區(qū)域做邊界框回歸。

但是，由于該方法對(duì)每一個(gè)候選區(qū)域均做了一次卷積，存在大量的重復(fù)運(yùn)算，隨后又提出了Fast R-CNN檢測(cè)方法[20]，該方法將建議區(qū)域的特征提取轉(zhuǎn)移到最后一層的卷積特征圖上進(jìn)行，并在之后加了一個(gè)針對(duì)目標(biāo)區(qū)域的池化層，此外利用Softmax Loss和Smoorh L1 Loss對(duì)分類(lèi)和邊界回歸聯(lián)合訓(xùn)練，有效提高了目標(biāo)檢測(cè)的精度和效率。

針對(duì)建議區(qū)域提取低效的問(wèn)題，文獻(xiàn)[21]在Fast R-CNN的基礎(chǔ)上，提出了Faster R-CNN檢測(cè)方法，引入了區(qū)域建議網(wǎng)絡(luò)(RPN)，檢測(cè)網(wǎng)絡(luò)共享圖像卷積特征。至此，目標(biāo)檢測(cè)的基本步驟被統(tǒng)一到一個(gè)深度網(wǎng)絡(luò)框架內(nèi)，不存在重復(fù)運(yùn)算，運(yùn)算速度得到了顯著的提升。

2.1.1區(qū)域建議網(wǎng)絡(luò)

圖像識(shí)別中的目標(biāo)檢測(cè)算法是比較復(fù)雜的問(wèn)題，需要網(wǎng)格結(jié)構(gòu)具有一定的復(fù)雜度，如果從零開(kāi)始建立網(wǎng)絡(luò)則難以確定合適準(zhǔn)確的網(wǎng)絡(luò)，需在預(yù)訓(xùn)練好的模型上進(jìn)行遷移學(xué)習(xí)[22]，本文基于VGG-16深度網(wǎng)絡(luò)[23]開(kāi)展遷移學(xué)習(xí)，采用Faster R-CNN算法進(jìn)行訓(xùn)練，卷積核設(shè)置為3×3，最小檢測(cè)對(duì)象為32×32。如圖3所示，整體結(jié)構(gòu)由兩部分組成，一個(gè)是區(qū)域建議網(wǎng)絡(luò)(RPN)生成檢測(cè)框信息，另一個(gè)是使用Faster R-CNN檢測(cè)建議框并識(shí)別目標(biāo)。

圖3 基于VGG-16的Faster R-CNN網(wǎng)絡(luò)框架Fig.3 Faster R-CNN network framework based on VGG-16

輸入的圖像經(jīng)過(guò)由卷積層、池化層、以及Relu激活函數(shù)層組成的特征提取網(wǎng)絡(luò)后生成特征圖層并輸入到區(qū)域建議網(wǎng)絡(luò)，區(qū)域建議網(wǎng)絡(luò)也是一種全卷積網(wǎng)絡(luò)，與Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)共享計(jì)算，旨在有效地預(yù)測(cè)各種尺度和高寬比的區(qū)域建議。以一個(gè)任意大小的圖像作為輸入，輸出一組矩形的對(duì)象提議，每個(gè)對(duì)象提供一個(gè)對(duì)象評(píng)分。

為了生成區(qū)域提議，使用一個(gè)小網(wǎng)絡(luò)在由特征提取網(wǎng)絡(luò)得到的特征圖層上滑動(dòng)掃描。這個(gè)網(wǎng)絡(luò)將輸入特征圖層的3×3卷積核作為輸入，然后映射到一個(gè)低維度的特征上。為了解決目標(biāo)的多尺度問(wèn)題，需要引入不同尺度、不同長(zhǎng)寬比的基準(zhǔn)窗。卷積核中心點(diǎn)對(duì)應(yīng)原圖上的位置稱(chēng)之為錨(anchor)的中心點(diǎn)，通過(guò)設(shè)置8、16、32共3種倍數(shù)以及1∶2、1∶1、2∶1共3種長(zhǎng)寬比，即可得到9種尺度的錨，這樣在遍歷特征圖層的過(guò)程中，會(huì)生成上萬(wàn)個(gè)錨作為初始檢測(cè)框。

通過(guò)圖3可以看到，區(qū)域建議網(wǎng)絡(luò)實(shí)際分為2條線，上面一條通過(guò)分類(lèi)層(cls)判斷這些初始檢測(cè)框是目標(biāo)還是背景，下面一條通過(guò)回歸層(reg)預(yù)測(cè)檢測(cè)框的中心坐標(biāo)(x,y)、寬度w和高度h，進(jìn)而獲得精確的建議區(qū)域。而最后的Proposal層則負(fù)責(zé)綜合考量分類(lèi)和回歸的問(wèn)題，同時(shí)剔除過(guò)小以及超出邊界的區(qū)域。

2.1.2損失函數(shù)

為了訓(xùn)練區(qū)域建議網(wǎng)絡(luò)，需要為每個(gè)錨分配一個(gè)二進(jìn)制類(lèi)標(biāo)簽用于判斷建議區(qū)域是目標(biāo)還是背景。針對(duì)建議區(qū)域與期望區(qū)域重疊部分的占比I，一般設(shè)定I大于0.7的區(qū)域?yàn)槟繕?biāo)，分配正標(biāo)簽；I小于0.3的區(qū)域?yàn)楸尘?，分配?fù)標(biāo)簽。對(duì)于I在0.3和0.7之間的a錨，以及跨越圖像邊界的錨則需要舍棄。重疊部分占比I定義為

(1)

式中A——建議區(qū)域面積

B——期望區(qū)域面積

一個(gè)建議區(qū)域可以包含多個(gè)錨，因此一個(gè)建議區(qū)域可以包含多個(gè)正標(biāo)簽。其中，I閾值的設(shè)定對(duì)于訓(xùn)練結(jié)果也會(huì)造成很大的影響，這個(gè)參數(shù)的最佳值通過(guò)下文的評(píng)價(jià)指標(biāo)得到。

將Faster R-CNN中的多任務(wù)丟失后的目標(biāo)函數(shù)最小化，圖像的損失函數(shù)定義為

(2)

式中i——一個(gè)錨的索引

Ncls、Nreg——分類(lèi)層數(shù)和回歸層數(shù)

pi——目標(biāo)錨的預(yù)測(cè)概率

ti——預(yù)測(cè)邊界框的4個(gè)參數(shù)化坐標(biāo)參數(shù)

Lcls——目標(biāo)與背景兩個(gè)類(lèi)的對(duì)數(shù)損失

Lreg——目標(biāo)與背景的回歸損失

λ——權(quán)重

分類(lèi)層(cls)和回歸層(reg)的輸出分別由pi和ti組成，這兩項(xiàng)由Ncls和Nreg歸一化，并由平衡參數(shù)λ加權(quán)(默認(rèn)λ=0，因?yàn)槠骄_率在很寬范圍內(nèi)對(duì)λ不敏感)。因此分類(lèi)層和回歸層項(xiàng)的權(quán)重大致相等，對(duì)于邊界框回歸，采用文獻(xiàn)[24]中的4個(gè)坐標(biāo)參數(shù)，分別為

(3)

式中x、y、w、h——預(yù)測(cè)區(qū)域框橫坐標(biāo)、縱坐標(biāo)、寬度、高度

xa、ya、wa、ha——建議區(qū)域框橫坐標(biāo)、縱坐標(biāo)、寬度、高度

x*、y*、w*、h*——期望區(qū)域框橫坐標(biāo)、縱坐標(biāo)、寬度、高度

tx、ty、tw、th——建議區(qū)域框橫坐標(biāo)、縱坐標(biāo)、寬度、高度的損失量

2.2 玉米根莖精確識(shí)別模型

針對(duì)玉米作物行間環(huán)境，建立專(zhuān)門(mén)的目標(biāo)訓(xùn)練數(shù)據(jù)集，基于Faster R-CNN目標(biāo)檢測(cè)方法對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，所有的測(cè)試評(píng)估均在核心配置為E5-2620 CPU 與NVIDIA Quadro K5000 GPU的圖形工作站上進(jìn)行。整個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)在 Matlab 2017a 上構(gòu)建完成。

2.2.1訓(xùn)練樣本庫(kù)建立

基于圖像采集系統(tǒng)采集玉米作物行間圖像，針對(duì)玉米根莖目標(biāo)構(gòu)建專(zhuān)用目標(biāo)樣本庫(kù)。如圖4所示，共采集了1 000幅相似圖像，可以看出，圖像中包含多株玉米作物、雜草，以及存在玉米莖葉干擾遮擋的現(xiàn)象，雖然綠色特征較為明顯，但是根莖攜帶部分泥土特征，并且不同光照條件下綠色特征也不同，采用傳統(tǒng)的圖像處理方法難以準(zhǔn)確地區(qū)分，體現(xiàn)了玉米作物行間環(huán)境的復(fù)雜性。排除掉較遠(yuǎn)較小的根莖，每幅樣本圖像約可以提取10個(gè)單株根莖樣本。

圖4 田間玉米圖像Fig.4 Corn picture in field

為了縮短訓(xùn)練時(shí)間，對(duì)每幅圖像提取只包含單株玉米根莖的樣本圖像，并將樣本圖像的尺寸統(tǒng)一化，本文首先基于高斯核構(gòu)建圖像的DOG金字塔模型。高斯核是被證明的唯一可以產(chǎn)生多尺度空間的核[25]，通過(guò)對(duì)同一幅輸入圖像進(jìn)行不同尺度的高斯卷積，可以使圖像平滑，高斯金字塔表達(dá)式為

(4)

(5)

式中N——高斯金字塔層數(shù)

x、y——圖像像素點(diǎn)橫坐標(biāo)、縱坐標(biāo)

Gk(x，y)——第k層圖像

Rk、Ck——第k層圖像的行數(shù)和列數(shù)

w(i,j)——二維可分離的5×5窗口函數(shù)

i、j——卷積層圖像的行數(shù)和列數(shù)

通過(guò)式(4)完成下采樣及平滑處理。

在高斯金字塔的基礎(chǔ)上，利用高斯差分對(duì)圖像進(jìn)行上采樣，即可構(gòu)成圖像的DOG金字塔模型。根據(jù)此模型將單株玉米根莖圖像分辨率統(tǒng)一縮減至同一尺度，將裁剪得出的圖像組成目標(biāo)訓(xùn)練數(shù)據(jù)集，采用Matlab中的Training Image Labeler工具箱對(duì)樣本圖像具有根莖特征的目標(biāo)進(jìn)行標(biāo)定，如圖5所示。

圖5 玉米根莖人工標(biāo)定圖Fig.5 Corn root artificial calibration diagrams

2.2.2單株玉米根莖識(shí)別

將數(shù)據(jù)集按照9∶1分為訓(xùn)練集和測(cè)試集兩部分，對(duì)單株玉米根莖進(jìn)行訓(xùn)練，圖像輸入層對(duì)輸入的圖像提取建議目標(biāo)區(qū)域，會(huì)存在大量的重復(fù)和冗余的部分，這些多余的部分會(huì)拖慢檢測(cè)效率，因此將最大建議區(qū)域設(shè)置為2 000像素，初始學(xué)習(xí)速率為1×10-5。設(shè)定完成后對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，步驟如下：

(1)單獨(dú)訓(xùn)練RPN網(wǎng)絡(luò)，得到建議區(qū)域。

(2)將步驟(1)得到的建議區(qū)域作為輸入，單獨(dú)訓(xùn)練Faster R-CNN檢測(cè)網(wǎng)絡(luò)，此時(shí)兩個(gè)網(wǎng)絡(luò)仍是分開(kāi)訓(xùn)練，還沒(méi)有共享卷積層。

(3)利用Faster R-CNN檢測(cè)網(wǎng)絡(luò)訓(xùn)練RPN，此時(shí)固定網(wǎng)絡(luò)公共的卷積層，只微調(diào)RPN獨(dú)有的參數(shù)。

(4)固定網(wǎng)絡(luò)公共的卷積層，利用RPN網(wǎng)絡(luò)微調(diào)Faster R-CNN檢測(cè)網(wǎng)絡(luò)，只更新Faster R-CNN獨(dú)有的參數(shù)。

通過(guò)以上步驟創(chuàng)建了一個(gè)用于檢測(cè)的統(tǒng)一網(wǎng)絡(luò)，訓(xùn)練完成后對(duì)測(cè)試集進(jìn)行目標(biāo)檢測(cè)。

為了評(píng)估目標(biāo)檢測(cè)器的訓(xùn)練效果，還需確定相應(yīng)的評(píng)價(jià)指標(biāo)。召回率和精確率是最常用的兩個(gè)評(píng)估標(biāo)準(zhǔn)，召回率為目標(biāo)圖像被成功檢測(cè)出來(lái)的比例，而精確率是檢測(cè)到目標(biāo)的圖像中真正包含目標(biāo)的比例。理想狀態(tài)下兩者都越高越好，但召回率和精確率具有負(fù)相關(guān)性，一般情況下難以保證兩者均達(dá)到較好的數(shù)值，所以需要針對(duì)情況綜合考慮，在玉米作物行間環(huán)境中要實(shí)現(xiàn)路徑識(shí)別的功能，最重要的是能成功檢測(cè)出目標(biāo)區(qū)域，可以容許存在一定的檢測(cè)誤差，但是如果出現(xiàn)沒(méi)檢測(cè)到的根莖目標(biāo)時(shí)，就會(huì)對(duì)后期的路徑識(shí)別帶來(lái)較大的影響，所以召回率的作用更為重要。圖6為對(duì)測(cè)試集進(jìn)行目標(biāo)檢測(cè)后目標(biāo)檢測(cè)器的召回率和精確率的關(guān)系曲線，可以看出，當(dāng)召回率大于0.6時(shí)，檢測(cè)的精確率會(huì)有較大幅度的下降，平均精確率為0.62。

圖6 召回率與精確率耦合關(guān)系Fig.6 Relationship of recall rate and precision coupling

圖7為對(duì)單株玉米根莖識(shí)別的部分測(cè)試結(jié)果，從圖中可以看出，訓(xùn)練的目標(biāo)檢測(cè)器對(duì)目標(biāo)根莖識(shí)別的效果比較理想，回歸檢測(cè)得出的目標(biāo)框可以很好地包含根莖的特征，即使存在光照、陰影以及部分根莖被玉米莖葉遮擋的現(xiàn)象，通過(guò)訓(xùn)練模型也可以準(zhǔn)確地識(shí)別。

圖7 單株玉米根莖識(shí)別圖Fig.7 Precise identification diagrams of single corn plant roots

2.2.3玉米行間環(huán)境下的玉米根莖識(shí)別

在以單株玉米根莖為目標(biāo)訓(xùn)練得出的深度學(xué)習(xí)網(wǎng)絡(luò)模型的基礎(chǔ)上，本節(jié)對(duì)玉米行間環(huán)境下的多株玉米根莖進(jìn)行檢測(cè)。從圖4可以看出，路徑兩側(cè)的玉米根莖作為識(shí)別的主體部分，但玉米葉片部分的圖像意義不大，會(huì)對(duì)結(jié)果造成干擾，所以在識(shí)別前對(duì)玉米作物行間圖像進(jìn)行預(yù)處理，提取感興趣區(qū)域(ROI)，不僅能消除干擾，還能夠提高檢測(cè)器的運(yùn)算速度，增加識(shí)別效率。

通過(guò)對(duì)玉米行間圖像進(jìn)行對(duì)比分析，定義感興趣區(qū)域?yàn)閳D像下半部的以路徑為主體的多邊形對(duì)稱(chēng)區(qū)域，如圖8a所示，利用設(shè)定的感興趣區(qū)域?qū)D像進(jìn)行掩模處理，得到的圖像如圖8b所示。

圖8 感興趣區(qū)域提取結(jié)果Fig.8 Region of interest extraction result

對(duì)預(yù)處理后的圖像進(jìn)行路徑檢測(cè)，如圖9所示，在感興趣區(qū)域中，不僅特征明顯的目標(biāo)根莖能夠被準(zhǔn)確地識(shí)別，即使有的根莖被莖葉遮擋，依然能被檢測(cè)器識(shí)別，并且達(dá)到了較理想的檢測(cè)精度。不過(guò)仔細(xì)觀察圖中路徑盡頭能夠發(fā)現(xiàn)，存在部分極小的目標(biāo)根莖沒(méi)有被檢測(cè)到的現(xiàn)象，這是因?yàn)槟繕?biāo)根莖所占區(qū)域過(guò)小時(shí)，由于特征缺失導(dǎo)致檢測(cè)器誤判，所以在訓(xùn)練過(guò)程中通過(guò)對(duì)回歸邊界框設(shè)定最小尺寸來(lái)最大限度地規(guī)避這種可能。

圖9 整幅圖像玉米根莖精確識(shí)別結(jié)果Fig.9 Accurate recognition results of corn roots

圖11 理想環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法對(duì)比Fig.11 Comparison of Faster R-CNN with traditional methods in an ideal environment

3 試驗(yàn)與結(jié)果分析

試驗(yàn)地點(diǎn)為安徽省宿州市埇橋區(qū)灰古鎮(zhèn)安徽農(nóng)業(yè)大學(xué)皖北實(shí)驗(yàn)站，玉米植株行距60 cm，玉米田農(nóng)藝行距為80 cm，圖像采集平臺(tái)為履帶自走式熱霧機(jī)，試驗(yàn)現(xiàn)場(chǎng)如圖10所示。

圖10 田間試驗(yàn)現(xiàn)場(chǎng)Fig.10 Test scene in filed

采用本文提出的方法對(duì)玉米根莖進(jìn)行識(shí)別與定位，兩種不同場(chǎng)景下的識(shí)別結(jié)果如圖11a和圖12a所示，根據(jù)檢測(cè)器識(shí)別出的目標(biāo)根莖，提取出回歸邊界框內(nèi)的定點(diǎn)，構(gòu)成路徑的基準(zhǔn)點(diǎn)。對(duì)獲取的基準(zhǔn)點(diǎn)采用三次樣條插值的方法來(lái)獲得兩側(cè)的根莖行線，之后對(duì)兩側(cè)根莖行線沿圖像行方向提取的中點(diǎn)采用最小二乘法進(jìn)行擬合，最終得到行駛路徑，如圖11、12中虛線所示。

為了說(shuō)明本文所提出方法的優(yōu)越性，采用傳統(tǒng)圖像處理方法對(duì)相同圖像進(jìn)行處理，并與本文方法進(jìn)行對(duì)比。傳統(tǒng)圖像處理的詳細(xì)過(guò)程在此不再贅述，其大致方法[3]如下：由于玉米秸稈圖像包含典型的超綠特征，采用2G-R-B算法提取顏色特征因子，對(duì)采集的圖像進(jìn)行Otsu自適應(yīng)二值分割，以及膨脹、腐蝕、去除小面積等形態(tài)學(xué)操作，將玉米作物從土壤背景中提取出來(lái)。對(duì)于分割后的二值圖像，沿列方向進(jìn)行垂直投影變換，可以獲得玉米根莖的下部輪廓，通過(guò)對(duì)圖像進(jìn)行分析可以得出，根莖部位的投影值表現(xiàn)了局部極大的特征，所以對(duì)輪廓求極大值即可得到根莖的特征點(diǎn)。但得出的一系列點(diǎn)還包含許多無(wú)關(guān)以及重復(fù)的特征，會(huì)對(duì)路徑的識(shí)別造成干擾。根據(jù)相機(jī)“近大遠(yuǎn)小”的成像原理，可以對(duì)這一系列定位點(diǎn)進(jìn)行二次判斷，從路徑盡頭的點(diǎn)沿行方向向兩邊搜索，距離鏡頭近但投影值較小的點(diǎn)被判斷為偽特征點(diǎn)，需要舍去，基于該方法得到的結(jié)果如圖11b、12b所示。

圖12 非理想環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法對(duì)比Fig.12 Comparison of Faster R-CNN and traditional methods in non-ideal environments

圖11a、11b為理想狀態(tài)下的兩種方法識(shí)別結(jié)果，圖11c中藍(lán)線和紅線分別為采用傳統(tǒng)圖像處理和深度學(xué)習(xí)方法得出的根莖行線以及行駛路徑線，深度學(xué)習(xí)能夠精確識(shí)別玉米根莖，而傳統(tǒng)圖像處理方法雖然能獲得兩側(cè)的根莖行線，但由于部分根莖缺乏典型的綠色特征，無(wú)法準(zhǔn)確地識(shí)別根莖位置，從圖11b能夠得到，傳統(tǒng)方法對(duì)于單個(gè)根莖難以做到準(zhǔn)確定位，有的根莖被識(shí)別出多個(gè)特征點(diǎn)，而且在兩株玉米秸稈之間的雜草也容易被誤識(shí)別成根莖的特征點(diǎn)，圖11c表明兩種方法得出的行駛路徑線具有差別，傳統(tǒng)方法無(wú)法準(zhǔn)確實(shí)現(xiàn)玉米根莖精確定位。

圖12為視線被玉米莖葉遮擋下的兩種方法結(jié)果對(duì)比。由于深度學(xué)習(xí)的方法是通過(guò)識(shí)別目標(biāo)根莖來(lái)獲得行駛路徑，從圖12a可以看出，在此場(chǎng)景下根莖以及路徑信息依舊被清晰地識(shí)別出來(lái)，而傳統(tǒng)圖像處理的方法只是根據(jù)顏色特征分割玉米和土壤獲取玉米根莖位置，難以精準(zhǔn)識(shí)別每一個(gè)根莖，從圖12b可以看出，有的根莖沒(méi)有被識(shí)別，而且由于玉米莖葉的遮擋，導(dǎo)致了錯(cuò)誤識(shí)別，最終規(guī)劃出錯(cuò)誤的路徑。從圖12c可以看出，兩種方法得到的路徑具有明顯區(qū)別，傳統(tǒng)方法得到的路徑無(wú)法滿(mǎn)足熱霧機(jī)行間對(duì)行行走。

表1為兩種方法檢測(cè)結(jié)果的統(tǒng)計(jì)，本文方法相對(duì)于傳統(tǒng)圖像處理方法的精確率有了很大提高，雖然檢測(cè)速度稍微慢了一些，但是不影響導(dǎo)航的準(zhǔn)確性。

表1 統(tǒng)計(jì)結(jié)果Tab.1 Statistical results

由于本文選取的訓(xùn)練樣本為玉米抽雄期根莖照片，基于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的識(shí)別模型無(wú)法適用于玉米其他生育時(shí)期根莖的精確識(shí)別，圖13為采用本文訓(xùn)練的模型識(shí)別玉米拔節(jié)期玉米根莖的失敗案例。因此在后續(xù)研究中需訓(xùn)練不同時(shí)期的玉米根莖識(shí)別模型，以提高識(shí)別模型的適用性。

圖13 根莖識(shí)別失敗案例Fig.13 Rhizome identification failure case

4 結(jié)束語(yǔ)

針對(duì)履帶自走式熱霧機(jī)玉米行間對(duì)行自主行走的需求，研究了玉米根莖精確識(shí)別與定位方法，在預(yù)訓(xùn)練網(wǎng)絡(luò)模型VGG-16的基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)，建立了玉米根莖檢測(cè)網(wǎng)絡(luò)，模擬人眼識(shí)別的功能自動(dòng)從復(fù)雜田間環(huán)境中準(zhǔn)確識(shí)別和定位玉米根莖。利用履帶自走式底盤(pán)作為圖像采集平臺(tái)，獲取玉米作物田間圖像，采用模型DOG金字塔算法提取圖像中的目標(biāo)根莖，構(gòu)成樣本訓(xùn)練數(shù)據(jù)庫(kù)。試驗(yàn)結(jié)果表明，本文提出玉米的根莖識(shí)別與定位方法與傳統(tǒng)的圖像處理方法相比，具有更好的定位精度，能夠?qū)崿F(xiàn)對(duì)玉米作物田間路徑的準(zhǔn)確識(shí)別，實(shí)現(xiàn)履帶自走式熱霧機(jī)玉米行間對(duì)行行走。