魏建勝，潘樹國※，田光兆，高 旺，孫迎春

（1. 東南大學(xué)儀器科學(xué)與工程學(xué)院，南京 210096；2. 南京農(nóng)業(yè)大學(xué)工學(xué)院，南京 210031）

0 引言

由于農(nóng)業(yè)環(huán)境的復(fù)雜多樣性，農(nóng)業(yè)機(jī)械為實(shí)現(xiàn)其自主導(dǎo)航[1-5]需要可靠的障礙物感知系統(tǒng)。障礙物感知系統(tǒng)主要包括障礙物檢測[6-7]和深度估計(jì)[8-9]2部分。傳統(tǒng)的障礙物檢測是基于人為設(shè)計(jì)的淺層目標(biāo)特征[10-12]，如SIFT特征、HOG特征、局部二值特征等。由于農(nóng)業(yè)環(huán)境結(jié)構(gòu)復(fù)雜，光照強(qiáng)度不均勻等，此類特征的檢測效果不夠穩(wěn)定。隨著人工智能的發(fā)展，農(nóng)業(yè)機(jī)械的自主導(dǎo)航逐漸應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)[13-16]（Convolutional Neural Network，CNN）來完成檢測任務(wù)。相比于原有基于人為設(shè)計(jì)特征的檢測方式，深度卷積神經(jīng)網(wǎng)絡(luò)對環(huán)境特征的檢測更加豐富和多層次，且能夠從大規(guī)模數(shù)據(jù)集中不斷學(xué)習(xí)當(dāng)前任務(wù)的特征表達(dá)，從而獲得更優(yōu)的檢測效果。在障礙物的深度估計(jì)中，普遍采用激光雷達(dá)[17-18]、深度相機(jī)[19-20]和雙目相機(jī)[21-22]等作為測距傳感器。激光雷達(dá)測距范圍廣、精度高，但二維激光雷達(dá)無法檢測掃描線以外的障礙物，不能適應(yīng)農(nóng)田等顛簸路面的情況，而三維激光雷達(dá)造價(jià)昂貴，嚴(yán)重制約了其在農(nóng)業(yè)障礙物檢測中的應(yīng)用[23]；深度相機(jī)能夠獲得圖像中每個(gè)像素的深度信息，但測量結(jié)果受外界環(huán)境干擾較大，難以在室外環(huán)境中應(yīng)用；雙目相機(jī)能夠獨(dú)立完成對目標(biāo)的深度估計(jì)，但窄基線的雙目相機(jī)測距范圍有限，需不斷提高基線的寬度以適應(yīng)大規(guī)模的場景。

為適應(yīng)農(nóng)業(yè)環(huán)境的復(fù)雜多樣性，選用雙目相機(jī)作為系統(tǒng)的視覺感知傳感器，并采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行障礙物的檢測。由于深度卷積神經(jīng)網(wǎng)絡(luò)對圖像處理的計(jì)算量巨大，需要圖形處理器（Graphics Processing Unit，GPU）來加速處理，僅中央處理器（Central Processing Unit，CPU）配置的工控機(jī)已不能滿足計(jì)算要求，而工作站等高計(jì)算量設(shè)備體積和質(zhì)量過大，嚴(yán)重占用機(jī)械空間資源，因而本文選用NVIDIA Jetson TX2[24-27]型嵌入式人工智能（Intelligent Artificial，AI）計(jì)算機(jī)作為深度卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算載體。

在傳統(tǒng)的障礙物感知中，通常將障礙物檢測和深度估計(jì)作為2個(gè)獨(dú)立的任務(wù)進(jìn)行處理，2個(gè)任務(wù)之間信息不能共享，造成了計(jì)算資源的浪費(fèi)?；诖?，本文提出一種基于改進(jìn)YOLOv3的深度估計(jì)方法，將傳統(tǒng)障礙物感知任務(wù)中的障礙物檢測和深度估計(jì)2個(gè)任務(wù)進(jìn)行融合，利用障礙物檢測中的部分信息進(jìn)行深度估計(jì)，實(shí)現(xiàn)系統(tǒng)對障礙物檢測和深度估計(jì)端到端處理。

1 視覺感知系統(tǒng)設(shè)計(jì)

1.1 硬件組成

系統(tǒng)選用東方紅SG250型拖拉機(jī)作為移動(dòng)載體，Jetson TX2作為運(yùn)算核心，搭載本文所設(shè)計(jì)的障礙物視覺感知系統(tǒng)。系統(tǒng)硬件由拖拉機(jī)、導(dǎo)航控制模塊和視覺感知模塊組成。

視覺傳感器選用MYNTAI公司S1030-120型雙目相機(jī)，基線120 mm，焦距2.1 mm，分辨率752×480像素。主控制器Jetson Tx2的GPU配有256個(gè)NVIDIA CUDA核心，其CPU為雙核Denver 2 64位CPU和四核ARM A57 Complex的組合。視覺感知模塊如圖1所示。

對拖拉機(jī)進(jìn)行并聯(lián)電控液壓油路改造，控制器選用STM32，與模擬量輸出模塊、電液比例控制器和比例換向閥等共同構(gòu)成系統(tǒng)的導(dǎo)航控制模塊，如圖2所示。

1.2 技術(shù)流程

障礙物視覺感知系統(tǒng)的運(yùn)行環(huán)境為Ubuntu16.04 LTS，基于ROS（Robot Operating System）完成信息的傳遞和通信，實(shí)現(xiàn)拖拉機(jī)對其導(dǎo)航控制路徑上障礙物的準(zhǔn)確識(shí)別、定位和深度估計(jì)，并將結(jié)果傳給決策中心，系統(tǒng)的技術(shù)流程如圖3所示。

拖拉機(jī)點(diǎn)火并切換至電控轉(zhuǎn)向狀態(tài)，然后視覺感知模塊開啟進(jìn)行左右相機(jī)的抓圖，接著將左右圖像分別輸入至改進(jìn)的障礙物檢測模型進(jìn)行檢測。檢測到障礙物類別、定位信息后進(jìn)行目標(biāo)匹配和視差計(jì)算，并估計(jì)出深度值，若其超過預(yù)警深度值則會(huì)觸發(fā)電控轉(zhuǎn)向。

2 基于改進(jìn)YOLOv3的深度估計(jì)

為了準(zhǔn)確估計(jì)障礙物到拖拉機(jī)的實(shí)時(shí)深度，本文提出一種基于改進(jìn)YOLOv3的深度估計(jì)方法，將障礙物檢測和深度估計(jì)進(jìn)行融合，一次性完成對障礙物類別、定位和深度信息的全部輸出。首先將雙目相機(jī)抓取的左右圖像分別輸入改進(jìn)的YOLOv3模型中進(jìn)行障礙物檢測，輸出農(nóng)業(yè)環(huán)境下障礙物的類別和定位信息并進(jìn)行目標(biāo)匹配，得到障礙物在左右圖像中的對應(yīng)關(guān)系。最后根據(jù)障礙物的對應(yīng)關(guān)系計(jì)算像素視差，并輸入至雙目成像模型進(jìn)行深度估計(jì)，算法流程如圖4所示。

2.1 改進(jìn)YOLOv3模型

本文選用YOLOv3模型[28-30]作為深度估計(jì)的前端框架，并針對雙目成像模型和農(nóng)業(yè)環(huán)境目標(biāo)的特殊性進(jìn)行錨框聚類和邊界框損失函數(shù)的改進(jìn)。

2.1.1 YOLOv3

YOLOv3是目前為止最先進(jìn)的目標(biāo)檢測算法之一，其在YOLOv2的基礎(chǔ)之上進(jìn)一步融合多尺度檢測和多尺度訓(xùn)練等改進(jìn)措施，使用更深的darkNet53作為特征提取網(wǎng)絡(luò)，并加入殘差模塊解決深層網(wǎng)絡(luò)梯度問題。圖5是YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)，它從3個(gè)不同的尺度（32×32、16×16和8×8）提取特征至YOLO層進(jìn)行檢測。

2.1.2 數(shù)據(jù)集聚類

由于沒有公開的農(nóng)業(yè)障礙物數(shù)據(jù)集，本文在農(nóng)業(yè)環(huán)境中設(shè)置人、農(nóng)具和樹樁等作為障礙物，從2020年開始通過網(wǎng)絡(luò)爬蟲和相機(jī)抓圖自建數(shù)據(jù)集開展研究工作，并利用LabelImg進(jìn)行類別和檢測框標(biāo)注，包括訓(xùn)練集2 400張和測試集270張。由于農(nóng)業(yè)環(huán)境中的障礙物形態(tài)多變，原COCO數(shù)據(jù)集中的先驗(yàn)框尺寸難以滿足該數(shù)據(jù)集。為獲得合適的先驗(yàn)框，本文采用K-means算法對農(nóng)業(yè)障礙物數(shù)據(jù)集進(jìn)行聚類分析，并針對特征金字塔在52×52、26×26和13×13特征圖上分別應(yīng)用先驗(yàn)框(16,28)、(25,42)、(39,43)，(69,75)、(99,80)、(88,113)，(92,123)、(155,149)、(199,236)。

2.1.3 lossD損失函數(shù)

原始YOLOv3模型的損失函數(shù)中，針對檢測框x、y、w和h坐標(biāo)的誤差權(quán)值是相同的，但在雙目成像模型中深度估計(jì)的精度取決于視差，即左右圖像目標(biāo)檢測框質(zhì)心的u軸坐標(biāo)差，使得YOLOv3模型對檢測框的橫向偏差特別敏感。因此，在深度估計(jì)的邊界框損失函數(shù)lossD中獨(dú)立出x坐標(biāo)的誤差權(quán)值項(xiàng)并提高，同時(shí)降低其他3項(xiàng)的權(quán)值。

針對大小目標(biāo)對目標(biāo)檢測框精度的影響不一致，YOLOv3原文采用反向賦權(quán)的方式來控制精度，即目標(biāo)越大x、y、w和h坐標(biāo)的誤差權(quán)值越小。針對機(jī)械在農(nóng)業(yè)環(huán)境下自主導(dǎo)航的需求，要求遠(yuǎn)處目標(biāo)深度估計(jì)誤差偏大而近處誤差偏小，在損失函數(shù)lossD中對x誤差項(xiàng)正向賦值，其余項(xiàng)固定賦值。改進(jìn)后的損失函數(shù)如式（1）所示。

式中K為輸入層網(wǎng)格數(shù)；M為單個(gè)網(wǎng)格預(yù)測的錨框數(shù)；為目標(biāo)的判斷標(biāo)志；w、h、(x，y)和分別為目標(biāo)檢測框?qū)挕⒏?、質(zhì)心坐標(biāo)的真值和預(yù)測值，像素；n目標(biāo)類別數(shù)；r為當(dāng)前類別索引；truthclass、truthconf和predictclassr、predictconf分別為類別和置信度的真值和預(yù)測值；(·)?1:0表示括號(hào)內(nèi)判斷條件為真則為1，反之為0。

2.2 深度估計(jì)過程

2.2.1 目標(biāo)匹配

相機(jī)抓取的圖像中有些物體是拖拉機(jī)的作業(yè)目標(biāo)，如：果實(shí)、莊稼和果蔬等；另一些物體是障礙物，如：行人、農(nóng)具、樹樁等。目標(biāo)匹配是改進(jìn)模型檢測出選定的障礙物后，進(jìn)一步在左右圖像中確定同一障礙物的對應(yīng)關(guān)系，具體過程如下：1）將左右相機(jī)圖像PL、PR輸入改進(jìn)YOLOv3模型，輸出各自的目標(biāo)檢測框BBOXL、BBOXR及其類別CLASSL、CLASSR；2）計(jì)算目標(biāo)檢測框的像素面積SL、SR和目標(biāo)檢測框質(zhì)心的像素坐標(biāo)CL、CR；3）得到目標(biāo)檢測框的像素面積之差SE和目標(biāo)檢測框質(zhì)心的v軸坐標(biāo)之差VE；4）判斷CLASSL、CLASSR是否相同，且SE、VE是否小于閾值A(chǔ)、B；若同時(shí)滿足，則匹配成功，反之匹配失敗。

2.2.2 像素視差計(jì)算

若左右圖像中2個(gè)目標(biāo)檢測框匹配成功，即表示其為某一障礙物在左右相機(jī)的成像位置，反之則繼續(xù)抓圖進(jìn)行目標(biāo)匹配。如圖6所示，目標(biāo)檢測框BBOXL、BBOXR為某一障礙物在左右相機(jī)的像素平面成像位置，選用目標(biāo)檢測框的質(zhì)心代表障礙物，左右質(zhì)心的坐標(biāo)分別為（uL,vL）、（uR,vR），則障礙物在左右相機(jī)的像素視差D為

式中uL、uR分別為像素平面上左右質(zhì)心的u軸坐標(biāo)。

2.2.3 深度估計(jì)

立體視覺中，記OL、OR為左右相機(jī)光圈中心；XL、XR為成像平面的坐標(biāo)；f為焦距，m；z為深度，m；b為左右相機(jī)的基線，m；空間點(diǎn)P在左右相機(jī)中各成一像，記PL、PR,左右圖像橫坐標(biāo)之差(XL-XR)為視差d，m；根據(jù)三角相似關(guān)系有：

目標(biāo)邊界框質(zhì)心在左右視圖中的像素坐標(biāo)uL、uR分別為

式中α為物理成像平面坐標(biāo)系的橫向縮放系數(shù)，像素/m；cx為原點(diǎn)橫向平移量，像素。

進(jìn)一步得視差d為

將式（5）代入式（3）得深度z為

3 視覺感知系統(tǒng)試驗(yàn)

3.1 模型訓(xùn)練與測試試驗(yàn)

針對訓(xùn)練集，本文選用DELL T7920型圖形工作站（12G內(nèi)存TITAN V型顯卡）對YOLOv3模型和改進(jìn)YOLOv3模型分別進(jìn)行相同的迭代訓(xùn)練，2種模型的訓(xùn)練損失函數(shù)如圖7所示。

表1是YOLOv3模型和改進(jìn)YOLOv3模型結(jié)果。由表1可知，相較于YOLOv3模型，改進(jìn)YOLOv3模型的準(zhǔn)確率和召回率分別下降0.5%和0.4%。原因是本文對模型的改進(jìn)側(cè)重于目標(biāo)檢測框x軸上的精度，而適當(dāng)降低對y軸和寬高的精度，提高了目標(biāo)的深度估計(jì)精度。同時(shí)，模型改進(jìn)前后在深度學(xué)習(xí)工作站和嵌入式終端TX2上的速度測試結(jié)果基本一致。

表1 訓(xùn)練集測試結(jié)果 Table 1 Test results on training set

3.2 深度估計(jì)試驗(yàn)

3.2.1 參數(shù)標(biāo)定與評(píng)價(jià)指標(biāo)

試驗(yàn)在南京農(nóng)業(yè)大學(xué)農(nóng)田試驗(yàn)場進(jìn)行，分別將Hog+SVM模型、YOLOv3模型和改進(jìn)YOLOv3模型部署至嵌入式終端并對點(diǎn)火駐車狀態(tài)下拖拉機(jī)前方1.6～3.4 m距離段上的靜止障礙物進(jìn)行深度估計(jì)。試驗(yàn)過程中，保持雙目相機(jī)與障礙物的圖像質(zhì)心在同一水平面上，且雙目相機(jī)左右光心的中點(diǎn)與圖像質(zhì)心的連線垂直于相機(jī)基線方向。對障礙物進(jìn)行多組深度估計(jì)試驗(yàn)，獲得障礙物的深度估計(jì)值，并將UT393A型測距儀的測量值（精度±1.5 mm）作為距離真值進(jìn)行誤差分析。試驗(yàn)中采用誤差均值em和誤差比均值erm作為深度估計(jì)精度的指標(biāo)，其定義分別如下：

式（7）～（8）中zi為深度估計(jì)值，n為測量次數(shù)，本文試驗(yàn)取n=3。

利用MYNTAI相機(jī)自帶的軟件開發(fā)工具包（Software Development Kit，SDK）對系統(tǒng)視覺感知模塊中的雙目相機(jī)參數(shù)進(jìn)行標(biāo)定，并獲得去畸變的雙目圖像，結(jié)果如表2所示。

表2 雙目相機(jī)標(biāo)定結(jié)果 Table 2 Calibration result of binocular camera

3.2.2 深度估計(jì)

圖8是不同障礙物（人、農(nóng)具和樹樁）在不同1.6～3.4 m距離段上的檢測結(jié)果，其中像素面積差SE的閾值A(chǔ)和v軸坐標(biāo)差VE的閾值B分別設(shè)為經(jīng)驗(yàn)值60和4。圖8a障礙物目標(biāo)為人，目標(biāo)深度真值為2.8 m，檢測框質(zhì)心視差為15.47像素；圖8b障礙物目標(biāo)為農(nóng)具，目標(biāo)深度真值為2.6 m，檢測框質(zhì)心視差為16.66像素；圖8c障礙物目標(biāo)類別為樹樁，目標(biāo)深度真值為2.9 m，檢測框質(zhì)心視差為14.94像素。由圖8可知，YOLOv3模型和改進(jìn)YOLOv3模型的檢測精度高且魯棒性強(qiáng)，而Hog+SVM模型的檢測精度和魯棒性均較差。

圖9為不同障礙物（人、農(nóng)具和樹樁）在其深度估計(jì)范圍內(nèi)1.6～3.4 m距離段內(nèi)的深度誤差結(jié)果。由圖9可知，3種障礙物應(yīng)用改進(jìn)YOLOv3模型的深度估計(jì)誤差均值em和誤差比均值erm相對于YOLOv3模型和Hog+SVM模型均有降低。改進(jìn)YOLOv3模型對行人的誤差均值em和誤差比均值erm相較于YOLOv3模型分別降低38.92%、37.23%，比Hog+SVM模型分別降低53.44%、53.14%；改進(jìn)YOLOv3模型對農(nóng)具的誤差均值em和誤差比均值erm相較于YOLOv3模型分別降低26.47%、26.12%，比Hog+SVM模型分別降低41.9%、41.73%；改進(jìn)YOLOv3模型對樹樁的誤差均值em和誤差比均值erm相較于YOLOv3模型分別降低25.69%、25.65%，比Hog+SVM模型分別降低43.14%、43.01%；隨著障礙物目標(biāo)與相機(jī)之間距離增大，3種模型的深度估計(jì)誤差均值em和誤差比均值erm均無明顯變化規(guī)律。

3.3 動(dòng)態(tài)避障試驗(yàn)

試驗(yàn)于2020年5月在南京農(nóng)業(yè)大學(xué)農(nóng)機(jī)試驗(yàn)場進(jìn)行，對動(dòng)態(tài)場景下視覺感知系統(tǒng)的深度估計(jì)精度和避障效果進(jìn)行測試。由于行駛中的拖拉機(jī)與障礙物行人之間的深度真值無法用測距儀實(shí)時(shí)測得，試驗(yàn)中在拖拉機(jī)車尾部署一個(gè)GPS接收機(jī)，同時(shí)行人手持一個(gè)GPS接收機(jī)，并用2個(gè)GPS定位坐標(biāo)之間的距離除去拖拉機(jī)GPS接收機(jī)至車頭的距離（289 cm）作為實(shí)時(shí)的深度真值，自主導(dǎo)航試驗(yàn)裝置如圖10所示。

由于計(jì)算機(jī)處理有效數(shù)字長度有限，將坐標(biāo)原點(diǎn)從117°E 與赤道的交點(diǎn)向東平移159 000 m，向北平移3 557 000 m，并以平移后的點(diǎn)為參考原點(diǎn)。試驗(yàn)中拖拉機(jī)按導(dǎo)航基線AB由A向B直線行駛，起點(diǎn)A坐標(biāo)（227.198 6，176.401 6），平均速度0.31 m/s，障礙物行人沿導(dǎo)航基線由B向A行走，起點(diǎn)B坐標(biāo)（227.173 9，182.225 8），平均速度0.18 m/s。為保證行人安全，將深度預(yù)警值設(shè)為2.4 m，相機(jī)抓圖的頻率設(shè)置為1 Hz，電控液壓轉(zhuǎn)向模塊轉(zhuǎn)角為18°。本次試驗(yàn)從拖拉機(jī)點(diǎn)火啟動(dòng)開始，至拖拉機(jī)轉(zhuǎn)向避障后障礙物離開相機(jī)視角結(jié)束，共耗時(shí)9 s。拖拉機(jī)啟動(dòng)時(shí)深度值為5.22 m，之后每秒輸出1次深度估計(jì)值，在行駛6 s后深度估計(jì)結(jié)果為2.14 m，小于試驗(yàn)設(shè)置的預(yù)警值并觸發(fā)電控液壓轉(zhuǎn)向模塊以固定右轉(zhuǎn)角18°進(jìn)行安全避障，執(zhí)行避障動(dòng)作3 s后障礙物離開相機(jī)視角同時(shí)系統(tǒng)停止深度估計(jì)，試驗(yàn)結(jié)果如圖11所示。

表3為動(dòng)態(tài)試驗(yàn)中深度估計(jì)精度的誤差統(tǒng)計(jì)，深度真值用GPS坐標(biāo)間的歐氏距離除去車載GPS到相機(jī)的距離289 cm進(jìn)行表示，深度估計(jì)值為本文基于改進(jìn)YOLOv3的深度估計(jì)結(jié)果。

表3 動(dòng)態(tài)場景深度估計(jì) Table 3 Depth estimation in dynamic scene

由表3可知，隨著自主導(dǎo)航時(shí)間的增加，拖拉機(jī)與障礙物之間的深度真值和深度估計(jì)值不斷減小且變化趨勢一致；同時(shí)，誤差均值em從初始的27 cm不斷減少至5 cm，但平均誤差比均值erm為4.66%，無明顯變化規(guī)律，維持在6%以下，比靜態(tài)深度估計(jì)的誤差比均值降低7.19%，算法平均耗時(shí)為0.573 s。

4 結(jié) 論

1）本文設(shè)計(jì)了一套基于農(nóng)業(yè)機(jī)械的障礙物視覺感知系統(tǒng)，系統(tǒng)將嵌入式AI計(jì)算機(jī)作為控制核心，極大節(jié)省了機(jī)械的空間資源，能夠?qū)φ系K物的類別和深度信息進(jìn)行準(zhǔn)確檢測。

2）本文提出一種基于改進(jìn)YOLOv3模型的深度估計(jì)方法，通過增大模型對圖像x軸的敏感程度來提高深度估計(jì)精度，相對于YOLOv3模型和傳統(tǒng)檢測方法Hog+SVM其深度估計(jì)的誤差均值、誤差比均值均有較大改善。動(dòng)態(tài)避障試驗(yàn)結(jié)果表明，隨著行駛過程的進(jìn)行，誤差均值從初始的27 cm不斷減少至5 cm，誤差比均值無明顯變化規(guī)律，但始終維持在6%以下，比靜態(tài)深度估計(jì)的誤差比均值降低7.19%，成功避障。

由于YOLOv3模型的網(wǎng)絡(luò)結(jié)構(gòu)深參數(shù)量大，在嵌入式終端的實(shí)時(shí)推理速度有限。后續(xù)研究中將選用更加輕量級(jí)的YOLOv3-tiny模型和運(yùn)算力更高的終端xavier，進(jìn)行動(dòng)態(tài)障礙物的深度估計(jì)試驗(yàn)，不斷提高平臺(tái)的實(shí)時(shí)推理幀率。