彭孝東，時磊，何靜，漆海霞，蘭玉彬

(1. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣州市，510642； 2. 國家精準農(nóng)業(yè)航空施藥技術(shù)國際聯(lián)合研究中心，廣州市，510642；3. 廣東省農(nóng)情信息監(jiān)測工程技術(shù)研究中心，廣州市，510642； 4. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州市，510642)

0 引言

農(nóng)業(yè)信息技術(shù)已成為提高農(nóng)業(yè)生產(chǎn)力和充分利用農(nóng)業(yè)資源最有效的手段和工具。在農(nóng)業(yè)信息化工程的研究中，圖像是信息的一種直觀表現(xiàn)形式，也是十分重要的信息載體，可見光圖像、遙感圖像、紅外圖像、高光譜圖像以及多光譜圖像等都是目前主流農(nóng)業(yè)研究的圖像。在農(nóng)業(yè)領(lǐng)域中，這些圖像被廣泛地應(yīng)用在植物表型檢測[1]、耕地信息提取[2-3]、作物蟲害監(jiān)測[4]、果實品質(zhì)分析[5-6]等方面。受成像方式的限制，二維圖像不能提供更多空間信息，如作物根系分布、植株形態(tài)以及果實空間位置等三維特征都無法獲取[7]。

三維重建技術(shù)主要包括接觸測量、圖像雷達、計算機視覺、工業(yè)CT以及斷層掃描等方法[8]。接觸測量，通過接觸物體獲取三維信息；圖像雷達，探測精度較高但較難獲取物體的色彩信息；工業(yè)CT與斷層掃描側(cè)重物體內(nèi)部三維結(jié)構(gòu)；計算機視覺，可以進行非接觸式的彩色掃描且精度高、速度快。從各自的特點來看，計算視覺更為適合應(yīng)用于農(nóng)業(yè)領(lǐng)域。RGB-D相機是一種基于計算機視覺技術(shù)的新型相機，能同時輸出色彩與深度信息，避免了僅靠深度信息在三維重建時造成的誤差大、深度信息幀丟失和存在孔洞等問題[9]。消費級RGB-D相機以較低的成本、較高的測量精度和較快的測量速度在制圖、三維重建、室內(nèi)機器人、手勢識別、物體的檢測和識別等領(lǐng)域廣泛應(yīng)用[10]。在農(nóng)業(yè)領(lǐng)域，三維重建對研究農(nóng)林作物的生物學(xué)特征、冠層形狀結(jié)構(gòu)以及農(nóng)業(yè)機器人應(yīng)用等都具有重要作用，是目前研究的熱點和難題。文章通過對消費級RGB-D相機在農(nóng)業(yè)領(lǐng)域的應(yīng)用進行總結(jié)、探討和展望，發(fā)掘其應(yīng)用潛力，為其在農(nóng)業(yè)領(lǐng)域的進一步發(fā)展應(yīng)用提供參考。

1 消費級RGB-D相機概述

Kinect相機是世界上首款消費級RGB-D相機。所謂RGB-D相機，就是可以將物體的RGB顏色信息與各個像素的深度信息結(jié)合起來的一種傳感器。這種相機與只輸出深度圖像的深度相機不同，它不僅輸出深度圖像而且輸出RGB圖像。且相比于單目相機和雙目立體相機，RGB-D相機不需要利用算法計算空間點的三維坐標，就能獲取空間物體3D信息，更加方便快捷[11]。

1.1 相機分類

與傳統(tǒng)的彩色相機類似，消費級RGB-D相機也是在單一視角下對環(huán)境進行拍攝。不同的是除了輸出彩色信息，RGB-D相機還提供深度信息。從技術(shù)層面來看，常見的消費級RGB-D相機主要使用以下兩種技術(shù)來獲取深度信息：結(jié)構(gòu)光(Structured Light，SL)和飛行時間(Time of Flight，ToF)。消費級RGB-D相機種類較多，農(nóng)業(yè)領(lǐng)域常用的幾種相機參數(shù)如表1所示。

表1 農(nóng)業(yè)中常用的RGB-D相機參數(shù)Tab. 1 Parameters of RGB-D cameras commonly used in agriculture

對于Kinect相機，張露等[12]通過平面擬合以及球面擬合試驗發(fā)現(xiàn)Kinect獲取目標物數(shù)據(jù)時，在邊界處誤差較大，且點云隨機誤差在可測范圍內(nèi)與測量距離的平方成正比，得出最佳測量距離為0.8～2.3 m，此距離區(qū)間內(nèi)，獲取數(shù)據(jù)的標準差在1 cm以內(nèi)。Halmetschlager-Funek等[13]對10款不同的深度相機進行測評，包括Xtion Pro Live、Kinect 2.0以及RealSensesr300，在精度分析中，驗證了這三款相機的測量偏差同測量距離的平方成正比，其中Kinect 2.0在可測范圍內(nèi)偏差變化不大，均在5 cm以下，而Xtion Pro Live在0.5～1.8 m的測量區(qū)間內(nèi)測量偏差在5 cm以下，RealSense sr300作為近距離傳感器，在0.3～1 m的測量區(qū)間內(nèi)測量偏差在5 cm以下。

1.2 工作原理

1.2.1 結(jié)構(gòu)光原理相機

結(jié)構(gòu)光是指一些具有特定模式的光，點、線、面等都可以成為其模式圖案[14]。如圖1所示，光學(xué)投射器將一定設(shè)定好的編碼光投射到場景中，場景曲面的幾何形狀會扭曲結(jié)構(gòu)光圖案，扭曲后的結(jié)構(gòu)光被攝像機接收，就可根據(jù)結(jié)構(gòu)光失真的信息提取場景的三維信息[15-16]。

圖1 結(jié)構(gòu)光原理圖Fig. 1 Schematic diagram of structured light

常見的結(jié)構(gòu)光模型主要有3種：(1)投射器傾斜發(fā)射，攝像機傾斜接收；(2)投射器傾斜發(fā)射，攝像機垂直接收；(3)投射器垂直發(fā)射，攝像機傾斜接收。本文以線狀結(jié)構(gòu)光為例討論第三種模型，模型如圖2所示。光平面在物體表面形成光條紋ABCD，構(gòu)建場景的世界坐標系O-XYZ，以及攝像機坐標系Oi-XiYiZi，投射器沿Z軸垂直將一定模式的光投射到場景中，攝像機以β角傾斜并接收反射光，為簡化此模型將Y軸與Yi軸設(shè)置為平行關(guān)系。

圖2 結(jié)構(gòu)光相機數(shù)學(xué)模型Fig. 2 Mathematical model of structured light camera

設(shè)光平面內(nèi)p點的世界坐標p(xc,yc,zc)，將其轉(zhuǎn)化成攝像機坐標系中的坐標pi(xi,yi,zi)需經(jīng)過以下步驟。

1) 透視變換矩陣P計算如式(1)所示。

(1)

式中：f——攝像機焦距。

2) 將世界坐標原點(0,0,Dgp)平移到圖像坐標系原點(Dpc,0,Dgp)，平移矩陣Ti計算如式(2)所示。

(2)

式中：Dpc——圖像坐標原點x坐標；

Dgp——世界坐標及圖像原點z坐標。

3) 將世界坐標系圍繞其X軸旋轉(zhuǎn)180°，旋轉(zhuǎn)矩陣Rx(180°)計算如式(3)所示。

(3)

4) 將世界坐標系圍繞其Y軸順時針旋轉(zhuǎn)β，旋轉(zhuǎn)矩陣Ry(β)計算如式(4)所示。

(4)

式中：β——矩陣繞Y軸旋轉(zhuǎn)度數(shù)。

將總變換記為矩陣H，如式(5)所示。

H=PRy(β)Rx(180°)Ti

(5)

pi點與p點關(guān)系用廣義坐標系表示如式(6)所示。

Pi=HP

(6)

在使用結(jié)構(gòu)光相機進行深度信息獲取時，需要用攝像機坐標系中的坐標pi(xi,yi,zi)來求出世界坐標系中的坐標p(xc,yc,zc)，如式(7)～式(8)所示。

p=H-1pi

(7)

(8)

投射器垂直發(fā)射，此時光平面方程，如式(9)所示。

xc=0

(9)

聯(lián)立式(8)和式(9)可求出P點在世界坐標系下的三維坐標(xc,yc,zc)，如式(10)所示。

(10)

結(jié)合機器的掃描運動，光平面對物體進行全面掃描后就可以得到物體各點的世界坐標。

1.2.2 飛行時間原理相機

ToF(Time of Flight)技術(shù)基于光速不變原理，通過測量光信號的傳播時間來測算距離[17]。如圖3所示，由光發(fā)射器向需要重建的場景中發(fā)射處理過的光線，光線碰到物體會反射回來，被傳感器接收，測量發(fā)射光和反射光之間的相位差就可求出目標距離[18]。

圖3 ToF原理圖Fig. 3 ToF schematic diagram

對反射信號進行間隔π/2的四次測量，對應(yīng)于圖3中的m0,m1,m2,m3，便可推導(dǎo)出反射信號振幅A與發(fā)射光和反射光之間的相位差Δφ，以及相機距目標的距離D，如式(11)～式(13)所示。

(11)

(12)

(13)

式中：c——光速。

1.3 相機原理分析

結(jié)構(gòu)光相機與ToF相機工作原理不同，特色各異。結(jié)構(gòu)光相機投射編碼光，經(jīng)被測物體反射后根據(jù)光失真情況獲取物體三維信息。ToF相機發(fā)射光信號再接收反射光，根據(jù)時間差獲得相機與目標的深度信息。從上述實現(xiàn)方式來看，ToF相機實現(xiàn)起來比結(jié)構(gòu)光相機簡單，不需要提取反射編碼光的特征，計算量較低，且可以調(diào)節(jié)發(fā)射器發(fā)射頻率來改變測量距離，其測量精度受距離影響較低。不過，結(jié)構(gòu)光主動投射編碼光的方式，也有自己獨特的優(yōu)勢，其投射的編碼光蘊含大量投影點就可以輸出較高分辨率的深度圖，達到較高的測量精度。

2 消費級RGB-D相機在農(nóng)業(yè)領(lǐng)域應(yīng)用的研究進展

2.1 國外研究進展

在國外，消費級RGB-D相機成功應(yīng)用在三維地圖繪制[19-20]、目標追蹤[21-22]、盲人導(dǎo)航[23-24]和行為識別[25]等方面，在農(nóng)業(yè)領(lǐng)域也有廣泛的應(yīng)用并取得了一些成果，大致可歸納為以下3個方面。

2.1.1 作物參數(shù)提取

消費級RGB-D相機可以采集物體的三維信息，將其應(yīng)用在作物參數(shù)提取中，可以采集到作物不同時期的三維參數(shù)，對作物進行檢測分析。Chéné等[26]用Kinect對薔薇、絲瓜和蘋果樹進行圖像信息采集，并提出一種從單一俯視圖分割植物深度圖像的算法，實現(xiàn)了葉片彎曲度、葉片形態(tài)、葉片位置以及是否存在病原菌等多方面檢測，為消費級RGB-D相機在植物表型分析的應(yīng)用奠定了基礎(chǔ)。Wang等[27]利用Kinect獲取洋蔥的彩色及深度圖像，用獲得的彩色與深度信息分別求取洋蔥直徑進行體積估算，將從深度圖像與從彩色圖像中獲取的洋蔥體積與真實值進行對比后發(fā)現(xiàn)深度圖像精度和穩(wěn)健性更高，預(yù)測精度為96.3%。Vázquez-Arellano等[28]將Kinect 2.0相機獲取的玉米植株點云和土壤點云進行一系列處理后，再對點云柵格化、網(wǎng)格化，獲得植株高度與莖位，單株株高的平均誤差和標準差分別為30 mm和35 mm，植株莖位的平均誤差和標準差分別為24 mm和14 mm，證明了消費級RGB-D相機可以準確獲取玉米植株的莖位置和株高。Dionisio等[29]通過Kinect 2.0采集玉米田圖像，利用高度選擇與RGB分割分離玉米植株與雜草，實現(xiàn)雜草檢測，結(jié)果表明使用Kinect 2.0相機可以精確地估計作物狀態(tài)并進行雜草檢測。

2.1.2 果實識別與定位

視覺系統(tǒng)作為水果采摘機器人的核心部分，可以有效提高對目標水果的識別和定位性能，提高采摘機器人操作效率，降低采摘成本[30]。Malik等[31]采用消費級RGB-D相機作為采摘機器人的視覺系統(tǒng)，為機器人視覺系統(tǒng)的研究提供了一個新的方向，其利用Kinect 2.0相機獲取溫室番茄的彩色圖像和深度圖像，同時保存了顏色坐標、深度坐標以及相機坐標，其次采用改進的HSV(Hue, Saturation, Value)算法和分水嶺算法從復(fù)雜的背景中分割番茄果實，然后對每個檢測到的水果分別進行標記，計算出彩色圖像中的像素坐標值，再根據(jù)顏色、深度和相機坐標的映射關(guān)系進行顏色和深度信息的融合，將得到的水果像素坐標與獲取的三維點云數(shù)據(jù)映射到彩色圖像中，得到每個標記水果對應(yīng)的點云數(shù)據(jù)，進行濾波處理后，得到最后的點云數(shù)據(jù)。經(jīng)驗證，深度距離的平均誤差為1.2 cm，距地面平均定位誤差為1.9 cm，證明了該方法能較好地實現(xiàn)番茄的分割與定位，為溫室番茄收割機器人的研究奠定了一定的基礎(chǔ)。Nguyen等[32]為解決蘋果在識別定位時，被樹枝、樹葉以及其他果實的遮擋問題，采用新興的消費級RGB-D相機在遮光條件下對蘋果園進行圖像采集，提出了一種基于顏色和形狀特征的紅色和雙色蘋果的檢測和定位算法，經(jīng)驗證該方法對未遮擋蘋果的識別準確率為100%，對被遮擋蘋果的識別率為82%，且定位誤差在10 mm以下，驗證了該方法用于蘋果產(chǎn)量估計和蘋果園監(jiān)測的可行性。

2.1.3 畜牧監(jiān)測

隨著畜牧業(yè)迅猛發(fā)展，養(yǎng)殖規(guī)模的擴大，以人工的方式對養(yǎng)殖動物實時監(jiān)測變得越來越困難，如何設(shè)計出能對養(yǎng)殖動物的身體數(shù)據(jù)快速、客觀和準確評估的計算機監(jiān)測系統(tǒng)變得尤為重要。Seo等[33]利用Realsense相機獲取紅外和深度信息對豬群進行監(jiān)測，利用YOLO(You Only Look Once)算法成功將單個豬精確地從豬群中分離了出來。Kuzuhara等[34]使用Xtion對泌乳期奶牛進行背部姿態(tài)測量，來對奶牛的體質(zhì)進行評分，包括體重、產(chǎn)奶量、乳脂肪和乳蛋白的含量。Jonguk等[35]使用Kinect相機獲取豬圈的深度圖像，并從中提取豬的活動特征，采用支持向量機分層檢測攻擊行為，并將其分為頭對頭(或身體)敲擊和追逐等攻擊子類型，實驗結(jié)果表明對豬的攻擊行為的檢測和分類的準確率分別超過95.7%和90.2%。

2.2 國內(nèi)研究進展

國內(nèi)對消費級RGB-D相機應(yīng)用于農(nóng)業(yè)生產(chǎn)領(lǐng)域的研究主要集中在作物參數(shù)表型信息提取、三維重建、路徑識別與規(guī)劃、果實識別與定位以及畜牧監(jiān)測等方面，并取得了一定的研究成果。

2.2.1 作物參數(shù)提取

Hu等[36-38]分別通過Kinect 2.0、Xtion采集轉(zhuǎn)臺上植株的多視角點云，利用迭代最近點算法(Iterative Closest Point，ICP)算法對目標植株進行三維重建，獲取植株關(guān)鍵的生長參數(shù)，與真實值對比后確定了系統(tǒng)的精準度。劉慧等[39]以溫室吊蘭為研究對象，使用Kinect相機采集吊蘭的彩色與深度圖像，提取吊蘭冠層的三維信息，完成對吊蘭深度數(shù)值和水平投影面積的計算，試驗結(jié)果表明深度數(shù)值和面積測量的誤差分別為1%和3.6%，證明了該方法的可行性。勞彩蓮等[40]先對深度相機Xtion進行內(nèi)部參數(shù)的標定與深度畸變矯正，再將標定好的Xtion Pro與旋轉(zhuǎn)云臺、便攜式計算機搭建點云信息采集平臺，旋轉(zhuǎn)平臺獲取不同角度的玉米深度圖像，然后進行濾波，配準生成玉米植株點云，最后對不同角度的三維點云進行拼接，完成三維重建，通過與商業(yè)軟件Skanect的重建結(jié)果對比，該方法的精準度、效率和魯棒性更高。楊斯等[41]以黃瓜苗作為試驗對象，用Kinect 2.0相機獲取黃瓜育苗盤的三維信息，采用濾波與聚類分割算法相結(jié)合的算法，從黃瓜育苗盤中分離出單株幼苗點云集、并實現(xiàn)單株幼苗的定位，最后計算出單株黃瓜幼苗的株高，驗證后平均誤差僅為2.3 mm。

2.2.2 路徑識別與規(guī)劃

路徑識別與規(guī)劃是實現(xiàn)無人農(nóng)機自主作業(yè)的前提和保證，是加速無人農(nóng)場建設(shè)的重點研究方向，利用消費級RGB-D相機所構(gòu)建的傳感器系統(tǒng)，能為無人農(nóng)機識別和規(guī)劃作業(yè)田路徑提供數(shù)據(jù)支持。劉慧等[42]在自動噴霧車上搭載RealSense相機，實時獲取彩色信息幀，提取并優(yōu)化與深度信息重合的特征點，用彩色信息融合深度信息進行全局非線性軌跡優(yōu)化，避免單深度信息誤差大的問題。結(jié)果表明，該方法使噴霧車的行駛軌跡更接近真實軌跡，對比僅使用深度信息的軌跡優(yōu)化其偏離真實軌跡誤差均值、方差以及超調(diào)量均有所下降。

2.2.3 果實識別與定位

麥春艷等[43-44]使用Kinect 2.0獲取蘋果果樹的彩色圖像與深度圖像，將彩色圖像進行閾值分割和濾波去噪處理后，融合彩色信息與深度信息，獲取蘋果區(qū)域點云進行三維球體形狀提取，實現(xiàn)果實的識別與定位，實驗結(jié)果表明果實識別率不低于87.4%，相對平均平均誤差0.035 m，具有較強的實時性與魯棒性。王欣等以Kinect 2.0為機器人視覺部分設(shè)計了果蔬采摘系統(tǒng)，該系統(tǒng)采用Kinect2.0獲取空間深度圖像，再推導(dǎo)出目標果蔬的三維坐標，隨后將其傳遞給NAO機器人，通過路徑規(guī)劃后成功摘取目標果蔬，實驗該采摘系統(tǒng)可以實現(xiàn)果蔬的快速、精準采摘。余承超[45]先將雙目視覺系統(tǒng)應(yīng)用于葡萄果園圖像采集，并依據(jù)最佳近景探測范圍進行分割，獲得近景探測點，再利用消費級RGB-D相機RealSense sr300獲取葡萄的顏色和深度信息，實現(xiàn)葡萄的識別與定位，采用遠近景手眼協(xié)調(diào)策略，設(shè)計出了葡萄采摘機器人。

2.2.4 畜牧監(jiān)測

王可等[46-49]先以石膏奶牛模型和真實奶牛作為實驗對象，使用Xtion采集不同環(huán)境下，不同距離的奶牛體表數(shù)據(jù)，與高精度三維掃描儀得到的點云數(shù)據(jù)進行對比，證明了Xtion作為點云采集設(shè)備的可行性，繼奶牛之后再次對豬進行試驗，構(gòu)建了多深度攝像頭的動物體表實時三維數(shù)據(jù)獲取應(yīng)用系統(tǒng)，將采集到的點云旋轉(zhuǎn)歸一化后統(tǒng)一到標準測量坐標系，實現(xiàn)豬體自動化體尺測量。對動物外部行為的監(jiān)測，可以對其身體狀況進行預(yù)測，達到提前發(fā)現(xiàn)其是否存在疾病的目的，在大型養(yǎng)殖場中具有重要意義。劉波等[50]通過Kinect采集生豬運動深度圖像序列，對圖片處理后，提取生豬骨架，建立生豬運動模型，用來分析生豬是否存在異常步態(tài)，實現(xiàn)了生豬異常行為預(yù)警。施宏等[51]運用Kinect 2.0獲取點云數(shù)據(jù)，基于密度的聚類方法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)，采用非接觸方式提取脊背信息用于姿態(tài)識別，成功判定了母豬哺乳能力與健康狀況。

2.3 國內(nèi)外研究總結(jié)

綜上可以看出，消費級RGB-D相機在國內(nèi)外農(nóng)業(yè)領(lǐng)域中都有著廣泛的應(yīng)用研究。大多數(shù)研究者使用RGB-D相機獲取彩色和深度圖后，結(jié)合配準、濾波及聚類等算法得到了較滿意的實驗結(jié)果。就具體相機而言，Kinect 2.0憑借良好的性能和測量范圍應(yīng)用最廣泛；當被測實驗對象與相機距離較近時，大多數(shù)實驗者選擇了Realsense sr300；在實驗條件不苛刻的條件下，Xtion和Kinect
1.0也有一定的應(yīng)用場合。作為農(nóng)業(yè)領(lǐng)域新興傳感器，雖然RGB-D相機的應(yīng)用越來越多，但大部分研究是在實驗室較理想條件下進行的，離非理想條件下規(guī)?；瘧?yīng)用還有一定距離，需進一步探索。

3 消費級RGB-D相機應(yīng)用中的問題與改進

消費級RGB-D相機成本低、精度較優(yōu)、速度較快，采用彩色信息和深度信息融合，克服了傳統(tǒng)相機只采用深度信息造成配準精度不夠的問題，但目前不同類型的消費級RGB-D相機在實際應(yīng)用時也存在一些問題。

3.1 消費級RGB-D相機存在問題

結(jié)構(gòu)光相機技術(shù)已經(jīng)比較成熟，分辨率較高，自帶主動光源，不存在光線和弱紋理問題，在夜間也可以正常工作。但存在以下缺點。

1) 受強光干擾：投射的編碼光會受到強烈太陽光的干擾，并不適合在戶外使用[52]。

2) 不適合遠距離深度信息采集：結(jié)構(gòu)光相機投射的是散斑圖案，接收模組需要拍攝到清晰的圖案才能計算出深度，當距離增加，投射出的圖案會變得模糊，導(dǎo)致測量精度降低[53]。

相對于結(jié)構(gòu)光相機，ToF相機投射的是發(fā)散的面光源，精度不受距離的影響，可以應(yīng)用于遠距離測量[54]。但也存在一些問題。

1) 分辨率較低：ToF相機基于光速進行深度測量，由于光的傳播速度非?？欤^小的時間誤差會被放大，導(dǎo)致ToF相機的深度分辨率較低[55]。

2) 系統(tǒng)誤差明顯：在需要重建的物體邊緣產(chǎn)生疊加誤差，在目標表面產(chǎn)生多重反射噪聲[56]。

3) 測量量程較短：ToF相機功率不高，導(dǎo)致其測量量程較短[57]。

這些缺點導(dǎo)致RGB-D相機在應(yīng)用時出現(xiàn)一些不太理想的效果。Kuzuhara[34]等使用Xtion相機獲取奶牛三維模型，測量其背部姿勢估計出奶牛各種身體特征最低為53%，最高為80%，證明了此類本就為室內(nèi)使用而研發(fā)的RGB-D相機在畜牧業(yè)應(yīng)用的可行性，但也指出其應(yīng)用局限性，Xtion的近紅外深度傳感器對光線十分敏感，戶外測量僅在夜晚或者早晨陽光不強的情況下才可以取得較好的效果。徐勝勇等[58]采用Kinect 2.0相機獲取角果期油菜不同角度下的彩色圖像和深度圖像，生成油菜植株的三維點云，然后進行采樣濾波處理，最后進行粗配準、精配準以及歐式聚類等點云處理方法實現(xiàn)單個角果的識別定位，識別率較高但可識別角果數(shù)量少于實際數(shù)量，其主要原因是單使用Kinect 2.0獲取的三維點云存在孔洞等問題，濾波后某些角果斷裂成小塊引起了實驗誤差。

3.2 消費級RGB-D相機優(yōu)化

針對上述中RGB-D相機存在的問題，可以從硬件和軟件兩方面進行改進，一是在硬件層面采用多傳感器融合技術(shù)取長補短，二是在軟件層面對相關(guān)算法進行改進和優(yōu)化。

3.2.1 多傳感器融合技術(shù)

在農(nóng)業(yè)領(lǐng)域的應(yīng)用中，大多數(shù)研究通常采用單一的消費級RGB-D相機作為傳感器。相機本身的缺陷會導(dǎo)致所采集的三維信息存在缺陷且精度較差，張恒等[59]將激光雷達與消費級RGB-D相機結(jié)合起來，并用卡爾曼濾波與貝葉斯估計對采集到的數(shù)據(jù)進行融合，在保留激光雷達圖像精準度的同時補充了多個三維水平信息，提高了地圖的完整性。Mu等[60]將激光雷達、消費級RGB-D相機、編碼器和慣性測量單元相結(jié)合提出了一種新的即時定位與地圖構(gòu)建(simultaneous localization and mapping，SLAM)方法，試驗結(jié)果表明，該方法有良好的成圖效果及較高的精度，同時反映出更多環(huán)境信息，比單一使用激光雷達在x方向及y方向精度提高3.6%和2.2%。驗證了該方法的可行性。Song等[61]分別使用激光雷達和消費級RGB-D相機來測量目標的二維和三維信息，通過結(jié)合視覺跟蹤算法、結(jié)構(gòu)光相機深度信息和低級視覺激光雷達融合算法來對目標進行校準定位，目標位置數(shù)據(jù)與Vicon運動捕捉系統(tǒng)的位置數(shù)據(jù)做比較，證明了該方法的優(yōu)越性。

3.2.2 算法改進與優(yōu)化

對于消費級RGB-D相機自身原理導(dǎo)致的易受光照環(huán)境影響、計算復(fù)雜和深度信息采集不完整等問題，可以通過改進點云處理算法解決。蘇本躍等[62]研究了一種基于光照補償?shù)狞c云配準方法以及一種自適應(yīng)顏色和幾何混合特征的點云配準方法，并通過4種不同的網(wǎng)面結(jié)構(gòu)對比試驗驗證了該方法平均誤差全距約減少到原來的1/5，解決了光照強度不均勻?qū)е孪M級RGB-D相機采集的點云噪聲大等問題。Zhang等[63]提出了一種新的帶密度約束的K-means算法，在用該方法對點云進行處理之前，先定義點云的密度，用點云的密度來量化收斂性，大大減少了聚類算法的計算時間，其中當點云數(shù)量為10×104，K值為1 000時，聚類時間僅為原來的1/5。針對消費級RGB-D相機采集到的深度圖不完整問題，潘波[64]提出了一種基于深度圖修補的植物重建算法，并采用多級視圖選擇法對多視圖立體視覺算法進行改進。除此之外，還提出一種基于超像素的深度圖修補算法，對生成的植物深度圖中存在的空洞和噪聲進行修補，相對于JBF和DJBF算法該算法空洞修補效果分別提升102.15%和46.63%，得到更加完整的樹木模型。

4 結(jié)論與展望

隨著現(xiàn)代智慧農(nóng)業(yè)的發(fā)展，對動植物三維重建精度及實時性要求的進一步提高，RGB-D相機作為核心傳感部件將會得到更為廣泛的研究和應(yīng)用。本文闡述了RGB-D相機工作原理及其優(yōu)缺點，介紹了國內(nèi)外消費級RGB-D在作物三維參數(shù)特征提取、畜牧監(jiān)測、果實識別以及農(nóng)機導(dǎo)航等農(nóng)業(yè)方面上的應(yīng)用成果，總結(jié)了該類相機在實際應(yīng)用中出現(xiàn)的如易受光照影響、量程較短等問題，并從硬件與軟件層面歸納了目前研究人員對RGB-D相機應(yīng)用的改進方案。為了進一步加強RGB-D相機在現(xiàn)代智慧農(nóng)業(yè)領(lǐng)域的應(yīng)用，提出以下幾點展望。

1) 設(shè)施農(nóng)業(yè)會為消費級RGB-D相機提供更廣闊的應(yīng)用空間?；诮Y(jié)構(gòu)光原理的Kinect相機和Xtion Pro Live相機投射地編碼光會受室外強光影響，精度大幅度降低?；赥oF原理的Kinect 2.0相機雖然投射的不是編碼光，但夏天的烈日下，光照強度過大，會導(dǎo)致相機的感光傳感器出現(xiàn)過度曝光的情況，進而影響相機的精度。溫室、農(nóng)用大棚以及畜牧棚等不受陽光直射的場所是消費級RGB-D相機在農(nóng)業(yè)領(lǐng)域的理想應(yīng)用場所。

2) 提高自動化程度，搭建一體化三維信息采集平臺。目前，農(nóng)業(yè)領(lǐng)域三維信息采集系統(tǒng)自動化程度不高，作物三維結(jié)構(gòu)重建實時性不強。將消費級RGB-D相機與計算機等三維信息處理設(shè)備結(jié)合起來，根據(jù)實際研究對象預(yù)先設(shè)定好點云重建程序，構(gòu)建一體化信息處理平臺，可以將繁瑣的任務(wù)自動化，提高作業(yè)效率。

3) 提高復(fù)雜環(huán)境下的魯棒性和適應(yīng)性。國內(nèi)外有關(guān)消費級RGB-D在農(nóng)業(yè)領(lǐng)域應(yīng)用的研究大多是在實驗室理想條件下進行的，而實際非結(jié)構(gòu)化農(nóng)田、果園及養(yǎng)殖場中環(huán)境復(fù)雜多樣，動植物形態(tài)各異，需要提高該類相機在復(fù)雜環(huán)境下的魯棒性和適應(yīng)性，才能在復(fù)雜的真實環(huán)境下獲取更加精確、穩(wěn)定和可靠的實驗結(jié)果。

4) 應(yīng)用于農(nóng)業(yè)機器人。信息化、智能化與精準化，是農(nóng)業(yè)生產(chǎn)的必然趨勢，農(nóng)業(yè)機器人是農(nóng)業(yè)領(lǐng)域公認的最具發(fā)展?jié)摿Φ募夹g(shù)之一。非結(jié)構(gòu)化的田間環(huán)境，增加了農(nóng)業(yè)機器人對作業(yè)對象的感知與判斷難度，這是農(nóng)業(yè)機器人發(fā)展過程中必須克服的難題。以消費級RGB-D相機為基礎(chǔ)，構(gòu)建農(nóng)業(yè)機器人視覺系統(tǒng)，可以幫助其精準識別作業(yè)對象，提高作業(yè)成功率及生產(chǎn)效率。