陳海波，劉圣搏，王樂樂，王朝鋒，向星嵐，趙英杰，蘭玉彬

基于Kinect V3的單株作物自動化三維重建與驗證

陳海波1,4，劉圣搏2,4，王樂樂2,4，王朝鋒2,4，向星嵐3，趙英杰2,4，蘭玉彬2,4※

（1. 華南農(nóng)業(yè)大學(xué)基礎(chǔ)實驗與實踐訓(xùn)練中心，廣州 510642；2. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院（人工智能學(xué)院），廣州 510642；3. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州 510642；4. 國家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國際聯(lián)合研究中心，廣州 510642）

為高效、精確地對單株作物進(jìn)行三維重建，以點云方式無損測量作物表型信息，該研究提出一種基于Kinect V3深度相機(jī)的三維重建系統(tǒng)。使用步進(jìn)電機(jī)搭建了一個旋轉(zhuǎn)臺，并將旋轉(zhuǎn)臺面設(shè)計成多顏色同心圓，利用同心圓計算平面法向量及圓心兩特征信息，用于點云水平校準(zhǔn)以及獲取點云間的旋轉(zhuǎn)平移矩陣；將Kinect V3采集的多視角點云變換到同一坐標(biāo)系下，并結(jié)合裁剪迭代最近點（Trimmed Iterative Closest Point，TrICP）算法實現(xiàn)了多視角點云的粗配準(zhǔn)與精配準(zhǔn)，完成了作物三維重建。為檢驗該研究的三維重建效果，選取菜心、黃瓜苗為試驗對象，與多視圖立體視覺-運動恢復(fù)結(jié)構(gòu)（Multi-View Stereo and Structure From Motion，MVS-SFM）算法重建點云進(jìn)行對比，并提取葉面積參數(shù)與人工測量值進(jìn)行比較。結(jié)果表明，兩種方法下重建后的菜心點云間平均距離誤差為0.59 cm，黃瓜苗點云間平均距離誤差為0.67 cm，具有較高的相似度，而相較于MVS-SFM算法，該研究提出的方法的重建速度提高了約90%；該研究提出的方法所重建點云，菜心葉面積提取與標(biāo)準(zhǔn)參考值相對誤差均值為5.88%，均方根誤差為3.83 cm2，黃瓜苗葉面積提取與標(biāo)準(zhǔn)參考值相對誤差均值別為6.50%，均方根誤差為2.08 cm2，都顯現(xiàn)出較高的準(zhǔn)確性。該研究提出的方法能對單株作物進(jìn)行快速三維重建，能有效提取葉面積參數(shù)，可為作物育種、栽培和農(nóng)業(yè)生產(chǎn)提供高效技術(shù)手段和數(shù)據(jù)支持。

作物；三維重建；點云配準(zhǔn)；葉面積；旋轉(zhuǎn)臺特征；Kinect V3

0 引 言

利用計算機(jī)視覺技術(shù)對植物進(jìn)行快速三維重建，獲取作物的形態(tài)結(jié)構(gòu)，并進(jìn)行表型參數(shù)高通量無損測量是植物表型組學(xué)當(dāng)前的熱點研究內(nèi)容之一，不但可以為基礎(chǔ)研究服務(wù)，還可為作物育種、栽培和農(nóng)業(yè)生產(chǎn)等應(yīng)用研究提供理論基礎(chǔ)和高效技術(shù)手段[1-3]。

基于三維點云來獲取植物表型參數(shù)的方法[4-6]，不僅可以避免傳統(tǒng)人工測量對植物造成的損傷，還可以避免二維圖像方法上由于葉片之間的遮擋、葉片的卷曲等所導(dǎo)致的測量誤差。運動恢復(fù)結(jié)構(gòu)（Structure From Motion，SFM）算法是植物表型領(lǐng)域中常用的被動三維重建技術(shù)，已被廣泛證明適用于植物表型參數(shù)提取[7-9]。Hui等[10]利用MVS-SFM算法重建作物點云并與激光掃描儀重建點云進(jìn)行對比，驗證了兩種方法重建點云有較高的相似度。陳輝等[11]利用MVS-SFM算法對多種植物進(jìn)行三維重建，并基于Delaunay三角網(wǎng)格剖分計算葉面積，其平均相對誤差為6.25%；蘇寶峰等[12]利用SFM算法對赤霞珠葡萄植株進(jìn)行三維重建，并利用滾球算法重建葉片表面計算葉面積，其平均相對誤差為4.67%。此方法僅需要一個低成本的RGB相機(jī)，圍繞著植物拍攝多視角圖片即可重建出植物的三維點云，但計算量大，稠密重建需要消耗大量的時間，不適用于大規(guī)模且要求實時性的表型信息提取，因此高效精確的點云三維重建是首先要解決的問題之一。

近年來隨著科技的發(fā)展，利用激光雷達(dá)、雙目相機(jī)、基于飛行時間算法（Time of Flight，ToF）的深度相機(jī)等三維傳感器的主動式三維重建已經(jīng)被廣泛用于植物表型信息提取[13-16]。重建過程通常包括數(shù)據(jù)采集、點云預(yù)處理、點云配準(zhǔn)及表面重建等一系列步驟，其中點云配準(zhǔn)是三維重建的核心步驟。陸健強(qiáng)等[17]利用標(biāo)定球?qū)⑷S激光掃描儀所獲取的多視角點云進(jìn)行初配準(zhǔn)，進(jìn)而使用迭代最近點（Iterative Closest Point，ICP）算法完成精確配準(zhǔn)，但采用作物固定、移動三維傳感器的方式將不可避免地造成空間浪費。激光掃描儀獲取的點云數(shù)據(jù)精度高、噪點少，但存在著價格昂貴的問題，且通常需要與額外的相機(jī)進(jìn)行標(biāo)定以獲取紋理信息。以Kinect V2為代表的低成本深度相機(jī)性價比高、性能穩(wěn)定，在植物三維重建領(lǐng)域獲得了推廣和應(yīng)用[18-21]。Sun等[22]利用Kinect V2結(jié)合特殊設(shè)計的高精度旋轉(zhuǎn)臺實現(xiàn)了多視角植物點云配準(zhǔn)，并與Eva手持三維掃描儀重建點云進(jìn)行對比，驗證了兩方法下重建的點云有較高的相似度，并測量株高、冠層最大寬度等參數(shù)驗證其精度；Hu等[23]利用Kinect V2結(jié)合高精度旋轉(zhuǎn)臺上的標(biāo)記點實現(xiàn)多視角點云配準(zhǔn)，通過采集18個視角的點云來提高重建精度，但重建耗時長。以上研究受限于Kinect V2的性能，所采集的作物點云缺失細(xì)節(jié)信息與紋理信息，建模后適合提取如株高、冠層最大寬度等完整植株層面的表型參數(shù)，但無法獲取涉及紋理特征的表型參數(shù)。Kinect V3是微軟推出的深度傳感器，精度更高、抗干擾能力強(qiáng)[24]，比起其前代產(chǎn)品Kinect V2，分辨率更高且成像范圍更廣。

針對作物三維重建成本高、耗時長與細(xì)節(jié)、紋理信息缺失等問題，該研究以菜心、黃瓜苗作為試驗對象，設(shè)計了一種基于Kinect V3與旋轉(zhuǎn)臺的低成本單株作物自動三維重建平臺，提出了一種基于旋轉(zhuǎn)臺面特征信息的三維重建方法，以實現(xiàn)單株作物的三維重建，為作物表型參數(shù)的準(zhǔn)確提取提供技術(shù)支持。

1 材料與方法

試驗隨機(jī)選取8株菜心在（1～8號）與8株黃瓜苗（1～8號）兩種形態(tài)結(jié)構(gòu)復(fù)雜程度不同的作物作為研究對象，分別在移栽后的第25、35、45天（D25、D35、D45）進(jìn)行三維重建試驗，該時間段處于葉片的生長期，可以更好地關(guān)注葉片的重建效果。重建流程如圖1所示，分為旋轉(zhuǎn)平臺特征信息的提取和作物三維重建兩部分。調(diào)整Kinect V3位姿使作物與旋轉(zhuǎn)臺面都能夠在相機(jī)成像范圍內(nèi)，對空載旋轉(zhuǎn)臺每旋轉(zhuǎn)36°采集一次旋轉(zhuǎn)臺點云，共采集10視角旋轉(zhuǎn)臺點云，用于獲取旋轉(zhuǎn)臺的法向量與圓心特征信息；之后將目標(biāo)作物置于旋轉(zhuǎn)臺上，使用程序控制旋轉(zhuǎn)臺順時針轉(zhuǎn)動，每隔預(yù)設(shè)角度采集一次原始點云，轉(zhuǎn)盤轉(zhuǎn)過360°后得到多視角原始點云，本試驗預(yù)設(shè)旋轉(zhuǎn)角度為90°和60°兩種方案進(jìn)行對比，即分別采集4和6個視角點云，下文用V3-90與V3-60代替，其中V3代表選用Kinect V3相機(jī)進(jìn)行重建?；谛D(zhuǎn)臺法向量與圓心對原始點云進(jìn)行預(yù)處理與粗配準(zhǔn)，最后使用TrICP算法對多視角點云兩兩實現(xiàn)精配準(zhǔn)，并對完整作物點云進(jìn)行平滑處理以及統(tǒng)計濾波二次處理，優(yōu)化作物三維模型。

完成作物三維建模后，與MVS-SFM算法重建作物點云進(jìn)行對比，統(tǒng)計點云距離誤差，并基于點云計算葉面積，將之與真實測量值進(jìn)行對比以驗證本研究三維重建方法的精度，同時基于本研究的重建方法使用Kinect V2相機(jī)，預(yù)設(shè)90°和60°兩種方案，下文用V2-90與V2-60代替，對同樣作物進(jìn)行三維重建進(jìn)行對比，進(jìn)一步分析Kinect V3在單株作物三維重建中的優(yōu)勢。

1.1 三維重建平臺

三維重建平臺如圖2a所示。該試驗平臺包括Kinect V3以及基于步進(jìn)電機(jī)搭建的可控旋轉(zhuǎn)臺，旋轉(zhuǎn)臺的表面設(shè)計成黃、藍(lán)兩種顏色的同心圓，如圖2b中斜線與豎線填充部分所示，用于計算獲取旋轉(zhuǎn)平臺的平面法向量與圓心。可控旋轉(zhuǎn)臺可以結(jié)合Kinect V3根據(jù)預(yù)設(shè)角度獲取作物多視角點云，并通過本研究提出的重建方法變換到圖2a中所示以旋轉(zhuǎn)臺中心為原點的世界坐標(biāo)系下。

圖1 三維重建流程圖

a.示意圖a. Sketch mapb. 實物圖b. Physical map旋轉(zhuǎn)平臺表面The surface of the turntable

旋轉(zhuǎn)臺以STM32單片機(jī)作為控制器，TB6600作為電機(jī)驅(qū)動器，編程實現(xiàn)兩相步進(jìn)電機(jī)轉(zhuǎn)動角度的精準(zhǔn)控制，帶動旋轉(zhuǎn)臺實現(xiàn)轉(zhuǎn)動功能。其中，步進(jìn)電機(jī)的步距角為1.8°，電機(jī)驅(qū)動器最高可以實現(xiàn)32細(xì)分，細(xì)分后重復(fù)定位精度可達(dá)0.056 25°，減少了手動轉(zhuǎn)動轉(zhuǎn)盤帶來的人為誤差。經(jīng)過試驗將旋轉(zhuǎn)臺的轉(zhuǎn)速設(shè)為每圈36 s，可以帶動作物平穩(wěn)轉(zhuǎn)動。

Kinect V3具有彩色照相機(jī)和深度傳感器，該研究中彩色相機(jī)采用RGBA模式，分辨率為1 920×1 080（像素），深度信息采用寬視場（Wide Field of View，WFOV）非壓縮模式，分辨率為1 024×1 024（像素），幀率15幀/s，工作范圍為0.25～2.21 m。

數(shù)據(jù)采集與處理使用配備Intel core i5 10400處理器、32 GB內(nèi)存以及NVIDIA GeForce RTX 3060 12 G顯卡的圖形工作站，在Visual Studio 2019 編程環(huán)境下，使用Kinect V3驅(qū)動程序Azure Kinect DK開發(fā)包、PCL（Point Cloud Library）點云庫、OpenCV庫、Open3D庫[25]，使用C/C++和python語言混合編程實現(xiàn)點云數(shù)據(jù)采集和數(shù)據(jù)處理。

1.2 旋轉(zhuǎn)臺特征信息獲取

本研究所提出的重建方法需要獲取旋轉(zhuǎn)臺面的平面法向量以及旋轉(zhuǎn)臺圓心坐標(biāo)。首先根據(jù)顏色閾值分割方法將10組旋轉(zhuǎn)臺面的藍(lán)色點云與黃色點云分割出來，如圖3中斜線與豎線區(qū)域所示，其中斜線代表黃色點云，豎線代表藍(lán)色點云；接著使用隨機(jī)采樣一致性算法（Random Sample Consensus，RANSAC）平面檢測方法檢測出各圓所在平面方程，如式（1）所示。

式中平面所在坐標(biāo)系的系數(shù)即為第個圓的平面法向量v=（A, B, C），最終會獲取10組黃、藍(lán)同心圓共20個法向量信息，對3個系數(shù)分別求均值作為旋轉(zhuǎn)臺面法向量。在世界坐標(biāo)系中水平面的法向量是（0, 0, 1），通過矩陣運算計算出旋轉(zhuǎn)平臺表面法向量變換到到世界坐標(biāo)系水平面法向量的水平校準(zhǔn)矩陣1。

將1應(yīng)用到分割后的黃、藍(lán)同心圓點云，使得旋轉(zhuǎn)臺面與世界坐標(biāo)系-平面保持平行，如圖3所示。對10組分割且水平校準(zhǔn)后的黃、藍(lán)同心圓，分別使用凸包檢測算法獲取其外圓輪廓點云，最后使用RANSAC圓擬合算法求解出10組同心圓共20個外圓輪廓點云的圓心坐標(biāo)w，進(jìn)行均值計算作為旋轉(zhuǎn)臺面的圓心=（,），其中、為旋轉(zhuǎn)臺面圓心處于世界坐標(biāo)系中的坐標(biāo)，用于計算點云粗配準(zhǔn)的旋轉(zhuǎn)平移矩陣。完成上述特征信息獲取即可開始作物三維重建。

注：ijk表示旋轉(zhuǎn)臺面所在坐標(biāo)系，v、w表示旋轉(zhuǎn)臺面法向量和中心。

針對旋轉(zhuǎn)臺特征參數(shù)的提取效果，該研究計算同次特征信息獲取的20個法向量間的夾角分析旋轉(zhuǎn)臺面法向量特征計算穩(wěn)定程度，并將提取的旋轉(zhuǎn)臺面圓心坐標(biāo)與cloudcompare軟件中自帶的尋找中心功能求取圓心進(jìn)行對比，分析圓心特征計算準(zhǔn)確度。

1.3 數(shù)據(jù)獲取與預(yù)處理

通過微軟公司推出的Kinect V3配套SDK（Software Development Kit）可編程實現(xiàn)將深度圖像和彩色圖像進(jìn)行像素點匹配，從而獲得三維彩色點云。以V3-90方案中D25-2號菜心為例，所采集的原始點云如圖4所示。

a.0°視角點云a. 0°view anglespoint cloudb. 90°視角點云b. 90°view anglespoint cloudc. 180°視角點云c. 180°view anglespoint cloudd. 270°視角點云d. 270°view anglespoint cloud

使用深度相機(jī)獲取點云數(shù)據(jù)不可避免地會存在一定的噪聲以及背景等無關(guān)點云，導(dǎo)致采集得到的點云數(shù)據(jù)量大。為了減少后續(xù)步驟的計算量，提高重建速度，首先需對點云進(jìn)行預(yù)處理以獲取目標(biāo)植株點云。

1.4 多視角點云配準(zhǔn)

1.4.1 點云粗配準(zhǔn)

式中T表示將旋轉(zhuǎn)臺中心移動到圓心坐標(biāo)=（,）的平移矩陣，R表示第片點云繞旋轉(zhuǎn)臺中心的旋轉(zhuǎn)矩陣。

1.4.2 點云精配準(zhǔn)

Chetverikov等[26]提出的TrICP算法可以通過預(yù)設(shè)兩片點云間的重疊度作為參考值實現(xiàn)點云配準(zhǔn)，有效避免了經(jīng)典ICP算法由于點云的非重疊部分的點所造成的誤差，適用于部分重疊且初始位姿良好的點云配準(zhǔn)。假設(shè)經(jīng)過粗配準(zhǔn)的兩片點云A、B，其點云數(shù)量分別為A、B，其中待配準(zhǔn)點云A有一個個數(shù)為·N的點集合，在滿足距離閾值的前提下其都能在目標(biāo)點云B中找到正確對應(yīng)點，則為點云重疊度。對于經(jīng)過粗配準(zhǔn)且已知重疊度的兩片點云，使用表示迭代次數(shù)，則基于TrICP的點云精配準(zhǔn)步驟如下：1）若迭代次數(shù)小于預(yù)設(shè)值max，對待配準(zhǔn)點云A中的所有點A查找其在目標(biāo)點云B中的最近鄰點B，并計算其距離平方d2；2）對所有d2進(jìn)行排序，保留最小的前個點對（預(yù)設(shè)重疊個數(shù)）作為本次迭代的點集合，并計算點對之間的距離均方誤差d；3）通過奇異值分解法（SingularValueDecomposition，SVD）求解旋轉(zhuǎn)平移矩陣（R，T），用求得的矩陣對待配準(zhǔn)點云A進(jìn)行變換得到新點云A；4）若點對距離均方誤差小于給定閾值或兩次迭代距離均方誤差絕對差值足夠小時停止迭代，否則轉(zhuǎn)到步驟1）。

該研究預(yù)設(shè)90°與60°兩種采集方案，理論上所對應(yīng)的TrICP重疊率應(yīng)設(shè)為50%與66%，每一視角點云以其前一視角點云作為參考，在粗配準(zhǔn)后點云初始位姿良好的基礎(chǔ)上使用TrICP算法實現(xiàn)多視角點云全局精配準(zhǔn)。

1.5 點云二次處理

經(jīng)過上述方法進(jìn)行全局配準(zhǔn)之后的作物點云，因為深度相機(jī)的系統(tǒng)誤差、配準(zhǔn)算法的誤差及葉片之間的遮擋導(dǎo)致最后重建的植株點云表面較為粗糙且出現(xiàn)葉片殘缺、分層現(xiàn)象。本研究還將進(jìn)一步使用移動最小二乘法[27]對點云曲面進(jìn)行平滑處理優(yōu)化三維重建效果，從而提高后續(xù)表型參數(shù)信息提取的精度。

1.6 重建效果評價指標(biāo)

為了檢驗本研究提出的三維重建方法效果，與基于MVS-SFM算法的VisualSFM三維重建軟件[28]從效率、重建點云密度、精度以及相似程度等多因素進(jìn)行比較。不同方法重建的點云尺度不一，且處于不同坐標(biāo)系中，因此首先需要進(jìn)行尺度恢復(fù)，并將不同重建方案的點云變換到同一坐標(biāo)系下，使之高度重疊。統(tǒng)計本研究重建方法所重建點云與參照組之間對應(yīng)點的距離分布，并以均方根誤差（Root Mean Square Error，RMSE）量化分析重建相似度，RMSE越小，代表點云越相似。

為進(jìn)一步分析本研究方法的重建效果，于D45重建試驗中，針對分割后的單葉片葉片點云使用Delaunay 2.5D三角網(wǎng)格化算法進(jìn)行葉片表面重建，并使用拉普拉斯平滑對葉片進(jìn)行平滑處理，基于葉片三角網(wǎng)格近似測量葉面積，并使用萬深LA-S系列葉面積儀對葉片進(jìn)行離體人工測量葉面積作為參考值，驗證三維重建的準(zhǔn)確度。在計算出葉面積后，統(tǒng)計單葉片點云數(shù)量NP葉片點云密度（個/cm2），量化分析葉片重建效果。

2 結(jié)果與分析

2.1 旋轉(zhuǎn)臺特征參數(shù)提取分析

本研究共進(jìn)行了10次旋轉(zhuǎn)臺特征參數(shù)提取分析試驗。試驗結(jié)果表明同一次法向量特征參數(shù)提取的20個同心圓法向量間夾角均小于0.1°，具有穩(wěn)定性，可以用于對點云進(jìn)行水平校準(zhǔn)；進(jìn)一步將所提取的旋轉(zhuǎn)臺面圓心坐標(biāo)與cloudcompare軟件中自帶的尋找中心功能求取圓心進(jìn)行對比，結(jié)果顯示，同一次圓心計算中，20個同心圓圓心與其均值圓心的平均點位距離誤差均值為0.28 cm，求解之后的均值圓心與cloudcompare軟件上所尋求的圓心平均點位距離誤差均值為0.27cm，具有一定的準(zhǔn)確性，可用于粗配準(zhǔn)中作為多視角點云旋轉(zhuǎn)中心。

2.2 點云預(yù)處理結(jié)果

以V3-90方案中D25-2號菜心0°視角原始點云為例，如圖5a所示，其中帶有真實色彩的點云為未經(jīng)過水平校準(zhǔn)的原始點云，可以明顯地看到其與坐標(biāo)系存在傾斜角度，經(jīng)水平校準(zhǔn)后的點云如圖5a中藍(lán)色部分所示，可以看出旋轉(zhuǎn)臺面部分點云與世界坐標(biāo)系-平面平行；使用統(tǒng)計濾波后的效果如圖5b所示，其中紅色點為所計算出來的噪點，可以明顯看出噪聲被合理濾除，所留下的葉片點云邊緣更加分明，點云數(shù)量減少約15%。

a.水平校準(zhǔn)效果a.The effect of horizontal correctionb.統(tǒng)計濾波效果b. The effect of statistical filtering

2.3 配準(zhǔn)結(jié)果及誤差分析

圖6所示為V3-90方案中D25-2號菜心其中兩片相鄰視角點云配準(zhǔn)效果。

a.粗配準(zhǔn)效果a.Effects of coarse registration b.統(tǒng)精配準(zhǔn)效果b. Effects of precise registration

對比發(fā)現(xiàn)，粗配準(zhǔn)的點云存在分層、錯位現(xiàn)象，而精配準(zhǔn)后的點云在相同部位葉片重合度有所提高。統(tǒng)計每次試驗中兩兩相鄰視角點云的距離均方根誤差以量化分析精配準(zhǔn)前后的配準(zhǔn)誤差。結(jié)果顯示，V3-90方案中兩相鄰視角點云粗配準(zhǔn)后的配準(zhǔn)誤差均值為3.84cm，精配準(zhǔn)后配準(zhǔn)誤差均值為2.75cm；V3-60方案中兩相鄰視角點云粗配準(zhǔn)后的配準(zhǔn)誤差均值為2.76cm，精配準(zhǔn)后配準(zhǔn)誤差均值為1.7 cm，對比可以看出精配準(zhǔn)后誤差有所下降，且初始重疊度越高配準(zhǔn)誤差越?。╒3-60方案配準(zhǔn)效果優(yōu)于V3-90方案配準(zhǔn)效果）。

2.4 重建結(jié)果及誤差分析

不同方案下的完整重建效果如圖7所示。對比V3和V2方案重建效果可以明顯看出V3重建后單株作物的點云保留了更多細(xì)節(jié)及紋理信息。V2的深度檢測范圍為0.5 ～4.5 m，深度分辨率為512×424（像素），而V3在WFOV非壓縮模式下深度檢測范圍為0.25～2.21 m，分辨率為1 024×1 024（像素），可以更關(guān)注于目標(biāo)作物而非背景等冗余信息，獲取更多的作物細(xì)節(jié)；對比90°與60°方案可以看出60°方案下重建的作物更完整，而在90°重建方案中出現(xiàn)了點云缺失的情況，這一現(xiàn)象在V2上更為明顯。綜上，在本試驗中優(yōu)選V3-60方案作為作物的重建方案。

注：V3、V2分別代表利用Kinect V3和Kinect V2相機(jī)采集。-60、-90分別代表預(yù)設(shè)旋轉(zhuǎn)角度60°和90°。MVS-SFM代表使用MVS-SFM算法所重建的點云。下同。

圖8進(jìn)一步展示了部分V3-60方案下重建的菜心與黃瓜苗點云，從中可以看出Kinect V3在本研究提出的方法下重建的作物點云可以保留部分清晰的紋理與細(xì)節(jié)，但有的葉片紋理則顯得模糊，這一現(xiàn)象黃瓜苗比菜心更加明顯，而圖7中MVS-SFM方案下重建的點云紋理清晰且邊界分明。分析得出該研究使用作物旋轉(zhuǎn)的方式獲取多視角點云，基于拼接的方式進(jìn)行重建，而旋轉(zhuǎn)過程中難免出現(xiàn)作物晃動現(xiàn)象，導(dǎo)致重建后的葉片出現(xiàn)分層的現(xiàn)象，造成部分葉片紋理細(xì)節(jié)因點云堆疊而模糊，黃瓜苗莖細(xì)且長晃動幅度更大因此該現(xiàn)象更加明顯，而MVS-SFM本身更關(guān)注圖像的紋理特征，因此有更好的紋理細(xì)節(jié)信息。

圖8 V3-60方案部分重建效果

對3個時期的8株菜心和8株黃瓜苗在不同方案下重建的共48組點云數(shù)據(jù)進(jìn)行統(tǒng)計，平均重建時間、重建后單株作物點云數(shù)量均值、以及重建后單株作物點云與參照組點云的平均點對距離均方根誤差如表1所示，Kinect V3比Kinect V2所重建的作物點云數(shù)量更接近MVS-SFM方案下重建的作物點云，進(jìn)一步表明Kinect V3可以獲取更多的作物細(xì)節(jié)。

表1 本研究提出的方法與MVS-SFM算法重建對比

注：為平均重建時間；平均重建點云數(shù)量；RMSEds為平均點對距離均方根誤差。

Note:is average time of reconstruction;is average number of reconstructed point clouds; RMSEdsis average root mean square error of distances sets.

V3-60方案重建的菜心點云與MVS-SFM算法重建的點云點對距離均方根誤差為0.59 cm，其中64.45%點對距離誤差小于0.5 cm，90.63%點對距離誤差小于1cm，黃瓜苗則為0.67cm，其中60.09%點對距離誤差小于0.5 cm，85.45%點對距離誤差小于1 cm，相較于V2方案，均表現(xiàn)出了較高的相似性；而該研究提出的方法平均單株重建速度相較于MVS-SFM算法提升了約90%，更具有工程價值。

圖9展示了部分V3-60方案重建點云與MVS-SFM重建點云間的距離分布，其距離均方根誤差分別為0.58、0.56、0.79 cm，可以看出大體上兩種方法重建點云接近一致，說明本研究重建方法所重建點云與MVS-SFM所重建點云具有較高的相似性。

a. D25-2號菜心a. D25-2 flowering Chinese cabbageb. D45-2號菜心b. D45-2 flowering Chinese cabbagec. D35-1號黃瓜苗c. D35-1 cucumber seedlings

2.5 葉面積提取結(jié)果與誤差分析

在D45重建試驗中，對葉片進(jìn)行離體測量葉面積，剔除小葉片以及建模過程中丟失點云的葉片，最終統(tǒng)計計算31片菜心葉片葉面積與47片黃瓜苗葉片的葉面積以及葉片點云密度。不同方案下重建的單葉片平均點云密度、在本研究提出的方法下測量的葉面積平均絕對誤差、葉面積平均相對誤差及葉面積均方根誤差如表2所示。

表2 單葉片重建效果分析

注：為平均點云密度；AE為平均絕對誤差；RE為平均相對誤差；RMSE為均方根誤差。

Note:average density of point cloud; AE is average absolute error; RE is average relative error; RMSE is root mean square error.

從表2中可以看出，V2方案下重建的葉片點云密度低于V3方案與MVS-SFM方案。高密度的點云在葉片表面重建過程中可以更好地擬合葉片曲面，從而增加細(xì)節(jié)，提高葉面積計算精度，因此相較于V2方案，V3方案與MVS-SFM方案提取的葉面積更為接近真實測量葉面積，誤差更??；由于菜心葉片彎曲程度大，空間結(jié)構(gòu)較為復(fù)雜，而黃瓜苗葉片平整，空間結(jié)構(gòu)較為簡單，本研究所使用的萬深LA-S系列葉面積儀需要將葉片展平，基于葉片二維圖像計算葉面積，測量方法上本身丟失了三維上的空間結(jié)構(gòu)信息，在對菜心葉面積進(jìn)行真實測量的過程中可能由于操作不當(dāng)（未能完全展平）導(dǎo)致葉面積標(biāo)準(zhǔn)參考值本身具有誤差，因此菜心的葉面積誤差略大于黃瓜苗。

3 討 論

本研究所提出的的三維重建方法不受相機(jī)擺放位姿的影響，可以在多場景快速搭建用于作物三維重建，提取完旋轉(zhuǎn)臺特征信息后，在不移動相機(jī)與圓盤的前提下，可以連續(xù)性的對多組植株進(jìn)行快速三維重建，具有靈活性與操作簡便性的優(yōu)點，所重建單株作物點云與MVS-SFM算法重建點云有較高的相似性，而重建速度比后者提高約90%，本研究重建方法由于配準(zhǔn)誤差造成部分紋理因分層而缺失，而MVS-SFM算法本身更關(guān)注紋理特征信息，相比之下本文的配準(zhǔn)精度還有待進(jìn)一步提高。對比Kinect v2，得益于Kinect V3更合理的成像范圍以及更高的分辨率，重建后的點云細(xì)節(jié)與紋理都有所提升。此外，該試驗還基于點云測量了葉面積并與人工測量進(jìn)行對比，以V3-60方案為例，本研究提出的方法重建后菜心葉面積的計算絕對誤差均值為3.23cm2，相對誤差均值為5.88%，均方根誤差為3.83 cm2，黃瓜苗葉面積的計算絕對誤差均值為1.74 cm2，相對誤差均值為6.50%，均方根誤差為2.08 cm2，接近陳輝等[11]與蘇寶峰等[12]基于SFM算法重建植物點云所提取的葉面積誤差，有較高的準(zhǔn)確度。試驗中發(fā)現(xiàn)無論是托普云農(nóng)YMJ-B型夾持式葉面積儀器對葉片在體測量還是本研究所選用的萬深LA-S系列葉面積儀對葉片進(jìn)行離體測量，對于像菜心、黃瓜苗這種葉片柔軟的作物都會造成一定的損傷，而在三維重建的基礎(chǔ)上測量作物的葉面積可以在精度得以保證的前提下，實現(xiàn)真正意義上的在體無損檢測。

進(jìn)一步分析本研究方法的誤差來源主要包括：

1）使用傳感器獲取點云難以避免出現(xiàn)點云近密遠(yuǎn)疏的情況，本研究使用單一預(yù)設(shè)值的統(tǒng)計濾波算法無法達(dá)到最優(yōu)濾波效果，且在實際應(yīng)用中難免會因為植物本身的莖、葉片等的相互遮擋，出現(xiàn)部分信息缺失的情況。

2）胡楊[29]指出使用ToF原理的深度相機(jī)會因為葉片本身的材質(zhì)使得相機(jī)所發(fā)出的測量光線在葉片內(nèi)部產(chǎn)生折射和透射，導(dǎo)致測量的葉片點云偏離真實值，從而導(dǎo)致從多角度獲取的同一葉片點云出現(xiàn)分層現(xiàn)象；本研究在試驗過程中發(fā)現(xiàn)旋轉(zhuǎn)臺轉(zhuǎn)動時的不平穩(wěn)會導(dǎo)致植株晃動，也將造成重建的植株點云出現(xiàn)葉片分層現(xiàn)象。

下一步可以研究缺失點云的補(bǔ)全方法，進(jìn)一步提升重建完整度；也可以繼續(xù)優(yōu)化配準(zhǔn)算法，結(jié)合改進(jìn)的非剛性迭代最近點算法（Nonrigid Iterative Closest Point，NICP），進(jìn)一步提高配準(zhǔn)精度，使得重建后的作物點云可以保留更多的細(xì)節(jié)、紋理信息。

4 結(jié) 論

本研究選用Kinect V3相機(jī)結(jié)合特殊設(shè)計的旋轉(zhuǎn)臺，以菜心與黃瓜苗為研究對象，通過作物多視角點云采集、旋轉(zhuǎn)臺特征信息獲取、點云預(yù)處理、點云配準(zhǔn)以及點云平滑等步驟實現(xiàn)了單株菜心植株、黃瓜苗植株的快速三維重建，主要結(jié)論如下：

1）提出一種基于Kinect V3與旋轉(zhuǎn)臺法向量與圓心特征的植株三維重建方法，并與多視圖立體視覺-運動恢復(fù)結(jié)構(gòu)（Multi-View Stereo and Structure From Motion，MVS-SFM）算法進(jìn)行對比。本研究方法重建的菜心點云與MVS-SFM算法重建的點云距離誤差為0.59 cm，其中64.45%點對距離誤差小于0.5 cm，90.63%點對距離誤差小于1 cm，黃瓜苗點云距離誤差為0.67 cm，其中60.09%點對距離誤差小于0.5 cm，85.45%點對距離誤差小于1 cm，相似程度高，但重建速度更快，提高了約90%，且操作簡單，更具有工程意義，適用于大規(guī)模的植物表型檢測任務(wù)；相比Kinect V2，Kinect V3有更適用于作物三維重建的性能參數(shù)，可以更有效關(guān)注作物的細(xì)節(jié)信息。

2）通過三角網(wǎng)格化算法對單葉片點云進(jìn)行表面重建以獲取葉面積，菜心葉片面積、黃瓜苗葉片面積與標(biāo)準(zhǔn)參考值的絕對誤差均值分別為3.23、1.74cm2，相對誤差均值分別為5.88%、6.50%，均方根誤差分別為3.83、2.08 cm2，驗證了本研究重建方法可用于提取作物表型信息，具有一定的準(zhǔn)確性。

[1] 徐凌翔，陳佳瑋，丁國輝，等. 室內(nèi)植物表型平臺及性狀鑒定研究進(jìn)展和展望[J]. 智慧農(nóng)業(yè)（中英文），2020，2(1)：23-42.

Xu Lingxiang, Chen Jiawei, Ding Guohui, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart Agriculture, 2020, 2(1): 23-42. (in Chinese with English abstract)

[2] 趙春江. 植物表型組學(xué)大數(shù)據(jù)及其研究進(jìn)展[J]. 農(nóng)業(yè)大數(shù)據(jù)學(xué)報，2019，1(2)：5-18.

Zhao Chunjiang. Big Data of plant phenomics and its research progress[J]. Journal of Agricultural Big Data, 2019, 1(2): 5-18. (in Chinese with English abstract)

[3] Houle D, Govindaraju D R, Omholt S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-66.

[4] 何海清，嚴(yán)椰麗，凌夢云，等. 結(jié)合三維密集點云的無人機(jī)影像大豆覆蓋度提取[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(2)：201-209.

He Haiqing, Yan Yeli, Ling Mengyun, et al. Extraction of soybean coverage from UAV images combined with 3D dense point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 201-209. (in Chinese with English abstract)

[5] Ma H, Zhu X, Ji J T, et al. Rapid estimation of apple phenotypic parameters based on 3D reconstruction[J]. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 180-188.

[6] 黃成龍，李曜辰，駱樹康. 基于結(jié)構(gòu)光三維點云的棉花幼苗葉片性狀分析方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2019，50(8)：243-248，288.

Huang Chenglong, Li Yaochen, Luo Shukang, et al. Cotton seedling leaf traits extraction method from 3D point cloud based on structured light imaging[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(8): 243-248, 288. (in Chinese with English abstract)

[7] 柴宏紅，邵科，于超，等. 基于三維點云的甜菜根表型參數(shù)提取與根型判別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(10)：181-188.

Chai Honghong, Shao Ke, Yu Chao, et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 181-188. (in Chinese with English abstract)

[8] Liu J G, Xu X M, Liu Y H, et al. Quantitative potato tuber phenotyping by 3D imaging[J]. Biosystems Engineering, 2021, 210: 48-59.

[9] 趙明巖，林敏，徐鵬，等. 基于三維重構(gòu)的哈蜜瓜均瓣雕花算法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(19)：276-283.

Zhao Mingyan, Lin Min, Xu Peng, et al. Algorithm for the uniform petal carving of Hami melon based on three-dimensional reconstruction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 276-283. (in Chinese with English abstract)

[10] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018(5): 1079-1088.

[11] 陳輝，王婷婷，代作曉，等. 基于運動恢復(fù)結(jié)構(gòu)的無規(guī)則植物葉片面積三維測量方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2021，52(4)：230-238.

Chen Hui, Wang Tingting, Dai Zuoxiao, et al. 3D measurement method for area of irregular plant leaf based on structure from motion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 230-238. (in Chinese with English abstract)

[12] 蘇寶峰，劉易雪，王琮，等. 基于三維點云的葉面積估算方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2019，50(12)：240-246，254.

Su Baofeng, Liu Yixue, Wang Cong, et al. Leaf area estimation method based on three-dimensional point cloud[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 240-246, 254. (in Chinese with English abstract)

[13] Su W, Zhang M Z, Liu J M, et al. Automated extraction of corn leaf points from unorganized terrestrial LIDAR point clouds[J]. International Journal of Agricultural and Biological Engineering, 2018, 11(3), 166-170.

[14] 朱超，苗騰，許童羽，等. 基于骨架的玉米植株三維點云果穗分割與表型參數(shù)提取[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(6)：295-301.

Zhu Chao, Miao Teng, Xu Tongyu, et al. Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 295-301. (in Chinese with English abstract)

[15] Ji L, Tang L. Developing a low-cost 3D plant morphological traits characterization system[J]. Computers & Electronics in Agriculture, 2017, 143: 1-13.

[16] Guo Q H, Wu F F, Pang S X, et al. Crop 3D—A LiDAR based platform for 3D high-throughput crop phenotyping[J]. Science China Life Sciences, 2018, 61(3): 1-12.

[17] 陸健強(qiáng)，蘭玉彬，毋志云，等. 植物三維建模ICP點云配準(zhǔn)優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(2)：183-191.

Lu Jianqiang, Lan Yubin, Wu Zhiyun, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 183-191. (in Chinese with English abstract)

[18] 彭程，李帥，苗艷龍，等. 基于三維點云的番茄植株莖葉分割與表型特征提取[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(9)：187-194.

Peng Cheng, Li Shuai, Miao Yanlong, et al. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 187-194. (in Chinese with English abstract)

[19] Zhou S Z, Kang F, Li W B, et al. Point cloud registration for agriculture and forestry crops based on calibration balls using kinect v2[J]. International Journal of Agricultural and Biological Engineering, 2020, 13(1), 198-205.

[20] 付昱興，李承明，朱江，等. Alpha-shape算法構(gòu)建棗樹點云三維模型[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(22)：214-221.

Fu Yuxing, Li Chengming, Zhu Jiang, et al. Three-dimensional model construction method and experiment of jujube tree point cloud using Alpha-shape algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 214-221. (in Chinese with English abstract)

[21] 鄭立華，王露寒，王敏娟，等. 基于Kinect相機(jī)的油麥菜自動化三維點云重建[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2021，52(7)：159-168.

Zheng Lihua, Wang Luhan, Wang Minjuan, et al. Automated 3D reconstruction of leaf lettuce based on kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 159-168. (in Chinese with English abstract)

[22] Sun G, Wang X. Three-dimensional morphological measurement method for a fruit tree canopy based on kinect sensor self-calibration[J]. Agronomy, 2019, 9, 741.

[23] Hu Y, Wang L, Xiang L R, et al. H. Automatic non-destructive growth measurement of leafy vegetables based on kinect[J]. Sensors, 2018, 18(3), 806.

[24] 李修華，魏鵬，何嘉西，等. 基于Kinect V3深度傳感器的田間植株點云配準(zhǔn)方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(21)：45-52.

Li Xiuhua, Wei Peng, He Jiaxi, et al. Field plant point cloud registration method based on Kinect V3 depth sensors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 45-52. (in Chinese with English abstract)

[25] Zhou Q Y, Park J, Koltun V. Open3D: A modern library for 3D data processing[EB/OL]. arXiv preprint arXiv:1801.09847, 2018 [2022-05-21] http://open3d.org/.

[26] Chetverikov D, Stepanov D, Krsek P. Robust Euclidean alignment of 3D point sets: The trimmed iterative closest point algorithm[J]. Image and Vision Computing, 2005, 23(3): 299-309.

[27] 曾清紅，盧德唐. 基于移動最小二乘法的曲線曲面擬合[J]. 工程圖學(xué)學(xué)報，2004，25(1)：84-89.

Zeng Qinghong, Lu Detang. Curve and surface fitting based on moving least square method[J]. Journal of Engineering Graphics, 2004, 25(1): 84-89. (in Chinese with English abstract)

[28] Wu C C. VisualSFM: A visual structure from motion system[EB/OL].[2022-05-21] http://ccwu.me/vsfm/,2011.

[29] 胡楊. 基于深度相機(jī)的葉菜類作物三維重建與生長測量方法研究[D]. 杭州：浙江大學(xué)，2018.

Hu Yang. Study on 3D Reconstruction and Growth Measurement Methods for Leafy Crops Based on Depth Camera[D]. Hangzhou: Zhejiang University, 2018. (in Chinese with English abstract)

Automatic 3D reconstruction and verification of an individual crop using Kinect V3

Chen Haibo1,4, Liu Shengbo2,4, Wang Lele2,4, Wang Chaofeng2,4, Xiang Xinglan3, Zhao Yingjie2,4, Lan Yubin2,4※

(1.,,510642,;2.,,510642,;3.,,510642,;4.,510642,)

3D point clouds can be expected to acquire plant phenotypic traits at present. The damage to crops can be reduced significantly, compared with the traditional manual direct contact measurement. The measurement errors caused by the occlusion between leaves and leaf curl in the two-dimensional images can also be avoided. In this study, a 3D reconstruction system was proposed using Kinect V3, in order to efficiently and accurately reconstruct 3D models of individual crops for the nondestructive measurements of crop phenotype traits by the point cloud. A turntable was also built using a stepping motor. The table surface was designed into multi-color concentric circles. The plane normal vector and central point of the turntable were calculated automatically using concentric circles, which were used for the horizontal alignment of the point cloud and for the calculation of the transformation matrix between multi-view point clouds. The point clouds of crops captured at the multiple view angles by Kinect V3 were transformed to the same coordinate system for the coarse registration using the transformation matrix. Then, the Trimmed Iterative Closest Point (TrICP) was used for the precise registration, thereby completing the 3D reconstruction of individual crops. More importantly, Chinese flowering cabbage and cucumber seedlings were selected as the experimental objects for the 3D reconstruction. Firstly, the reference point clouds were reconstructed by the Multi-View Stereo and Structure From Motion (MVS-SFM). The reason was that the MVS-SFM previously presented sufficient accuracy for the crop 3D reconstruction and high-throughput crop phenotyping analysis. A counting was performed on the distribution frequency for the set of distances between the reconstructed and reference point cloud. The results show that the reconstruction speed of the proposed model was improved by about 90%, compared with the MVS-SFM. In the Chinese flowering cabbage, the average error of distance between the reconstructed and the reference point clouds was 0.59 cm; while 64.45% and 90.63% of the distances sets were less than 0.5 and 1.0 cm, respectively. In the cucumber seedlings, the average error of distance was 0.67cm; while 60.09% and 85.45% of the distances sets were less than 0.5 and 1.0 cm, respectively. Both of the groups showed a high level of overlap. Secondly, the single leaf area was extracted by calculating the area of the surface mesh model that was reconstructed using the Delaunay triangular meshing algorithm. The Root Mean Square Error (RMSE) and the average relative error of the Chinese flowering cabbage leaf area were 3.83 cm2and 5.88%, respectively, compared with the manual measurement using a leaf area meter. The RMSE and the average relative error of cucumber seedling leaf area were 2.08 cm2and 6.50%, respectively. Both of the groups showed high correlation and accuracy. In addition, the Kinect V3 was compared with the predecessor, Kinect v2, indicating sufficient accuracy for the crop 3D reconstruction. The results show that the Kinect V3 can be used to capture much denser point clouds than the Kinect V2, indicating the high accuracy of crop 3D reconstruction and extraction of leaf area. The proposed model can be expected to quickly reconstruct the individual crops and then effectively extract the leaf area parameters, indicating that it can provide efficient technical tools and data support for crop breeding, cultivation, and agricultural production.

crops; 3D reconstruction; registration of point cloud; leaf area; characteristic information of turntable; Kinect V3

10.11975/j.issn.1002-6819.2022.16.024

TP391.4

A

1002-6819(2022)-16-0215-09

陳海波，劉圣搏，王樂樂，等. 基于Kinect V3的單株作物自動化三維重建與驗證[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(16)：215-223.doi：10.11975/j.issn.1002-6819.2022.16.024 http://www.tcsae.org

Chen Haibo, Liu Shengbo, Wang Lele, et al. Automatic 3D reconstruction and verification of an individual crop using Kinect V3[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 215-223. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.024 http://www.tcsae.org

2022-05-21

2022-08-10

嶺南現(xiàn)代農(nóng)業(yè)實驗室科研項目（NT2021009）；廣東省重點領(lǐng)域研發(fā)計劃項目（2019B020214003）；廣東省青年基金項目（2021A1515110554）

陳海波，博士，高級實驗師，研究方向為農(nóng)業(yè)機(jī)械化智能化及信息化。Email：huanongchb@scau.edu.cn

蘭玉彬，博士，教授，博士生導(dǎo)師，研究方向為精準(zhǔn)農(nóng)業(yè)航空。Email：ylan@scau.edu.cn