肖順?lè)?，劉升平，李世娟，杜鳴竹，呂純陽(yáng)，劉大眾，楊菲菲，劉航

改進(jìn)區(qū)域增長(zhǎng)算法的植株多視圖幾何重建

肖順?lè)?，劉升平，李世娟，杜鳴竹，呂純陽(yáng)，劉大眾，楊菲菲，劉航

（中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081）

【】通過(guò)研究3種不同復(fù)雜程度植株冠層的三維重建，為更加精準(zhǔn)獲取植株冠層表型參數(shù)提供新方法。【】本文首先用單反相機(jī)獲取3種不同復(fù)雜程度植株冠層圖片序列，通過(guò)三維重建得到各植株稠密點(diǎn)云；隨后還原植株點(diǎn)云原始尺度，過(guò)濾稠密點(diǎn)云中的噪聲，再使用改進(jìn)區(qū)域增長(zhǎng)算法分割植株點(diǎn)云冠層；之后借助激光掃描儀，利用手動(dòng)測(cè)量和激光掃描方法分別從二維和三維兩個(gè)方面對(duì)多視圖幾何重建的葉片進(jìn)行精度評(píng)價(jià)，二維精度評(píng)價(jià)為葉片長(zhǎng)寬的實(shí)際測(cè)量值分別與激光掃描儀獲取的葉片的長(zhǎng)寬值和多視圖幾何重建葉片的長(zhǎng)寬值進(jìn)行統(tǒng)計(jì)分析，三維精度評(píng)價(jià)使用傳統(tǒng)的網(wǎng)格對(duì)比方法豪斯多夫距離與更加精準(zhǔn)的工業(yè)級(jí)網(wǎng)格3D精度對(duì)比檢測(cè)軟件Geomagic Qualify?！尽慷嘁晥D幾何重建的植株葉片表型信息與手動(dòng)測(cè)量值間的判定系數(shù)（R）均高于0.96，激光掃描方法獲取的植株葉片表型信息與手動(dòng)測(cè)量值間的判定系數(shù)（R）均高0.99；多視圖幾何重建的葉片與激光掃描得到的葉片在0—±1mm偏差范圍內(nèi)的比例大部分達(dá)到97%以上；以激光掃描的葉片網(wǎng)格為參考，多視圖幾何重建的葉片網(wǎng)格的豪斯多夫距離90%以上分布在0—2 mm。本研究的多視圖幾何重建方法與改進(jìn)區(qū)域增長(zhǎng)算法相結(jié)合能對(duì)不同復(fù)雜程度的植株取得比較理想的重建結(jié)果。【】本文提出的多視圖幾何方法與改進(jìn)區(qū)域增長(zhǎng)算法相結(jié)合的重建方法可以彌補(bǔ)區(qū)域增長(zhǎng)算法的不足，對(duì)表面不平滑的植株冠層具有更好的分割效果，適合不同復(fù)雜程度植株三維重建，為育種研究獲取植株表型提供一定的參考。

多視圖幾何；三維重建；植株；區(qū)域增長(zhǎng)算法；數(shù)碼相機(jī)

0 引言

【研究意義】自2014年以來(lái)，全世界糧食不足人數(shù)不斷增長(zhǎng)，2017年達(dá)到8.21億，約占全世界人口的9%[1]。未來(lái)幾十年中，人類(lèi)將面臨巨大的糧食挑戰(zhàn)，為提高全球糧食的產(chǎn)量，改良育種與栽培管理至關(guān)重要。高效改良育種與優(yōu)化栽培的基礎(chǔ)是深入理解與描述植株的功能與結(jié)構(gòu)，其依賴(lài)于將植株表型性狀與基因組結(jié)合起來(lái)，通過(guò)表型解析復(fù)雜的遺傳性狀[2-3]，因此，研究植株三維重建的方法，獲取更加精準(zhǔn)的植株表型對(duì)于改良育種乃至解決全球糧食不足問(wèn)題具有重要意義?！厩叭搜芯窟M(jìn)展】大數(shù)據(jù)時(shí)代的到來(lái)，傳統(tǒng)的人工測(cè)量植株表型的方法無(wú)法獲取高通量表型信息，不能滿(mǎn)足表型與基因型分析[4]。為解決這個(gè)問(wèn)題，許多研究人員用不同傳感器技術(shù)開(kāi)展研究，如雙目立體視覺(jué)法[5-6]、激光掃描法[7-9]，深度相機(jī)法[10-13]等。其中Chen等[5]在植株工廠(chǎng)上構(gòu)建雙目相機(jī)，對(duì)生菜進(jìn)行三維信息提取，并測(cè)得株高等生物量。Nguyen等[6]利用相機(jī)陣列對(duì)田間不同生長(zhǎng)時(shí)期的向日葵進(jìn)行重建。ElI等[8]提出一種基于激光測(cè)距儀（LRF）精確三維測(cè)量和自動(dòng)數(shù)據(jù)處理的表型分析新方法，通過(guò)對(duì)2個(gè)擬南芥幼苗的三維表面進(jìn)行測(cè)量，成功確定葉片表面方向和葉片表觀方向這2個(gè)新性狀。Paulus等[9]利用高精度激光掃描儀對(duì)大麥的莖葉進(jìn)行表型提取，并且與手動(dòng)測(cè)量表型進(jìn)行對(duì)比，R達(dá)到0.85—0.97。Azzari等[10]利用Kinect一代傳感器獲取2個(gè)物種植株的深度圖像，并將該結(jié)果與手動(dòng)測(cè)量結(jié)果相比較，試驗(yàn)表明深度圖像與人工測(cè)量的植株大小的水平和垂直測(cè)量結(jié)果能很好吻合。Yang等[13]使用kinect V2深度傳感器，利用轉(zhuǎn)盤(pán)旋轉(zhuǎn)植株的方法來(lái)采集紅辣椒的多幅圖像并進(jìn)行三維重建，實(shí)現(xiàn)三維重建的系統(tǒng)配置和算法實(shí)現(xiàn)。上述幾類(lèi)方法雖然可以獲取高精度的植株點(diǎn)云，但是儀器過(guò)于昂貴，且對(duì)于環(huán)境要求比較但嚴(yán)格，對(duì)探測(cè)距離也有一定的要求，在一定程度上限制他們的使用。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的三維重建方法（structure from motion，SFM），利用多幅連續(xù)拍攝的植株二維照片來(lái)重建稀疏點(diǎn)云，該方法以其設(shè)備簡(jiǎn)單、環(huán)境限制小且不受室外環(huán)境干擾等特點(diǎn)在重建植株三維特征方面更加具有優(yōu)勢(shì)。研究人員多將運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法（structure from motion，SFM）與多視圖立體視覺(jué)（multiple view stereo，MVS）結(jié)合，生成稠密的植株點(diǎn)云，再使用區(qū)域增長(zhǎng)算法，分割植株冠層，從而提取冠層表型參數(shù)[14-15]?！颈狙芯壳腥朦c(diǎn)】目前，許多研究者僅僅使用區(qū)域增長(zhǎng)算法[16]分割冠層，該算法僅僅以法線(xiàn)和曲率為分割條件，為保證植株冠層完全分割，分割后的各個(gè)植株葉片均有部分點(diǎn)云被歸于未分類(lèi)的紅色點(diǎn)云而被丟棄，且隨著冠層葉片越小、葉片表面起伏越大，該現(xiàn)象越明顯[14-15]。為彌補(bǔ)區(qū)域增長(zhǎng)算法[16]的不足，許多研究者多先使用區(qū)域增長(zhǎng)算法分割冠層，得到單獨(dú)葉片點(diǎn)云，再進(jìn)行網(wǎng)格化，對(duì)網(wǎng)格存在的漏洞與凸起進(jìn)行修復(fù)與平滑[14-15]。該方法應(yīng)用于面積較大且表面平滑的植株時(shí)，精度滿(mǎn)足要求，但是對(duì)于一些冠層葉片較多、葉片面積較小且表面起伏較大的植株而言，該方法會(huì)丟失掉葉片的部分真實(shí)屬性。【擬解決的關(guān)鍵問(wèn)題】本文將SFM與MVS方法結(jié)合，并提出一種基于聚類(lèi)思想的改進(jìn)區(qū)域增長(zhǎng)算法，對(duì)辣椒、黃瓜與番茄3種不同復(fù)雜程度的植株進(jìn)行三維重建。并從二維與三維兩個(gè)維度將重建結(jié)果分別與手動(dòng)測(cè)量數(shù)據(jù)和激光掃描儀數(shù)據(jù)進(jìn)行精度對(duì)比，證實(shí)本文方法對(duì)不同復(fù)雜程度的植株冠層三維重建的可行性，且對(duì)冠層表面起伏較大的植株具有更好的效果。

1 材料與方法

本文利用SFM與MVS方法重建3種植株冠層的三維形態(tài)，選取葉片大而寬且表面略起伏彎曲的黃瓜、葉片小而寬且表面平滑的辣椒以及葉片為羽狀復(fù)葉型的番茄3種植株作為重建對(duì)象。主要步驟如下（圖1）：（1）單反相機(jī)獲取植株圖片序列；（2）植株圖片序列重建得到植株稠密點(diǎn)云并由花盆直徑恢復(fù)植株點(diǎn)云尺度；（3）去除植株噪點(diǎn)并使用改進(jìn)區(qū)域增長(zhǎng)算法分割冠層；（4）激光掃描儀獲取單株植株點(diǎn)云；（5）多視圖幾何重建點(diǎn)云與激光掃描獲取葉片點(diǎn)云分別構(gòu)建表面和平滑表面；（6）獲取多視圖幾何重建葉片網(wǎng)格與激光掃描儀獲取的葉片網(wǎng)格表型參數(shù)（葉片長(zhǎng)與寬），分別與真實(shí)測(cè)量值進(jìn)行精度對(duì)比；（7）多視圖幾何重建葉片表面與激光掃描獲取的葉片表面3D精度對(duì)比。

圖1 植株三維重建與精度評(píng)價(jià)流程圖

1.1 試驗(yàn)環(huán)境

試驗(yàn)在中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所溫室進(jìn)行，溫度維持在18—28℃，濕度維持在40%—50%RH。選取移植15 d后的盆栽黃瓜、辣椒、番茄各2盆作為重建對(duì)象，其中黃瓜為3—4片葉期，辣椒為5—6片葉期，番茄為5—6簇葉期。利用單反相機(jī)（Cannon EOS 5DsR）獲取盆栽圖片序列，有效分辨率為2 200萬(wàn)。采集盆栽時(shí)間為上午10：00—12：00，將待取樣盆栽放置轉(zhuǎn)盤(pán)上，用固定于三腳架上的單反相機(jī)以45°左右的傾角向下拍攝盆栽，相機(jī)鏡頭到盆栽冠層的距離為60—80 cm，相機(jī)與盆栽的位置參照如圖2所示。相機(jī)拍照模式為光圈優(yōu)先模式（AV），拍照時(shí)光圈大小為6.0，感光度（ISO）為1 200。拍照時(shí)，一人控制轉(zhuǎn)盤(pán)，一人采集盆栽照片，轉(zhuǎn)盤(pán)每旋轉(zhuǎn)一個(gè)度數(shù)，待盆栽靜止，使用單反獲取盆栽圖像。分別以4°、5°、6°、7°旋轉(zhuǎn)盆栽360°，最終每盆盆栽分別得到90張、72張、60張、52張圖片用于重建。盆栽激光點(diǎn)云數(shù)據(jù)采集時(shí)間為當(dāng)天的13：00—14：00，三維激光掃描儀選用北京天遠(yuǎn)三維科技有限公司的手持式激光掃描儀FreeScan X3，精度可達(dá)0.03 mm，F(xiàn)reeScan X3將特制標(biāo)記點(diǎn)貼于待掃描物體上，更加精準(zhǔn)拼接不同方位點(diǎn)云。本次試驗(yàn)將標(biāo)記點(diǎn)貼于盆栽附近的輔助工具從而得到完整的盆栽點(diǎn)云信息。

圖2 相機(jī)位置參照

1.2 基于圖像序列的點(diǎn)云重建與去噪

使用基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法（structure from motion）的VisualSFM[17]軟件與基于CMVS算法的CMVS[18]軟件分別實(shí)現(xiàn)圖像序列的稀疏點(diǎn)云與稠密點(diǎn)云重建。流程如圖3所示（以番茄植株為例）。

使用C++語(yǔ)言基于點(diǎn)云庫(kù)PCL（point cloud library）[19]實(shí)現(xiàn)稠密點(diǎn)云的尺度恢復(fù)與去噪。多次測(cè)量稠密點(diǎn)云的花盆直徑，將其平均值與花盆的真實(shí)直徑進(jìn)行對(duì)比，利用得到的尺度信息還原稠密點(diǎn)云。點(diǎn)云去噪包括以下幾個(gè)步驟：（1）顏色濾波過(guò)濾掉背景。植株點(diǎn)云為綠色，噪點(diǎn)一般是藍(lán)色的花盆與棕色土壤，將顏色過(guò)濾條件定為g＞r且g＞b。（2）統(tǒng)計(jì)濾波去掉離群點(diǎn)。

圖3 多視圖幾何生成點(diǎn)云流程圖

1.3 基于改進(jìn)區(qū)域增長(zhǎng)算法的分割算法

改進(jìn)區(qū)域增長(zhǎng)算法流程如下：采用區(qū)域增長(zhǎng)算法[16, 20]對(duì)去噪后點(diǎn)云進(jìn)行初始分割，參數(shù)調(diào)節(jié)至冠層全部分割；采用聚類(lèi)方法，將葉片損失的點(diǎn)云聚類(lèi)回原本葉片，分割冠層的同時(shí)保留完整的葉片點(diǎn)云信息，其中，區(qū)域增長(zhǎng)算法采用C++語(yǔ)言基于點(diǎn)云庫(kù)PCL（point cloud library）[19]實(shí)現(xiàn)，點(diǎn)云的聚類(lèi)算法采用C++語(yǔ)言實(shí)現(xiàn)。

原始的區(qū)域增長(zhǎng)算法[16, 20]按照曲率排序所有點(diǎn)，曲率最小點(diǎn)放入種子點(diǎn)集合，為種子點(diǎn)找到相鄰點(diǎn)。具體步驟如下：（1）測(cè)試種子點(diǎn)與當(dāng)前點(diǎn)的法線(xiàn)角度，如果小于法線(xiàn)閾值，則當(dāng)前點(diǎn)算為該種子點(diǎn)的相鄰點(diǎn)。（2）檢查每個(gè)鄰居點(diǎn)曲率，如果其曲率小于曲率閾值，則該點(diǎn)被添加到種子點(diǎn)集合。（3）檢查后的種子點(diǎn)從種子點(diǎn)集中移除。算法的輸出分為兩部分，一部分是若干個(gè)分好類(lèi)的點(diǎn)集，另外一部分是未分類(lèi)的紅色點(diǎn)集。試驗(yàn)中發(fā)現(xiàn)，閾值設(shè)置得太小時(shí)（number of neighbours：60，smoothness threshold：14.0/180.0×π，curvature threshold：1.0），葉片均可分割開(kāi)，但是部分葉片彎曲部分由于曲率變化太大而被歸于未分類(lèi)的紅色點(diǎn)集（圖4-a）；閾值設(shè)置過(guò)大（number of neighbours：100，smoothness threshold：16.0/180.0×π，curvature threshold：1.5），則不能分開(kāi)曲率與法線(xiàn)較為接近的葉片（圖4-b）。

為分割冠層每片葉片且保留葉片完整的原始點(diǎn)云，改進(jìn)區(qū)域增長(zhǎng)算法的步驟如下：（1）去噪后點(diǎn)云輸入?yún)^(qū)域增長(zhǎng)算法原始分割，設(shè)置較小的法線(xiàn)閾值與曲率閾值完全分割植株冠層（圖4-a）。（2）所有未分類(lèi)紅色點(diǎn)云進(jìn)行歐氏聚類(lèi)，使未分類(lèi)的紅色點(diǎn)云重新聚類(lèi)回原本葉片點(diǎn)云，即循環(huán)所有未分類(lèi)的紅色點(diǎn)云，每個(gè)紅色點(diǎn)云與分割后每個(gè)葉片點(diǎn)云每個(gè)點(diǎn)計(jì)算兩點(diǎn)之間的歐氏距離，如果紅色點(diǎn)云與該葉片點(diǎn)云集合所有點(diǎn)的最小歐氏距離小于閾值，則將紅色點(diǎn)歸入該葉片點(diǎn)云集合，并從紅色點(diǎn)云集合中刪除該點(diǎn)。原始分割的葉片（圖5-a）與改進(jìn)的分割葉片（圖5-b）結(jié)果表明，原始的區(qū)域增長(zhǎng)算法處理后，葉片表面部分曲率過(guò)大的點(diǎn)被劃分到未分類(lèi)紅色點(diǎn)集，而改進(jìn)區(qū)域增長(zhǎng)算法則將這部分點(diǎn)重新聚類(lèi)回其原本的點(diǎn)云中，保留葉片的原始信息。（3）將分類(lèi)后的葉片點(diǎn)云進(jìn)行手動(dòng)處理，將其粘連的葉柄點(diǎn)云去掉。試驗(yàn)中，由于番茄葉片太多，每盆番茄取一簇（5—9片）進(jìn)行分割處理與后續(xù)試驗(yàn)。

圖4 不同參數(shù)的區(qū)域增長(zhǎng)算法對(duì)辣椒植株的分割結(jié)果

1.4 表面重建與參數(shù)提取

表面重建采用C++語(yǔ)言基于點(diǎn)云庫(kù)PCL（point cloud library），實(shí)現(xiàn)貪婪投影三角化算法[21]，該算法的原理是將三維點(diǎn)通過(guò)法線(xiàn)投影到某一平面，然后對(duì)投影得到的點(diǎn)云作平面內(nèi)的三角化，從而得到各個(gè)點(diǎn)的連接關(guān)系。在平面區(qū)域的三角化過(guò)程中用到基于Delaunay的空間區(qū)域增長(zhǎng)算法，通過(guò)選取一個(gè)樣本三角片作為初始曲面，不斷擴(kuò)張曲面邊界，然后形成一張完整的三角網(wǎng)格曲面，最后根據(jù)投影點(diǎn)云的連接關(guān)系確定各原始三維點(diǎn)間的拓?fù)溥B接，所得的三角網(wǎng)格即為重建得到的曲面模型。

該算法能快速三角化點(diǎn)云，但是不能光滑曲面與孔洞修復(fù)。因此，本文隨后采用Geomagic Studio（Raindrop Geomagic, Morrisville，NC，USA）軟件進(jìn)行光滑曲面、孔洞修復(fù)以及葉片曲面參數(shù)的提?。ㄩL(zhǎng)寬）。其中，提取葉長(zhǎng)與葉寬等表型信息時(shí)，葉長(zhǎng)是指從葉基到葉尖的曲面距離，葉寬是與葉長(zhǎng)垂直的最大曲面距離。

1.5 精度對(duì)比

1.5.1 二維精度對(duì)比 激光掃描儀獲取的葉片的長(zhǎng)寬與實(shí)際測(cè)量值進(jìn)行統(tǒng)計(jì)分析，并將多視圖重建葉片的長(zhǎng)寬與實(shí)際測(cè)量值進(jìn)行統(tǒng)計(jì)分析，包括方差分析（ANOVA）、協(xié)方差分析（ANCOVA）、線(xiàn)性回歸等。待評(píng)估值和參照值的吻合程度用均方根誤差（）、和決定系數(shù)（R）進(jìn)行描述。其中公式如下：

式中，p和y分別為第個(gè)待評(píng)估值和參照值；為待評(píng)估值或參照值的個(gè)數(shù)。

1.5.2 三維精度對(duì)比 分別采用傳統(tǒng)的網(wǎng)格比較方法豪斯多夫距離[22]（hausdorff distance）與更加精準(zhǔn)的工業(yè)級(jí)網(wǎng)格3D精度對(duì)比檢測(cè)軟件Geomagic Qualify[23]來(lái)進(jìn)行比較。計(jì)算網(wǎng)格的豪斯多夫距離時(shí)，選取的采樣點(diǎn)為網(wǎng)格的頂點(diǎn)，計(jì)算過(guò)程在Meshlab軟件中實(shí)現(xiàn)，兩個(gè)網(wǎng)格的豪斯多夫距離越大，則兩個(gè)網(wǎng)格的近似程度越低，差別越大。Geomagic Qualify軟件被廣泛應(yīng)用于工業(yè)界的硬件精度對(duì)比，如激光掃描得到的航天發(fā)動(dòng)機(jī)葉片與CAD構(gòu)建的發(fā)動(dòng)機(jī)葉片精度檢測(cè)等[24-25]，具有很高對(duì)比精度。本文多視圖幾何重建葉片3D精度檢測(cè)步驟如下：（1）在Geomagic Qualify將多視圖葉片與激光掃描葉片依次設(shè)置為檢測(cè)對(duì)象與參考對(duì)象，運(yùn)用最佳擬合對(duì)齊，比較2個(gè)葉片曲面的法線(xiàn)方向，當(dāng)法線(xiàn)擬合最多時(shí)，將2個(gè)葉片對(duì)齊。（2）在Geomagic Qualify軟件中運(yùn)用3D對(duì)比，比較2個(gè)曲面的最大偏差、平均偏差以及各個(gè)偏差區(qū)域曲面的概率分布，并生成偏差色譜，便于直觀偏差。（3）將對(duì)齊的多視圖葉片與激光掃描葉片導(dǎo)入Meshlab軟件，計(jì)算豪斯多夫距離，并且統(tǒng)計(jì)不同最大豪斯多夫距離下網(wǎng)格頂點(diǎn)所占所有網(wǎng)格頂點(diǎn)的百分比。

2 結(jié)果

2.1 點(diǎn)云處理結(jié)果

多視圖幾何重建得到的各植株點(diǎn)云如圖6-a所示（均以90張圖片重建為例），由圖可知，3種植株均能很好地展現(xiàn)出三維形態(tài)。改進(jìn)區(qū)域增長(zhǎng)算法得到的分割結(jié)果如圖6-b所示。其中每一種顏色的點(diǎn)云代表一個(gè)葉片；在分割點(diǎn)云基礎(chǔ)上，每片葉片能保留完整的原始點(diǎn)云信息。圖6-c為多視圖幾何重建方法最終得到的各植株的重建效果，葉片能還原比較真實(shí)的三維形態(tài)，并且附帶部分紋理信息。圖-6d為激光掃描的各植株葉片結(jié)果，可知植被葉片很光滑且具有真實(shí)感。

為對(duì)重建植株冠層的表型信息有一個(gè)更加直觀的認(rèn)知，圖7為本次試驗(yàn)重建盆栽（辣椒、黃瓜與番茄各2盆）各葉位葉寬與葉長(zhǎng)的比較示意圖（取90張圖片重建結(jié)果為例）。由圖7可知，同一個(gè)時(shí)期下，黃瓜的葉片的長(zhǎng)與寬最大，辣椒的次之，番茄則最小。隨著葉位的上移，黃瓜與辣椒的葉長(zhǎng)與葉寬都趨向于一個(gè)先增加后減小的趨勢(shì)，但是番茄一簇最上面葉位的葉片一般葉長(zhǎng)與葉寬反而較大。

2.2 精度評(píng)價(jià)

分析表明，黃瓜、辣椒與番茄植株重建精度隨著重建照片數(shù)量下降依次降低（90張、72張、60張、52張），且黃瓜與番茄2種植株在重建照片數(shù)量小于60張時(shí)，點(diǎn)云過(guò)于稀疏，效果不佳，因此精度評(píng)價(jià)不予統(tǒng)計(jì)。

表1為各植株葉片實(shí)際長(zhǎng)寬測(cè)量值分別與激光掃描葉片長(zhǎng)寬值和多視圖重建葉片長(zhǎng)寬值的精度對(duì)比。激光掃描儀掃描精度很高，3種植株2均大于0.99（＜0.01），能夠?yàn)槎嘁晥D重建結(jié)果提供3D精度對(duì)比的參考標(biāo)準(zhǔn)。辣椒和黃瓜的多視圖重建精度比較高，其中，葉片長(zhǎng)度2均高于0.98，葉片寬度2均高于0.99（＜0.05）；番茄的R相比于辣椒和黃瓜較低，為0.96，這是由于番茄葉片為卵形或矩圓形且邊緣不規(guī)則片，在重建過(guò)程中葉片的邊緣重建效果較差，因此測(cè)量葉片的表型參數(shù)時(shí)不準(zhǔn)確。整體來(lái)說(shuō)，基于多視圖重建三維重建精度能夠滿(mǎn)足植株表型獲取植株參數(shù)的需求。

表1 多視圖幾何方法重建植株、激光重建植株的葉片長(zhǎng)度與寬度分別與手動(dòng)測(cè)量值結(jié)果比較

下標(biāo)1代表激光與手動(dòng)測(cè)量值對(duì)比結(jié)果，下標(biāo)2代表多視圖幾何重建與手動(dòng)測(cè)量值結(jié)果

Subscript 1 represents comparison between multi-view geometry reconstruction and manual measurement and subscript 2 represents comparison between laser scanning and manual measurement

圖6 植株點(diǎn)云處理與重建效果圖

圖7 辣椒、黃瓜與番茄葉位與葉長(zhǎng)、葉寬關(guān)系圖

表2為各植株多視圖幾何重建葉片網(wǎng)格與激光掃描儀獲取葉片網(wǎng)格的豪斯多夫距離各區(qū)間概率分布，由表可知，各植株的豪斯多夫距離90%以上均在0—2 mm之間，表明多視圖幾何重建的葉片網(wǎng)格與激光掃描的網(wǎng)格差別較小，重建質(zhì)量較高。

Geomagic Qualify對(duì)比結(jié)果如表3所示，將偏差按照5個(gè)等級(jí)（0-±0.5 mm、0-±1 mm、±1-±1.5 mm、±1.5-±2 mm以及±2-±2.5 mm）進(jìn)行劃分，得到各植株在對(duì)應(yīng)偏差下網(wǎng)格所占的百分比并獲取其整體標(biāo)準(zhǔn)偏差。由表2可知，辣椒的重建效果最優(yōu)，在0-±0.5 mm的偏差范圍內(nèi)其所占比例高達(dá)90%；辣椒、黃瓜與番茄的偏差在0-±1mm上百分比均達(dá)到85%以上，其中辣椒與番茄高達(dá)97%以上，3種植株的整體重建精度都較理想。但相比于番茄與辣椒，黃瓜葉片的重建效果較差，在0-±0.5mm和0-±1mm范圍內(nèi)占比分別在60%和85%左右，且標(biāo)準(zhǔn)偏差較大。這是由于黃瓜葉片面積大、表面有白色柔毛且稍有卷縮，2個(gè)表面的擬合對(duì)齊會(huì)存在一些誤差。另外，由于多視圖照片獲取時(shí)間與激光儀器掃描時(shí)間存在一定的采樣間隔，導(dǎo)致黃瓜在2次數(shù)據(jù)獲取時(shí)邊緣形態(tài)發(fā)現(xiàn)細(xì)微的變化，從而產(chǎn)生精度的下降。一般認(rèn)為，一旦表型性狀的誤差超過(guò)5%，就無(wú)法在育種計(jì)劃中篩選出基因突變體[26]，但本次實(shí)驗(yàn)葉片偏差的5%為1.5—2 mm，3種植株在此范圍內(nèi)的概率分布達(dá)到95%以上，滿(mǎn)足表型精度要求。

表2 基于多視圖幾何與激光掃描的各植株三維模型的豪斯多夫距離各區(qū)間概率分布

表3 基于多視圖幾何重建與激光掃描的各植株葉片偏差概率分布

為更加直觀地分析不同植株葉片重建具體偏差情況，在Geomagic Qualify對(duì)比結(jié)果的基礎(chǔ)上，取辣椒、黃瓜與番茄各1株，對(duì)三維偏差進(jìn)行可視化（圖8）。綠色代表多視圖與激光掃描所得到葉片的擬合度較好，精度較高；紅色和藍(lán)色代表重建精度較差。從圖中可知，辣椒大部分為綠色，重建精度最高；番茄次之；黃瓜大部分區(qū)域也都為綠色，表明重建精度也很高，但是在葉片邊緣以及葉基部分呈現(xiàn)藍(lán)色，表明重建精度較差。這是由于葉片邊緣的彎曲與卷縮造成的。

圖8 基于偏差的植株重建質(zhì)量可視化

3 討論

試驗(yàn)中發(fā)現(xiàn)，不同植株由于冠層結(jié)構(gòu)復(fù)雜度不同，用于重建的圖像數(shù)量以及圖像獲取的方式均有所不同。辣椒在重建圖像達(dá)到50張時(shí)，重建完整度達(dá)到90%。番茄黃瓜則在重建圖像達(dá)到60張以上時(shí)，重建完整度達(dá)到90%。當(dāng)數(shù)量達(dá)到70張以上時(shí)，3種植株重建完整度均可達(dá)到95%以上。拍攝照片時(shí)，由于相機(jī)曝光過(guò)度或者曝光時(shí)間過(guò)長(zhǎng)轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)導(dǎo)致拍攝時(shí)植株晃動(dòng)，都會(huì)造成點(diǎn)云重建精度的丟失，導(dǎo)致后期生成網(wǎng)格的質(zhì)量下降。對(duì)于生長(zhǎng)過(guò)于密集的植株的葉片部分，可以適當(dāng)抬高或者降低相機(jī)，來(lái)獲取更多的有效信息，對(duì)于特別復(fù)雜的作物，則可以使用半球型拍攝方式[27-28]，以滿(mǎn)足高精度的需要。

本文在分割植株冠層時(shí)提出一種改進(jìn)區(qū)域增長(zhǎng)算法，有助于彎曲葉片完整分割，進(jìn)而準(zhǔn)確獲取葉片表型信息。與以往的植株冠層分割不同的是，前人大多僅僅使用區(qū)域增長(zhǎng)算法以法線(xiàn)與曲率為標(biāo)準(zhǔn)來(lái)分割植株冠層，彎曲葉片分割后往往會(huì)丟失部分區(qū)域的點(diǎn)，生成葉片網(wǎng)格之后再進(jìn)行補(bǔ)洞與平滑修復(fù)，由此生成的葉片網(wǎng)格的彎曲區(qū)域會(huì)丟失葉片原來(lái)的真實(shí)形態(tài)[14-15]。本文提出的改進(jìn)區(qū)域增長(zhǎng)算法，先采用區(qū)域增長(zhǎng)算法分割植株冠層，再采用聚類(lèi)的思想，將區(qū)域增長(zhǎng)算法丟失的點(diǎn)聚類(lèi)回來(lái)，保留分割后葉片完整點(diǎn)云，對(duì)于彎曲葉片，具有更加顯著的效果。由本文的多視圖幾何重建葉片網(wǎng)格與激光掃描葉片網(wǎng)格的豪斯多夫距離分析可得，本文的方法與胡鵬程等[15]的研究方法相比，在較大且稍有彎曲的黃瓜葉片的重建精度上，稍有提高；在比較平滑的辣椒等葉片的重建精度上，沒(méi)有較大的改善。

本試驗(yàn)還有一些不足，多視圖三維重建采用手動(dòng)拍攝的圖片序列，過(guò)程復(fù)雜且耗時(shí)，不能大規(guī)模的自動(dòng)化測(cè)量表型信息，且提出的改進(jìn)區(qū)域增長(zhǎng)算法不具有尺度不變性。因此研究自動(dòng)化獲取表型信息的算法與尺度不變的區(qū)域增長(zhǎng)算法是下一步工作之一。隨著深度相機(jī)的發(fā)展，將多視圖重建與深度相機(jī)結(jié)合，利用深度值來(lái)提高重建精度也是一個(gè)趨勢(shì)。此外，在人工智能的沖擊下，基于深度學(xué)習(xí)的三維重建[29-31]也是一個(gè)熱門(mén)的方向，特別是對(duì)于紋理稀疏、非漫反射的物體的三維重建的精度會(huì)有很大的提升。但目前基于深度學(xué)習(xí)的三維重建在植被上的應(yīng)用很少，因此，在未來(lái)結(jié)合深度學(xué)習(xí)進(jìn)一步研究復(fù)雜結(jié)構(gòu)植株三維重建的方法也是下一步工作之一。

4 結(jié)論

本文利用多視圖幾何方法與改進(jìn)區(qū)域增長(zhǎng)算法對(duì)3種不同復(fù)雜程度的植株（葉片大而寬且表面略起伏彎曲的黃瓜、葉片小而寬且表面平滑的辣椒以及葉片為羽狀復(fù)葉型的番茄）冠層進(jìn)行三維重建，評(píng)估其葉片長(zhǎng)寬等表型參數(shù)與手動(dòng)測(cè)量值的精度，并且采用激光掃描儀獲取的葉片網(wǎng)格對(duì)多視圖幾何重建的植株冠層進(jìn)行3D評(píng)估。多視圖幾何重建的葉片長(zhǎng)寬等表型參數(shù)的精度，與手動(dòng)測(cè)量的對(duì)照值的2均大于0.96（＜0.05）；激光掃描儀獲取的葉片網(wǎng)格與多視圖幾何重建葉片的網(wǎng)格的偏差基本都在±1mm范圍內(nèi)，其中，辣椒、番茄所占比例均高于97%；多視圖幾何重建葉片的網(wǎng)格與激光掃描儀獲取的葉片網(wǎng)格的豪斯多夫距離90%以上均在0—2 mm之間。該分析結(jié)果表明，本文提出的多視圖幾何方法與改進(jìn)區(qū)域增長(zhǎng)算法相結(jié)合的重建方法可以彌補(bǔ)區(qū)域增長(zhǎng)算法的不足，適合不同復(fù)雜程度植株三維重建，為育種研究獲取植株表型提供一定的參考。

[1] 糧農(nóng)組織, 農(nóng)發(fā)基金, 兒基會(huì), 糧食署, 世衛(wèi)組織. 2018年世界糧食安全和營(yíng)養(yǎng)狀況:增強(qiáng)氣候抵御能力,促進(jìn)糧食安全和營(yíng)養(yǎng). 羅馬: 糧農(nóng)組織, 2018.

Food and Agriculture Organization, International Fund for Agricultural Development, United Nations Children's Fund, The World Food Programme, World Health Organization.. Rome: FAO, 2018. (in Chinses)

[2] DAVID H, GOVINDARAJU D R, STIG O. Phenomics: the next challenge, 2010, 11(12): 855-866.

[3] KLODT M, HERZOG K, T?PFER R, CREMERS D. Field phenotyping of grapevine growth using dense stereo reconstruction, 2015, 16(1): 1-11.

[4] FURBANK R T, TESTER M. Phenomics-technologies to relieve the phenotyping bottleneck, 2011, 16(12): 635-644.

[5] CHEN W T, YEH Y H F, LIU T Y, LIN T T. An automatic plant growth measurement system for plant factory, 2013, 46(4): 323-327.

[6] NGUYEN T T, SLAUGHTER D C, TOWNSLEY B, CARRIEDO L, MALOOF J N, SINHA N. Comparison of structure-from-motion and stereo vision techniques for full in-field 3D reconstruction and phenotyping of plants: An investigation in sunflower//. American Society of Agricultural and Biological Engineers(ASABE), Orlando, Florida, USA, 2016.

[7] DORNBUSCH T, WERNECKE P, DIEPENBROCK W. A method to extract morphological traits of plant organs from 3D point clouds as a database for an architectural plant model, 2007, 200(1): 119-129.

[8] ELI K, NAOHIKO H, YUKO T, NAOKI Y, NOBUHARU G, NAOKI O, AKIHIKO K, MINAMI M, TETSURO T. Automatic quantification of morphological traits via three-dimensional measurement of Arabidopsis, 2010, 38(2): 358-365.

[9] PAULUS S, SCHUMANN H, KUHLMANN H, LéON J. High- precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants, 2014, 121(18): 1-11.

[10] AZZARI, GEORGE, GOULDEN, MICHAEL L, RUSU, RADU B. Rapid characterization of vegetation structure with a Microsoft Kinect Sensor, 2013, 13(2): 2384-2398.

[11] M H V D G W A, SONG Y, HORGAN G, POLDER G, DIELEMAN J A, BRINK M C A M, PALLOIX A, EEUWIJK V F A, GLASBEY C. SPICY: towards automated phenotyping of large pepper plants in the greenhouse, 2012, 39(10/11): 870-877.

[12] SONG Y, GLASBEY C A, POLDER G, van der HEIJDEN G W A M. Non-destructive automatic leaf area measurements by combining stereo and time-of-flight images, 2014, 8(5): 391-403.

[13] YANG M, CUI J S, JEONG E S, CHO S I. Development of high-resolution 3D phenotyping system using depth camera and RGB camera. American Society of Agricultural and Biological Engineers (ASABE), Spokane, Washington, USA, 2017.

[14] HUI F, ZHU J Y, HU P C, MENG L, ZHU B L, GUO Y, LI B G, MA Y T. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations, 2018, 121(5): 1079-1088.

[15] 胡鵬程, 郭焱, 李保國(guó), 朱晉宇, 馬韞韜. 基于多視角立體視覺(jué)的植株三維重建與精度評(píng)估農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(11): 209-214.

Hu P C, GUO Y, Li B G, Zhu J Y, Ma Y T. Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method., 2015, 31(11): 209-214. (in Chinese)

[16] RABBANI T, HEUVEL F A V D, VOSSELMAN G. Segmentation of point clouds using smoothness constraint., 2006, 36(5): 248-253.

[17] WU C C. VisualSFM: A visual structure from motion system. http://www.cs.washington.edu/homes/ccwu/vsfm, 2011.

[18] FURUKAWA Y, PONCE J. Accurate, dense, and robust multiview stereopsis, 2010, 32(8): 1362-1376.

[19] RUSU R B, COUSINS S. 3D is here: Point cloud library (PCL)//. Institute of Electrical and Electronic Engineers(IEEE), Shanghai, China, 2011.

[20] RUSU R B, MARTON Z C, BLODOW N, DOLHA M, BEETZ M. Towards 3D Point cloud based object maps for household environments, 2008, 56(11): 927-941.

[21] DICKERSON M T, DRYSDALE R L S, MCELFRESH S A, WELZL E. Fast greedy triangulation algorithms, 1997, 8(2): 67-86.

[22] CIGNONI P, ROCCHINI C, SCOPIGNO R. Metro: measuring error on simplified surfaces., 1998, 17(2): 167-174.

[23] 杰魔軟件有限公司. 三維檢測(cè)軟件Geomagic Qualify航空制造技術(shù), 2009(20): 99-99.

Geomagic Software Co., Ltd. 3D detection software of Geomagic Qualify., 2009(20): 99-99. (in Chinese)

[24] 陳細(xì)濤. 航空葉片原位檢測(cè)方法與實(shí)驗(yàn)研究[D]. 武漢: 華中科技大學(xué), 2012.

CHEN X T. Aero-engine blade in-situ inspection method and its experimental study[D]. WuHan: Huazhong University of Science and Technology, 2012. (in Chinese)

[25] 王秀鵬. 基于面結(jié)構(gòu)光的航空零部件三維測(cè)量和精度檢測(cè)[D]. 武漢: 華中科技大學(xué), 2012.

WANG X P. The Measurement and accuracy of detection for the aviation parts and components based on structured light 3D[D]. WuHan: Huazhong University of Science and Technology, 2012. (in Chinese)

[26] LEWIN R. Proposal to sequence the human genome stirs debate, 1986, 232(4758): 1598-1600.

[27] NGUYEN C V, FRIPP J, LOVELL D R, FURBANK R, KUFFNER P, DAILY H, SIRAULT X. 3D scanning system for automatic high- resolution plant phenotyping//. Institute of Electrical and Electronic Engineers(IEEE), Gold Coast, Australia, 2016.

[28] NGUYEN T T, SLAUGHTER D C, TOWNSLEY B T, CARRIEDO L, MALOOF J N, SINHA N. In-field plant phenotyping using multi- view reconstruction: an investigation in eggplant//. The International Society of Precision Agriculture, St. Louis, Missouri, USA, 2016.

[29] GALLIANI S, LASINGER K, SCHINDLER K. Massively parallel multiview stereopsis by surface normal diffusion//. Institute of Electrical and Electronic Engineers(IEEE), Santiago, Chile, 2015.

[30] JI M Q, GALL J, ZHENG H T, LIU Y B, LU F. SurfaceNet: An end-to-end 3D neural network for multiview stereopsis. Institute of Electrical and Electronic Engineers(IEEE), Venice, Italy, 2017.

[31] YAO Y, LUO Z, LI S, TIAN F, LONG Q. MVSNet: Depth inference for unstructured multi-view stereoInstitute of Electrical and Electronic Engineers(IEEE), Munich, Germany, 2018.

Multi-View geometric reconstruction of plant based on improved region-Growing algorithm

XIAO ShunFu, LIU ShengPing, LI ShiJuan, DU MingZhu, Lü ChunYang, LIU DaZhong, YANG FeiFei, LIU Hang

(Agricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100081)

【】Three-dimensional reconstruction of three kinds of plants canopy with different levels of complexity was studied to provide a new method for more accurate acquisition of plants canopy phenotypic characteristics. 【】In this paper, a sequence of pictures of three kinds of plant canopy with different levels of complexity were gotten by using a SLR camera, and dense point clouds of plants were gotten by using three-dimensional reconstruction method. Then, the original scale of dense point clouds of plants was restored, and noisy point of dense point clouds and segmenting plants canopy were filtered by using improved region-growing algorithm with the help of laser scanner, then the accuracy of leaves reconstructed from multi-view geometry method was evaluated from two-dimensional and three-dimensional aspects by manual measurement and laser scanning. Two-dimensional accuracy evaluation was carried out by statistical analysis of actual measured values of leaves length and width and comparing with leaves length and width reconstructed by multi-view geometry method and leaves length and width obtained by laser scanner, respectively. Three-dimensional accuracy was evaluated by using the traditional mesh comparison method Hausdorff distance and Geomagic Qualify software, which was a better accurate 3D accuracy comparison software in industrial meshes comparing. 【】The results showed that the judgment coefficients (R) between the phenotypic information of plants leaves and manual measurements were higher than 0.96. The judgment coefficients (R) between the phenotypic information of plant leaves obtained by laser scanning and manual measurements were higher than 0.99. The proportion of leaves obtained by multi-view geometric reconstruction and laser scanning was more than 97% in the deviation range of 0-±1 mm. Taking the leaves mesh scanned by laser as a reference, more than 90% of the Hausdorff distance of the leaves mesh reconstructed by multi-view geometry was between 0-2 mm. It was proved that the combination of the multi-view geometric reconstruction method with the improved region-growing algorithm could achieve ideal reconstruction results for plants with different complexity. 【】The reconstruction method combining multi-view geometry method with the improved region-growing algorithm proposed in this paper could make up for the shortcomings of region-growing algorithm. It had better segmentation effect on the surface of uneven plants canopy, and was suitable for three-dimensional reconstruction of plants with different complexity. It could provide some reference for breeding research to obtain plant phenotypes.

multi-view geometry; three-dimensional reconstruction; plant; region-growing algorithm; digital camera

2019-03-30；

2019-05-15

中央級(jí)公益性科研院所基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)（Y2019XK24-01，JBYW-AII-2019-29）

肖順?lè)?，E-mail：15501219150@163.com。

劉升平，E-mail：liushengping@caas.cn

（責(zé)任編輯 楊鑫浩）