張文麒, 吳升, 郭新宇, 溫維亮, 盧憲菊, 趙春江*

（1.上海海洋大學信息學院, 上海 201306；2.北京市農(nóng)林科學院信息技術(shù)研究中心, 數(shù)字植物北京市重點實驗室, 北京 100097；3.國家農(nóng)業(yè)信息化工程技術(shù)研究中心, 北京 100097）

植物表型是復雜性狀的綜合表現(xiàn), 如生長、發(fā)育、耐性、抗性、構(gòu)型、生理、生態(tài)、產(chǎn)量[1], 獲得高精度表型參數(shù)對于加速育種和優(yōu)化種植管理至關(guān)重要[2]。隨著表型篩選在植物育種和基因組學中的迅速發(fā)展[3-4], 植物科學研究迫切需要更有效、可靠的表型大數(shù)據(jù)來支持現(xiàn)代遺傳作物的改良[5], 為此, 已研制出一批設(shè)備和系統(tǒng)被用于大規(guī)模植物表型數(shù)據(jù)獲取和分析[6-7]。小麥是關(guān)系全球糧食安全的重要作物之一, 預計到2050年, 需要增加約70%的產(chǎn)量才能滿足全球小麥需求[8], 因此, 研究小麥表型對高產(chǎn)、優(yōu)質(zhì)和抗逆性強的品種選育具有重要意義, 表型數(shù)據(jù)采集和分析平臺對小麥的研究已經(jīng)體現(xiàn)出了巨大的潛力[9-10]。

目前廣泛應(yīng)用的植物表型獲取技術(shù)主要為二維圖像和三維點云。其中, 基于二維圖像在獲得一維、二維表型指標方面已取得較多進展[11-13], 然而其在具有嚴重遮擋和株型結(jié)構(gòu)復雜的情況下獲得的表型指標精度較差[14], 且缺失三維表型信息。為了克服維度上的數(shù)據(jù)丟失, 研究人員提出了三維點云方法, 包括基于深度相機的方法[15]、基于激光雷達的方法[16]、以及基于多視角圖像重建的方法等。這些方法通常需要不同硬件設(shè)備的支持, 它們的應(yīng)用場景和精度各不相同, 以Kinect為代表的深度相機具有點云獲取速度快等優(yōu)點, 但重建的點云分辨率較低, 并且對光照的魯棒性不夠。激光雷達（LIDAR）具有優(yōu)良的點云獲取性能, 在植物表型評價方面展示出了強大的優(yōu)勢, 但其掃描時間較長、設(shè)備價格高昂, 難以在農(nóng)業(yè)領(lǐng)域大范圍推廣應(yīng)用。

基于多視角圖像重建的方法獲取植物表型精度高, 已得到廣泛應(yīng)用[17], 目前主要有結(jié)合運動恢復結(jié)構(gòu)（structure from motion, SFM）[18]和多視圖立體（multiple view stereo, MVS）[19]的算法。其中, SFM算法采用SIFT算子提取多視角圖像特征點[20], 基于增量式重建法生成相機位姿和稀疏點云[21], 最后采用束調(diào)整算法找到最佳相機點位, 并計算出稀疏點云和相機參數(shù), 進一步基于MVS算法生成每張圖像對應(yīng)的深度圖, 使用兩極視圖選擇算法來找到對應(yīng)的匹配視圖, 生成場景的稠密點云。在該類型技術(shù)體系下又分為2種模式：一種是固定植物, 使相機圍繞植物旋轉(zhuǎn)（camera rotate around plant）進行拍攝, Wu等[22]基于該方法開發(fā)了針對單個植物的低成本表型平臺MVSPheno；另一種方式是相機固定, 植物自轉(zhuǎn)（plant self-rotation）進行多視角拍攝, Liu等[23]基于該技術(shù)對擬南芥進行表型研究。其中, 相機圍繞植物旋轉(zhuǎn)型平臺方式能夠獲取高質(zhì)量的圖像數(shù)據(jù), 但該類型的平臺通常需要配備專門的相機旋轉(zhuǎn)設(shè)備以及控制旋轉(zhuǎn)的程序, 并且針對不同大小的植株需要調(diào)整相機到植株的距離, 這意味著其所需的空間較大, 同時, 對光源的分布要求均勻, 否則會影響圖像特征點的匹配, 進而影響重建質(zhì)量。植物自轉(zhuǎn)型平臺方式能夠快速的搭建數(shù)據(jù)采集場景, 并且該類型的平臺僅需要配備普通的轉(zhuǎn)盤, 其所需的空間較小、成本較低, 但是在多視角重建之前需要進行前處理, 且需要評估轉(zhuǎn)盤轉(zhuǎn)動對植物的影響。

目前, 植物自轉(zhuǎn)型平臺已應(yīng)用在玉米、番茄、橄欖樹等植物上[24-25], 但在小麥這種分蘗多、葉片多、葉片生長朝上、株型緊湊的植物應(yīng)用較少。本文開發(fā)了一套基于植物自旋轉(zhuǎn)的便攜式小麥植株三維表型高通量采集系統(tǒng), 并對揚花期小麥樣本進行了三維點云的重建, 同時使用MVS-Pheno對相同的實驗材料進行數(shù)據(jù)獲取和點云重建, 將2種結(jié)果進行對比。該系統(tǒng)在小麥植株三維重建和表型參數(shù)提取中能夠達到較高的精度, 為小麥植株的高通量表型獲取提供了高效、快速、精確并且廉價的方案。

1 材料與方法

1.1 植株旋轉(zhuǎn)式多視角采集裝置

植株旋轉(zhuǎn)式多視角采集裝置搭建于室內(nèi)環(huán)境, 光源為室內(nèi)頂部LED燈光, 由于整體裝置在運行過程中不會對小麥植株產(chǎn)生遮擋, 拍攝到的小麥圖像光照統(tǒng)一, 該裝置由植物轉(zhuǎn)臺、拍攝裝置、背景裝置組成, 拍攝場景的搭建如圖1所示。其中, 植物轉(zhuǎn)臺由轉(zhuǎn)臺單元和標定單元組成, 轉(zhuǎn)臺單元內(nèi)置自轉(zhuǎn)電機, 帶動被測植物旋轉(zhuǎn)。轉(zhuǎn)臺直徑為45 cm, 轉(zhuǎn)速可調(diào)節(jié), 標定單元高18 cm, 標定單元的頂部是1個直徑6 cm的紅色圓盤, 作為后期點云校準的比例尺。拍攝裝置由2個三角支架、2臺Cannon EOS 77D相機, 以及1臺裝有多視角圖像采集系統(tǒng)的筆記本電腦組成, 其中, 相機鏡頭型號為24 mm半畫幅定焦鏡頭, 拍攝圖像像素為6 000×4 000, 相機通過USB數(shù)據(jù)線連接電腦。背景裝置由支撐掛桿和黑色攝影幕布組成, 幕布大小可通過支撐掛桿調(diào)節(jié), 使得拍攝圖像具有一致的黑色背景。

圖1 植株旋轉(zhuǎn)式多視角采集裝置Fig.1 Plant rotating multi-view acquisition device

1.2 實驗設(shè)計與數(shù)據(jù)獲取

小麥種植在北京市農(nóng)林科學院試驗田。試驗地土壤0—20 cm有機質(zhì)含量32.25 g·kg-1, 全氮含量0.158 g·kg-1, 有效磷含量91.38 mg·kg-1, 速效鉀含量579.63 mg·kg-1。種植行距30 cm, 株距5 cm, 人工點播。播種前采用撒施的方法施復合肥, 返青期和拔節(jié)期通過水肥一體化追施尿素, 施氮量240 kg·hm-2, 施磷量（P2O5）135 kg·hm-2, 施鉀量（K2O）112.5 kg·hm-2,磷肥和鉀肥全部作為底肥在播種前施入。

揚花期（2021年5月5日）小麥形態(tài)建成基本結(jié)束, 較好地體現(xiàn)了麥類植株復雜的結(jié)構(gòu)特征, 選擇西農(nóng)979、濟麥38和新麥26的植株, 人工取樣移栽到花盆中, 立即澆水防止萎蔫, 快速轉(zhuǎn)運到實驗室獲取數(shù)據(jù), 約移栽后30 min。

本文設(shè)計了2臺相機進行拍攝。將花盆放置于轉(zhuǎn)臺的中心, 在轉(zhuǎn)臺上靠近花盆處放置標定單元, 并避免小麥植株和標定單元相接觸。相機、轉(zhuǎn)臺、背景之間的距離以被測小麥植株和標定單元能夠完整地被拍攝為最佳。為了最大程度地拍攝到小麥整體結(jié)構(gòu), 并獲取被小麥外部葉片包圍的內(nèi)部葉片和莖稈信息, 設(shè)置2臺相機距離植物轉(zhuǎn)臺的水平距離分別是1.5和1.45 m。1號相機的高度為1.5 m, 相機以俯視15°的視角拍攝小麥植株；2號相機的高度為0.9 m, 相機以平視的視角拍攝小麥植株。拍攝背景幕布寬2.8 m, 高2.4 m, 轉(zhuǎn)臺距離幕布0.3 m。多視角圖像獲取光照環(huán)境為室內(nèi)普通LED照明光源, 轉(zhuǎn)臺轉(zhuǎn)速設(shè)置為0.012 5 r·s-1, 即80 s轉(zhuǎn)1圈。由多視角圖像采集程序控制2個相機同步采集, 相機間隔2.5 s采集1張圖像, 植株旋轉(zhuǎn)1周, 每個相機共計采集30張多視角圖像。對于每株小麥植株80 s內(nèi)完成多視角數(shù)據(jù)采集, 共計獲得60張圖片, 并進行自動化命名存儲。

1.3 管道式數(shù)據(jù)處理系統(tǒng)

1.3.1 小麥表型處理系統(tǒng) 本文設(shè)計了一種便攜式小麥植株三維表型高通量采集系統(tǒng), 對重建后的小麥三維點云質(zhì)量進行了評估。采用VC++2015軟件開發(fā)平臺, 并集成圖形庫OpenGL和點云庫PCL。數(shù)據(jù)采集系統(tǒng)測試運行環(huán)境為Win10操作系統(tǒng), 處理器3.2 GHz, 8 GB內(nèi)存, 數(shù)據(jù)處理測試運行環(huán)境為Win10操作系統(tǒng), i7處理器, 64 GB內(nèi)存。該系統(tǒng)實現(xiàn)了以數(shù)據(jù)流驅(qū)動的半自動化處理模式, 其關(guān)鍵模塊包括多視角三維重建、點云處理和表型解析, 如圖2所示。

圖2 管道式小麥表型處理系統(tǒng)Fig.2 Pipeline wheat phenotype processing system

1.3.2 多視角重建 由于SFM算法需要從物體表面的復雜紋理信息中獲取特征點, 而揚花期小麥紋理包含大量的特征點供SFM算法提取, 因此, 采用該時期的小麥作為研究對象。本文使用Python開發(fā)語言系統(tǒng)集成了SFM算法開源庫openMVG[26]和MVS算法開源庫openMVS[27], 搭建批處理的多視角點云重建管道, 能夠?qū)崿F(xiàn)小麥植株樣本多視角批量點云重建。

對輸入多視角圖像自動去除背景, 只保留植物圖像像素是植物自轉(zhuǎn)型多視角三維重建的首要步驟。RGB顏色空間是較常用的顏色表示方式, 但其對圖像背景分割魯棒性不好, 而HSV顏色空間將顏色的亮度和顏色信息分離, 通過H分量和S分量來表示不同顏色的距離, 具有更好的對比度, 因此, 采用HSV顏色空間去除圖像背景。然后, 將去除背景的多視角圖像數(shù)據(jù)輸入點云重建管道生成場景點云。

1.3.3 植株點云提取與去噪 由多視角三維重建管道生成的三維場景點云中包含花盆、標記物等噪聲點云, 管道算法的第2步是小麥植株點云提取與去噪。首先, 利用點云顏色的HSV空間分割法, 從點云場景中分離出植株點云, 即將點云頂點顏色從RGB空間轉(zhuǎn)換到HSV空間, 設(shè)置H、S、V 3個通道的閾值為H[60, 120]、S[0, 1]、V[0.2, 1], 通過該閾值能夠快速的從場景中剔除花盆和標定物點云, 并且將植株邊緣的黑色噪聲去除。在植株點云之間存在離群噪聲點, 這些噪聲點是由于植物在旋轉(zhuǎn)的過程中發(fā)生抖動, 以及光滑葉片受環(huán)境光照的影響, 部分區(qū)域產(chǎn)生反光所導致?；邳c云統(tǒng)計濾波算法, 濾除該類型噪聲點, 算法步驟如下。

依次從點云P中選擇點pi, 對計算該點n個鄰近點{m1,m2,m3,…,mn}之間的平均距離（dmean）以及該點和鄰近點的標準差（σ）。

如果鄰近點mi到pi的距離大于平均距離∝個標準差, 即di＞dmean-∝σ, 去除該鄰近點, 經(jīng)測試, 本文取值∝=0.5。

1.3.4 點云尺度校準 基于多視角三維重建生成的點云和實際物體具有不同的尺度, 在提取表型參數(shù)之前要校準點云的尺度, 為此, 在被測植株旁邊安置1個標定單元, 基于標定單元對重建的點云進行尺度校準。首先, 利用標定單元圓盤上表面為紅色的顏色信息, 基于HSV顏色空間閾值, 從噪聲點云中提取標定單元圓盤點云。然后, 基于PCA算法計算標定物上表面點云平面法向量M, 將點云矯正到坐標系Z軸正方向上, 進一步地把點云投影到XOY平面上。采用最小封閉圓算法, 獲得圓盤點云的最小包圍圓, 計算出圓盤點云半徑r, 和實際標定物半徑Cr（3 cm）相比, 得到矯正比例（L=Cr/r）。根據(jù)計算得到的平面正方向向量M, 把植株點云矯正到Z軸正方向上, 根據(jù)矯正比例L矯正植株到實際的尺寸。

1.3.5 表型提取 基于去噪后的植株點云, 計算葉長、葉寬和株高等表型指標。使用開源點云處理工具Cloud Compare(http://cloudcompare.org)提取小麥植株各分蘗葉片的葉長和葉寬。

1.4 點云質(zhì)量評估

根據(jù)旋轉(zhuǎn)矩陣R和平移向量t?, 實現(xiàn)點云P和點云Q的對齊變換。然后, 對于配準后的點云, 計算2個點云的Hausdorff距離, 度量它們之間的差異。假設(shè)有兩組集合A={a1,a2,…,an}和B={b1,b2,…,bm}, 則這2個點集合之間的Hausdorff距離定義如下。

1.4.2 精度和誤差分布的估計 使用Cloud Compare軟件, 在點云上手動測量葉片的長度、寬度表型指標：對于葉長, 手動選取葉片2個邊緣點的中心作為葉脈點, 從葉片底部依次向葉尖選取葉脈點, 最終獲得葉脈曲線即為葉長；按照葉脈曲線的長勢以及葉片邊緣的變化, 手動選取3～5條待定的橫向曲線, 計算出其中最寬的曲線作為葉寬；在垂直高度上, 計算點云的高度差。通過線性回歸計算人工數(shù)據(jù)與點云數(shù)據(jù)的相關(guān)系數(shù)R2, 并應(yīng)用均根方誤差（root-mean-square errors,RMSE）和平均絕對百分比誤差（mean absolute percent errors,MAPE）來評估重建點云在表型指標上表現(xiàn)的誤差。

2 結(jié)果與分析

2.1 圖像背景去除效果分析

在相近光源下, 經(jīng)植株旋轉(zhuǎn)式多視角采集裝置拍攝的圖像背景顏色在一定的色彩空間范圍內(nèi), 因此, 使用同一閾值進行背景去除, 實現(xiàn)了圖像背景自動化批量去除。經(jīng)過測試, 在室內(nèi)光照環(huán)境下采用H[0, 109], S[0, 1], V[0.37, 1]的閾值能夠快速有效地剔除黑色幕布背景, 保留小麥植株圖像像素, 效果如圖3所示。去除背景后的圖像大小約為原圖像大小的20%, 大幅提高了后期多視角近鄰圖像SIFT特征點檢測效率。

圖3 小麥植株樣本圖像黑色背景去除Fig.3 Wheat plant sample image black background removal

2.2 點云去噪及標定板提取結(jié)果分析

從圖4可以看出, 將背景去除后的多視角圖像數(shù)據(jù)重建得到的原始點云周圍存在大量黑色噪聲點, 利用點云顏色的HSV空間分割法可以快速的剔除黑色噪聲點和非小麥植株點云, 提取出的小麥點云中還存在一些離群噪聲點, 使用統(tǒng)計濾波算法對其進行降噪得到最終的點云。結(jié)果表明, 該去噪方法能夠很好地保留小麥植株的三維信息。

圖4 小麥植株點云提取和去噪Fig.4 Wheat plant point cloud extraction and denoising

基于標定單元的顏色信息, 利用點云顏色的HSV空間分割法提取出標定單元點云, 最終獲取標定單元點云的最小包圍圓, 效果如圖5所示。

圖5 重建后的場景點云及其標定圓半徑提取Fig.5 Reconstructed field point cloud and its calibration circle radius extraction

2.3 重建點云分析

2.3.1 重建點云可視化分析 選取基于植物旋轉(zhuǎn)的多視角拍攝數(shù)據(jù)和基于相機旋轉(zhuǎn)的多視角拍攝數(shù)據(jù), 通過多視角點云重建系統(tǒng)生成點云, 如圖6所示。實驗植株包括不同的分蘗個數(shù)和株型結(jié)構(gòu), 其中濟麥38為松散型（圖6A～C）, 西農(nóng)979為擴張型（圖6D～F）, 新麥26為緊密型（圖6G～I）, 從可視化效果可見, 植物旋轉(zhuǎn)式多視角重建生成的點云和相機旋轉(zhuǎn)式多視角重建生成的點云差別不大, 都能夠表現(xiàn)出清晰的葉片、莖稈和麥穗結(jié)構(gòu)。在點云頂點顏色方面, 植物旋轉(zhuǎn)式多視角重建生成的點云顏色偏亮泛黃, 相機旋轉(zhuǎn)式多視角重建生成的點云顏色較深, 這與進行圖像數(shù)據(jù)采集的光環(huán)境和拍攝距離不同有關(guān), 點云顏色可通過后期圖像顏色校準修正。

圖6 植物旋轉(zhuǎn)方式和相機旋轉(zhuǎn)方式重建點云可視化Fig.6 Visualization of point clouds reconstructed by plant self-rotation and camera rotation

2.3.2 點云Hausdroff距離分析 從整個植株點云對比看（圖7A）, 植物旋轉(zhuǎn)式重建的點云比較好地重疊于相機旋轉(zhuǎn)式重建的點云, 其點云的最大距離控制在5 cm以下。對于植株葉片點云（圖7B）, 2個平臺重建的葉片點云也基本重疊, 點云Hausdorff距離基本控制在0.1 cm以下, 最大距離控制在0.3 cm以下, 誤差主要存在于葉尖部和葉邊緣部, 這表明, 對于葉片的表型參數(shù)提取來說, 植物旋轉(zhuǎn)式方法和相機旋轉(zhuǎn)式方法幾乎可以達到同樣的精度。另外, 從2個平臺重建的葉片點云孔洞看, 重建的葉片點云在彎曲處都存在一些孔洞, 這是由于葉片中心的紋理通常比其他部分稀疏, 在光照條件下反光時容易減少特征點的匹配, 并且其自身葉片的遮擋導致部分特征點缺失所致, 可通過后期點云修補技術(shù)修補缺失點云。從結(jié)果來看, 點云Hausdorff距離較大處集中表現(xiàn)在麥穗點云上（圖7C）, 有部分麥穗的麥芒點云Hausdorff距離超過了3 cm。通過點云分析, 植株旋轉(zhuǎn)方式重建的麥穗點云比較完整, 而相機旋轉(zhuǎn)式多視角重建在圖像采集時受限于裝置的結(jié)構(gòu), 不能調(diào)整相機的距離, 相機距離小麥植株太近, 鏡頭在麥芒處沒有較好的對焦, 導致部分重建點云在去噪過程中將麥芒完全剔除, 丟失了麥芒的點云。而植株旋轉(zhuǎn)式平臺只需移動相機三腳架的位置和相機拍攝的角度就能使得拍攝圖像的質(zhì)量達到要求, 并且在移動相機三腳架時只需要保證直線距離達到要求即可, 這也體現(xiàn)了植株旋轉(zhuǎn)方式多視角拍攝裝置簡單、空間占用小、易調(diào)整的優(yōu)勢。

圖7 點云豪斯多夫距離可視化Fig.7 Point cloud Hausdorff distance visualization

2.3.3重建點云的Hausdorff距離統(tǒng)計分析 進一步對小麥植株重建點云的Hausdorff距離進行統(tǒng)計分析。在重建的小麥植株點云中, 點云Hausdorff距離與點云點個數(shù)的關(guān)系均呈指數(shù)型下降趨勢, 這表明植株旋轉(zhuǎn)方式重建的小麥點云中的絕大多數(shù)點都與相機旋轉(zhuǎn)方式重建的點云吻合, 而差異越大的點則越少。所有點云中, 90%的點云Hausdorff距離小于0.4 cm, 74%的點云Hausdorff距離小于0.2 cm, 點云Hausdorff距離大于0.8 cm的點云數(shù)量不足3%（圖8）。

圖8 樣本的點云距離分布和占比Fig.8 Point cloud distancevdistribution and percentage

如圖9所示, 按照選取的小麥品種分為擴張型（西農(nóng)979, 圖9A和B）、緊湊型（新麥26, 圖9C和D）和松散型（濟麥38, 圖9E和F）3類。從單個植株點云來看, 小麥植株的松散程度越大, Hausdorff距離分布在大于0.5 cm的點越少, 其中, 緊湊型點占比為88.52%～91.65%, 擴張型點占比為95.48%～96.67%, 松散型點占比為96.32%～97.56%, 可見部分遮擋問題不可避免, 但影響較小。另外, 如圖9E和F所示, 點云Hausdorff距離大于1.0 cm的點數(shù)量出現(xiàn)了趨勢增長, 這是由于在植物搬運的過程中人為因素導致某些葉片的形態(tài)發(fā)生改變, 以及如上所述的MVS-Pheno平臺的相機近距離拍攝麥穗頂端圖像不清晰所致。

圖9 小麥重建點云距離統(tǒng)計結(jié)果Fig.9 Wheat reconstruction point cloud distance statistical results

2.4 表型精度分析

分別在新麥26、西農(nóng)979和濟麥38的小麥植株樣本上選取7～10片葉片, 進行表型測量和分析（圖10）。誤差分析結(jié)果表明, 對于葉片長度,R2為0.94, RMSE為0.795 cm, MAPE為3.26%；對于葉片寬度,R2為0.95, RMSE為0.130 cm, MAPE為7.63%；對于株高,R2為0.99, RMSE為0.531 cm, MAPE為0.74%。檢查這些誤差指標, 對于3個表型指標,R2均大于0.900, 表明用點云上計算的表型指標和實際數(shù)據(jù)有較強的相關(guān)性。

圖10 回歸分析以及RSME和MAPE結(jié)果Fig.10 Regression analysis and RSME and MAPE results

2.5 成本和效率分析

從表1中可以看出, 由于植物旋轉(zhuǎn)式平臺采用的轉(zhuǎn)臺成本較低, 僅為相機旋轉(zhuǎn)式多角度平臺的1/3。在重建效率方面, 相機旋轉(zhuǎn)式多角度平臺使用3臺相機, 以12°間隔, 共采集90張多視角圖像, 點云重建耗時為2 552 s（42 min 32 s）, 每幅圖像28.36 s；而植物旋轉(zhuǎn)式多角度平臺使用2臺相機, 共采集60張多視角圖像, 點云重建耗時為932 s（15 min 32 s）, 每幅圖像15.53 s。為了進一步比較2種方式的多視角重建效率, 從相機旋轉(zhuǎn)式平臺拍攝的90張圖像中選取下層2臺相機拍攝的60張圖像作為數(shù)據(jù), 都使用本文集成的多視角重建管道進行重建, 相機旋轉(zhuǎn)式多角度平臺點云重建耗時約27 min 45 s, 植物旋轉(zhuǎn)式圖像數(shù)據(jù)的重建效率是相機旋轉(zhuǎn)式的近2倍, 這得益于植物旋轉(zhuǎn)式拍攝平臺獲取了的圖像數(shù)據(jù)進行了背景去除, 使得多視角重建特征點檢測環(huán)節(jié)用時較少, 從而提高了重建效率。

表1 植物旋轉(zhuǎn)式拍攝平臺和相機旋轉(zhuǎn)式拍攝平臺的成本和重建效率對比Table 1 Comparison of cost and reconstruction efficiency of plant self-rotation shooting platform and camera rotation shooting platform

3 討論

基于SFM和MVS的三維重建技術(shù)為植物表型數(shù)據(jù)獲取提供了解決方案, 相比傳統(tǒng)的數(shù)字化儀等接觸式采集方法, SFM與MVS方法采集數(shù)據(jù)時效性更高, 避免了數(shù)據(jù)采集過程中植物葉片發(fā)生形變所導致的誤差。本文基于植株旋轉(zhuǎn)式設(shè)計了便攜式小麥植株三維表型高通量采集系統(tǒng), 提取的表型參數(shù)MAPE均小于8%, 表明植株旋轉(zhuǎn)式多視角點云重建模塊具有較高的重建精度和魯棒性, 與Zhang等[28]研究結(jié)果一致。相機的數(shù)量和鏡頭角度以及拍攝的圖像數(shù)量是影響植株旋轉(zhuǎn)式多視角點云重建精度的關(guān)鍵參數(shù)。過多的圖像導致錯誤的匹配點增多, 并且會產(chǎn)生更多的噪聲, 而過少的圖像則會導致生成的點云缺失信息。相機鏡頭拍攝角度不同, 對于重建效果也有一定影響, 用2個相機分別以水平和俯視45°的視角來采集小麥植株的多視角圖像, 能夠保證覆蓋更大面積的拍攝范圍, 且能采集到向上伸展葉片的清晰圖像, 減少葉片之間的遮擋, 從而能夠獲得較好的重建點云質(zhì)量。值得強調(diào)的是, 相機的數(shù)量和鏡頭的角度需要根據(jù)具體的作物株型結(jié)構(gòu)而定, 通常需經(jīng)過多次測試, 以選擇最佳配置[29]。在多視角圖像采集中, 避免植株自遮擋、圖片清晰、相鄰圖片之間有50%以上的重合度以及圖像采集時間短是4個比較關(guān)鍵的指標。

多視角圖像采集過程中, 因轉(zhuǎn)臺帶動發(fā)生抖動是植株旋轉(zhuǎn)式多視角點云重建產(chǎn)生誤差的主要原因之一, 為了減少此類誤差, 同時保證一定的圖像采集效率, 設(shè)置轉(zhuǎn)臺的速度為0.0 1 2 5 r·s-1。在實驗中, 小麥植株在轉(zhuǎn)臺旋轉(zhuǎn)時葉片會發(fā)生明顯抖動現(xiàn)象, 且抖動的頻率比較高, 但是從整體上來說, 葉片的抖動并沒有對整個株型和葉片的生長朝向造成改變, 僅在葉片邊緣和葉尖點云上產(chǎn)生誤差。另外, 通過增加相機曝光時間以及增大相機與小麥植株的距離, 會避免采集圖像模糊的現(xiàn)象, 也能夠減輕拍攝過程中因抖動產(chǎn)生的誤差。本研究結(jié)果表明, 小麥植株點云提取的葉長、葉寬和株高表型參數(shù)和人工測量數(shù)值的相關(guān)系數(shù)R 2分別為0.9 4、0.9 5、0.9 9, 這表明植物旋轉(zhuǎn)式的多角度重建方法對于小麥這種帶有一定柔軟性葉片的植物也能夠提取出高精度的表型參數(shù)。另外, 環(huán)境光照對于三維重建效果也很重要, 一般情況下, 照明應(yīng)該足夠分散, 避免陰影、鏡面反射和過曝光現(xiàn)象, 使得拍攝對象獲得比較均勻的光照, 從而能夠減少重建點云的噪聲, 這些噪聲在后期去噪環(huán)節(jié)會被去除, 導致點云空洞和邊緣缺失。相機鏡頭類型和白平衡等參數(shù)的設(shè)置也對重建結(jié)果有一定的影響, 本研究中使用的C a n o n相機為智能相機, 具有自動感光功能, 會智能優(yōu)化被測物體圖像, 尤其是在不均勻的光照環(huán)境下, 重建的點云頂點顏色會和實際植株顏色有偏差, 呈偏黃現(xiàn)象, 需要后期進一步改進光照環(huán)境或進行圖像校準還原, 也可使用工業(yè)相機, 設(shè)定一致的相機參數(shù)來改善這種現(xiàn)象。

總體來說, 植株旋轉(zhuǎn)式多視角重建技術(shù)在穗期的小麥三維點云重建和表型參數(shù)提取方面具有較好的效果和技術(shù)可行性, 并且該采集系統(tǒng)易于在實驗場所附近搭建, 獲取數(shù)據(jù)效率高, 成本較低。由于SFM算法依賴于對象的紋理信息來獲取特征點進而進行重建, 因此對重建對象的選擇也十分重要。對于穗期的小麥, 其生長形態(tài)已經(jīng)趨于完整, 能夠從圖像中提取出復雜的紋理細節(jié), 未來將進一步研究植株旋轉(zhuǎn)式多視角采集裝置的立體補光模塊, 更好地控制光照環(huán)境, 并針對不同生育時期的小麥對象進行重建的適用性驗證；另外, 探究基于點云深度學習技術(shù), 自動化解決小麥這類細長植物的莖葉點云分割和表型提取問題, 進一步提高小麥植株三維表型高通量平臺的自動化程度。