姜金岑，李聯(lián)隊(duì)，王美麗,3,4*

(1.西北農(nóng)林科技大學(xué)信息工程學(xué)院，陜西 楊凌 712100；2.陜西省林業(yè)科學(xué)院，陜西 西安 710082；3.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室，陜西 楊凌 712100；4.陜西省農(nóng)業(yè)信息與智能服務(wù)重點(diǎn)實(shí)驗(yàn)室，陜西 楊凌 712100)

植物的數(shù)字化與可視化技術(shù)是實(shí)現(xiàn)數(shù)字林業(yè)的重要途徑，對(duì)植物進(jìn)行可視化建模能夠?qū)χ参锏纳L(zhǎng)過(guò)程和形態(tài)結(jié)構(gòu)進(jìn)行定量化研究和智能化處理。隨著三維掃描設(shè)備的普及與技術(shù)的發(fā)展，基于植物點(diǎn)云數(shù)據(jù)的三維模型重建越來(lái)越受到研究者的重視，且具有精度高、真實(shí)感強(qiáng)以及細(xì)節(jié)特征顯著等優(yōu)點(diǎn)[1]。在對(duì)植物進(jìn)行三維掃描過(guò)程中，由于外界環(huán)境的干擾、視點(diǎn)選擇的不同，掃描得到的三維點(diǎn)云通常存在一定的噪聲，噪聲會(huì)使得模型失真，同時(shí)也會(huì)產(chǎn)生被測(cè)物體部分缺失的現(xiàn)象，直接對(duì)其進(jìn)行重建將無(wú)法得到一個(gè)完整的模型。因此植物點(diǎn)云數(shù)據(jù)的處理及補(bǔ)全是植物三維建模中的重點(diǎn)和難點(diǎn)問(wèn)題。

通過(guò)三維激光掃描技術(shù)對(duì)植物進(jìn)行建模的研究一直都是計(jì)算機(jī)圖形學(xué)的研究重點(diǎn)[2-7]。此外，點(diǎn)云分割是三維點(diǎn)云重建中的關(guān)鍵技術(shù)之一，也是三維重建的前提[8-13]。但重建過(guò)程中會(huì)發(fā)現(xiàn)掃描得到的三維點(diǎn)云模型常缺失部分細(xì)節(jié)信息，若需進(jìn)行點(diǎn)云修補(bǔ)往往需要提取其骨架[14-19]。其中，Huang等[15]提出了基于 L1 中值的點(diǎn)云骨架提取方法和局部密度權(quán)重來(lái)解決點(diǎn)云密度不均勻的問(wèn)題，但該方法需要調(diào)試大量參數(shù)來(lái)獲取精確的骨架，實(shí)用性不高；Zhang等[17]使用概率圖模型基于最小距離對(duì)骨架節(jié)點(diǎn)間邊的權(quán)重進(jìn)行計(jì)算，通過(guò)最小生成樹(shù)判斷每個(gè)節(jié)點(diǎn)間的拓?fù)溥B接情況。但通常這些方法僅適用于人體或其他簡(jiǎn)單物體點(diǎn)云數(shù)據(jù)，無(wú)法對(duì)植物點(diǎn)云數(shù)據(jù)的骨架進(jìn)行拓?fù)溥B接。

近年來(lái)，Charles等[20]提出了可以直接處理原始三維點(diǎn)云數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)PointNet，能完成高層次的點(diǎn)云分類(lèi)和語(yǔ)義分割任務(wù)。在此基礎(chǔ)上許多研究者通過(guò)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)點(diǎn)云進(jìn)行修補(bǔ)[21-26]，但通過(guò)深度學(xué)習(xí)的方法往往是數(shù)據(jù)驅(qū)動(dòng)的，需要對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，無(wú)法廣泛應(yīng)用到植物建模等領(lǐng)域中。針對(duì)上述研究現(xiàn)狀，本研究擬解決的關(guān)鍵問(wèn)題是：①構(gòu)造植物點(diǎn)云的拓?fù)溥B接情況，判斷缺失部位連接點(diǎn)；②確定待擬合點(diǎn)的點(diǎn)集，并保證斷連部分銜接平滑且具有真實(shí)性；③對(duì)缺失部分進(jìn)行擬合并調(diào)整點(diǎn)云密度，使補(bǔ)全結(jié)果與原始點(diǎn)云渾然一體。通過(guò)解決這些問(wèn)題，以期能夠在一定程度上彌補(bǔ)掃描時(shí)外界因素所帶來(lái)的缺陷，使植物模型更為生動(dòng)形象且有效地應(yīng)用于教學(xué)、科研等方面，也更為直觀地展現(xiàn)植物的真實(shí)形態(tài)，為數(shù)字林業(yè)提供依據(jù)，助力林業(yè)在信息化時(shí)代的發(fā)展。

1 材料與方法

1.1 植物點(diǎn)云數(shù)據(jù)選取

使用三維掃描儀對(duì)植物進(jìn)行掃描，受植物形態(tài)結(jié)構(gòu)、遮擋問(wèn)題和掃描精度的影響，掃描時(shí)往往會(huì)丟失部分點(diǎn)云數(shù)據(jù)，其中植物的葉片與其莖干的連接處通常較細(xì)容易出現(xiàn)缺失情況，如圖1A所示。為了進(jìn)行定量指標(biāo)驗(yàn)證，本研究使用一些完整的植物CAD模型，通過(guò)虛擬掃描技術(shù)獲取其三維點(diǎn)云，去除莖干連接處部分點(diǎn)云后進(jìn)行模擬，如圖1B所示。

1.2 植物缺失部分定位

1.2.1 確定缺失部位連接點(diǎn)

不同植物經(jīng)過(guò)掃描后其缺失的點(diǎn)云部分不盡相同，因此需要先定位出缺失的點(diǎn)云部分。對(duì)于輸入的植物點(diǎn)云，首先對(duì)其坐標(biāo)進(jìn)行歸一化，即將點(diǎn)云坐標(biāo)映射到(-1,1)區(qū)間內(nèi)。然后使用K近鄰算法得到點(diǎn)云中每個(gè)點(diǎn)的最近鄰點(diǎn)，計(jì)算兩點(diǎn)間的距離，最終可由所有點(diǎn)與其最近鄰點(diǎn)間距離的平均值，得到點(diǎn)云密度。點(diǎn)云密度計(jì)算公式：

(1)

其中：Dplant表示點(diǎn)云密度，Cplant為點(diǎn)云集合，‖·‖2表示任意兩點(diǎn)間歐氏距離，NCplant表示點(diǎn)云集合中點(diǎn)的數(shù)量。得到點(diǎn)云密度后，可根據(jù)點(diǎn)云密度判斷點(diǎn)云中任意兩點(diǎn)間的距離并對(duì)點(diǎn)云進(jìn)行聚類(lèi)，聚類(lèi)標(biāo)準(zhǔn)為：

(2)

δ=σ·Dplant。

(3)

其中：dP,Q為P、Q兩點(diǎn)間距離，δ表示用于聚類(lèi)分類(lèi)的距離標(biāo)準(zhǔn)，σ表示閾值(默認(rèn)為3.0)。若dP,Q≤δ，則P、Q兩點(diǎn)屬于同一簇；若dP,Q>δ，則P、Q兩點(diǎn)不屬于同一簇。

使用概率圖模型確定每個(gè)點(diǎn)云簇間的拓?fù)溥B接情況，同時(shí)確定每個(gè)點(diǎn)云簇的連接點(diǎn)。將每個(gè)點(diǎn)云簇都視為一個(gè)圖結(jié)構(gòu)中的節(jié)點(diǎn)，每?jī)蓚€(gè)節(jié)點(diǎn)之間邊的權(quán)重定義為：

(4)

其中:C1、C2是兩個(gè)點(diǎn)云簇，WC1,C2為兩個(gè)節(jié)點(diǎn)間邊的權(quán)重，P1是集合C1中的點(diǎn)，P2是集合C2中的點(diǎn)，NC1、NC2分別是集合C1、C2中點(diǎn)的數(shù)量。

如果兩節(jié)點(diǎn)間邊的權(quán)重越小，那么這兩個(gè)節(jié)點(diǎn)越有可能相連接；反之，如果兩節(jié)點(diǎn)間邊的權(quán)重越大，那么這兩個(gè)節(jié)點(diǎn)越不可能相連接。通常而言，每?jī)蓚€(gè)節(jié)點(diǎn)間邊權(quán)重的定義應(yīng)當(dāng)僅與這兩個(gè)節(jié)點(diǎn)對(duì)應(yīng)的點(diǎn)云簇中點(diǎn)的最近距離有關(guān)[17]，即：

(5)

然而植物的葉片、花朵等部位不一定與莖干距離最近，存在葉片與葉片距離最近或葉片與花朵距離最近等情況，故本研究采取最近距離與點(diǎn)的數(shù)量相結(jié)合的權(quán)重定義方式。在概率圖模型中使用Prim算法構(gòu)建最小生成樹(shù)，使得生成的樹(shù)形結(jié)構(gòu)邊的權(quán)重和最小，即得到概率圖中最大概率的拓?fù)溥B接情況。

構(gòu)建最小生成樹(shù)后，可依據(jù)最小生成樹(shù)中節(jié)點(diǎn)的度判定莖干點(diǎn)云。Huang等[15]對(duì)點(diǎn)云使用基于L1中值的局部迭代方法，可得到鄰域內(nèi)點(diǎn)的局部中心，并逐漸擴(kuò)大鄰域范圍，最終獲得點(diǎn)云大致的骨架。然而該方法中需要調(diào)節(jié)的參數(shù)較多，整體流程上不夠魯棒，故本研究?jī)H對(duì)莖干點(diǎn)云使用L1中值局部迭代方法提取莖干部分的骨架。對(duì)于提取出的莖干骨架點(diǎn)集，整體連線(xiàn)近似于莖干的軸線(xiàn)，點(diǎn)集中的每個(gè)點(diǎn)則近似于莖干的中心點(diǎn)，為后續(xù)確定莖干上的連接點(diǎn)及使用Bezier曲線(xiàn)對(duì)缺失部分進(jìn)行擬合等步驟奠定基礎(chǔ)。使用該方法提取得到的莖干點(diǎn)云的骨架點(diǎn)集如圖2所示。

由于點(diǎn)云具有無(wú)序性，對(duì)后續(xù)步驟的實(shí)施造成影響，因此需要對(duì)莖干骨架點(diǎn)集進(jìn)行排序。本研究提出一種基于最近鄰點(diǎn)距離的搜索算法，首先迭代最近鄰點(diǎn)判斷輸入點(diǎn)集的端點(diǎn)，進(jìn)而從端點(diǎn)出發(fā)尋找當(dāng)前點(diǎn)的最近鄰點(diǎn)即可對(duì)莖干骨架點(diǎn)集進(jìn)行排序，且能滿(mǎn)足旋轉(zhuǎn)不變性。該算法具有較高的魯棒性，能夠應(yīng)對(duì)不同順序、不同稀疏程度的骨架點(diǎn)集。通過(guò)該算法尋找點(diǎn)集端點(diǎn)并對(duì)點(diǎn)集進(jìn)行排序的流程圖如圖3所示。

對(duì)任意輸入點(diǎn)集隨機(jī)選取其中一點(diǎn)尋找點(diǎn)集端點(diǎn)的過(guò)程如圖4B所示，圖中點(diǎn)顏色的漸變(從紅色到白色)為搜索算法尋找過(guò)程，最終對(duì)點(diǎn)集排序的結(jié)果如圖4C所示，圖中顏色的漸變?yōu)辄c(diǎn)排序順序的結(jié)果。

本研究需要對(duì)葉片點(diǎn)云及莖干點(diǎn)云間缺失的部分進(jìn)行補(bǔ)全，找到葉片點(diǎn)云及莖干點(diǎn)云中的連接點(diǎn)。莖干的擬合及連接應(yīng)當(dāng)從莖干中心出發(fā)，即莖干部分的連接點(diǎn)應(yīng)當(dāng)在莖干骨架點(diǎn)集上。本研究利用葉片點(diǎn)云重心與葉片連接點(diǎn)的連線(xiàn)同莖干軸線(xiàn)的交點(diǎn)作為連接點(diǎn)。對(duì)于植物葉片而言，讓連接莖干指向葉片重心在現(xiàn)實(shí)中能起到對(duì)葉片的支撐作用，因此按該方法定義的莖干骨架連接點(diǎn)在物理層面更具有實(shí)際意義。對(duì)葉片點(diǎn)云重心的求取是計(jì)算葉片點(diǎn)云中所有點(diǎn)坐標(biāo)的平均值。

但實(shí)際上三維空間中兩條直線(xiàn)不一定存在交點(diǎn)，因此對(duì)于葉片重心P與葉片連接點(diǎn)Q的連線(xiàn)PQ與莖干軸線(xiàn)不一定存在交點(diǎn)。故在實(shí)際算法執(zhí)行中要遍歷莖干骨架點(diǎn)集，尋找點(diǎn)集中距離連線(xiàn)PQ最近的點(diǎn)R，則點(diǎn)R為莖干骨架點(diǎn)集連接點(diǎn)。本研究使用海倫公式計(jì)算三維空間中點(diǎn)到直線(xiàn)的距離(d)：

(6)

(7)

(8)

式中，p為半周長(zhǎng)。對(duì)莖干骨架點(diǎn)集中的每個(gè)點(diǎn)R，計(jì)算其到連線(xiàn)PQ的距離d，在莖干骨架點(diǎn)集中到連線(xiàn)距離最小的點(diǎn)即為莖干骨架點(diǎn)集連接點(diǎn)。

1.2.2 確定待擬合點(diǎn)的點(diǎn)集

確定缺失部位連接點(diǎn)后可得到莖干骨架連接點(diǎn)，但仍需確定莖干骨架點(diǎn)集上參與擬合的待擬合點(diǎn)。根據(jù)植物的生長(zhǎng)特征，莖干是由底部向上生長(zhǎng)，因此需在莖干連接點(diǎn)下方的點(diǎn)中選取待擬合點(diǎn)。對(duì)于已經(jīng)過(guò)排序的莖干骨架點(diǎn)集，仍無(wú)法確定其順序的方向，在保證旋轉(zhuǎn)不變性的前提下，仍需對(duì)莖干骨架的排序順序進(jìn)行調(diào)整，確保其在莖干軸線(xiàn)上從下到上排序的順序。通常對(duì)于植物的形態(tài)而言，植物的上半部分存在葉片、花朵等部位較為豐富而下半部分僅存在莖干較為稀疏的現(xiàn)象，因此可通過(guò)植物點(diǎn)云中點(diǎn)的密集程度來(lái)判斷植物在形態(tài)意義上的上下位置關(guān)系。

為了近似將植物點(diǎn)云從中線(xiàn)劃分成上下兩個(gè)部分，取莖干骨架點(diǎn)集的中點(diǎn)，及當(dāng)前點(diǎn)集順序下一點(diǎn)，以這兩點(diǎn)連線(xiàn)的方向向量(指向莖干骨架點(diǎn)集的中點(diǎn))表示莖干軸線(xiàn)方向向量，過(guò)莖干骨架點(diǎn)集的中點(diǎn)作莖干的橫截面，以該截面為界分為兩個(gè)部分的點(diǎn)集，如圖5所示。通過(guò)兩部分點(diǎn)集內(nèi)點(diǎn)的數(shù)量來(lái)確定上半部分點(diǎn)集與下半部分點(diǎn)集，若上半部分點(diǎn)集內(nèi)的點(diǎn)與莖干的中點(diǎn)連線(xiàn)的方向向量(指向莖干骨架點(diǎn)集的中點(diǎn))與莖干軸線(xiàn)方向向量相同，則表明當(dāng)前莖干軸線(xiàn)方向與植物形態(tài)方向相同；反之若兩向量方向相反，則表明當(dāng)前莖干軸線(xiàn)方向與植物形態(tài)方向相反，則需將莖干骨架點(diǎn)集順序反轉(zhuǎn)，從而將莖干骨架點(diǎn)集的方向與植物形態(tài)意義上的方向調(diào)整一致。

本研究使用球鄰域搜索選取待擬合點(diǎn)，保證擬合時(shí)莖干骨架上參與擬合的點(diǎn)與缺失部分需要擬合生成的點(diǎn)所占比例的權(quán)重近似相等。以莖干骨架點(diǎn)集連接點(diǎn)為球心，以該點(diǎn)與葉片點(diǎn)云連接點(diǎn)間的距離為半徑，該球范圍內(nèi)在莖干骨架點(diǎn)集中的點(diǎn)都將參與擬合。通過(guò)這種方法對(duì)缺失部分?jǐn)M合得到的莖干半徑與莖干軸線(xiàn)將更為平滑，具有較強(qiáng)的真實(shí)感。

接著，需要確定缺失部分待擬合點(diǎn)，即葉片點(diǎn)云與莖干骨架間的待擬合點(diǎn)。為保證擬合效果更為平滑，葉片點(diǎn)云連接點(diǎn)到莖干骨架點(diǎn)集連接點(diǎn)的距離與莖干骨架點(diǎn)集連接點(diǎn)到上述選擇的待擬合點(diǎn)點(diǎn)集中最下方點(diǎn)的距離應(yīng)相當(dāng)。故依據(jù)莖干骨架點(diǎn)集上的待擬合點(diǎn)的數(shù)量，在葉片點(diǎn)云連接點(diǎn)與莖干骨架點(diǎn)集連接點(diǎn)的連線(xiàn)段上均勻取點(diǎn)，這些點(diǎn)將作為缺失部分的待擬合點(diǎn)參與莖干半徑的擬合。

1.3 植物缺失部位擬合及補(bǔ)全

1.3.1 擬合缺失莖干半徑

缺失莖干往往在現(xiàn)實(shí)植物中較細(xì)，在掃描結(jié)果中是需要補(bǔ)全的部分。對(duì)于該部分莖干，靠近葉片處莖的半徑應(yīng)當(dāng)較小、較貼合葉片的厚度，靠近主軸莖干部分莖半徑應(yīng)當(dāng)較大并且較貼合主軸莖干的粗細(xì)。首先定義葉片點(diǎn)云連接處莖干半徑，從植物主軸莖干連向葉片部分莖干的粗細(xì)應(yīng)當(dāng)是逐漸減小的，對(duì)于該部分半徑的擬合應(yīng)由主軸莖干上的半徑(即莖干骨架點(diǎn)集對(duì)應(yīng)橫截面擬合圓的半徑)與葉片點(diǎn)云連接處半徑共同決定。

對(duì)于主軸莖干上的半徑，要得到莖干橫截面上近似的輪廓線(xiàn)，而輪廓線(xiàn)則是由莖干點(diǎn)云在莖干橫截面上投影得到的一系列點(diǎn)。在植物原始點(diǎn)云中，以莖干骨架點(diǎn)集中每個(gè)點(diǎn)為中心，使用K近鄰(默認(rèn)K為30，即周?chē)?0個(gè)點(diǎn)參與擬合)算法計(jì)算得到與之相距最近的K個(gè)點(diǎn)。以莖干骨架點(diǎn)集中的點(diǎn)P0(x0,y0,z0)及在該點(diǎn)處的方向向量n0(a0,b0,c0)為橫截面的法向量，由三維空間平面點(diǎn)法式得到該橫截面S的方程為：

a0(x-x0)+b0(y-y0)+c0(z-z0)=0。

(9)

由K近鄰算法得到的每個(gè)點(diǎn)Pk(xk,yk,zk)，過(guò)該點(diǎn)且垂直于橫截面直線(xiàn)的方向向量即為橫截面法向量n0，故該直線(xiàn)L的方程為：

(10)

由式(9)與式(10)可得K近鄰點(diǎn)集中每個(gè)點(diǎn)在莖干橫截面上的投影點(diǎn)P′k的坐標(biāo)為：

(11)

由式(11)可以看出，對(duì)于投影點(diǎn)P′k(x′k,y′k,z′k)的坐標(biāo)公式具有相似性，且該公式對(duì)于三維空間內(nèi)任意一點(diǎn)同樣適用，因此對(duì)于點(diǎn)在莖干橫截面上投影的求取算法具有旋轉(zhuǎn)不變性的特征。

根據(jù)植物的特征，植物的莖干在局部范圍內(nèi)大多呈圓柱體狀，因此以莖干軸線(xiàn)作莖的橫截面，截得植物莖干點(diǎn)云形成的輪廓線(xiàn)近似可看作圓，故需要在橫截面內(nèi)以上述K近鄰點(diǎn)的投影點(diǎn)擬合圓。在三維空間內(nèi)對(duì)圓的擬合，需滿(mǎn)足待擬合點(diǎn)點(diǎn)集中所有點(diǎn)在同一平面內(nèi)，先擬合球體，再聯(lián)合球與平面的方程得到三維空間內(nèi)圓的方程。使用最小二乘法對(duì)點(diǎn)擬合三維空間內(nèi)球體：

(12)

其中：Pb(xb,yb,zb)為擬合球體的球心，Q為點(diǎn)P在K近鄰范圍內(nèi)點(diǎn)集中的點(diǎn)，rb為擬合球體的半徑。由式(11)可得點(diǎn)Pb在莖干橫截面上的投影點(diǎn)P′(x′0,y′0,z′0)，該點(diǎn)將作為迭代更新優(yōu)化后新的莖干骨架點(diǎn)集中的點(diǎn)，由此可計(jì)算擬合球體與莖干橫截面所在平面相交圓，即莖干在點(diǎn)P處擬合圓的半徑rP：

(13)

式中，h為擬合球心到莖干橫截面的距離。

根據(jù)最小二乘法擬合得到的圓如圖6所示。

對(duì)于葉片點(diǎn)云連接處莖干的直徑，應(yīng)當(dāng)近似為葉片點(diǎn)云的厚度。由于點(diǎn)云的無(wú)序性且葉片存在彎折情況，因此無(wú)法根據(jù)葉片點(diǎn)云的邊界來(lái)判定葉片的厚度。考慮到葉片點(diǎn)云與葉片點(diǎn)云連接處周?chē)o干部分點(diǎn)云的密度應(yīng)當(dāng)近似，即兩部分在連接處應(yīng)當(dāng)分布均勻且較為平滑，故求取葉片點(diǎn)云中所有點(diǎn)K近鄰(經(jīng)過(guò)實(shí)驗(yàn)分析設(shè)定K為3)范圍內(nèi)點(diǎn)間距離平均值的平均值，此距離長(zhǎng)度則近似為葉片點(diǎn)云連接處莖干的直徑。葉片點(diǎn)云連接處莖干的半徑(rleaf)為：

(14)

其中：Cleaf為葉片點(diǎn)云，P為葉片點(diǎn)云中的點(diǎn)，CKNN(P,K)為點(diǎn)P在葉片點(diǎn)云中K近鄰范圍內(nèi)的點(diǎn)集，Q為該點(diǎn)集中的點(diǎn)，NCleaf為葉片點(diǎn)云中點(diǎn)的數(shù)量。

由于莖干缺失部分的半徑應(yīng)當(dāng)是逐漸減小的，對(duì)于缺失部分的起始部位，即靠近主軸莖干部分的莖干半徑應(yīng)當(dāng)貼合于主軸莖干半徑；對(duì)于缺失部分的終止部位，即靠近葉片點(diǎn)云連接處部分的莖干半徑應(yīng)當(dāng)貼合于葉片厚度。故對(duì)于待擬合半徑集合：

R={rt|rt∈Rstem,t∈[0,t0]}∩{rt|rt=rleaf,t=1};

(15)

(16)

其中:Rstem為莖干骨架點(diǎn)集中待擬合點(diǎn)對(duì)應(yīng)的莖干半徑集合，即Rstem={rP|P∈Cstem_fit};t為Bezier曲線(xiàn)的參數(shù)，t0為莖干骨架點(diǎn)集中最后一個(gè)待擬合點(diǎn)對(duì)應(yīng)的Bezier曲線(xiàn)參數(shù)，NCstem_fit為莖干骨架上待擬合點(diǎn)點(diǎn)集的數(shù)量，NCleaf_fit為缺失部分待擬合點(diǎn)點(diǎn)集的數(shù)量。

進(jìn)而對(duì)待擬合半徑集合R與Bezier曲線(xiàn)參數(shù)t使用最小二乘法擬合二次曲線(xiàn)R′(t)，根據(jù)待生成點(diǎn)集中點(diǎn)的數(shù)量計(jì)算出待生成的Bezier曲線(xiàn)參數(shù)t′，從而計(jì)算出待補(bǔ)全部分的莖干半徑集合R′。

1.3.2 擬合密度均勻的缺失莖干

參與Bezier曲線(xiàn)擬合的控制點(diǎn)數(shù)越多，即Bezier曲線(xiàn)的次數(shù)越高，擬合生成的曲線(xiàn)段越貼近控制點(diǎn)，且在空間內(nèi)彎折較多。若將待擬合點(diǎn)點(diǎn)集中所有點(diǎn)均作為控制點(diǎn)參與擬合，得到的缺失部分莖干軸線(xiàn)將過(guò)于彎曲，真實(shí)感欠佳，如圖7A所示。因此，將擬合二次Bezier曲線(xiàn)作為缺失部分莖干的軸線(xiàn)，該曲線(xiàn)為拋物線(xiàn)，得到的擬合軸線(xiàn)將更為平滑，真實(shí)感較強(qiáng)。二次Bezier曲線(xiàn)的3個(gè)控制點(diǎn)分別為葉片點(diǎn)云連接點(diǎn)、莖干骨架點(diǎn)集連接點(diǎn)和莖干骨架點(diǎn)集中最下方點(diǎn)。由Bezier曲線(xiàn)鎖定端點(diǎn)控制點(diǎn)性質(zhì)，Bezier曲線(xiàn)擬合生成的曲線(xiàn)段必過(guò)葉片點(diǎn)云連接點(diǎn)，故莖干在缺失部分與葉片部分的銜接較完整且平滑。最終使用二次Bezier曲線(xiàn)擬合生成的缺失部分莖干軸線(xiàn)段如圖7B所示。

由二次Bezier曲線(xiàn)擬合生成的曲線(xiàn)段作為缺失部分莖干的軸線(xiàn)，以曲線(xiàn)上的點(diǎn)作關(guān)于該曲線(xiàn)的切線(xiàn)為法向量，在三維空間中做一系列圓，在圓周上均勻取點(diǎn)，所有點(diǎn)構(gòu)成的點(diǎn)集即為補(bǔ)全缺失部分莖干所生成的點(diǎn)集。在三維空間直角坐標(biāo)系中圓的參數(shù)方程為：

(17)

其中：圓心為C(x0,y0,z0)，圓的半徑為r，向量n1=(a,b1,c1)與向量n2=(a2,b2,c2)為圓面上的兩個(gè)單位向量，θ為參數(shù)，指圓上某點(diǎn)所對(duì)應(yīng)的弧度。

二次Bezier曲線(xiàn)方程為：

B(t)=(1-t)2P0+2t(1-t)P1+t2P2。

(18)

其導(dǎo)數(shù)為：

B′(t)=-2(1-t)P0+2(1-2t)P1+2tP2。

(19)

擬合缺失部分莖干的生成點(diǎn)集的密度應(yīng)當(dāng)與植物點(diǎn)云密度近似，因此需根據(jù)點(diǎn)云密度確定生成點(diǎn)集中點(diǎn)的密度。生成點(diǎn)集的密度由兩部分組成：

1)Bezier曲線(xiàn)擬合生成曲線(xiàn)段中點(diǎn)的數(shù)量。計(jì)算生成曲線(xiàn)段中點(diǎn)的間隔(d=1/N)，其將影響生成點(diǎn)集中點(diǎn)在莖干軸線(xiàn)上的橫向距離。由植物點(diǎn)云密度可得植物點(diǎn)云中最近鄰點(diǎn)的平均距離，而此距離應(yīng)當(dāng)與曲線(xiàn)段中點(diǎn)的間隔相同。由式(19)可得B′(t)：

t∈[0,1]。

(20)

其中曲線(xiàn)段的長(zhǎng)度為：

t∈[0,1]。

(21)

因此，曲線(xiàn)段中點(diǎn)的間隔為：

(22)

由此即可確定Bezier曲線(xiàn)擬合時(shí)參數(shù)t′的集合，進(jìn)而確定生成點(diǎn)集中莖干軸線(xiàn)上點(diǎn)的間隔。

2)圓參數(shù)方程得到圓周上點(diǎn)的數(shù)量。圓周上點(diǎn)的數(shù)量將影響生成點(diǎn)集中在莖干軸線(xiàn)上的縱向間隔，根據(jù)點(diǎn)云密度確定圓周上點(diǎn)間距離：

(23)

基于上述點(diǎn)間距離可確定生成點(diǎn)集密度，使生成的缺失部分莖干點(diǎn)云能夠與原始植物點(diǎn)云相匹配。

本研究采用的方法僅需補(bǔ)全缺失部分點(diǎn)集，而使用Bezier曲線(xiàn)擬合得到的曲線(xiàn)段中既包含缺失部分曲線(xiàn)段也包含莖干內(nèi)部曲線(xiàn)段，因此使用上述方法生成的部分圓周上的點(diǎn)會(huì)與原始植物點(diǎn)云中莖干部分的點(diǎn)重合，甚至存在于莖干點(diǎn)云內(nèi)部，故需刪除莖干點(diǎn)云上或其內(nèi)部的生成點(diǎn)。

通過(guò)判斷生成點(diǎn)集中每個(gè)點(diǎn)到莖干的距離，若該距離小于該處莖干半徑則將該點(diǎn)刪除；反之，則保留。對(duì)于求取某個(gè)生成點(diǎn)P到莖干的距離，需先得到莖干骨架點(diǎn)集中到點(diǎn)P距離最近的點(diǎn)Q，及莖干骨架點(diǎn)集中下一點(diǎn)R。根據(jù)海倫公式求得點(diǎn)P到莖干線(xiàn)段QR的距離d。

遍歷所有生成點(diǎn)集，若d≤Rstem(P)則將當(dāng)前點(diǎn)從生成點(diǎn)集中刪去。

2 結(jié)果與分析

2.1 缺失部位連接點(diǎn)確定結(jié)果

在輸入植物點(diǎn)云并經(jīng)過(guò)預(yù)處理后，對(duì)點(diǎn)云進(jìn)行聚類(lèi)，確定點(diǎn)云在植物中所屬的不同部位。對(duì)不同點(diǎn)云的分類(lèi)結(jié)果如圖9所示，其中σ表示閾值，用來(lái)調(diào)節(jié)點(diǎn)云聚類(lèi)的精密程度。σ越小說(shuō)明兩點(diǎn)間的距離較小才能屬于同一簇；反之，σ越大說(shuō)明兩點(diǎn)間距離較大也能屬于同一簇。本研究設(shè)定σ的默認(rèn)值為3.0。

隨后使用最小生成樹(shù)判斷點(diǎn)云間的拓?fù)溥B接情況，僅基于最近距離和將最近距離與點(diǎn)的數(shù)量相結(jié)合的結(jié)果如圖10所示。

將葉片點(diǎn)云與莖干點(diǎn)云進(jìn)行連接，需要先找到相連的葉片點(diǎn)云及莖干點(diǎn)云中的連接點(diǎn)。依據(jù)植物的生長(zhǎng)特性，葉片往往是以距離莖干最近的部位與莖干相連接。因此，對(duì)于葉片點(diǎn)云連接點(diǎn)而言，該連接點(diǎn)應(yīng)當(dāng)是當(dāng)前集合中與相連集合中所有點(diǎn)的最小距離中最小的點(diǎn)。

在得到葉片部位的連接點(diǎn)后，根據(jù)本文所述方法確定的莖干骨架點(diǎn)集連接點(diǎn)及其對(duì)應(yīng)的最終補(bǔ)全后的莖干效果如圖11所示。

2.2 待擬合點(diǎn)集確定結(jié)果

待擬合點(diǎn)點(diǎn)集由莖干骨架上的待擬合點(diǎn)及缺失部分的待擬合點(diǎn)構(gòu)成。兩部分待擬合點(diǎn)如圖12所示，其中：紅點(diǎn)表示缺失部分待擬合點(diǎn)與莖干骨架上待擬合點(diǎn)，這些點(diǎn)都將參與缺失部分莖干半徑的擬合；黃點(diǎn)表示葉片點(diǎn)云連接點(diǎn)、莖干骨架點(diǎn)集連接點(diǎn)和莖干骨架上待擬合點(diǎn)中最下方點(diǎn)，這些點(diǎn)將作為Bezier曲線(xiàn)擬合的控制點(diǎn)參與缺失部分莖干軸線(xiàn)的擬合。

2.3 擬合結(jié)果密度及細(xì)節(jié)調(diào)整

獲得待擬合點(diǎn)點(diǎn)集后，通過(guò)Bezier曲線(xiàn)對(duì)該點(diǎn)集進(jìn)行擬合，并基于曲線(xiàn)方程用在其切線(xiàn)方向上作圓擬合缺失部分莖干點(diǎn)云。根據(jù)本研究所述方法，對(duì)擬合的生成點(diǎn)集的密度進(jìn)行調(diào)整，結(jié)果如圖13所示。

最后，刪去原始莖干點(diǎn)云上或其內(nèi)部的生成點(diǎn)，結(jié)果如圖14所示。

2.4 植物莖干缺失部分補(bǔ)全結(jié)果

2.4.1 補(bǔ)全效果分析

為了能對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行可視化比較和定量指標(biāo)驗(yàn)證，使用一些完整的植物CAD模型，去除其莖干連接處部分點(diǎn)云后進(jìn)行模擬，得到的實(shí)驗(yàn)結(jié)果如圖15所示。其中圖15A為輸入的莖干與葉片連接處缺失的待補(bǔ)全點(diǎn)云，圖15B為通過(guò)本文方法擬合的結(jié)果，圖15C為用于參照的真實(shí)值點(diǎn)云。

對(duì)于補(bǔ)全后的缺失部分莖干，半徑由莖干至葉片銜接平滑，補(bǔ)全的點(diǎn)云與原始點(diǎn)云密度分布均勻，且補(bǔ)全的莖干整體上彎曲自然，具有一定的物理意義與美觀效用。缺失部分補(bǔ)全的莖干與原始點(diǎn)云渾然一體，具有較強(qiáng)的真實(shí)感。

2.4.2 定量指標(biāo)分析

采用倒角距離和均方誤差兩種定量指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

倒角距離(chamfer distance，CD)用來(lái)評(píng)估兩個(gè)點(diǎn)集S1和S2之間距離(其中S1表示點(diǎn)云真實(shí)值數(shù)據(jù)，S2表示本實(shí)驗(yàn)的結(jié)果)。eCD表示倒角距離誤差，具體評(píng)價(jià)公式如下：

(24)

式中：|S1|、|S2|分別表示S1、S2點(diǎn)集中元素的數(shù)量。采用均方誤差(mean square error，MSE，式中記為eMSE)來(lái)評(píng)估實(shí)驗(yàn)結(jié)果，公式如下：

(25)

式中，CNN(x)表示S1中的點(diǎn)x在S2中的最近鄰點(diǎn)點(diǎn)集，在此使用K=10的最近鄰搜索，即|CNN(x)|=10。

在兩種評(píng)價(jià)指標(biāo)中，本實(shí)驗(yàn)的結(jié)果都取得了較好的結(jié)果，如表1所示(數(shù)值越低表示誤差越小)。

表1 實(shí)驗(yàn)結(jié)果誤差分析表

2.4.3 魯棒性分析

本研究方法適用于大多數(shù)存在莖干與葉片斷連情況的植物點(diǎn)云，提出的算法具有旋轉(zhuǎn)不變性，具有較高的魯棒性。

為了驗(yàn)證該方法的魯棒性，對(duì)輸入點(diǎn)云進(jìn)行隨機(jī)角度的旋轉(zhuǎn)，實(shí)驗(yàn)結(jié)果如圖16所示，發(fā)現(xiàn)對(duì)于旋轉(zhuǎn)過(guò)后的點(diǎn)云進(jìn)行補(bǔ)全仍能達(dá)到預(yù)期效果。

3 討 論

本研究以莖葉體植物為研究對(duì)象，通過(guò)三維掃描設(shè)備得到植物點(diǎn)云數(shù)據(jù)。首先基于點(diǎn)云密度使用并查集對(duì)點(diǎn)云進(jìn)行聚類(lèi)，通過(guò)概率圖模型計(jì)算點(diǎn)云簇間邊的權(quán)重，使用最小生成樹(shù)確定點(diǎn)云的拓?fù)溥B接情況；然后對(duì)于已聚類(lèi)的點(diǎn)云簇，針對(duì)莖干部分點(diǎn)云使用基于L1中值的局部迭代方法提取其骨架，提出一種基于最近鄰點(diǎn)距離的搜索算法對(duì)莖干骨架點(diǎn)集進(jìn)行排序，進(jìn)而根據(jù)球鄰域搜索確定待擬合點(diǎn)集；最后使用最小二乘法擬合莖干半徑，基于Bezier缺陷擬合缺失部分莖干軸線(xiàn)，以莖干切線(xiàn)方向使用三維參數(shù)方程生成補(bǔ)全點(diǎn)集，對(duì)點(diǎn)云進(jìn)行補(bǔ)全，為后續(xù)的三維建模提供數(shù)據(jù)基礎(chǔ)和技術(shù)支撐。基于L1中值骨架提取的對(duì)植物莖干缺失部分進(jìn)行擬合補(bǔ)全的方法，具有旋轉(zhuǎn)不變性及較高的魯棒性。實(shí)驗(yàn)結(jié)果在保證莖干骨架點(diǎn)集提取的真實(shí)性及莖干半徑計(jì)算的準(zhǔn)確性的前提下，完成了對(duì)缺失部位的補(bǔ)全，并基于點(diǎn)云密度對(duì)生成點(diǎn)的點(diǎn)集進(jìn)行調(diào)整，使得補(bǔ)全莖干與植物整體連接恰當(dāng)，渾然一體，可為后續(xù)植物的三維重建與植物的可視化奠定基礎(chǔ)。

在補(bǔ)全植物點(diǎn)云的過(guò)程中，提取植物的骨架是關(guān)鍵步驟之一。由于植物的復(fù)雜性和點(diǎn)云掃描的不完整性，直接使用L1中值局部迭代方法提取的植物骨架會(huì)出現(xiàn)骨架不完整、偏移過(guò)大等問(wèn)題。筆者先基于點(diǎn)云密度對(duì)點(diǎn)云聚類(lèi)，得到植物葉片、植物莖干等點(diǎn)云簇，然后僅提取植物莖干點(diǎn)云骨架。但對(duì)植物完整骨架的提取仍是一個(gè)亟待研究的問(wèn)題，提取植物點(diǎn)云的骨架將會(huì)是對(duì)植物點(diǎn)云重建、植物點(diǎn)云分類(lèi)分割等工作的基礎(chǔ)，也是植物可視化領(lǐng)域研究的重難點(diǎn)之一。

深度學(xué)習(xí)相關(guān)方法具有較高的魯棒性及泛化能力，但多數(shù)方法是數(shù)據(jù)驅(qū)動(dòng)的，需要大量的相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練。通過(guò)本研究提出的方法可簡(jiǎn)單、直接地獲得完整且效果良好的植物點(diǎn)云模型，進(jìn)而構(gòu)建植物模型數(shù)據(jù)集。進(jìn)一步可考慮在植物模型數(shù)據(jù)集中，使用深度學(xué)習(xí)相關(guān)方法進(jìn)行訓(xùn)練，對(duì)點(diǎn)云的分類(lèi)及點(diǎn)云間拓?fù)溥B接情況的判斷。如可使用PointNet等深度學(xué)習(xí)網(wǎng)絡(luò)，直接對(duì)點(diǎn)云進(jìn)行語(yǔ)義分割，將點(diǎn)云進(jìn)行分類(lèi)的同時(shí)判斷該部分點(diǎn)云的種類(lèi)，同時(shí)基于分割的點(diǎn)云種類(lèi)及點(diǎn)云的空間集合結(jié)構(gòu)可推導(dǎo)出點(diǎn)云間的拓?fù)滏溄忧闆r，此類(lèi)方法將具有更高的魯棒性。

此外，由于植物本身結(jié)構(gòu)較為復(fù)雜，且現(xiàn)實(shí)生活中的植物種類(lèi)繁多，筆者僅針對(duì)莖葉體植物完成對(duì)其葉片和莖干連接處的補(bǔ)全，在今后將考慮實(shí)現(xiàn)對(duì)更多類(lèi)型植物點(diǎn)云的補(bǔ)全工作，增加本算法的泛化能力，實(shí)現(xiàn)對(duì)多樣性植物點(diǎn)云的處理及建模，從而促進(jìn)林業(yè)信息化的發(fā)展。