夏 旺

（1.中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司，湖北 武漢 430063；2.水下隧道技術(shù)國(guó)家地方聯(lián)合工程研究中心，湖北 武漢 430063）

隨著機(jī)載平臺(tái)和激光硬件發(fā)展，機(jī)載LiDAR點(diǎn)云密度逐漸變高。為點(diǎn)云的處理與分析帶來(lái)了挑戰(zhàn)。由于深度神經(jīng)網(wǎng)絡(luò)受到硬件顯存的限制，不能一次性輸入大規(guī)模點(diǎn)云，而少量的點(diǎn)云不足以描述地物的全局特征。原始PointNet++[1-2]的輸入點(diǎn)的個(gè)數(shù)為1 024，而1 024個(gè)點(diǎn)對(duì)應(yīng)的地表面積太小，不足以提取描述地物整體的全局特征。

通過壓縮點(diǎn)云可以降低點(diǎn)云密度，用少量點(diǎn)云表征地物，但是過于稀疏的點(diǎn)云使得地物失去了細(xì)節(jié)信息，降低了對(duì)地物的識(shí)別能力[3]。因此點(diǎn)云壓縮算法需要在盡量降低點(diǎn)云密度的基礎(chǔ)上，保留表征地物有效信息的點(diǎn)云，達(dá)到點(diǎn)云數(shù)據(jù)量與模型精度的平衡。目前常用的點(diǎn)云壓縮算法有基曲率的壓縮算法[4]、基于網(wǎng)格拓?fù)湫畔5]的壓縮算法、基于法矢夾角的壓縮算法[6]等。

針對(duì)以上問題，本文提出一種聯(lián)合點(diǎn)云壓縮與PointNet++的多特征融合LiDAR 點(diǎn)云語(yǔ)義分割方法。針對(duì)PointNet++難于適用于高密度點(diǎn)云語(yǔ)義分割的問題，首先利用點(diǎn)云壓縮算法降低點(diǎn)云密度，并使用PointNet++網(wǎng)絡(luò)提取簡(jiǎn)化點(diǎn)云的深度語(yǔ)義特征，再利用擬合算法求得完整點(diǎn)云的深度特征；之后提取人工設(shè)計(jì)的空間相關(guān)性特征與深度特征進(jìn)行串聯(lián)以解決PointNet++對(duì)點(diǎn)云空間相關(guān)性特征的提取能力不足的問題；最后利用隨機(jī)森林算法對(duì)完整點(diǎn)云進(jìn)行語(yǔ)義分割，并進(jìn)行精度評(píng)定。

1 本文方法

本文方法技術(shù)路線（見圖1）如下：首先利用點(diǎn)云壓縮算法得到簡(jiǎn)化點(diǎn)云和剩余的冗余點(diǎn)云；然后將簡(jiǎn)化點(diǎn)云輸入PointNet++網(wǎng)絡(luò)模型得到簡(jiǎn)化點(diǎn)云的深度特征，并利用距離插值計(jì)算冗余點(diǎn)云的擬合深度特征；之后將深度特征與人工提取的空間相關(guān)性特征合并，作為點(diǎn)云的分類特征；最后利用樣本的分類特征訓(xùn)練隨機(jī)森林分類器，得到語(yǔ)義分割模型，并對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)，進(jìn)行精度評(píng)定。

圖1 技術(shù)路線

1.1 基于最優(yōu)鄰域的點(diǎn)云壓縮算法

曲率是點(diǎn)云壓縮、建模過程中的重要屬性，因此基于曲率的點(diǎn)云簡(jiǎn)化算法是最常用的點(diǎn)云壓縮算法之一[7]。曲率值小的點(diǎn)往往在平面區(qū)域[8]，被認(rèn)為是冗余點(diǎn)。因此可以通過設(shè)置一個(gè)曲率閾值，保留曲率大的點(diǎn)而舍去曲率小的冗余點(diǎn)，以此來(lái)剔除近似為平面的點(diǎn)以達(dá)到點(diǎn)云壓縮的目的。

但是曲率的計(jì)算需要首先確定點(diǎn)的鄰域大小或者鄰域點(diǎn)的數(shù)量，而鄰域的大小會(huì)影響到曲率值大小，進(jìn)而影響到點(diǎn)云壓縮的效果。本文通過信息熵[9]來(lái)計(jì)算最優(yōu)鄰域[10]，以獲得最佳曲率值。信息熵由香農(nóng)提出，用于描述信息的不確定度，即量化對(duì)信息的度量。利用KNN算法確定點(diǎn)p的K個(gè)鄰域點(diǎn)，以此計(jì)算點(diǎn)p 的協(xié)方差矩陣和協(xié)方差矩陣的3個(gè)特征值，按照大小排序記為：λ1(K)，λ2(K)，λ3(K)，令點(diǎn)p的信息熵記為E(K)，那么最優(yōu)的鄰域?yàn)椋?/p>

得到擬合參數(shù)a，b，c，進(jìn)一步計(jì)算點(diǎn)p 的平均曲率為：

得到平均曲率后，就可以進(jìn)行點(diǎn)云壓縮。令點(diǎn)p的平均曲率記為Hp，設(shè)定的閾值為T，將點(diǎn)云分為簡(jiǎn)化點(diǎn)云CP和冗余點(diǎn)云RD2個(gè)集合，于是有：

經(jīng)過壓縮后，令壓縮后的點(diǎn)云數(shù)量為Nc，冗余點(diǎn)云數(shù)量為Nr，原始點(diǎn)云數(shù)量為No，那么壓縮率d為：

閾值越低，壓縮率越高，說明點(diǎn)云被更大程度的壓縮，壓縮后的點(diǎn)云更加稀疏。

1.2 PointNet++網(wǎng)絡(luò)模型

機(jī)載LiDAR點(diǎn)云是一組無(wú)序離散的點(diǎn)集，即一個(gè)點(diǎn)云集合可以由不同的矩陣進(jìn)行表征。因此可以直接輸入點(diǎn)云集合的深度神經(jīng)網(wǎng)絡(luò)需要滿足2 種性質(zhì)。第一是無(wú)序性，即點(diǎn)云處理的結(jié)果不會(huì)受輸入點(diǎn)順序的影像；其次是旋轉(zhuǎn)不變性，即點(diǎn)云旋轉(zhuǎn)不會(huì)影響最后語(yǔ)義分割的結(jié)果。

PointNet 不需要對(duì)點(diǎn)云進(jìn)行體素化或者投影的預(yù)處理，是第一種直接處理無(wú)序點(diǎn)云數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)。PointNet 通過在網(wǎng)絡(luò)中增加一個(gè)旋轉(zhuǎn)矩陣即空間變換網(wǎng)絡(luò)（T-Net）來(lái)給予點(diǎn)云旋轉(zhuǎn)不變性，并通過最大池化來(lái)解決點(diǎn)云無(wú)序性問題，即提取每個(gè)點(diǎn)的特征后，逐維度計(jì)算所有點(diǎn)的特征最大值，以此對(duì)點(diǎn)云的整體提取全局特征。

PointNet++[8]在PointNet 基礎(chǔ)上增加了一個(gè)多層次結(jié)構(gòu)以提取點(diǎn)云的多尺度特征，稱為集合抽象模塊（set abstraction module，SAM）。如圖2是PointNet++語(yǔ)義分割網(wǎng)絡(luò)的框架，與U-Net[12]類似，PointNet++分為編碼模塊和解碼模塊。編碼模塊逐級(jí)提取點(diǎn)云特征，直至一個(gè)全局特征；解碼模塊通過歐氏距離插值逐步上采樣到輸入點(diǎn)云的分辨率；編碼和解碼模塊之間通過跳躍連接相連，將編碼模塊內(nèi)分組層之后的特征拼接到解碼模塊對(duì)應(yīng)的上采樣層后。最后得到簡(jiǎn)化點(diǎn)云的深度特征后，通過softmax層得到點(diǎn)云的語(yǔ)義分割結(jié)果。本文在網(wǎng)絡(luò)訓(xùn)練完成后，直接輸出深度特征用于后續(xù)步驟的處理，而不通過softmax層得到語(yǔ)義分割的結(jié)果。

圖2 Pointnet++語(yǔ)義分割網(wǎng)絡(luò)

簡(jiǎn)化點(diǎn)云輸入到PointNet++網(wǎng)絡(luò)后可以獲取對(duì)應(yīng)的深度特征，但是冗余點(diǎn)云無(wú)法通過網(wǎng)絡(luò)計(jì)算特征。因此，本文利用歐氏距離插值來(lái)計(jì)算冗余點(diǎn)云的擬合深度特征。

計(jì)算冗余點(diǎn)云中某點(diǎn)p在簡(jiǎn)化點(diǎn)云中的K個(gè)最近鄰點(diǎn)，令點(diǎn)p與K個(gè)近鄰點(diǎn)的距離記為disi，K個(gè)簡(jiǎn)化點(diǎn)的深度特征向量記為，那么點(diǎn)p的擬合深度特征向量為：

1.3 空間相關(guān)性特征提取

PointNet++雖然提取了點(diǎn)云的多尺度特征，但是對(duì)點(diǎn)云空間相關(guān)性建模能力不足。為了提高語(yǔ)義分割精度，本文提取了點(diǎn)云的結(jié)構(gòu)張量特征，即各向同性O(shè)，各向異性A，平面度H，特征熵E，計(jì)算公式如下：

式中，λ1，λ2，λ3為協(xié)方差矩陣的3個(gè)特征值，在曲率計(jì)算的時(shí)候已經(jīng)求得，因此不需要額外計(jì)算，提高了分類效率。

此外點(diǎn)云歸一化高度特征H[13]和強(qiáng)度特征I也有助于提高語(yǔ)義分割精度，因此提取的人工特征向量為：

本文的語(yǔ)義分割特征向量為：

1.4 基于隨機(jī)森林的點(diǎn)云語(yǔ)義分割與精度評(píng)定

隨機(jī)森林[14]分類器是由多個(gè)決策樹組成的一個(gè)集成分類器，每個(gè)決策樹用于訓(xùn)練樣本和特征的隨機(jī)子集，最后使用從所有決策樹集合中得出的預(yù)測(cè)結(jié)果來(lái)產(chǎn)生可靠的分類。對(duì)樣本點(diǎn)云提取公式（9）中特征，輸入到隨機(jī)森林分類器中進(jìn)行訓(xùn)練后，即可用訓(xùn)練好的隨機(jī)森林分類器對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)和精度評(píng)定。

本文采用總體精度和F1-score來(lái)評(píng)價(jià)算法的語(yǔ)義分割精度，總體精度用于描述分類器對(duì)整個(gè)場(chǎng)景所有地物的識(shí)別能力，而F1-score用于衡量分類器對(duì)每一個(gè)地物的識(shí)別能力。令TP為分類正確的點(diǎn)的個(gè)數(shù)，F(xiàn)P為分類錯(cuò)誤的點(diǎn)的個(gè)數(shù)，TPi、FPi、FNi分別為第i類分類正確的點(diǎn)的個(gè)數(shù)、其他類錯(cuò)分為第i類的點(diǎn)的個(gè)數(shù)，第i類錯(cuò)分為其他類的點(diǎn)的個(gè)數(shù)，則第i類的F1-score 定義為：

總體精度定義為：

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與設(shè)計(jì)

實(shí)驗(yàn)采用ISPRS 提供的3D 語(yǔ)義分割數(shù)據(jù)集，該數(shù)據(jù)包含德國(guó)Vaihingen 區(qū)域機(jī)載LiDAR 點(diǎn)云以及對(duì)應(yīng)的人工標(biāo)注。如圖3 為ISPRS 提供的語(yǔ)義分割點(diǎn)云數(shù)據(jù)，根據(jù)ISPRS 官方的設(shè)置，圖3a 點(diǎn)云為訓(xùn)練數(shù)據(jù)，圖3b點(diǎn)云數(shù)據(jù)用于測(cè)試和精度評(píng)定。ISPRS官方總共標(biāo)注了9個(gè)類別，分別是電力線，矮植被，不透水層，汽車，柵欄，屋頂，立面，灌木，樹。

本文通過實(shí)現(xiàn)、對(duì)比5 種方法以證明本文提出方法的有效性。

1）直接使用人工特征訓(xùn)練隨機(jī)森林分類器；

2）使用PointNet++的語(yǔ)義分割網(wǎng)絡(luò)對(duì)點(diǎn)云進(jìn)行分類，且模型僅輸入點(diǎn)云的三維坐標(biāo)；

3）將PointNet++提取的壓縮點(diǎn)云深度特征和冗余點(diǎn)云擬合特征送入隨機(jī)森林分類器進(jìn)行訓(xùn)練；

5）使用PointNet++進(jìn)行點(diǎn)云語(yǔ)義分割，但是模型除了輸入點(diǎn)云的三維坐標(biāo)外，還疊加了六維的人工特征；

6）使用本文方法，提取深度特征后，與人工特征合并，送入隨機(jī)森林分類器進(jìn)行訓(xùn)練。

本實(shí)驗(yàn)所有方法使用的人工特征相同，皆為公式（8）所描述的特征。

實(shí)驗(yàn)中采用Tensorflow 2.4 深度學(xué)習(xí)框架，通過兩塊Geoforce 2080Ti 顯卡進(jìn)行訓(xùn)練與測(cè)試。模型輸入點(diǎn)個(gè)數(shù)為1 024，batch_size 設(shè)為32，優(yōu)化器選擇Adam，模型其他參數(shù)設(shè)置與PointNet++相同[1]。隨機(jī)森林分類器的實(shí)現(xiàn)使用的是Scikit-learn 1.0.2機(jī)器學(xué)習(xí)算法庫(kù)，其中決策樹的數(shù)目設(shè)置為100，特征參數(shù)設(shè)置為輸入特征向量維度的平方根。

2.2 實(shí)驗(yàn)結(jié)果與分析

圖4 展示了5 種方法語(yǔ)義分割結(jié)果的錯(cuò)誤區(qū)域可視化影像，其中綠色代表分類正確的區(qū)域，紅色代表分類錯(cuò)誤的區(qū)域，從圖中可以直觀顯示本文方法的錯(cuò)誤區(qū)域最少。

圖4 語(yǔ)義分割錯(cuò)誤區(qū)域可視化影像

5 種方法的量化精度評(píng)價(jià)如表1 所示。僅僅使用人工特征的點(diǎn)云語(yǔ)義分割方法精度最低，總體精度僅為65.8%，且大部分地物的F1-score 是5種方法最低的，而PointNet++模型的語(yǔ)義分割精度相較于人工特征有了明顯提升，總體精度為77.6%，說明Point-Net++模型通過多層MLP 提取的深度特征對(duì)地物相較于人工特征對(duì)地物有更好的識(shí)別能力。

表1 不同方法的語(yǔ)義分割精度

第3 種方法將壓縮后的點(diǎn)云輸入PointNet++提取的深度特征，并計(jì)算冗余點(diǎn)云的擬合特征一起送入隨機(jī)森林分類器進(jìn)行訓(xùn)練，得到的總體精度優(yōu)于僅使用PointNet++的語(yǔ)義分割結(jié)果，說明點(diǎn)云經(jīng)過壓縮后可以更好地表征地物，提取的特征具有更高的識(shí)別能力。

第4種方法在PointNet++模型的輸入點(diǎn)云中加上人工特征后，總體精度提升了2.6%。說明Point-Net++提取的深度特征不能完全代替人工特征，PointNet++難以提取表征點(diǎn)云空間相關(guān)性的特征，通過融合人工特征和深度特征，可以提高語(yǔ)義分割的精度。

本文提出的方法總體精度最高，相較于Point-Net++提升了5.3%，相比于第3 種方法提高了3.1%，同時(shí)除了柵欄和立面以外所有地物的F1-score 都是最高的，說明人工特征可以很好地補(bǔ)充深度特征，提高對(duì)地物的識(shí)別能力。

表2 展示了不同壓縮率下本文方方法的語(yǔ)義分割精度。壓縮率反映了點(diǎn)云的壓縮程度，壓縮率越高，說明點(diǎn)云壓縮程度越高，越稀疏。由表可知，當(dāng)壓縮率小于0.8 時(shí)，語(yǔ)義分割精度隨著壓縮率的提升而提升。說明壓縮率的提高，通過PointNet++提取的特征具有更高的識(shí)別能力，因?yàn)橥瑯? 024個(gè)點(diǎn)可以更好的表征地物的全局特征。但是當(dāng)壓縮率大于0.8 時(shí)，語(yǔ)義分割精度會(huì)下降，尤其當(dāng)壓縮率為0.95時(shí)，總體精度僅為67.1%。這是由于當(dāng)壓縮率提高時(shí)，雖然可以更好地提取地物的全局特征，但是細(xì)節(jié)信息會(huì)損失，尤其要通過擬合算法計(jì)算冗余點(diǎn)云的特征，進(jìn)一步丟失了細(xì)節(jié)信息。

表2 不同壓縮率下本文方法的語(yǔ)義分割精度

3 結(jié)論

本文提出一種聯(lián)合點(diǎn)云壓縮的多特征融合LiDAR點(diǎn)云語(yǔ)義分割方法。首先利用點(diǎn)云壓縮算法降低點(diǎn)云密度，并使用PointNet++網(wǎng)絡(luò)提取簡(jiǎn)化點(diǎn)云的深度語(yǔ)義特征；再利用擬合算法求得完整點(diǎn)云的深度特征；之后提取人工設(shè)計(jì)的空間相關(guān)性特征與深度特征進(jìn)行串聯(lián)以解決PointNet++對(duì)點(diǎn)云空間相關(guān)性特征的提取能力不足的問題；最后利用隨機(jī)森林算法對(duì)完整點(diǎn)云進(jìn)行語(yǔ)義分割。通過5 種方法的語(yǔ)義分割實(shí)驗(yàn)對(duì)比，證明本文提出方法可以有效提升語(yǔ)義分割精度，總體精度較PointNet++提升了5.3%。