向姝芬，毛 琳，楊大偉

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

3D點(diǎn)云分割技術(shù)[1]已被廣泛應(yīng)用在無(wú)人駕駛場(chǎng)景中，現(xiàn)有點(diǎn)云分割算法大多以點(diǎn)云坐標(biāo)信息為輸入，利用邊緣提取算法提取邊緣特征，與全局特征融合獲取分割結(jié)果，但輸入的點(diǎn)云坐標(biāo)信息數(shù)據(jù)量較大且具有無(wú)序性[2]，現(xiàn)有方法對(duì)邊緣特征的提取能力有限，不足以獲取完整的、表達(dá)能力較強(qiáng)的邊緣特征，導(dǎo)致點(diǎn)云分割不精確，因此怎樣獲取較為完整的點(diǎn)云邊緣特征成為熱點(diǎn)問(wèn)題之一。

點(diǎn)云研究初期，Li Y、Hao S等人提出Pointnet[3]，利用多層感知機(jī)(Multilayer Perceptron，MLP)提取特征，但只考慮全局特征的完整性，忽略了局部特征，致使點(diǎn)云特征提取不全。在此基礎(chǔ)上，PointNet++基于分層抽取特征[4]的思想，單獨(dú)處理局部中的每個(gè)點(diǎn)，有效利用局部信息，但沒(méi)有考慮特征中心點(diǎn)與鄰近點(diǎn)之間的距離和邊緣向量，局部特征沒(méi)有得到精細(xì)化提取，使得點(diǎn)云分割效果一般。為解決此問(wèn)題，動(dòng)態(tài)圖CNN(Dynamic Graph CNN for Learning on Point Clouds，DGCNN)[5]和鏈接動(dòng)態(tài)圖CNN(Linked Dynamic Graph CNN for Learning on Point Clouds，LDGCNN)[6]利用對(duì)邊緣特征的精細(xì)化處理，其中DGCNN基于邊緣卷積算子，利用最值近鄰算法(KNN)從點(diǎn)云中心點(diǎn)提取特征，再?gòu)钠溧徲蛱崛∵吘壪蛄?，在點(diǎn)云識(shí)別任務(wù)上獲得了當(dāng)時(shí)最先進(jìn)的結(jié)果。但DGCNN網(wǎng)絡(luò)依賴轉(zhuǎn)換網(wǎng)絡(luò)對(duì)點(diǎn)云進(jìn)行旋轉(zhuǎn)，使得網(wǎng)絡(luò)模型相較于基礎(chǔ)網(wǎng)絡(luò)Pointnet復(fù)雜度增加，計(jì)算成本增大，同時(shí)在深度特征提取時(shí)無(wú)法提供有價(jià)值的邊緣向量。進(jìn)一步地，LDGCNN刪除轉(zhuǎn)換網(wǎng)絡(luò)、減小網(wǎng)絡(luò)模型的大小，用K-NN和共享參數(shù)MLP提取中心點(diǎn)及其鄰居中的局部特征，鏈接來(lái)自不同動(dòng)態(tài)圖的層次結(jié)構(gòu)特征優(yōu)化網(wǎng)絡(luò)體系結(jié)構(gòu)，通過(guò)鏈接層次特征提取有用的邊緣矢量，在Modelnet和Shapenet兩個(gè)數(shù)據(jù)集上均達(dá)到了較為良好的效果。但在邊緣特征提取過(guò)程中，原始點(diǎn)云信息沒(méi)有得到保持，導(dǎo)致邊緣特征提取不完整，影響分割精度。

為獲取更豐富的邊緣信息，本文提出一種3D點(diǎn)云分割改進(jìn)型邊緣特征提取網(wǎng)絡(luò)(3D Point Cloud Segmentation Edge Detection Network Based On LDGCNN，ED-Net)，網(wǎng)絡(luò)的基本結(jié)構(gòu)為改進(jìn)型邊緣特征提取單元，受到Resnet[7]提出的Shortcut連接法啟發(fā)，將MLP的輸入與輸出進(jìn)行融合，獲取更豐富的目標(biāo)輪廓信息。采用該單元的復(fù)合形式——邊緣特征提取單元復(fù)合結(jié)構(gòu)，進(jìn)一步增強(qiáng)點(diǎn)云目標(biāo)邊緣特征，同時(shí)保證特征后原始信息的完整性。該網(wǎng)絡(luò)可以獲取比較完整的邊緣信息，有效提高點(diǎn)云目標(biāo)邊界分割的準(zhǔn)確性。

1 ED-Net網(wǎng)絡(luò)算法

LDGCNN網(wǎng)絡(luò)的核心單元為邊緣卷積層，邊緣卷積層由KNN、MLP和池化層構(gòu)成，如圖1。邊緣卷積層中KNN結(jié)構(gòu)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理，得到具備顯著特征的關(guān)鍵點(diǎn)，MLP結(jié)構(gòu)以關(guān)鍵點(diǎn)特征為輸入，輸出點(diǎn)云目標(biāo)中的語(yǔ)義標(biāo)簽信息，采用池化層處理進(jìn)一步獲取最占優(yōu)勢(shì)的特征，最終輸出經(jīng)邊緣卷積層處理后的點(diǎn)云特征矩陣。在邊緣提取層中，MLP結(jié)構(gòu)提取的語(yǔ)義標(biāo)簽信息對(duì)網(wǎng)絡(luò)性能有較大影響，對(duì)該結(jié)構(gòu)做進(jìn)一步改進(jìn)，有助于獲取表達(dá)能力更強(qiáng)的點(diǎn)云特征，提升模型性能。

圖1 LDGCNN中的邊緣卷積層

1.1 改進(jìn)型邊緣特征提取單元

改進(jìn)型邊緣特征提取單元是邊緣卷積網(wǎng)絡(luò)的基本組成單位，它由主副兩條干路組成，MLP所在的干路為主干路，捷徑連接的干路為副干路，改進(jìn)型邊緣特征提取單元結(jié)構(gòu)如圖2。

圖2 改進(jìn)型邊緣特征提取單元

該單元的數(shù)學(xué)描述如下：

(1)

(2)

(3)

邊緣特征提取單元由前向網(wǎng)絡(luò)(主干路)和捷徑連接(副干路)構(gòu)成實(shí)現(xiàn)。主干路執(zhí)行網(wǎng)絡(luò)功能操作完成萃取信息的過(guò)程，副干路通過(guò)恒等映射保留原始數(shù)據(jù)，保證下一級(jí)結(jié)構(gòu)信息的完整性。改進(jìn)型邊緣特征提取復(fù)合結(jié)構(gòu)如圖3?；趶?fù)合單元1的特點(diǎn)，復(fù)合單元2能獲得完整的輸入特征，二者相結(jié)合作為改進(jìn)型邊緣提取模塊的核心結(jié)構(gòu)，兩個(gè)單元的結(jié)合對(duì)原始特征的提取利用程度是衡量鏈?zhǔn)骄W(wǎng)絡(luò)有效性的重要標(biāo)準(zhǔn)。為保證特征信息的有效傳遞，將復(fù)合單元2的主干路與復(fù)合單元1的輸出主干路連接。

(4)

(5)

其中，MLP實(shí)現(xiàn)對(duì)融合后的y1特征的二次提取，得到更深層的提取結(jié)果。在第n單元中輸出結(jié)果yn相當(dāng)于yn-1在經(jīng)過(guò)MLP的特征提取后再與自身融合的結(jié)果。復(fù)合單元n中接受了復(fù)合單元n-1中的特征yn-1，基于捷徑連接結(jié)構(gòu)，在傳遞過(guò)程中，特征得以完整保持，且借助MLP提取隱藏層特征，可實(shí)現(xiàn)特征進(jìn)一步的加強(qiáng)深化，最終得到增強(qiáng)特征yn。

1.2 改進(jìn)型邊緣特征提取結(jié)構(gòu)

改進(jìn)型邊緣特征提取結(jié)構(gòu)由三個(gè)模塊組成，分別是模塊Ⅰ邊緣特征預(yù)處理、模塊Ⅱ邊緣特征增強(qiáng)和模塊Ⅲ最大池化層。改進(jìn)型邊緣特征提取結(jié)構(gòu)如圖4。

圖4 改進(jìn)型邊緣特征提取結(jié)構(gòu)

模塊Ⅰ邊緣特征預(yù)處理，輸入的點(diǎn)云信息通過(guò)KNN搜索，更新邊緣各點(diǎn)之間的連接關(guān)系，對(duì)輸入點(diǎn)云矩陣進(jìn)行聚類，構(gòu)造局部有向圖，得到含有邊緣特征信息x0的局部有向圖Tpart(DV,DE)。

模塊Ⅲ則是對(duì)局部邊緣圖提取最具優(yōu)勢(shì)特征：

Li=fe(Tpart(pi,ei))=max{h(pi,ei1),h(pi,ei2)} 。

(6)

式中：pi是中心點(diǎn)；ei是邊緣向量；fe是特征提取函數(shù)。在此使用最大池化運(yùn)算，利用模塊Ⅱ邊緣特征提取單元得到的隱藏層特征向量h(pi,eij)，從局部邊緣圖中提取最大特征Li。

1.3 ED-Net網(wǎng)絡(luò)算法步驟

基于Pointnet和Pointnet++在點(diǎn)云分割上的優(yōu)勢(shì)，將LDGCNN網(wǎng)絡(luò)邊緣特征提取層中的卷積等效為MLP，構(gòu)建完整的點(diǎn)云分割網(wǎng)絡(luò)體系，在相同周期內(nèi)提高分割精度，提升點(diǎn)云分割的整體質(zhì)量，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5。

圖5 ED-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

算法實(shí)施步驟如下：

第1步：輸入點(diǎn)云三維坐標(biāo)，通過(guò)KNN構(gòu)造一個(gè)局部有向圖，并在局部有向圖中找出最占優(yōu)勢(shì)特征點(diǎn)；

第2步：改進(jìn)型邊緣特征提取模塊對(duì)含有最占優(yōu)勢(shì)特征的輸入點(diǎn)云信息進(jìn)行邊緣特征的提取，獲得最占優(yōu)勢(shì)的邊緣特征；

第3步：將提取出的最占優(yōu)勢(shì)邊緣特征通過(guò)共享MLP與全局特征進(jìn)行融合，將融合特征信息送入MLP中計(jì)算分割分?jǐn)?shù)，輸出點(diǎn)云分割結(jié)果。

2 實(shí)驗(yàn)結(jié)果分析

本文在Tensorflow實(shí)驗(yàn)平臺(tái)上，使用2張GPU訓(xùn)練點(diǎn)云分割網(wǎng)絡(luò)模型。ED-Net訓(xùn)練網(wǎng)絡(luò)模型相關(guān)參數(shù)設(shè)置見(jiàn)表1。點(diǎn)云分割采用的是Shapenet[8]零件數(shù)據(jù)集，包含來(lái)自多種語(yǔ)義類別的3D模型，這組數(shù)據(jù)集為每個(gè)3D模型提供許多語(yǔ)義標(biāo)注，已經(jīng)索引超過(guò)300萬(wàn)個(gè)模型，其中22萬(wàn)個(gè)模型被分為3 135個(gè)類別。在該實(shí)驗(yàn)中用到該數(shù)據(jù)集的16個(gè)類別模型，由16 881個(gè)CAD模型組成，共用50個(gè)部分進(jìn)行注釋。

表1 ED-Net訓(xùn)練網(wǎng)絡(luò)模型相關(guān)參數(shù)設(shè)置

為評(píng)估算法的實(shí)現(xiàn)，體現(xiàn)該算法對(duì)零件目標(biāo)的分割效果，將每個(gè)類別模型的IoU值及其平均值作為衡量標(biāo)準(zhǔn)檢驗(yàn)分割精度。IoU是一種測(cè)量在特定數(shù)據(jù)集中檢測(cè)相應(yīng)物體準(zhǔn)確度的一個(gè)標(biāo)準(zhǔn)，其值越高，代表分割質(zhì)量越好，算法性能越優(yōu)，仿真結(jié)果對(duì)比見(jiàn)表2。

表2 ShapeNet數(shù)據(jù)集上的仿真結(jié)果

續(xù)表2 ShapeNet數(shù)據(jù)集上的仿真結(jié)果

仿真結(jié)果表明，改進(jìn)型邊緣卷積網(wǎng)絡(luò)的平均IoU在第180周期為81.93%，高于作者LDGCNN同周期的80.76%，精度提升了1.17%。同周期平均IoU對(duì)比見(jiàn)表3。

表3 LDGCNN和ED-Net 180周期時(shí)平均IoU值對(duì)比

LDGCNN網(wǎng)絡(luò)和ED-Net網(wǎng)絡(luò)對(duì)同一組輸入點(diǎn)云模型的可視化對(duì)比如圖6，其中(a)～(e)的5組點(diǎn)云GT來(lái)自ShapeNet數(shù)據(jù)集。輸入相同點(diǎn)云類別模型，ED-Net能獲得更準(zhǔn)確的邊緣信息，目標(biāo)輪廓更清晰、顯著；其中真值對(duì)比更直觀地顯示對(duì)于輪廓更復(fù)雜的樣本模型，比如摩托車(chē)坦克等樣本，ED-Net對(duì)樣本的邊緣特征更敏感，邊緣刻畫(huà)更加細(xì)致，獲得的特征質(zhì)量更高。

圖6 不同網(wǎng)絡(luò)模型可視化結(jié)果對(duì)比

3 結(jié) 語(yǔ)

針對(duì)3D點(diǎn)云對(duì)邊緣特征提取不完整導(dǎo)致分割精度不高的問(wèn)題，本文提出ED-Net網(wǎng)絡(luò)算法，以改進(jìn)型邊緣特征提取單元為核心，將單元內(nèi)部MLP通過(guò)捷徑連接的方式進(jìn)行連接，由此繼承不同層次的點(diǎn)云特征，實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)深化和特征的多角度增強(qiáng)，使邊緣特征信息更豐富，有效提高了3D點(diǎn)云的分割精度。ED-Net為無(wú)人駕駛識(shí)別邊緣特征提供了一種新的思路，在相同周期內(nèi)提高了識(shí)別精度，使點(diǎn)云分割算法能更好地應(yīng)用于無(wú)人車(chē)自主駕駛等場(chǎng)景。