陳 盟 陳興華 鄒 鵬

（南京理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 南京 210094）

1 引言

無人平臺環(huán)境感知與理解是人工智能研究領(lǐng)域的重點和難點。激光雷達(dá)憑借其探測距離遠(yuǎn)、精度高和抗干擾能力強(qiáng)等優(yōu)點，得到廣泛使用，其主要是利用光的收發(fā)時間差來獲得被反射物體的相對方位角和距離。這種對周圍環(huán)境物體表面稀疏采樣點的數(shù)據(jù)集合稱為點云。點云識別的研究存在三個重點問題：點云具有無序性、稀疏性和浮動性。由于卷積神經(jīng)網(wǎng)絡(luò)對于圖像、點云等局部強(qiáng)關(guān)聯(lián)特征提取的高效性，對語義信息抽象能力的優(yōu)越性，廣泛應(yīng)用于環(huán)境感知任務(wù)中。在KITTI、Model?Net40和ShapeNet等點云數(shù)據(jù)集上，基于深度學(xué)習(xí)的檢測算法均處于主導(dǎo)地位。

本文重點研究ModelNet40點云數(shù)據(jù)集的目標(biāo)多分類任務(wù)。通過對點云三維空間位置進(jìn)行球坐標(biāo)下豎直與水平方向上的角度索引編碼，把點云轉(zhuǎn)換為緊密二維多通道點特征圖。作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，以此解決點云無序性和浮動性的問題；設(shè)計的新型卷積神經(jīng)網(wǎng)絡(luò)，使用單點微型感知機(jī)對數(shù)據(jù)缺失空洞的魯棒性進(jìn)行點云局部特征抽象提高，并且使用跳躍連接結(jié)構(gòu)進(jìn)行不同層次間的特征補(bǔ)充，對點云進(jìn)行多層次特征的提取與融合；最后使用提取出的全局特征實現(xiàn)點云分類，并且與當(dāng)前主流方法進(jìn)行實驗對比。

2 點云特征圖

點云處理與識別技術(shù)的發(fā)展可以概括為人為提取特征、經(jīng)典機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三個階段。文獻(xiàn)［1］提出了基于貝葉斯理論的柵格占用估計實現(xiàn)背景點云分割；文獻(xiàn)［2］把點云映射到球坐標(biāo)系下；基于RANSAC［3］的方法提取點云輪廓特征。文獻(xiàn)［4］支持向量機(jī)（SVM）來識別障礙物，高斯混合模型（GMM）［5］和馬爾可夫隨機(jī)場（MRF）［6］在初步人為提取的點云特征下進(jìn)行訓(xùn)練。文獻(xiàn)［7］融合了單目視覺與雷達(dá)點云的多視圖信息；文獻(xiàn)［8～9］把點云的三維坐標(biāo)信息映射到球坐標(biāo)下，生成深度前視圖。文獻(xiàn)［10～11］對CAD模型和場景點云進(jìn)行體素（voxel）柵格劃分；文獻(xiàn)［12～13］建立基于三維體素柵格特征提取的實時檢測模型。文獻(xiàn)［14～15］提出直接提取點云特征的神經(jīng)網(wǎng)絡(luò)；文獻(xiàn)［16］提出無序點云的X變換來獲得規(guī)則特征。

無人平臺場景點云感知任務(wù)中，提取點云多層次的空間特征尤為重要。本節(jié)對原始散亂稀疏點云進(jìn)行空間球坐標(biāo)下豎直角（仰角）、水平角（方位角）的角度索引編碼，把場景散亂稀疏點云轉(zhuǎn)換為有序緊密的多通道點特征圖，改善了原始點云無序性問題，方便卷積神經(jīng)網(wǎng)絡(luò)提取有效的局部關(guān)聯(lián)結(jié)構(gòu)特征與全局語義特征。

2.1 點云數(shù)據(jù)集ModelNet40

ModelNet40提供了如圖1所示的CAD模型點云，數(shù)據(jù)集共包含40個對象類別（如飛機(jī)、浴池、植物等），其中9843個實例點云模型作為訓(xùn)練集，另外2468個實例點云模型作為測試集驗證算法模型的性能。

每個CAD模型點云提供每個描述點的三維坐標(biāo)(x，y，z) 并且包含四種分辨率：256/512/1024/2048，本文實驗基礎(chǔ)均建立在2048分辨率的CAD模型點云上。

圖1 ModelNet40點云數(shù)據(jù)集

2.2 點云多通道點特征圖

對散亂無序的CAD模型點云數(shù)據(jù)進(jìn)行預(yù)處理，得到有序緊密的多通道點特征圖，該流程如下：

步驟1：讀取原始點云數(shù)據(jù)，每個數(shù)據(jù)點包含三維直角坐標(biāo)(x，y，z) 及回波反射值intense；設(shè)定豎直、水平角度分辨率等相關(guān)參數(shù)；讀取點云類別標(biāo)注信息。

步驟2：數(shù)據(jù)點的三維直角坐標(biāo)(x，y，z) 轉(zhuǎn)換為空間球坐標(biāo)( )γ，θ，φ如式（1）所示；再根據(jù)豎直角分辨率?θ、水平角分辨率?φ劃分角度單位子空間，得到分辨率為m×n的空間緊密點特征圖見式（2）。

其中，ε為任意無窮小量。

表1 點云單位子空間特征

圖2 點特征圖生成

步驟3：構(gòu)造點云單位子空間內(nèi)數(shù)目、矢量距離等k個特征，見表1。按照步驟2中點云轉(zhuǎn)換后的m、n值對點云進(jìn)行有序排列，構(gòu)造大小為m×n×k的多通道點云特征圖，得到如圖2所示的從原始CAD散亂無序的模型點云，生成固定分辨率的多通道緊密特征圖。

3 點云多分類網(wǎng)絡(luò)

本節(jié)針對第2節(jié)點云預(yù)處理過后生成的多通道點特征圖，設(shè)計點云分類模型進(jìn)行單目標(biāo)點云全局語義特征的提取，完成目標(biāo)點云多分類任務(wù)（流程見圖3）。

表2 分類網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)

本文針對場景點云的特點，設(shè)計具有跳躍連接和點微型感知機(jī)等特殊結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)對點云多通道點特征圖進(jìn)行特征提取。

點云分類模型面向經(jīng)過歐式聚類分割后的單目標(biāo)點云對象（共c種類別），使用卷積神經(jīng)網(wǎng)絡(luò)對預(yù)處理后的多通道點特征圖（input_image）提取全局特征，利用全連接層對全局特征進(jìn)行降維變換，得到點云的c維logits列向量，再通過softmax得到輸入目標(biāo)點云屬于各個類別的概率，最后計算與點云目標(biāo)類別標(biāo)注的交叉熵得到預(yù)測類別與真實類別偏差損失，利用adam優(yōu)化算法進(jìn)行神經(jīng)網(wǎng)絡(luò)梯度反向傳播更新參數(shù)權(quán)重，使得預(yù)測類別偏差損失盡可能接近于0，得到能夠精確檢測單目標(biāo)點云所屬類別的分類模型。

圖3 點云識別方法流程

表2設(shè)計了點云分類模型的具體網(wǎng)絡(luò)結(jié)構(gòu)。根據(jù)2.1節(jié)所述的點云數(shù)據(jù)，預(yù)處理過后轉(zhuǎn)化為分辨率為m×n的7通道特征圖作為模型輸入；先通過SRC模塊進(jìn)行概率隨機(jī)池化作為后續(xù)concat層的通道補(bǔ)充合并淺層特征，設(shè)計的SRC模塊實現(xiàn)相鄰最大池化層間特征跳躍連接，concat層把淺層特征合并到當(dāng)前池化層，作為當(dāng)前池化層的新特征通道；PMP層包含的點微型感知機(jī)均為兩層，并且相同PMP層中作用于每個點的兩層感知機(jī)參數(shù)共享，通過點微型感知機(jī)相當(dāng)于把單點的多通道特征進(jìn)行維度提升，隨著網(wǎng)絡(luò)越深提升的維度越高，能夠表達(dá)的抽象語義也越豐富；PMP層中的最大池化層提取相同通道內(nèi)的局部顯著特征，通過池化逐漸縮小特征圖尺寸，逐步擴(kuò)大顯著特征提取的感受野，得到不同層次的特征表達(dá)；全局特征提取層（reduce_max）對經(jīng)過PMP5層輸出的最高層特征提取256個通道上的256個顯著通道特征作為全局特征，通過3層全連接層的全局特征維度變換得到點云分類的c維logits向量，最后通過softmax層輸出c個類別相應(yīng)概率，取最大概率對應(yīng)類別為輸入點云的類別。其中，網(wǎng)絡(luò)層名稱按實際網(wǎng)絡(luò)結(jié)構(gòu)生成時的順序命名，數(shù)據(jù)除了跳躍連接SRC模塊外均由淺層向深層傳輸；網(wǎng)絡(luò)層尺寸由該網(wǎng)絡(luò)層數(shù)據(jù)節(jié)點存儲矩陣大小表示；模塊描述表示相應(yīng)網(wǎng)絡(luò)層涉及到的不同結(jié)構(gòu)，PMP中的size和stride均為池化參數(shù)，PMP中的conv表示參數(shù)共享的MLP層的某1層，沒有特殊說明時conv的步長與尺寸均為［1，1］，神經(jīng)元非線性激活函數(shù)均為ReLU。

4 實驗與對比分析

4.1 實驗設(shè)計

本文在本地深度學(xué)習(xí)平臺上進(jìn)行網(wǎng)絡(luò)模型的設(shè)計、訓(xùn)練與對比測試，實驗環(huán)境如表3所示。

表3 實驗環(huán)境配置

4.2 點云多分類

本節(jié)實驗使用ModelNet40數(shù)據(jù)集進(jìn)行40個類別的單目標(biāo)點云分類，數(shù)據(jù)集包含12，311個已分類的CAD點云模型（每個模型共2048個三維采樣點），將其中9，843幀劃分為訓(xùn)練集，剩余2，468幀作為測試集，每遍歷一輪訓(xùn)練集數(shù)據(jù)，測試一次當(dāng)前模型訓(xùn)練結(jié)果，對比評價各個主流點云算法的性能。實驗中，訓(xùn)練集與測試集數(shù)據(jù)源均相同，記錄250輪訓(xùn)練中各算法模型總體分類準(zhǔn)確率與類別分類平均準(zhǔn)確率的測試結(jié)果，得到如表4結(jié)果（部分?jǐn)?shù)據(jù)來源于文獻(xiàn)［14］）。其中，根據(jù)輸入點云的預(yù)處理方法分為二維柵格、三維空間體素、多視圖圖像、無預(yù)處理與本文使用的角度索引點云特征圖。

表4 ModelNet40分類結(jié)果

本文網(wǎng)絡(luò)設(shè)計基準(zhǔn)（baseline）為文獻(xiàn)［9］中提出的L05-Net，點云預(yù)處理方式都是角度索引，分類的全連接層共用本文設(shè)計的網(wǎng)絡(luò)，由于其特征提取模型為簡易的淺層網(wǎng)絡(luò)，測試精度較低。MVCNN［7］在類別分類平均準(zhǔn)確率上表現(xiàn)最好，本文方法由于CAD模型點云生成角度索引特征圖時，相同水平與豎直索引位置上有部分采樣點重合造成細(xì)節(jié)信息的損失，對于小部特殊分類別判斷不夠精確。

在總體分類準(zhǔn)確率上本文方法處于主流方法的第一梯隊，相比表現(xiàn)最好的 PointNet［14］，在相同測試環(huán)境下，本文使用ModelNet40相同訓(xùn)練與測試數(shù)據(jù)實驗得到的測試結(jié)果對比曲線，模型算法運行時間為tensorflow中搭建的計算圖運行測試集2，468幀點云數(shù)據(jù)所消耗的時間，PointNet［14］平均每輪數(shù)據(jù)測試耗時8.18s（每幀3.31ms），本文方法耗時3.77s（每幀1.53ms），在運行速度上具有很大優(yōu)勢，更適用于實際工程，測試準(zhǔn)確率與算法運行速度變化曲線見圖4。

圖4 分類模型性能評估

5 結(jié)語

本文提出了一種新的CAD模型點云多分類識別方法，針對點云數(shù)據(jù)的無序性、稀疏性和浮動性等難點，把原始點云轉(zhuǎn)化為角度索引點特征圖實現(xiàn)點云特征表達(dá)的緊密有序化，并且利用卷積神經(jīng)網(wǎng)絡(luò)思想設(shè)計了單目標(biāo)點云分類特征提取算法模型，通過在公有點云數(shù)據(jù)集上與多個典型點云識別算法相比較，證明了本文算法在保證檢測準(zhǔn)確率的同時，有效地提高了算法實時性。算法目前已成功應(yīng)用在無人駕駛車上。