羅海峰，方莉娜，陳崇成,黃志文

1. 福州大學(xué)地理空間信息技術(shù)國家地方聯(lián)合工程研究中心，福建 福州 350002； 2. 福州大學(xué)空間數(shù)據(jù)挖掘與信息共享教育部重點實驗室，福建 福州 350002； 3. 福州大學(xué)福建省空間信息工程研究中心，福建 福州 350002

隨著經(jīng)濟(jì)的快速發(fā)展,城市的規(guī)模、市政設(shè)施的種類、數(shù)據(jù)在急劇增加，城市的結(jié)構(gòu)也在發(fā)生巨大的變化。城市環(huán)境中的道路交通設(shè)施，特別是路側(cè)的行道樹、車輛、桿狀目標(biāo)(交通標(biāo)志牌、路燈)等設(shè)施是城市管理和更新的重要對象，廣泛服務(wù)于環(huán)境保護(hù)、智能交通、高精度導(dǎo)航等領(lǐng)域。傳統(tǒng)的測繪手段難以快速、精確采集和更新這些目標(biāo)的信息。車載激光掃描系統(tǒng)作為近年來快速發(fā)展的高新技術(shù)，能夠高效、精準(zhǔn)地獲取道路及其周圍場景的三維空間信息，已成為城市道路交通信息采集和更新的一種重要途徑。然而車載激光點云具有場景復(fù)雜、目標(biāo)多樣、數(shù)據(jù)量大且點密度分布不均等特點，給車載激光點云的數(shù)據(jù)處理帶來很大挑戰(zhàn)。

國內(nèi)外研究學(xué)者針對車載激光點云數(shù)據(jù)處理開展深入研究。一些學(xué)者逐點(point-parse)分析局部鄰域中的高程、強度、法向量等差異，將點云分割成不同目標(biāo)[1-3]?；邳c的鄰域信息和局部變化，只能提取局部最優(yōu)特征，目標(biāo)分類精度易受鄰域尺寸(點數(shù))、點密度等因素影響，且針對復(fù)雜幾何目標(biāo)特征分類精度較低。由于同一目標(biāo)的點云數(shù)據(jù)不僅具備相似的宏觀特性(如形狀、離散度、特征值分布等)，還具有相似的局部幾何特性(如法向量、局部粗糙度、曲率、點到平面距離等)，同時還具備相似的屬性特性(如反射強度、顏色信息等)。一些學(xué)者采用面向?qū)ο蟮牟呗?object-based)，先將點云分割成目標(biāo)，然后分析目標(biāo)的幾何、形狀和紋理信息進(jìn)行目標(biāo)提取。如文獻(xiàn)[4]基于多尺度超體素進(jìn)行區(qū)域聚類分割，根據(jù)先驗知識設(shè)定各類目標(biāo)對象幾何特征分類閾值實現(xiàn)多類目標(biāo)層次化提??；文獻(xiàn)[5]根據(jù)地物目標(biāo)點云分割面的大小、形狀、方向以及拓?fù)潢P(guān)系提取行道樹、建筑物立面；文獻(xiàn)[6—7]將點云數(shù)據(jù)分割成獨立目標(biāo)對象，并利用整體目標(biāo)的特征分別提取路燈和行道樹；文獻(xiàn)[8—9]同樣將分割成獨立目標(biāo)對象，然后基于模型驅(qū)動的方式計算目標(biāo)模型和待檢測對象之間成對3D形狀上下的相似度進(jìn)行目標(biāo)點云提取。盡管這些低層次(low-level)基礎(chǔ)特征在車載激光點云目標(biāo)提取中取得一定的進(jìn)展，但特征選擇和參數(shù)設(shè)置均需要較強的先驗知識。隨著城市場景的增大以及復(fù)雜性的增強，直接用這些基礎(chǔ)特征進(jìn)行目標(biāo)點云提取，經(jīng)常表現(xiàn)不足，難以跨越低層數(shù)據(jù)特征到場景高層語義的鴻溝，導(dǎo)致“數(shù)據(jù)豐富、但語義信息匱乏”的現(xiàn)狀。

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的重要分支，通過建立類似于人腦的分層網(wǎng)絡(luò)模型結(jié)構(gòu)，對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關(guān)系，在圖像識別[10-13]、自然語言理解[14]、語音識別[15-16]等領(lǐng)域深度學(xué)習(xí)均取得了突破性的進(jìn)展。近年來，一些學(xué)者將深度學(xué)習(xí)思想引入3D目標(biāo)或點云目標(biāo)提取中，有效地實現(xiàn)了對復(fù)雜目標(biāo)的特征提取和自動分類。如文獻(xiàn)[17]構(gòu)建一種3D ShapNets模型，利用卷積深度信念網(wǎng)絡(luò)(CDBN)將3D幾何形狀表示為體素的概率分布作為描述特征進(jìn)行3D目標(biāo)識別；文獻(xiàn)[18]提出VoxNet模型，采用3D卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)進(jìn)行3D目標(biāo)識別；文獻(xiàn)[19]采用多視角卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行3D目標(biāo)識別；文獻(xiàn)[20]提出一種3D ConvNet模型(包括3D區(qū)域建議網(wǎng)絡(luò)和目標(biāo)識別網(wǎng)絡(luò))實現(xiàn)RGB-D圖像中的目標(biāo)自動檢測識別；文獻(xiàn)[21]先將路面車載激光點云生成強度圖像，然后構(gòu)建深度玻爾茲曼機(jī)(DBM)描述強度圖像的局部高階特征，最后利用隨機(jī)森林檢測路面中的下水道井蓋；文獻(xiàn)[22—23]利用DBM作為特征提取模型，分別結(jié)合多尺度霍夫森林和視覺短語袋技術(shù)從車載激光點云數(shù)據(jù)中提取車輛和交通標(biāo)志牌。

縱觀國內(nèi)外的研究現(xiàn)狀可以看出，相對于較為成熟的車載激光掃描硬件系統(tǒng)，車載激光點云的目標(biāo)提取還處于初級階段。特別是將深度學(xué)習(xí)方法應(yīng)用于大范圍復(fù)雜城市場景車載激光點云目標(biāo)提取的研究還非常有限。針對上述不足，本文采用面向?qū)ο蟮乃枷?，以分割后目?biāo)對象代替?zhèn)鹘y(tǒng)逐點為單元進(jìn)行處理，利用DBN的多層網(wǎng)絡(luò)結(jié)構(gòu)自動學(xué)習(xí)有效的高級特征并實現(xiàn)路側(cè)多目標(biāo)自動提取，從而提高車載激光掃描數(shù)據(jù)解譯的智能化程度。

1 深度信念網(wǎng)絡(luò)(deep belief network,DBN)簡介

DBN是一種多層網(wǎng)絡(luò)結(jié)構(gòu)的概率生成模型[24]。從結(jié)構(gòu)上看，DBN由多層無監(jiān)督的受限波爾茲曼機(jī)(restricted Boltzmann machine,RBM)[25]和一層有監(jiān)督的分類層(如softmax)組成。相鄰的兩層可看成一個獨立的RBM，低層RBM的輸出，作為上一層RBM的輸入，其結(jié)構(gòu)如圖1所示。

圖1 DBN示意圖Fig.1 Schematic diagram of DBN

RBM作為無監(jiān)督學(xué)習(xí)的生成式模型，其結(jié)構(gòu)主要包含一層可見層以及一層隱含層，且層內(nèi)無連接，層間全連接，如圖2所示。其中v、h分別表示可見層節(jié)點單元和隱含層節(jié)點單元，b、c分別表示可見層和隱含層的偏置，w表示兩層各個節(jié)點之間的連接權(quán)重值。

圖2 RBM示意圖Fig.2 Schematic diagram of RBM

假設(shè)可見層和隱含層均為二值變量，那么當(dāng)給定可見層以及隱含層各個節(jié)點的某一組狀態(tài)(v,h)時，即可定義RBM的能量函數(shù)為

(1)

式中，θ=(wij,bi,cj)?；谀芰亢瘮?shù)(式(1))可得(v,h)的聯(lián)合概率分布

(2)

式中，e為自然常數(shù)。

由于RBM層內(nèi)節(jié)點單元無連接，當(dāng)給定一組可見層節(jié)點的狀態(tài)值時，隱含層各個節(jié)點間的激活狀態(tài)是相互獨立的，那么對于隱含節(jié)點hj狀態(tài)為1的概率

(3)

式中，σ(x)=1/(1+e-x)為sigmoid函數(shù)。同理，當(dāng)給定一組隱含層各節(jié)點單元的值時，重構(gòu)的可見層各節(jié)點單元vi狀態(tài)為1的概率

(4)

RBM的訓(xùn)練即是學(xué)習(xí)參數(shù)θ使其表示的Gibbs分布最大可能擬合給定的訓(xùn)練數(shù)據(jù)。然而采用k步Gibbs采樣求解時k需達(dá)到一個比較大的值，那么其計算量將隨著樣本數(shù)量的增加以指數(shù)級增長，從而導(dǎo)致無法實現(xiàn)快速訓(xùn)練RBM。為了解決RBM訓(xùn)練效率的問題，文獻(xiàn)[26]提出了基于對比散度(contrastive divergence，CD)快速訓(xùn)練方法，參數(shù)更新準(zhǔn)則如下

Δwij=ε(〈vihj〉data-〈vihj〉recon)
Δbi=ε(〈vi〉data-〈vi〉recon)
Δcj=ε(〈hj〉data-〈hi〉recon)

(5)

式中，〈·〉data表示輸入數(shù)據(jù)所確定的期望；〈·〉recon為重構(gòu)后RBM定義的分布上的期望。

2 路側(cè)多類目標(biāo)提取方法

本文提出的路側(cè)多目標(biāo)提取方法主要包括數(shù)據(jù)預(yù)處理、點云分割、生成基于多方向目標(biāo)對象特征描述和基于DBN的多目標(biāo)提取4個主要步驟，如圖3所示。

2.1 車載激光點云數(shù)據(jù)預(yù)處理

由于車載激光點云數(shù)據(jù)量龐大的特點，為了提高數(shù)據(jù)處理的效率，本文采用一種基于偽軌跡點的自動分段方法進(jìn)行原始點云數(shù)據(jù)分段處理。首先，采用文獻(xiàn)[27]的方法提取車載激光點云掃描線，根據(jù)掃描線上激光腳點與掃描儀距離越近點云分布越密集的特點，將每條掃描線上分布最密集的點作為車載激光掃描系統(tǒng)作業(yè)時的行駛路徑(圖4(b))。然后對行駛路徑上中的點進(jìn)行等間距采樣獲得偽軌跡點，并將偽軌跡點按GPS時間順序標(biāo)記為(P1,P2,…,Pn)，如圖4(c)所示；以Pi為坐標(biāo)系原點O，Pi至Pi+1的方向為Y軸正方向，垂直Y軸向右為X軸正方向建立局部坐標(biāo)系，將局部坐標(biāo)系中坐標(biāo)Y值介于Pi和Pi+1的點劃分為Si段，分段結(jié)果如圖4(d)所示。

本文主要針對道路兩側(cè)的行道樹、車輛以及桿狀目標(biāo)的提取，而車載激光掃描數(shù)據(jù)中不僅存在大量的地面和建筑物點云數(shù)據(jù)，且它們常常作為連接的紐帶將不同的地物點云連接束縛在一起，嚴(yán)重影響了數(shù)據(jù)處理的效率和空間復(fù)雜性。因此本文以分段后的點云片段作為處理單元，首先利用文獻(xiàn)[1]的方法快速剔除建筑物點云；然后采用基于體素向上增長的策略濾除地面點云[28]，最終得到路側(cè)地物點云結(jié)果如圖4(e)、(f)所示。

圖3 車載激光點云路側(cè)多目標(biāo)提取流程Fig.3 Flow chart of roadside multiple objects extraction from MLS point clouds

2.2 路側(cè)點云分割

預(yù)處理后的路側(cè)點云仍然散亂無序，本文采用基于連通分支(connected component)[29]的聚類分析算法進(jìn)行地物點云聚類。首先利用Octree通過設(shè)定剖分體素最大邊長wc進(jìn)行地物點云體素剖分，即當(dāng)剖分體素任一維度上的邊長大于wc時，則進(jìn)一步迭代剖分，剖分結(jié)果如圖5(a)、(b)所示；然后以每個體素內(nèi)所有點的中心位置作為該體素的節(jié)點位置，并計算每兩個節(jié)點間的空間距離作為邊構(gòu)建無向圖G1={V1,E1}，其中V1為圖的節(jié)點，E1為節(jié)點之間連接的邊；最后設(shè)定近鄰閾值dn利用連通分支分析將圖G1生成若干連通子圖，每個連通子圖中所有體素包含的點云構(gòu)成一個聚類簇，并將聚類簇中點云數(shù)量小于一定閾值n時視為噪聲點剔除，聚類結(jié)果如圖5(c)所示。

本文對整個場景點云數(shù)據(jù)采用分段處理，使得部分邊界處的目標(biāo)對象被劃分到兩個點云片段中。因此本文在對Si段地物點云進(jìn)行聚類時，通過判斷數(shù)據(jù)預(yù)處理的局部坐標(biāo)系中偽軌跡點Pi所在XOZ面上是否存在聚類簇的點，將其標(biāo)記為邊界或非邊界處聚類簇，并將邊界處聚類簇點云添加至相鄰Si+1片段的地物點云中，當(dāng)對Si+1段點云進(jìn)行聚類時即可得邊界處目標(biāo)完整的點云聚類結(jié)果。

同時聚類結(jié)果中存在一個聚類簇包含多個相鄰地物的情況，如圖6(a)、(b)所示，本文采用基于體素的歸一化分割(Ncut)方法進(jìn)行分割。文獻(xiàn)[30]提出了基于Ncut的圖像分割方法，而后文獻(xiàn)[9,31-32]將Ncut擴(kuò)展到3D空間應(yīng)用于基于體素的點云分割。本文首先利用Octree同樣通過設(shè)定剖分體素最大邊長ws重新對聚類簇進(jìn)行體素剖分，如圖6(c)、(d)所示，以每個體素中所有點的中心位置作為節(jié)點V2，根據(jù)式(6)計算各邊E2的連接權(quán)重w構(gòu)建加權(quán)圖G2={V2,E2}

(6)

Ncut通過最小化目標(biāo)函數(shù)Ncut(A,B)(式(7))使分割結(jié)果A、B的類內(nèi)相似性最大和類間相似性最小

(7)

(D-W)y=λDy

(8)

式中，W=wij；D為對角陣，D=∑jwij。通過求解特征系統(tǒng)(式(8))得到特征值和對應(yīng)的特征向量，利用倒數(shù)第2小特征值對應(yīng)的特征向量將圖G2分割成兩部分，并根據(jù)聚類簇中相鄰目標(biāo)的數(shù)量設(shè)定遞歸分割終止條件，每次遞歸只對具有最小割值的分割子集進(jìn)行分割，最終得到分割結(jié)果如圖6(e)、(f)所示。

2.3 基于多方向目標(biāo)對象特征描述

經(jīng)過上述過程，道路兩側(cè)地物點云被分割成許多獨立的目標(biāo)對象，實現(xiàn)將三維離散點云的特征識別轉(zhuǎn)換為面向?qū)ο蟮哪繕?biāo)提取。由于DBN具備自主學(xué)習(xí)高級特征的能力，能夠?qū)⒒A(chǔ)特征抽象整合為更高級的描述特征，計算機(jī)利用這種高級特征進(jìn)行目標(biāo)識別具有更高的穩(wěn)健性。因此本文僅利用目標(biāo)的3個方向剖面構(gòu)建全局描述特征作為DBN模型的輸入數(shù)據(jù)進(jìn)行目標(biāo)自動提取。因本文DBN模型的節(jié)點采用服從伯努利分布的{0，1}二值變量，所以將目標(biāo)對象每個剖面生成二值圖像，并依次展開排列成二值向量。具體流程如圖7所示，首先在原始點云數(shù)據(jù)坐標(biāo)系XOY平面上定義X軸正方向為0°方向，并標(biāo)記為“方向1”，按逆時針方向，取120°方向和240°方向，分別標(biāo)記為“方向2”和“方向3”，共標(biāo)定3個不同方向；然后分別在垂直3個方向的平面上對目標(biāo)點云進(jìn)行50×50的規(guī)則格網(wǎng)劃分，若格網(wǎng)中存在點則標(biāo)記該格網(wǎng)值為“1”，否則標(biāo)記為“0”，從而生成3幅二值圖像；最后將每幅二值圖像按行依次排列成2500維的二值向量，并將3個二值向量串聯(lián)排列成7500維的二值向量作為目標(biāo)對象的全局特征描述。

2.4 基于DBN的多目標(biāo)提取

將上述提取的多方向目標(biāo)對象全局描述特征向量輸入DBN進(jìn)行目標(biāo)提取時，首先需要構(gòu)建DBN模型，主要包括確定隱含層的節(jié)點數(shù)和隱含層的層數(shù)；其次訓(xùn)練DBN，學(xué)習(xí)DBN的網(wǎng)絡(luò)參數(shù)。DBN作為包含多層隱藏層的網(wǎng)絡(luò)結(jié)構(gòu)，其訓(xùn)練過程主要包括預(yù)訓(xùn)練與微調(diào)兩部分：①貪婪逐層預(yù)訓(xùn)練，采用無監(jiān)督學(xué)習(xí)方法，對較低層進(jìn)行訓(xùn)練，生成第1層RBM網(wǎng)絡(luò)的初始參數(shù)，然后將低一層RBM的隱含層輸出作為高一層的RBM的可見層輸入,通過逐層訓(xùn)練RBM的方式初始化DBN網(wǎng)絡(luò)中各隱含層之間的參數(shù)，得到接近全局最優(yōu)的網(wǎng)絡(luò)參數(shù)；②有監(jiān)督微調(diào)，在DBN的頂層利用分類器將RBM網(wǎng)絡(luò)學(xué)習(xí)到高級特征組合進(jìn)行分類，并采用BP算法有監(jiān)督地訓(xùn)練輸出層，同時將網(wǎng)絡(luò)誤差反向傳播至所有RBM網(wǎng)絡(luò)層中，微調(diào)整個DBN網(wǎng)絡(luò)的參數(shù)，使DBN網(wǎng)絡(luò)的參數(shù)達(dá)到全局最優(yōu)，得到適合目標(biāo)分類的DBN模型。最后利用訓(xùn)練好的DBN模型從車載激光掃描數(shù)據(jù)路側(cè)點云分割結(jié)果中提取出行道樹、車輛及桿狀目標(biāo)，整體流程如圖8所示。

圖8 基于DBN的多目標(biāo)提取流程Fig.8 Flow chart of multiple objects extraction based on DBN

3 試驗與分析

3.1 試驗數(shù)據(jù)

本文試驗采用兩份由Lynx Mobile Mapper系統(tǒng)采集的不同城市道路場景車載激光點云數(shù)據(jù)(圖9)。數(shù)據(jù)1為體育館周邊場景，其道路總長約為1379 m，共26 007 519個數(shù)據(jù)點，點密度約為95點/m2，整體呈環(huán)狀分布，道路兩側(cè)分布著大量的車輛、行道樹、路燈、交通指示牌等；數(shù)據(jù)2為城市街區(qū)場景，其道路總長約為1547 m，共17 205 416個數(shù)據(jù)點，點密度約為46點/m2，整體上呈直線型分布，其中包含兩處直角彎，道路兩側(cè)分布著大量的行道樹、路燈、交通指示牌等桿狀目標(biāo)。

由于目前沒有現(xiàn)成的訓(xùn)練樣本集可用于訓(xùn)練目標(biāo)點云提取的DBN網(wǎng)絡(luò)模型，因此本文需建立一個訓(xùn)練樣本集。首先采用人工的方式從若干不同場景的車載激光點云中提取不同形狀、姿態(tài)的行道樹、車輛、桿狀目標(biāo)作為基礎(chǔ)正訓(xùn)練樣本，部分如圖10(a)所示，數(shù)量分別為124、149、139。同時提取了100個其他地物作為負(fù)訓(xùn)練樣本，部分如圖10(b)所示。

由于人工提取樣本的成本較高，本文為了快速擴(kuò)增訓(xùn)練樣本的總體容量，將人工提取的每個樣本繞自身中心Z軸方向順時針每旋轉(zhuǎn)10°生成一個訓(xùn)練樣本，如圖11所示，最終建立一個如表1所示的訓(xùn)練樣本集。

圖4 車載激光點云數(shù)據(jù)預(yù)處理Fig.4 Preprocessing of MLS point cloud

圖5 地物點云聚類Fig.5 Off-ground points clustering

圖6 交錯重疊點云分割Fig.6 Overlapping point cloud segmentation

圖7 基于多個方向生成目標(biāo)對象全局特征描述Fig.7 Generating global feature description based on multiple directions

圖9 兩份不同道路場景的試驗數(shù)據(jù)Fig.9 Experimental data of two different road scenes

圖10 人工提取訓(xùn)練樣本Fig.10 Manually extracted training samples

圖11 旋轉(zhuǎn)生成訓(xùn)練樣本Fig.11 Generating training samples by rotation

樣本類別行道樹車輛桿狀目標(biāo)負(fù)樣本標(biāo)簽編碼1000010000100001基礎(chǔ)樣本數(shù)量124149139100總體樣本數(shù)量4464536450043600

3.2 構(gòu)建DBN

DBN的隱含層節(jié)點數(shù)直接關(guān)系著隱含層對輸入層的表達(dá)情況，節(jié)點數(shù)量過少則會限制其學(xué)習(xí)特征的能力，使得難以處理復(fù)雜的問題；過多則不僅影響訓(xùn)練效率，而且對輸入數(shù)據(jù)的冗余信息也進(jìn)行學(xué)習(xí)，易導(dǎo)致過度擬合。目前針對隱含層的節(jié)點數(shù)的設(shè)定還沒有非常成熟的理論支撐，在實際應(yīng)用過程中主要依靠經(jīng)驗和對比試驗進(jìn)行設(shè)置。本文采用對比試驗確定隱含層節(jié)點數(shù)，并以測試精度和模型訓(xùn)練效率所為評價指標(biāo)。首先從訓(xùn)練樣本集中隨機(jī)選取2000個樣本作為測試數(shù)據(jù)，其余樣本作為訓(xùn)練數(shù)據(jù)；其次DBN的輸入層節(jié)點數(shù)為7500，隱含層節(jié)點數(shù)從500至7000每間隔500測試一次，測試結(jié)果如圖12所示。

圖12 不同隱含層節(jié)點數(shù)量測試結(jié)果變化趨勢Fig.12 Variation trend of test results for different hidden layer nodes

從測試結(jié)果可以看出，當(dāng)隱含層節(jié)點數(shù)達(dá)2500時，其測試精度達(dá)94.35%且趨于平穩(wěn)。因此綜合考慮訓(xùn)練效率可以看出隱含層節(jié)點數(shù)為2500時，其性能更優(yōu)。

DBN通過非線性深層網(wǎng)絡(luò)結(jié)構(gòu)擬合復(fù)雜數(shù)據(jù)，理論上隱含層數(shù)越多其對數(shù)據(jù)表達(dá)能力越強，但增加隱含層數(shù)的同時也增加了網(wǎng)絡(luò)模型復(fù)雜度，不僅影響模型的訓(xùn)練效率，而且訓(xùn)練更加困難，如果訓(xùn)練不好其擬合效果反而更差。因此本文通過逐層增加的方式構(gòu)造DBN進(jìn)行測試，結(jié)果如表2所示。

表2 DBN隱含層數(shù)測試結(jié)果

從結(jié)果中可以看出，隱含層數(shù)為2的測試精度達(dá)最高99.55%，因此本文最終采用第2種網(wǎng)絡(luò)結(jié)構(gòu)7500-2500-2500-4的DBN作為多類目標(biāo)提取模型。

3.3 試驗結(jié)果

本文試驗計算環(huán)境為i7-4790 CPU、8GB內(nèi)存，實現(xiàn)平臺為Matlab2014a。試驗采用15 m作為一個處理單元(約15萬至20萬個數(shù)據(jù)點)對原始車載激光點云進(jìn)行分段處理。在路側(cè)點云分割的過程中，由于感興趣的行道樹、車輛和桿狀目標(biāo)的體積均較大，同時車輛與行道樹和桿狀目標(biāo)、桿狀目標(biāo)與行道樹之間的最近距離一般都大于0.5 m。因此本文進(jìn)行點云聚類時綜合考慮效率和聚類效果將Octree剖分體素最大邊長wc設(shè)為0.25 m，近鄰距離閾值dn設(shè)為0.5 m。對部分相鄰目標(biāo)由于最近距離小于0.5 m導(dǎo)致多個目標(biāo)被聚成一個類簇進(jìn)行分割時，Octree剖分體素最大邊長ws設(shè)為0.4 m，最大有效連接水平距離dH設(shè)為ws的2.5倍，最終得到路側(cè)點云分割結(jié)果如圖13、圖14所示。構(gòu)建分割后目標(biāo)對象多方向的特征描述向量作為輸入，并利用訓(xùn)練好typeB(7500-2500-2500-4)DBN模型提取出兩份試驗數(shù)據(jù)中的行道樹、車輛和桿狀目標(biāo)，結(jié)果如圖15、圖16 所示。

從試驗結(jié)果可以看出，兩份試驗數(shù)據(jù)中絕大部分的行道樹、車輛及桿狀目標(biāo)均能夠被正確提取。不僅對于點云數(shù)據(jù)完整的目標(biāo)對象具有較好的提取效果，同時部分受遮擋影響導(dǎo)致點云缺失的目標(biāo)也具有較好的提取效果。如圖15的①和②中所示，許多缺失局部點云的車輛都被正確提取，在圖16的③中路面上只有部分點云的車輛亦被正確標(biāo)識。雖然本文取得較好的試驗結(jié)果，但仍存在一些交叉錯誤提取的情況(圖17)。例如部分行道樹(圖17(a))的樹冠形態(tài)較小，使其整體與桿狀目標(biāo)較為形似，從而被錯誤提取為桿狀目標(biāo)；一些灌木叢分布形態(tài)與車輛較為近似導(dǎo)致被錯誤提取為車輛(圖17(b))；部分桿狀目標(biāo)的形態(tài)結(jié)構(gòu)與行道樹非常近似導(dǎo)致被錯誤提取為行道樹，如圖17(c)所示；還有部分行人形態(tài)與桿狀目標(biāo)較為近似被錯誤提取為桿狀目標(biāo)(圖17(d))。

3.4 試驗結(jié)果分析

試驗數(shù)據(jù)中沒有提供目標(biāo)標(biāo)定的真實參考數(shù)據(jù)，本文采用人工方式從場景點云數(shù)據(jù)中提取出行道樹、車輛、桿狀目標(biāo)，其中部分提取結(jié)果由于遮擋導(dǎo)致點云嚴(yán)重缺失，若無場景語義信息輔助人工難以再次準(zhǔn)確識別。因此本文將提取結(jié)果逐個再次進(jìn)行人工識別，并通過統(tǒng)計得出未能識別的目標(biāo)點云數(shù)量均小于200。最后本文將人工提取結(jié)果中點云數(shù)量大于200的視為有效目標(biāo)作為試驗結(jié)果質(zhì)量評價的參考基準(zhǔn)。同時采用準(zhǔn)確率(precision)、召回率(recall)、精度(quality)以及綜合評價指標(biāo)F1值構(gòu)建試驗結(jié)果評價指標(biāo)

(9)

(10)

(11)

(12)

式中，TP為正確提取的數(shù)量；FP為錯誤提取的數(shù)量；FN未被提取的數(shù)量，結(jié)果如表3所示。

表3 路側(cè)多目標(biāo)提取精度

從以上試驗結(jié)果中可以看出，行道樹提取結(jié)果的準(zhǔn)確率達(dá)97.31%，召回率達(dá)98.30%，精度達(dá)95.70%，綜合評價指標(biāo)F1值達(dá)97.80%；車輛提取結(jié)果的準(zhǔn)確率達(dá)94.79%，召回率達(dá)98.75%，精度達(dá)93.81%，綜合評價指標(biāo)F1值達(dá)96.81%；桿狀目標(biāo)提取結(jié)果的準(zhǔn)確率達(dá)92.78%，召回率達(dá)96.77%，精度達(dá)90.00%，綜合評價指標(biāo)F1值達(dá)94.73%。由于目前還沒有與本文一致僅針對路側(cè)行道樹、車輛和桿狀目標(biāo)多目標(biāo)提取方法，因此本文采用單一目標(biāo)提取的相關(guān)研究與本文方法進(jìn)行對比，進(jìn)而說明本文試驗效果，對比結(jié)果如表4所示。

圖13 試驗數(shù)據(jù)1目標(biāo)分割結(jié)果Fig.13 Experimental data 1 objects segmentation results

圖14 試驗數(shù)據(jù)2目標(biāo)分割結(jié)果Fig.14 Experimental data 2 objects segmentation results

圖15 試驗數(shù)據(jù)1多目標(biāo)提取結(jié)果Fig.15 Multiple objects extraction results of data 1

圖16 試驗數(shù)據(jù)2多目標(biāo)提取結(jié)果Fig.16 Multiple objects extraction results of data 2

圖17 交叉錯誤提取結(jié)果Fig.17 Cross error extraction results

Tab.4Theaccuraciesofroadsideobjectsextractedresultsbydifferentmethods(%)

方法類別precisionrecallqualityF1measure文獻(xiàn)[7]行道樹97.6490.8388.6294.11文獻(xiàn)[22]車輛95.8594.9591.2195.40文獻(xiàn)[33]桿狀目標(biāo)97.1788.8586.6192.82本文方法行道樹97.3198.3095.7097.80車輛94.7998.7593.8196.81桿狀目標(biāo)92.7896.7790.0094.73

從以上對比結(jié)果可以看出，雖然現(xiàn)有的單一目標(biāo)提取方法準(zhǔn)確率均比本文方法高，但行道樹和車輛的準(zhǔn)確率差距較小，并且本文方法的召回率、精度、綜合評價指標(biāo)F1值均高于現(xiàn)有的方法，從而驗證了本文方法的有效性。

4 結(jié) 論

本文以車載激光點云數(shù)據(jù)為研究對象，采用面向?qū)ο蠛蜕疃葘W(xué)習(xí)的思想，將點云的分類標(biāo)記問題轉(zhuǎn)化到基于目標(biāo)識別問題上。利用同一類目標(biāo)相似的整體性質(zhì)進(jìn)行特征提取，融合DBN網(wǎng)絡(luò)多層特征學(xué)習(xí)和抽象的能力，實現(xiàn)行道樹、車輛及桿狀目標(biāo)的提取。通過兩份Lynx Mobile Mapper系統(tǒng)采集的不同城市場景點云數(shù)據(jù)進(jìn)行試驗驗證。試驗結(jié)果中行道樹、車輛及桿狀目標(biāo)提取結(jié)果的準(zhǔn)確率分別達(dá)97.31%、97.79%、92.78%，召回率分別達(dá)98.30%、98.75%、96.77%，精度分別達(dá)95.70%、93.81%、90.00%，綜合評價指標(biāo)F1值分別達(dá)97.80%、96.81%、94.73%。雖然本文方法能夠有效提取絕大多數(shù)城市道路場景中的行道樹、車輛及桿狀目標(biāo)，但提取結(jié)果的準(zhǔn)確率仍低于現(xiàn)有的單一目標(biāo)提取方法。這主要是由于本文描述目標(biāo)對象時僅考慮其整體形態(tài)輪廓特征，而沒有兼顧目標(biāo)對象自身點云數(shù)據(jù)屬性特征的差異，從而使得部分樹冠點云缺失的樹干容易被錯誤提取為桿狀目標(biāo)，形態(tài)與行道樹近似的桿狀目標(biāo)容易被錯誤提取為行道樹等。因而筆者在后續(xù)的學(xué)習(xí)工作中將進(jìn)一步探索簡單且能夠更充分表征目標(biāo)對象點云數(shù)據(jù)屬性信息的特征描述子，從而進(jìn)一步提高目標(biāo)提取結(jié)果的精度。

[1] YANG Bisheng, WEI Zhen, LI Qingquan, et al. Automated Extraction of Street-scene Objects from Mobile LiDAR Point Clouds[J]. International Journal of Remote Sensing, 2012, 33(18): 5839-5861.

[2] LIN Yi, HYYPPA J. k-segments-based Geometric Modeling of VLS Scan Lines[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 8(1): 93-97.

[3] 李婷, 詹慶明, 喻亮. 基于地物特征提取的車載激光點云數(shù)據(jù)分類方法[J]. 國土資源遙感, 2012, 92(1): 17-21.

LI Ting, ZHAN Qingming, YU Liang. A Classification Method for Mobile Laser Scanning Data Based on Object Feature Extraction[J]. Remote Sensing for Land & Resources, 2012, 92(1): 17-21.

[4] 董震, 楊必勝. 車載激光掃描數(shù)據(jù)中多類目標(biāo)的層次化提取方法[J]. 測繪學(xué)報, 2015, 44(9): 980-987. DOI: 10.11947/j.AGCS.2015.20140339.

DONG Zhen, YANG Bisheng. Hierarchical Extraction of Multiple Objects from Mobile Laser Scanning Data[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(9): 980-987. DOI: 10.11947/j.AGCS.2015.20140339.

[5] PU Shi, RUTZINGER M, VOSSELMAN G, et al. Recognizing Basic Structures from Mobile Laser Scanning Data for Road Inventory Studies[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(S6): S28-S39.

[6] ZAI Dawei, CHEN Yiping, LI J, et al. Inventory of 3D Street Lighting Poles Using Mobile Laser Scanning Point Clouds[C]∥Proceedings of 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Milan: IEEE, 2015: 573-576.

[7] HUANG Pengdi, CHEN Yiping, LI J, et al. Extraction of Street Trees from Mobile Laser Scanning Point Clouds Based on Subdivided Dimensional Features[C]∥Proceedings of 2015 IEEE International Geoscience and Remote Sensing Symposium. Milan: IEEE, 2015: 557-560.

[8] YU Yongtao, LI J, LI Jun, et al. Pairwise Three-dimensional Shape Context for Partial Object Matching and Retrieval on Mobile Laser Scanning Data[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(5): 1019-1023.

[9] YU Yongtao, LI Jun, GUAN Haiyan, et al. Automated Extraction of 3D Trees from Mobile LiDAR Point Clouds[C]∥ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Riva del Garda, Italy: ISPRS, 2014: 629-632.

[10] BASU S, GANGULY S, MUKHOPADHYAY S, et al. DeepSat: A Learning Framework for Satellite Imagery[C]∥Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems. Seattle, Washington: ACM, 2015: 37.

[11] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks[C]∥Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: Curran Associates Inc., 2012: 1097-1105.

[12] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH: IEEE, 2013: 580-587.

[13] SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep Learning Face Representation from Predicting 10,000 Classes[C]∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH: IEEE, 2014: 1891-1898.

[14] SARIKAYA R, HINTON G E, DEORAS A. Application of Deep Belief Networks for Natural Language Understanding[J]. Proceedings of IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2014, 22(4): 778-784.

[15] GRAVES A, MOHAMED A R, HINTON G. Speech Recognition with Deep Recurrent Neural Networks[C]∥Proceedings of 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver, BC: IEEE, 2013: 6645-6649.

[16] DENG Li, HINTON G, KINGSBURY B. New Types of Deep Neural Network Learning for Speech Recognition and Related Applications: An Overview[C]∥Proceedings of 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver, BC: IEEE, 2013: 8599-8603.

[17] WU Zhirong, SONG Shuran, KHOSLA A, et al. 3D ShapeNets: A Deep Representation for Volumetric Shapes[C]∥Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 1912-1920.

[18] GARCIA-GARCIA A, GOMEZ-DONOSO F, GARCIA-RODRIGUEZ J, et al. PointNet: A 3D Convolutional Neural Network for Real-time Object Class Recognition[C]∥Proceedings of 2016 International Joint Conference on Neural Networks. Vancouver, BC: IEEE, 2016: 1578-1584.

[19] SU Hang, MAJI S, KALOGERAKIS E, et al. Multi-View Convolutional Neural Networks for 3D Shape Recognition[C]∥Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 945-953.

[20] SONG Shuran, XIAO Jianxiong. Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images[C]∥Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV: IEEE, 2016: 808-816.

[21] YU Yongtao, GUAN Haiyan, JI Zheng. Automated Detection of Urban Road Manhole Covers Using Mobile Laser Scanning Data[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(6): 3258-3269.

[22] YU Yongtao, LI J, GUAN Haiyan, et al. Automated Detection of Three-dimensional Cars in Mobile Laser Scanning Point Clouds Using DBM-hough-forests[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(7): 4130-4142.

[23] YU Yongtao, LI J, WEN Chenglu, et al. Bag-of-visual-phrases and Hierarchical Deep Models for Traffic Sign Detection and Recognition in Mobile Laser Scanning Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 113: 106-123.

[24] HINTON G E, OSINDERO S, TEH Y W. A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation, 2016, 18(7): 1527-1554.

[25] CHO K H, ILIN A, RAIKO T. Improved Learning of Gaussian-Bernoulli Restricted Boltzmann Machines[C]∥Proceedings of the 21th International Conference on Artificial Neural Networks. Espoo, Finland: Springer, 2011: 10-17.

[26] HINTON G E. Training Products of Experts by Minimizing Contrastive Divergence[J]. Neural Computation, 2002, 14(8): 1771-1800.

[27] 方莉娜, 楊必勝. 車載激光掃描數(shù)據(jù)的結(jié)構(gòu)化道路自動提取方法[J]. 測繪學(xué)報, 2013, 42(2): 260-267.

FANG Li’na, YANG Bisheng. Automated Extracting Structural Roads from Mobile Laser Scanning Point Clouds[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(2): 260-267.

[28] YU Yongtao, LI J, GUAN Haiyan, et al. Automated Extraction of Urban Road Facilities Using Mobile Laser Scanning Data[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(4): 2167-2181.

[29] REINGOLD O. Undirected Connectivity in Log-space[J]. Journal of the ACM, 2008, 55(4): 17.

[30] SHI Jianbo, MALIK J. Normalized Cuts and Image Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905.

[31] ZHONG Lishan, CHENG Liang, XU Hao, et al. Segmentation of Individual Trees From TLS and MLS Data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(2): 774-787.

[32] REITBERGER J, SCHN?RR C, KRZYSTEK P, et al. 3D Segmentation of Single Trees Exploiting Full Waveform LIDAR Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2009, 64(6): 561-574.

[33] GUAN Haiyan, YU Yongtao, LI J, et al. Pole-like Road Object Detection in Mobile LiDAR Data via Supervoxel and Bag-of-contextual-visual-words Representation[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(4): 520-524.