何鄂龍,王紅平,陳 奇,劉修國
中國地質(zhì)大學(xué)(武漢)信息工程學(xué)院,湖北 武漢 430074
?
一種改進(jìn)的空間上下文點(diǎn)云分類方法
何鄂龍,王紅平,陳 奇,劉修國
中國地質(zhì)大學(xué)(武漢)信息工程學(xué)院,湖北 武漢 430074
考慮到點(diǎn)云數(shù)據(jù)具有線性分布和密度不均勻的特點(diǎn),以及現(xiàn)有復(fù)雜場(chǎng)景點(diǎn)云分類方法中缺少對(duì)非局部空間上下文信息的有效利用,提出了一種改進(jìn)的空間上下文點(diǎn)云分類方法。該方法在提取點(diǎn)云數(shù)據(jù)顧及曲率的自適應(yīng)鄰域的基礎(chǔ)上,首先估算點(diǎn)云局部特征與依賴性空間上下文,并基于超級(jí)體素提取分布性空間上下文,最后采用高階條件隨機(jī)場(chǎng)模型,實(shí)現(xiàn)對(duì)點(diǎn)云數(shù)據(jù)的自動(dòng)分類,避免了利用單一點(diǎn)云局部特征分類的局限性。試驗(yàn)結(jié)果表明,本文方法能夠有效提高點(diǎn)云數(shù)據(jù)地物分類精度。
點(diǎn)云;分類;空間上下文;自適應(yīng)鄰域;條件隨機(jī)場(chǎng)
隨著激光掃描技術(shù)的不斷發(fā)展,點(diǎn)云數(shù)據(jù)的獲取更加便利[1],這使得三維點(diǎn)云場(chǎng)景分析在城市建筑物提取[2-3]、車輛及道路相關(guān)信息提取[4-6]以及三維數(shù)字城市重建[7]等方面受到更為廣泛的關(guān)注,也成為攝影測(cè)量、遙感等領(lǐng)域的主要研究方向之一。點(diǎn)云分類作為三維點(diǎn)云場(chǎng)景分析中的重要內(nèi)容之一,通過對(duì)點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)的類別進(jìn)行標(biāo)記,來識(shí)別點(diǎn)云中各類地物信息。在實(shí)際場(chǎng)景中,點(diǎn)云分類受點(diǎn)云數(shù)據(jù)的噪聲、部分缺失、離散性、密度分布不均勻[8],以及地物形態(tài)的多樣性[9]等諸多因素的影響,點(diǎn)云分類的準(zhǔn)確性還面臨著巨大的挑戰(zhàn)。
點(diǎn)云分類可分為基于局部特征的分類和空間上下文分類[10]兩類。其中基于局部特征的點(diǎn)云分類方法[11],利用從單點(diǎn)鄰域提取的局部特征對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分類,其分類精度嚴(yán)重依賴鄰域的準(zhǔn)確選取。而合理的鄰域有助于提高特征提取的精度,進(jìn)而可以顯著提升點(diǎn)云分類的精度[10]。目前,由諸多學(xué)者提出了多種估算自適應(yīng)鄰域的方法[11-14]來提高點(diǎn)云分類精度。其中,基于矩陣分析來估算點(diǎn)云鄰域[12]的方法,可以得到自適應(yīng)的鄰域,但是該方法需要額外的訓(xùn)練數(shù)據(jù)和儀器參數(shù),這在某些分類任務(wù)下難以滿足?;谧钚§刂档泥徲蚬浪惴椒╗11,14],理論上能夠得到每個(gè)點(diǎn)的最穩(wěn)健的鄰域,但是,當(dāng)場(chǎng)景中的點(diǎn)云分布不均勻時(shí),在全局范圍內(nèi)鄰域的穩(wěn)健性難以保證,造成分類的整體精度難以提高。在復(fù)雜場(chǎng)景中,不同區(qū)域的點(diǎn)云分布差異通常較大,而上述鄰域估算方法并沒有考慮到這點(diǎn),這對(duì)于分類整體精度的提升還有一定的欠缺。
空間上下文分類方法,在局部特征的基礎(chǔ)上,引入空間上下文提升點(diǎn)云分類精度。顧及局部依賴關(guān)系的空間上下文點(diǎn)云分類方法,考慮局部近鄰點(diǎn)之間的相互關(guān)聯(lián)性,提取依賴關(guān)系[15-16],可有效提高分類精度。然而這樣一種局部依賴關(guān)系,對(duì)于復(fù)雜的三維點(diǎn)云場(chǎng)景而言,存在一定的局限性?;诜指顗K實(shí)體,考慮非局部范圍內(nèi)的幾何形狀特征[17]的空間上下文點(diǎn)云分類方法,可在一定程度上提高局部范圍內(nèi)標(biāo)記結(jié)果的一致性。該類方法充分考慮了局部范圍內(nèi)的依賴關(guān)系以及幾何形態(tài)特征,可得到更為平滑與完整的分類結(jié)果。然而,由于局部依賴關(guān)系的局限性,以及基于分割塊實(shí)體的形狀特征無法描述地物的相對(duì)分布情況,對(duì)于自然場(chǎng)景中豐富的非局部范圍的空間上下文,如車輛在地面上等分布規(guī)律,上述方法難以有效利用,無法得到更為完整的分類結(jié)果。
針對(duì)上述問題,本文提出了一種改進(jìn)的空間上下文點(diǎn)云分類方法。本文的主要工作在于:①采用顧及曲率的自適應(yīng)鄰域估算方法,能夠自適應(yīng)地得到更為合理的單點(diǎn)鄰域;②提取基于超級(jí)體素的分布性空間上下文信息,有效描述了地物在垂直方向的分布規(guī)律。
點(diǎn)云分類時(shí),需要提取點(diǎn)云特征,并基于點(diǎn)云特征對(duì)點(diǎn)云數(shù)據(jù)的每個(gè)點(diǎn)賦予類別標(biāo)簽。而特征提取的穩(wěn)健性主要依賴于鄰域的準(zhǔn)確選取。
1.1 自適應(yīng)鄰域
點(diǎn)的鄰域通常是以該點(diǎn)為中心,在一個(gè)半徑為r的球體內(nèi),所包含的其他所有點(diǎn),或者是點(diǎn)云中與該點(diǎn)距離較近的前k個(gè)點(diǎn)。顯然,鄰域的確定主要依賴于k或r,而k或r的確定往往需要一定的先驗(yàn)知識(shí)。在地物復(fù)雜的場(chǎng)景中,受點(diǎn)云數(shù)據(jù)密度不均勻的影響,固定尺度的鄰域難以有效地描述地物的局部特征,這就需要根據(jù)地物表面的復(fù)雜程度,自適應(yīng)地調(diào)整特征估算時(shí)的鄰域范圍。本文針對(duì)的是地面移動(dòng)三維激光掃描儀所獲取的點(diǎn)云數(shù)據(jù),數(shù)據(jù)呈線狀分布,具有密度不均的特點(diǎn),線狀分布在面狀區(qū)域表現(xiàn)尤為明顯,如圖1所示。從點(diǎn)云數(shù)據(jù)中可以清楚地看出,點(diǎn)云鄰域的大小與點(diǎn)云密度及曲率有關(guān),因此自適應(yīng)的鄰域選取方法可以從這兩方面入手。目前應(yīng)用較為廣泛的是基于最小熵值的鄰域估算方法,其中以k為參數(shù)的最小熵值法[11],得到鄰域?yàn)関k,以半徑r為參數(shù)的最小熵值法[14],得到鄰域?yàn)関r。鄰域vk雖然避免了對(duì)場(chǎng)景的先驗(yàn)假設(shè),但其受點(diǎn)云密度影響較大,在平坦區(qū)域vk會(huì)呈線狀分布,如圖1所示。鄰域vr能夠減小點(diǎn)云密度的影響,但需要對(duì)場(chǎng)景中的地物類型有一定了解,且受曲率影響較大。本文提出一種顧及曲率的自適應(yīng)鄰域方法,如式(1)所示,以曲率為閾值,曲率較大的使用鄰域vk,曲率較小的使用鄰域vr,得到的鄰域?yàn)関mix
(1)
式中,cur是該點(diǎn)的曲率;ct是曲率閾值。閾值的選取采用k均值聚類方法,以曲率最大值、最小值作為初始聚類中心進(jìn)行聚類。為確保vmix在規(guī)則區(qū)域的有效性,本文以曲率較小的聚類集合的中心作為曲率閾值。
圖1 點(diǎn)云線狀分布示意圖Fig.1 Sketch map of linear distribution of point cloud
1.2 局部特征
局部特征(local feature,LF),用于描述點(diǎn)云鄰域內(nèi)點(diǎn)集的分布情況。本文方法使用的局部特征,基于點(diǎn)云的鄰域v統(tǒng)計(jì)得到,用于描述點(diǎn)云的局部空間結(jié)構(gòu),有線性度量Lλ、平面度量Pλ、離散度度量Sλ、歸一化高差Dz、垂直度V等。Lλ、Pλ、Sλ的計(jì)算如式(2)所示,用于描述分類點(diǎn)鄰域v的局部幾何特征[18-19]
(2)
式中,λ1、λ2、λ3(λ1≥λ2≥λ3≥0)為v內(nèi)鄰近點(diǎn)集的協(xié)方差矩陣的特征值。
歸一化高差Dz,如式(3)所示,可以有效描述鄰域空間中離散點(diǎn)的垂直分布情況
(3)
式中,dz為鄰域v內(nèi)高差;zmax與zmin為鄰域v內(nèi)最高點(diǎn)與最低點(diǎn)的z坐標(biāo),min與max為點(diǎn)云中高差dz的最小值與最大值。
垂直度V描述該點(diǎn)法線與水平面的關(guān)系,依據(jù)式(4)計(jì)算
V=1-nz
(4)
式中,nz為法線向量的第3個(gè)分量。
2.1 依賴性空間上下文
依賴性空間上下文(interaction spatial context,ISC),描述點(diǎn)與點(diǎn)之間的相互關(guān)聯(lián)性。在點(diǎn)云數(shù)據(jù)中,近鄰的點(diǎn)之間,存在著一定的相互依賴關(guān)系,相鄰的點(diǎn)趨近于同一類地物。這種依賴關(guān)系用依賴性空間上下文來描述。本文依賴性空間上下文建立在點(diǎn)p與其局部近鄰點(diǎn)(local neighborhood,LN)組成的局部近鄰結(jié)構(gòu)上,其中LN由距離p點(diǎn)最近的q個(gè)點(diǎn)組成。本文通過計(jì)算點(diǎn)p與LN點(diǎn)間的法線夾角α和局部特征間的歐氏距離D作為依賴性空間上下文,如圖2所示,依據(jù)公式(5)計(jì)算
(5)
式中,np與nLN分別為p點(diǎn)、LN點(diǎn)的法向量;Δ項(xiàng)為單點(diǎn)局部特征值的差值。
2.2 分布性空間上下文
分布性空間上下文(distribution spatial context,DSC),用于描述地物在空間上分布的規(guī)律?;趩吸c(diǎn)實(shí)體的空間相關(guān)性可以描述這樣一種分布規(guī)律[9],然而點(diǎn)云數(shù)據(jù)中存在密度不均等問題,基于單點(diǎn)實(shí)體描述非局部范圍的空間上下文,會(huì)增加特征的不確定性。對(duì)此本文提取基于超級(jí)體素的分布性空間上下文,描述地物在垂直方向上的分布情況,來表達(dá)地物在空間上的分布規(guī)律。
圖2 依賴性空間上下文示意圖Fig.2 Sketch map of ISC
本文引入文獻(xiàn)[20]提出的超級(jí)體素分割方法,利用點(diǎn)云空間、法線等信息,在盡量減少信息損失的條件下,將體素化的點(diǎn)云數(shù)據(jù)分割成塊狀數(shù)據(jù),得到超級(jí)體素實(shí)體??紤]到在水平方向地物的分布呈現(xiàn)無規(guī)則的狀態(tài),而在垂直方向具有較好的一致性,本文基于超級(jí)體素實(shí)體統(tǒng)計(jì)地物在垂直方向上的分布情況作為分布性空間。
(6)
圖3 基于超級(jí)體素的分布性空間上下文Fig.3 Supervoxel based DSC
本文采用高階條件隨機(jī)場(chǎng)模型[21-23],在點(diǎn)云局部特征的基礎(chǔ)上,聯(lián)合依賴性空間上下文及分布性空間上下文信息,對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行空間上下文分類。
3.1 高階條件隨機(jī)場(chǎng)點(diǎn)云分類模型
(7)
(8)
(9)
(10)
3.2 算法步驟
本文點(diǎn)云分類方法步驟如圖4所示。
(2) 選取距離點(diǎn)i最近的q個(gè)點(diǎn),得到每個(gè)點(diǎn)i的局部近鄰點(diǎn)LNi,計(jì)算點(diǎn)i與局部近鄰點(diǎn)LNi之間的依賴性空間上下文。
(3) 對(duì)數(shù)據(jù)進(jìn)行超級(jí)體素分割,得到分割塊,基于分割塊計(jì)算分布性空間上下文。
(4) 構(gòu)建高階條件隨機(jī)場(chǎng)模型,進(jìn)行參數(shù)估計(jì),得到模型權(quán)重參數(shù)。
(5) 得到參數(shù)后,對(duì)給定的測(cè)試數(shù)據(jù)進(jìn)行分類。
圖4 本文點(diǎn)云分類方法流程Fig.4 Flow chart of the proposed point cloud classification method
4.1 數(shù) 據(jù)
本文采用Oakland標(biāo)準(zhǔn)數(shù)據(jù)作為本文的試驗(yàn)數(shù)據(jù)。該數(shù)據(jù)是由移動(dòng)平臺(tái)搭載的SICK LMS三維激光掃描儀側(cè)視掃描得到[17],數(shù)據(jù)包含訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。訓(xùn)練數(shù)據(jù)用于模型訓(xùn)練,測(cè)試數(shù)據(jù)用于檢驗(yàn)本文方法的性能。數(shù)據(jù)中每個(gè)點(diǎn)都有對(duì)應(yīng)的地物類別信息,共有5類地物:電線(wire)、柱狀物(pole/trunk)、立面(facade)、地面(ground)、植被(vegetation)。數(shù)據(jù)是典型的非平衡分布數(shù)據(jù),數(shù)據(jù)分布如表1所示,植被與地面占90%以上,而電線、柱狀物少于1%,這對(duì)于分類結(jié)果的精度評(píng)價(jià)是有一定的影響的。
表1 Oakland三維點(diǎn)云數(shù)據(jù)各類別點(diǎn)數(shù)Tab.1 Number of samples per class for the Oakland 3D Point Cloud Dataset
4.2 試 驗(yàn)
本文試驗(yàn),首先估算點(diǎn)云自適應(yīng)鄰域v?;谧赃m應(yīng)鄰域v,計(jì)算節(jié)點(diǎn)N的局部特征。對(duì)每個(gè)點(diǎn)選取距離最近的5個(gè)點(diǎn)作為局部近鄰點(diǎn),組成E,并提取依賴性空間上下文。對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行超級(jí)體素分割,得到超級(jí)體素實(shí)體S,超級(jí)體素半徑為1 m,基于超級(jí)體素提取分布性空間上下文,其中超級(jí)體素團(tuán)CSeg的半徑為1.5 m。基于N、E、S3類實(shí)體構(gòu)建高階條件隨機(jī)場(chǎng)分類模型,對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分類。
試驗(yàn)分別采用vk、vr、vmix3種鄰域進(jìn)行對(duì)比驗(yàn)證,鄰域定義參見1.1節(jié)。計(jì)算點(diǎn)云最優(yōu)鄰域時(shí),為控制計(jì)算規(guī)模,本文設(shè)定鄰域vk參數(shù)kmin=10、kmax=100,迭代步長(zhǎng)Δk=1[10]。鄰域vr參數(shù)rmin=0.25、rmax=2.0,Δr=0.05,其下限由試驗(yàn)所用數(shù)據(jù)中掃描線間距的分布情況確定,確保鄰域范圍內(nèi)的點(diǎn)來自兩條或以上的掃描線[13],其上限為控制計(jì)算規(guī)模設(shè)定的合理經(jīng)驗(yàn)值。鄰域vmix設(shè)定曲率閾值ct為0.02,閾值由k均值聚類的方法得到,曲率大于閾值處使用鄰域vk,曲率小于閾值處使用鄰域vr,其對(duì)應(yīng)的參數(shù)設(shè)定為:kmin=10、kmax=100、rmin=0.5、rmax=2.0。同時(shí),為驗(yàn)證分布性空間上下文的有效性,本文對(duì)3類實(shí)體定義了兩種特征組合:FLF,ISC,LF、FLF,ISC,DSC。其中實(shí)體N的特征為局部特征(LF),實(shí)體E的特征為依賴性空間上下文(ISC),實(shí)體S的特征分為局部特征(LF)和分布性空間上下文(DSC)。
考慮到數(shù)據(jù)中地物類別的非平衡分布,本文使用4類常用的評(píng)價(jià)指標(biāo),來對(duì)分類結(jié)果進(jìn)行評(píng)估:
(1) Recall(召回率)表示真實(shí)值中被檢測(cè)出的點(diǎn)的比例。
(2) Precision(準(zhǔn)確率)表示檢測(cè)出來的點(diǎn)中正確點(diǎn)的比例。
(3)F1-score,如式(11)所示
(11)
為召回率與準(zhǔn)確率的調(diào)和平均值,當(dāng)Recall與Precision均有較高的值時(shí),F(xiàn)1-score才會(huì)高。
(4) Overall Accuracy(整體準(zhǔn)確率)表示分類結(jié)果中分類正確點(diǎn)所占比例。
4.3 結(jié)果與分析
從圖5中可以看到, 點(diǎn)云數(shù)據(jù)中密度分布十分不均。單一的鄰域vk在密度較大的地面區(qū)域,半徑往往偏小,如圖7(a)所示,使得vk呈線性分布。單一的鄰域vr,參數(shù)r需要滿足場(chǎng)景中不同地物的尺度,因此需要較小的rmin,這使得在密度與曲率都較小的區(qū)域,容易造成vr呈線狀分布,且在曲率較大的植被區(qū)域有較大的鄰域,如圖7(b)所示。vmix以曲率為閾值,如圖6所示,cur>0.02的部分使用鄰域vk,cur<0.02的部分使用鄰域vr,使估算的鄰域避免點(diǎn)云密度及曲率變化的影響。從圖7(c)中可以看到,vmix在曲率較小的區(qū)域具有較大的半徑,在曲率較大或變化劇烈的區(qū)域半徑較小,有效避免同類型地物由于密度變化導(dǎo)致的鄰域半徑變化。
圖5 訓(xùn)練數(shù)據(jù)密度分布Fig.5 Density distribution of training data
圖6 訓(xùn)練數(shù)據(jù)中cur<0.02的部分Fig.6 The cur<0.02 in training data
圖7 自適應(yīng)鄰域半徑分布Fig.7 Radius distribution of adaptive neighborhood
圖8 分類結(jié)果與真值比較Fig.8 The comparison between classification results and true values
表2展示了本文方法對(duì)測(cè)試數(shù)據(jù)分類的結(jié)果,整體準(zhǔn)確率達(dá)到97.59%,圖8為本文方法分類結(jié)果與真值的比較圖。從表2中可以看到,除電線由于分布不穩(wěn)定造成準(zhǔn)確率較低外,各類地物均有較高準(zhǔn)確率。誤分情況主要集中在植被與立面:①靠近地面的低矮植被,如花草等,被誤分為地面(如圖8區(qū)域Ⅰ所示);②部分經(jīng)人工修剪的植被,豎直方向上表現(xiàn)較為平整,被誤分為立面(如圖8區(qū)域Ⅳ所示);③部分立面點(diǎn)分布不穩(wěn)定,被分成了植被、電線點(diǎn);④由于電線、柱狀物等在場(chǎng)景中屬于尺寸較小的地物,容易與較濃密植被相混合,造成電線點(diǎn)、柱狀物點(diǎn)被誤分為植被。
表2 點(diǎn)云分類的混淆矩陣(整體準(zhǔn)確率:97.59%)Tab.2 Confusion matrix of classification of points cloud (overall accuracy: 97.59%)
各試驗(yàn)的整體準(zhǔn)確率如圖9所示。本文的自適應(yīng)鄰域方法vmix,顧及點(diǎn)云場(chǎng)景中曲率較大和較小兩種區(qū)域,得到更合適的鄰域,從而提高分類精度。如圖9所示,對(duì)于不同的特征組合,相較于vk、vr,基于vmix的分類方法的整體準(zhǔn)確率都有顯著提高。
圖9 各試驗(yàn)整體準(zhǔn)確率Fig.9 The overall accuracy of the experiments
如圖9所示,在同一自適應(yīng)鄰域方法中,分布性空間上下文的使用,可以有效提高點(diǎn)云分類的整體準(zhǔn)確率。圖10為兩類特征組合分類結(jié)果的對(duì)比差值。從圖10中可以看到,對(duì)于同一自適應(yīng)鄰域,分布性空間上下文能夠有效提升電線、柱狀物以及立面的部分評(píng)價(jià)指標(biāo)。電線及柱狀地物,數(shù)據(jù)不足總體1%,大量的稀疏立面點(diǎn)、地面點(diǎn),呈水平線狀分布,容易被誤分為電線點(diǎn),而建筑物立面相交處,點(diǎn)較為密集,容易誤分為柱狀物,使得電線及柱狀地物的準(zhǔn)確率通常較低,而從圖10中可以看到,分布性空間上下文能夠有效提高電線、柱狀物的準(zhǔn)確率、F1-score,得到較為合理的結(jié)果。
圖10 各自適應(yīng)鄰域方法下FLF,ISC,DSC與FLF,ISC,LF分類結(jié)果各指標(biāo)的對(duì)比差值Fig.10 The difference between the results of FLF,ISC,DSC and FLF,ISC,LF
從圖10中可以看出,分布性空間上下文能夠有效提高建筑物立面的召回率,減少建筑物立面被誤分的情況。建筑物立面數(shù)據(jù)占到總體數(shù)據(jù)的8%,相較于地面、植被,數(shù)據(jù)量較少,其分布存在不穩(wěn)定的情況:①部分立面相交區(qū)域,數(shù)據(jù)較為密集,結(jié)構(gòu)較為復(fù)雜;②部分立面中有框窗、陽臺(tái)等復(fù)雜結(jié)構(gòu)。從圖8中區(qū)域Ⅱ、Ⅲ的分類結(jié)果中可以看到,本文分類方法,能夠得到較為完整的立面信息,如圖8(b)和(d)所示,在框窗區(qū)域、立面相交區(qū)域,均能得到較為完整的分類結(jié)果。
為對(duì)本文方法進(jìn)行驗(yàn)證,比較本文方法(FLF,ISC,DSC-vmix)與文獻(xiàn)[17]方法M3N的準(zhǔn)確率、召回率及F1-score。本文方法在M3N的基礎(chǔ)上,進(jìn)行了混合自適應(yīng)鄰域、分布性空間上下文兩方面改進(jìn)。對(duì)比結(jié)果如圖11所示,立面召回率、F1-score均有提高。柱狀物的準(zhǔn)確率以及F1-score有較大提高,召回率有一定降低,地面信息分類效果基本維持不變,植被、電線的分類效果有一定降低。本文方法整體準(zhǔn)確率為97.59%,各類地物F1-score平均值為80.13%,高于文獻(xiàn)[17]的整體精度(97.16%)與平均F1-score(77.75%)。
圖11 方法對(duì)比差值結(jié)果Fig.11 The difference between the results of proposed method and M3N
本文以地面移動(dòng)三維激光掃描數(shù)據(jù)為研究對(duì)象,提出了一種改進(jìn)的空間上下文點(diǎn)云分類方法。通過在Oakland點(diǎn)云數(shù)據(jù)上的試驗(yàn)結(jié)果得出下列結(jié)論:
(1) 提取顧及曲率的自適應(yīng)鄰域,能夠有效減小點(diǎn)云數(shù)據(jù)密度、曲率變化對(duì)鄰域大小的影響,在曲率較小區(qū)域鄰域半徑較大,避免點(diǎn)云線性分布的影響,而曲率較大區(qū)域鄰域半徑較小,有效保留細(xì)節(jié)信息,得到更為合理的單點(diǎn)鄰域,可以有效提高點(diǎn)云分類的總體精度。
(2) 基于超級(jí)體素提取的分布性空間上下文,能夠有效表達(dá)非局部范圍內(nèi)地物的分布關(guān)系,得到更為完整的立面分類結(jié)果,一定程度上避免了立面上由于遮擋缺失、窗戶陽臺(tái)等因素造成的誤分,有效提高點(diǎn)云分類總體精度。
(3) 不足之處如下:①自適應(yīng)鄰域的估算方法計(jì)算量較大,有待進(jìn)一步優(yōu)化;②目前對(duì)少部分目標(biāo)的分類精度較低,其原因可能是訓(xùn)練樣本不夠,或者是受超級(jí)體素軟分類的結(jié)果影響較大,此部分的內(nèi)容有待進(jìn)一步深入研究。
總體而言,本文的空間上下文點(diǎn)云分類方法,能夠有效提高點(diǎn)云分類總體精度,滿足復(fù)雜場(chǎng)景的點(diǎn)云分類的要求。
[1] WEINMANN M, JUTZI B, HINZ S, et al.Semantic Point Cloud Interpretation Based on Optimal Neighborhoods, Relevant Features and Efficient Classifiers[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105: 286-304.
[2] DEMANTKé J, VALLET B, PAPARODITIS N.Streamed Vertical Rectangle Detection in Terrestrial Laser Scans for Facade Database Production[C]∥ⅩⅫ Congress of the International Society of Photogrammetry and Remote Sensing.Melbourne, Australia: [s.n.], 2012: 99-104.
[3] XU Lijun, KONG Deming, LI Xiaolu.On-the-fly Extraction of Polyhedral Buildings From Airborne LiDAR Data[J].IEEE Geoscience and Remote Sensing Letters, 2014, 11(11): 1946-1950.
[4] SERNA A, MARCOTEGUI B.Detection, Segmentation and Classification of 3D Urban Objects Using Mathematical Morphology and Supervised Learning[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93: 243-255.
[5] YU Yongtao, LI J, GUAN Haiyan, et al.Semiautomated Extraction of Street Light Poles from Mobile LiDAR Point-Clouds[J].IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3): 1374-1386.
[6] 方莉娜, 楊必勝.車載激光掃描數(shù)據(jù)的結(jié)構(gòu)化道路自動(dòng)提取方法[J].測(cè)繪學(xué)報(bào), 2013, 42(2): 260-267.FANG Lina, YANG Bisheng.Automated Extracting Roads from Mobile Laser Scanning Point Clouds[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(2): 260-267.
[7] MUSIALSKI P, WONKA P, ALIAGA D G, et al.A Survey of Urban Reconstruction[J].Computer Graphics Forum, 2013, 32(6): 146-177.
[8] 董震, 楊必勝.車載激光掃描數(shù)據(jù)中多類目標(biāo)的層次化提取方法[J].測(cè)繪學(xué)報(bào), 2015, 44(9): 980-987.DOI: 10.11947/j.AGCS.2015.20140339.DONG Zhen, YANG Bisheng.Hierarchical Extraction of Multiple Objects from Mobile Laser Scanning Data[J].Acta Geodaetica et Cartographica Sinica, 2015, 44(9): 980-987.DOI: 10.11947/j.AGCS.2015.20140339.
[9] 郭波, 黃先鋒, 張帆, 等.顧及空間上下文關(guān)系的JointBoost點(diǎn)云分類及特征降維[J].測(cè)繪學(xué)報(bào), 2013, 42(5): 715-721.GUO Bo, HUANG Xianfeng, ZHANG Fan, et al.Points Cloud Classification Using Joint Boost Combined with Contextual Information for Feature Reduction[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 715-721.
[10] WEINMANN M, SCHMIDT A, MALLET C, et al.Contextual Classification of Point Cloud Data by Exploiting Individual 3D Neigbourhoods[J].ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, 2(3): 271-278.
[11] WEINMANN M, JUTZI B, MALLET C.Semantic 3D Scene Interpretation: A Framework Combining Optimal Neighborhood Size Selection with Relevant Features[J].ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, 2(3): 181-188.
[12] LALONDE J F, UNNIKRISHNAN R, VANDAPEL N, et al.Scale Selection for Classification of Point-Sampled 3D Surfaces[C]∥Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling.Ottawa, Ontario: IEEE, 2005: 285-292.
[13] DEMANTKé J, MALLET C, DAVID N, et al.Dimensionality Based Scale Selection in 3D Lidar Point Clouds[J].The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2011, 38(12): 97-102.
[14] 楊必勝, 董震, 魏征, 等.從車載激光掃描數(shù)據(jù)中提取復(fù)雜建筑物立面的方法[J].測(cè)繪學(xué)報(bào), 2013, 42(3): 411-417.YANG Bisheng, DONG Zhen, WEI Zheng, et al.Extracting Complex Building Facades from Mobile Laser Scanning Data[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(3): 411-417.
[15] ANGUELOV D, TASKARF B, CHATALBASHEV V, et al.Discriminative Learning of Markov Random Fields for Segmentation of 3D Scan Data[C]∥Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego, CA: IEEE, 2005, 2: 169-176.
[16] NIEMEYER J, ROTTENSTEINER F, SOERGEL U.Contextual Classification of LiDAR Data and Building Object Detection in Urban Areas[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 87: 152-165.
[17] MUNOZ D, BAGNELL J A, VANDAPEL N, et al.Contextual Classification with Functional Max-Margin Markov Networks[C]∥Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami, FL: IEEE, 2009: 975-982.
[18] LALONDE J F, VANDAPEL N, HUBER D F, et al.Natural Terrain Classification Using Three-dimensional LiDAR Data for Ground Robot Mobility[J].Journal of Field Robotics, 2006, 23(10): 839-861.
[19] WEINMANN M, JUTZI B, MALLET C.Feature Relevance Assessment for the Semantic Interpretation of 3D Point Cloud Data[J].ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, 1(2): 313-318.
[20] PAPON J, ABRAMOV A, SCHOELER M, et al.Voxel Cloud Connectivity Segmentation-Supervoxels for Point Clouds[C]∥Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland, OR: IEEE, 2013: 2027-2034.
[21] KOHLI P, KUMAR M P, TORR P H S.P3 & Beyond: Solving Energies with Higher Order Cliques[C]∥Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis, MN: IEEE, 2007: 1-8.
[22] LAFFERTY J D, MCCALLUM A, PEREIRA F C N.Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data[C]∥Proceedings of the Eighteenth International Conference on Machine Learning.San Francisco: ACM, 2001: 282-289.
[23] KOHLI P, LADICKY L, TORR P H S.Robust Higher Order Potentials for Enforcing Label Consistency[J].International Journal of Computer Vision, 2009, 82(3): 302-324.
[24] TASKAR B, CHATALBASHEV V, KOLLER D.Learning Associative Markov Networks[C]∥Proceedings of the Twenty-First International Conference on Machine Learning.New York, NY: ACM, 2004: 102.
[25] BOYKOV Y, KOLMOGOROV V.An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(9): 1124-1137.
(責(zé)任編輯:張艷玲)
An Improved Contextual Classification Method of Point Cloud
HE Elong,WANG Hongping,CHEN Qi,LIU Xiuguo
College of Information Engineering, China University of Geosciences, Wuhan 430074, China
To address the lacking of effectively utilization of nonlocal spatial context information on complex scene when classifying point cloud, an improved contextual classification method is proposed for point cloud with linear distribution and uneven density.Firstly, the local point cloud features and interaction spatial context were estimated based on the curvature based adaptive neighborhoods.Then, the supervoxel based distribution spatial context was extracted from point cloud.Finally, the point cloud classification was achieved automatically via higher-order conditional random field, which overcomes the limitation of local feature based point cloud classification.The experimental results show that the proposed method is able to improve the accuracy of point cloud classification effectively.
point cloud; classification; spatial context; adaptive neighborhood; CRF
The National Natural Science Foundation of China (Nos.41471355; 41601506); The China Postdoctoral Science Foundation (No.2016M59073)
HE Elong(1993—), male, postgraduate, majors in point clouds processing.
LIU Xiuguo
何鄂龍,王紅平,陳奇,等.一種改進(jìn)的空間上下文點(diǎn)云分類方法[J].測(cè)繪學(xué)報(bào),2017,46(3):362-370.
10.11947/j.AGCS.2017.20160096.
HE Elong,WANG Hongping,CHEN Qi,et al.An Improved Contextual Classification Method of Point Cloud[J].Acta Geodaetica et Cartographica Sinica,2017,46(3):362-370.DOI:10.11947/j.AGCS.2017.20160096.
P237
A
1001-1595(2017)03-0362-09
國家自然科學(xué)基金(41471355;41601506);中國博士后科學(xué)基金(2016M59073)
2016-03-11
修回日期:2017-01-10
何鄂龍(1993—),男,碩士生,研究方向?yàn)辄c(diǎn)云數(shù)據(jù)處理。
E-mail:heelong@cug.edu.cn
劉修國
E-mail:liuxg318@163.com