楊必勝，陳 馳，董 震

武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079

基礎(chǔ)測繪是為經(jīng)濟(jì)社會發(fā)展和國防建設(shè)提供基礎(chǔ)地理信息的基礎(chǔ)性、公益性、先導(dǎo)性事業(yè)，是實現(xiàn)經(jīng)濟(jì)社會可持續(xù)發(fā)展的基礎(chǔ)條件和重要保障[1]。我國基礎(chǔ)測繪經(jīng)歷了從模擬測繪到數(shù)字化測繪再到信息化測繪的重大變革，逐步實現(xiàn)了全行業(yè)數(shù)字化轉(zhuǎn)型，推動了數(shù)字化產(chǎn)品生產(chǎn)與服務(wù)體系的全面建立。但是，近年來數(shù)字化測繪技術(shù)帶來的“紅利”已基本用完[2]，且面臨數(shù)據(jù)完整覆蓋難、信息自動化提取難、智能化服務(wù)難等困境，已無法有效滿足新型基礎(chǔ)設(shè)施建設(shè)、實景三維中國、自然資源管理與監(jiān)測等國家重大需求[3]。因此，從數(shù)字化測繪走向智能化測繪，綜合利用空-天-地多平臺、多類型對地觀測手段和人工智能先進(jìn)技術(shù)，建立以數(shù)據(jù)為基礎(chǔ)、算法為核心、知識為引導(dǎo)、應(yīng)用為驅(qū)動的智能化測繪新范式[2]，為智能交通、智慧城市、全球變化等提供精準(zhǔn)決策，已成為國內(nèi)外測繪學(xué)者的普遍共識和熱門話題[4-6]。

2020年中國測繪學(xué)會學(xué)術(shù)年會上，陳軍、劉經(jīng)南、郭仁忠、周成虎等多位院士圍繞測繪技術(shù)如何與新技術(shù)、新產(chǎn)品、新業(yè)態(tài)相融，測繪行業(yè)如何轉(zhuǎn)型升級，實現(xiàn)高質(zhì)量發(fā)展，進(jìn)行了深入研討，提出了建立智能化測繪觀念更新、理論創(chuàng)新、技術(shù)研發(fā)、體系構(gòu)建與示范應(yīng)用的戰(zhàn)略構(gòu)想。2021年《測繪學(xué)報》組織出版了?？瑢χ悄芑瘻y繪進(jìn)行了頂層設(shè)計、深入剖析和深刻探討[2,4-14]。國際測量師聯(lián)合會(International Federation of Surveyors,FIG)針對城市增長、智能能源、安全交通等對測繪科技的新需求進(jìn)行了深入分析，并對測繪科技服務(wù)多源對地觀測數(shù)據(jù)處理平臺、時空地理信息分析與統(tǒng)計、全球變化模擬分析等方面進(jìn)行了展望[15]。

多平臺移動測量系統(tǒng)可以全天候、高速度、高密度地獲取道路城市環(huán)境的三維點云與圖像紋理信息，為面向智能化測繪的城市地物三維提取提供了一種全新技術(shù)手段，顯著提升了三維空間數(shù)據(jù)獲取效率。然而，在點云質(zhì)量、三維信息提取等方面仍然面臨如下問題：①受全球定位系統(tǒng)定位誤差、慣性導(dǎo)航單元定姿誤差、掃描儀測角和測距誤差、多傳感器同步與標(biāo)定誤差等影響，往返、不同時相的重訪車載點云之間存在分米甚至米級的非剛性形變；②點云、影像等多模態(tài)數(shù)據(jù)融合存在同名特征檢測與精準(zhǔn)刻畫難、跨模態(tài)誤匹配率高等缺陷；③城市地物目標(biāo)提取的自動化程度、語義完整性、結(jié)構(gòu)化表達(dá)等尚不能滿足城市場景理解的需求。

針對以上技術(shù)瓶頸，本文首先提出顧及多重約束的移動測量點云位置精度改善方法，將原始點云位置精度從米級提升至厘米級；其次，把位置改正后的點云作為空間基準(zhǔn)，利用點云與全景圖像中同名路標(biāo)、桿狀物的自動化匹配，進(jìn)行全景影像與位置改正點云的高精度融合；然后，利用融合后的點云和影像作為數(shù)據(jù)源，充分發(fā)揮點云高精度幾何特征和圖像豐富紋理特征的優(yōu)勢，實現(xiàn)城市典型地物要素的高精度三維提?。蛔詈?，在上述3項關(guān)鍵技術(shù)的基礎(chǔ)上，研制融合點云與影像的三維信息智能化提取軟件Point2Model，有效支撐全國新型基礎(chǔ)測繪項目開展。整體方法流程如圖1所示。

圖1 整體方法流程

1 車載移動測量點云位置精度改善

城市場景中建筑物、立交橋、玻璃幕墻、路側(cè)植被等造成GNSS信號遮擋、多路徑效應(yīng)嚴(yán)重，導(dǎo)致直接地理定向的激光點云在重訪區(qū)域出現(xiàn)重影、斷層甚至畸變等現(xiàn)象，嚴(yán)重制約了移動測量點云要素提取和模型重建的位置精度[16]。因此，本文提出一種顧及多重約束的車載移動測量點云位置精度改善方法，包括顧及點云誤差分布特性的自適應(yīng)分段、由粗到細(xì)的多層級兩兩配準(zhǔn)以及多重約束的全局圖優(yōu)化3個核心模塊，整體流程如圖2所示。

圖2 點云位置精度改善整體流程

1.1 顧及點云誤差分布特性的自適應(yīng)分段

首先，通過對移動測量車的運(yùn)動狀態(tài)進(jìn)行分析，選擇其發(fā)生劇烈速度變化和較大方向變化的軌跡點構(gòu)建候選分段點集合；然后，為了最大化點云分段中的同名區(qū)域，搜索候選分段點鄰域內(nèi)的軌跡點作為重訪分段點，并加入分段點集合中，同時，為避免點云過分割現(xiàn)象，刪除軌跡交叉附近的分段點，按照一定長度對軌跡進(jìn)行分塊，保證每個分段內(nèi)只有一個分段點，得到最終的分段點集合；最后，按照分段點集合將點云劃分為長度不同的分段。

1.2 由粗到細(xì)的層級化點云兩兩配準(zhǔn)

考慮到城市場景中存在大量對稱結(jié)構(gòu)、重復(fù)場景，點云分段較短時，直接兩兩匹配容易出現(xiàn)誤匹配，因此提出由粗到細(xì)的層級兩兩配準(zhǔn)方法。首先，通過分段包圍盒之間的重疊度值獲取重訪分段，并提取每個重訪細(xì)分段內(nèi)的二進(jìn)制形狀上下文描述子[17]；其次，通過雙向最優(yōu)和幾何驗證進(jìn)行同名特征匹配，利用同名特征實現(xiàn)粗分段的兩兩匹配，并將相對位姿傳遞到所包含的細(xì)分段中；然后，基于所屬粗分段匹配的同名特征點殘差限定細(xì)分段匹配時特征搜索的半徑，通過由粗到細(xì)的位姿傳遞以及搜索半徑不斷縮小，排除不相似特征，提升匹配效率；最后，根據(jù)特征點匹配數(shù)量、自身旋轉(zhuǎn)量、相鄰分段間的相對變換關(guān)系過濾掉不可靠匹配結(jié)果。

1.3 多重約束的全局圖優(yōu)化

層級化兩兩配準(zhǔn)結(jié)果中無法保證絕對的準(zhǔn)確，而且場景中依舊存在點云重訪但是被過濾掉的分段。為保證整個點云數(shù)據(jù)質(zhì)量的連續(xù)性，本文提出一種估計多重約束的點云分段全局圖優(yōu)化方法。對匹配成功的重訪細(xì)分段，利用匹配同名特征點對構(gòu)建重訪約束Er；對相鄰細(xì)分段點云，利用虛擬采樣點構(gòu)建平滑約束Es，如果外業(yè)采集了同區(qū)域的GNSS控制點，可構(gòu)建相應(yīng)同名點和分段點云之間的參考約束Eref，如式(1)所示

Eglb=ωrEr+ωsEs+ωrefEref

(1)

式中，ωr、ωs、ωref為相應(yīng)權(quán)重。

通過將分段點云的局部位姿抽象為優(yōu)化圖中的節(jié)點，不同類型分段之間的關(guān)系抽象為邊，構(gòu)建完整的圖模型，采用全局優(yōu)化的方式，對所有分段點云進(jìn)行平差，實現(xiàn)誤差重新合理分配到所有分段點云中，并最終實現(xiàn)車載激光點云數(shù)據(jù)的數(shù)據(jù)質(zhì)量改善。

為驗證方法的有效性，本文利用上海市張江高科技園區(qū)和武漢市江漢區(qū)移動測量點云進(jìn)行了試驗，結(jié)果如圖3所示。圖3(a-1)、(b-1)為點云分塊結(jié)果，不同顏色表示不同分塊；圖3(a-2)、(a-4)、(b-2)、(b-4)為數(shù)據(jù)改善前重訪區(qū)域位置偏差；圖3(a-3)、(a-5)、(b-3)、(b-5)為數(shù)據(jù)改善后的結(jié)果，改善后點云位置精度從米級提升至厘米級。

圖3 城市場景車載激光點云數(shù)據(jù)質(zhì)量改善結(jié)果

2 移動測量點云與全景圖像高精度融合

由于移動測量系統(tǒng)的定位、定姿誤差，以及激光掃描儀和相機(jī)外方位參數(shù)的標(biāo)定誤差，導(dǎo)致采集的點云與全景圖像之間存在較大偏差[18]。自動化、高精度的點云和影像融合，是實現(xiàn)兩者優(yōu)勢互補(bǔ)的基礎(chǔ)和前提，同時也是提升要素提取和模型重建精度的有效途徑。因此，本文提出一種基于路標(biāo)桿狀物的點云與全景圖像高精度方法，通過在兩種模態(tài)數(shù)據(jù)中分別精準(zhǔn)提取對應(yīng)的桿狀物目標(biāo)，并進(jìn)行位置匹配獲取2D-3D對應(yīng)點，從而解算出正確的轉(zhuǎn)換參數(shù)，詳細(xì)的技術(shù)路線如圖4所示。

圖4 點云與全景圖像自動配準(zhǔn)技術(shù)路線

2.1 全景圖像桿狀物提取

首先，利用語義分割網(wǎng)[19]進(jìn)行全景圖像的語義分割，根據(jù)分割結(jié)果提取出桿狀物；然后，對區(qū)域生長算法進(jìn)行改進(jìn)，將搜索范圍鎖定在垂直方向且在原算法基礎(chǔ)上擴(kuò)大搜索范圍，優(yōu)化桿狀物提取結(jié)果，解決由遮擋問題導(dǎo)致的桿狀物目標(biāo)上下分離問題；最后，將優(yōu)化后的全景分割圖像二值化，并采用連通域分析方法對二值圖像進(jìn)行實例化，得到全景圖像中所有桿狀物目標(biāo)的單體化結(jié)果。

2.2 點云桿狀物提取

為精準(zhǔn)獲取點云桿狀物，采用全景圖像分割結(jié)果作為輔助，根據(jù)初始的轉(zhuǎn)換參數(shù)，利用式(2)將點云轉(zhuǎn)換到球面坐標(biāo)系

(2)

然后采用式(3)和式(4)將球面坐標(biāo)轉(zhuǎn)為全景圖像的像素坐標(biāo)

(3)

(4)

式中，(xw,yw,zw)和(x,y,z)分別表示點云在世界坐標(biāo)系和相機(jī)坐標(biāo)系下的坐標(biāo)；Rinitial和Tinitial表示初始的位姿參數(shù)；W和H分別表示全景圖像的寬和高；θ和φ表示球面坐標(biāo)系上的點分別與x軸和z軸的夾角；r和c分別表示點云投影在全景圖像中的行和列。

根據(jù)全景圖像中實例化的桿狀物目標(biāo)可以同步獲取點云中對應(yīng)范圍內(nèi)的點(即點云中的桿狀物)，由于初始的外方位參數(shù)及車輛行駛過程中的環(huán)境影響，兩者之間的對應(yīng)關(guān)系存在偏差。為保證點云桿狀物的完整性，針對全景圖像中實例化的桿狀物目標(biāo)構(gòu)建緩沖區(qū)，篩選出位于緩沖區(qū)內(nèi)的點云，即視錐體點云。

由于遮擋及投影偏差的影響，每個視錐體點云既包括前景點(桿狀物點云)也包括背景點(非桿狀物點云)。本文采用聚類、分割和隨機(jī)森林分類等方法在視錐體點云中提取桿狀物[20]，對于全景圖像中的每個桿狀物目標(biāo)分別提取對應(yīng)的視錐體點云中的桿狀物，最后將點云場景中所有的桿狀物目標(biāo)進(jìn)行融合，實現(xiàn)點云桿狀物目標(biāo)提取。

2.3 同名目標(biāo)精準(zhǔn)匹配

將點云桿狀物通過初始參數(shù)投影到全景圖像上，并轉(zhuǎn)換為對應(yīng)的二值圖Ipc，尺寸大小與全景圖像一致，對應(yīng)的全景圖像桿狀物二值圖為Ipano，以Ipano為模版，構(gòu)建損失函數(shù)

L=‖Ipc+r-Ipano‖0

(5)

式中，‖·‖0表示L0范數(shù)，即統(tǒng)計二值圖像之間不同像素的個數(shù)；r表示點云桿狀物投影圖像的偏移量，平移后當(dāng)兩者重疊度最高時L達(dá)到最優(yōu)。

完成匹配后即可獲得大量的點云與全景圖像對應(yīng)點，將全景圖像通過虛擬成像技術(shù)投影成框幅式圖像，間接獲得點云與框幅式圖像的2D-3D對應(yīng)點。最后，采用EPnP[21]模型解算點云與框幅式圖像之間的轉(zhuǎn)換參數(shù)，結(jié)合初始的轉(zhuǎn)換參數(shù)，最終得到點云與全景圖像之間更精確的轉(zhuǎn)換參數(shù)。

為驗證方法的有效性，本文利用上海市張江區(qū)和武漢市江漢區(qū)的移動測量點云和影像進(jìn)行了試驗，結(jié)果如圖5所示。統(tǒng)計結(jié)果表明，數(shù)據(jù)融合之前點云與影像的最小偏差為15個像素，最大偏差為35個像素；自動融合后所有偏差均在5個像素以內(nèi)，最低偏差為1個像素，滿足點云和圖像聯(lián)合測圖的需求。

圖5 本文方法車載點云與全景圖像配準(zhǔn)結(jié)果

3 融合點云與影像的城市典型地物要素提取

準(zhǔn)確高效地勘測城市典型地物要素，掌握其部件級的類別、位置、尺寸、形狀等信息，對城市管理和規(guī)劃具有重要意義。本文針對城市典型地物要素部件級分割效果不佳、影像和點云聯(lián)合處理技術(shù)不成熟、語義和幾何信息兼顧困難等技術(shù)瓶頸，提出一種融合影像和點云的城市典型地物要素提取方法。主要包括：基于街景全景影像目標(biāo)檢測的地物要素視錐裁切、綜合多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的單視錐點云實例分割、基于多視角視錐關(guān)聯(lián)融合的實例精化3個關(guān)鍵步驟。詳細(xì)的技術(shù)路線如圖6所示。

圖6 城市典型地物要素提取技術(shù)流程

3.1 基于街景全景影像目標(biāo)檢測的地物要素視錐裁切

首先利用影像目標(biāo)檢測深度學(xué)習(xí)模型從全景影像檢測城市典型地物要素，得到地物的二維包圍框和對應(yīng)的語義標(biāo)簽；然后根據(jù)前文介紹的坐標(biāo)映射關(guān)系，將二維包圍框投影至點云空間裁切視錐點云，作為三維空間中實例分割的基礎(chǔ)[22]。該部分以圖像的目標(biāo)檢測結(jié)果為指導(dǎo)，不僅提供了細(xì)粒度的語義標(biāo)簽，還能大幅縮小點云中的目標(biāo)搜索空間。具體而言，本文采用基于Objects365[23]和Tsinghua-Tencent 100K[24]訓(xùn)練的Cascade-RCNN目標(biāo)檢測模型[25]，在圖像中檢測信號燈、路燈、垃圾桶、交通標(biāo)志牌、消防栓、錐桶、花壇、街邊座椅等多類別城市典型地物要素，并對交通標(biāo)志牌語義信息作了精細(xì)分類?；诮⒌狞c云到像素坐標(biāo)的映射關(guān)系，以及城市地物要素檢測結(jié)果，每一個目標(biāo)檢測框都被投影至點云空間的一個三維視錐，保留三維視錐內(nèi)的點云，認(rèn)為其中包含一個地物要素目標(biāo)實例，然后將點云坐標(biāo)轉(zhuǎn)至視錐坐標(biāo)系，作為視錐點云輸入后續(xù)的視錐點云處理神經(jīng)網(wǎng)絡(luò)。

3.2 綜合多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的單視錐點云實例分割

地物要素目標(biāo)視錐裁切有效縮小了點云空間中的實例搜索范圍，為部件級的目標(biāo)實例分割提供了良好的基礎(chǔ)。但是如果直接根據(jù)逐點特征預(yù)測實例分割掩碼，由于缺乏全局信息和實例相關(guān)上下文信息，非常容易受到噪聲的影響而輸出錯誤的實例點云，對于復(fù)雜場景的穩(wěn)健性較差[26]。因此，本文設(shè)計了一個多任務(wù)深度學(xué)習(xí)網(wǎng)絡(luò)，包括實例包圍盒、實例掩碼、語義分割等多分支，實現(xiàn)多任務(wù)互相促進(jìn)。該網(wǎng)絡(luò)將聚合后的全局信息和三維包圍盒信息作為實例掩碼預(yù)測的輸入，增強(qiáng)了對全局信息和實例上下文感知能力，能有效提升實例掩碼預(yù)測的準(zhǔn)確性。

(6)

3.3 基于多視角視錐關(guān)聯(lián)融合的實例精化

通過視錐點云處理神經(jīng)網(wǎng)絡(luò)，每個視錐都輸出了實例三維包圍盒和實例掩碼，但是相同地物往往會在相鄰的全景影像中被同時檢測到，因此直接累積多視角的視錐預(yù)測結(jié)果不僅會造成大量重復(fù)，還會造成誤差的累積。針對此問題，本文研究了以目標(biāo)為中心、融合多視角信息的目標(biāo)實例分割方法，主要包括基于多目標(biāo)追蹤的多視角視錐關(guān)聯(lián)方法和融合關(guān)聯(lián)視錐的點云實例分割網(wǎng)絡(luò)，最終輸出地物目標(biāo)實例分割結(jié)果。首先，利用基于匈牙利算法的多目標(biāo)追蹤方法，根據(jù)視錐點云處理網(wǎng)絡(luò)輸出的實例三維包圍盒進(jìn)行同目標(biāo)多視角視錐關(guān)聯(lián)[28]；然后，利用多尺度聚合PointNet++網(wǎng)絡(luò)融合多視角視錐預(yù)測的實例掩碼信息，從而對每個目標(biāo)分別進(jìn)行實例分割，輸出所有城市典型地物要素的實例點云、位置坐標(biāo)和語義類別。

為驗證方法的有效性，在武漢市洪山區(qū)和上海市張江區(qū)的移動測量數(shù)據(jù)集上對方法效果和性能作了測試，部分類別提取效果如圖7所示。定量評估結(jié)果顯示，在上海數(shù)據(jù)集的實例級平均召回率和精確率分別為86.4%、80.9%，在武漢數(shù)據(jù)集的分別為83.2%、87.8%，基本滿足智能化測繪對城市典型地物要素提取要求。

圖7 城市典型地物要素部件級提取結(jié)果

4 點云影像智能處理軟件研發(fā)與實踐

在上述關(guān)鍵技術(shù)研發(fā)基礎(chǔ)上，團(tuán)隊研制了融合點云與影像的三維信息智能化提取軟件Point2Model(圖8)，已應(yīng)用于上海、武漢、南京、青島、沈陽、廣州、北京等全國新型基礎(chǔ)測繪項目。上述工程實踐標(biāo)明，道路三維邊界提取及矢量化的精度和完整性優(yōu)于90.0%，道路交通標(biāo)志線提取目標(biāo)檢測精度優(yōu)于95.0%，單木提取和4類樹木參數(shù)(樹高、胸徑、冠幅、落地點位置)自動測量的精度及召回率優(yōu)于88.0%，城市基礎(chǔ)設(shè)施提取整體精度優(yōu)于85.0%，支持127類交通標(biāo)志的點云與全景影像交通標(biāo)志牌檢測與識別，提取精度達(dá)97.9%，同時提供方便快捷的半自動矢量采集、編輯、質(zhì)檢功能，提高生產(chǎn)效率30%以上。

圖8 融合點云與影像的三維信息智能化提取軟件Point2Model

5 總 結(jié)

智能化測繪所產(chǎn)生的新型空間數(shù)據(jù)產(chǎn)品，既是國家基礎(chǔ)性、戰(zhàn)略性的數(shù)據(jù)資源，又能在數(shù)字時代下發(fā)揮大數(shù)據(jù)的乘數(shù)效用，賦能政府管理與社會經(jīng)濟(jì)高質(zhì)量發(fā)展。但智能化測繪在采集手段、數(shù)據(jù)內(nèi)容、信息提取方法等方面還需要深入完善。具體而言，在數(shù)據(jù)采集設(shè)備方面需進(jìn)一步向無人化、眾包化的方向發(fā)展，滿足數(shù)據(jù)采集時效性的要求；在數(shù)據(jù)種類方面需接入物聯(lián)網(wǎng)等流式數(shù)據(jù)，豐富數(shù)據(jù)的維數(shù)，全面反映物理世界的瞬時變化；關(guān)注范圍也需從地表空間擴(kuò)展到地表、地下、水上、水下的全空間測繪；在三維信息提取方法方面需要進(jìn)一步加強(qiáng)大數(shù)據(jù)和人工智能技術(shù)的應(yīng)用，提升處理處理的自動化水平和質(zhì)量。相信在可預(yù)見的未來，在大數(shù)據(jù)、人工智能、5G通信、數(shù)字孿生、邊緣計算等新興技術(shù)的支撐下，三維信息提取的質(zhì)量和時效性將為地球科學(xué)應(yīng)用研究、實景三維中國等提供更加科學(xué)的決策支撐。