張永軍，萬 一，史文中，張祖勛，李彥勝，季順平，郭浩宇，李 禮

1.武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079；2.香港理工大學(xué)土地測(cè)量及地理資訊學(xué)系，香港 999077

1 攝影測(cè)量與遙感學(xué)科發(fā)展歷程

攝影測(cè)量學(xué)是通過影像研究信息的獲取、處理、提取和成果表達(dá)的一門信息科學(xué)，通常利用攝影或遙感的手段獲取被攝物體的影像，研究和確定被攝物體的形狀、大小、位置、性質(zhì)和相互關(guān)系[1-2]。攝影測(cè)量具有悠久的發(fā)展歷史，起始于19世紀(jì)中葉攝影機(jī)的發(fā)明和立體視覺的發(fā)現(xiàn)。從18世紀(jì)數(shù)學(xué)家蘭勃特首次論述透視幾何理論，到1839年尼普斯和達(dá)意爾發(fā)明攝影技術(shù)，再到19世紀(jì)中葉“攝影測(cè)量之父”勞賽達(dá)利用“明箱”裝置測(cè)制萬森城堡圖，攝影測(cè)量學(xué)開始蓬勃發(fā)展。此時(shí)的攝影測(cè)量學(xué)，完全由人工進(jìn)行操作，普遍借助于光學(xué)投影或機(jī)械投影或光學(xué)-機(jī)械投影來“模擬”攝影的過程[2]，因此也稱為模擬攝影測(cè)量時(shí)代。隨著模數(shù)轉(zhuǎn)換、電子計(jì)算機(jī)與自動(dòng)控制技術(shù)的發(fā)展，“數(shù)字投影”的概念開始取代“物理投影”。1961年第一臺(tái)解析測(cè)圖儀AP/1問世，解析測(cè)圖逐步成為攝影測(cè)量的主要方式，也標(biāo)志著攝影測(cè)量的發(fā)展踏入了解析攝影測(cè)量階段。此后，攝影測(cè)量學(xué)家對(duì)“攝影測(cè)量自動(dòng)化、真正的自動(dòng)化測(cè)圖”進(jìn)行不懈的追求，推動(dòng)了數(shù)字?jǐn)z影測(cè)量時(shí)代的到來。美國(guó)20世紀(jì)60年代研制的DAMC系統(tǒng)，國(guó)內(nèi)1985年完成的WUDAMS全數(shù)字自動(dòng)化測(cè)圖系統(tǒng)、21世紀(jì)初完成的DPGrid系統(tǒng)等都是代表性產(chǎn)物。目前，數(shù)字測(cè)圖的核心技術(shù)，如影像自動(dòng)匹配[3]、正射影像制作[4]等均已較為成熟。在經(jīng)歷了3個(gè)重要階段，即模擬法、解析法、數(shù)字法后[5]，攝影測(cè)量學(xué)已廣泛應(yīng)用于國(guó)民經(jīng)濟(jì)發(fā)展和建設(shè)中，并隨著智能化測(cè)繪新時(shí)代的到來，進(jìn)入智能攝影測(cè)量新階段，發(fā)展為廣義攝影測(cè)量學(xué)[1]。

遙感是以航空攝影測(cè)量為原型過程發(fā)展起來的。除測(cè)圖模式和處理方法不斷發(fā)展之外，從空中和太空觀測(cè)地球并獲取影像，是20世紀(jì)的重大成果之一[6-7]。1960年，文獻(xiàn)[8]率先提出了“遙感”這一名詞，用于取代傳統(tǒng)的術(shù)語“相片判讀”。自1960年TIROS-1氣象衛(wèi)星成功發(fā)射，1961年“東方號(hào)”宇宙飛船進(jìn)入太空開始，再到1972年美國(guó)第一顆地球資源技術(shù)衛(wèi)星ERTS-1的成功發(fā)射，遙感技術(shù)在世界范圍內(nèi)迅速發(fā)展并廣泛使用。20世紀(jì)70年代中期，國(guó)際上許多國(guó)家測(cè)繪部門開始介入到遙感事業(yè)中，并逐漸把攝影測(cè)量與遙感的概念融為一體。1979年，王之卓院士率先指明了攝影測(cè)量與遙感的密切關(guān)系，指出遙感是攝影測(cè)量學(xué)的發(fā)展和擴(kuò)充，攝影測(cè)量必將向遙感發(fā)展的趨勢(shì)[9]。隨著遙感成像方式多樣化及遙感數(shù)據(jù)獲取能力的增強(qiáng)，利用遙感平臺(tái)可獲取多尺度、多時(shí)相、多傳感器、多光譜影像數(shù)據(jù)，打破了傳統(tǒng)航拍影像數(shù)據(jù)的局限性，極大地促進(jìn)了攝影測(cè)量與遙感學(xué)科的發(fā)展，以及在農(nóng)業(yè)[10]、林業(yè)[11]、水利[12]等領(lǐng)域的廣泛應(yīng)用。在王之卓院士等的倡導(dǎo)下，國(guó)內(nèi)開始注重遙感技術(shù)的發(fā)展與應(yīng)用。1980年，武漢測(cè)繪學(xué)院航測(cè)與遙感系正式成立遙感技術(shù)教研室，并針對(duì)性地開設(shè)遙感課程，原航空攝影測(cè)量專業(yè)于1984年經(jīng)教育部批準(zhǔn)更改為“攝影測(cè)量與遙感”專業(yè)[13]。近20年來，在眾多學(xué)者的共同努力下，新生的“遙感科學(xué)與技術(shù)”學(xué)科取得了長(zhǎng)足發(fā)展，在多傳感器數(shù)據(jù)獲取、多源影像幾何處理、語義信息反演提取等方面都取得了卓越成就，并于2019年獲批首批博士學(xué)位授權(quán)交叉學(xué)科。

在實(shí)時(shí)化、智能化、知識(shí)化為代表的智能化測(cè)繪新時(shí)代，攝影測(cè)量與遙感的發(fā)展也面臨新的挑戰(zhàn)。如何把握機(jī)遇實(shí)現(xiàn)空間感知和空間認(rèn)知的智能化[5]，以更高的效率和更智能的手段，獲得更精準(zhǔn)的處理結(jié)果，是智能化測(cè)繪新時(shí)代攝影測(cè)量與遙感學(xué)者需要考慮和解決的問題。目前，遙感影像的幾何處理(屬于攝影測(cè)量范疇)和語義信息反演提取(屬于遙感范疇)仍然在很大程度上互相獨(dú)立。很多學(xué)者都將二者看成兩個(gè)獨(dú)立的問題，并分別進(jìn)行了大量研究，也產(chǎn)生了豐碩的成果，但二者的融合處理應(yīng)用并未引起足夠重視。部分原因在于攝影測(cè)量幾何處理難度大、流程長(zhǎng)，研究群體相對(duì)有限；而遙感信息提取反演與行業(yè)應(yīng)用結(jié)合非常緊密，需求旺盛，研究者們通常無暇也無力顧及幾何處理問題，導(dǎo)致大部分?jǐn)z影測(cè)量研究者不懂遙感、遙感研究者不懂?dāng)z影測(cè)量的現(xiàn)狀。另一個(gè)原因是應(yīng)用需求和發(fā)展時(shí)機(jī)尚未成熟，例如在各類公眾地理信息和基礎(chǔ)地理信息產(chǎn)品廣泛應(yīng)用于遙感影像全自動(dòng)幾何處理前，決定幾何處理精度的控制資料基本依靠人機(jī)交互手段進(jìn)行獲取，遙感語義分割結(jié)果對(duì)于提升攝影測(cè)量幾何處理精度和效率的作用非常有限。近10年來，隨著計(jì)算機(jī)技術(shù)的進(jìn)步和大數(shù)據(jù)時(shí)代的到來，多源廣義控制信息(或稱為泛在控制或云控制)[1，14]在自動(dòng)化幾何處理方面發(fā)揮了重要作用。但是，遙感影像分辨率越來越高，尤其是亞米級(jí)影像中存在大量的云區(qū)、水體等時(shí)變地物和建筑物、樹木等高出地面的物體，其與已有地理信息的自動(dòng)匹配結(jié)果往往存在顯著的平面和高程誤差，已經(jīng)嚴(yán)重制約高分辨率影像的幾何處理精度和效率；而幾何處理精度有限的多源多時(shí)相影像，會(huì)影響語義信息提取結(jié)果的完整性和可靠性，因此必須尋求新的科學(xué)途徑。

2 攝影測(cè)量遙感的概念及研究領(lǐng)域

在智能化測(cè)繪新時(shí)代，數(shù)據(jù)處理服務(wù)的實(shí)時(shí)化、智能化、知識(shí)化是典型特征，而如何順應(yīng)科技發(fā)展的潮流，思考所面臨的挑戰(zhàn)和問題并尋求科學(xué)解決方案，是研究者們的歷史使命。文獻(xiàn)[15]指出，大數(shù)據(jù)挖掘的核心是“垃圾進(jìn)，黃金出”，簡(jiǎn)明扼要地指出了其核心要義是如何自動(dòng)化智能化地發(fā)掘有用信息。同樣，智能化測(cè)繪的實(shí)時(shí)化、智能化發(fā)展趨勢(shì)也催生了攝影測(cè)量與遙感的一體化。多源遙感影像的快速智能處理，迫切需要從廣義控制資料中通過語義信息的輔助自動(dòng)挖掘出高精度有效幾何控制，并充分利用實(shí)現(xiàn)精確配準(zhǔn)的多源遙感數(shù)據(jù)的信息互補(bǔ)性，實(shí)現(xiàn)高可靠性語義信息提取。基于上述對(duì)攝影測(cè)量與遙感學(xué)科發(fā)展歷程的回顧與分析，以及其所面臨的挑戰(zhàn)性問題和發(fā)展趨勢(shì)的理解，本文提出攝影測(cè)量遙感的概念，并試圖探討所涉及的若干科學(xué)問題和主要研究領(lǐng)域，為建立攝影測(cè)量遙感智能處理框架和研發(fā)自主可控核心技術(shù)奠定基礎(chǔ)。

2.1 攝影測(cè)量遙感的基本概念

攝影測(cè)量遙感，是指利用多傳感器觀測(cè)技術(shù)，非接觸式地獲取地表或被攝物體的輻射或反射特性影像數(shù)據(jù)，通過幾何語義一體化的智能處理模式，自動(dòng)化智能化地同步探測(cè)其幾何位置、物理屬性、語義信息及時(shí)序變化關(guān)系等的一門新型交叉科學(xué)和技術(shù)。

攝影測(cè)量遙感主要由攝影測(cè)量和遙感兩個(gè)學(xué)科的交叉融合而形成，如圖1所示，致力于研究解決兩個(gè)學(xué)科共同關(guān)注的理論方法及技術(shù)問題，通過三維(或2.5維)幾何模型與光譜輻射反射信息的深度融合，實(shí)現(xiàn)幾何語義一體化智能處理，同步探測(cè)被攝目標(biāo)的幾何位置、物理屬性、語義信息及時(shí)序變化關(guān)系，其理論基礎(chǔ)和支撐學(xué)科主要包括攝影測(cè)量、遙感、人工智能、大數(shù)據(jù)處理與高性能計(jì)算等。區(qū)別于現(xiàn)有攝影測(cè)量與遙感學(xué)科在多源影像處理應(yīng)用時(shí)一般將幾何處理和語義信息提取視為兩個(gè)相對(duì)獨(dú)立的工作，攝影測(cè)量遙感交叉學(xué)科則充分利用多源廣義控制資料和深度學(xué)習(xí)等人工智能技術(shù)，將語義信息提取與精準(zhǔn)幾何處理深度交叉融合構(gòu)成閉環(huán)機(jī)制，進(jìn)行幾何語義一體化處理，在提升多源遙感影像幾何處理精準(zhǔn)度和自動(dòng)化水平的同時(shí)，促進(jìn)語義信息提取和遙感反演結(jié)果的完整性和可靠性。

圖1 攝影測(cè)量遙感是由攝影測(cè)量和遙感構(gòu)成的交叉學(xué)科

2.2 攝影測(cè)量遙感的科學(xué)問題

每個(gè)學(xué)科都有其需要解決的主要科學(xué)問題，攝影測(cè)量遙感也不例外。例如，定量遙感主要解決遙感目標(biāo)的定量地學(xué)描述反演問題，高光譜遙感主要解決地物反射特性的精細(xì)分類表達(dá)問題，而攝影測(cè)量遙感則主要致力于解決遙感影像中地形地物目標(biāo)的幾何語義同步精準(zhǔn)刻畫及其時(shí)序變化問題，即回答何時(shí)(when)、何地(where)、何目標(biāo)(what object)及何變化(what change)等問題。因此，攝影測(cè)量遙感學(xué)科所面臨的主要科學(xué)問題是如何充分挖掘多源影像中的幾何及語義信息，回答好上述4W問題。

2.2.1 多傳感器集成多源遙感數(shù)據(jù)同步獲取

攝影測(cè)量遙感數(shù)據(jù)來源豐富，但數(shù)據(jù)存在空間和時(shí)間上的不一致性。要實(shí)現(xiàn)對(duì)全色影像、多光譜影像、高光譜影像、LiDAR點(diǎn)云、視頻流等多源或多模態(tài)遙感數(shù)據(jù)的聯(lián)合處理應(yīng)用[16]，必須先對(duì)數(shù)據(jù)以時(shí)間為第一維度進(jìn)行對(duì)齊管理。通過GNSS和IMU集成系統(tǒng)可直接確定傳感器的空間位置和姿態(tài)，并輔助數(shù)據(jù)時(shí)間同步。但在現(xiàn)實(shí)應(yīng)用中，各種傳感器的定位定姿精度不同、時(shí)鐘同步精度不同，且由于平臺(tái)顛振等原因?qū)е掠^測(cè)數(shù)據(jù)質(zhì)量不穩(wěn)定，如何有效采用多種傳感器實(shí)現(xiàn)多源或多模態(tài)遙感數(shù)據(jù)高精度同步獲取仍是攝影測(cè)量遙感的重要問題。

2.2.2 語義信息約束多源影像精準(zhǔn)幾何處理

多源遙感影像數(shù)據(jù)的精準(zhǔn)幾何處理需依賴高精度的匹配控制點(diǎn)對(duì)[14]。例如，多源遙感影像匹配容易受云區(qū)、水體等時(shí)變地物和建筑物、樹木等凸起地物的干擾，匹配控制點(diǎn)的質(zhì)量難以保障。隨著深度學(xué)習(xí)等智能遙感影像解譯技術(shù)的發(fā)展，遙感影像語義分割的性能得到了極大改善，是否有可能在匹配前將不利于匹配的時(shí)變地物和凸起地物從遙感影像中自動(dòng)確定并排除？如何利用遙感影像語義信息來提高匹配質(zhì)量、進(jìn)而提升幾何平差的精度和效率是多源遙感影像精準(zhǔn)幾何處理的關(guān)鍵。

2.2.3 幾何語義聯(lián)合約束多源影像鑲嵌合成

在多源影像鑲嵌合成中，受成像角度和數(shù)字表面模型精度等因素影響，經(jīng)過正射糾正后的影像仍然存在一定的投影差，特別是建筑物、樹木及其他明顯高于場(chǎng)景的障礙目標(biāo)，會(huì)導(dǎo)致鑲嵌影像在拼接處產(chǎn)生明顯錯(cuò)位[4]。是否能夠通過幾何及語義信息的聯(lián)合約束，在進(jìn)行鑲嵌線選取時(shí)避開影像重疊區(qū)域內(nèi)的障礙目標(biāo)，實(shí)現(xiàn)多源影像無縫鑲嵌合成？這是鑲嵌線智能選取優(yōu)化面臨的挑戰(zhàn)性問題。

2.2.4 人工智能技術(shù)輔助目標(biāo)語義識(shí)別提取

從遙感影像中自動(dòng)準(zhǔn)確識(shí)別提取地物和其他目標(biāo)的語義信息一直是具有挑戰(zhàn)性的難題。深度學(xué)習(xí)技術(shù)是語義信息提取的重要途徑，但該技術(shù)遠(yuǎn)未完善，其矢量提取精度還難以滿足用戶需求[17]。將深度學(xué)習(xí)方法應(yīng)用于語義信息提取尚需綜合考慮多時(shí)相、多尺度、多譜段、多角度的遙感數(shù)據(jù)。是否能夠?qū)⒌匚锘驁?chǎng)景目標(biāo)的先驗(yàn)知識(shí)融入深度學(xué)習(xí)，提升語義識(shí)別提取網(wǎng)絡(luò)的遷移性和可解釋性？總體來說，利用人工智能領(lǐng)域的前沿技術(shù)實(shí)現(xiàn)目標(biāo)識(shí)別和語義信息提取仍是一個(gè)值得探索的科學(xué)問題。

2.2.5 精準(zhǔn)幾何信息輔助遙感影像動(dòng)態(tài)監(jiān)測(cè)

遙感影像具有周期性特點(diǎn)，精準(zhǔn)幾何處理后的多時(shí)相影像，可為衛(wèi)星遙感監(jiān)測(cè)、城市視頻場(chǎng)景動(dòng)態(tài)識(shí)別監(jiān)控、星地影像實(shí)時(shí)動(dòng)態(tài)定位等應(yīng)用提供支撐[18]。然而，多源、多時(shí)相遙感數(shù)據(jù)的綜合利用及動(dòng)態(tài)監(jiān)測(cè)應(yīng)用尚未形成成熟的理論和技術(shù)體系，其中還有幾何定位軌跡及圖像坐標(biāo)軌跡的聯(lián)合優(yōu)化等許多關(guān)鍵技術(shù)需要攻克。如何通過多時(shí)相精準(zhǔn)幾何信息輔助進(jìn)行目標(biāo)動(dòng)態(tài)監(jiān)測(cè)，仍是攝影測(cè)量遙感的重要科學(xué)問題。

2.3 攝影測(cè)量遙感的研究領(lǐng)域

隨著通信技術(shù)和高性能運(yùn)算技術(shù)的發(fā)展，傳感器、無人平臺(tái)與芯片等關(guān)鍵產(chǎn)品生產(chǎn)成本的下降，多源遙感數(shù)據(jù)語義幾何一體化處理的應(yīng)用領(lǐng)域乃至市場(chǎng)需求呈現(xiàn)出爆炸性增長(zhǎng)的態(tài)勢(shì)。本文拋磚引玉，僅列出攝影測(cè)量遙感學(xué)科在智能化測(cè)繪新時(shí)代若干亟須和正在突破的研究和應(yīng)用領(lǐng)域，包括多源遙感影像精準(zhǔn)幾何處理、大范圍多源遙感影像鑲嵌合成、多時(shí)相遙感影像智能監(jiān)測(cè)、實(shí)景三維幾何語義聯(lián)合建模、智能無人視覺系統(tǒng)自主導(dǎo)航等。

2.3.1 多源遙感影像精準(zhǔn)幾何處理

多源遙感影像精準(zhǔn)幾何處理是攝影測(cè)量遙感領(lǐng)域的基礎(chǔ)研究工作。多源遙感影像數(shù)據(jù)的精準(zhǔn)幾何處理，包括影像匹配、幾何檢校和區(qū)域網(wǎng)平差等研究?jī)?nèi)容，需要考慮不同傳感器、不同視角數(shù)據(jù)特性，充分發(fā)揮多源廣義控制資料的輔助作用。如何充分利用語義信息(包括云區(qū)、水體等時(shí)變地物和建筑物、樹木等凸起地物)來實(shí)現(xiàn)針對(duì)性的同名幾何特征獲取和幾何約束條件設(shè)置，進(jìn)而提升平差精度和效率，是多源遙感影像精準(zhǔn)幾何處理的重要研究方向。

2.3.2 大范圍多源影像鑲嵌合成

生成大范圍時(shí)間有序、空間對(duì)齊、輻射一致的高質(zhì)量合成遙感影像產(chǎn)品是攝影測(cè)量遙感的重要任務(wù)之一。在進(jìn)行影像鑲嵌合成時(shí)需要利用鄰近時(shí)段影像間良好的互補(bǔ)性修補(bǔ)無效像元，選取最優(yōu)鑲嵌線并實(shí)現(xiàn)影像間輻射和光譜信息一致化，其中如何利用多源影像數(shù)據(jù)的語義分割結(jié)果約束幾何鑲嵌拼接及空洞修補(bǔ)合成是優(yōu)化影像鑲嵌合成效果的重要方向。

2.3.3 多時(shí)相遙感影像智能監(jiān)測(cè)

基于多時(shí)相影像進(jìn)行地形地物信息的動(dòng)態(tài)監(jiān)測(cè)，是智能化測(cè)繪時(shí)代遙感影像信息服務(wù)的重要途徑。如何充分發(fā)揮經(jīng)過前述精準(zhǔn)幾何處理后的多時(shí)相遙感影像的作用，基于人工智能等前沿技術(shù)進(jìn)行地物信息自動(dòng)提取、自然資源監(jiān)測(cè)評(píng)估、土地利用動(dòng)態(tài)監(jiān)測(cè)、森林火災(zāi)監(jiān)測(cè)、農(nóng)作物種植面積和估產(chǎn)監(jiān)測(cè)、視頻數(shù)據(jù)目標(biāo)識(shí)別與動(dòng)態(tài)監(jiān)控、建筑物墻面熱紅外監(jiān)測(cè)等，是攝影測(cè)量遙感動(dòng)態(tài)監(jiān)測(cè)的重要研究方向。

2.3.4 實(shí)景三維幾何語義聯(lián)合建模

傳統(tǒng)的實(shí)景三維建模缺乏語義信息且數(shù)據(jù)量巨大，極大地限制了其應(yīng)用范圍。深入分析和理解三維模型中蘊(yùn)含的語義信息，更加有效地處理和使用三維模型，以及利用語義信息合成新的三維模型，逐漸成為熱點(diǎn)問題。在結(jié)合點(diǎn)云和影像數(shù)據(jù)進(jìn)行部件級(jí)幾何建模的同時(shí)，進(jìn)行紋理語義提取、優(yōu)化和分析，生成幾何語義一體化的部件級(jí)三維模型，屬于攝影測(cè)量遙感的重要研究方向。

2.3.5 智能無人視覺系統(tǒng)自主導(dǎo)航

近年來，無人機(jī)、無人車、無人船等無人系統(tǒng)取得了極大進(jìn)步，但其真正智能化與實(shí)用化尚需要突破完全自主的高精度、高可靠實(shí)時(shí)導(dǎo)航和避障運(yùn)動(dòng)等核心技術(shù)。智能無人視覺系統(tǒng)的自主導(dǎo)航是攝影測(cè)量遙感的前沿領(lǐng)域，具有廣泛的應(yīng)用前景，需要充分結(jié)合攝影測(cè)量遙感、人工智能、衛(wèi)星導(dǎo)航等研究領(lǐng)域的先進(jìn)理論和技術(shù)，才能在無人機(jī)三維環(huán)境實(shí)時(shí)建模及自動(dòng)避障飛行、車載傳感器實(shí)時(shí)道路建模、無人車輛自動(dòng)駕駛、室內(nèi)機(jī)器人自主視覺導(dǎo)航定位等方面取得突破。

3 攝影測(cè)量遙感智能處理技術(shù)框架

本節(jié)以多源遙感衛(wèi)星影像為例，討論攝影測(cè)量遙感智能處理的技術(shù)框架。國(guó)際上現(xiàn)有的衛(wèi)星遙感影像處理研究成果大都采用如圖2所示的串行處理技術(shù)路線，即首先基于攝影測(cè)量軟件進(jìn)行多源遙感衛(wèi)星影像幾何精校正、三維地形提取和正射影像制作，然后再由遙感軟件進(jìn)行語義信息提取，也即攝影測(cè)量處理的輸出，作為遙感信息提取的輸入，二者本身并無交叉反饋機(jī)制，且每個(gè)環(huán)節(jié)都需要一定的人機(jī)交互。現(xiàn)有互相獨(dú)立的技術(shù)體系基本滿足2 m以下分辨率衛(wèi)星影像的自動(dòng)化處理和應(yīng)用需求，但是在采用多源地理信息進(jìn)行米級(jí)尤其是亞米級(jí)高分辨率遙感影像處理應(yīng)用時(shí)，由于影像分辨率提升導(dǎo)致地物變形顯著、已有地理信息精度不均勻且DEM無法準(zhǔn)確反映地物高程，以及普遍存在的攝影測(cè)量研究者不懂遙感、遙感研究者不懂?dāng)z影測(cè)量等原因，導(dǎo)致互相獨(dú)立的現(xiàn)有處理技術(shù)體系在應(yīng)對(duì)亞米級(jí)影像時(shí)面臨難度大、精度低和效率差等突出問題。

圖2 現(xiàn)有攝影測(cè)量及遙感軟件系統(tǒng)所采用的多源衛(wèi)星影像串行處理技術(shù)路線

在攝影測(cè)量遙感科學(xué)概念的指導(dǎo)下，本文提出多源衛(wèi)星影像一體化攝影測(cè)量遙感智能處理的思想，基于攝影測(cè)量、遙感、人工智能等領(lǐng)域的最新研究成果，將快速語義分割、幾何語義聯(lián)合約束的精準(zhǔn)處理與鑲嵌合成、多源影像語義信息提取等步驟有機(jī)融合，形成幾何語義一體化智能處理機(jī)制，從而連通攝影測(cè)量和遙感兩個(gè)相互獨(dú)立的處理過程，可望顯著提升多源衛(wèi)星影像一體化處理的智能化和自動(dòng)化水平。攝影測(cè)量遙感處理的技術(shù)思路如圖3所示，輸入數(shù)據(jù)為多源遙感衛(wèi)星影像、已有多源廣義地理信息(如控制點(diǎn)、參考影像、矢量數(shù)據(jù)、高程數(shù)據(jù))及其他輔助數(shù)據(jù)，處理過程分為快速語義分割、語義輔助精準(zhǔn)幾何處理、三維地形及影像合成、語義信息智能提取4個(gè)有機(jī)融合的環(huán)節(jié)，輸出產(chǎn)品包括衛(wèi)星影像高精度幾何定向模型、三維地形產(chǎn)品、大范圍多源合成影像、高精度地物覆蓋和目標(biāo)信息專題圖等。

圖3 多源衛(wèi)星影像一體化攝影測(cè)量遙感智能處理技術(shù)框架

(1)單源遙感衛(wèi)星影像快速語義分割：該環(huán)節(jié)通過傳統(tǒng)手段或深度學(xué)習(xí)方法對(duì)遙感數(shù)據(jù)進(jìn)行語義信息提取，從而實(shí)現(xiàn)地面和非地面目標(biāo)、人工與自然地物等少量類別的快速語義分割，例如從衛(wèi)星遙感影像中快速分割云區(qū)、水體、建筑物、樹木等對(duì)幾何處理具有較大影響的目標(biāo)地物，為后續(xù)幾何處理和測(cè)繪產(chǎn)品生產(chǎn)提供有效輔助。這一階段尚未實(shí)現(xiàn)多源數(shù)據(jù)的配準(zhǔn)和融合，因此需要對(duì)每一種來源的遙感數(shù)據(jù)按景進(jìn)行獨(dú)立處理。

(2)語義輔助多源影像精準(zhǔn)幾何處理：該環(huán)節(jié)在傳統(tǒng)攝影測(cè)量幾何處理手段的基礎(chǔ)上，增加了語義信息輔助機(jī)制，旨在通過語義信息輔助實(shí)現(xiàn)多源衛(wèi)星影像的高可靠性全自動(dòng)區(qū)域網(wǎng)平差與配準(zhǔn)，大幅度提升傳統(tǒng)幾何處理手段的精度、效率和自動(dòng)化程度。充分利用前述環(huán)節(jié)的語義分割信息剔除廣義幾何控制資料中的非地面目標(biāo)特征點(diǎn)，實(shí)現(xiàn)高精度DEM輔助的衛(wèi)星影像幾何精校正，或利用語義信息識(shí)別出人工地物，從而快速提取線段特征用于多源異構(gòu)遙感數(shù)據(jù)高精度配準(zhǔn)。

(3)三維信息提取及多影像時(shí)序合成：該環(huán)節(jié)利用前期地類語義分割結(jié)果及高精度幾何模型，實(shí)現(xiàn)三維地形的快速提取和大范圍多源影像的鑲嵌、修補(bǔ)與合成。利用語義分割環(huán)節(jié)獲得的人工地物、植被、水體、云等語義信息，可以對(duì)不同的地類采用不同的三維重建手段，獲得更加精準(zhǔn)可靠的三維地形數(shù)據(jù)，也可以為多時(shí)相影像的修補(bǔ)提供范圍參考，輔助實(shí)現(xiàn)影像鑲嵌線構(gòu)建過程中的自動(dòng)避障，從而大幅減少人工編輯的工作量。

(4)多源遙感影像語義信息智能提?。航?jīng)過前述自動(dòng)化處理后，多源、異構(gòu)遙感數(shù)據(jù)已經(jīng)實(shí)現(xiàn)了精確配準(zhǔn)與融合，因此可以借助于人工智能等先進(jìn)技術(shù)手段，利用多源數(shù)據(jù)的差異性和互補(bǔ)性，從高精度多源/多時(shí)相合成影像中準(zhǔn)確提取地物目標(biāo)的幾何信息、語義信息、物理信息及其時(shí)序變化信息，從而得到精確的語義地圖、各類專題圖及變化信息圖，例如道路網(wǎng)拓?fù)涫噶?、建筑物輪廓矢量、農(nóng)作物長(zhǎng)勢(shì)、水體范圍，以及各類地形地物目標(biāo)的多時(shí)相變化圖等。

其中，步驟(4)通過多源遙感數(shù)據(jù)和人工智能技術(shù)提取得到的語義信息精度遠(yuǎn)高于步驟(1)中從單景遙感數(shù)據(jù)中獨(dú)立提取的信息，因此可以反饋到前端的快速語義分割過程作為步驟(1)中分類器的高精度訓(xùn)練樣本，從而構(gòu)成交叉閉環(huán)融合的智能處理理論和技術(shù)體系，進(jìn)一步提升一體化處理效果和智能化水平。

4 攝影測(cè)量遙感智能處理應(yīng)用實(shí)踐

在上述多源衛(wèi)星影像攝影測(cè)量遙感智能處理技術(shù)框架的指導(dǎo)下，筆者所在課題組進(jìn)行了多年的一體化處理研究與實(shí)踐，開發(fā)了多模態(tài)衛(wèi)星遙感影像自動(dòng)化智能處理系統(tǒng)(MIPS1.0)?，并在全球地理信息資源建設(shè)、地理國(guó)情普查、自然資源監(jiān)測(cè)等多項(xiàng)國(guó)家重大工程及各省市衛(wèi)星遙感影像產(chǎn)品生產(chǎn)中取得了良好的應(yīng)用效果。以下分別就衛(wèi)星遙感影像快速語義分割、語義輔助多源影像幾何處理、語義輔助多源影像時(shí)序合成、多源影像地物信息智能提取等4個(gè)環(huán)節(jié)的部分典型試驗(yàn)結(jié)果和應(yīng)用案例進(jìn)行闡述。

4.1 衛(wèi)星遙感影像快速語義分割

由于已有地理信息DEM數(shù)據(jù)中不包含云區(qū)、建筑物、植被等高出地面的物體，因此DEM輔助的衛(wèi)星影像區(qū)域網(wǎng)平差時(shí)，嚴(yán)格意義上來說必須濾除全自動(dòng)匹配的控制點(diǎn)中的非地面點(diǎn)，才能獲得準(zhǔn)確的高程精度，因此首先需要進(jìn)行云區(qū)、建筑物、植被等目標(biāo)的快速語義分割。

傳統(tǒng)機(jī)器學(xué)習(xí)方法在云檢測(cè)精度、適用性、穩(wěn)健性方面有待提高；而深度學(xué)習(xí)在硬件條件和數(shù)據(jù)樣本滿足要求的前提下，能取得顯著優(yōu)于傳統(tǒng)方法的檢測(cè)結(jié)果，因此可采用深度學(xué)習(xí)全卷積神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)高分辨率光學(xué)衛(wèi)星影像云檢測(cè)。通過制作地理場(chǎng)景多、樣本種類豐富、標(biāo)注準(zhǔn)確的云雪檢測(cè)數(shù)據(jù)集，用于卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)訓(xùn)練和學(xué)習(xí)，從而構(gòu)建適用于高分辨率光學(xué)衛(wèi)星影像云雪檢測(cè)的語義分割網(wǎng)絡(luò)，并利用全局語義信息提高云檢測(cè)精度。采用多源數(shù)據(jù)標(biāo)簽訓(xùn)練后的UNet模型和36景高分二號(hào)衛(wèi)星4波段多光譜影像進(jìn)行云區(qū)檢測(cè)測(cè)試，采用人工標(biāo)記數(shù)據(jù)進(jìn)行精度評(píng)價(jià)的結(jié)果表明，云檢測(cè)結(jié)果的整體像素精度可達(dá)97.62%。部分云檢測(cè)結(jié)果如圖4所示，其中第1列為多光譜測(cè)試影像，第2列為人工標(biāo)注的云掩膜，第3列為深度學(xué)習(xí)網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果，可以看出影像中不同大小和反射強(qiáng)度的云區(qū)都能夠準(zhǔn)確提取出來。

圖4 基于深度學(xué)習(xí)網(wǎng)絡(luò)的高分二號(hào)衛(wèi)星影像云檢測(cè)結(jié)果

建筑物檢測(cè)方面，則采用聯(lián)合無監(jiān)督-半監(jiān)督約束的深度語義分割網(wǎng)絡(luò)進(jìn)行，該方法在利用適當(dāng)訓(xùn)練樣本進(jìn)行模型參數(shù)訓(xùn)練后，僅需極少量的目標(biāo)域樣本即可實(shí)現(xiàn)跨域衛(wèi)星影像的建筑物智能檢測(cè)。例如阿里天巡業(yè)務(wù)中，需要實(shí)現(xiàn)跨地域建筑物檢測(cè)任務(wù)，采用所研究的深度語義分割網(wǎng)絡(luò)僅利用10%的目標(biāo)域標(biāo)簽數(shù)據(jù)，即可獲得非常理想的建筑物語義分割效果，比Deeplab V3+[19]等主流基線方法的IoU指標(biāo)提升5%以上(從73.0提高到79.62)。植被檢測(cè)可采用經(jīng)典的NDVI方法進(jìn)行，本文不再贅述。

圖5所示為廣州測(cè)區(qū)高分七號(hào)衛(wèi)星影像的部分語義分割結(jié)果，其中圖5(a)為高分七號(hào)后視融合影像，圖5(b)為對(duì)應(yīng)的快速語義分割結(jié)果，其中紅色、綠色和白色分別表示建筑物、植被、云區(qū)，可以看出語義分割結(jié)果能夠較為準(zhǔn)確地提取上述地類目標(biāo)，且剩余未分割像素均為裸地或道路等地表區(qū)域。

注：紅色為建筑物、綠色為植被、白色為云區(qū)。

4.2 語義輔助多源影像幾何處理

4.2.1 幾何語義聯(lián)合約束立體影像處理

目前，全國(guó)大部分省份都構(gòu)建了1∶1萬DEM/DOM等基礎(chǔ)地理信息。如果能夠充分發(fā)揮這些已有地理信息的作用，進(jìn)行亞米級(jí)立體衛(wèi)星影像的全自動(dòng)處理，并達(dá)到1∶1萬比例尺測(cè)圖精度要求，將會(huì)帶來生產(chǎn)方式的革命性變化，具有極大的實(shí)踐意義和推廣應(yīng)用價(jià)值。本節(jié)將采用前述攝影測(cè)量遙感智能處理技術(shù)路線，通過幾何語義聯(lián)合約束實(shí)現(xiàn)高分七號(hào)衛(wèi)星立體影像自動(dòng)化處理，以驗(yàn)證其所能達(dá)到的平面和高程精度。試驗(yàn)測(cè)區(qū)為廣州市某區(qū)域4景高分七號(hào)衛(wèi)星立體像對(duì)，每個(gè)立體像對(duì)包含一景前視全色影像、一景后視全色影像及其對(duì)應(yīng)的多光譜影像。處理流程包括影像融合、影像匹配、語義約束的非地面點(diǎn)剔除、幾何語義聯(lián)合約束平差、DOM/DEM生產(chǎn)等，其中影像融合及匹配可采用現(xiàn)有技術(shù)，本文不再贅述。

(1)語義分割約束的非地面點(diǎn)剔除。采用圖5所示的快速語義分割結(jié)果，即可用于非地面點(diǎn)剔除，同名點(diǎn)局部濾除情況如圖6所示，可以看出大量原始同名點(diǎn)位于建筑物和植被區(qū)域，而經(jīng)語義分割結(jié)果約束后，非地面點(diǎn)被成功濾除且地面點(diǎn)得以準(zhǔn)確保留。圖7所示為4景高分七號(hào)立體像對(duì)區(qū)域網(wǎng)的非地面同名點(diǎn)剔除結(jié)果，從左至右依次為原始影像語義分割結(jié)果、原始匹配點(diǎn)分布圖、語義約束后保留匹配點(diǎn)分布圖。4景前后視立體像對(duì)中語義信息濾除的連接點(diǎn)數(shù)量和比例見表1，可以看出約88%～96%的同名點(diǎn)被成功濾除，且語義約束技術(shù)能夠在保證控制點(diǎn)高程精度的同時(shí)，極大地減小區(qū)域網(wǎng)平差的數(shù)據(jù)量。

圖6 語義分割約束的非地面點(diǎn)濾除效果

圖7 語義分割約束的非地面點(diǎn)剔除結(jié)果

表1 4組高分七號(hào)立體像對(duì)匹配點(diǎn)濾除數(shù)量統(tǒng)計(jì)

(2)幾何語義聯(lián)合約束區(qū)域網(wǎng)平差。為了驗(yàn)證幾何語義聯(lián)合約束平差處理的有效性，采用4種方案進(jìn)行結(jié)果對(duì)比，即原始影像直接前方交會(huì)、基于原始匹配點(diǎn)的平高控制點(diǎn)平差(不用語義信息剔除非地面點(diǎn))和基于語義約束剔除非地面點(diǎn)的平高控制點(diǎn)平差以及帶控制點(diǎn)平差，需要說明的是所有平差方案中的控制點(diǎn)均來自于1∶1萬DEM和控制點(diǎn)影像庫(kù)中自動(dòng)匹配的同名點(diǎn)，未施加任何人工干預(yù)。為了驗(yàn)證平差精度，采用39個(gè)人工量測(cè)的檢查點(diǎn)進(jìn)行平面高程精度檢查，其中檢查點(diǎn)平面位置來源于高精度控制影像，高程來自1∶1萬DEM數(shù)據(jù)，精度均優(yōu)于0.5 m。4種不同方案平差后檢查點(diǎn)精度見表2。

表2 3種不同控制策略的全自動(dòng)平差精度對(duì)比

可以看出，該組高分七號(hào)衛(wèi)星影像的直接定位精度較差，平面為8 m左右，高程達(dá)到22 m，主要原因在于影像獲取時(shí)間較早，在軌幾何檢校過程尚未全部完成。使用原始匹配點(diǎn)進(jìn)行平高控制區(qū)域網(wǎng)平差后，檢查點(diǎn)高程中誤差提高到7.70 m，但仍遠(yuǎn)低于高分七號(hào)衛(wèi)星的理想定位精度，說明高層建筑、樹木等凸起地物的DEM高程錯(cuò)誤問題給平差結(jié)果帶來顯著影響。采用語義分割結(jié)果剔除非地面控制點(diǎn)后，基于保留的全自動(dòng)匹配平面高程控制進(jìn)行區(qū)域網(wǎng)平差，平面定位精度大幅提升至2 m以內(nèi)，高程精度優(yōu)于0.7 m，充分驗(yàn)證了語義約束對(duì)于提升亞米級(jí)立體影像高程精度的顯著效果。從39個(gè)檢查點(diǎn)中選取均勻分布的20個(gè)作為控制點(diǎn)、其余19個(gè)作為檢查點(diǎn)進(jìn)行平差后，檢查點(diǎn)平面和高程精度均有一定提升，但幅度并不明顯，說明語義信息輔助的全自動(dòng)平差技術(shù)完全有潛力代替?zhèn)鹘y(tǒng)的人工刺點(diǎn)生產(chǎn)模式?？紤]到1∶1萬DEM數(shù)據(jù)的高程精度約0.5 m，因此根據(jù)誤差傳播規(guī)律可知，最后兩種區(qū)域網(wǎng)平差方案的實(shí)際高程精度也應(yīng)該在0.5 m左右，完全滿足1∶1萬比例尺地圖制作和更新的精度要求。

(3)立體影像DOM/DEM生產(chǎn)。利用上述第3種平差策略得到的高精度RPC模型與1∶1萬DEM數(shù)據(jù)對(duì)高分七號(hào)前視和后視全色影像進(jìn)行正射糾正，得到的DOM接邊精度如圖8所示?？梢园l(fā)現(xiàn)，雖然前后視影像具有約33°的成像視角差異，導(dǎo)致建筑物和樹木等突起地物具有顯著的鑲嵌誤差，但是機(jī)場(chǎng)跑道、運(yùn)動(dòng)場(chǎng)等地面目標(biāo)的鑲嵌誤差極小，進(jìn)一步驗(yàn)證了區(qū)域網(wǎng)平差結(jié)果具有很好的高程精度。

圖8 語義信息輔助平差后高分七號(hào)前后視全色DOM鑲嵌精度卷簾示意圖

以上述精準(zhǔn)幾何處理方式獲取的高精度RPC模型作為輸入，采用立體衛(wèi)星影像近似核線影像生成算法[20]，以SRTM數(shù)據(jù)為輔助進(jìn)行核線立體影像生產(chǎn)，核線重采樣后殘余上下視差中誤差優(yōu)于0.05像素。然后采用粗略地形引導(dǎo)的物方半全局密集匹配SGVLL算法進(jìn)行密集匹配[21]，經(jīng)自動(dòng)濾波后獲取的丘陵和山區(qū)DEM產(chǎn)品如圖9所示，精度分別為2.33 m和3.23 m，均滿足1∶1萬比例尺DEM產(chǎn)品的精度要求。上述試驗(yàn)充分驗(yàn)證了語義約束的全自動(dòng)幾何處理能夠達(dá)到很高的精度水平。

圖9 高分七號(hào)衛(wèi)星立體像對(duì)丘陵(a)和山區(qū)(b)DEM生產(chǎn)結(jié)果

4.2.2 超大范圍多源衛(wèi)星影像快速處理

國(guó)家自然資源監(jiān)測(cè)、全球地理信息建設(shè)等重大工程，都需要超大范圍衛(wèi)星影像的快速處理技術(shù)作為支撐。筆者所在課題組研發(fā)了多模態(tài)遙感影像自動(dòng)化智能處理系統(tǒng)MIPS，采用多級(jí)并行計(jì)算實(shí)現(xiàn)衛(wèi)星影像自動(dòng)化處理。圖10所示為覆蓋蒙古地區(qū)的1551景資源三號(hào)衛(wèi)星和高分一號(hào)衛(wèi)星影像區(qū)域網(wǎng)平差生產(chǎn)示例，其中包含668景高分一號(hào)全色影像和883景資源三號(hào)下視全色影像。影像匹配在一臺(tái)工作站上完成，工作站搭載一顆Intel-Xeon-W3275M處理器，共有28個(gè)核心提供56線程，內(nèi)存空間192 GB，固態(tài)硬盤空間8 TB，搭載了兩塊Nvidia-RTX-3090顯示卡。生產(chǎn)使用的參考影像和原始影像均存儲(chǔ)在固態(tài)硬盤空間中。匹配所使用的參考影像是公眾地理信息衛(wèi)星影像，分辨率約為3 m。

藍(lán)色為資源三號(hào)影像，紅色為高分一號(hào)影像

每景影像通過自動(dòng)匹配得到約100個(gè)控制點(diǎn)，測(cè)區(qū)中控制點(diǎn)總數(shù)約為12萬。在連接點(diǎn)匹配中，共匹配了4987個(gè)影像對(duì)，經(jīng)語義分割結(jié)果約束剔除后剩余連接點(diǎn)總數(shù)約為96萬。采用筆者所在課題組研發(fā)的多核CPU并行共軛梯度法進(jìn)行區(qū)域網(wǎng)平差，耗時(shí)約20 s，遠(yuǎn)遠(yuǎn)高于現(xiàn)有傳統(tǒng)方法的平差效率，平差后像點(diǎn)反投影中誤差分別為x方向0.55像素、y方向0.34像素。平差后影像間的接邊中誤差如圖11所示，可見大部分影像重疊區(qū)的接邊中誤差都在2像素以內(nèi)，極少量影像接邊中誤差超過2像素，一般發(fā)生在云霧較為濃厚的影像上。平差后影像定位精度方面，大部分影像的控制點(diǎn)平面中誤差均優(yōu)于5 m。

圖11 蒙古地區(qū)1551景國(guó)產(chǎn)影像區(qū)域網(wǎng)平差后DOM鑲嵌中誤差

由于采用自主研發(fā)的CPU/GPU高性能并行處理算法，單機(jī)情況下該組蒙古地區(qū)1551景衛(wèi)星影像的處理時(shí)長(zhǎng)為19 h，包括云區(qū)檢測(cè)、影像融合、影像匹配、區(qū)域網(wǎng)平差、正射影像糾正等全部處理流程。

4.3 語義輔助多源影像時(shí)序合成

4.3.1 多時(shí)相影像云檢測(cè)修復(fù)

光學(xué)衛(wèi)星影像中的云區(qū)會(huì)影響地表觀測(cè)信息的整體一致性，容易給影像融合和解譯等任務(wù)帶來困難，因此需要進(jìn)行修復(fù)處理。在多時(shí)相影像語義輔助精準(zhǔn)幾何處理的基礎(chǔ)上，含云影像修復(fù)方法將快速語義分割獲得的云區(qū)及云陰影區(qū)域視為無效像元區(qū)域，利用多時(shí)相影像的矩陣低秩信息對(duì)其進(jìn)行修復(fù)[22]，并通過對(duì)云區(qū)和非云區(qū)設(shè)定不同的權(quán)值，使得到云區(qū)修復(fù)的同時(shí)盡量保留非云區(qū)的原始信息。如圖12所示為6景高分二號(hào)衛(wèi)星多光譜含云影像的云檢測(cè)修復(fù)結(jié)果，原始影像中的含云量約為8%～50%，且影像獲取時(shí)間間隔為數(shù)月甚至一年以上，因此影像間差異較大，可以看出經(jīng)過檢測(cè)修復(fù)處理后，所有時(shí)相的影像均取得了較好的修復(fù)效果。

圖12 高分二號(hào)衛(wèi)星6景多光譜含云影像檢測(cè)修復(fù)結(jié)果

4.3.2 多源遙感影像鑲嵌合成

在大范圍遙感影像生產(chǎn)中，通常需要對(duì)經(jīng)過幾何處理的多張像進(jìn)行鑲嵌拼接。但這些影像來自不同時(shí)相甚至異源影像，影像間往往具有較大的色彩差異。圖13所示為由13幅衛(wèi)星影像組成的多源影像鑲嵌測(cè)區(qū)，從圖13(a)可以看出相鄰影像間存在較大的色彩差異，拼接處存在明顯的色彩跳躍現(xiàn)象，拼接痕跡嚴(yán)重，對(duì)影像解譯與分析造成不利影響。在語義分割結(jié)果基礎(chǔ)上，選擇裸地、建筑屋頂?shù)确€(wěn)定地物區(qū)域，采用全局與局部相結(jié)合的色彩一致性處理方法進(jìn)行色彩處理[23]。該方法無須指定參考數(shù)據(jù)，根據(jù)待處理影像自身特性進(jìn)行色彩差異消除。全局優(yōu)化是將影像間色彩差異的消除問題轉(zhuǎn)化為最小二乘優(yōu)化求解問題，消除影像間的整體色彩差異；局部?jī)?yōu)化則是在全局優(yōu)化基礎(chǔ)上，對(duì)鄰接影像重疊區(qū)域的殘余色彩差異進(jìn)行處理，最終得到色彩信息一致、過渡平滑的處理結(jié)果。由圖13(b)可見，經(jīng)過色彩一致性處理后，影像間色彩差異基本消除，符合目視解譯及地物信息提取的需求。

圖13 多源影像色彩一致性處理結(jié)果

4.4 多源影像地物信息智能提取

4.4.1 高分辨率影像水體提取

高分辨率遙感衛(wèi)星影像中不同類型水體目標(biāo)呈現(xiàn)出尺度不一、形狀多樣、光譜色彩差異大等特點(diǎn)[24]，研究團(tuán)隊(duì)聯(lián)合弱監(jiān)督深度語義分割網(wǎng)絡(luò)和空間一致性邊界優(yōu)化方法(簡(jiǎn)稱聯(lián)合優(yōu)化提取方法)進(jìn)行水體目標(biāo)提取。采用“高分辨率可見光圖像水體目標(biāo)自動(dòng)提取”比賽公開的數(shù)據(jù)集進(jìn)行試驗(yàn)，圖14為7種水體提取方法在該測(cè)試集中高分二號(hào)衛(wèi)星影像的自動(dòng)提取結(jié)果示例，表3為對(duì)應(yīng)的精度評(píng)定結(jié)果。從定量結(jié)果可以看出，聯(lián)合優(yōu)化提取方法的FWIoU達(dá)到89%，水體提取效果明顯優(yōu)于其他深度學(xué)習(xí)方法。例如，相比于單一深度語義分割網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)最優(yōu)的CE-Net，聯(lián)合優(yōu)化提取方法在FWIoU上提高了0.68%，在比賽系統(tǒng)打分中提高了0.96。該方法可以有效地綜合不同深度語義分割網(wǎng)絡(luò)的優(yōu)點(diǎn)從而提高水體目標(biāo)提取精度，采用旋轉(zhuǎn)方式對(duì)預(yù)測(cè)結(jié)果進(jìn)行綜合判斷提升模型的可靠性和區(qū)域預(yù)測(cè)一致性，空間一致性邊界優(yōu)化則能夠在不產(chǎn)生噪點(diǎn)的前提下，達(dá)到優(yōu)化提取結(jié)果邊緣的效果。

圖14 7種不同水體提取方法可視化結(jié)果

表3 7種不同水體提取方法結(jié)果精度對(duì)比

4.4.2 高分辨率影像建筑物提取

遙感影像建筑物自動(dòng)化提取在城市發(fā)展規(guī)劃、人口估計(jì)、地圖制作與更新等應(yīng)用中具有極為重要的意義。由于遙感影像成像機(jī)理、建筑物自身特性、背景環(huán)境復(fù)雜等因素，從遙感影像中自動(dòng)提取建筑物是艱難長(zhǎng)期的挑戰(zhàn)，現(xiàn)有的建筑物提取依賴于經(jīng)驗(yàn)設(shè)計(jì)特征，耗時(shí)長(zhǎng)、泛化能力差，無法實(shí)現(xiàn)自動(dòng)化，而借助人工智能方法則有可能實(shí)現(xiàn)端到端的建筑物快速提取。文獻(xiàn)[25]提出一種基于多尺度融合全卷積神經(jīng)網(wǎng)絡(luò)的建筑物提取方法MA-FCN，以多源遙感衛(wèi)星合成影像為輸入，結(jié)合深度學(xué)習(xí)語義分割及規(guī)則化算法實(shí)現(xiàn)建筑矢量邊緣的高精度提取。MA-FCN方法的部分提取結(jié)果如圖15所示，表4所示為5種不同方法的統(tǒng)計(jì)對(duì)比，可以看出MA-FCN方法的建筑物提取效果最好，準(zhǔn)確率可達(dá)0.952，明顯超越其他主流方法。

圖15 基于多尺度融合語義分割網(wǎng)絡(luò)的建筑物提取

表4 5種不同方法的建筑物提取結(jié)果

4.4.3 道路網(wǎng)拓?fù)涫噶孔詣?dòng)提取

作為具有復(fù)雜拓?fù)潢P(guān)系的線狀地物，道路數(shù)據(jù)在實(shí)際生產(chǎn)中應(yīng)用廣泛，但從高分辨率影像中進(jìn)行道路提取面臨諸多困難。文獻(xiàn)[26]提出了一種同時(shí)提取遙感影像道路路面和中心線的深度學(xué)習(xí)融合提取方法，充分發(fā)揮卷積神經(jīng)網(wǎng)絡(luò)在道路路面分割和道路中心線追蹤中的優(yōu)勢(shì)，采用路面和中心線結(jié)果相互約束、從粗到細(xì)逐級(jí)優(yōu)化的方式進(jìn)行遙感影像道路網(wǎng)提?。孩賹⑸疃葘W(xué)習(xí)和經(jīng)典機(jī)器學(xué)習(xí)方法結(jié)合，利用提升策略(boosting method)優(yōu)化初始分割結(jié)果，并采用高效的提升分割網(wǎng)絡(luò)模型增強(qiáng)道路路面分割結(jié)果的連接性。②在分割結(jié)果基礎(chǔ)上檢測(cè)多個(gè)特征點(diǎn)作為追蹤起點(diǎn)，利用CNN決策網(wǎng)絡(luò)輸出的“追蹤動(dòng)作”和“追蹤方向”來逐段構(gòu)建道路網(wǎng)，增強(qiáng)道路中心線結(jié)果的完整性。③充分發(fā)揮語義分割方法和追蹤方法的優(yōu)勢(shì)，克服原始分割結(jié)果中道路斷裂以及單起點(diǎn)追蹤結(jié)果中道路不完整的缺點(diǎn)，融合得到準(zhǔn)確、完整、連通的道路網(wǎng)數(shù)據(jù)。圖16所示為3種道路網(wǎng)提取結(jié)果的可視化展示，表5為不同城市地區(qū)的道路網(wǎng)提取結(jié)果統(tǒng)計(jì)對(duì)比，可以看出融合提取方法的結(jié)果顯著優(yōu)于其他兩種道路網(wǎng)提取方法。

圖16 語義分割和多起點(diǎn)追蹤融合道路網(wǎng)提取

表5 3種不同方法的道路網(wǎng)提取結(jié)果

5 結(jié)束語

近10年來，隨著計(jì)算機(jī)技術(shù)的進(jìn)步和大數(shù)據(jù)時(shí)代的到來，多源廣義控制信息在自動(dòng)化幾何處理方面發(fā)揮了重要作用。但是，目前遙感影像的幾何處理和語義信息提取反演仍然在很大程度上互相獨(dú)立，智能化測(cè)繪時(shí)代攝影測(cè)量與遙感的發(fā)展面臨新的挑戰(zhàn)。例如米級(jí)尤其是亞米級(jí)影像中存在的云區(qū)、水體等時(shí)變地物和建筑物、樹木等高出地面的物體，會(huì)導(dǎo)致與已有地理信息的自動(dòng)匹配結(jié)果中往往存在顯著的平面和高程系統(tǒng)誤差，嚴(yán)重制約自動(dòng)化處理的精度和效率；而幾何處理精度有限的多源多時(shí)相影像，又會(huì)進(jìn)一步影響語義信息提取和監(jiān)測(cè)結(jié)果的完整性和可靠性。本文提出了攝影測(cè)量遙感的概念，探討了其主要科學(xué)問題及應(yīng)用領(lǐng)域，并以多源遙感衛(wèi)星影像為例，通過語義提取與幾何處理交叉閉環(huán)融合的全新思路，構(gòu)建一體化攝影測(cè)量遙感智能處理技術(shù)框架。充分利用語義分割信息自動(dòng)挖掘多源廣義地理信息中的高精度有效控制，代替?zhèn)鹘y(tǒng)的人工刺點(diǎn)生產(chǎn)模式進(jìn)行幾何語義一體化處理，顯著提升了多源遙感影像精準(zhǔn)快速處理的自動(dòng)化和智能化水平，可應(yīng)用于超大范圍高分辨率多源影像鑲嵌合成、三維地形、語義分割圖、地類覆蓋圖等產(chǎn)品的快速智能化生產(chǎn)應(yīng)用，有望為智能化測(cè)繪新時(shí)代多源遙感影像的精準(zhǔn)快速處理提供新的解決方案。