梁健 劉召芹 邸凱昌

（1 中國科學院遙感應(yīng)用研究所，北京 100101）

（2 航天飛行動力學技術(shù)重點實驗室，北京 100094）

1 引言

衛(wèi)星圖像和巡視器地面圖像被廣泛用于行星著陸探測任務(wù)中。高分辨率的衛(wèi)星圖像用于全球范圍的制圖以及著陸區(qū)選取。巡視器地面圖像提供更精細的著陸區(qū)域地形地貌和光譜信息，為科學目標選取及路徑規(guī)劃提供技術(shù)支撐。衛(wèi)星圖像和地面圖像及其生成的數(shù)字產(chǎn)品的可視化與量測是實施行星著陸探測任務(wù)不可缺少的工具，同時也可以用于行星科學研究以及教育和科普方面。

在對地觀測和地理信息領(lǐng)域，虛擬現(xiàn)實（Virtual Reality，VR）和虛擬地理環(huán)境（Virtual Geographic Environments，VGE）技術(shù)已廣泛應(yīng)用于空間影像和數(shù)據(jù)的可視化［1］，李德仁院士等提出了可量測虛擬現(xiàn)實（Measurable Virtual Reality，MVR）的概念，并用正射影像及其立體匹配片實現(xiàn)MVR用于可視化和三維量測［2］，而后又提出數(shù)字可量測影像的概念并用于地球空間信息服務(wù)中［3-4］。地理信息系統(tǒng)（GIS）技術(shù)已被應(yīng)用于行星探測研究和任務(wù)實施中，例如由美國地質(zhì)調(diào)查局研發(fā)的交互式網(wǎng)絡(luò)地理信息系統(tǒng)行星分析數(shù)據(jù)庫（Planetary Interactive GIS on-the-Web Analyzable Database，PIGWAD）［5］和美國俄亥俄州立大學開發(fā)的火星網(wǎng)絡(luò)地理信息系統(tǒng)［6］。但總的來說，GIS和虛擬現(xiàn)實技術(shù)在行星探測領(lǐng)域的研究和應(yīng)用還比較少，其關(guān)鍵技術(shù)和應(yīng)用潛力遠沒有被開發(fā)。

Google Earth是目前比較流行的星球瀏覽軟件，其中包含了月球和火星及其它行星的衛(wèi)星圖像數(shù)據(jù)，用戶可以以不同分辨率、多視角進行瀏覽，同時在對應(yīng)的地理位置上通過熱點提供了瀏覽著陸器和巡視器（如勇氣號和機遇號火星車）全景圖像功能。NASA 開發(fā)的開源軟件World Wind 具備與Google Earth類似的便捷強大的可視化功能，同時也提供了更多的行星數(shù)據(jù)。但是，對于圖像的量測，以上兩款軟件僅提供了簡單的基于衛(wèi)星圖像的距離量測功能，均沒有提供巡視器全景圖像量測功能。

2 面向行星探測的可量測虛擬現(xiàn)實環(huán)境的提出

2．1 可量測虛擬現(xiàn)實環(huán)境的概念

圖1顯示了可量測虛擬現(xiàn)實環(huán)境的結(jié)構(gòu)圖，其核心部件包含了三維可量測全景瀏覽器以及基于World Wind的星球瀏覽器。其中三維可量測全景瀏覽器，用于瀏覽及量測由地面立體像對經(jīng)過圓柱投影、自動匹配、無縫拼接、圖像勻光后生成的360°全景圖像。量測功能的實現(xiàn)可以分為以下幾個步驟：（1）在全景瀏覽器上選取需要量測的目標點；（2）由柱面全景圖像坐標反算回原始立體像對，找到該點在原始立體像對上的對應(yīng)像素坐標；（3）由立體像對進行最小二乘匹配，獲取圖像內(nèi)外方位元素后，進行前方交會解算出點的三維坐標。World Wind全球瀏覽器為數(shù)字高程模型（DEM）和數(shù)字正射影像（DOM）的可視化提供了平臺，同時，巡視器的路徑也可以在上面進行疊加。這兩個瀏覽器無縫連接在一起，實現(xiàn)從垂直視角到水平視角的一體化量測。

圖1 可量測虛擬現(xiàn)實環(huán)境（MVE）概念圖Fig．1 Conceptual diagram of MVE

2．2 數(shù)據(jù)

文中所用地面圖像實驗數(shù)據(jù)，來自于美國勇氣號火星探測車（Mars Exploration Rover，MER）上搭載的全景相機（Pancam）拍攝的火星地面圖像。立體全景相機基線30cm，每臺相機的像幅大小為1 024×1 024像元，相機主距為43mm，像元大小為12μm，視場角為16．8°×16．8°，具備多個光譜波段［7］。全景相機和導航相機一同掛載在高精度云臺上，可以實現(xiàn)360°方位角和±90°俯仰角的旋轉(zhuǎn)。實驗中使用的數(shù)據(jù)為經(jīng)核線重采樣的Pancam 立體像對及派生的三維點云數(shù)據(jù)。經(jīng)過核線重采樣后，立體像對消除了上下視差，使得立體影像匹配時同名點的搜索范圍由二維降到了一維，提高匹配的可靠性和速度。三維點云數(shù)據(jù)通過立體像對間匹配得到同名點后，根據(jù)相機外方位元素（位置和姿態(tài)），進行前方交會計算得到。圖像和三維點云數(shù)據(jù)直接從MER Analyst’s Notebook 網(wǎng)站中下載（http：／／an．rsl．wustl．edu／mer／mera／mera．htm）。這 些 數(shù)據(jù)由美國噴氣推進實驗室（Jet Propulsion Labora-tory，JPL）的多任務(wù)圖像處理實驗室（Multimission Image Processing Laboratory，MIPL）通過其軟件流水線自動生成，核線重采樣的圖像稱為FFL 文件；三維點云數(shù)據(jù)文件稱為XYL 文件，按立體像對核線重采樣后的左圖像為索引存儲每個像素點在工作區(qū)局部坐標系中地面坐標X、Y、Z值。圖2所示為Pancam 獲取的一對立體圖像，圖2（a）是左相機獲取圖像（圖像編號：2p186290744fflajqvp2263l2m1），圖2（b）是右相機獲取圖像（圖像編號：2p186290744fflajqvp2263r2m1）。

圖2 勇氣號火星車全景相機獲取的一對核線立體圖像Fig．2 A stereo pair of Pancam images acquired by Spirit rover

文中采用的衛(wèi)星圖像來源于美國“火星勘測軌道器”（Mars Reconnaissance Orbiter，MRO）攜帶的高分辨率科學成像儀（High Resolution Imaging Science Experiment，HiRISE）。HiRISE 相機具有14個CCD 探測元件，其中10個為紅光波段，2個為藍光波段，以及2個近紅外波段，以推掃式掃描的方式獲取火星表面圖像［8］；每個CCD 在垂直于行進的方向有2 048 個像元，沿行進方向有128 個像元。HiRISE相機采用時間延時積分電荷耦合元件（TDI-CCD）進行成像，通過對一個物體進行多次曝光，使積分時長增加M倍（M有8、32、64和128四種選擇），在第一個積分時間周期內(nèi)，目標在某列的第一個像元進行曝光積分，將得到的光生電荷向下移一個像元；在第二個積分周期，目標恰好移動到該列的第二個像元進行曝光積分，得到的光生電荷與上一個像元移來的電荷相加再移到下一個像元……第M個積分周期結(jié)束時，該列上第M個像元的光生電荷與前M-1個像元的電荷相加后從寄存器讀出。本文采用的HiRISE 圖像為紅光波段，像元分辨率0．25m，圖像大小為44 363×26 521像元，位于勇氣號火星車著陸區(qū)域，火星經(jīng)緯度范圍為（175．44°，-14．49°）至（175．56°，-14．68°）。Hi-RISE衛(wèi)星數(shù)據(jù)可以在“行星數(shù)據(jù)系統(tǒng)”（PDS）數(shù)據(jù)庫中（http：／／pds．jpl．nasa．gov／）下載得到。

3 可量測全景圖像構(gòu)建

自動構(gòu)建大場景、高分辨率的全景圖像是近年來計算機視覺領(lǐng)域的研究熱點［9］，全景圖像提供了單一圖像所不具備的大視場角，用戶可以得到較好的沉浸感?？闪繙y全景圖像構(gòu)建流程如圖3所示。

圖3 可量測全景圖像構(gòu)建流程圖Fig．3 Panorama stitching flowchart

3．1 全景圖像拼接

3．1．1 圖像預(yù)處理

通常情況下，火星車所停留的平面會存在一定的坡度，導致獲取圖像上地平線的傾斜（圖4），從而拼接完成的全景圖像出現(xiàn)波浪狀的扭曲。所以需要通過圖像的外方位元素進行校正。

式中：x，y是原始圖像的像素坐標；x′，y′是校正后圖像的像素坐標；k是沿著光軸的旋轉(zhuǎn)角。

圖4 地平線校正Fig．4 Horizon correction

3．1．2 圓柱投影

在全景圖像拼接中，圓柱投影、球面投影、立方體投影是三種常見的投影方式。由于圓柱投影是可展曲面，具有較好的幾何特性，是被普遍采用的一種全景圖像構(gòu)建方式，當已知焦距或水平視場角后，就可以將其投影到圓柱坐標系統(tǒng)［10］。

圖5顯示了圓柱坐標系統(tǒng)的構(gòu)建方式，采用右手坐標系XcYcZc，W為原始圖像的寬度，H為原始圖像的高度。坐標原點設(shè)在圓柱中心。圓柱投影可以提供水平方向360°的視角，但在豎直方向，視場角被限制在±90°內(nèi)。由于火星車相機獲取圖像時的俯仰角無法達到天頂與天底，故圓柱投影的豎直視場角可以滿足要求。

圖5 圓柱投影Fig．5 Cylindrical projection

3．1．3 全景拼接

全景拼接在Hugin開源軟件［11］基礎(chǔ)上增加了對圖像外方位元素的處理。首先對輸入圖像進行圓柱投影，然后利用SIFT 算法［12］進行關(guān)注點的提取與匹配，經(jīng)過RANSAC 方法剔除粗差。為了獲得高精度的拼接圖像，獲得相鄰圖像的同名點后，利用同名點進行光束法平差，對各圖像的外方位進行調(diào)整，利用平差后的影像外方位，計算兩兩圖像間的旋轉(zhuǎn)矩陣，最后對圖像進行勻光處理完成全景圖像拼接。圖6為勇氣號火星車在672火星日至677火星日獲取的3個不同俯仰角的81幅單波段原始核線圖像拼接完成的全景圖像。

圖6 拼接完成的全景圖像Fig．6 Mosaicked panorama

生成全景圖像后，需要對拼接過程中的參數(shù)進行記錄，以便進行后續(xù)的坐標反算，記錄的內(nèi)容包括：（1）原始圖像的文件名、格式、圖像大小、焦距和水平視場角；（2）全景圖像的文件名、格式、圖像大小、投影類型；（3）同名點的像素坐標。

3．2 全景圖像量測

拼接生成的全景圖像只是一個二維的圓柱投影圖像，其三維量測功能的實現(xiàn)是通過全景圖像坐標反算得到在原始立體圖像的位置，利用原始立體圖像實現(xiàn)量測功能。由全景圖像坐標反算回原始立體圖像坐標，分為以下幾個步驟。

3．2．1 全景圖像坐標反算回經(jīng)過圓柱投影后的圖像

首先，通過讀取工程文件信息，計算全景圖像每個像素所占的水平視場角ρ。

式中：W是全景圖像的寬度；Hfov是全景圖像的水平視場角；Ⅰ（xp，yp）是全景圖像上的某一點；Ⅰ′（xc，yc）是其圓柱投影后圖像上的對應(yīng)點。

3．2．2 反圓柱投影對點Ⅰ′（xc，yc）進行反圓柱投影，得到原始圖像上的點Ⅰ″（xo，yo）

3．2．3 三維量測

除了原始立體圖像外，PDS提供了MER 任務(wù)中大部分站點局部坐標系中的地面坐標X、Y、Z值、距離、坡度等數(shù)據(jù)。這些信息與立體像對中左影像的核線影像相關(guān)聯(lián)，并與圖像像素坐標一一對應(yīng)。在全景瀏覽器中，不僅可以進行單點量測，還可以進行線量測（圖7），在全景圖像上選取任意兩點畫線，計算在線段上的所有點的三維信息，可以繪制出該線段的高程和坡度分布曲線（圖8）。

圖7 對全景圖像進行線量測Fig．7 Measuring aprofile in the panorama

圖8 高程和坡度分布曲線Fig．8 Elevation and slope profiles measured from the panorama

對于沒有提供三維信息的站點，需要在全景瀏覽器中進行實時的解算。在反算得到原始圖像的坐標值后，調(diào)出該點所在的立體像對，通過影像匹配和前方交會解算出該點的坐標。圖9顯示了實時反算后，調(diào)出該點所在的立體像對，然后進行最小二乘匹配和前方交會計算該點的三維坐標。

圖9 立體像對量測窗口Fig．9 Stereo measurement window associated with the panorama viewer

3．3 全景圖像的可視化

拼接完成的全景圖像（圖6）是將圓柱投影的圖像以矩形格式存儲的，直接瀏覽會有變形，故需要使用全景瀏覽器瀏覽。本文利用DirectX 技術(shù)構(gòu)建一個圓柱體，將全景圖像作為貼圖置于圓柱內(nèi)表面，設(shè)置視點于圓柱中心，用鼠標和鍵盤控制視點的旋轉(zhuǎn)和移動，同時，對所在顯示窗口內(nèi)的部分采用雙緩存技術(shù)進行實時的反投影計算，使得瀏覽器所顯示透視投影圖像與相機拍攝的原始圖像一致（圖7）。全景瀏覽器提供了基礎(chǔ)的瀏覽功能，如縮放、旋轉(zhuǎn)、平移，以及上面所述的各種量測功能。不同站點之間的全景圖像通過熱點進行連接。

4 全景瀏覽器與World Wind的無縫集成

World Wind是NASA 開發(fā)的開源虛擬星球瀏覽器，除了地球數(shù)據(jù)外，World Wind還提供了月球、火星、金星、木星的數(shù)據(jù)［13］。用戶可以對所關(guān)注的星球進行瀏覽、平移、縮放。World Wind中的數(shù)據(jù)以XML格式進行管理，可以通過編寫XML文件自由疊加自己的圖像、DEM、DOM、探測車路徑以及其它數(shù)據(jù)。

基于火星車著陸區(qū)的HiRISE 立體衛(wèi)星圖像，生成高分辨率的DEM 和DOM，并將其按經(jīng)緯度疊加到火星表面。為了增加World Wind 的渲染速度，圖像通過建立金字塔進行分層管理，在每一層中，圖像被分割為512×512像素的瓦片，并通過文件名建立索引。其它數(shù)據(jù)如火星車的路徑圖，可以以KML格式加入World Wind中。

全景瀏覽器與星球瀏覽器的無縫集成通過影像數(shù)據(jù)和坐標實現(xiàn)，其中衛(wèi)星圖像所用的星固全球坐標和地面圖像所用的著陸區(qū)局部坐標實時轉(zhuǎn)換。只要在全景圖像站點一定距離范圍內(nèi)點擊星球瀏覽器，則會激活全景瀏覽器并顯示該全景圖像。

圖10（a）顯示了World Wind火星的全貌，圖10（b）為World Wind疊加HiRISE 衛(wèi)星圖像、勇氣號火星車路徑、以及由火星車地面影像生成的數(shù)字正射圖像后的效果圖。點擊星球瀏覽器上的數(shù)字正射影像，則可激活對應(yīng)的全景圖像進行瀏覽和量測。

圖10 World Wind用戶界面Fig．10 World Wind interface

5 結(jié)束語

本文針對行星著陸巡視探測的特點，提出了一種基于地面全景圖像和衛(wèi)星圖像的可量測虛擬現(xiàn)實環(huán)境構(gòu)建方法，將地面圖像自動拼接成可量測全景圖像，利用全景瀏覽器直接在全景圖像上進行三維量測，三維可量測全景圖像與基于星球瀏覽器進行無縫集成，實現(xiàn)了從垂直視角衛(wèi)星圖像到地面水平視角巡視器圖像的一體化量測。在后續(xù)的工作中，我們將加入更多的數(shù)據(jù)，如我國嫦娥二號繞月衛(wèi)星圖像及DEM、DOM 數(shù)據(jù)、未來的月球車地面圖像、火星探測數(shù)據(jù)等，構(gòu)建月球和火星可量測全景虛擬現(xiàn)實環(huán)境，為探測任務(wù)和科研應(yīng)用服務(wù)。

（References）

［1］Lin Hui，Gong Jianhua．Exploring virtual geographic environments［J］．Annals of GIS，2001，7（1）：1-7

［2］Li Deren，Wang Mi，Gong Jianya．Principle and implement of measurable virtual reality （MVR）based on seamless stereo-orthoimage database［C］／／The International Archives of the Photogrammetry．Beijing：Remote Sensing and Spatial Information Sciences，2008

［3］Li Deren，Huang Junhua Shao Zhenfeng．Digital earth with digital measurable images［C］／／The International Archives of the Photogrammetry．Beijing：Remote Sensing and Spatial Information Sciences，2008：533-538

［4］Li Deren，Xin Shen．Geospatial information service based on digital measurable image-take image city Wuhan as an example［J］．Geo-Spatial Information Science，2010，13（2）：79-84

［5］Hare T M，Tanaka K L．PIGWAD–new functionality for planetary GIS on the web［C］／／31st Lunar and Planetary Science Conference．Houston：Lunar and Planetary Institute，2000：1889

［6］Li Rongxing，Di Kaichang，Wang Jue，et al．A Web-GIS for spatial data processing，analysis，and distribution for the MER 2003 mission［J］．Photogrammetric Engineering and Remote Sensing，Special Issue on Web and Wireless GIS，2007，73（6）：671-680

［7］Alexander D A，Deen R G，Andres P M，et al．Processing of Mars Exploration Rover imagery for science and operations planning，E02S02［J］．Journal of Geophysical Research -Planets，2006，111（E2）

［8］McEwen A S，Eliason E M，Bergstrom J W，et al．Mars reconnaissance orbiter’s high-resolution imaging science experiment（HiRISE），E05S02［J］．Journal of Geophysical Research，2007，112

［9］Szeliski R，Shum H．Creating full view panoramic image mosaics and texture-mapped models［C］／／SIG-GRAPH’97Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques．Los Angeles：ACM SIGGRAPH，1997：251-258

［10］Chen Shenchang．QuickTime VR-an image-based approach to virtual environment navigation［C］／／SIGGRAPH’95Computer Graphics．Los Angeles：ACM SIGGRAPH，1995：29-38

［11］Wikipedia．Hugin（software），2011a［EB／OL］．［2011-07-10］．http：／／en．wikipedia．org／wiki／Hugin ＿%28software%29

［12］Lowe D G．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60（2）：91-110

［13］Wikipedia．NASA World Wind，2011b［EB／OL］．［2011-07-10］．http：／／en．wikipedia．org／wiki／World＿Wind