邸凱昌 張重陽(yáng) 劉召芹

（1 中國(guó)科學(xué)院遙感應(yīng)用研究所，北京 100101）

（2 航天飛行動(dòng)力學(xué)技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100094）

1 引言

著陸巡視探測(cè)是深空探測(cè)的主要方式之一，近年來最引人注目的深空著陸巡視探測(cè)活動(dòng)是美國(guó)國(guó)家航空航天局火星探測(cè)巡視器勇氣號(hào)和機(jī)遇號(hào)的火星表面巡視探測(cè)，好奇心號(hào)火星巡視器于2012年8月6日著陸火星，開啟了人類深空探測(cè)的新篇章。在中國(guó)嫦娥工程的第二期探月活動(dòng)中，也將開展月面著陸器探測(cè)和月面巡視器探測(cè)［1］。深空探測(cè)巡視器在探測(cè)活動(dòng)中，需要接近和到達(dá)科學(xué)家指定的科學(xué)目標(biāo)并且部署相關(guān)儀器對(duì)目標(biāo)進(jìn)行就位探測(cè)或者取樣［2］。在勇氣號(hào)和機(jī)遇號(hào)火星探測(cè)巡視器任務(wù)中，火星巡視器自確定目標(biāo)到接近目標(biāo)部署科學(xué)儀器至少需要3個(gè)指令周期，即3個(gè)火星日（一個(gè)火星日為24h39min 35s）［3］?？茖W(xué)家一般先從火星巡視器全景相機(jī)影像中，確定一定距離外（如幾十米以外）所關(guān)注的目標(biāo)（如石塊、巖層、沙丘等），在接近目標(biāo)途中，通過導(dǎo)航相機(jī)獲取目標(biāo)影像，對(duì)其進(jìn)行識(shí)別和交接，接近目標(biāo)時(shí)，再將目標(biāo)從導(dǎo)航相機(jī)影像交接到避障相機(jī)影像，科學(xué)目標(biāo)在相機(jī)間的交接，是由科學(xué)家和工程師通過人機(jī)交互的方式實(shí)現(xiàn)的，最終根據(jù)科學(xué)目標(biāo)在避障相機(jī)影像中的位置，用機(jī)械臂上的科學(xué)儀器進(jìn)行就位探測(cè)。目前的好奇心號(hào)火星巡視器也基本沿用了上述目標(biāo)接近方法，未來的深空探測(cè)巡視器需要更加高效、智能地接近目標(biāo)部署科學(xué)儀器，如果可以實(shí)現(xiàn)目標(biāo)在影像間的自動(dòng)交接，便可大幅度縮短深空探測(cè)巡視器接近目標(biāo)部署儀器的時(shí)間（例如縮短到一個(gè)指令周期），從而提高科學(xué)探測(cè)的效率。

美國(guó)噴氣推進(jìn)實(shí)驗(yàn)室（JPL）的研究者們，近年來開始研究火星巡視器單指令周期接近目標(biāo)和部署儀器的技術(shù)［3-4］，其技術(shù)路線包括確定和量測(cè)目標(biāo)、追蹤目標(biāo)、目標(biāo)交接和部署科學(xué)儀器幾個(gè)過程，文獻(xiàn)［4］中的自動(dòng)交接方法，是通過前一個(gè)位置拍攝的桅桿相機(jī)（mast camera）立體影像，計(jì)算出目標(biāo)點(diǎn)及其周圍像點(diǎn)的三維坐標(biāo)，然后生成巡視器相機(jī)（body camera）的虛擬圖像，并與后一個(gè)位置實(shí)際拍攝的巡視器相機(jī)影像進(jìn)行匹配，實(shí)現(xiàn)目標(biāo)交接，其交接精度為幾個(gè)像素。此目標(biāo)交接方法需要在交接前連續(xù)追蹤目標(biāo)，也就需要連續(xù)獲取影像，資源消耗較多；目標(biāo)交接在相距很近拍攝的桅桿相機(jī)和巡視器相機(jī)影像間進(jìn)行，難以應(yīng)用于相距較遠(yuǎn)拍攝的影像間交接；另外，直接通過匹配追蹤和交接目標(biāo)，沒有充分利用影像中其它的明顯特征點(diǎn)，因此交接的精度和可靠性都有待提高。

本文提出利用SIFT 匹配和光束法平差方法，實(shí)現(xiàn)多相機(jī)間的圖像配準(zhǔn)和目標(biāo)交接，以利于提高目標(biāo)交接精度和可靠性，同時(shí)，還可用于相距較遠(yuǎn)拍攝的影像間交接。

2 多相機(jī)間目標(biāo)交接算法

2．1 火星巡視器相機(jī)

典型的深空探測(cè)巡視器一般都配有多對(duì)立體相機(jī)，以勇氣號(hào)和機(jī)遇號(hào)火星巡視器為例，巡視器上配有四對(duì)立體相機(jī)（如圖1）：全景相機(jī)（panoramic camera，Pancam）和導(dǎo)航相機(jī)（navigation camera，Navcam）安裝于同一根相機(jī)橫桿上，統(tǒng)稱為桅桿相機(jī)，分別用來對(duì)遠(yuǎn)、中距離和中、近距離的地物進(jìn)行成像；兩對(duì)避障相機(jī)（hazard-avoidance camera，Hazcam）分別安裝在火星巡視器車頭和車尾、太陽(yáng)能電池板下，稱為巡視器相機(jī)，用來對(duì)近距離的地物進(jìn)行成像。Navcam 是一對(duì)中視場(chǎng)角（45°）全色相機(jī)，主要用于導(dǎo)航；Pancam 是一對(duì)窄角（16．8°）多光譜相機(jī)，主要用于對(duì)地質(zhì)、地形、地貌等的科學(xué)研究；Hazcam 是寬角（120°）全色相機(jī)，主要用于探測(cè)和避開障礙物，以及布設(shè)機(jī)械臂上儀器前的近距離量測(cè)。文獻(xiàn)［5-6］對(duì)于這些相機(jī)的具體參數(shù)，以及在地形測(cè)圖和火星巡視器定位方面的應(yīng)用有更為詳細(xì)的介紹。

圖1 火星巡視器上的相機(jī)及其它儀器Fig．1 Cameras and other instruments on the Mars rover

2．2 目標(biāo)交接概念

多相機(jī)影像的目標(biāo)交接（camera handoff），指的是將某一個(gè)相機(jī)影像內(nèi)的特定目標(biāo)傳遞到在另一個(gè)位置拍攝的另一個(gè)相機(jī)的影像上，兩個(gè)相機(jī)的影像間要有一定的重疊度。如圖2所示，當(dāng)探測(cè)巡視器距離目標(biāo)10 m 左右時(shí)，首先用焦距較長(zhǎng)的全景相機(jī)對(duì)目標(biāo)拍照；隨著火星巡視器向前行進(jìn)，如在距離目標(biāo)5m 左右時(shí)，用導(dǎo)航相機(jī)拍照，并將目標(biāo)從全景相機(jī)傳遞到導(dǎo)航相機(jī)；而隨著火星巡視器進(jìn)一步接近目標(biāo)，如距目標(biāo)1 m 以內(nèi)時(shí)，由于太陽(yáng)能電池板的遮擋，全景相機(jī)和導(dǎo)航相機(jī)均難以拍攝到目標(biāo)物，因此采用避障相機(jī)拍照，并需要將目標(biāo)從導(dǎo)航相機(jī)傳遞到避障相機(jī)；最后，根據(jù)避障相機(jī)對(duì)目標(biāo)的量測(cè)，部署機(jī)械臂上的相關(guān)科學(xué)探測(cè)儀器進(jìn)行就位探測(cè)。

圖3給出了目標(biāo)交接的一個(gè)示例，圖3（a）、（b）分別為火星巡視器導(dǎo)航相機(jī)、避障相機(jī)在由遠(yuǎn)到近不同位置獲取的同一地區(qū)的影像，由于兩個(gè)相機(jī)在火星巡視器上安裝的位置不同及拍照的時(shí)間不同，兩幅圖像的視角和尺度均有較大差異，導(dǎo)航相機(jī)到避障相機(jī)的目標(biāo)交接，就是要確定導(dǎo)航相機(jī)中所關(guān)注的目標(biāo)點(diǎn)（如圖3（a）中十字標(biāo)示的點(diǎn)）在避障相機(jī)影像（如圖3（b））上的位置。在美國(guó)的勇氣號(hào)和機(jī)遇號(hào)火星探測(cè)巡視器任務(wù)中，這一過程是由人工實(shí)現(xiàn)的。下文中探討了自動(dòng)化、高精度實(shí)現(xiàn)這一交接過程的方法。

圖2 相機(jī)交接概念圖Fig．2 A conceptual illustration of camera handoff

圖3 目標(biāo)交接示例Fig．3 An example of camera handoff

2．3 基于SIFT匹配和光束法平差的多相機(jī)目標(biāo)交接

本文提出的方法，首先在不同位置多相機(jī)圖像間進(jìn)行SIFT 匹配，提取同名點(diǎn)并剔除粗差，將不同相機(jī)所拍攝的影像連接起來，構(gòu)成影像區(qū)域網(wǎng)，通過對(duì)影像網(wǎng)的光束法平差，提高所有相機(jī)影像姿態(tài)位置參數(shù)的一致性；然后，根據(jù)平差后的影像外方位元素，將目標(biāo)從一個(gè)相機(jī)的立體影像上精確地投影到另一個(gè)相機(jī)的影像上，實(shí)現(xiàn)目標(biāo)的高精度交接。圖4以火星巡視器上導(dǎo)航相機(jī)影像和避障相機(jī)影像間的目標(biāo)交接為例，給出了所提出方法的流程圖。

圖4 目標(biāo)交接流程圖Fig．4 Flowchart of the proposed camera handoff method

2．3．1 SIFT 特征匹配

由于探測(cè)巡視器上裝載的不同相機(jī)（例如避障相機(jī)和導(dǎo)航相機(jī)）在不同位置拍攝同一目標(biāo)時(shí)，距離目標(biāo)的距離不同、視角不同，光照條件也不同，因此不同相機(jī)間影像的差異較大，常規(guī)的相關(guān)系數(shù)等匹配算法，不適合用于多相機(jī)間影像的匹配。SIFT 關(guān)鍵點(diǎn)特征對(duì)圖像平移、縮放和旋轉(zhuǎn)保持不變性［7］，對(duì)差異較大的圖像具有穩(wěn)定的特征匹配能力，在遙感影像［8］、醫(yī)學(xué)影像［9］的匹配中也得到了廣泛應(yīng)用。本文中，采用SIFT 匹配來實(shí)現(xiàn)火星巡視器多相機(jī)間影像的特征匹配。提取SIFT 關(guān)鍵點(diǎn)后，用關(guān)鍵點(diǎn)特征向量的歐式距離作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量，如果最近距離與次近距離的比值小于某個(gè)比例閾值，則認(rèn)為最近距離的點(diǎn)是匹配點(diǎn)。匹配閾值越大，匹配點(diǎn)數(shù)目越多，誤匹配的可能性也就越大，閾值越小，匹配點(diǎn)的數(shù)目也相應(yīng)減少，但匹配的正確率也越高［7］。根據(jù)勇氣號(hào)火星巡視器相機(jī)影像的特點(diǎn)，SIFT 匹配的閾值取0．75時(shí)，一般可以獲取足夠數(shù)目的匹配點(diǎn)，能夠滿足目標(biāo)交接要求。以上設(shè)置的閾值為多次試驗(yàn)得到的經(jīng)驗(yàn)值，處理其它巡視器影像時(shí)可能需要調(diào)整。

2．3．2 隨機(jī)抽樣一致性方法剔除匹配粗差

SIFT 關(guān)鍵點(diǎn)匹配結(jié)果中難免有錯(cuò)誤匹配點(diǎn)，即粗差。粗差會(huì)嚴(yán)重影響后續(xù)的光束法平差和目標(biāo)交接，需要設(shè)法剔除。隨機(jī)抽樣一致性（RANdom SAmple Consensus，RANSAC）算法，對(duì)包含大量粗差的數(shù)據(jù)仍能有效地估計(jì)參數(shù)［10］，其過程如下：首先，針對(duì)具體問題設(shè)計(jì)一個(gè)目標(biāo)函數(shù)；然后，反復(fù)迭代抽取盡可能少但有足夠多的數(shù)據(jù)點(diǎn)集，來估算目標(biāo)函數(shù)參數(shù)的初始值，并利用這些初始值把數(shù)據(jù)劃分為所謂的內(nèi)點(diǎn)（Inliers，滿足參數(shù)估計(jì)的點(diǎn)）和外點(diǎn)（Outliers，不滿足估計(jì)參數(shù)的點(diǎn)，即粗差）；最后，反過來用所有的內(nèi)點(diǎn)重新估算目標(biāo)函數(shù)的參數(shù)值。與傳統(tǒng)優(yōu)化算法所不同的是，RANSAC算法最開始是利用一小部分?jǐn)?shù)據(jù)作為內(nèi)點(diǎn)得到參數(shù)初始值，然后根據(jù)初始值尋找數(shù)據(jù)集合中其他的內(nèi)點(diǎn)，這樣可以最大限度地減少噪聲和外點(diǎn)的影像，算法具有很強(qiáng)的抗粗差能力。

根據(jù)導(dǎo)航相機(jī)立體像對(duì)的左片與避障相機(jī)立體像對(duì)的左片，通過SIFT 關(guān)鍵點(diǎn)匹配得到的同名點(diǎn)坐標(biāo)，分別在同一立體像對(duì)右片通過相關(guān)系數(shù)和最小二乘匹配尋找同名像點(diǎn)，前方交會(huì)求解出匹配點(diǎn)的三維坐標(biāo)［11］。對(duì)于同一點(diǎn)在不同立體模型下的平面坐標(biāo)X、Y滿足一個(gè)簡(jiǎn)單的旋轉(zhuǎn)、平移變換，故用相似變換模型構(gòu)建RANSAC 算法，對(duì)于不滿足相似變換的三維坐標(biāo)，作為粗差剔除。

對(duì)于剔除粗差后的SIFT 匹配點(diǎn)，在圖像上用50×50像素大小的格網(wǎng)進(jìn)行分塊，在每一個(gè)格網(wǎng)內(nèi)隨機(jī)選取一個(gè)點(diǎn)，這樣，可以自動(dòng)選取出足夠數(shù)目分布均勻的模型連接點(diǎn)用于后續(xù)的光束法平差。

2．3．3 光束法平差和目標(biāo)交接

將正確匹配和選取的同名特征點(diǎn)作為連接點(diǎn)，把火星巡視器不同位置、不同相機(jī)獲取的影像連接起來，構(gòu)建成影像網(wǎng)，對(duì)影像網(wǎng)進(jìn)行攝影測(cè)量光束法平差，提高影像位置和姿態(tài)參數(shù)的精度和一致性。本文實(shí)驗(yàn)中，為了實(shí)現(xiàn)目標(biāo)從導(dǎo)航相機(jī)到避障相機(jī)的交接，固定導(dǎo)航相機(jī)影像的外方位元素，平差調(diào)整避障相機(jī)的外方位元素。最后，將導(dǎo)航相機(jī)內(nèi)科學(xué)目標(biāo)的三維坐標(biāo)，根據(jù)避障相機(jī)平差后的外方位元素，投影到避障相機(jī)影像上，實(shí)現(xiàn)目標(biāo)交接。

對(duì)于光束法平差中的連接點(diǎn)，每個(gè)像點(diǎn)可列兩個(gè)誤差方程［11］：

式中：vx、vy為像點(diǎn)誤差；a11～a26為誤差方程系數(shù)；ΔXs、ΔYs、ΔZs、Δw、Δφ、Δκ分別為外方位線元素和角元素的改正數(shù)；ΔX、ΔY、ΔZ為對(duì)應(yīng)物方點(diǎn)三維坐標(biāo)的改正值；lx、ly為像點(diǎn)觀測(cè)坐標(biāo)觀測(cè)值與迭代過程中坐標(biāo)近似值之差。誤差方程組聯(lián)立后，最小二乘迭代求解影像外方位的改正數(shù)，最終得出較高精度影像外方位元素。

3 實(shí)驗(yàn)驗(yàn)證與分析

實(shí)驗(yàn)的數(shù)據(jù)采用勇氣號(hào)火星巡視器在2004年2月間，接近一個(gè)叫“Humphrey”的石頭時(shí)，獲取的全景、導(dǎo)航和避障相機(jī)共10對(duì)立體影像，其中全景相機(jī)影像2對(duì)，導(dǎo)航相機(jī)影像4對(duì)，避障相機(jī)影像4對(duì)。數(shù)據(jù)從MER Analyst’s Notebook網(wǎng)站［12］下載得到，選取的是經(jīng)過處理的核線影像。影像文件中，包含了由里程計(jì)和慣性測(cè)量器件（IMU）數(shù)據(jù)，根據(jù)航跡推算（dead reckoning）方法得到的影像的外方位元素，由于巡視器輪打滑和IMU 漂移的影響，這些外方位元素的精度一般不高［13］。

以上文提到的導(dǎo)航相機(jī)和避障相機(jī)影像的交接為例，圖5是圖3中兩幅影像SIFT 特征點(diǎn)匹配結(jié)果，連線的兩端是匹配的同名點(diǎn)，共得到51對(duì)匹配點(diǎn)，顯然存在匹配粗差。圖6 是用RANSAC 方法剔除粗差后得到的42對(duì)正確匹配點(diǎn)。在正確匹配的SIFT關(guān)鍵點(diǎn)格網(wǎng)分塊，共選擇出14對(duì)分布比較均勻的點(diǎn)作為模型連接點(diǎn)進(jìn)行光束法平差，因?yàn)閮煞鶊D像的視角、光照等相差較大，人工選取檢查點(diǎn)會(huì)引入較大誤差，故將SIFT 匹配其余的28 個(gè)匹配點(diǎn)，作為檢查點(diǎn)檢驗(yàn)?zāi)繕?biāo)交接的精度。

圖5 SIFT 匹配結(jié)果（含粗差）Fig．5 SIFT matching results（including outliers）

圖6 剔除粗差后的SIFT 匹配結(jié)果和光束法平差后的目標(biāo)交接結(jié)果Fig．6 SIFT matching results after outlier elimination and handoff result after bundle adjustment

為了檢驗(yàn)?zāi)繕?biāo)交接的精度，將導(dǎo)航相機(jī)影像與避障相機(jī)影像匹配的28個(gè)檢查點(diǎn)的像點(diǎn)坐標(biāo)作為真值，由導(dǎo)航相機(jī)三維點(diǎn)投影到避障相機(jī)影像的坐標(biāo)與真值的差值作為相機(jī)目標(biāo)交接的像方誤差。分別用光束法平差前后導(dǎo)航相機(jī)的外方位元素進(jìn)行投影，以對(duì)比平差前后交接的精度。實(shí)驗(yàn)表明，平差前，交接的精度為X方向16．49像素，Y方向12．23像素，平差后交接的精度為X方向3．49像素，Y方向1．49像素。導(dǎo)航相機(jī)、避障相機(jī)間的距離為3．63m。本次實(shí)驗(yàn)根據(jù)獲取的10對(duì)立體像對(duì)，進(jìn)行了不同類型相機(jī)的交接實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果匯總見表1。

從實(shí)驗(yàn)結(jié)果可以看到，當(dāng)2個(gè)拍攝站點(diǎn)距離較近時(shí)（1m 以內(nèi)），光束法平差前的交接精度為3～4個(gè)像素，表明在很短距離航跡推算得到影像位置和姿態(tài)累積誤差不大，而本文方法交接的精度更高，為2個(gè)像素；拍攝站點(diǎn)距離不斷增大（大于3m），傳統(tǒng)的直接反投的誤差迅速增大，有20～40個(gè)像素之多，而本文提出方法的交接精度仍然保持在2～3個(gè)像素，與直接利用航跡推算得到的影像位置和姿態(tài)交接相比精度大幅度提高。因?yàn)樵诨鹦茄惨暺髑斑M(jìn)的過程中，基于航跡推算的定位、姿態(tài)等誤差會(huì)不斷累積，因而降低直接交接的精度，而通過光束法平差，可以大幅度提高方位參數(shù)的一致性，從而顯著提高了目標(biāo)交接精度。一般2～3個(gè)像素的交接精度，能夠滿足部署就位探測(cè)儀器的要求。

表1 交接誤差統(tǒng)計(jì)Table 1 Statistics of camera handoff errors

4 結(jié)束語

本文提出了一種基于SIFT 匹配和光束法平差的深空探測(cè)巡視器多相機(jī)目標(biāo)自動(dòng)交接方法，能夠顯著提高目標(biāo)交接的精度和可靠性，滿足布設(shè)機(jī)械臂上儀器進(jìn)行就位探測(cè)的要求。經(jīng)過進(jìn)一步完善和測(cè)試，可應(yīng)用于未來深空巡視器探測(cè)任務(wù)中，實(shí)現(xiàn)單指令周期接近目標(biāo)和部署就位探測(cè)儀器，提高科學(xué)探測(cè)的效率和自動(dòng)化程度。

（References）

［1］歐陽(yáng)自遠(yuǎn)．月球探測(cè)進(jìn)展與我國(guó)的探月行動(dòng)［J］．自然雜志，2005，27（5）：253-257

Ouyang Ziyuan．Review of lunar exploration and introduction of Chinese lunar exploration project［J］．Nature Magazine，2005，27（5）：253-257（in Chinese）

［2］Di K C，Ge Z J．A brief review of Sprit’s six years of Mars roving and scientific discoveries［J］．Journal of Remote Sensing，2011，15（4）：651-658

［3］Kim W，Ansar A，Steele R．Rover mast calibration，exact camera pointing，and camera handoff for visual target tracking［C］／／IEEE International Conference on Robotics and Automation（ICRA）．New York：IEEE，2005

［4］Bajracharya M，Diaz-Calderon A，Robinson M，et al．Target tracking，approach，and camera handoff for automated instrument placement［C］／／IEEE Aerospace Conference．New York：IEEE，2005

［5］Li R X，Di K C，Matthies L H，et al．Rover localization and landing site mapping technology for 2003 Mars Exploration Rover mission［J］．Photogrammetric Engineering and Remote Sensing，2004，70（1）：77-90

［6］Di K C，Xu F L，Wang J，et al．Photogrammetric processing of rover imagery of the 2003 Mars Exploration Rover mission［J］．Journal of Photogrammetry and Remote Sensing，2008，63（2）：181-201

［7］Lowe D．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60（2）：91-110

［8］李曉明，鄭鏈，胡占義．基于SIFT 特征的遙感影像自動(dòng)配準(zhǔn)［J］．遙感學(xué)報(bào)，2006，10（6）：885-892

Li Xiaoming，Zheng Lian，Hu Zhanyi．SIFT based automatic registration of remotely-sensed imagery［J］．Journal of Remote Sensing，2006，10（6）：885-892（in Chinese）

［9］張少敏，支力佳，趙大哲，等．融合SIFT 特征的熵圖像估計(jì)醫(yī)學(xué)圖像非剛性配準(zhǔn)［J］．中國(guó)圖像圖形學(xué)報(bào)，2012，17（3）：412-418

Zhang Shaomin，Zhi Lijia，Zhao Dazhe，et al．Entropic graph estimation integrated with SIFT features for medical image non-rigid registration［J］．Journal of Image and Graphics，2012，17（3）：412-418（in Chinese）

［10］Fischler M A，Bolles R C．Random sample consensus：aparadigm for model fitting with applications to image analysis and automated cartography［J］．Graphics and Image Processing，1981，24（6）：381-395

［11］李德仁，王樹根，周月琴．?dāng)z影測(cè)量與遙感概論［M］．2版．北京：測(cè)繪出版社，2008

Li Deren，Wang Shugen，Zhou Yueqin．Introduction to photogrammetry and remote sensing［M］．2nd ed．Beijing：Publishing House of Surveying and Mapping，2008（in Chinese）

［12］NASA Planetary Data System Geosciences Node．MER analyst’s notebook ［EB／OL］．［2004-02-29］．http：／／an．rsl．wustl．edu／mer／

［13］邸凱昌．火星車定位與制圖技術(shù)現(xiàn)狀以及對(duì)發(fā)展中國(guó)月球車／火星車定位制圖技術(shù)的建議［J］．遙感學(xué)報(bào)，2009，13（s1）：101-112

Di Kaichang．Review of mars exploration rover localization and mapping technology and suggestions for developing Chinese lunar／Mars rover localization and mapping technology［J］．Journal of Remote Sensing，2009，13（s1）：101-112（in Chinese）