劉保成，程家勝，張 喬，王鵬波

(航天測繪遙感信息處理中心，北京102102)

一、引 言

我國“天繪一號”傳輸型立體測繪衛(wèi)星搭載的全色相機(jī)焦面上共有8片線陣TDICCD(時(shí)間延遲積分電荷耦合器件)，采用視場中心線兩側(cè)分上下兩行交錯(cuò)排列的視場拼接方式分兩排安裝，拍攝的影像成果是8個(gè)條帶狀的影像，相鄰條帶間搭接X個(gè)像元。為了得到高分辨率、寬幅面的影像，在后期影像處理中，必須將8個(gè)條帶的影像進(jìn)行拼接。研究可靠的、高效的影像拼接算法，對于提高“天繪一號”衛(wèi)星全色影像的質(zhì)量和生產(chǎn)效率，具有重要意義。

拼接的前提是在相鄰的條帶間能夠?qū)崿F(xiàn)影像間的匹配，影像匹配是指同一場景在兩幅影像中的對應(yīng)關(guān)系，目前常見的影像間匹配方法主要有基于影像灰度的配準(zhǔn)方法和基于影像特征的配準(zhǔn)方法兩類?；诨叶鹊挠跋衽錅?zhǔn)方法一般利用整幅影像的灰度信息，建立影像間的相似性度量，然后采用適當(dāng)?shù)乃阉鞣椒?，尋找使相似性度量值最大或最小的變換模型的參數(shù)值。基于特征的影像配準(zhǔn)方法一般先提取影像的不變特征，再對這些特征進(jìn)行匹配以得到最終的影像配準(zhǔn)。本文通過對基于灰度信息的相關(guān)算法及基于影像特征的SIFT算法進(jìn)行大量的生產(chǎn)試驗(yàn)，提出了適合該測繪衛(wèi)星的有效自適應(yīng)拼接算法，試驗(yàn)表明，該自適應(yīng)拼接算法能有效解決“天繪一號”衛(wèi)星全色影像條帶間的拼接問題。無論采用何種拼接方法，都需要在拼接處進(jìn)行亮度調(diào)整，使拼接處的亮度能夠逐漸過渡。

二、算法設(shè)計(jì)

1．基于灰度相關(guān)的拼接算法

基于灰度信息的相關(guān)算法的主要思路是：選擇左邊影像為參考圖像，右邊影像為浮動(dòng)影像。在浮動(dòng)圖像可能的重疊區(qū)內(nèi)，選擇若干個(gè)小的特征區(qū)域作為模板，然后將這些模板分別在參考圖像中進(jìn)行匹配，每個(gè)模板得到一個(gè)匹配參數(shù)和相似性測度。如果相似性測度大于某一設(shè)定值，表示該特征區(qū)域匹配成功。對每個(gè)行周期范圍內(nèi)的相似性測度進(jìn)行分析，如果匹配成功的特征區(qū)域個(gè)數(shù)大于某個(gè)設(shè)定值，則去除匹配不成功的參數(shù)后，取匹配參數(shù)的均值作為該行周期最終的拼接參數(shù);否則認(rèn)為兩幅圖像沒有重疊區(qū)域，拼接參數(shù)采用默認(rèn)值代替。算法流程如圖1所示。

圖1 相關(guān)算法匹配流程

當(dāng)特征區(qū)域與其參考圖像的對應(yīng)區(qū)域匹配得越好時(shí)，其圖像內(nèi)容越一致，它們間的相關(guān)性越強(qiáng)，否則相關(guān)性弱，這種相關(guān)性的強(qiáng)弱可用相關(guān)系數(shù)來表示，故引入相關(guān)系數(shù)作為相似性測度。用M·N表示特征區(qū)域的大小;fR(i，j)表示參考圖像上匹配區(qū)域點(diǎn)(i，j)的灰度;fF(i，j)表示浮動(dòng)圖像特征區(qū)域內(nèi)點(diǎn)(i，j)的灰度;參考圖像(式1)和浮動(dòng)圖像(式2)的方差分別為

相關(guān)系數(shù)的計(jì)算公式為

初步設(shè)定相似性測度大于99．9%時(shí)，特征區(qū)域匹配成功。在每個(gè)行周期內(nèi)，當(dāng)匹配不成功特征區(qū)域個(gè)數(shù)大于3個(gè)時(shí)，認(rèn)為該行周期內(nèi)圖像沒有重疊區(qū)域;如果有超過2個(gè)行周期圖像沒有重疊區(qū)域，則認(rèn)為兩片CCD圖像之間沒有重疊區(qū)，需進(jìn)入無重疊區(qū)域拼接進(jìn)行處理。上述兩個(gè)參數(shù)可在算法實(shí)現(xiàn)后，根據(jù)運(yùn)行結(jié)果進(jìn)行微調(diào)。

2．基于SIFT的拼接算法

一幅圖像的尺度空間被定義為函數(shù)L(x，y，δ)，它是尺度變化的高斯函數(shù)G與圖像I的卷積

式中，(x，y)為像素坐標(biāo);δ為尺度空間因子;L為尺度空間。δ大小決定圖像的平滑程度，大尺度對應(yīng)圖像的概貌特征，小尺度對應(yīng)圖像的細(xì)節(jié)特征。

由于篇幅原因，SIFT算法的詳細(xì)介紹見文獻(xiàn)[3]，本文SIFT算法的具體實(shí)現(xiàn)過程如下：

1)尺度空間極值檢測。首先建立圖像的DOG(difference of gaussian)金字塔，在DOG尺度空間中的26個(gè)領(lǐng)域中檢測極值，D(x，y，δ)是兩個(gè)相鄰尺度圖像之差，即

2)如果一個(gè)點(diǎn)在DOG尺度空間本層以及上下兩層的26個(gè)領(lǐng)域中是最大或最小值時(shí)，則認(rèn)為該點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn)。利用特征點(diǎn)鄰域像素的梯度方向分布特性，為每個(gè)特征點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性

公式(7)、(8)分別為特征點(diǎn)(x，y)處梯度的模值和方向公式。其中，L所用的尺度為每個(gè)特征點(diǎn)各自所在的尺度。依次求出每個(gè)特征點(diǎn)對應(yīng)的特征向量。

3)特征匹配。當(dāng)兩幅圖像的SIFT特征向量生成后，采用歐式距離作為兩幅圖像中特征點(diǎn)的相似性判定度量，當(dāng)此距離小于某個(gè)閾值時(shí)，就認(rèn)為這兩個(gè)點(diǎn)為同名點(diǎn)。

4)利用 RANCAC算法[7]對匹配點(diǎn)集進(jìn)行提純，將誤匹配點(diǎn)剔除。

在試驗(yàn)中，把全色影像的每景影像條帶數(shù)據(jù)平均分為10個(gè)匹配區(qū)，在每個(gè)匹配區(qū)分別運(yùn)用SIFT算法進(jìn)行影像特征點(diǎn)提取，每個(gè)匹配區(qū)根據(jù)得到的匹配參數(shù)分別進(jìn)行影像匹配，若某個(gè)區(qū)未找到任何特征點(diǎn)，則匹配參數(shù)由另外其他區(qū)的平均匹配參數(shù)代替。在該算法實(shí)現(xiàn)過程中發(fā)現(xiàn)，有的情況下全色影像條帶數(shù)據(jù)10個(gè)匹配區(qū)都無法提取特征點(diǎn)，從而得不到匹配參數(shù)，這種情況下，匹配參數(shù)采用默認(rèn)值。

3．自適應(yīng)拼接算法

通過大量的試驗(yàn)發(fā)現(xiàn)，基于灰度相關(guān)的匹配算法在以下兩種情況下進(jìn)行全色影像拼接后，依然存在錯(cuò)位現(xiàn)象。這兩種情況分別為：無法找到特征區(qū)域、相關(guān)峰位置不準(zhǔn)確。

在以下兩種情形下基于SIFT算法的全色影像拼接依然存在錯(cuò)位現(xiàn)象：① 當(dāng)10個(gè)分區(qū)中某個(gè)分區(qū)無法提取特征點(diǎn)，該分區(qū)的匹配參數(shù)采用其他分區(qū)的匹配參數(shù)平均值代替;②10個(gè)分區(qū)都無法提取特征點(diǎn)，整景條帶數(shù)據(jù)的匹配參數(shù)都采用相同的默認(rèn)值代替。上述情況下全色影像拼接后錯(cuò)位現(xiàn)象很明顯，嚴(yán)重影響了后期全色影像圖的運(yùn)用。

而且在試驗(yàn)中發(fā)現(xiàn)，基于灰度相關(guān)的匹配算法和基于SIFT的匹配算法在匹配地形類型上有一定的互補(bǔ)性，具體表現(xiàn)在基于灰度相關(guān)的匹配算法在平原地形下匹配性能較好，而基于SIFT的匹配算法性能較差;基于SIFT的匹配算法在高山、雪地等地形匹配性能較好，基于灰度相關(guān)的匹配算法性能較差。基于此現(xiàn)象，筆者結(jié)合了基于灰度相關(guān)的匹配算法和基于SIFT的匹配算法。提出了自適應(yīng)拼接算法的實(shí)現(xiàn)思路，自適應(yīng)拼接算法的實(shí)現(xiàn)流程如圖2所示。

圖2 自適應(yīng)拼接算法實(shí)現(xiàn)流程

自適應(yīng)拼接算法中，首先用SIFT算法尋找特征點(diǎn)，如果10個(gè)分區(qū)中找到特征點(diǎn)的分區(qū)數(shù)大于閾值，則利用SIFT算法計(jì)算拼接參數(shù);如果10個(gè)分區(qū)中找到特征點(diǎn)的分區(qū)數(shù)小于閾值，則該景全色影像條帶間拼接轉(zhuǎn)入基于灰度相關(guān)的匹配算法;如果基于灰度相關(guān)的匹配算法失敗，則采用默認(rèn)的匹配參數(shù)，最后輸出匹配結(jié)果。在聯(lián)合算法中，SIFT算法能提取到特征點(diǎn)的分區(qū)數(shù)需要與閾值比較，以此決定接下來采用何種匹配算法，所以在自適應(yīng)拼接算法中，閾值的選擇關(guān)系到整個(gè)自適應(yīng)拼接算法的性能。筆者經(jīng)過大量試驗(yàn)，找到了合理的閾值，并經(jīng)過試驗(yàn)驗(yàn)證了閾值的有效性。

三、試驗(yàn)分析

為了驗(yàn)證基于灰度相關(guān)的匹配算法和基于SIFT的匹配算法在全色影像條帶間的拼接性能，筆者基于C++語言做了大量試驗(yàn)，對比較典型的地形，分別用上述兩種算法作了分析對比，最后對在單獨(dú)的基于相關(guān)的匹配算法和基于SIFT的匹配算法下拼接失敗的地形，利用自適應(yīng)拼接算法進(jìn)行了重新生產(chǎn)。下面的結(jié)果中是大量的試驗(yàn)中比較典型的實(shí)例。圖3為利用相關(guān)算法和SIFT算法分別對山地地形進(jìn)行的拼接試驗(yàn)，圖4為利用相關(guān)算法和SIFT算法分別對平原地形進(jìn)行的拼接試驗(yàn)，圖5為利用自適應(yīng)拼接算法對山地地形和平原地形進(jìn)行的拼接試驗(yàn)。

從圖3中可以看出，在山地地形中，基于SIFT的匹配算法拼接性能優(yōu)于基于灰度相關(guān)的匹配算法;從圖4中可以看出，在平原地形中，基于灰度相關(guān)的匹配算法拼接性能優(yōu)于基于SIFT的匹配算法;從圖5可以看出自適應(yīng)拼接算法在山地地形和平原地形匹配性能都有了很大的改善。

圖3 山地地形拼接試驗(yàn)(左為相關(guān)算法，右為SIFT算法)

圖4 平原地形拼接試驗(yàn)(左為相關(guān)算法，右為SIFT算法)

圖5 聯(lián)合算法拼接試驗(yàn)(左為平原地形，右為山地地形)

四、結(jié)束語

本文針對我國“天繪一號”傳輸型立體測繪衛(wèi)星下傳全色條帶影像，分別運(yùn)用基于灰度相關(guān)的匹配算法和基于sift的匹配算法進(jìn)行了大量的拼接試驗(yàn)，得出了這兩種算法在不同地形中的拼接性能分析，最后提出了自適應(yīng)拼接算法的思想，并基于C++語言對自適應(yīng)拼接算法的性能進(jìn)行了大量的試驗(yàn)，結(jié)果表明自適應(yīng)拼接算法在拼接性能上有了很大的改善，雖然拼接速度有所降低，但從折中的角度考慮，自適應(yīng)拼接算法能夠在日常生產(chǎn)中運(yùn)用，有很高的實(shí)用價(jià)值。

[1]賈世杰，王鵬翔，姜海洋，等．基于SIFT的圖像匹配算法[J]．大連交通大學(xué)學(xué)報(bào)，2010，31(4)：17-21．

[2]朱虹．?dāng)?shù)字圖像處理基礎(chǔ)[M]．北京：科學(xué)出版社，2005：31-55．

[3]TONG L．Scale-Space Theory：A Basic for Analyzing Stuctures at Different Scales[J]．Journal of Applied Statistics，1994，21(2)：224-270．

[4]劉立，彭復(fù)員，趙坤，等．采用簡化SIFT算法實(shí)現(xiàn)快速圖像匹配[J]．紅外與激工程，2008，37(1)：181-184．

[5]曹楠，王萍．基于SIFT特征匹配的圖像無縫拼接算法[J]．計(jì)算機(jī)與運(yùn)用化學(xué)，2011(2)：242-244．

[6]FISHCHLER M A，BOLLESR C．Random Sample Consensus：A Paradigm for Model Fitting with Application to Image Analysis and Automated Cartography[J]．Communication Association Machine，1981，24(6)：381-395

[7]LOWE D G．Object Recognition from Local Scale-Invariant Features[C]∥The 7th International Conference on Computer Vision，Kerkyra：[s．n．]，1999

[8]徐亞明，刑誠，陳曉東．一種基于拼接線的無人機(jī)序列影像拼接方法[J]．武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2011，36(11)：1265-1269．