杜培明 ，邢 碩 ，2

（1.安徽工業(yè)大學(xué)電氣信息學(xué)院，安徽 馬鞍山 243032；2.銅陵學(xué)院電氣工程學(xué)院，安徽 銅陵 244061)

基于魯棒迭代優(yōu)化的圖像拼接算法＊

杜培明1，邢 碩1，2

（1.安徽工業(yè)大學(xué)電氣信息學(xué)院，安徽 馬鞍山 243032；2.銅陵學(xué)院電氣工程學(xué)院，安徽 銅陵 244061)

針對(duì)保持直線邊緣不畸變和改善拼接區(qū)域精度的需要，提出了一種基于魯棒迭代優(yōu)化的圖像拼接算法。采用SIFT特征匹配算法提取不變特征，依據(jù)RANSAC魯棒算法估計(jì)單應(yīng)性矩陣獲取精確內(nèi)點(diǎn)匹配點(diǎn)對(duì)，參照內(nèi)點(diǎn)匹配點(diǎn)對(duì)作為參數(shù)，利用最小二乘法重新估計(jì)單應(yīng)性矩陣，最終通過魯棒迭代優(yōu)化重新計(jì)算更多內(nèi)點(diǎn)直至內(nèi)點(diǎn)收斂。實(shí)驗(yàn)結(jié)果表明，所提出的算法使得直線邊緣維持直線化，同時(shí)拼接精度得到提高。

SIFT特征匹配；RANSAC魯棒估計(jì)；最小二乘估計(jì)；迭代優(yōu)化

1 引言

圖像拼接技術(shù)是依賴采集的重疊圖像集合，利用計(jì)算機(jī)視覺進(jìn)行圖像間的相互匹配，并將其拼接成無縫高分辨率圖像的過程。其本質(zhì)是獲取最優(yōu)坐標(biāo)空間映射的單應(yīng)性矩陣，對(duì)待拼接圖像進(jìn)行空間幾何變換，使得位于不同視點(diǎn)下的圖像公共區(qū)域相互匹配，實(shí)現(xiàn)圖像公共區(qū)域相互重疊和非公共區(qū)域相互拼接?，F(xiàn)今，圖像拼接技術(shù)已經(jīng)成為計(jì)算機(jī)視覺的研究熱點(diǎn)，并被廣泛應(yīng)用到遙感圖像處理、醫(yī)學(xué)圖像處理、超分辨率圖像重構(gòu)等領(lǐng)域。

圖像匹配是指通過匹配算法識(shí)別兩幅或多幅圖像間的同名點(diǎn)，其是實(shí)現(xiàn)圖像拼接的關(guān)鍵和核心，可劃分為區(qū)域匹配［1，2］和特征匹配［3～5］。區(qū)域匹配利用區(qū)域統(tǒng)計(jì)量的相似性度量來實(shí)現(xiàn)圖像匹配，但其不能實(shí)現(xiàn)校正圖像形變，且域搜索的運(yùn)算量較大，特征匹配利用提取不變性特征來估計(jì)圖像匹配，其依據(jù)不變性特征間的匹配關(guān)系來建立圖像間的映射關(guān)系，因而大大減少了算法的復(fù)雜度，但其關(guān)鍵在于如何有效提高匹配質(zhì)量。

特征匹配是指通過提取圖像的特征和對(duì)特征進(jìn)行參數(shù)描述，再運(yùn)用描述參數(shù)來進(jìn)行匹配的過程。文獻(xiàn)［3］提出了依據(jù)不變特征實(shí)現(xiàn)全景圖像自動(dòng)拼接，而對(duì)于近景圖像拼接直線部分會(huì)產(chǎn)生曲線化；文獻(xiàn)［4，5］針對(duì)空間變換簡(jiǎn)單的眼底圖像進(jìn)行圖像拼接，圖像不存在大幅度的旋轉(zhuǎn)變換和尺度變換，僅依據(jù)MLESAC算法進(jìn)行剔除，難以得到精度較高的圖像拼接；文獻(xiàn)［6］給出了利用圓柱拼接算法來實(shí)現(xiàn)的柱面全景圖拼接，然而柱面拼接會(huì)導(dǎo)致圖像發(fā)生畸變，使得圖像中的直線變化為曲線，不適用于矩形度檢測(cè)等場(chǎng)合。

鑒于圖像拼接保持直線化和提高精度的需要，本文提出了一種基于魯棒迭代優(yōu)化的圖像拼接算法。通 過 SIFT（Scale-Invariant Feature Transform)特征匹配算法提取初始匹配點(diǎn)對(duì)，依據(jù)RANSAC（Random Sample Consensus)算法估計(jì)單應(yīng)性矩陣獲取內(nèi)點(diǎn)，用以剔除匹配過程中的誤匹配點(diǎn)對(duì)，再參照內(nèi)點(diǎn)利用最小二乘法來重新估計(jì)單應(yīng)性矩陣，采用迭代優(yōu)化重新計(jì)算內(nèi)點(diǎn)，重復(fù)循環(huán)直至內(nèi)點(diǎn)數(shù)目收斂，從而最終獲取圖像拼接的映射關(guān)系。

2 SIFT特征匹配

在采集拼接圖像過程中，圖像存在旋轉(zhuǎn)變換和尺度變換，使得傳統(tǒng)信息匹配和角點(diǎn)匹配難于適用，而 SIFT 特征提取［7，8］具有光照、尺度、旋轉(zhuǎn)不變性，且穩(wěn)定性較好，從而適用于拼接圖像的旋轉(zhuǎn)變化和尺度變化。

SIFT算法主要包含以下步驟：（1)建立DoG尺度空間，搜索該空間下的極值；（2)依據(jù)DoG空間極值，精確定位其位置和尺度；（3)計(jì)算關(guān)鍵點(diǎn)梯度直方圖，確定其主方向；（4)利用梯度直方圖，生成特征描述子。

SIFT特征提取完成后，需要依賴特征描述確定匹配點(diǎn)對(duì)。通常采用特征描述的歐氏距離作為相似性度量，取基準(zhǔn)圖像的某個(gè)SIFT基準(zhǔn)點(diǎn)，利用kd-樹在待匹配圖像中搜索最近鄰和次近代匹配點(diǎn)，若最近距離除以次近距離小于某個(gè)閾值，則接受該匹配點(diǎn)對(duì)。

3 射影變換

射影變換［9］描述著空間坐標(biāo)點(diǎn)在不同坐標(biāo)系下的投影映射關(guān)系，設(shè)基準(zhǔn)圖像中點(diǎn)x和待匹配圖像中點(diǎn)x′為同一空間坐標(biāo)點(diǎn)，則存在單應(yīng)性矩陣H 滿足式（1)：

矢量x′和矢量Hx相互平行，則有式（2)：

基準(zhǔn)圖像的基準(zhǔn)點(diǎn)到待匹配圖像的映射關(guān)系如式（3)所示：

單應(yīng)性矩陣H的自由度為8，則有：

其中，h為H的前八個(gè)元素組成的八維矢量，i＝1，…，4。

4 圖像拼接

4.1 RANSAC魯棒估計(jì)

設(shè)經(jīng)SIFT特征匹配獲取的匹配點(diǎn)對(duì)數(shù)目為N，匹配點(diǎn)對(duì)為xi和，則依據(jù)代價(jià)函數(shù)Jr值最優(yōu)來估計(jì)單應(yīng)性矩陣H，如式（5)所示：

RANSAC魯棒估計(jì)［9］步驟如下：

（1)隨機(jī)從N對(duì)SIFT特征匹配點(diǎn)對(duì)中選取四對(duì)匹配點(diǎn)對(duì)，并以此作為參數(shù)依據(jù)式（4)求取單應(yīng)性矩陣H。

（2)利用單應(yīng)性矩陣H將N 對(duì)匹配點(diǎn)對(duì)xi和分別映射到對(duì)方空間中，依據(jù)式（5)計(jì)算代價(jià)函數(shù)Jr值。

（3)修正循環(huán)變量Count，當(dāng)Count為正時(shí)，重復(fù)（1)～ （3)。其中，Count＝log（1－p)/log（1－（1－ε)s)，p＝0.99，1－ε表示內(nèi)點(diǎn)概率，ε表示野值概率。

（4)選取代價(jià)函數(shù)Jr值最小的單應(yīng)性矩陣H作為RANSAC映射矩陣Hr，并由式（6)和式（7)依據(jù)歐氏距離dist判別xi和為內(nèi)點(diǎn)或野值，其中內(nèi)點(diǎn)數(shù)目為M，則野值數(shù)目為N－M。

4.2 最小二乘估計(jì)

經(jīng)RANSAC算法獲取的單應(yīng)性矩陣Hr，僅由4個(gè)匹配點(diǎn)對(duì)其進(jìn)行描述，使其精度難以達(dá)到可靠保證，在此希望依據(jù)RANSAC算法獲取的內(nèi)點(diǎn)，利用最小二乘法來重新估計(jì)LS映射矩陣Hl。

依據(jù)式（4)變換可得式（8)：

依據(jù)M個(gè)內(nèi)點(diǎn)對(duì)應(yīng)的代價(jià)函數(shù)Jl值最優(yōu)來增強(qiáng)估計(jì)單應(yīng)性矩陣Hl，如式（9)和式（10)所示。

4.3 魯棒迭代優(yōu)化

經(jīng)最小二乘估計(jì)獲取的單應(yīng)性矩陣Hl，在此希望獲取更多的內(nèi)點(diǎn)使得估計(jì)精度更高，考慮利用單應(yīng)性矩陣Hl重新計(jì)算內(nèi)點(diǎn)數(shù)目，并重復(fù)該循環(huán)直至內(nèi)點(diǎn)數(shù)目收斂。

魯棒迭代優(yōu)化步驟如下：

（1)依據(jù)RANSAC魯棒估計(jì)獲取RANSAC映 射矩陣，并據(jù)此計(jì)算內(nèi)點(diǎn)數(shù)目M（0)；

（2)依賴 M（i－1)內(nèi)點(diǎn)坐標(biāo)利用最小二乘估計(jì)獲取LS映射矩陣，并據(jù)此重新計(jì)算內(nèi)點(diǎn)數(shù)目M（i)；

（3)判別 M（i)＞，若該式成立，重復(fù)（2)～（3)，否則結(jié)束循環(huán)，并以作為最終的單應(yīng)性矩陣。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 近距場(chǎng)景

近距場(chǎng)景圖像包含旋轉(zhuǎn)變換和尺度變換，以幾本相互平行的書置于實(shí)驗(yàn)臺(tái)上，離攝像機(jī)鏡頭較遠(yuǎn)的書變形較強(qiáng)，如圖1a和圖1b所示，以書和實(shí)驗(yàn)臺(tái)的邊緣保持線形為要求，進(jìn)而依據(jù)本文算法實(shí)現(xiàn)圖像拼接。

近距場(chǎng)景圖像經(jīng)由SIFT特征匹配，獲取97對(duì)初始匹配點(diǎn)對(duì)，如圖1c所示；通過RANSAC魯棒估計(jì)，獲取62對(duì)內(nèi)點(diǎn)匹配點(diǎn)對(duì)，如圖1d所示；經(jīng)過最小二乘估計(jì)，獲取LS映射矩陣進(jìn)行圖像拼接，如圖1e所示；經(jīng)過三次迭代優(yōu)化，獲取74對(duì)內(nèi)點(diǎn)匹配點(diǎn)對(duì)，獲取LS映射矩陣進(jìn)行圖像拼接，如圖1f所示。

Figure 1 Close shot experiment圖1 近距場(chǎng)景實(shí)驗(yàn)

從實(shí)驗(yàn)結(jié)果可以看出，圖1a經(jīng)單應(yīng)性變換后，書與實(shí)驗(yàn)臺(tái)能較好地保持直線不畸變，書矩形度恢復(fù)情況表現(xiàn)較好，同時(shí)拼接交界處能夠?qū)崿F(xiàn)無縫拼接，隨著迭代次數(shù)增加，內(nèi)點(diǎn)數(shù)目逐步增加，拼接效果逐步增強(qiáng)，如圖1e、圖1f和圖2所示。

Figure 3 Distant view experiment圖3 遠(yuǎn)距場(chǎng)景實(shí)驗(yàn)

Figure 2 Relation of inner points number and iterations圖2 內(nèi)點(diǎn)數(shù)目與迭代次數(shù)變化關(guān)系

5.2 遠(yuǎn)距場(chǎng)景

遠(yuǎn)距場(chǎng)景圖像包含旋轉(zhuǎn)變換和尺度變換，包含遠(yuǎn)處建筑、湖面和山體，離攝像機(jī)鏡頭較遠(yuǎn)場(chǎng)景幾何變換較為簡(jiǎn)單，如圖3a所示。

遠(yuǎn)距場(chǎng)景的實(shí)驗(yàn)過程與近距場(chǎng)景基本一致，依據(jù)各幅圖像的匹配區(qū)域進(jìn)行拼接，此處以第二幅圖像為拼接中心，其他圖像參照第二幅圖像進(jìn)行拼接。從實(shí)驗(yàn)結(jié)果可以看出，距離拼接中心較近的圖像在拼接過程中變形相對(duì)較小，各幅圖像基本實(shí)現(xiàn)無縫拼接，整合為一幅高分辨率圖像。

6 結(jié)束語

本文應(yīng)用魯棒迭代優(yōu)化方法對(duì)存在旋轉(zhuǎn)和尺度變換的圖像進(jìn)行拼接，采用SIFT特征匹配算法提取匹配點(diǎn)對(duì)；依賴RANSAC魯棒算法估計(jì)單應(yīng)性矩陣；并據(jù)此獲取精確內(nèi)點(diǎn)匹配點(diǎn)對(duì)，依照內(nèi)點(diǎn)匹配點(diǎn)對(duì)作為參數(shù)，利用最小二乘法重新估計(jì)單應(yīng)性矩陣，再依據(jù)魯棒迭代優(yōu)化重新計(jì)算更多內(nèi)點(diǎn)直至內(nèi)點(diǎn)收斂。實(shí)驗(yàn)結(jié)果表明，在近距場(chǎng)景和遠(yuǎn)距場(chǎng)景圖像拼接過程中，本文方法均能得到較為滿意的拼接結(jié)果。

［1］ Wolberg G，Zokai S.Robust image registration using log－polar transform［C］∥Proc of IEEE International Conference on Image Processing，2000：493-496.

［2］ Viola P，Willian M.Alignment by maximization of mutual information［J］.International Journal of Computer Vision，1997，24（2)：137-154.

［3］ Brown M，Lowe D G.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，74（1)：59-73.

［4］ Wang Yu-liang，Shen Jian-xin，Liao Wen-he，et al.Automatic fundus images mosaic based on SIFT feature［C］∥Proc of the 3rd International Congress on Image and Processing，2011：2747-2751.

［5］ Wang Yu-liang，Shen Jian-xin，Liao Wen-he.Automatic fundus images registration and mosaic based on SIFT feature［J］.Journal of Nanjing University of Aeronautics ＆ Astro-nautics，2011，43（2)：222-228.（in Chinese)

［6］ Shum H，Szeliski R.Panoramic image mosaics［R］.Redmond：Microsoft Research，2001：1-50.

［7］ Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2)：91-110.

［8］ Beis J S，Lowe D G.Shape indexing using approximate nearest-neighbour search in high-dimensional spaces［C］∥Proc of IEEE 1997Computer Society Conference on Computer Vision and Pattern Recognition，1997：1000-1006.

［9］ Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.UK：Cambridge University Press，2000.

附中文參考文獻(xiàn)：

［5］ 王玉亮，沈建新，廖文和.基于尺度不變特征的眼底圖像自動(dòng)配準(zhǔn)與拼接［J］.南京航空航天大學(xué)學(xué)報(bào)，2011，43（2)：222-228.

Image mosaic based on robust iterative optimization

DU Pei-ming1，XING Shuo1，2
（1.School of Electrical Engineering ＆Information，Anhui University of Technology，Ma’anshan 243032；2.School of Electrical Engineering，Tongling University，Tongling 244061，China)

Aiming at the requirements of keeping edges in a straight line and improving the mosaic precision，an image mosaic algorithm based on robust iterative optimization is proposed.Firstly，SIFT feature matching algorithm is employed to extract features with invariance.Secondly，inlier matching points are obtained accurately through the homography matrix that is estimated according to RANSAC robust algorithm.Thirdly，the homography matrix is re-estimated utilizing least square method by treating inliers as parameters.Finally，more inliers are recomputed until converge based on robust iterative optimization.Experimental results show that，with the proposed method，edges are maintained as a straight line and the precision of image mosaic is greatly improved.

SIFT feature matching；RANSAC robust estimation；least-squares estimation；iterative optimization

TP391.41

A

10.3969/j.issn.1007-130X.2014.04.029

2012-10-24；

2013-01-21

通訊地址：244061安徽省銅陵市銅陵學(xué)院電氣工程學(xué)院

Address：School of Electrical Engineering，Tongling University，Tongling 244061，Anhui，P.R.China

1007-130X（2014)04-0741-05

杜培明（1964-)，男，安徽馬鞍山人，副教授，研究方向?yàn)閳D像處理。E-mail：dpm1717＠ahut.edu.cn

DU Pei-ming，born in 1964，associate professor，his research interest includes image processing.