楊春德 成燕菲

摘 要：針對圖像拼接存在色差過渡不均勻、圖像傾斜扭曲及拼接效率低的現(xiàn)象，提出一種基于拼接縫自適應消除和全景圖矯直的快速圖像拼接算法。首先，用尺度不變特征變換（SIFT）提取圖像指定區(qū)域特征點并用雙向K近鄰（KNN）算法進行圖像配準，有效提高算法效率;其次，利用動態(tài)規(guī)劃思想提出自適應公式找到最優(yōu)拼接縫并用圖像融合算法對其自適應消除，解決拼接縫色差過渡不均勻問題;最后，針對累積拼接誤差形成全景圖傾斜的現(xiàn)象，利用邊緣檢測算法提出自適應擬合四邊形矯直模型，把原始全景圖矯直為一個全新的全景圖。所提算法與分塊圖像拼接和二叉樹圖像拼接算法相比，圖像質(zhì)量提升了5.84%～7.83%，拼接時間僅為原來的50%～70%。

實驗結(jié)果表明，該算法不僅通過自適應更新機制減少不同圖像背景下拼接縫色差過渡不均勻的現(xiàn)象，從而提高了圖像質(zhì)量;而且提高了拼接效率，降低了全景圖傾斜扭曲程度。

關鍵詞： 尺度不變特征變換;最優(yōu)拼接縫;圖像融合;自適應消除;圖像矯直

中圖分類號：TP391.41

文獻標志碼：A

Abstract：Aiming at the phenomenon that image mosaic， to a certain extent， has uneven chromatic aberration， distortion and low efficiency， an adaptive elimination of image stitching seam and panorama alignment based fast image mosaic algorithm was proposed. Firstly， the Scale-Invariant Feature Transform （SIFT） was used to extract feature points of the specified area of the image and image registration was performed by using bidirectional K-Nearest Neighbor （KNN） algorithm， effectively improving the algorithm efficiency. Secondly， focusing on the uneven chromatic aberration transition of stitching seam， an adaptive formula for finding the optimal stitching seam was proposed based on dynamic programming， and then the seam was adaptively eliminated by image fusion. Finally， for the phenomenon of panoramic tilt caused by accumlated stitching error， an adaptive fitting quadrilateral alignment model based on edge detection algorithm was proposed to make the original panorama into a completely new panorama. Compared with the image mosaic algorithm based on block and the image mosaic algorithm based on binary tree， the proposed algorithm has the image quality improved by 5.84%-7.83% and the stitching time shortened to only 50%-70% of the original. Experimental? results show that the proposed algorithm not only reduces the unevenness of chromatic aberration transition of stitching seam in different image backgrounds through adaptive update mechanism， so as to improve the image quality， but also increases the stitching efficiency and reduces the distortion degree of panorama.

Key words：? Scale-Invariant Feature Transform （SIFT）; optimal stitching seam; image fusion; adaptive elimination; image alignment

0 引言

圖像拼接技術(shù)[1]是將同一場景下數(shù)幅有序且有重復區(qū)域的圖像拼接成一幅全景圖，在無人機航拍、遙感圖像等領域應用廣泛。圖像拼接一般分為特征提取、圖像配準和圖像融合三個部分。

目前，在圖像處理領域，國內(nèi)外專家都做了大量的研究。其中，鄭悅等[2]提出鄰域最短距離法尋找最佳拼接縫算法，仍沒能解決拼接縫兩側(cè)過渡不均的問題;Wei等[3]提出快速多波段融合算法，實現(xiàn)對高空間低光譜分辨率圖像和低空間高光譜分辨率圖像的融合，仍存在拼接縫明顯問題;Tong等[4]提出基于剪切和小波變換的異構(gòu)傳感器網(wǎng)絡壓縮感知圖像融合算法，可以在低采樣率下獲得理想融合結(jié)果;Laraqui等[5]提出應用于圖像拼接的多尺度圖像預處理算法，可以校正圖像之間的尺度差異，以減少異常值和對齊誤差;鄒佳彬等[6]提出的基于提升靜態(tài)小波變換與聯(lián)合結(jié)構(gòu)組稀疏表示的多聚焦圖像融合算法，可以較好保留圖像的紋理與邊緣等細節(jié)信息，融合圖像效果比較好。

本文為提高圖像質(zhì)量和拼接效率，同時降低圖像扭曲誤差，提出一種基于最優(yōu)拼接縫自適應消除和全景圖矯直的快速圖像拼接算法。

該算法改進了SIFT（Scale Invariant Feature Transform， SIFT）算法[7]，只提取圖像指定區(qū)域的特征，并使用雙向K近鄰（K-Nearest Neighbor， KNN）算法剔除誤匹配特征點，完成圖像配準;然后，在圖像重疊區(qū)域運用動態(tài)規(guī)劃思想尋找最優(yōu)拼接縫，再對最優(yōu)拼接縫限定區(qū)域進行多分辨率拉普拉斯融合;最后，建立自適應擬合四邊形矯直模型，可以自適應地對全景圖進行誤差矯直，有效消除扭曲現(xiàn)象，完成圖像拼接。

1 圖像配準

特征配準是兩幅含有重疊區(qū)域圖像的特征點進行配準，首先要提取特征點。傳統(tǒng)SIFT算法提取特征點由四個關鍵步驟組成：尺度空間極值檢測[8];定位關鍵點;確定關鍵點方向;生成特征描述子?；趥鹘y(tǒng)SIFT算法因提取整幅圖像特征導致算法計算量大，并易造成后續(xù)匹配錯誤和計算冗余。本文改進SIFT算法，在尺度空間進行極值檢測時，以數(shù)像素點的方式只檢測圖像指定區(qū)域特征點，縮短圖像檢測范圍，在保證特征提取準確度的同時，有效提高時間效率。

SIFT特征提取后，分別對參考圖像和目標圖像建立K-D樹（K-Dimensional Tree），并分別取其中一個為參考進行KNN匹配，提取兩次匹配操作的公共匹配對作為初始匹配。獲得初始匹配結(jié)果后，采用隨機采樣一致性（RANdom SAmple Consensus， RANSAC）算法[9-10]剔除外點，保留內(nèi)點，降低誤匹配率，并估算圖像之間的仿射變換矩陣。初始匹配得到的匹配對中隨機選取a對點對集合，θ′為圖像旋轉(zhuǎn)角度，u、v為圖像沿x軸與y軸方向的水平位移。經(jīng)過多次迭代，估算出矩陣模型H的參數(shù)，如式（3）：

2 最優(yōu)拼接縫的自適應消除圖像融合

傳統(tǒng)的圖像融合算法對配準后的多幅有序圖像直接融合，會產(chǎn)生十分明顯的拼接縫并且出現(xiàn)色差過渡不連續(xù)和偽影的現(xiàn)象[11-12]。因此，本文提出一種最優(yōu)拼接縫自適應消除的圖像融合算法。

尋找最優(yōu)拼接縫[13]的常用算法有狄克斯特拉算法、貪婪算法等。這些算法不能自適應地應用于各種場景，并且時間復雜度較高無法滿足實時拼接的需求。本文提出一種基于動態(tài)規(guī)劃思想尋找最優(yōu)拼接縫的算法，可以有效解決這個問題。本文算法核心是掃描圖像重疊區(qū)域的像素信息，找到每行像素點在重疊部分圖像色差最小且結(jié)構(gòu)與周圍像素點最相似的位置，即計算當前像素點的能量值是否為每行像素點的最小值。能量值的取值與重疊部分圖像的色差和紋理差有關。這些位置的像素點集合，就是要找的最優(yōu)拼接縫。

找到最優(yōu)拼接縫后對待拼接圖像直接拼接，會出現(xiàn)拼接縫的痕跡。為了消除拼接縫，需要對拼接圖像進行圖像融合。本文使用改進的最優(yōu)拼接縫拉普拉斯圖像融合算法，對融合區(qū)域ξ進行限制，消除偽影和拼接縫，提高融合效率和圖像質(zhì)量。

圖像融合前首先建立拼接縫圖像的權(quán)值圖像IL，拼接縫左側(cè)用像素值255填充，右側(cè)用像素值0填充，如圖5所示。然后求出最優(yōu)拼接縫最小外接矩形左邊界xmin和右邊界xmax。取一個最優(yōu)拼接縫的外接矩形L，使其左邊界為xmin-ξ，右邊界為xmin+ξ。圖像融合的具體步驟如下：首先，對目標圖像和配準后的參考圖像擴充至權(quán)值圖像IL大小并限定融合區(qū)域;其次，對融合圖像限定區(qū)域進行拉普拉斯分解，獲得拉普拉斯金字塔;接著，對權(quán)值圖像IL采用高斯擴展處理，使最優(yōu)拼接縫處像素值從255到0緩慢過渡，進行平滑處理;最后，根據(jù)融合準則對分解的拉普拉斯金字塔對應的層進行融合，再進行重構(gòu)，得到最終的融合圖像。

3 圖像矯直

圖像的采集和配準過程存在不可避免的扭曲誤差現(xiàn)象[16]。因此，本文提出一個自適應擬合四邊形矯直模型，對拼接后全景圖進行自適應矯直，降低全景圖的扭曲程度。

本文使用Canny邊緣檢測算法[17]檢測全景圖二值圖像輪廓。該算法基于梯度，可以精確定位邊沿位置。通過沿幅角方向檢測模值的極大值點，即邊緣點，置像素灰度值為0，使邊沿非常細。Canny算法使用雙閾值檢測，一個較小閾值會保留很多邊沿，其中一部分是沒有用的，而一個較大閾值則會保留主要的邊沿，同時也可能會丟失一些邊沿信息，Canny邊緣檢測算法一定程度上可以克服這類困難。

將提取的邊緣擬合成四條直線，形成一個近似四邊形，如圖8（a）是基于圖7（b）全景圖擬合的四邊形。設θ是圖像矯直角度，θi（i=1，2）是擬合四邊形中兩條水平向邊的傾斜角度，li.x、li.y是兩條水平向邊上的任意一點坐標值。θ的取值為：

本文具體算法步驟如下：

輸入 有重疊區(qū)域的有序圖像序列S（S1，S2，…，SN）。

輸出 一幅拼接并矯直的全景圖。

步驟1 針對拼接圖像Si和Si+1（i∈[1，N-1]），圖像配準。

1）判斷相鄰圖像是目標圖像還是參考圖像，并確定m的取值0.4j，得到限定區(qū)域[i，m]。

2）對限定區(qū)域提取特征點，使用雙向KNN算法，計算歐氏距離，將初始匹配特征點集合和數(shù)目保存在數(shù)組FeatureSet和NumF中。

3）使用RANSAC算法剔除誤匹配后，計算Si和Si+1之間的仿變換模型，保存在數(shù)組HF中。

4）返回步驟1）繼續(xù)下一組相鄰圖像的圖像配準，直到完成所有圖像序列間的配準為止。

步驟2 根據(jù)數(shù)組HF通過式（3）計算仿射變換矩陣H，使目標圖像與參考圖像在相同坐標系下。

步驟3 利用式（4）找到最優(yōu)拼接縫并使用多分辨率拉普拉斯融合算法進行圖像融合。

步驟4 轉(zhuǎn)到步驟2執(zhí)行下一幅圖像拼接直到圖像序列S只有一幅圖像為止。

步驟5 對拼接后全景圖使用邊緣檢測算法，并利用式（11）和（12）對全景圖進行矯直，得到矯直后的全景圖。

算法流程如圖9所示。

4 實驗與結(jié)果分析

4.1 主觀評價

本文算法對多個場景圖像進行圖像拼接和矯直實驗，實驗在CPU為Intel i5處理器、內(nèi)存為4GB的Windows 7系統(tǒng)下完成，實驗環(huán)境是Visual Studio （OpenCV 2.4.9）。實驗中的參數(shù)a=3。

圖11（a）、圖13（a）和15（a）是基于分塊圖像拼接算法的結(jié)果[18]，圖11（b）、13（b）和15（b）是基于二叉樹圖像拼接算法的結(jié)果[19]，圖11（c）、13（c）和15（c）是本文改進算法的拼接結(jié)果。從圖11的實線方框以及放大細節(jié)圖中的實線圓框可以明顯看出，其他兩種算法得到的拼接圖像仍存在明顯的拼接痕跡，甚至出現(xiàn)圖像扭曲、失真的現(xiàn)象，而本文算法對拼接縫周圍的色差過渡有顯著效果。因此，從視覺上明顯看出，本文算法得到的全景圖更能夠滿足人們對圖像的視覺要求。

4.2 實驗參數(shù)及客觀評價

為了更客觀地反映本文算法的優(yōu)越性，通過計算圖像的統(tǒng)計參數(shù)獲得相對客觀的量化指標，對圖像拼接算法進行客觀評價[20-21]。

全景圖扭曲程度越大，全景圖中無用黑色像素隨之增多，信息比參數(shù)越小。

要使式（8）中的函數(shù)在[0，2]以α*ij（β*ij）=1為對稱軸，就要使式（8）中的參數(shù)p1=4， p2=4，如圖4所示。同時，經(jīng)過多次實驗，參數(shù)k1=1.8、k2=1.7時圖像清晰度最好，結(jié)果對比如表1所示

從表2可明顯看出，本文算法在全景圖的清晰度、傾斜角度和信息比方面都有較為明顯的進步，

而且隨著圖像數(shù)據(jù)集的增加，

這些優(yōu)勢會越明顯。在本文圖像數(shù)據(jù)集中，與基于分塊的圖像拼接算法和基于二叉樹的圖像拼接算法對比，清晰度比前者平均提高7.83%，比后者平均提高5.84%;傾斜度比前者平均降低1.57°，比后者平均提稿1.14°;信息比比前者平均提升2.54%，比后者平均提高2.87%。因此，本文的拼接算法改善了圖像拼接中的扭曲現(xiàn)象，同時提高了拼接后全景圖的質(zhì)量。

本文算法的運行時間由三個階段組成：

圖像配準、圖像融合和圖像矯直。由式（2）可知，圖像配準的時間效率λ與圖像分辨率和限定提取特征的區(qū)域參數(shù)m有關;由式（10）以及融合范圍可知，圖像融合的時間效率與圖像分辨率和限定融合范圍參數(shù)ξ有關;由式（11）和（12）可知，圖像矯直的時間效率與全景圖分辨率有關。因此，本文算法的時間效率是由圖像

分辨率以及參數(shù)m和ξ決定的，ξ的經(jīng)驗閾值為30。而本文算

法是與其他兩種算法的時間進行比對，因此，針對同樣的圖像數(shù)據(jù)集，圖像分辨率的因素不考慮在內(nèi)，m的取值在參考了黃金分割比0.618以及對本文圖像數(shù)據(jù)集的分析，考慮m的取值范圍在0.35j～0.55j，經(jīng)過多次實驗，取得最優(yōu)經(jīng)驗閾值0.4j，實驗效果最好，見表3。同時，通過式（2）計算得到的λ可知，配準算法的時間可以縮短近60%。圖16是本文算法與其他兩種對比算法的時間對比。

從表3可以看到，雖然提取整幅圖像的SIFT特征點個數(shù)比較多，但對比提取指定區(qū)域圖像的SIFT特征點，它們的匹配對數(shù)是相似的，但時間花銷明顯少很多，甚至經(jīng)過RANSAC剔除誤匹配后本文算法的匹配率更高，平均在87%左右。結(jié)合圖16的全景圖拼接時間的對比，可以明顯看出，雖然本文算法的圖像融合時間對比其他算法會有小幅度增加，但圖像配準的時間在拼接算法中的時間占比是最重的。因此，本文算法比傳統(tǒng)的SIFT特征匹配方法具有更強的魯棒性。拼接算法消耗的時間是分塊圖像拼接算法的70%，是二叉樹圖像拼接算法的50%。

5 結(jié)語

在傳統(tǒng)的圖像拼接算法基礎上，本文算法首先限定了SIFT特征的提取區(qū)域，在保證特征匹配準確率的同時，大幅縮短了算法的時間。同時，在此基礎上提出了基于最優(yōu)拼接縫的自適應消除圖像融合算法，通過提出的自適應能量公式找到最優(yōu)拼接縫并進行消除，有效地解決了偽影以及模糊像素點導致的色差問題。最后，對拼接后的全景圖進行擬合四邊形矯直，進一步改善圖像失真問題。實驗結(jié)果表明，本文算法有效提高了圖像拼接質(zhì)量和圖像清晰度，有效保留了全景圖信息;同時，提高了算法效率，實現(xiàn)了序列圖像快速拼接。

參考文獻（References）

[1] ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces[C]// Proceedings of the 24th British Machine Vision Conference. Durham： BMVA Press， 2013： 1-11.

[2] 鄭悅， 程紅， 孫文邦. 鄰域最短距離法尋找最佳拼接縫[J]. 中國圖象圖形學報， 2014， 19（2）： 227-233. （ZHENG Y， CHENG H， SUN W B. Finding an optimal seam-line through the shorted distance in the neighborhood[J]. Journal of Image and Graphics， 2014， 19（2）： 227-233.）

[3] WEI Q， DOBIGEON N， TOURNERET J. Fast fusion of multi-band images based on solving a Sylvester equation[J]. IEEE Transactions on Image Processing， 2015， 24（11）： 4109-4119.

[4] TONG Y， CHEN J. Compressive sensing image fusion in heterogeneous sensor networks based on shearlet and wavelet transform[J]. EURASIP Journal on Wireless Communications and Networking， 2017， 2017： 52.

[5] LARAQUI A， SAAIDI A， SATORI K. MSIP： multi-scale image pre-processing method applied in image mosaic[J]. Multimedia Tools and Applications， 2018， 77（6）： 7517-7537.

[6] 鄒佳彬， 孫偉. 基于提升靜態(tài)小波變換與聯(lián)合結(jié)構(gòu)組稀疏表示的多聚焦圖像融合[J]. 計算機應用， 2018， 38（3）： 859-865. （ZOU J B， SUN W. Multi-focus image fusion based on lifting stationary wavelet transform and joint structural group sparse representation[J]. Journal of Computer Applications， 2018， 38（3）： 859-865.）

[7] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision 2007， 74（1）： 59-73.

[8] MIKOLAJCZYK K， SCHMID C. An affine invariant interest point detector[C]// Proceedings of the 2002 European Conference on Computer Vision， LNCS 2350. Berlin： Springer， 2002： 128-142.

[9] FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM 1981， 24（6）： 381-395.

[10] WAINE M， ROSSA C， SLOBODA R， et al. 3D shape visualization of curved needles in tissue from 2D ultrasound images using RANSAC[C]// Proceedings of the 2015 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2015： 4723-4728.

[11] TANG Y， SHIN J， LIAO H C. De-ghosting method for image stitching[J]. International Journal of Digital Content Technology & Its Applications， 2012， 6： 17-24.

[12] ZHANG B， LIU Q， IKENAGA T. Ghost-free high dynamic range imaging via moving objects detection and extension[C]// Proceedings of the 2015 Asia-Pacific Signal and Information Processing Association Summit and Conference. Piscataway： IEEE， 2015： 459-462.

[13] HUANG C， LIN S， CHEN J. Efficient image stitching of continuous image sequence with image and seam selections[J]. IEEE Sensors Journal， 2015， 15（10）： 5910-5918.

[14] 方賢勇， 潘志庚， 徐丹. 圖像拼接的改進算法[J]. 計算機輔助設計與圖形學學報， 2003， 15（11）： 1362-1365. （FANG X Y， PAN Z G， XU D. An improved algorithm for image mosaics[J]. Journal of Computer-Aided Design & Computer Graphics， 2003， 15（1）： 1362-1365.）

[15] AHONEN T， HADID A， PIETIKINEN M. Face recognition with local binary patterns[C]// Proceedings of the 2004 European Conference on Computer Vision， LNCS 3021. Berlin： Springer， 2004： 469-481.

[16] CHOI H C， AHN B H. Image alignment by parameter hypersurface learning[J]. Electronics Letters， 2016， 52（18）： 1526-1527.

[17] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， 8（6）： 679-698.

[18] QU Z， WANG T， AN S Q， et al. Image seamless stitching and straightening based on image block[J]. IET Image Processing， 2018， 12（8）： 1361-1369.

[19] QU Z， WEI X， CHEN S. An algorithm of image mosaic based on binary tree and eliminating distortion error[J].? PLoS One， 2019， 14（1）： e0210354.

[20] 張小利， 李雄飛， 李軍. 融合圖像質(zhì)量評價指標的相關性分析及性能評估[J]. 自動化學報， 2014， 40（2）： 306-315. （ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]. Acta Automatica Sinica， 2014， 40（2）： 306-315.）

[21] 黃學優(yōu)， 張長江. 雙樹復小波域的MRI圖像去噪[J]. 中國圖象圖形學報， 2016， 21（1）： 104-113. （HUANG X Y， ZHANG C J. MRI denoising based on dual-tree complex wavelet transform[J]. Journal of Image and Graphics， 2016， 21（1）： 104-113.）