劉 杰，游品鴻，田 明，劉金鳳

（1. 哈爾濱理工大學(xué)測控技術(shù)與通信工程學(xué)院，黑龍江哈爾濱 150080；2. 中國電信黑龍江省分公司，黑龍江哈爾濱 150080）

1 引言

圖像拼接是將多幅圖像的重合部分合并成具有較寬視野的大場景圖像的過程. 它被廣泛地應(yīng)用在無人機［1，2］、圖像遙感［3］、3D 重建［4］和VR［5］圖像等重要的領(lǐng)域，因此以高效的方式生成高質(zhì)量的拼接圖像是至關(guān)重要的.

傳統(tǒng)的拼接算法是基于尺度不變特征（Scale In?variable Feature Transform，SIFT）［6］對圖像進行全局變換的. Brown 等人［7］提出的AutoStitch 基于SIFT 算法進行圖像的特征點提取，通過兩幅圖像之間的單應(yīng)性矩陣對圖像進行對齊，但該方法對具有視差的圖像會出現(xiàn)偽影的情況. 為了獲得更高的拼接質(zhì)量，全局變換已不能滿足環(huán)境比較復(fù)雜的場合的需求. 徐弘禎等人［8］通過RANSAC（RANdom SAmple Consensus）與LM（Levenberg-Marquardt）算法相結(jié)合的方式進行誤匹配點的剔除，提高了圖像拼接的質(zhì)量，缺點是不能多角度地獲取圖像數(shù)據(jù)和局部誤匹配異常值的去除，因此該算法受到的約束較多.Zaragoza 等人［9］提出的逼近投影變換（As-Projective-As-Possible warp，APAP）在重合區(qū)域使用局部投影變形的同時，引入了局部線性變換方法消除圖像之間的不正確數(shù)據(jù)匹配，提高重合部分匹配的準確率，但是APAP 算法采用局部投影結(jié)合全局投影進行對齊，這樣的結(jié)果會導(dǎo)致非重合區(qū)域的變形，即拼接圖像的一部分會出現(xiàn)不均勻的拉伸. 趙春暉等人［10］采用歸一化互相關(guān)函數(shù)在網(wǎng)格的框架下對匹配點位置進行約束求解，其結(jié)果提高了匹配的準確率，但沒有考慮非重合區(qū)域可能出現(xiàn)的失真或扭曲的情況.

針對上述問題導(dǎo)致圖像拼接出現(xiàn)局部的圖像扭曲的現(xiàn)象，本文提出了一種基于局部投影的視差圖像拼接的平滑優(yōu)化算法. 該算法通過局部保留結(jié)構(gòu)對提取的特征點進行匹配，將匹配的特征點進行投影矩陣計算和圖像拼接，對重合區(qū)域計算最優(yōu)投影矩陣，利用符合要求的投影矩陣進行圖像拼接，在對齊拼接完成后，通過變形函數(shù)計算非重合區(qū)域的變形程度，對失真圖像進行平滑過渡，從而提高圖像的質(zhì)量.

2 算法說明

2.1 算法結(jié)構(gòu)框圖

本文算法的框架如圖1 所示. 圖像拼接的第一步是將獲取的圖像分為參考圖像和待拼接的圖像，通過SIFT 算法對獲取的圖像進行特征點檢測；第二步是將獲取的特征點通過圖像配準進行特征點匹配，利用配準之后的匹配點進行投影矩陣的計算；第三步是根據(jù)第二步的投影矩陣進行最優(yōu)投影矩陣的計算，通過歸一化距離的計算結(jié)果與設(shè)定的閾值進行大小判定，當計算結(jié)果小于設(shè)定的閾值時，投影矩陣保留并進行圖像拼接，否則，選取其他投影矩陣重新進行閾值的判定；第四步是在拼接完成后，通過變形函數(shù)計算非重合區(qū)域的扭曲程度，采用平滑的方式對局部的圖像扭曲進行平滑過渡.

圖1 算法流程圖

2.2 圖像配準

本文基于局部保留結(jié)構(gòu)方法對圖像進行特征點匹配，通過成本函數(shù)對特征點的距離進行成本計算，對給定的兩幅圖像的特征點，取S={(xi,yi)},i?{1,2,…,n}為一組作為n個特征對應(yīng)關(guān)系集合［11］. 其誤匹配點濾除的點集解為

其中，設(shè)定Pi?{0,1}，匹配對是否匹配正確由Pi表示，當Pi=1時表示第i個對應(yīng)項為匹配正確項，當Pi=0時表示第i個對應(yīng)項為匹配錯誤項. 對成本函數(shù)進行計算，其具體滿足如下條件：

其中，d是距離度量；Nx表示對應(yīng)的特征點x在歐幾里得距離下的領(lǐng)域，在相應(yīng)的領(lǐng)域中，每個特征點搜索4個領(lǐng)點；將p定義為集合S與n×1 個二元向量關(guān)聯(lián)；ci是成本函數(shù)中衡量第i個匹配項(xi,yi)是否滿足局部保留結(jié)構(gòu)的幾何約束成本，正確的匹配會帶來零約束成本或少量約束成本，而錯誤的匹配會增加約束成本.Pi的取值與ci和λ之間的比值有關(guān)，而λ是用來衡量圖像變形的加權(quán)參數(shù)，本文將入設(shè)為0.9，即

2.3 圖像投影

通過2.1節(jié)的方法對圖像進行配準和圖像拼接，其結(jié)果不管是在主觀感受還是客觀的質(zhì)量評價上都不理想. 因此，為了進一步提高圖像拼接的匹配精度，本文在第一次投影拼接的基礎(chǔ)上，對拼接之后的圖像進行再次投影矩陣計算，選取最優(yōu)投影矩陣進行二次投影.首先，將局部保留算法得到的匹配點進行投影矩陣的計算并投影拼接；然后圖像拼接完成后，通過重合區(qū)域邊界點與投影矩陣之間的關(guān)系進行最優(yōu)矩陣的尋找.具體公式如下：

圖2 所示為RANSAC 算法與本文算法進行匹配點剔除比較. 圖2（a）為RANSAC 算法剔除的結(jié)果，由圖可知紅色的線條為局部異常值沒有剔除掉的結(jié)果；圖2（b）為本文算進行匹配點剔除的結(jié)果，由圖可知沒有出現(xiàn)局部異常值；圖2（c）為采用RANSAC 進行誤匹配點剔除后拼接的結(jié)果，其結(jié)果出現(xiàn)明顯的重影；圖2（d）為本文算法進行圖像拼接的結(jié)果，其結(jié)果無明顯的重影.

圖2 圖像拼接對比

2.4 局部投影的平滑過渡

采用全局變換對視差圖像進行拼接，優(yōu)點是圖像在非重合區(qū)域不會出現(xiàn)局部扭曲的問題，其缺點是拼接結(jié)果在重合區(qū)域會出現(xiàn)對齊不準的現(xiàn)象；采用彈性翹曲模型對圖像進行拼接，其結(jié)果在重合區(qū)域能有效提高對齊精度，但不足是在非重合區(qū)域拼接結(jié)果會出現(xiàn)局部的圖像扭曲. 因此，為了提高圖像拼接的質(zhì)量，利用全局投影和局部投影的點坐標進行偏差計算，將結(jié)果進行平滑優(yōu)化. 本文采用徑向基函數(shù)（Radial Ba?sis Function，RBF）［12，13］的薄板樣條（Thin-Plate Spline，TPS）［14～16］計算圖像的變形函數(shù)，變形函數(shù)的扭曲模型如圖3 所示，其中g(shù)(x,y)與h(x,y)分別為x和y方向上發(fā)生的變形.

圖3 變形函數(shù)

由于全局投影矩陣對目標圖像的非重合區(qū)域具有良好的保留效果，不會導(dǎo)致局部的投影扭曲，因此為了消除局部投影帶來的負面影響，計算wi的權(quán)重將局部投影平滑過渡到全局圖像. 假設(shè)在x與y的方向上重合部分的邊界為[xl,xh]與[yl,yh]，在非重合部分出現(xiàn)的局部變形時，權(quán)重wi的具體表達形式如下：

在這里K是一個比例參數(shù). 將上述各個函數(shù)代入得到的結(jié)果進行圖像的平滑優(yōu)化，成像結(jié)果能夠很好地保留非重合區(qū)域的整體投影.

3 實驗與結(jié)果分析

本文對多個場景進行圖像拼接算法驗證，實驗平臺采用的CPU 型號為Inter i7 處理器，內(nèi)存為8G，操作系統(tǒng)為Windows7.

3.1 主觀評價

在主觀評價中，本文通過視差圖像進行實驗結(jié)果說明. 如圖4所示，圖中標號1的白色燈桿為重合區(qū)域，圖中標號2 的攝像頭欄桿為非重合區(qū)域. 圖4（a）采用全局投影進行圖像的拼接，其優(yōu)點是能夠較好地保留拼接之后圖像的整體性，使得拼接圖像看起來更加自然；但缺點是如果圖像拍攝的角度不在同一平面，采用全局投影就不能準確地對齊重合部分，如圖4（a）中的標號1 所示，白色燈桿由于視差原因造成圖像出現(xiàn)重影. 圖4（b）采用APAP 算法進行局部投影，可以看到白色燈桿的重影與全局投影相比，其結(jié)果有所改善，但還是有一小部分重影，同時攝像頭的欄桿出現(xiàn)局部的扭曲，如圖4（b）中的標號2 所示. 圖4（c）采用本文算法進行局部投影，在重合部分，兩幅圖像匹配點基本對齊，沒有出現(xiàn)重影的問題；在非重合部分，攝像頭欄桿部分的扭曲有著明顯的優(yōu)化，使得整體看起來更加自然.

圖4 算法比對結(jié)果圖

采用文獻［7］算法、APAP 算法和AANAP 算法［17］與本文算法對輸入的圖像數(shù)據(jù)進行拼接實驗，通過以下幾組數(shù)據(jù)對這些算法進行實驗對比，其結(jié)果如圖5所示.

在圖5（a）中，輸入圖像是以上下傾斜的視差角度進行拍攝. 采用文獻［7］算法對圖像進行拼接：由于使用全局投影進行圖像拼接，非重合區(qū)域圖像的整體性有良好的表現(xiàn)，其結(jié)果如文獻［7］算法中的標號2所示；但是在重合區(qū)域，樹木和路面地磚的紋路均出現(xiàn)了不同程度的重影，其結(jié)果如文獻［7］算法中的標號1 和3所示. 采用APAP 對圖像進行拼接：在重合區(qū)域，由于使用了局部投影進行圖像的對齊，拼接之后沒有出現(xiàn)重影，其結(jié)果如APAP 算法中的標號1和3所示；但是由于采用了局部投影，像素點的對齊導(dǎo)致非重合區(qū)域的圖形發(fā)生扭曲，其結(jié)果如APAP 中的標號2 所示. 采用AANAP 算法對圖像進行拼接：重合部分的拼接結(jié)果表現(xiàn)良好，無重影現(xiàn)象；在非重合區(qū)域，如AANAP 中的標號2 所示，路面出現(xiàn)扭曲的現(xiàn)象. 采用本文算法對圖像進行拼接：在重合區(qū)域，圖像拼接結(jié)果無重影現(xiàn)象，實驗結(jié)果如本文算法中的標號1 和3 所示；在非重合區(qū)域，通過變形函數(shù)將圖像扭曲的部分平滑過渡到全局變換，其結(jié)果如本文算法中的標號2 所示，拼接的圖像整體性更好.

在圖5（b）中，輸入圖像是以同一水平面不同視差角度進行拍攝，該圖像數(shù)據(jù)的重合部分占90%以上. 采用文獻［7］算法：如標號1 和2 所示，由于采用了全局投影變換對齊圖像，重合部分的圖像出現(xiàn)局部的重影和錯位的問題. 采用APAP 算法：如像標號1所示，在重合部分，雖然優(yōu)化了圖像的重影，但是出現(xiàn)了和標號2 一樣的錯位結(jié)果. 采用AANAP 算法：由于采用了局部的自適應(yīng)變換，該算法提高了圖像的對齊精度，其結(jié)果如標號2 所示，但還是會出現(xiàn)如標號1 的錯位問題. 采用本文算法：通過本文算法進行圖像的拼接，提高了圖像對齊的精度，解決了兩幅圖像拼接錯位的問題，其結(jié)果如標號1和2所示.

實驗結(jié)果表明，對于重合部分大于90%以上的源圖像，拼接算法造成非重合區(qū)域的扭曲現(xiàn)象不是很明顯，其結(jié)果如圖5（b）中各個算法的標號3所示.

圖5 圖像結(jié)果比對

3.2 客觀評價

為了更加客觀地對拼接之后的圖像質(zhì)量進行評估，本文采用結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）［18］對多組圖像結(jié)果進行客觀評價，其評價指標SSIM 的值越大，說明圖像拼接之后的結(jié)果與目標圖像越相似. 其中圖像數(shù)據(jù)庫包括文獻［9］以及本文自行拍攝采集的數(shù)據(jù)，表1 為對圖像數(shù)據(jù)進行SSIM 的客觀評價結(jié)果. 關(guān)于SSIM 目標源的選取，本文通過相機拍攝目標物體的重合部分，將拍攝的重合圖像與拼接結(jié)果的重合部分進行SSIM的算法比較.

本文對客觀的SSIM圖像數(shù)據(jù)評價結(jié)果和上述的主觀評價結(jié)果進行了分析. 從表1 可以看出，有6 組的數(shù)據(jù)在4種圖像拼接算法的得分呈逐級遞增，其中第五組數(shù)據(jù)中，由于圖像重合部分超過90%及拍攝的視差角度相對較小，因此AANAP 算法與本文算法得分相近.綜上所述，本文算法的總得分要高于其他算法. 因此，本文算法的拼接結(jié)果要優(yōu)于其他算法，本文算法能夠有效地將圖像進行對齊以及優(yōu)化圖像的局部扭曲，提高圖像拼接的質(zhì)量，有效地滿足實際工程實踐的應(yīng)用需求.

表1 SSIM的圖像數(shù)據(jù)評價

4 結(jié)論

針對圖像拼接的局部投影存在對齊不準及非重合區(qū)域存在失真和扭曲的問題，本文提出了一種基于局部投影的視差圖像拼接的平滑優(yōu)化算法，并從主觀評價和客觀評價2 個方面驗證該算法. 在主觀評價中：本文算法通過SIFT 進行特征提取，由局部保留結(jié)構(gòu)對圖像進行特征點匹配，通過投影矩陣進行閾值判定，將符合條件的矩陣進行圖像拼接；在非重合部分，結(jié)合TPS對圖像進行變形函數(shù)模型的建立，通過平滑優(yōu)化非重合區(qū)域，逐漸將局部投影造成的圖像變形進行平滑過渡，所得結(jié)果不僅提高了圖像的對齊率，還避免了圖像的局部失真和扭曲問題. 在客觀評價中：通過SSIM 評價指標對文獻［7］算法、APAP 算法、AANAP 算法和本文算法進行評價對比，結(jié)果顯示本文算法的評價結(jié)果要優(yōu)于其他3種算法.