孫商文，劉 宇，徐昭洪，王昱峰

(空軍航空大學(xué)數(shù)字地球?qū)嶒炇遥?長春 130022)

圖像拼接技術(shù)是將具有重疊區(qū)域的多幅圖像拼接成一幅大視場的全景圖像，在攝影測量、遙感監(jiān)測、軍事偵察等領(lǐng)域廣泛應(yīng)用[1]。圖像拼接主要包括預(yù)處理、圖像配準和圖像融合3個階段。傳統(tǒng)拼接方法[1]常采用特征匹配建立全局單應(yīng)變換完成圖像的局部對齊，對于相機光軸固定不變或者拍攝場景處于同一平面的圖像具有不錯的效果，而對于復(fù)雜場景或者具有視差的圖像，采用單一的單應(yīng)變換往往會產(chǎn)生重影和透視失真的情況。為了解決復(fù)雜的視差圖像拼接問題，眾多學(xué)者及團隊致力于在三類方法上進行拼接工作的改進與完善，一類是基于局部自適應(yīng)對齊模型的拼接方法，如Gao等[2]將目標場景劃分成前景端和背景端，使用2個單應(yīng)性矩陣進行非線性對齊，但是這種方法受限于只能在沒有局部透視的情況下才有效；Zaragoza等[3]提出基于移動直接線性變換的APAP(As-projective-as-possible)對齊方法，通過建立局部單應(yīng)矩陣解決局部偏差問題；Lin等[4]基于APAP的局部單應(yīng)矩陣結(jié)合全局最優(yōu)相似矩陣，平滑過渡重疊區(qū)域的透視變換，緩解非重疊區(qū)域的透視失真問題。一類是基于內(nèi)容保留的拼接方法，Zhang等[5]通過結(jié)合單應(yīng)矩陣與內(nèi)容保護技術(shù)進行拼接，既保留了圖像結(jié)構(gòu)，又解決了視差引起的局部對齊問題；何川[6]在NISwGSP算法[7]的基礎(chǔ)上提出了一種具有直線結(jié)構(gòu)保護的拼接方法，在對網(wǎng)格進行相似性連續(xù)性約束的同時輔以直線結(jié)構(gòu)約束，最后使用最小二乘法獲得網(wǎng)格頂點集指導(dǎo)網(wǎng)格變形；一類是基于拼接縫的拼接方法，如Lin等[8]提出一種基于縫引導(dǎo)的局部對齊方法，首先利用特征點組成若干局部單應(yīng)矩陣變形圖像進行初步的配準，再使用結(jié)構(gòu)保護和特征加權(quán)對局部配準進行不斷優(yōu)化，通過評價不同拼接縫效果，選擇無縫配準效果最好的一組進行拼接。

目前，視差圖像拼接因特征點配準誤差大造成局部結(jié)構(gòu)變形以及重疊區(qū)域紋路復(fù)雜度高出現(xiàn)重影等問題是學(xué)者重點研究問題，本研究提出結(jié)合RANSAC(Random Sample Consensus)[9]和正態(tài)分布模型的方法進行特征點篩選，同時改進圖割理論[10]中能量損失函數(shù)，為損失函數(shù)添加新的約束條件，獲得一條符合人眼顯著性感知的最優(yōu)拼接縫，最后采用多波段融合的方法進行圖像融合，完成拼接工作。

1 特征細化理論

圖像配準是圖像拼接技術(shù)中關(guān)鍵的步驟，在特征檢測和匹配過程中往往會出現(xiàn)外點保留較多、誤匹配等現(xiàn)象。常用的外點移除方法是使用RANSAC進行迭代估計數(shù)學(xué)模型，剔除不滿足此模型的外點，由于受迭代次數(shù)的影響以及對于不同拼接場景需要設(shè)置不同的閾值，RANSAC獲得的匹配點依然會有大量外點存在以及部分內(nèi)點被移除的情況。算法REW[11]將TPS(Thin Plate Spline)模型的系數(shù)分布服從正態(tài)分布并設(shè)計貝葉斯模型作為剔除外點的準則，本文采用文獻[11]通過中心極限定理得到匹配點的投影誤差服從標準正態(tài)分布這一準則，依據(jù)正態(tài)分布3σ定理，將分布在小概率事件中的匹配點進行剔除。

p(Cxi)=p{|Exi-μx|

2φ(n)-1

(1)

p(Cyi)=p{|Eyi-μy|

2φ(n)-1

(2)

其中Φ(·)代表標準正態(tài)分布。

當設(shè)置n=3時，由標準正態(tài)分布3σ理論可知，事件的概率p=2Φ(3)-1=99.73%，對于不滿足此事件閾值的匹配點{qi，pi}進行移除。從幾何原理上來講，進行剔除的原理是如果一組匹配點的投影誤差與附近其他匹配點的投影誤差存在明顯的不同，那么將它認為是外點，雖然這種情況下一小部分的內(nèi)點可能被錯誤地刪除，但不會影響最終的拼接質(zhì)量。圖1展示使用正態(tài)分布理論進行特征點優(yōu)化的情況，所有彩色點為使用RANSAC后的匹配點，紅色點為使用本文外點篩選理論刪除的外點，綠色點是為最終保留的內(nèi)點。

圖1 外點篩選圖

2 最優(yōu)拼接縫尋找

基于縫切割的圖像拼接方法在局部對齊上具有良好的表現(xiàn)，通過尋找不可見的拼接縫實現(xiàn)圖像合理并且自然的縫合，圖割理論被應(yīng)用于有向圖中尋找最少能量的最短拼接縫，取得良好的表現(xiàn)[5，8]。

2.1 縫切割方法

通過定義能量函數(shù)，將分割的代價依據(jù)權(quán)值來表達，能量函數(shù)定義成式3的形式，假設(shè)一組對齊圖像為I0和I1，P為圖像的重疊區(qū)域，整幅圖像的標簽L={0，1}，其中0對應(yīng)圖像I0，1對應(yīng)圖像I1，給重疊區(qū)域的所有像素p∈P分配一個標簽以此獲得標簽集l={l1，l2，l3，…，lp}，當標簽集為l時，圖像的能量為

(3)

其中：Dp(lp)是數(shù)據(jù)項，代表為像素p分配標簽lp的損失；Sp，q(lp，lq)是平滑項，代表為一對像素(p，q)∈N分配一組標簽(lp，lq)的損失；N代表P*P像素鄰域面。

傳統(tǒng)縫切割方法中的數(shù)據(jù)項一般定義為

(4)

式中：μ代表較大的損失值；?It∩?P代表圖像It(t=0，1)與重疊區(qū)域P的共同邊界。

平滑項被定義為

Sp，q(lp，lq)=|lp-lq|(I*(p)+I*(q))

(5)

其中

I*(·)=||I0(·)-I1(·)||2

式中：I*(·)為2-范數(shù)，代表歐式色差距離指標，平滑項代表像素p與鄰域中其他節(jié)點不連續(xù)的懲罰，如果p與q的差別越小，它們屬于同一目標或者同一背景的可能性越大，對應(yīng)的損失越大；如果像素p與q的差別很大，則說明2個像素位于目標和背景的邊緣，被分割的可能性越大，損失能量越小。

2.2 改進能量函數(shù)的縫切割方法

1) 數(shù)據(jù)項的改進

文獻[12]認為數(shù)據(jù)項的設(shè)定可以基于指定顏色的歐式色差距離、合成顏色的歐式色差距離、分布于圖像直方圖的最小或最大可能性、距離指定圖像對應(yīng)像素的歐式色差距離等多種形式，本文將縫切割中將數(shù)據(jù)項定義為

Dp(lp)=-▽I(lp)

(6)

lp代表為像素p分配lp的標簽值，當賦值lp為1時表示使用p在圖像I1上的梯度值，當賦值lp為0時表示使用p在圖像I0上的梯度值。

2) 平滑項的改進

傳統(tǒng)縫切割中對于平滑項只基于對顏色空間的考慮，缺少對于梯度空間的考慮，本文對于平滑項添加梯度值融合考慮，

(7)

在添加梯度值考慮后平滑項形式

Sp，q(lp，lq)=|lp-lq|(IΔ(p)+IΔ(q))

(8)

其中

IΔ(·)=||I0(·)-I1(·)||+||▽I0(·)-▽I1(·)||

IΔ(·)中的第1個范數(shù)代表顏色空間的色彩強度的差值，第2個范數(shù)代表梯度空間的不同圖像中相同點在水平和垂直方向的梯度差值。

同時為了增加對重疊區(qū)域重要目標的保護，也是基于人眼對圖像中顯著目標有著更高的關(guān)注度，本文為平滑項添加一個顯著性權(quán)重

(9)

其中ω(·)代表P的平均像素顯著性，通過文獻[13]中的顯著目標檢測算法計算，為了避免最終的懲罰值過大，標準化Wp，q使其在[1，2]的范圍內(nèi)，Wp，q根據(jù)ω(·)會增加對Sp，q(lp，lq)的影響。

改進后的能量函數(shù)形式如下：

(10)

通過圖割理論的最大流最小割[14]方法使能量函數(shù)最小化，即可找到一條對應(yīng)的最佳拼接縫。

3 算法流程

本文算法的流程示意圖如圖2所示，具體內(nèi)容如下：

圖2 算法流程框圖

1) 首先對待拼接圖像I0和I1使用SIFT(Scale-invariant feature transform)算法進行特征點檢測，然后使用閾值εg=0.1的RANSAC算法進行初步匹配過程，利用RANSAC獲得全局單應(yīng)矩陣H計算匹配點的投影誤差PE。

2) 依據(jù)本文提出的投影偏差PE服從正態(tài)分布這一準則，對匹配點進行再次篩選，得到優(yōu)化的匹配點利用DLT計算新的全局單應(yīng)矩陣Hnew，將目標圖像I2利用Hnew變換到參考圖像I1的坐標系中。

3) 獲取拼接圖像的重疊區(qū)域P，計算函數(shù)中數(shù)據(jù)項每個像素的損失Dp(lp)，計算平滑項中鄰域像素的損失Sp，q(lp，lq)，使用顯著目標檢測算法計算ω，得到顯著性權(quán)重Wp，q。

4) 利用圖割理論最大流最小割方法最小化損失函數(shù)E(l)，獲得最優(yōu)拼接縫。

5) 使用多波段混合的融合方法進行圖像融合，得到最終拼接結(jié)果。

4 實驗結(jié)果與分析

本文采用文獻[5]中提供的2組圖像作為實驗圖像進行實驗，如圖3所示，圖像大小為1 000×662(寬×高)，利用Matlab R2018進行實驗。

4.1 特征匹配實驗

2組實驗圖像組如圖3所示分別利用RANSAC和本文的外點篩選方法進行操作，從圖中特征點匹配的結(jié)果可以看出，RANSAC方法保留了大量錯誤的外點，而本文利用提出的外點篩選準則進行錯誤外點的剔除，有效地保證了內(nèi)點的保留，將偏差較大的錯誤匹配點進行刪除，同時為了更加客觀的表達本文方法在刪除外點的有效性，采用統(tǒng)計所有匹配點在X和Y方向的偏差，并且提高評判標準將匹配點偏差的歐式距離小于5個像素的匹配點看作準確匹配點，并統(tǒng)計準確匹配點的數(shù)量，計算準確率，具體的實驗數(shù)據(jù)如表1所示，從匹配點數(shù)量可以看出，本文方法保留有效匹配點，使得匹配點的數(shù)量降低，在偏差方面，圖像組1和2在X和Y方向偏差總量大量減少，并且準確率分別提高了16.6%和13.1%。

表1 RANSAC和本文精匹配結(jié)果

圖3 外點篩選結(jié)果圖

4.2 拼接縫搜索實驗

采用傳統(tǒng)的圖割拼接縫尋找方法對比本文的拼接縫搜索方法，圖4(a)中傳統(tǒng)的拼接縫搜索方法可以完成對圖像的基本對齊，但是在白色建筑物中間穿過，并且在與黃色建筑物的交接處發(fā)生局部的變形扭曲，黃色建筑物的墻體變形嚴重，圖4(b)中本文的拼接縫可以較好地沿著白色建筑物的邊緣進行分割，并且在拼接難度較大的兩建筑物中間實現(xiàn)較好的分割，整體圖像表現(xiàn)地更加自然真實；在第二組圖像的拼接縫尋找中，如圖4(c)、(d)所示，兩條拼接縫的基本走向一致，但是在細節(jié)方面，本文的拼接縫在規(guī)避目標表現(xiàn)更好，并且在拼接難度較大的地面紋路處，傳統(tǒng)拼接縫發(fā)生了扭曲變形，而本文的拼接縫保持了地面良好的紋路效果。

圖4 拼接縫尋找結(jié)果圖

4.3 拼接結(jié)果實驗

在MTALAB R2018運行APAP以及本文算法，同時對比Microsoft ICE軟件和文獻[5]中算法的拼接結(jié)果，具體實驗結(jié)果與分析如下:

1) 圖像集1的拼接結(jié)果與分析

圖像集1是兩幅具有明顯視差的圖像，4種方法中，如圖5所示，APAP算法在局部對齊上出現(xiàn)明顯的重影和誤對齊，可以看到在建筑物墻體邊緣出現(xiàn)嚴重的變形，其他3種方法完成了較為準確的對齊，拼接效果基本滿足普通需求，在一些細節(jié)方面，拼接結(jié)果圖中采用紅色矩形框進行標注的地方，ICE軟件的拼接圖中，墻體邊緣產(chǎn)生嚴重變形，建筑物之間的空隙發(fā)生明顯差異，信號燈燈柱位置出現(xiàn)誤對齊，Parallax-tolerant的拼接結(jié)果中建筑物墻體間出現(xiàn)變形，信號燈燈柱也出現(xiàn)誤對齊現(xiàn)象，本文方法完成了兩張圖像的整體對齊，在建筑物的墻體邊緣和墻面紋理上都沒有嚴重的變形，信號燈燈柱對齊，相比于其他3種方法，拼接效果更好。

2) 圖像集2的拼接結(jié)果與分析

圖像集2的兩幅圖像是具有復(fù)雜地面紋路、視差較大圖像，拼接難度大于圖像集1，如圖6所示，在ICE的拼接結(jié)果中，為了對齊地面紋路，造成了卡車位置出現(xiàn)重影，圖像的中間位置出現(xiàn)嚴重的變形，樹木出現(xiàn)嚴重誤對齊，APAP的拼接圖中，在文中用紅色矩形框進行標注，出現(xiàn)人的重影，并且在煙囪和藍色玻璃建筑物邊緣都發(fā)生不同程度的變形，Parallax-tolerant與本文的方法在圖像上整體對齊，沒有發(fā)生嚴重變形，但在紅色矩形框標注的地面紋路和藍色玻璃建筑物的墻體拼接上出現(xiàn)變形，本文的拼接結(jié)果整體完成良好的對齊，在上述的位置中表現(xiàn)效果均優(yōu)于其他3種方法。

圖6 圖像組2拼接結(jié)果對比圖

為了更加客觀地描述拼接結(jié)果圖的質(zhì)量，本文采用文獻[15]中提出的無參考圖像的自然圖像質(zhì)量評價(NQIE)，該視覺評價方法符合人眼感官評價，圖像獲得分數(shù)越低，對應(yīng)圖像質(zhì)量越好，表2為上述4種方法在2組圖像集中的得分，在2組圖像的質(zhì)量評價中，本文的得分最小，代表圖像質(zhì)量最好。

表2 4種拼接方法評價得分情況

5 結(jié)論

本文提出一種基于特征細化和最優(yōu)拼接縫尋找的視差圖像拼接方法，采用投影偏差服從正態(tài)分布理論進行外點移除工作，優(yōu)化了特征匹配結(jié)果，獲得最優(yōu)的全局變換矩陣，對圖割能量函數(shù)中數(shù)據(jù)項采用梯度值計算損失值以及平滑項融合梯度值考慮并添加顯著性約束，獲得能夠保護圖像顯著目標并且符合人眼感知的拼接縫，采用多波段融合方法，減少重疊區(qū)域的色差變化，實現(xiàn)平滑過渡。在圖像特征匹配的質(zhì)量和拼接縫尋找中，本文方法與傳統(tǒng)方法對比明顯占優(yōu)，本文方法與APAP、ICE、Parallax-tolerant進行比較，在示例圖像最終拼接效果更加自然、真實，有著較高的實用價值，但是本文算法在紋理不明顯、視差較大的場景也出現(xiàn)過匹配誤差較大、錯位等現(xiàn)象，后續(xù)過程需要不斷優(yōu)化、改進。