劉 尚 李 哲

（山東科技大學(xué)計算機(jī)科學(xué)與工程學(xué)院 青島 266000）

1 引言

現(xiàn)有的一些防火系統(tǒng)主要利用可見光和對溫度敏感的熱紅外信息檢測火災(zāi)，由于野外場景復(fù)雜，如果檢測到熱源就發(fā)出報警信息那么報警信息準(zhǔn)確度會降低。一旦發(fā)生火災(zāi)，如果不能及時得到火災(zāi)現(xiàn)場的詳細(xì)情況，不僅國家會面臨巨大的自然資源損失，還會威脅到人們的生命安全。

如AutoStitch［1］，只有當(dāng)攝像機(jī)的平移可以忽略不計或場景接近于一個平面時，使用全局變換就可以得到理想的結(jié)果。但是對于有視差［9～10］的圖像，如果再單純使用全局單應(yīng)性變換的話會出現(xiàn)較為嚴(yán)重的重影現(xiàn)象。在拼接多幅圖像時，當(dāng)前的絕大多數(shù)算法［4～8］都不能得到規(guī)則的全景圖像，這使得在進(jìn)行火災(zāi)監(jiān)測時不能掌握更全面的災(zāi)情信息。

本文針對上述問題，采用一種彈性變形的方法對待拼接圖像進(jìn)行一定程度的扭曲變形，使其更好地契合到參考圖像上［18］，然后對全景圖像添加網(wǎng)格，通過對網(wǎng)格的全局優(yōu)化將不規(guī)則的全景圖像矩形化輸出，得到的全景圖像更有利于進(jìn)行背景比對，完成對火災(zāi)的監(jiān)測［2］。

2 圖像變形

首先可以通過全局變換的方法計算出具有重疊區(qū)域圖像Ip 和Iq 之間的變換矩陣H，通過矩陣H可以得到Ip中的匹配點(diǎn)在Iq上的投影，但是視差的存在會出現(xiàn)投影偏差：徑向基函數(shù)是圖像變形的一個強(qiáng)有力的工具，由于它在圖像的對準(zhǔn)質(zhì)量和效率方面有良好的性能，所以使用徑向基函數(shù)中經(jīng)典的薄板樣條法進(jìn)行圖像變形［11～13］。Iq 的變形可由G(x，y)=(m(x，y)，n(x，y))T表示，其中m(x，y)與n(x，y)分別代表x 軸與y 軸方向上的變形。為了之后分析計算的簡便性，讓m(x，y)代替G(x，y)，因為m(x，y)與n(x，y)的計算是完全相同且相互獨(dú)立的。

最佳變形的能量函數(shù)包含兩項：對齊項Ja與平滑項Js：

然后將能量函數(shù)最小化：

其中λ是平衡對齊項與平滑項的權(quán)重系數(shù)。根據(jù)薄板樣條方法的基本理論，式（3）的最優(yōu)解可以表示為

薄板樣條函數(shù)包括兩個部分：(a0+a1x+a2y)表示局部的變換趨勢，它與線性或一階趨勢面具有相同的形式，前一部分表示基本函數(shù)，可獲得最小曲率的面。相關(guān)系數(shù)w、a需添加三個約束條件求得：

其中L 為匹配點(diǎn)的數(shù)目，fi為匹配點(diǎn)i 的已知值。求出相關(guān)系數(shù)后，在源圖像中任意位置坐標(biāo)的變形可以通過將w和a代入式（4）來獲得。

3 提純匹配點(diǎn)

在特征點(diǎn)匹配期間不可避免地會出現(xiàn)誤匹配問題，必須消除誤匹配以精確匹配點(diǎn)對準(zhǔn)。當(dāng)前的大多數(shù)算法都是采用RANSAC 方法［3］去除匹配數(shù)據(jù)的異常值，從而提高匹配點(diǎn)對準(zhǔn)的正確率。但是全局變換與局部變換之間會出現(xiàn)問題，如果投影偏差大于所設(shè)定的閾值就會錯誤地去除一些重要的特征點(diǎn)，如果投影偏差小于所設(shè)定的閾值則錯誤地保留了異常點(diǎn)，這種情況下很難實現(xiàn)特征點(diǎn)之間的對準(zhǔn)。

通過分析式（5）中 x 方向的權(quán)重 u 和 y 方向的權(quán)重v 的分布，使用概率模型進(jìn)行匹配點(diǎn)的提純。在應(yīng)用RANSAC算法之后，可以自適應(yīng)地消除局部異常值。假設(shè)兩個相鄰像素之間投影偏差的變化是獨(dú)立的，并且錨點(diǎn)之間有足夠多的像素分隔開，那么可以推導(dǎo)出投影偏差間的差異服從正態(tài)分布。由薄板樣條函數(shù)的性質(zhì)可得，權(quán)重與投影偏差的差值大致是也成正比的。

給定一組匹配點(diǎn)，通過設(shè)置一個二進(jìn)制變量η來表示該組匹配點(diǎn)是否匹配正確。將匹配中所有內(nèi)點(diǎn)的比例表示p1，則p(η=1)=p1，p(η=0)=1-p1。若存在一個事件A，讓p(A|η=1)=2(1-Φ(t))，其中 Φ(·)是標(biāo)準(zhǔn)正態(tài)分布函數(shù)，則A 的概率為

根據(jù)貝葉斯公式計算η=0 的后驗概率：

3σ準(zhǔn)則是先假設(shè)檢測數(shù)據(jù)只含有隨機(jī)誤差，對其計算處理得到標(biāo)準(zhǔn)偏差，按一定概率確定一個區(qū)間，認(rèn)為凡是超過這個區(qū)間的誤差，就不屬于隨機(jī)誤差而是異常誤差，含有該誤差的數(shù)據(jù)給予刪除。該準(zhǔn)則僅局限于對正態(tài)或近似正態(tài)分布的樣本數(shù)據(jù)處理。由于數(shù)值分布在（μ-3σ，μ+3σ）中的概率為0.9973，所以認(rèn)為取值幾乎全部集中在該區(qū)間內(nèi)。根據(jù)準(zhǔn)則當(dāng)p1位于區(qū)間（μ-3σ，μ+3σ）內(nèi)時，p(η=0|A)≥0.5，意味著如果事件A 發(fā)生，則認(rèn)為這組匹配點(diǎn)是錯誤的。

4 結(jié)合相似變換

前面介紹的圖像變形算法主要是將重疊區(qū)域進(jìn)行對齊，但是將變形直接外推到非重疊區(qū)域會出現(xiàn)過擬合現(xiàn)象。所以要在非重疊區(qū)域逐漸把變形函數(shù)減小為零：

當(dāng)點(diǎn)（x，y）遠(yuǎn)離重疊區(qū)域時，參數(shù)μ逐漸從1變?yōu)?，從而防止過擬合現(xiàn)象的發(fā)生。

其中xl，xr和yl，yr分別是x和y方向上重疊區(qū)域的邊界，ds是平滑過渡區(qū)域的寬度。

將單應(yīng)性變換H與全局相似變換S進(jìn)行結(jié)合：

γ1+γ2=1，γ1在變形的源圖像上線性地從1 變化到0。目標(biāo)圖像也要相應(yīng)的轉(zhuǎn)換為

圖1 參考圖像

圖2 待拼接圖像

圖3 全局變換所得到的拼接圖像

圖4 圖像變形與相似變換所得到的拼接圖像

由于圖像變形只是由于特征點(diǎn)的移動引起的，與投影模型無關(guān)，所以能夠容易地擴(kuò)展到多幅圖像進(jìn)行拼接，只需將輸入的圖像序列遞增地對準(zhǔn)并合成到全景圖像平面上即可。在多幅圖像拼接時應(yīng)注意：1）圖像的特征點(diǎn)可能與多個圖像中提取的特征點(diǎn)匹配，所以在對齊當(dāng)前圖像時，把這些匹配作為一個整體進(jìn)行處理。2）對齊圖像的變形會導(dǎo)致其中圖像中的特征點(diǎn)有輕微移動，所以在做進(jìn)一步處理之前必須更新特征點(diǎn)的位置。

圖5 拍攝鴿子山的圖像序列

圖6 拼接所有圖像所得的全景圖像

5 圖像矩形化

雖然使用圖像變形技術(shù)對待拼接圖像做了變形處理可以更好地消除視差帶來的影響，但是隨著拼接圖像的增加還是會不可避免地呈現(xiàn)出一個非矩形的全景圖像，使得在進(jìn)行背景比對時無法提供良好的視覺感受。因為人們通常更關(guān)注矩形化的全景圖像，所以需要把非矩形化的全景圖像進(jìn)行像素填充，最后輸出矩形化的全景圖像，可以更好地達(dá)到火災(zāi)監(jiān)測的目的。

對于非矩形化的全景圖像，采用Seam Carving算法［14］進(jìn)行像素填充。通過設(shè)定一個邊界段，使用Seam Carving算法計算最長邊界段所在的子圖像的接縫并將其插入到圖像中，對于接縫右側(cè)的所有像素向右移動一個像素，同樣地也可以處理任何一側(cè)的接縫。以這種方式重復(fù)插入接縫直到邊界上沒有缺失的像素。但是重復(fù)此過程很可能會將圖像拉伸成一個非正常比例的圖像并且接縫附近會出現(xiàn)失真現(xiàn)象。

圖7 使用Seam Carving算法進(jìn)行像素的填充，并顯示出所有的接縫

為了生成的矩形圖像可以最大化地保留原圖像中的特征，我們設(shè)計了一個能量函數(shù)使用網(wǎng)格進(jìn)行全局優(yōu)化。在填充好的矩形圖像上放置網(wǎng)格，然后再通過局部扭曲變形回原圖像，因此就獲得了放置在原圖像上的網(wǎng)格，對網(wǎng)格進(jìn)行全局優(yōu)化就可以得到理想的矩形化全景圖像。

圖8 對填充好像素的全景圖像添加網(wǎng)格，然后再扭曲變形回原圖像并顯示出變形網(wǎng)格

直線能量函數(shù)該函數(shù)要求直線盡可能保持其原始方向。采用一種保護(hù)線結(jié)構(gòu)的方法［15］先檢測出圖像中的直線，由于網(wǎng)格的存在，網(wǎng)格中會出現(xiàn)檢測到的線段，為了保護(hù)直線不會出現(xiàn)過度的扭曲，我們把該條直線所在的每個網(wǎng)格旋轉(zhuǎn)一個共同的角度。

其中m是線段數(shù)，j是線段的索引。

形狀能量函數(shù)該函數(shù)是為了讓每個網(wǎng)格進(jìn)行相似變換，我們使用一種關(guān)于圖像的保形方法［16～17］進(jìn)行定義：

其中n 是圖像網(wǎng)格的數(shù)量，k 是網(wǎng)格索引，I 是單位矩陣：

能量函數(shù)總的能量函數(shù)E表示為

實驗過程中設(shè)置權(quán)重τ=90，實驗效果較好。

6 實驗結(jié)果及分析

攝像頭采集的圖像中包含著圖像的位置及時間信息，這些信息在進(jìn)行特征匹配時會產(chǎn)生影響，所以要將圖像中所標(biāo)注的信息裁剪掉。原始圖像的 尺 寸 是 1920p × 1080p，裁 剪 之 后 為 1920p ×940p。采集的兩幅相鄰圖像之間的重疊部分占50%左右，原始圖像經(jīng)過裁剪后確實丟失掉了一部分信息，但是從主觀視覺上看并不影響整體的圖像拼接效果。

從以上的拼接結(jié)果來看，不僅可以經(jīng)過圖像拼接得到視角寬闊的全景圖6，還可以矩形化輸出規(guī)則的全景圖像圖11，這就為下一步的火災(zāi)監(jiān)測提供了便利條件。

圖9 原始圖像

圖10 裁剪圖像

圖11 通過對變形網(wǎng)格的全局優(yōu)化得到矩形化的全景圖像

7 結(jié)語

文中給出了一種面向野外火災(zāi)監(jiān)測的圖像拼接方法，利用攝像頭采集圖像，通過圖像變形算法對待拼接圖像進(jìn)行一定程度的扭曲變形，使其可以更好地契合到參考圖像上。隨著圖像數(shù)量的增加，拼接多幅圖像得到的結(jié)果并不是一個規(guī)則的全景圖像，不利于進(jìn)行火災(zāi)的監(jiān)測，采用Seam Carving算法進(jìn)行像素填充將圖像矩形化輸出得到規(guī)則的全景圖像。實驗結(jié)果表明，將圖像變形方法與Seam Carving 算法結(jié)合，不僅減少了重影現(xiàn)象的發(fā)生，還可以得到視角更為廣闊的全景圖像，能夠完成監(jiān)測火災(zāi)的目的。