田思，張俊舉，袁軼慧，常本康

(1.寧波大紅鷹學(xué)院 應(yīng)用科技研究院，浙江 寧波315175;2.南京理工大學(xué) 電光學(xué)院，江蘇 南京210094)

像素級融合［1］是直接對源圖像的像素數(shù)據(jù)進行融合處理，能更多地保留場景的原始信息，是應(yīng)用比較廣泛的圖像融合方法。對源圖像配準(zhǔn)、視場的重合度要求較高，一般來講在源圖像的光學(xué)系統(tǒng)視場相同的情況下，采集到的圖像更容易實現(xiàn)配準(zhǔn)，也更有利于融合圖像質(zhì)量提高，也保證了融合圖像的信息量。

但在實際應(yīng)用中，往往會有一些多源圖像采集設(shè)備的光學(xué)系統(tǒng)視場相差比較大，而每個源圖像各有其特點(如可見光圖像、微光圖像和紅外圖像)，融合圖像更能體現(xiàn)場景的細(xì)節(jié)、突出場景目標(biāo)［2］。對于這種情況，在圖像配準(zhǔn)算法和圖像融合算法的應(yīng)用上又有一些不同特點。圖1為不同視場圖像融合示意圖，兩套不同視場的光學(xué)系統(tǒng)采集到得圖像分別是圖像A 和圖像B，圖像B 只對應(yīng)于圖像A 中一部分，圖像C 是圖像A 和圖像B 的融合結(jié)果。實際上圖像C 中只有虛線部分才是融合圖像，而其余部分只有圖像A 的信息。

圖1 2 個不同視場圖像融合示意圖Fig.1 Image fusion in two FOVs

1 不同視場的多源圖像融合的頻域分析

考慮2 個不同圖像傳感器的情況，假如2 個圖像傳感器產(chǎn)生兩幅圖像f(x，y)和g(x，y)，圖像f(x，y)是小視場圖像大小M ×N，大視場圖像g(x，y)大小m×n 中區(qū)域部分(m ＜M，n ＜N)，一幅數(shù)字化的圖像可以用矩陣來表達它不同位置上的灰度分布函數(shù)，即

用矩陣表達則為

頻域(u，v)的離散傅里葉變換可以表示為

對于一般的圖像來講，二維頻域(u，v)內(nèi)圖像的主體是低頻部分，它表達的是總體形狀、特征輪廓、對比度特征等，而那些邊緣、波紋是圖像的高頻部分。圖1中，圖像A 中對應(yīng)于圖像B 的部分往往是關(guān)注的焦點，也是頻率能量集中的地方。圖像傳感器采集得到的兩幅圖像進行融合時，小視場的圖像完全參與融合，大視場的圖像參與融合以外的部分得到保留。這樣既增強了圖像的主體特征，又保留了圖像的細(xì)節(jié)信息。

討論一種簡單的加權(quán)平均融合方法，融合圖像r(x，y)可以表示為

式中:a+b=1，a，b 分別為兩幅圖像的加權(quán)系數(shù)。

根據(jù)傅里葉變換的加法定理，融合圖像的傅里葉變換為

式(8)中，如果aF(u，v)+bG(u，v)是圖像中所關(guān)心的主體，它表述的是觀察目標(biāo)的總體形狀、特征輪廓、對比度特征等低頻分量，那么整個融合圖像質(zhì)量就得到了保障。

2 不同視場的多源圖像的配準(zhǔn)方法

由于多源圖像的成像機制不同、光學(xué)系統(tǒng)光軸不平行且成像分辨率不同，目標(biāo)在不同圖像中的位置存在差異或畸變，如平移、旋轉(zhuǎn)、比例變化及噪聲引起的畸變等。對于不同視場的多源圖像，在實際應(yīng)用中設(shè)計了一種基于仿射變換查找表的快速圖像配準(zhǔn)方法。對應(yīng)圖1，以圖像A 為基準(zhǔn)，對圖像B 進行對正，由紅外圖像到微光圖像選擇2 對匹配點，確定圖像間對應(yīng)點的匹配關(guān)系，以消除或減小目標(biāo)的位置差別及噪聲引起的畸變。

同一場景的雙源圖像必然滿足仿射變換模型，設(shè)仿射變換模型為

式中:R 為旋轉(zhuǎn)矩陣;T 為平移矩陣。一個坐標(biāo)點經(jīng)平移、旋轉(zhuǎn)、縮放后的坐標(biāo)可用仿射變換表示為

式中:(x，y)、(x'，y')分別為2 幅圖像中對應(yīng)點的坐標(biāo)。其中4 個參數(shù)(平移像素Δx 和Δy、旋轉(zhuǎn)角θ、行列縮放倍數(shù)k)的向量將決定兩幅圖像坐標(biāo)之間的轉(zhuǎn)換關(guān)系。

對于同一目標(biāo)對象的確定信息，由于大視場圖像融合區(qū)域像素數(shù)量小于小視場圖像，導(dǎo)致大視場圖像待融合區(qū)域的每一像素點包含小視場圖像相鄰至多4 個像素點的信息，因此在小視場圖像向大視場圖像進行仿射變換的過程中，需要加權(quán)平均計算對應(yīng)的若干小視場圖像像素點灰度值，即為雙線性數(shù)字插值計算，如圖2所示。

圖2 灰度插值示意圖Fig.2 Sketch of gray interpolation

用Q 點周圍4 個相鄰的網(wǎng)格點灰度值加權(quán)內(nèi)插作為Q 點的灰度值，也就是f(x1，y1)的值。如圖2所示，這4 個點值為(x1，y1)，(x1+1，y1)，(x1，y1+ 1)，(x1+1，y1+1)，為簡單起見，設(shè)(x1，y1)=(0，0)，則，(x1+1，y1)=(0，1)，(x1，y1+1)=(0，1)，(x1+1，y1+ 1)=(1，1).Q 點和(0，0)點的距離為x，在y 方向的距離為y，顯然Q 點的值為f(x，y).在實際應(yīng)用中，由于大、小視場的圖像系統(tǒng)的光學(xué)參數(shù)是固定的，Q 點和Q'的位置參數(shù)可通過縮放后兩幅圖像在x、y 方向的相對偏移量求出。

在x 方向作一次線性內(nèi)插后得

再在y 方向作第2 次線性內(nèi)插，得到Q 點的值，即

合并后化簡得

式中:a、b、c、d 為常數(shù)，可見雙線性內(nèi)插實際上是用4 個已知點的雙曲拋物面來擬合的。至此，可以得到配準(zhǔn)后大視場圖像每個像素在待配準(zhǔn)小視場圖像中對應(yīng)的4 個點的地址和相應(yīng)權(quán)值。

3 圖像融合過程

對于一套光軸固定的紅外與可見光融合系統(tǒng)，圖像系統(tǒng)視場是確定的。在實驗系統(tǒng)中采集到的大視場圖像是紅外圖像，可見光圖像是小視場，它們的相對位置已經(jīng)確定，假設(shè)可見光圖像和紅外圖像表示為A(x，y)、B(x，y)，可見光圖像相對于紅外圖像的偏移量σx 和σy，像素A(σx，σy)匹配的像素點就是由B(0，0)，B(0，1)，B(1，0)，B(1，1)經(jīng)過插值運算后的結(jié)果，如果其結(jié)果表示為B'(0，0)，在應(yīng)用加權(quán)平均融合算法(權(quán)系數(shù)分別為a，b)進行融合時，其融合結(jié)果R'就可表示為

在實際應(yīng)用中，融合程序流程如圖3所示。

圖3 融合程序流程圖Fig.3 Flowchart of fusion program

4 實驗結(jié)果分析

采用的實驗系統(tǒng)組成原理如圖4所示，表1為紅外和可見光物鏡的主要技術(shù)指標(biāo)。

圖4 系統(tǒng)原理框圖Fig.4 Block diagram of system

圖像采集系統(tǒng)由可見光CCD(小視場，傳感器分辨率1 024 ×768)和長波紅外攝像機(大視場，傳感器分辨率324 ×256)組成，圖像融合處理單元是由基于DSP 芯片TMS320DM642 設(shè)計的硬件電路組成。圖5、圖6是可見光圖像與紅外圖像的融合實驗圖像，實驗地點在南京理工大學(xué)實驗樓頂，圖5中實驗?zāi)繕?biāo)是遠(yuǎn)處視場中的建筑和活動的人，圖6中實驗?zāi)繕?biāo)是視場中溫度較高的路燈和場地中活動的人，圖像采集于2007年7月，地表溫度大于40 ℃.實驗中融合算法采用的是加權(quán)平均(兩幅圖像權(quán)重各為50%).

表1 紅外和可見光物鏡的主要技術(shù)指標(biāo)Tab.1 Main qualifications of visible light and infrared lens

二維圖像進行傅里葉變換的過程如下:先對圖像的每一行做一維傅里葉變換，然后對每列做一維傅里葉變換。對于一幅M ×N 的圖像來說，先對第0 行的N 個點做傅里葉變換(實部有值，虛部為0)，將傅里葉變換輸出的實部放回原來第0 行的實部，傅里葉變換輸出的虛部放回第0 行的虛部，對行計算結(jié)束后用同樣的方法進行列方向傅里葉變換，M×N 的圖像經(jīng)過傅里葉變換就得到一個M ×N 的頻譜。

對采集得到圖像，用MATLAB 進行處理得到相應(yīng)傅里葉頻譜、灰度直方圖，圖5是一個遠(yuǎn)目標(biāo)(大于2 km)圖像，場景中目標(biāo)輪廓明顯、細(xì)節(jié)較少，圖5(a)為采集到得紅外圖像和計算得到的傅里葉頻譜、灰度直方圖，圖5(b)為采集得到可見光圖像和計算得到的傅里葉頻譜、灰度直方圖，圖5(c)為融合圖像和計算得到的傅里葉頻譜、灰度直方圖。由于天氣溫度較高，樓面溫度較高，樓頂上的人相對溫度較低，紅外圖像中的人幾乎與天空溶為一體不能分辨，由于視場較大，紅外圖像頻譜圖中不僅有低頻的輪廓信息，也有一些高頻的細(xì)節(jié)信息，灰度直方圖峰值明顯?？梢姽鈭D像視場小、包含較多的低頻成分，灰度范圍寬，可以分辨出目標(biāo)視場中的人。融合圖像具有兩幅源圖像頻譜和灰度直方圖特征，峰值有所減少，特別是融合部分更加平滑。傅里葉頻譜圖上低頻、高頻信號都有所提高，其主要原因是融合圖像的目標(biāo)輪廓、細(xì)節(jié)都有所增強。融合圖像中樓面的溫度特征(紅外圖像特征)和目標(biāo)視場中的人都比較容易分辨。

圖5 室外遠(yuǎn)距離可見光紅外融合實驗圖像Fig.5 Outdoor long－distance visible and infrared image fusing

對圖5中的實驗圖像，采用同樣的Sobel 算子進行邊緣細(xì)化處理，圖6為處理后的圖像，由圖6(a)紅外圖像、圖6(b)可見光圖像和圖6(c)融合圖像的邊緣細(xì)化圖像可以很明顯地看出，可見光圖像缺少溫度細(xì)節(jié)特征，而紅外圖像中又沒有光線明暗產(chǎn)生的細(xì)節(jié)特征，融合圖像中的邊緣細(xì)節(jié)部分綜合了兩者的特征，圖像信息量增加。

圖7為近目標(biāo)(小于500 m)圖像，場景中目標(biāo)散亂、細(xì)節(jié)較多，圖7(a)為采集到得紅外圖像和計算得到的傅里葉頻譜、灰度直方圖，圖7(b)為采集到得可見光圖像和計算得到的傅里葉頻譜、灰度直方圖，圖7(c)為融合圖像和計算得到的傅里葉頻譜、灰度直方圖。由于溫度高，屋面和墻面的溫度差較大，紅外圖像中線條、棱角比較多，傅里葉頻譜圖中反映為放射狀線條，一些細(xì)節(jié)由于對比度較大在頻譜圖上呈點狀分布，由于溫度的關(guān)系，畫面中的人無法分辨，灰度直方圖峰值突出?？梢姽鈭D像中細(xì)節(jié)較多，能清晰地分辨目標(biāo)，在傅里葉頻譜中高頻成分連續(xù)性較好，表明圖像中目標(biāo)層次感強，由于圖像目標(biāo)對比度較大，灰度直方圖也有一定峰值，比紅外圖像的灰度直方圖相對平滑些。融合圖像由部分紅外圖像和可見光圖像融合而成，人和一些溫度相對較低的目標(biāo)也能清晰地分辨，由它們的頻譜圖可以很明顯看出這一點，融合圖像灰度直方圖也比紅外圖像灰度直方圖要平滑一些。對比圖5和圖7融合前后的圖像，顯然，相對于原來的紅外圖像和可見光圖像，大小視場融合圖像更易于人們對目標(biāo)場景的觀察、理解。

圖6 室外遠(yuǎn)距離可見光紅外融合實驗圖像Sobel 算子邊緣細(xì)化圖Fig.6 Outdoor long－distance visible and infrared image fusing and edge refinement by using Sobel operator

對圖7中的實驗圖像采用相同的Sobel 算子進行邊緣細(xì)化處理，也能得到一致的結(jié)論，圖8為處理后的圖像。融合圖像信息量得到了加強，只是由于融合圖像背景復(fù)雜，并不像圖6中圖像的邊緣細(xì)節(jié)對比那么強烈。

5 圖像融合結(jié)果評價

相關(guān)信息(MI)是來源于信息論的一個指標(biāo)，它表示一個變量包含另一個變量的信息數(shù)量，如果A和B 兩個隨機變量的邊界分布pA(a)和pB(b)、聯(lián)合概率分布pAB(a，b)，相關(guān)信息表示2 個隨機變量A 和B 相關(guān)程度的測量，表達式為

圖7 室外近距離可見光紅外融合實驗圖像Fig.7 Indoor short－distance visible and infrared image fusing

融合圖像應(yīng)該包含所有源圖像的重要信息，由相關(guān)信息的定義不難看出，它非常適合評價融合圖像的質(zhì)量和融合算法的優(yōu)劣。對于源圖像f(x，y)，g(x，y)，融合圖像r(x，y)，可以計算出融合圖像R包含源圖像F，G 信息量。由(16)式可得:

評價一幅融合圖像的融合性能指標(biāo)可以由以下公式算出:

Ramesh 等［3］把MI 稱為融合因數(shù)(FF)，較大的FF 表示從源圖像傳遞到融合圖像更多的信息，也在一定程度上說明融合圖像質(zhì)量更好。

融合對稱度(FS)用下式表示:

融合對稱度越小表示融合性能越好。

圖8 室外近距離可見光紅外融合實驗圖像Sobel 算子邊緣細(xì)化圖Fig.8 Outdoor short－distance visible and infrared image fusing and edge refinement by using Sobel operator

在MATLAB 下選擇幾種測試的融合算法:加權(quán)平均融合算法(AVG)，離散小波融合算法(DWT)［4］，拉普拉斯金字塔融合算法(LAP)［5］，平移不變離散小波融合算法(SiDWT)［6］，對比度金字塔融合算法(CONTR)［7］。紅外圖像和融合圖像中只有融合的部分參與評價。當(dāng)源圖像都是質(zhì)量很高的情況下，應(yīng)該選擇FS 較小的融合算法。由表2的數(shù)據(jù)可以看出融合圖像與紅外圖像的相關(guān)性更強。

6 結(jié)論

本文對大小視場不同的多源圖像的配準(zhǔn)方法、融合方法進行探討、研究。由于視場的不同，在進行配準(zhǔn)時也就不同于一般的圖像融合，它要先進行大比例縮放，然后才進行常規(guī)的配準(zhǔn)。為了更好保留圖像信息、達到精確配準(zhǔn)的目的，采用了雙線性插值的方法來保證配準(zhǔn)后的圖像質(zhì)量。通過對實驗結(jié)果時域、空域的分析，最終的融合圖像兼具紅外和可見光兩幅圖像的特征，增強了人眼對圖像識別能力，達到令人滿意的效果。

表2 融合算法評價結(jié)果Tab.2 Evaluation results for fusion algorithms

圖像傳感器技術(shù)的應(yīng)用領(lǐng)域越來越廣，不同視場的多源傳感器的應(yīng)用場合也會越來越多，不同特性的不同視場的圖像融合結(jié)果使人更容易在繁雜的環(huán)境中識別目標(biāo)。不同視場的圖像融合技術(shù)在未來相當(dāng)長的時間內(nèi)會有很好的應(yīng)用前景，尤其適用于軍事、航空航天等實時性要求較高的應(yīng)用領(lǐng)域［2］。

References)

［1］ Pajares G，Cruz J M.A wavelet－based image fusion tutorial［J］.Patten Recognition，2004，37(9):1855－1872.

［2］ 田思，張俊舉，袁軼慧，等.圖像融合的開窗處理技術(shù)研究［J］.兵工學(xué)報，2009，30(4):438－441.TIAN Si，ZHANG Jun－ju，YUAN Yi－h(huán)ui，et al.Research of image fusion technology based on windowing［J］.Acta Armamentarii，2009，30(4):438－441.(in Chinese)

［3］ Ramesh C，Ranjith T.Fusion performance measures and a lifting wavelet transform based algorithm for image fusion［C］∥Proceedings of the 5th International Conference on Information Fusion.Maryland:International Society and Information Fusion，2002:317－320.

［4］ Nikolov S，Hill P R，Bull D R，et al.Wavelets for image fusion［C］∥Petrosian A，Meyer F.Wavelets in Signal and Image Analysis，from Theory to Practice.Dordrecht，Kluwer Academic Publishers，2001:213－244.

［5］ Burt P J，Adelson E H.The Laplacian Pyramid as a compact image code［J］.IEEE Transaction on Communications，1983，31(4):532－540.

［6］ Toet A，Van Ruyven L J，Valeton J M.Merging thermal and visual images by a contrast pyramid［J］.Optical Engineering，1989，28(7):789－792.

［7］ Rockinger O.Image sequence fusion using a shift invariant wavelet transform［C］∥Proceedings of the International Conference on Image Processing.Washington:IEEE Computer Society，1997:288－291.