王宇慶，王索建

(1.中國科學(xué)院長春光學(xué)精密機械與物理研究所，

航空光學(xué)成像與測量中國科學(xué)院重點實驗室，吉林長春130033;

2.南京電子技術(shù)研究所，江蘇 南京210039)

1 引言

圖像融合的核心思想就是采用某種算法，把由工作于不同波長范圍或具有不同成像機理的各種圖像傳感器獲取的同一個場景的多種圖像信息“融合”生成一幅新的圖像，融合后的圖像將包含有更多的人類視覺系統(tǒng) (Human Visual System，HVS)敏感信息，從而更適合于人眼觀測或者計算機檢測、分類、識別等處理［1］。圖像融合技術(shù)是提高各種圖像處理裝置性能的重要手段，尤其在目標檢測等領(lǐng)域，圖像融合技術(shù)可以增加圖像的有效信息量，從而提高檢測效果。紅外熱像儀和可見光CCD攝像機是目標檢測領(lǐng)域兩種最常用的成像傳感器，其中，紅外熱像儀得到的紅外圖像反映了目標和背景不可見紅外輻射的空間分布情況，其輻射亮度分布主要取決于被觀測物體的溫度和發(fā)射率，在紅外圖像中很容易看到低可視紅外熱目標。與紅外圖像相比，可見光圖像則提供了更多的目標或者場景的細節(jié)信息，有利于人眼觀察。可見光圖像與紅外圖像因其具有良好的互補性而得到了廣泛的應(yīng)用，二者的融合圖像綜合利用了兩個波段圖像的優(yōu)勢信息，從而可以獲得更全面、準確的場景描述，有利于實現(xiàn)對目標的精確識別、分析、理解或者判決。

圖像融合的最終目的是增加圖像的信息量，但是與人腦獲取信息的方式不同，各種圖像傳感器得到的信息存在冗余和相關(guān)。這不僅影響了融合效果也影響了對融合圖像質(zhì)量的判別。融合圖像質(zhì)量評價研究的最終目的就是討論如何分析融合后圖像的信息量增加的數(shù)量和類型。這里，信息量的增加需要從兩個角度分析:

(1)信息量的類型變化。

圖像信息的信息量與一般意義上的統(tǒng)計信息量不同，要以人眼敏感的圖像內(nèi)容為評價標準，因此，信息量類型的變化是評價的前提，所生成的圖像信息要以人眼敏感的圖像內(nèi)容為評價質(zhì)量。

(2)信息量的數(shù)量變化。

從多源傳感器得到的圖像信息生成的融合圖像在滿足圖像中增加的內(nèi)容滿足人眼可感知的前提下，評價信息量增加的數(shù)量，從而得到最終的量化評價結(jié)果。

圖像融合質(zhì)量評價的難點在于目前并不存在能給各種融合圖像質(zhì)量評價方法提供數(shù)據(jù)源的理想融合算法。因此，很難采用全參考的方法對融合圖像的質(zhì)量進行評價。而融合圖像又很難脫離源圖像(紅外源圖像和可見光源圖像)。目前的融合圖像質(zhì)量評價方法［2-3］大多抓住了信息量的數(shù)量增加這一重要指標，但是并沒有估計信息類型的變化，即僅從統(tǒng)計意義上信息分布的角度評價融合圖像的信息量數(shù)量變化。這樣的評價結(jié)果沒有考慮人眼視覺特性，從而造成了評價結(jié)果的不準確。本文研究了傳統(tǒng)的融合圖像質(zhì)量評價方法，結(jié)合已有的研究工作，提出了基于圖像結(jié)構(gòu)信息復(fù)數(shù)表示的融合圖像質(zhì)量評價方法，通過實驗驗證了算法，取得了較好的效果。

2 圖像結(jié)構(gòu)信息的復(fù)數(shù)表示

文獻［4］提出了一種圖像結(jié)構(gòu)信息的復(fù)數(shù)表示方法，旨在度量兩圖像的結(jié)構(gòu)相似程度。該算法首先需要計算圖像的梯度信息，對于二維灰度圖像矩陣，可以分解計算其水平梯度和垂直梯度:

由式(1)可以得到對應(yīng)于圖像I的梯度矩陣，該矩陣包含了圖像中某些HVS敏感的重要結(jié)構(gòu)信息，例如圖像的邊緣信息［5］。圖像梯度的變化對于圖像模糊失真的敏感程度較高，但是并不能全面解釋所有失真類型對圖像質(zhì)量的影響。這里采用復(fù)數(shù)的方法表示圖像的結(jié)構(gòu)信息［4］:

式中，Yx，y是位于(x，y)處的灰度值，Gx，y是該點的全局梯度值。對于彩色圖像，考慮到彩色圖像中的大多數(shù)信息包含在其亮度分量中，將RGB彩色圖像分解為YUV分量，將其亮度分量Y作為評價數(shù)據(jù)。這樣就得到了對應(yīng)于該圖像的復(fù)數(shù)矩陣，這樣的復(fù)數(shù)矩陣可以認為是結(jié)合了圖像的各種結(jié)構(gòu)信息，并且突出了圖像的梯度信息所描述的HVS敏感結(jié)構(gòu)信息內(nèi)容。

3 評價算法

圖像融合技術(shù)的特殊性使其在實際應(yīng)用中具有重要意義。因此，對于融合算法的性能評價無論在理論研究還是工程應(yīng)用中也逐漸得到了更多的重視［2-3］。目前已有的各種融合圖像評價方法以及各種改進方法大多數(shù)無法脫離信息論中的一個重要概念:互信息。以下給出了基于互信息的融合圖像質(zhì)量評價方法:A和B為兩幅源圖像，融合后得到的圖像為F，F(xiàn)與A、B之間的交互信息量分別表示為MIFA和MIFB［2］:

式(3)中，pA，pB和pF分別是圖像 A，圖像 B和圖像F的灰度直方圖分布，pFA(k，i)和pFB(k，j)分別代表兩組圖像的歸一化聯(lián)合灰度直方圖分布。將MIFA和MIFB之和作為融合圖像與源圖像A、B的交互信息量總和［44］:

式(4)的問題在于兩點:

(1)直接以圖像的像素灰度值作為評價數(shù)據(jù)源。

(2)評價過程采用傳統(tǒng)的統(tǒng)計學(xué)方法，沒有考慮人眼視覺特性。

在本文的研究中，為了進一步提高圖像結(jié)構(gòu)信息的載體所包含的信息量和信息的類型，將式(2)得到的復(fù)數(shù)矩陣作為度量矩陣。但是考慮到復(fù)數(shù)矩陣無法計算其灰度直方圖分布，將其分塊奇異值分解得到的矩陣為評價數(shù)據(jù)源，計算方法為:對于任意一個秩為r的矩陣A∈RN×M(實數(shù)或者復(fù)數(shù)矩陣)，則存在兩個酉矩陣U，V，使得:

式中，“?”表示共軛轉(zhuǎn)置;Σr=diag(s1，s2，…，sr)，x=(s1，s2，…，sr，0，…，0)T稱為矩陣 A 的奇異值特征向量，奇異值si(1≤i≤r)為實數(shù)。

圖像的奇異值向量能夠反映圖像的本質(zhì)能量特征，在圖像質(zhì)量評價中的應(yīng)用取得了良好的效果［6-10］。根據(jù)式(5)，可以得到表示該圖像結(jié)構(gòu)信息的矩陣，然后采用文獻［2］和文獻［3］的方法評價源圖像與融合圖像的互信息，從而得到最終的評價結(jié)果，相應(yīng)的評價方法稱為復(fù)數(shù)奇異值分解(QCSVD)和基于互信息的復(fù)數(shù)奇異值分解方法(QCSVD_mi)。

4 實驗結(jié)果

為了驗證本文所提的評價算法的性能，針對兩組融合圖像，采用常用的4種融合算法，分別為:均值方法，PCA方法，金字塔方法，小波方法得到了相應(yīng)的融合圖像。采用本文所提的方法，傳統(tǒng)的互信息方法，以及文獻［2］的方法對輸出的融合圖像質(zhì)量分別進行了評價。由于本文采用的融合算法均為灰度圖像融合算法，沒有考慮顏色信息，因此圖1給出的彩色融合圖像均經(jīng)過色彩空間變換得到。各種方法的評價結(jié)果由表1給出。

表1 融合圖像評價結(jié)果Tab.1 Assessment results of several fusion methods

圖1 用于測試的融合圖像Fig.1 Fusion images for test

本文所提方法的計算結(jié)果的數(shù)值越高，表示其評價的圖像的質(zhì)量越好。測試圖像分為兩組，分別為:圖1(a)～圖1(f)和圖1(a')～圖1(f')。其中，可見光圖像圖1(a)和紅外圖像圖1(b)為對應(yīng)于圖1(c)～圖1(f)的原始圖像，可見光圖像圖1(a')和紅外圖像圖1(b')為對應(yīng)于圖1(c')～圖1(f')的原始圖像。在一般意義的全參考、半?yún)⒖家约盁o參考圖像質(zhì)量評價中，通常采用有數(shù)百張圖像數(shù)據(jù)庫規(guī)模的測試圖像驗證評價方法［11-12］，但是本文所研究的融合圖像質(zhì)量評價并不存在這種數(shù)據(jù)庫，即融合圖像質(zhì)量評價目前尚不存在一般圖像質(zhì)量評價中通常采用的類似LIVE數(shù)據(jù)庫［13］的由數(shù)百張照片組成的測試數(shù)據(jù)庫，通常僅有幾張能夠使用的經(jīng)典圖像，如可見光圖像圖1(a)和紅外圖像圖1(b)，以及可見光圖像圖1(a')和紅外圖像圖1(b')。本文的實驗同樣無法找到類似于LIVE數(shù)據(jù)庫中的數(shù)百張DMOS數(shù)據(jù)庫驗證所提的方法，采用了經(jīng)典圖像研究所提的方法與人眼視覺特性的一致性。通過對圖1(c)～圖1(f)以及圖1(c')～圖1(f')融合圖像的主觀觀測可以看到，4種常見的圖像融合算法中，小波和金字塔方法得到融合圖像質(zhì)量最好，信息量豐富，并且能夠滿足人眼視覺特性的需要。事實上，由于小波分析的方法考慮到了多分辨率的特性，無論從算法的合理性以及與人眼視覺特性的一致性等方面都要好于簡單的均值方法和PCA方法。均值方法和PCA方法僅僅采用了簡單的統(tǒng)計學(xué)分析手段，因此采用此類得到的融合圖像體現(xiàn)出不同的缺點。均值方法得到的融合圖像的視覺感知質(zhì)量較差。根據(jù)人眼的主觀觀測，PCA方法幾乎沒有得到任何傳遞的有意義的增加信息量。因此，根據(jù)以上分析和人眼的主觀觀測，小波和金字塔方法融合效果最好，而均值和PCA方法的融合效果最差，因此，評價結(jié)果也應(yīng)該是圖1(e)和圖1(f)好于圖1(c)和圖1(d)，以及圖1(e')和圖1(f')好于圖1(c')和圖1(d')。各種評價方法的量化評價結(jié)果在表1中給出，由表1給出的數(shù)據(jù)可以看到，傳統(tǒng)的評價方法，例如互信息和文獻［2］方法對于均值或者PCA方法得到的融合圖像給出了較高的評價結(jié)果，這顯然與前面的分析不符。但是當采用了式(6)后，所給出的評價結(jié)果明顯比傳統(tǒng)方法更加合理，評價效果與主觀觀測效果的一致性好于傳統(tǒng)方法。

融合圖像的質(zhì)量評價需要考慮兩方面因素:

(1)信息量傳遞的數(shù)量;

(2)融合圖像的圖像質(zhì)量。

在大多數(shù)研究中，上述因素很難兼顧，其原因在于圖像質(zhì)量是人眼的主觀感知過程，與人眼的視覺生理學(xué)和視覺心理學(xué)特性直接相關(guān);信息傳遞的數(shù)量涉及到統(tǒng)計意義上的信息分布問題，而這里所提及的統(tǒng)計意義上的信息分布實際上也指的是與人眼視覺特性相關(guān)的統(tǒng)計信息分布特征。所傳遞的信息、所感知的信息必需緊緊圍繞人眼感知信息的統(tǒng)計學(xué)特征，即不能以簡單的信息量統(tǒng)計方法分析融合圖像的信息變化，必須考慮人眼敏感信息的類型、數(shù)量以及質(zhì)量。在本文的研究中，將能夠反映圖像敏感信息結(jié)構(gòu)特征的梯度作為一個重要的統(tǒng)計特征，采用復(fù)數(shù)表示方法將該特征與傳統(tǒng)方法結(jié)合。該方法取得較好實驗結(jié)果的關(guān)鍵在于考慮了人眼敏感結(jié)構(gòu)，從而使得評價結(jié)果與人眼視覺特性的一致性明顯好于傳統(tǒng)方法。

5 結(jié)論

本文提出了一種基于圖像結(jié)構(gòu)信息復(fù)數(shù)表示的融合圖像質(zhì)量評價方法。用復(fù)數(shù)表示圖像的結(jié)構(gòu)信息，增加了圖像矩陣所描述的圖像結(jié)構(gòu)信息與HVS的相關(guān)程度，避免了傳統(tǒng)的僅以傳遞統(tǒng)計信息量為評價標準的各種方法的不足。該方法充分利用了圖像中人眼較為敏感的圖像邊緣信息，將其作為信息傳遞的重要內(nèi)容，同時兼顧了對未知信息的預(yù)測。計算機仿真實驗證明了該方法的優(yōu)越性，評價結(jié)果優(yōu)于傳統(tǒng)的互信息等方法，而且算法對兩組圖像的評價結(jié)果比較接近，說明算法具有良好的穩(wěn)定性，與HVS的一致性較理想。另外，根據(jù)算法原理，該評價方法所給出的框架可以推廣到其他類型的融合圖像質(zhì)量領(lǐng)域。

［1］ 楊云，岳柱.基于融合圖像輪廓矩和Harris角點方法的遮擋人體目標識別研究［J］.液晶與顯示，2013，28(2):273-277.

YANG Y，YUE ZH.Human body target recognition under occlusion based on fusion of image contour moment and harris angular points［J］.Chinese J.Liquid Crystals and Displays，2013，28(2):273-277.(in Chinese)

［2］ XYDAES C，PETROVI V.Objective image fusion performance measure［J］.Electronic Letters，2000，36(4):308-309.

［3］ QU G H，ZHANG D L，YAN P F.Information measure for performance of image fusion［J］.Electronics Letters，2002，37(7):313-315.

［4］ 王宇慶.基于梯度復(fù)數(shù)矩陣的圖像質(zhì)量評價方法［J］.計算機技術(shù)與發(fā)展，2013(1):63-66.

WANG Y Q.Image quality assessment based on gradient complex matrix［J］.Computer Technology and Development，2013(1):63-66.(in Chinese)

［5］ PETROVIC'V S，XYDEAS C S.Gradient-based multiresolution image fusion［J］.IEEE T.Image Processing，2004，13:28-237.

［6］ 王宇慶.局部方差在圖像質(zhì)量評價中的應(yīng)用［J］.中國光學(xué)，2011，4(5):531-536.

WANG Y Q.Application of local variance in image quality assessment［J］.Chinese Optics，2011，4(5):531-536.(in Chinese)

［7］ 騫森，朱劍英.基于奇異值分解的圖像質(zhì)量評價［J］.東南大學(xué)學(xué)報(自然科學(xué)版)，2006，36(4):643-646.

QIAN S，ZHU J Y.Image quality measure using singular value decomposition［J］.J.Southeast University(Natural Science Edition)，2006，36(4):643-646.(in Chinese)

［8］ SHNAYDERMAN A，GUSEV A，ESKICIOGLU A M.An SVD-based grayscale image quality measure for local and global assessment［J］.IEEE T.Image Processing，2006，15(2):422-429.

［9］ NARWARIA M，LIN W S.Objective image quality assessment based on support vector regression［J］.IEEE T.Neural Networks，2010，21(3):515-519.

［10］ NARWARIA M，LIN W S.Scalable image quality assessment based on structural vectors［J］.IEEE，2009:1-6.

［11］ 王宇慶，朱明.評價彩色圖像質(zhì)量的四元數(shù)矩陣最大奇異值方法［J］.光學(xué) 精密工程，2013，21(2):469-478.

WANG Y Q，ZHU M.Max singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng.，2013，21(2):469-478.(in Chinese)

［12］ 姚軍財.基于人眼對比度敏感視覺特性的圖像質(zhì)量評價方法［J］.液晶與顯示，2011，26(3):390-396.YAO J C.Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):390-396.(in Chinese)

［13］ SHEIKH H R，WANG Z，CORMACK L，et al..LIVE image quality assessment database release［EB/OL］.［2013-7-18］.http://live.ece.utexas.edu/research/quality.