劉 戀, 郭立強

(1.淮陰師范學(xué)院 物理與電子電氣工程學(xué)院, 江蘇 淮安 223300;2.淮陰師范學(xué)院 計算機科學(xué)與技術(shù)學(xué)院, 江蘇 淮安 223300)

基于GUI的彩色圖像融合客觀評價系統(tǒng)的研究

劉 戀1, 郭立強2

(1.淮陰師范學(xué)院 物理與電子電氣工程學(xué)院, 江蘇 淮安 223300;2.淮陰師范學(xué)院 計算機科學(xué)與技術(shù)學(xué)院, 江蘇 淮安 223300)

隨著圖像融合技術(shù)的發(fā)展,圖像融合客觀評價指標已成為模式識別領(lǐng)域的一個新的研究方向．圖像融合客觀評價方法多是針對灰度圖像,彩色圖像融合客觀評價方法相對較少．介紹了傳統(tǒng)的灰度圖像融合評價方法和彩色圖像融合客觀評價指標,通過實驗對該理論的幾種經(jīng)典評價方法進行分析,最后將實驗結(jié)果用基于GUI的彩色圖像融合客觀評價系統(tǒng)形式給出,期望對彩色圖像融合客觀評價有所幫助．

彩色圖像; 圖像融合; GUI; 客觀評價指標

0 引言

圖像融合就是設(shè)計一種方法,將多個傳感器所拍攝的同一目標或場景圖像融合成為一幅新的圖像,這個過程不是將圖像簡單的疊加,而是利用互補信息,去除冗余,提高圖像的可靠性和清晰度,進而方便人眼觀察或計算機處理．20世紀90年代初,彩色圖像融合技術(shù)在美國率先發(fā)展起來,隨著傳感器技術(shù)的發(fā)展,我們獲得、存儲彩色圖像的能力越來越強,彩色圖像融合已經(jīng)成為圖像融合領(lǐng)域的發(fā)展方向和研究熱點[1-3]．為了甄別彩色圖像融合算法性能的優(yōu)劣,我們通常采用兩類評價方法,即主觀評價方法和客觀評價方法．主觀評價方法需要統(tǒng)計大量的觀察者所給出的評價結(jié)果,成本高,實時性差,而彩色圖像融合客觀評價方法通過合理量化圖像進而給出客觀的評價,避免了上述缺點,并且有利于圖像融合算法性能的提高和圖像融合方案的優(yōu)化．

現(xiàn)有的圖像融合客觀評價方法多是針對灰度圖像[4-7],或者是將彩色圖像轉(zhuǎn)換為灰度圖像來研究．好的客觀評價指標必須要符合人眼視覺感知,達到主客觀評價一致．本文對現(xiàn)有彩色圖像客觀評價指標進行綜述,并且利用GUI構(gòu)建彩色圖像客觀評價系統(tǒng),旨在向讀者介紹彩色圖像融合客觀評價指標的發(fā)展動態(tài),通過彩色圖像融合客觀評價系統(tǒng)將評價指標的性能直觀體現(xiàn)出來,希望能夠引起更多科研人員關(guān)注該領(lǐng)域的研究工作．

1 彩色圖像融合客觀評價指標研究

1.1 傳統(tǒng)灰度圖像融合客觀評價指標

灰度圖像的評價指標也可以用于彩色圖像融合,需要把融合后的彩色圖像變換成灰度圖像然后再應(yīng)用灰度圖像的評價指標．這樣處理會使彩色圖像的顏色信息無法得到量化,難以實現(xiàn)客觀評價的需求．有關(guān)灰度圖像融合的經(jīng)典評價指標有:基于互信息(MI)的客觀評價方法[4]、基于邊緣信息傳遞[5]的方法(Qabf)、基于光譜扭曲度(IDM)的評價方法[6]、基于相關(guān)系數(shù)(CC)的評價方法[7]．近兩年來,灰度圖像融合客觀評價指標取得了新的進展．

Han[8]等作者提出了一種基于視覺信息保真度(VIFF)的多分辨率融合客觀評價指標,該指標首先對參考圖像和測試圖像進行劃分,得到一系列子圖像．接下來,在有噪聲和無噪聲條件下分別計算局部SNR得到局部VIFF,最后整幅圖像的VIFF是通過局部指標加權(quán)平均得到．

Kaplan[9]等作者出了研究單調(diào)回歸的非線性相關(guān)系數(shù)(MC),揭示了MC的內(nèi)涵:圖像質(zhì)量特征與人眼視覺的一致性,基于此,文章提出了歸一化廣義相似比率用于評估具有高MC值的統(tǒng)計特性并用于圖像融合評價．

M.B.A.Haghighat 等人通過邊緣分布來估計聯(lián)合概率分布的方式來計算互信息,并以此得到了一種無參圖像融合客觀評價指標[10]．Zhang[11]等作者采用結(jié)構(gòu)相似度指標并結(jié)合人類視覺感知系統(tǒng)的特點提出了一種視頻圖像融合評價算法．Kotwal[12]提出了融合一致性的概念,在此理念下作者對一些經(jīng)典客觀評價指標進行修改實現(xiàn)了對高光譜圖像的融合評價．

1.2 彩色圖像融合客觀評價指標

Y.Yuan等提出了彩色與紅外圖像融合評價指標[13]:ISM,ICM,CCM，ISM指標是融合圖像細節(jié)信息(如邊緣信息)的評價指標,是通由圖像梯度的計算得來,由式(1)確定:

(1)

其中,Gx和Gy分別是融合圖像在x軸和y軸方向的索貝爾梯度算子．通過對各個像素點計算Gx和Gy的值來得到融合圖像的局部梯度信息,再經(jīng)過累加求和、取平均就得到整幅圖像的平均梯度值,即ISM值．ISM值越大,說明圖像的細節(jié)信息越多,融合效果就越好．

ICM指標是由灰度對比度和彩色對比度構(gòu)成,分別由式(2)和(3)計算得到

(2)

(3)

其中,P(·)是圖像直方圖函數(shù),αI,αL是與之相關(guān)的參數(shù),詳見文[13]．ICM指標是由式(4)確定

(4)

ICM的取值范圍是[0,1],ICM值越大,說明對比度越好,融合圖像的質(zhì)量就越高．CCM值由彩色色度CCM 1和彩色差分梯度CCM 2構(gòu)成．CCM 1由式(5)計算得到

(5)

(6)

CCM=(CCM 1+CCM 2)/2

(7)

CCM值越大,說明融合圖像的色彩越豐富,融合質(zhì)量越高．

在融合指標的構(gòu)建上,Tsagaris[14]基于兩方面的考慮:原始圖像和融合圖像間到底有多少相同的信息;融合圖像中顏色信息的分布情況,文章提出用互信息和條件互信息來進行前者的評價,給出IFPM指標．同時,在CIELAB顏色空間構(gòu)建HD指標用于衡量顏色信息．

此外,基于四元數(shù)矩陣分解的彩色圖像融合客觀評價指標(QISVD)[15],以及基于四元數(shù)卷積的客觀評價指標[16]．基于四元數(shù)方法是把一幅彩色圖像f(x,y)用純四元數(shù)的形式進行表示:

f(x,y)=fR(x,y)·i+fG(x,y)·j+fB(x,y)·k

(8)

其中的fR(x,y),fG(x,y)和fB(x,y)分別代表彩色圖像R、G和B顏色分量．這一將圖像以四元數(shù)建模的方式避免了傳統(tǒng)的分通道處理圖像導(dǎo)致圖像顏色信息缺失的特點．在構(gòu)造無參客觀評價指標過程中,利用四元數(shù)值邊緣模板和彩色圖像四元數(shù)卷積運算,獲取彩色圖像的細節(jié)信息并以權(quán)重給出．最后通過量化計算給出融合圖像的客觀評估結(jié)果．

2 彩色圖像客觀評價系統(tǒng)的設(shè)計與實現(xiàn)

我們采用Matlab軟件來實現(xiàn)彩色圖像融合質(zhì)量評價系統(tǒng)．采用Matlab軟件進行編程的最大特點就是簡單和直接,它包含豐富的工具箱和系統(tǒng)函數(shù),使開發(fā)人員從繁瑣的程序代碼中解放出來．此外,Matlab可以與傳統(tǒng)的Fortran語言及C語言進行聯(lián)編,也可以進行并行計算(包括GPU計算)．同時,該軟件還有便捷強大的繪圖功能和圖形用戶界面(GUI),是廣大工程技術(shù)人員和科研人員首選的編程計算和仿真工具．

彩色圖像融合質(zhì)量評價系統(tǒng)分為兩部分:數(shù)值計算和圖形用戶界面．?dāng)?shù)值計算方面,我們主要編寫相關(guān)的客觀質(zhì)量評價函數(shù),在圖形用戶界面中對相關(guān)句柄圖形對象編寫回調(diào)函數(shù),在回調(diào)函數(shù)中對相關(guān)評價函數(shù)進行調(diào)用．而圖形用戶界面主要是實現(xiàn)圖像顯示,客觀評價方法的選擇,以及最終評價結(jié)果的顯示及相關(guān)結(jié)果的保存．

運行GUI界面對應(yīng)的m文件(FusionEvaluation1.m)會生成如圖1所示的界面．在該界面下,單擊“讀圖像”按鈕,會彈出select picture對話框,進入選擇并讀取原始圖像．為了便于進行主觀評價,需要在系統(tǒng)界面顯示所有的融合圖像,我們選擇了4種經(jīng)典的圖像融合算法,即基于均值、基于PCA、基于小波和基于四元數(shù)小波的融合方法,用所生成的4幅融合圖像來驗證客觀評價指標的性能．當(dāng)我們單擊“圖像融合”按鈕,會在“融合后的圖像”面板上顯示4種融合方法下的融合結(jié)果圖,詳見圖2．

圖1 評價系統(tǒng)界面 圖2 圖像融合結(jié)果顯示

在評價系統(tǒng)界面上分別選擇基于互信息(MI)的評價方法、基于相關(guān)系數(shù)(CC)的評價方法、基于光譜扭曲度(IDM)的評價方法、灰度圖像融合的評價方法(Qabf)、基于四元數(shù)的評價方法所對應(yīng)的5個單選按鈕,就會分別彈出相應(yīng)的客觀評價指標的結(jié)果柱狀圖．圖3是其中的兩個評價指標的結(jié)果圖．

圖3 基于互信息(MI)方法評價結(jié)果柱狀圖和基于四元數(shù)方法評價結(jié)果柱狀圖

3 實驗結(jié)果與分析

針對兩組待融合的原始圖像,分別采用均值方法、基于PCA的方法、基于小波的方法和基于四元數(shù)小波的融合算法得到相應(yīng)的融合圖像．上述4種彩色圖像融合方法所得到的融合圖像在視覺感知上有著明顯不同．針對4幅融合后的彩色圖像,采用基于互信息(MI)的客觀評價方法、基于相關(guān)系數(shù)(CC)的評價方法、基于光譜扭曲度(IDM)的評價方法、灰度圖像融合的評價方法(Qabf)、基于四元數(shù)的評價方法進行對比．

第一組實驗的原始待融合圖像和融合結(jié)果如圖4所示,原始圖像1的上半部分是清晰的,而下半部分是模糊的．相反,原始待融合圖像2的上半部分是模糊的,下半部分是清晰的．這組圖像分別用均值方法、基于PCA的方法、基于小波的方法和基于四元數(shù)小波的方法進行融合．

圖4 彩色圖像融合實驗(Plane)

對比(c)、(d)、(e)和(f)這4幅圖像,不難發(fā)現(xiàn)基于均值的方法所得到的圖像存在一定的模糊,這主要是該融合算法只是簡單的對原始圖像進行像素上的求平均值．基于主成份分析(PCA)的方法的融合結(jié)果最差,存在明顯的顏色失真同時圖像的上半部分有很明顯的模糊．這也充分說明PCA方法適合于高光譜圖像融合,并不適合于彩色圖像融合．相比而言,基于小波和基于四元數(shù)小波的融合方法得到的結(jié)果圖像效果較好．仔細對比之下,基于四元數(shù)小波的方法在清晰度上要優(yōu)于傳統(tǒng)小波方法．

表1 彩色圖像融合客觀評價結(jié)果比較(plane1)

表1給出了第一組圖像plane1的評價指標,是對圖像客觀定量的分析結(jié)果．表1的每一行表示同一評價指標對不同融合圖像的評價結(jié)果,從上到下依次是互信息(MI)的客觀評價結(jié)果、Qabf評價結(jié)果、相關(guān)系數(shù)(CC)評價結(jié)果、光譜扭曲度(IDM)評價結(jié)果、基于四元數(shù)的評價結(jié)果．這5種評價指標中,只有IDM指標是負向指標,也就是某幅圖像的指標值越小,就認為該圖像的融合結(jié)果越好．而其余5種評價指標都是正向評價指標,即值越大表示融合圖像質(zhì)量越好．

從表1我們可以看出,MI指標認為基于PCA的融合算法最好,這與前文我們定性分析的結(jié)果不符．CC指標顯示傳統(tǒng)小波方法優(yōu)于四元數(shù)小波融合方法,這也與人眼視覺感知相違背．IDM指標給出了傳統(tǒng)小波的融合算法結(jié)果最優(yōu)的不正確結(jié)論．Qabf和四元數(shù)方法雖然給出了四元數(shù)小波算法融合效果最好,但這兩個該指標表明PCA方法優(yōu)于均值方法．

第二組實驗采用的是第一組真實場景圖像,如圖5所示,原始圖像1的前景清晰而背景模糊,相反的,原圖像2的背景清晰而前景模糊．本組實驗也采用均值方法、PCA方法、小波方法和四元數(shù)小波方法進行圖像融合,所得融合結(jié)果圖像依次為圖5(c)～(f)所示．

圖5 彩色圖像融合實驗(real scene)

觀察圖5,我們能得到如下信息,PCA方法和均值方法都有顏色失真,但前者顏色失真更嚴重．小波和四元數(shù)小波方法融合圖像顏色保持很好,但從細節(jié)上觀察,基于四元數(shù)小波的融合方法得到的融合圖像更清晰．綜上,四元數(shù)小波方法最優(yōu),小波方法次之,均值方法第三,PCA方法最差．

表2 彩色圖像融合結(jié)果比較(real scene)

從表2我們可以看出,MI、CC和IDM指標顯示小波方法最優(yōu),這與視覺感知不相符,四元數(shù)方法顯示PCA方法優(yōu)于均值方法,這也與主觀評價相違背,而Qabf給出了符合視覺感知的正確結(jié)果．

綜上所述,基于互信息(MI)的客觀評價指標、Qabf評價指標、相關(guān)系數(shù)(CC)評價指標、光譜扭曲度(IDM)評價指標和基于四元數(shù)的評價指標都有優(yōu)缺點,針對不同的融合圖像,所給出的評價結(jié)果不同,不能夠給出與視覺感知一致的穩(wěn)定的評價結(jié)果．

4 結(jié)論與展望

本文所構(gòu)建的彩色圖像客觀評價系統(tǒng)基本實現(xiàn)了彩色圖像融合客觀評價指標的對比功能,未來的工作是研究出更好的評價算法,在該平臺下進行擴展．由于現(xiàn)有的彩色圖像融合客觀評價指標不能夠與人眼視覺感知相一致,達到主客觀評價相吻合．目前,彩色圖像融合評價領(lǐng)域并沒有一個公認的客觀評價指標,這給研究人員帶來了困難和挑戰(zhàn),這也是一個活躍的研究方向,值得研究人員去發(fā)掘和探索．

[1] YIN S F, Cao L C, Ling Y S,et al. One color contrast enhanced infrared and visible image fusion method[J]. Infrared Physics & Technology, 2010,53: 146-150.

[2] Mignotte M. A multiresolution markovian fusion model for the color visualization of hyperspectral images[J]. IEEE Trans. Geoscience and Remote Sensing, 2010, 48(12): 4236-4247.

[3] 王昕. 含噪聲圖像的多聚焦融合算法[J]. 光學(xué)精密工程,2011,19(12):2977-2984.

[4] Hossny M, Nahavandi S, Creighton D. Comments on Information measure for performance of image fusion[J]. Electronics Letters, 2008, 44(18): 1066-1067.

[5] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309.

[6] Li Z H, Jing Z L,Yang X H, et al. Color transfer based remote sensing image fusion using non-separable wavelet frame transform[J]. Pattern Recognition Letters,2005, 26(13): 2006-2014.

[7] Han S S, Li H T, Gu H Y,et al. The study on image fusion for high spatial resolution remote sensing images[M]. //The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVII Part B7.

[8] Han Y, Cai Y Z, Cao Y, et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion, 2013,14(2):127-135.

[9] Kaplan L M, Burks S D, Blum R S, et al. Analysis of Image Quality for Image Fusion via Monotonic Correlation[J]. IEEE Journal of Selected Topics in Signal Processing, 2009, 3(2):222-235.

[10] Haghighat M B A, Aghagolzadeh A, Seyedarabi Hadi. A non-reference image fusion metric based on mutual information of image features[J]. Computers and Electrical Engineering, 2011,37(5):744-756.

[11] Zhang Q, Wang L, Li H J, et al. Video fusion performance evaluation based on structural similarity and human visual perception[J]. Signal Processing,2012,92(4):912-925.

[12] Kotwal K, Chaudhuri S. A novel approach to quantitative evaluation of hyperspectral image fusion techniques[J]. Information Fusion,2013,14(1):5-18.

[13] Yuan Y H, Zhang J J, Chang B, et al. Objective quality evaluation of visible and infrared color fusion image[J].Optical Engineering,2011,50(3):033202.

[14] Tsagaris T. Objective evaluation of color image fusion methods[J].Optical Engineering, 2011,48(6):066201.

[15] Pang H C, Wang Y Q, Zhu M,et al. Quaternion Based Assessment Method For Color Image Fusion Algorithms[M].// 2010 3rd International Congress on Image and Signal Processing.

[16] 逄浩辰,朱明,郭立強. 彩色圖像融合客觀評價指標[J]. 光學(xué)精密工程,2013,21(9):2348-2353.

[責(zé)任編輯：蔣海龍]

Research Progress on Objective ColorImage Fusion Performance Index

LIU Lian1, GUO Li-qiang2

(1.School of Physics and Electronic Electrical Engineering, Huaiyin Normal University, Huaian Jiangsu 223300, China)(2.School of Computer Science and Technology, Huaiyin Normal University, Huaian Jiangsu 223300, China)

With the development of image fusion technology, the objective evaluation index for image fusion has becamed a new research direction of pattern recognition field. However, most of the existing evaluation index for image fusion was related to gray image, only a little paper address the evaluation method for color image fusion. A presentation about the traditional evaluation methods for gray image is given and the new evaluation methods for color image fusion were also introduced in this paper. The index referred above was analyzed and the experiment results were given in the form of objective evaluation index system for color image fusion, which based on GUI. This paper should provide some help for the research community on objective evaluation index for image fusion.

color image; image fusion; GUI; objective evaluation index

2015-09-25

國家自然科學(xué)基金資助項目(61203242); 江蘇省自然科學(xué)基金資助項目(BK20141253)

劉戀(1986-),女,吉林四平人,助理實驗師,碩士,研究方向為圖像處理和模式識別． E-mail: liulian@hytc.edu.cn

TP391.4

A

1671-6876(2015)04-0316-07