信博文，楊鳳蕓

（遼寧科技大學(xué) 土木工程學(xué)院，遼寧 鞍山 114051）

圖像融合是一項(xiàng)很重要的圖像處理技術(shù)，經(jīng)過該技術(shù)處理后的遙感圖像解譯能力有所提高。因此，很多研究者針對各自行業(yè)開發(fā)了圖像處理軟件，如鐵路行業(yè)設(shè)計(jì)了地質(zhì)遙感圖像處理系統(tǒng)［1］，司法行業(yè)設(shè)計(jì)了刑事圖像融合界面［2］等。很多學(xué)者利用不同的語言編寫圖像質(zhì)量評價代碼，殷學(xué)永等［3］通過MATLAB程序，徐勝祥等［4］利用MatrixVB語言，葛祥等［5］基于IDL語言均完成圖像客觀評價。此外，很多融合方法應(yīng)用到遙感圖像上，唐敏［6］采用IHS（Intensity hue saturation，IHS）法融合遙感圖像，紀(jì)峰等［7］使用PCA（Principal component analysis，PCA）法融合遙感圖像，原惠峰等［8］利用離散小波變換法融合紅外圖像。目前，針對測繪工程且基于MATLAB軟件的圖像融合評價一體化的系統(tǒng)還未見報道。本文基于MATLAB軟件的圖形用戶界面（Graphical user interface，GUI），利用小波法、PCA法、IHS法三種融合方式融合遙感圖像，建立遙感圖像融合評價系統(tǒng)，提出熵、標(biāo)準(zhǔn)差等九項(xiàng)客觀評價指標(biāo)，以滿足測繪工程遙感圖像融合與評價工作的需求。

1 遙感圖像融合評價系統(tǒng)總體設(shè)計(jì)

MATLAB具有編程速度快、繪圖能力強(qiáng)、矩陣數(shù)組計(jì)算高效等特點(diǎn)，在圖形圖像處理和計(jì)算機(jī)視覺等方面有很大優(yōu)勢［9］。GUI是MATLAB的重要的組件之一，用戶通過它設(shè)計(jì)窗口的菜單、按鈕、文本等對象。

本文采用MATLAB R2020a設(shè)計(jì)的遙感圖像融合評價系統(tǒng)主頁面見圖1。系統(tǒng)由菜單搭建而成，包括遙感圖像融合方法、遙感圖像質(zhì)量評價、退出程序三個主菜單，前兩個主菜單下分別有三個子菜單，單擊任一子菜單按鈕，都將切換到與其相對應(yīng)的GUI頁面，單擊“退出程序”主菜單將關(guān)閉遙感圖像融合評價系統(tǒng)。

圖1 遙感圖像融合評價系統(tǒng)主頁面Fig.1 Home page of remote sensing image fusion evaluation system

2 遙感圖像融合方法及界面設(shè)計(jì)

遙感圖像融合評價系統(tǒng)中的“遙感圖像融合方法”模塊，有三種圖像融合小程序，包括小波法、PCA法和IHS法，用戶可以按照需求去選擇相應(yīng)的融合程序。

2.1 小波法介紹及界面設(shè)計(jì)

小波法融合是對源圖像進(jìn)行多層小波分解，得到多光譜、全色波段圖像的低頻和高頻分量，計(jì)算出小波變換系數(shù)，根據(jù)高低頻不同的信息特點(diǎn)采用相應(yīng)的融合策略，抽取各自的特征信息，最后利用重構(gòu)算法對處理后的小波系數(shù)進(jìn)行小波逆運(yùn)算，即可得到融合后的圖像。

小波法圖像融合小程序分為圖像顯示和控制按鈕，包含按鈕、面板、坐標(biāo)軸、文本框四種控件，每個按鈕都對應(yīng)相應(yīng)的回調(diào)函數(shù)。當(dāng)進(jìn)行圖像融合時，依次單擊“加載圖像1”“加載圖像2”按鈕，即在“圖像”欄顯示源圖像；點(diǎn)擊“進(jìn)行融合”，程序進(jìn)行小波融合，并在融合成功后彈出“小波融合完畢”對話框以提醒使用者；點(diǎn)擊“顯示圖像”，在“圖像”欄顯示融合圖像，點(diǎn)擊“保存圖像”，用戶可選取電腦中的任意位置保存融合圖像。小波法圖像融合的GUI界面見圖2a。

2.2 PCA法介紹及界面設(shè)計(jì)

PCA法即主成分分析法，該變換的融合原理是對多光譜圖像進(jìn)行配準(zhǔn)，并計(jì)算其主成分變換矩陣的特征值與特征向量，以從大到小的順序排序后計(jì)算各主分量，在進(jìn)行直方圖匹配后用全色圖像替換第一主分量，最后完成逆主分量變換，即可得到融合圖像。

PCA圖像融合小程序設(shè)計(jì)與小波圖像融合小程序一樣，其GUI界面見圖2b。

2.3 IHS法介紹及界面設(shè)計(jì)

IHS法融合首先進(jìn)行重采樣工作，保證多光譜圖像和全色圖像的空間分辨率相同，通過RGB空間到IHS空間轉(zhuǎn)換，得到I、H、S三個分量，然后進(jìn)行直方圖匹配以保證匹配圖像與源圖像擁有相關(guān)性，得到融合分量I0，用I0代替I并與H、S分量一起進(jìn)行逆變換還原到RGB空間，最后得到融合圖像。

IHS圖像融合小程序設(shè)計(jì)也與小波圖像融合小程序一樣，其GUI界面見圖2c。

圖2 不同方法圖像融合的GUI界面Fig.2 GUI pages for image fusion with different methods

3 遙感圖像質(zhì)量評價方法及界面設(shè)計(jì)

遙感圖像融合的質(zhì)量評價手段主要有主觀評價和客觀評價兩種。主觀評價通過人的判斷與體驗(yàn)直觀地評價圖像?？陀^評價通過指標(biāo)的比較來評價融合圖像質(zhì)量。

遙感圖像評價融合系統(tǒng)對于客觀評價部分進(jìn)行了界面設(shè)計(jì)。為遵循評價指標(biāo)的各自特性，遙感圖像質(zhì)量評價模塊分為單一圖像評價小程序和聯(lián)合圖像評價小程序。聯(lián)合圖像評價是指對參與融合的源圖像和融合圖像進(jìn)行評價。根據(jù)源圖像的不同數(shù)量，又可將聯(lián)合圖像細(xì)分為雙圖像與三圖像，分別對應(yīng)雙圖像評價小程序與三圖像評價小程序。

3.1 單一圖像的評價方法及界面設(shè)計(jì)

以熵、標(biāo)準(zhǔn)差、空間頻率和平均梯度評價指標(biāo)對單一圖像進(jìn)行客觀評價。單一圖像評價小程序的界面設(shè)計(jì)如圖3所示。用戶運(yùn)行該程序，點(diǎn)擊“加載圖像并計(jì)算”的按鈕，可選擇電腦中的任意一個圖像（全色波段圖像或多光譜圖像或融合圖像），在評價指標(biāo)面板中用戶直接讀取相應(yīng)數(shù)值。

圖3 單一圖像評價的GUI界面Fig.3 GUI page for single image evaluation

熵（Entropy，E）被稱為信息熵或平均自信息量，指的是接收到的每條消息中涵蓋信息量的平均值，直接體現(xiàn)圖像的信息量。數(shù)值越大信息量越多，證明圖像融合效果好。計(jì)算式為

式中：n為信源符號的n種取值；i表示灰度值；xi表示圖像；p(xi)表示某個灰度值在圖像中出現(xiàn)的概率。

標(biāo)準(zhǔn)差（Standard deviation，SD）表示圖像灰度相對于均值的離散情況，評價圖像的反差大小。數(shù)值越大反差越大，證明圖像信息量多。計(jì)算式為

式中：μ是圖像均值即像素的灰度平均值；N表示圖像大小。

空間頻率（Spatial frequency，SF）反映圖像灰度的變化率，數(shù)值越大變化率越大，證明圖像的細(xì)節(jié)紋理更加清晰。計(jì)算式為

式中：RF和CF分別為圖像的行頻率和列頻率。

平均梯度（Average gradient，AG）反映了圖像的整體活躍程度，數(shù)值越大活躍度越強(qiáng)，證明圖像擁有細(xì)節(jié)信息量多。計(jì)算式為

式中：ΔIx2和ΔIy2分別代表使用Sobel梯度算子計(jì)算的x和y方向的圖像梯度；M為圖像的總行數(shù)；N為圖像的總列數(shù)。

3.2 聯(lián)合圖像的評價方法及界面設(shè)計(jì)

以結(jié)構(gòu)相似性、峰值信噪比、交叉熵和互信息評價指標(biāo)對聯(lián)合圖像進(jìn)行客觀評價。雙、三圖像評價小程序的界面設(shè)計(jì)如圖4所示。

圖4 聯(lián)合圖像評價的GUI頁面Fig.4 GUI pages of joint image evaluation

結(jié)構(gòu)相似性（Structural similarity index，SSIM）是一種全參考的評價方法，通過亮度、對比度和結(jié)構(gòu)三個因素共同計(jì)算出圖像的相似性。數(shù)值越大相似程度越高，證明源圖像與融合圖像接近。計(jì)算式為

式中：X和X分別代表圖像X和圖像Y；l(X,Y)]代表均值進(jìn)行亮度估計(jì)；c(X,Y)代表方差進(jìn)行對比度估計(jì)；s(X,Y)代表協(xié)方差進(jìn)行結(jié)構(gòu)估計(jì)。

峰值信噪比（Peak signalnoise ratio，PSNR）的數(shù)值越高質(zhì)量越高，證明圖像融合效果好。計(jì)算式為

式中：MAX12為圖像的最大像素；MSE代表均方誤差。

交叉熵（Cross entropy，CE）用于相對衡量源圖像與融合后的圖像之間的差異性信息，熵值越小差異越小，證明得到了很多源圖像的信息，融合質(zhì)量高。為保證評價更加精準(zhǔn)，將計(jì)算均方根交叉熵（Root-mean-square cross entropy，RCE），比較兩幅源圖像與融合后圖像之間的交叉熵關(guān)系。計(jì)算式為

式中：H(P1,Q)表示源圖像1與融合圖像之間的交叉熵；H(P2,Q)表示源圖像2與融合圖像之間的交叉熵。

互信息（Mutual information，MI）反映了融合后的圖像獲取兩幅源圖像信息量的情況，與融合效果成正比例關(guān)系。數(shù)值越大融合效果越好，證明融合圖像擁有更多源圖像的信息量。計(jì)算式為

式中：A表示第一幅源圖像；B表示第二幅源圖像；F表示融合圖像；JEA,F表示A、F的聯(lián)合熵；IEA表示源圖像A的信息熵；JEB,F表示B、F之間的聯(lián)合熵；IEB表示源圖像B的信息熵。

融合質(zhì)量（Quality，Q）是關(guān)于像素級圖像融合質(zhì)量評價指標(biāo)，是一種非參考的歸一化加權(quán)性能指標(biāo)，利用局部度量估計(jì)顯著信息在融合圖像中的表現(xiàn)程度。數(shù)值越高表現(xiàn)越好，證明融合圖像具備更高的質(zhì)量。計(jì)算式為

式中：a和b代表兩幅源圖像；f為融合圖像；|W|為圖像的對應(yīng)窗口；Q0(a,f|w)表示在圖像a和f之間的指標(biāo)；Q0(b,f|w)表示圖像b和f之間的指標(biāo)值；λ(w)為相對權(quán)重。

雙圖像評價小程序使用結(jié)構(gòu)相似性和峰值信噪比對兩幅圖像進(jìn)行客觀評價；三圖像評價小程序使用交叉熵、互信息和融合質(zhì)量對三幅圖像進(jìn)行客觀評價。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)介紹

為驗(yàn)證遙感圖像融合評價系統(tǒng)的實(shí)用性，本文進(jìn)行了實(shí)驗(yàn)驗(yàn)證。選取MATLAB R2020a軟件自帶的遙感圖像作為實(shí)驗(yàn)圖像。該圖像在軟件安裝目錄toolbox\images\imdata下，是同一地區(qū)同一時間的全色波段圖像和多光譜圖像，詳見圖5。首先對兩幅遙感圖像進(jìn)行預(yù)處理，在https：//ps.gaoding.com//網(wǎng)站將圖像的分辨率統(tǒng)一設(shè)置為360×360。進(jìn)入系統(tǒng)，通過“遙感圖像融合方法”模塊，運(yùn)行“小波法圖像融合”“PCA法圖像融合”和“IHS法圖像融合”，可以得到三種不同融合圖像。通過“遙感圖像質(zhì)量評價”模塊，運(yùn)行“單一圖像評價小程序”“雙圖像評價小程序”和“三圖像評價小程序”，可以得到源圖像及融合圖像的熵、標(biāo)準(zhǔn)差等9項(xiàng)評價指標(biāo)。其中，雙圖像選取多光譜圖像與不同方法融合圖像，三圖像選取多光譜、全色波段和不同方法融合的圖像。

圖5 源圖像與不同方法得到的融合圖像Fig.5 Source image and fused images obtained by different methods

4.2 評價結(jié)果

選取融合前后圖像中的建筑物、植被、道路作為參考地物進(jìn)行主觀評價。從圖5的清晰度分析，IHS、PCA法融合的圖像優(yōu)于小波法融合圖像，IHS融合圖像細(xì)節(jié)更出色，清晰度更高；從色彩分析，IHS融合圖像與多光譜圖像最為相近，而小波融合圖像色彩改變比較大，出現(xiàn)了明顯的失真現(xiàn)象。

通過“遙感圖像質(zhì)量評價”模塊計(jì)算不同融合圖像的熵、標(biāo)準(zhǔn)差等9項(xiàng)客觀評價指標(biāo)，運(yùn)算結(jié)果詳見表1與表2。IHS融合圖像的熵值是三種融合方法中最高的，其數(shù)值還超過多光譜圖像，說明該方法融合效果最好。PCA法的標(biāo)準(zhǔn)差值最大，表明經(jīng)PCA法融合后的圖像能最好地反映出多光譜和全色圖像的信息量?？臻g頻率值表明圖像的清晰度，融合圖像的數(shù)值都小于源圖像值，PCA的空間頻率值略大于IHS，這與主觀評價結(jié)果不符，因此在實(shí)際評價中應(yīng)該全面考慮。PCA的平均梯度值明顯高于小波法，較接近多光譜圖像，說明PCA法融合圖像有細(xì)節(jié)反差特征。

表1 單一圖像評價指標(biāo)Tab.1 Evaluation indexes for single image

表2 聯(lián)合圖像評價指標(biāo)Tab.2 Evaluation indexes for joint image

結(jié)構(gòu)相似性值反映融合圖像與多光譜圖像的接近程度，小波法的結(jié)構(gòu)相似性值最大，最接近源圖像。峰值信噪比值表示圖像融合的質(zhì)量，小波法融合圖像的效果最好，這與主觀評價的結(jié)果有些出入，證明人眼對于圖像評價結(jié)果并不是絕對的，會受到其他元素的干擾。交叉熵值衡量源圖像與融合圖像的差異性信息，IHS法熵值最小，質(zhì)量最高?；バ畔⒅当砻魅诤蠄D像獲取源圖像信息情況，PCA的數(shù)值最大，擁有源圖像最多的信息量。融合質(zhì)量值證明PCA融合圖像是質(zhì)量最高的融合圖像。

5 結(jié)論

本文建立了遙感圖像融合系統(tǒng)，實(shí)現(xiàn)了小波法、PCA法、IHS法圖像融合及熵等九項(xiàng)客觀評價指標(biāo)，并通過實(shí)驗(yàn)驗(yàn)證了本系統(tǒng)的可行性。將本系統(tǒng)與主觀評價相結(jié)合，能更直觀地評價出遙感圖像的質(zhì)量，也能比較出不同融合方法的優(yōu)缺點(diǎn)。小波融合圖像色彩改變明顯；PCA法能擁有較多的源圖像信息且融合圖像細(xì)節(jié)特征較明顯；IHS法融合圖像與多光譜圖像的色彩更接近，融合質(zhì)量更高。