石平霞, 陳世國, 丁冬冬

(貴州師范大學(xué) 物理與電子科學(xué)學(xué)院, 貴州 貴陽 550025)

0 引 言

對于獲取不同模態(tài)的醫(yī)學(xué)圖像需要選用不同的成像儀器，不同模態(tài)的醫(yī)學(xué)圖像也攜帶著不一樣的組織信息。比如計(jì)算機(jī)斷層掃描(computerized tomography,CT)圖像和磁共振成像(magnetic resonance imaging,MRI)，CT圖像可以提供骨骼硬組織的信息，MRI中則是顯示了軟組織信息；單一模態(tài)的圖像并不能攜帶人體組織的全部信息，這對醫(yī)生的診斷是不利的。為了提高醫(yī)生對病情診斷的準(zhǔn)確性，并制定合理和完善的治療方案，這需要將不同模態(tài)的醫(yī)學(xué)圖像中的有用信息在同一圖像中呈現(xiàn)出來。正是由于醫(yī)學(xué)臨床中存在這種需求，醫(yī)學(xué)圖像融合也越來越受到圖像處理人員的關(guān)注[1]。

圖像融合按融合算法來分，一般分為空間域算法和變換域算法[2]。空間域算法只能進(jìn)行簡單的融合處理，其優(yōu)點(diǎn)是簡單，運(yùn)行時(shí)間短，可以抑制人造紋理，缺點(diǎn)是沒有考慮時(shí)間域與頻率域的關(guān)系，所以融合圖像不僅視覺效果較差，客觀評價(jià)因子也不理想。變換域算法是對圖像進(jìn)行多尺度變換，并對多尺度變換下的系數(shù)進(jìn)行處理。金字塔變換的融合方法，融合效果從主客觀評價(jià)來看，均優(yōu)于空間域算法[3]。但在融合過程中容易產(chǎn)生大量的冗余數(shù)據(jù)。Ranchin T和Wald L首次提出了基于小波分析的圖像融合這一概念[4]，降低了數(shù)據(jù)處理量，但其分解的方向性有限。

李凱等人[5]提出一種基于四元小波變換與Copula模型的融合方法，融合圖像清晰，但在邊緣處出現(xiàn)信息丟失的現(xiàn)象。Yin H等人[6]通過將源圖像作為訓(xùn)練數(shù)據(jù)獲得聯(lián)合字典，然后使用最大加權(quán)多范數(shù)融合規(guī)則融合圖像，但融合圖像存在細(xì)節(jié)信息丟失的問題。而非下采樣剪切波變換(non-subsampled shear wave transformation,NSST)不僅具有平移不變性的優(yōu)點(diǎn)，還有較強(qiáng)的方向選擇性。

因此，為了進(jìn)一步提高融合圖像質(zhì)量，本文提出了基于非下采樣剪切波與引導(dǎo)濾波[7,8]相結(jié)合的融合方法。用NSST可以獲取源圖像的更多細(xì)節(jié)信息；引導(dǎo)濾波器用于圖像處理不僅可以增強(qiáng)空間的連續(xù)性，避免引入人造紋理[9]，而且設(shè)計(jì)復(fù)雜度比較低。

1 本文算法

1.1 NSST

NSST是通過多尺度分解和方向局部化來實(shí)現(xiàn)。使用非下采樣金字塔濾波器組NSLP實(shí)現(xiàn)多尺度分解，使用剪切濾波器SF實(shí)現(xiàn)方向局部化。對源圖像進(jìn)行N級分解，得到1個(gè)低頻分量和N個(gè)大小相同但尺度不同高頻分量。3級NSST分解過程如圖1所示。

圖1 3級NSST分解

1.2 引導(dǎo)濾波

記用于引導(dǎo)的圖像為F，輸入的圖像為I，輸出圖像為O。輸出圖像O與引導(dǎo)圖像F存在以下的線性關(guān)系

Oj=ajFj+bj,?i∈wi

(1)

式中aj,bj為線性系數(shù)，且在窗口wj均為常數(shù)。j為窗口wj的中心像素點(diǎn)，wj窗口大小為(2r+1)×(2r+1)。

為確定線性系數(shù)aj,bj，則必須對輸出圖像O有所約束，保證輸入圖像I和輸出圖像O之間的差值最小，從而將問題轉(zhuǎn)換為最優(yōu)求解問題

(2)

式中ε為防止系數(shù)aj過大而設(shè)定的正則化參數(shù)。通過最小二乘法，可以求出線性參數(shù)aj和bj

(3)

(4)

(5)

2 融合規(guī)則

2.1 算法流程

對圖像進(jìn)行融合處理時(shí)，融合規(guī)則是融合處理的核心，它會(huì)從運(yùn)行速度和圖像融合的質(zhì)量兩個(gè)方面來影響融合處理。因此，選擇合適的融合規(guī)則在融合處理中具有舉足輕重的意義?；贑T和MRI圖像融合步驟如下：1)對兩幅源圖像分別進(jìn)行NSST分解，得到各自的高低頻分量。2)低頻部分采用基于引導(dǎo)濾波的加權(quán)平均融合方法；高頻子帶系數(shù)采用平均梯度、區(qū)域能量指導(dǎo)加權(quán)系數(shù)和絕對值取大相結(jié)合的融合規(guī)則。3)對低頻子帶和高頻子帶進(jìn)行NNST逆變換，得到融合圖像。本文融合算法流程圖如圖2所示。

圖2 算法流程

2.2 低頻融合規(guī)則

低頻部分包含圖像的大部分能量，并且圖像中的信息都是存在相關(guān)性的，每個(gè)像素不是獨(dú)立的存在，像素在任何位置的像素點(diǎn)都能表現(xiàn)出很強(qiáng)的相關(guān)性，因此，不能對低頻部分進(jìn)行簡單取最大值或加權(quán)平均。但加權(quán)平均法有消除部分噪聲、源圖像信息損失較少的優(yōu)點(diǎn)。因此，頻部分采用基于引導(dǎo)濾波的加權(quán)平均融合方法，先將源圖像A的低頻分量作為引導(dǎo)濾波器的輸入圖像，源圖像B的低頻分量作為引導(dǎo)圖像。再將源圖像B的低頻分量作為引導(dǎo)濾波器的輸入圖像，源圖像A的低頻分量作為引導(dǎo)圖像。即

O=guidedfilter(I,F,r,eps)

(6)

式中O為輸出圖像，I為輸入圖像，F(xiàn)為引導(dǎo)圖像，r為窗口半徑(本文取9)決定引導(dǎo)圖像的顯著性差異，eps為正則化參數(shù)(本文取0.01)決定經(jīng)過引導(dǎo)濾波的圖像模糊度，一般來說，eps越大，圖像模糊得越厲害。

用源圖像A,B的低頻分量分別減去各自的經(jīng)引導(dǎo)濾波器的輸出圖像，得到其銳化圖像，再根據(jù)得到的銳化圖像的改進(jìn)的區(qū)域拉普拉斯能量和(SML)來確定融合權(quán)值，則融合圖像的低頻子帶系數(shù)為

(7)

式中A(i,j)為融合圖像在像素點(diǎn)(i,j)的融合系數(shù)。wt1和wt2分別為源圖像A和B的改進(jìn)的拉普拉斯能量和

(8)

式中SMLe為第i幅圖像的局部區(qū)域大小為M×N下的改進(jìn)的拉普拉斯能量和，本文的區(qū)域大小取為3×3。則

|2Il(i,j)-Il(i,j-p)-Il(i,j+p)|

(9)

2.3 高頻融合規(guī)則

高頻子帶系數(shù)主要是源圖像的輪廓、細(xì)節(jié)及紋理等信息。人眼的視覺系統(tǒng)對像素不敏感，但對圖像的邊緣、方向和紋理信息敏感，區(qū)域能量保留圖像細(xì)節(jié)信息的同時(shí)也反映了圖像的相關(guān)性。區(qū)域能量越大，圖像的細(xì)節(jié)信息也就越豐富。圖像的平均梯度反映了圖像的清晰度, 同時(shí)還反映出圖像對微小細(xì)節(jié)反差的表達(dá)能力和圖像的紋理變換特征。所以,本文針對高頻分量提出區(qū)域平均梯度、區(qū)域能量和改進(jìn)的S函數(shù)[10]共同指導(dǎo)加權(quán)系數(shù)的融合規(guī)則。

對于高頻分量采取如下規(guī)則

(10)

式中m,n分別為圖像的行和列，f(i,j)為源圖像A和B高頻分量在像素點(diǎn)(i,j)處的系數(shù)值，Tl,k(i,j)為像素點(diǎn)(i,j)處平均梯度，本文中高頻子帶領(lǐng)域窗口設(shè)置為5×5。有

(11)

式中v(i,j)為以像素點(diǎn)(i,j)為中心的大小m×n的鄰域窗口，本文中高頻子帶鄰域窗口設(shè)置為5×5，El,k(i,j)為像素點(diǎn)(i,j)的局部區(qū)域能量。

加權(quán)系數(shù)w由改進(jìn)的S函數(shù)確定

(12)

式中k為S函數(shù)的伸縮因子且大于1，本文取k=5。則高頻分量在像素點(diǎn)處(i,j)的高頻融合系數(shù)

(13)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與圖像選取

實(shí)驗(yàn)環(huán)境：電腦配置為Lenovo XiaoXin I2000，操作系統(tǒng)為Windows7，實(shí)驗(yàn)軟件為MATLAB。本文選取的是已經(jīng)經(jīng)過嚴(yán)格配準(zhǔn)的三組CT和MRI圖像作為源圖像，三組圖像大小均為256×256。

3.2 實(shí)驗(yàn)結(jié)果

將本文算法與基于拉普拉斯金字塔(LP)，基于引導(dǎo)濾波(GF)，基于自適應(yīng)稀疏表示的融合(ASR)，基于壓縮感知融合(SA)，基于卷積稀疏的形態(tài)成分分析融合(CSMCA)[11]，這五種算法進(jìn)行對比。基于拉普拉斯金字塔算法的分解層數(shù)為4，采用加權(quán)平均的融合規(guī)則，其他算法的。圖3(c)、圖4(c)、圖5(c)為LP融合算法的融合圖像，圖3(d)、圖4(d)、圖5(d)為GF融合算法的融合圖像，圖3(e)、圖4(e)、圖5(e)為ASR融合算法的融合圖像，圖3(f)、圖4(f)、圖5(f)為SA融合算法的融合圖像，圖3(g)、圖4(g)、圖5(g)為CSMCA融合算法的融合圖像。圖3(h)、圖4(h)、圖5(h)為本文算法的融合圖像。融合結(jié)果如圖3、圖4、圖5所示。

圖3 第一組實(shí)驗(yàn)結(jié)果

圖4 第二組實(shí)驗(yàn)結(jié)果

圖5 第三組實(shí)驗(yàn)結(jié)果

3.3 實(shí)驗(yàn)分析

從主觀評價(jià)來看，圖3(c)、圖3(d)、圖3(e)、圖3(g)存在圖像亮度不足的問題；圖3(f)在邊緣處出現(xiàn)偽影。圖4(c)、圖4(d)、圖4(e)、圖4(f)和圖4(g)融合圖像較暗，紋理不夠清晰；圖4(f)在邊緣處出現(xiàn)偽影。圖5(c)和圖5(e)的對比度不強(qiáng)，視覺效果不足；圖5(d)和圖5(g)的輪廓信息不完整。圖3(h)、圖4(h)、圖5(h)的融合圖像中可以看出，融合的圖像紋理清晰，細(xì)節(jié)信息較為豐富，視覺效果較好，為了進(jìn)一步驗(yàn)證該算法的優(yōu)越性，本文選取的信息熵(EN)、標(biāo)準(zhǔn)差(STD)、空間頻率(SF)、邊緣強(qiáng)度(EIN)和圖像清晰度(FD)作為圖像融合的客觀評價(jià)標(biāo)準(zhǔn)。評價(jià)指標(biāo)如表1所示。

表1 第一組實(shí)驗(yàn)客觀評價(jià)指標(biāo)表

由表1可知，本文算法在第一組實(shí)驗(yàn)和第三組實(shí)驗(yàn)中，6個(gè)評價(jià)指標(biāo)均優(yōu)于其他5種算法，本文算法在第二組實(shí)驗(yàn)中，僅有空間頻率略低于SA算法。

4 結(jié)束語

由于醫(yī)學(xué)圖像在融合后會(huì)存在細(xì)節(jié)信息不夠清晰及信息丟失問題，結(jié)合NSST與引導(dǎo)濾波的特性，提出了一種基于NSST與引導(dǎo)濾波相結(jié)合的醫(yī)學(xué)圖像融合算法。該算法充分利用NSST方向選擇性強(qiáng)的特性，結(jié)合引導(dǎo)濾波保持邊緣特征的優(yōu)勢，對低頻部分采用基于引導(dǎo)濾波的加權(quán)融合算法，對高頻部分采用平均梯度、區(qū)域能量指導(dǎo)加權(quán)系數(shù)的融合策略，很好地完成了CT與MRI圖像的融合。實(shí)驗(yàn)結(jié)果表明：該算法有效的保留了圖像的細(xì)節(jié)信息，提高融合圖像的清晰度，避免融合圖像的信息丟失。不僅主觀上有較好的視覺效果，客觀評價(jià)中評價(jià)指標(biāo)也有較好的結(jié)果，從而說明了該算法是一種較為有效的圖像融合算法。