劉一男，張榮國，李建偉，王 曉，胡 靜

(太原科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024)

圖像獲取方式的多樣性可以允許不同模態(tài)的醫(yī)學(xué)圖像存儲和反映不同的圖像和視覺信息類別。沒有哪一種單一模態(tài)的圖像足以傳達(dá)組織或器官的完整信息。醫(yī)學(xué)圖像融合的最終目標(biāo)就是將不同類別的醫(yī)學(xué)圖像中的有利信息相互結(jié)合，以此來幫助醫(yī)生進(jìn)行下一步的診斷。

近年來，醫(yī)學(xué)圖像融合算法有了較快的發(fā)展，其中大多數(shù)提出的融合方法是基于多尺度變換進(jìn)行的[1]。而近幾年出現(xiàn)的非下采樣輪廓波變換(NSCT)和非下采樣剪切波變換(NSST)兩種分解方法，由于其平移不變性，可以避免圖像產(chǎn)生偽吉布斯現(xiàn)象。經(jīng)過不斷的研究發(fā)展，如今已經(jīng)發(fā)展了許多新穎的在多尺度變換下的融合方法。

Singh和Khare[2]提出改進(jìn)小波變換的方法。然而，這種方法具有較差的邊緣細(xì)節(jié)、清晰度和有限的方向性。Zhu[3]在多尺度域提出了輪廓波結(jié)合拉普拉斯能量的融合方法，改善了融合圖像的細(xì)節(jié)特征，然而，NSCT算法時間復(fù)雜度高，分解和重構(gòu)時間長，大大降低了融合效率。Wu[4]提出了一種具有加權(quán)最小二乘濾波器與引導(dǎo)濾波相結(jié)合的方法，盡管該方法在一定程度上保護(hù)了邊緣信息，但是其基礎(chǔ)層主要包含了圖像結(jié)構(gòu)信息，直接對其融合可能在之后的進(jìn)一步融合中模糊掉邊緣保護(hù)濾波所保留的顯著邊緣信息。

針對傳統(tǒng)醫(yī)學(xué)圖像融合方式所欠缺的方面，本文提出了一種新的融合算法。它可以解決傳統(tǒng)脈沖耦合網(wǎng)絡(luò)(PCNN)方法中自由參數(shù)的設(shè)置問題[5]。同時，該算法所需要進(jìn)行迭代的次數(shù)更少，收斂速度有了較大的提升。而基于視覺顯著映射(VSM)的低頻子帶融合規(guī)則，可以在最大程度上提升圖像的對比度，并使融合后的圖像具有更好的整體外觀。為了提高融合圖像對重要組織細(xì)節(jié)信息保留，對圖像的高頻子帶進(jìn)行了特征細(xì)節(jié)的提取，并以此作為脈沖耦合神經(jīng)網(wǎng)絡(luò)的外部激勵。

1 相關(guān)工作

1.1 非下采樣剪切波

作為一種多尺度和多方向的分解方法，NSST能夠獲得不同方向和角度的源圖像的最佳表示。與傳統(tǒng)的剪切波變換不同，NSST可以有效地保留源圖像的空間細(xì)節(jié)和結(jié)構(gòu)信息，因此在圖像融合中得到廣泛應(yīng)用。

NSST作為一個非正交變換工具，它主要包括一個非二次抽樣金字塔(NSP)和一個剪切濾波器(SF).能夠?qū)蜧ibbs現(xiàn)象的產(chǎn)生起到預(yù)防作用。具體來說，使用NSPF來獲得輸入圖像從細(xì)致到粗糙的多尺度分解。當(dāng)設(shè)定分解級別為F時，則經(jīng)過分解后，可以得到共F+1個子帶。包括F個高頻子帶和1個低頻子帶。而對于每個不同的分解級別，應(yīng)用SFB模塊來獲得圖像的多方向表示。

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)是基于小型哺乳動物視覺皮層模型的生物啟發(fā)神經(jīng)網(wǎng)絡(luò)模型[6]。圖像的像素與PCNN神經(jīng)元是對應(yīng)的，所以兩者的數(shù)量是相等的。傳統(tǒng)的 PCNN 模型結(jié)構(gòu)相對較為復(fù)雜，在將模型應(yīng)用于圖像處理領(lǐng)域時常常需要調(diào)整眾多的參數(shù)，所以在應(yīng)用時常常采用簡化后的PCNN模型，其表達(dá)式如下所示：

(1)

其中，F(xiàn)ij[n]和Lij[n]表示的是PCNN神經(jīng)元中的反饋輸入和鏈接輸入[6]。Fij[n]固定為整個迭代過程中輸入圖像Sij的強(qiáng)度。內(nèi)部活動Uij[n]由兩個參數(shù)所組成，第一項(xiàng)e-αlUij[n-1]是其先前值的衰減，第二項(xiàng)Fij[n](1+βLij[n])是Lij[n]和Fij[n]的非線性調(diào)制。而當(dāng)Uij[n]的值大于動態(tài)閾值Eij[n]時，PCNN模型的輸出部分Yij[n]被觸發(fā)，此時Yij[n]=1，而此時將PCNN模型初始化為Yij[n]=0;Uij[n]=0;Eij[n]=0.

從上述表述中可以看出PCNN中共有如下參數(shù)：動態(tài)閾值E的衰減系數(shù)αf，連接強(qiáng)度β，連接輸入的幅度VL，動態(tài)閾值的幅度VE，以及內(nèi)部活動的衰減系數(shù)αe.為了簡化參數(shù)的設(shè)置，采用如下所示公式進(jìn)行參數(shù)的計算選擇。參數(shù)可以計算為：

(2)

其中，σ(S)表示輸入圖像在[0，1]范圍內(nèi)的標(biāo)準(zhǔn)偏差，S和Smax分別表示歸一化后的閾值和進(jìn)行輸入圖像的最大亮度值。

2 所提算法

2.1 圖像的多尺度分解

利用 NSST可以將源圖像分解為一個近似圖和若干細(xì)節(jié)圖。源圖像在經(jīng)過NSST分解之后，可以采用下述公式表示：

(3)

圖1 本文所提算法流程圖

2.2 近似圖的融合規(guī)則

近似圖包含的是圖像的大部分能量與圖像整體的邊緣輪廓信息。本文提出的基于視覺顯著映射(VSM)加權(quán)平均方法去融合得到的近似圖，使用VSM來融合近似層，以此來避免醫(yī)學(xué)圖像中對比度的下降，通過構(gòu)建視覺顯著圖進(jìn)行近似圖融合，最后計算權(quán)重得到近似圖融合的結(jié)果。

設(shè)定Ip來表示圖像I中所存在像素p的亮度值。則其定義的顯著性值Vp為：

V(p)=|Ip-I1|+|Ip-I2|+…+|Ip-IN|

(4)

其中，N為圖像I中的像素總量。可以推斷出，兩個像素如果具有的強(qiáng)度值是一致的，那么就可以得到它們顯著性值也是相等的。由此，可以重寫定義為：

(5)

上式中，j表示圖像像素的強(qiáng)度，Mj表示強(qiáng)度等于j的像素的數(shù)量，L是灰度級的數(shù)量。然后，將Vp0歸一化為[0，1].讓V1和V2來分別代表解剖圖像和功能圖像的VSM結(jié)果。通過加權(quán)平均方法來去獲得融合近似層BF：

BF=WbB1+(1-Wb)B2

(6)

其中，權(quán)重Wb定義為:

(7)

如果V1在某些位置等于V2，權(quán)重Wb將取平均值。

2.3 細(xì)節(jié)圖的融合規(guī)則

細(xì)節(jié)圖反映了圖像在小尺度上的細(xì)節(jié)。而在以往的PCNN模型中，所選取的通常是輸入圖像像素的絕對值來作為外部刺激輸入到模型中，這就使得模型的信息采集過于單一，而且對于醫(yī)學(xué)圖像中特定細(xì)節(jié)的呈現(xiàn)及捕捉能力不足，不能更好的呈現(xiàn)多模態(tài)醫(yī)學(xué)圖像的融合效果[7]。本文通過分別對解剖圖像和功能圖像的高頻子帶進(jìn)行顯著特征提取，構(gòu)建顯著特征權(quán)重圖來作為PCNN的外部刺激輸入，本文提出的顯著特征提取方法及權(quán)重圖的構(gòu)建過程如下，灰度圖像ξ的顯著圖φ被給出為：

ξ(x,y)=|φμ(x,y)-φn(x,y)|

(8)

其中，‖代表絕對值，φμ是窗口大小為wμ的平均濾波器的輸出。φη是窗口大小為wη的中值濾波器的輸出。而想要對相關(guān)彩色圖像的視覺顯著性進(jìn)行獲得的方式如下:

ξ(x,y)=φμ(x,y)-φn(x,y)

(9)

通過更進(jìn)一步的細(xì)節(jié)圖構(gòu)建來作為外部激勵條件與PCNN模型進(jìn)行結(jié)合。通過分配適當(dāng)?shù)臋?quán)重進(jìn)行。權(quán)重圖是通過歸一化顯著圖來計算，歸一化使得權(quán)重圖的范圍達(dá)到[0，1]權(quán)重分配公式：

(10)

基于特征提取及權(quán)重圖的構(gòu)建的方法，采用解剖圖像和功能圖像高頻子帶顯著特征權(quán)重的絕對值作為網(wǎng)絡(luò)的激勵條件，即參數(shù)自適應(yīng)PCNN模型中，F(xiàn)ij[n]=ψn(i,j)n∈{A,B}高頻子帶的活躍程度由整個迭代過程的總點(diǎn)火次數(shù)來衡量。在所提PCNN模型中，采用在每次模型迭代次數(shù)完成時增加統(tǒng)計點(diǎn)火時間的方法，定義如下：

Tij[n]=Tij[n-1]+Yij[n]

(11)

選擇具有較大點(diǎn)火時間的系數(shù)作為最終細(xì)節(jié)圖的融合系數(shù)。

(12)

3 實(shí)驗(yàn)分析

本文采用LP[9]、DTCWT[10]、NSCT[8]、 NSCT-SF-PCNN[3]、NSST-PCNN[6]5種方法與本文方法對比，進(jìn)行實(shí)驗(yàn)分析所需要用到的硬件配置為Intel Core i7-10750H，CPU的主頻為 2.60 GHz，內(nèi)存16GB，軟件環(huán)境為 MATLAB R2018b.

3.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

本文從數(shù)據(jù)庫中選取醫(yī)學(xué)圖像用于實(shí)驗(yàn)比對，選取醫(yī)學(xué)圖像類型包括CT-MRI醫(yī)學(xué)圖像MRI-PET 醫(yī)學(xué)圖像以及MRI-SPECT醫(yī)學(xué)圖像。本實(shí)驗(yàn)所采用到的實(shí)驗(yàn)醫(yī)學(xué)圖像統(tǒng)統(tǒng)都是在哈佛大學(xué)醫(yī)學(xué)院人腦圖譜中獲得的 (http:∥www.med.harvard.edu/aanlib/home.html).CT-MRI實(shí)驗(yàn)醫(yī)學(xué)圖像、MRI-PET醫(yī)學(xué)圖像以及MRI-SPECT醫(yī)學(xué)圖像如圖2所示，圖3-圖5是本文算法與不同算法進(jìn)行對比所得到的效果圖。在設(shè)定的實(shí)驗(yàn)中，實(shí)驗(yàn)的實(shí)驗(yàn)參數(shù)進(jìn)行如下的設(shè)置:非下采樣剪切波中，采用 maxflat作為分解用到的濾波器，同時，采用4層的分解層數(shù)，而進(jìn)行多方向性分解的方向數(shù)則分別設(shè)定為 {16，16， 8，8}；PCNN網(wǎng)絡(luò)中，迭代次數(shù)n=150，加權(quán)核的半徑r=1,濾波器窗口大小wμ=35，Wη=3.

圖2 腦部腫瘤疾病的多模態(tài)醫(yī)學(xué)圖像

3.2 主觀分析

實(shí)驗(yàn)結(jié)果如圖3-圖5所示，包括CT-MRI、MRI-PET、MRI-SPECT圖像之間的融合。本文所提算法的結(jié)果都排在在每幅圖的最后。通過對每幅圖像進(jìn)行觀察，可以看出采用本文所提出算法能夠?qū)⒐δ軋D像的顏色信息和解剖圖像的結(jié)構(gòu)信息都較充分地呈現(xiàn)在最終的融合圖像中去，并且能夠明顯的提高了融合圖像的對比度，并且在一些細(xì)微組織的細(xì)節(jié)處，本文方法也能夠起到一定的保留作用。

圖3 腦部CT/MRI圖像融合結(jié)果

圖4 腦部MRI/PET圖像融合結(jié)果

3.3 客觀分析

為了客觀地評價本文所提算法的有效性， 本文選取以下指標(biāo)作為客觀評價指標(biāo)：顯著性特征圖的失真度VSI， 空間域的梯度分布SF，邊緣銳化程度EI,融合圖像的信息比 MI，細(xì)節(jié)對比平均梯度AVG，圖像的信息熵SHA.

表1-表3分別是是CT-MRI、MRI-PET、MRI-SPECT三種醫(yī)學(xué)圖像與5種采用相關(guān)方法獲得的融合結(jié)果進(jìn)行比對的結(jié)果。從表中不難發(fā)現(xiàn)，在 SF、EI、AVG和SHA等 4 個評價指標(biāo)中，本文所提出的算法取得了一定的優(yōu)勢。原因是所提出的方法通過對視覺顯著圖的構(gòu)造以及細(xì)節(jié)信息提取后對最終得到的融合圖像起到了一定的效果增強(qiáng)的作用，同時也保留了更多的細(xì)節(jié)信息。而在某些指標(biāo)本文指標(biāo)雖未能進(jìn)入前列。但是通過結(jié)合主觀視覺方面，同時結(jié)合對每幅結(jié)果圖像的呈現(xiàn)質(zhì)量可以看出，運(yùn)用本文算法所獲得的最終融合圖像是最好的。

表1 CT/MRI圖像融合結(jié)果的客觀評價指標(biāo)

表2 MRI/PET圖像融合結(jié)果的客觀評價指標(biāo)

表3 MRI/SPECT圖像融合結(jié)果的客觀評價指標(biāo)

圖6-圖8中柱狀圖是不同模態(tài)的醫(yī)學(xué)圖像通過采用不同方法得到的融合圖像的相關(guān)評價指標(biāo)。從柱狀圖中也可以明顯的觀察到，采用本文所提方法得到的融合圖像在細(xì)節(jié)對比平均梯度、圖像的信息熵等指標(biāo)上處于優(yōu)勢地位，這也從另一方面說明了本文所提的算法可以使最終的結(jié)果圖像產(chǎn)生更加清楚明亮的的外部邊緣細(xì)節(jié)，同時也可以對顏色信息保留的更為充分。

圖6 CT/MRI圖像融合評價指標(biāo)對比圖

圖7 MRI/PET圖像融合評價指標(biāo)對比圖

圖8 MRI/SPECT圖像融合評價指標(biāo)對比圖

4 總結(jié)

本文針對于多模態(tài)醫(yī)學(xué)圖像成像方式的不同所導(dǎo)致的不同類型圖像之間的融合問題，提出了一種結(jié)合顯著特征激勵參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和NSST域改進(jìn)的醫(yī)學(xué)圖像融合算法。對解決醫(yī)學(xué)圖像融合產(chǎn)生的圖像細(xì)節(jié)信息保留不充分、整體圖像對比度偏低等問題具有一定的效果。通過一定的實(shí)驗(yàn)方案來表明本文所提醫(yī)學(xué)圖像融合方法的可操作性。 與早期經(jīng)典的醫(yī)學(xué)圖像融合算法以及近幾年新興的醫(yī)學(xué)圖像融合算法進(jìn)行對比，本文所提關(guān)于醫(yī)學(xué)圖像融合算法取得了一定的效果，與近幾年提出的其他算法相比也具有一定的優(yōu)勢。