蔣媛

摘要：針對(duì)多模態(tài)醫(yī)學(xué)圖像融合問(wèn)題，提出一種基于非下采樣Contourlet （NSCT）變換與人眼視覺(jué)特性（HVC）的圖像融合方法。NSCT變換對(duì)源圖像的分解后，低頻部分基于可見(jiàn)性測(cè)度的選擇，高頻部分基于紋理信息的選擇，然后采用NSCT逆變換獲得最終融合圖像。實(shí)驗(yàn)結(jié)果表明：所提出的融合方法可以提高空間分辨率，同時(shí)保持光譜信息，并有改善。無(wú)論是在視覺(jué)效果和定量分析與傳統(tǒng)的方法相比較，有好的優(yōu)越性。

關(guān)鍵詞： 醫(yī)學(xué)圖像融合； NSCT；人眼視覺(jué)特性（HVC）

中國(guó)分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）14-3360-03

Abstract： Fusion problem for multi- modality medical images， presents an image fusion method based on Nonsubsampled Contourlet （NSCT） transform and human visual system （HVC） is . After transformation of the source image NSCT decomposition visibility measure low frequency based on the selection ， the high frequency portion of the texture information based on the selection ， and then using the inverse transform to obtain a final blend NSCT image . Experimental results show that ： the proposed fusion method can improve the spatial resolution ， while maintaining spectral information and improved. Both visual and quantitative analysis in comparison with the conventional method ， a good advantage.

Key words： Medical image fusion； NSCT. The human visual characteristics （HVC）

隨著高科技和先進(jìn)的檢測(cè)儀器的快速發(fā)展，醫(yī)療成像已成為診斷，研究和治療的重要組成部分。這樣的發(fā)展更容易讓醫(yī)生獲得有效分辨率的人體內(nèi)部結(jié)構(gòu)的圖像。這些多模圖像有X光、計(jì)算機(jī)斷層攝影（CT）、磁共振圖像（MRI）、磁共振血管造影（MRA）、正電子發(fā)射斷層攝影[1]。

圖像融合[2]是通過(guò)組合兩個(gè)或更多個(gè)從不同設(shè)備或儀器的源圖像轉(zhuǎn)換成更多信息一個(gè)單一的形象的過(guò)程。無(wú)關(guān)的特征和噪聲應(yīng)被抑制到最大程度。到目前為止，最簡(jiǎn)單的方法是逐個(gè)像素，灰度平均值或選擇源圖像，但這些方法導(dǎo)致降低對(duì)比度。近些年來(lái)，多尺度幾何分析（MGA）的出現(xiàn)，雖然它來(lái)源于小波的多尺度，但是它又超越了小波。該MGA可以利用圖像內(nèi)在結(jié)構(gòu)的幾何規(guī)律性充分利用并獲得漸近最優(yōu)表示。作為一個(gè)MGA工具，非下采樣Contourlet變換（Non-subsampled Contourlet transform， NSCT）作為一種過(guò)完備的變換形式，具有移不變、多尺度和多方向展開(kāi)，對(duì)圖像中的邊緣等結(jié)構(gòu)信息都能給出良好的表示，更適合于圖像融合。文中針對(duì)CT/MRI醫(yī)學(xué)圖像，給出一種基于NSCT及人眼視覺(jué)特性（HVC）的醫(yī)學(xué)圖像融合新算法。

1 基于NSCT的圖像分析

為了擺脫Contourlet的頻率混疊并加強(qiáng)定向選擇性和平移不變性，Cunha， Zhou， and Do提出了非下采樣輪廓波基于非下采樣金字塔分解變換和非下采樣濾波器（NSFB）。與Contourlet不同，NSCT的多分辨率分解步驟被由移不變?yōu)V波器組實(shí)現(xiàn)滿足Bozout恒等式（完美的重構(gòu)，PR）。由于金字塔分解無(wú)下采樣，低通子帶無(wú)頻率混疊，即使低通濾波器帶的寬度大于[π2]。圖1是非下采樣Contourlet變換，其中圖（a）非下采樣濾波器組結(jié)構(gòu)實(shí)現(xiàn)非下采樣Contourlet變換，圖（b）提出結(jié)構(gòu)獲得的理想頻率劃分。

圖（a）顯示了一個(gè)NSCT的概況。NSCT的結(jié)構(gòu)是由一組濾波器組成的，濾波器組將二維頻率平面分成若干子帶來(lái)，由上圖（b）來(lái)說(shuō)明。

2 視覺(jué)敏感的數(shù)學(xué)表示

人眼視覺(jué)特性[4]被用于圖像處理領(lǐng)域，逐漸受人關(guān)注。為此，人類(lèi)視覺(jué)系統(tǒng)提供了有關(guān)人的眼睛究竟對(duì)圖像的哪些區(qū)域感興趣的數(shù)學(xué)模型。用數(shù)學(xué)描述的公式如下：

[V（F）=1m×nx=1my=1n（1μF）α?F（x，y）-μFμF] （1）

上式[m×n]是像素總數(shù)，[μF]是圖像F的灰度平均值，[α]是可視常數(shù)從0.6到0.7。

最小單值片段吸收核（SUSAN）作為人眼視覺(jué)激發(fā)的特征提取算法被Smith and Brady 在1997年提出。SUSAN通過(guò)選擇的亮度不同的閾值，區(qū)域在面罩內(nèi)選擇其中包括在類(lèi)似像素亮度到細(xì)胞核。為了更加精確，把輸入的圖像F和圓面具有的半徑，然后用最簡(jiǎn)單的USAN有下面的表示形式：

[d（r，r0）=1， F（r）-F（r0）≤T0， F（r）-F（r0）>T] （2）

2） 式中表示中心像素的在圓面中的位置，表示其他像素在面罩中的位置。表示的光強(qiáng)，T表示光強(qiáng)不同的閾值。該特征相應(yīng)的計(jì)算公式為

[FR（r0）=τ-n（r0）， n（r0）<τ0， otherwise] （3）endprint

3） 式中是大量的屬于USAN的像素。如：[n（r0）=rd（r，r0）] （4）

[τ]是幾何門(mén)檻，這里[τ=3nmax/4]，[nmax]是n的最大值。

在SUSAN特征檢測(cè)器， T常常決定將被檢測(cè)的特征的最小對(duì)比度以及最大被忽略的噪音量。因此，有時(shí)候提取特征對(duì)T的選擇很敏感，為了使特征提取對(duì)T不太敏感，SUSAN公式不僅考慮到亮度的相似程度還考慮了像素之間的距離

[d（r，r0）=exp（-（r-r0）22η2）exp（-（F（r）-F（r0）T）6）] （5）

式（5）中是距離比例因素。

3 圖像融合算法

針對(duì)以往文獻(xiàn)中NSCT圖像融合中出現(xiàn)的不足，該文擬采用HVC方法對(duì)NSCT融合算法加以改進(jìn)。該文將經(jīng)NSCT分解后的低頻子帶是圖像的近似分量，也是人眼對(duì)圖像內(nèi)容進(jìn)行感知的主要內(nèi)容；而高頻子帶則包含圖像大量的細(xì)節(jié)信息，用SUSAN算法可以很好地刻畫(huà)圖像的紋理信息，包含了圖像絕大部分的信息。該文以2幅源圖像的情形為例，提出了基于NSCT域人眼視覺(jué)特性的圖像融合算法。

輸入：己經(jīng)過(guò)嚴(yán)格配準(zhǔn)的2幅源圖像A和B；

輸出：經(jīng)NSCT與人眼視覺(jué)特性機(jī)理處理后的融合圖像F。

步驟：

1）采用NSCT對(duì)A和B分別進(jìn)行k層的多尺度和多方向分解，并得到各自的低頻子帶系數(shù)和高頻子帶系數(shù)。

2）利用VSC的公式（1）對(duì)源圖像A和B的低頻子帶系數(shù)加以選擇，在第k層低頻帶以n為中心的[p×p]區(qū)域里得到

[VfLLl，A（x，y）=V（fLLl，A（n））]

[VfLLl，B（x，y）=V（fLLl，B（n））]

其中（x，y）是當(dāng)前系數(shù)的位置。融合后的低頻子帶為

[fLLl，fused（x，y）=fLLl，A（x，y）， if VfLLl，A（x，y）≥VfLLl，B（x，y）fLLl，B（x，y）， if VfLLl，A（x，y）

3）利用紋理信息對(duì)源圖像A和B的高頻子帶系數(shù)加以選擇：

首先，圖像特征是在高頻帶提取時(shí)，利用SUSAN公式（2）、（3）、（4）、（5）特征提取各尺度和方向，被表示成[FRfθl，j]，然后融合了高頻段的

[fθl，fused（x，y）=fθl，A（x，y）， if FRfLLl.A（x，y）≤FRfLLl，，B（x，y） fθl，B（x，y）， if FRfLLl.A（x，y）>FRfLLl，，B（x，y） ]

4）對(duì)2） ，3）中的融合系數(shù)進(jìn)行NSCT逆變換獲得最終融合圖像F。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中提出HVC在NSCT域算法的有效性，試驗(yàn)分別通過(guò)對(duì)比以下算法小波變換，Contourlet變換，NSCT變換實(shí)現(xiàn)，對(duì)比其合理性。

5 結(jié)論

從融合結(jié)果可以看到，與其他融合方法相比，本算法具有更好的效果。表1不同算法的評(píng)價(jià)結(jié)果的客觀數(shù)據(jù)統(tǒng)計(jì)也說(shuō)明了這一點(diǎn)，說(shuō)明算法較好地提高了圖像的質(zhì)量。統(tǒng)計(jì)評(píng)估與視覺(jué)評(píng)估一致。

參考文獻(xiàn)：

[1] Bhatnagar G，Raman B.A new Image Fusion Technique based on Directive Contrast[J].Electronic Letter on Computer Vision and Image Analysis，2009，8（2）：18-38.

[2] Bhatnagar G，Wu Q. M. J.An Image Fusion Framework based on Human Visual System in Framelet Domain[J].International Journal of Wavelets， Multiresolution and Information Processing， 2012，10（1）：12500021-12500030.

[3] Boussion， N，Hatt， M.， Lamare， F.， Rest， C. C. L.， & Visvikis， D.Contrast enhancement in emission tomography by way of synergistic PET/CT image combination[J].Computer Methods and Programs in Biomedicine， 2008，90（3）：191-201.

[4] 孔韋韋.雷英杰.基于NSST域人眼視覺(jué)特性的圖像融合方法[J].哈爾濱工程大學(xué)學(xué)報(bào)，2013（6）：777-782.

3） 式中是大量的屬于USAN的像素。如：[n（r0）=rd（r，r0）] （4）

[τ]是幾何門(mén)檻，這里[τ=3nmax/4]，[nmax]是n的最大值。

在SUSAN特征檢測(cè)器， T常常決定將被檢測(cè)的特征的最小對(duì)比度以及最大被忽略的噪音量。因此，有時(shí)候提取特征對(duì)T的選擇很敏感，為了使特征提取對(duì)T不太敏感，SUSAN公式不僅考慮到亮度的相似程度還考慮了像素之間的距離

[d（r，r0）=exp（-（r-r0）22η2）exp（-（F（r）-F（r0）T）6）] （5）

式（5）中是距離比例因素。

3 圖像融合算法

針對(duì)以往文獻(xiàn)中NSCT圖像融合中出現(xiàn)的不足，該文擬采用HVC方法對(duì)NSCT融合算法加以改進(jìn)。該文將經(jīng)NSCT分解后的低頻子帶是圖像的近似分量，也是人眼對(duì)圖像內(nèi)容進(jìn)行感知的主要內(nèi)容；而高頻子帶則包含圖像大量的細(xì)節(jié)信息，用SUSAN算法可以很好地刻畫(huà)圖像的紋理信息，包含了圖像絕大部分的信息。該文以2幅源圖像的情形為例，提出了基于NSCT域人眼視覺(jué)特性的圖像融合算法。

輸入：己經(jīng)過(guò)嚴(yán)格配準(zhǔn)的2幅源圖像A和B；

輸出：經(jīng)NSCT與人眼視覺(jué)特性機(jī)理處理后的融合圖像F。

步驟：

1）采用NSCT對(duì)A和B分別進(jìn)行k層的多尺度和多方向分解，并得到各自的低頻子帶系數(shù)和高頻子帶系數(shù)。

2）利用VSC的公式（1）對(duì)源圖像A和B的低頻子帶系數(shù)加以選擇，在第k層低頻帶以n為中心的[p×p]區(qū)域里得到

[VfLLl，A（x，y）=V（fLLl，A（n））]

[VfLLl，B（x，y）=V（fLLl，B（n））]

其中（x，y）是當(dāng)前系數(shù)的位置。融合后的低頻子帶為

[fLLl，fused（x，y）=fLLl，A（x，y）， if VfLLl，A（x，y）≥VfLLl，B（x，y）fLLl，B（x，y）， if VfLLl，A（x，y）

3）利用紋理信息對(duì)源圖像A和B的高頻子帶系數(shù)加以選擇：

首先，圖像特征是在高頻帶提取時(shí)，利用SUSAN公式（2）、（3）、（4）、（5）特征提取各尺度和方向，被表示成[FRfθl，j]，然后融合了高頻段的

[fθl，fused（x，y）=fθl，A（x，y）， if FRfLLl.A（x，y）≤FRfLLl，，B（x，y） fθl，B（x，y）， if FRfLLl.A（x，y）>FRfLLl，，B（x，y） ]

4）對(duì)2） ，3）中的融合系數(shù)進(jìn)行NSCT逆變換獲得最終融合圖像F。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中提出HVC在NSCT域算法的有效性，試驗(yàn)分別通過(guò)對(duì)比以下算法小波變換，Contourlet變換，NSCT變換實(shí)現(xiàn)，對(duì)比其合理性。

5 結(jié)論

從融合結(jié)果可以看到，與其他融合方法相比，本算法具有更好的效果。表1不同算法的評(píng)價(jià)結(jié)果的客觀數(shù)據(jù)統(tǒng)計(jì)也說(shuō)明了這一點(diǎn)，說(shuō)明算法較好地提高了圖像的質(zhì)量。統(tǒng)計(jì)評(píng)估與視覺(jué)評(píng)估一致。

參考文獻(xiàn)：

[1] Bhatnagar G，Raman B.A new Image Fusion Technique based on Directive Contrast[J].Electronic Letter on Computer Vision and Image Analysis，2009，8（2）：18-38.

[2] Bhatnagar G，Wu Q. M. J.An Image Fusion Framework based on Human Visual System in Framelet Domain[J].International Journal of Wavelets， Multiresolution and Information Processing， 2012，10（1）：12500021-12500030.

[3] Boussion， N，Hatt， M.， Lamare， F.， Rest， C. C. L.， & Visvikis， D.Contrast enhancement in emission tomography by way of synergistic PET/CT image combination[J].Computer Methods and Programs in Biomedicine， 2008，90（3）：191-201.

[4] 孔韋韋.雷英杰.基于NSST域人眼視覺(jué)特性的圖像融合方法[J].哈爾濱工程大學(xué)學(xué)報(bào)，2013（6）：777-782.

3） 式中是大量的屬于USAN的像素。如：[n（r0）=rd（r，r0）] （4）

[τ]是幾何門(mén)檻，這里[τ=3nmax/4]，[nmax]是n的最大值。

在SUSAN特征檢測(cè)器， T常常決定將被檢測(cè)的特征的最小對(duì)比度以及最大被忽略的噪音量。因此，有時(shí)候提取特征對(duì)T的選擇很敏感，為了使特征提取對(duì)T不太敏感，SUSAN公式不僅考慮到亮度的相似程度還考慮了像素之間的距離

[d（r，r0）=exp（-（r-r0）22η2）exp（-（F（r）-F（r0）T）6）] （5）

式（5）中是距離比例因素。

3 圖像融合算法

針對(duì)以往文獻(xiàn)中NSCT圖像融合中出現(xiàn)的不足，該文擬采用HVC方法對(duì)NSCT融合算法加以改進(jìn)。該文將經(jīng)NSCT分解后的低頻子帶是圖像的近似分量，也是人眼對(duì)圖像內(nèi)容進(jìn)行感知的主要內(nèi)容；而高頻子帶則包含圖像大量的細(xì)節(jié)信息，用SUSAN算法可以很好地刻畫(huà)圖像的紋理信息，包含了圖像絕大部分的信息。該文以2幅源圖像的情形為例，提出了基于NSCT域人眼視覺(jué)特性的圖像融合算法。

輸入：己經(jīng)過(guò)嚴(yán)格配準(zhǔn)的2幅源圖像A和B；

輸出：經(jīng)NSCT與人眼視覺(jué)特性機(jī)理處理后的融合圖像F。

步驟：

1）采用NSCT對(duì)A和B分別進(jìn)行k層的多尺度和多方向分解，并得到各自的低頻子帶系數(shù)和高頻子帶系數(shù)。

2）利用VSC的公式（1）對(duì)源圖像A和B的低頻子帶系數(shù)加以選擇，在第k層低頻帶以n為中心的[p×p]區(qū)域里得到

[VfLLl，A（x，y）=V（fLLl，A（n））]

[VfLLl，B（x，y）=V（fLLl，B（n））]

其中（x，y）是當(dāng)前系數(shù)的位置。融合后的低頻子帶為

[fLLl，fused（x，y）=fLLl，A（x，y）， if VfLLl，A（x，y）≥VfLLl，B（x，y）fLLl，B（x，y）， if VfLLl，A（x，y）

3）利用紋理信息對(duì)源圖像A和B的高頻子帶系數(shù)加以選擇：

首先，圖像特征是在高頻帶提取時(shí)，利用SUSAN公式（2）、（3）、（4）、（5）特征提取各尺度和方向，被表示成[FRfθl，j]，然后融合了高頻段的

[fθl，fused（x，y）=fθl，A（x，y）， if FRfLLl.A（x，y）≤FRfLLl，，B（x，y） fθl，B（x，y）， if FRfLLl.A（x，y）>FRfLLl，，B（x，y） ]

4）對(duì)2） ，3）中的融合系數(shù)進(jìn)行NSCT逆變換獲得最終融合圖像F。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中提出HVC在NSCT域算法的有效性，試驗(yàn)分別通過(guò)對(duì)比以下算法小波變換，Contourlet變換，NSCT變換實(shí)現(xiàn)，對(duì)比其合理性。

5 結(jié)論

從融合結(jié)果可以看到，與其他融合方法相比，本算法具有更好的效果。表1不同算法的評(píng)價(jià)結(jié)果的客觀數(shù)據(jù)統(tǒng)計(jì)也說(shuō)明了這一點(diǎn)，說(shuō)明算法較好地提高了圖像的質(zhì)量。統(tǒng)計(jì)評(píng)估與視覺(jué)評(píng)估一致。

參考文獻(xiàn)：

[1] Bhatnagar G，Raman B.A new Image Fusion Technique based on Directive Contrast[J].Electronic Letter on Computer Vision and Image Analysis，2009，8（2）：18-38.

[2] Bhatnagar G，Wu Q. M. J.An Image Fusion Framework based on Human Visual System in Framelet Domain[J].International Journal of Wavelets， Multiresolution and Information Processing， 2012，10（1）：12500021-12500030.

[3] Boussion， N，Hatt， M.， Lamare， F.， Rest， C. C. L.， & Visvikis， D.Contrast enhancement in emission tomography by way of synergistic PET/CT image combination[J].Computer Methods and Programs in Biomedicine， 2008，90（3）：191-201.

[4] 孔韋韋.雷英杰.基于NSST域人眼視覺(jué)特性的圖像融合方法[J].哈爾濱工程大學(xué)學(xué)報(bào)，2013（6）：777-782.