李 健 羅 曉 羅 蔓

基于小波變換的多模態(tài)醫(yī)學(xué)圖像融合

李 ?、倭_ 曉①羅 蔓①

目的：基于小波變換對多幅非同源醫(yī)學(xué)圖像進行融合，整合和突出互補信息，增強圖像質(zhì)量，減少冗余，提升醫(yī)學(xué)圖像臨床輔助診斷和治療的精準性。方法：通過學(xué)習(xí)和研究小波理論在圖像融合應(yīng)用中的相關(guān)知識，提出一種低頻能量取大與高頻方差取大相結(jié)合的圖像融合改進算法，展開對非同源標準醫(yī)學(xué)圖像(CT和MRI)，多聚焦圖像的融合實驗，并進行了兩類實驗數(shù)據(jù)對比，對比和分析不同融合規(guī)則以及不同融合方法下圖像融合的性能。結(jié)果：在兩類對比分析實驗中，算法得到的融合圖像包含源圖像的有效信息量更豐富，圖像亮度得到合理提高，其均值、互信息以及信息熵指標數(shù)據(jù)最優(yōu)。結(jié)論：基于小波變換的多模態(tài)醫(yī)學(xué)圖像算法得到的融合圖像具有較好的視覺效果和量化指標，融合性能更強，體現(xiàn)了方法的有效性。

醫(yī)學(xué)融合；小波變換；融合規(guī)則；效果評價

隨著計算機技術(shù)的高速發(fā)展和信息時代的到來，多樣化的醫(yī)學(xué)成像設(shè)備層出不窮，其應(yīng)用貫穿于整個臨床工作，為醫(yī)學(xué)診斷和治療提供多種模態(tài)醫(yī)學(xué)圖像，從解剖上和功能上多樣化地描述人體形態(tài)信息或代謝信息[1-2]。然而，受成像原理的限制，單一模態(tài)的圖像都有各自的優(yōu)缺點，很難全面地表達所有實用的信息，造成了診斷的局限性[3-4]。若考慮對多幅非同源醫(yī)學(xué)圖像進行融合，整合和突出各自的互補信息，或能達到增強圖像質(zhì)量，減小冗余，為病灶的精準定位提供可靠的診斷治療依據(jù)[5-7]。

本研究通過學(xué)習(xí)和研究小波理論在圖像融合應(yīng)用中的相關(guān)知識，提出一種基于小波變換的低頻能量取大與高頻方差取大相結(jié)合的圖像融合改進算法，展開對非同源標準醫(yī)學(xué)圖像(CT和MRI)、多聚焦圖像的融合實驗，并深入對比和分析不同融合規(guī)則以及不同融合方法下圖像融合的性能。

1 材料與方法

1.1 小波變換與圖像融合

基于小波變換的圖像融合技術(shù)需要對小波變換進行分析。小波變換實現(xiàn)結(jié)構(gòu)由Mallat金字塔和濾波器組高通和(或)低通組成，該變換是將多尺度分析、多分辨率分析和局部分析分別進行，與傅里葉變換相比，小波分解系數(shù)不僅隨頻率不同而變換，而且對于同一個頻率指標在不同時刻，小波系數(shù)也不同。此外，小波函數(shù)具有緊支撐的性質(zhì)，因而求各頻率水平不同時刻的小波系數(shù)時，只要用到該時刻附近的局部信息，最后小波函數(shù)的時間--頻率窗口形狀可變，因而能更好地檢測圖像高低頻信息。

(1)小波變換的定義。對于離散信號f(x)，離散小波變換的定義為公式1：

式中m,n∈Z；Ψm,n(k)為離散小波函數(shù)，滿足公式2：

式中Ψ(k)為滿足小波變換約束條件的小波基函數(shù)；a0為尺度函數(shù)；b0為平移函數(shù)。

對于N×M的圖像，需要用到二維離散小波變換，二維離散小波變換的快速算法為公式3：

測試的源圖像經(jīng)過二維離散小波二級分解后，其中低頻部分iLL，表征圖像緩變的主要信息，高頻部分包括iHL、iLH、iHH3個頻帶，表征圖像突變的細節(jié)和紋理信息，如圖1所示。

圖1 二維圖像的小波分解圖

(2)小波變換圖像融合的具體過程。在醫(yī)學(xué)圖像配準的條件下，基于小波變換的CT和MRI醫(yī)學(xué)圖像，多聚焦圖像低頻能量取大和高頻方差取大的改進融合算法具體步驟為：①對源圖像a和b分別展開多尺度多分辨率的小波變換，在小波變換中首先選取合適的小波基函數(shù)對原始圖像進行N層分解，得到3N個位于不同尺度、不同空間和頻率分辨特性的高頻子圖像系數(shù)，以及1個位于最高層的低頻圖像系數(shù)；②通過對小波變換后的系數(shù)進行分析來確定融合規(guī)則，低頻子帶占據(jù)圖像大部分的能量，是對圖像概括的近似描述，所以對低頻部分的處理要盡可能的保留圖像的主要信息，對于高頻子帶，細節(jié)和紋理是其重要特征，故對其處理要盡可能的凸出該特征，分別對低頻子帶和高頻子帶設(shè)計低頻能量取大和高頻方差取大的融合規(guī)則；③對圖像融合的效果進行主觀和客觀評價。圖像融合的流程如圖2所示。

圖2 基于小波變換的圖像融合流程圖

1.2 融合規(guī)則

圖像融合的最終效果依賴于融合規(guī)則的選取。經(jīng)過小波變換后的低頻子帶主要反映圖像的主體概貌信息，常見的低頻子帶融合規(guī)則有均值法、加權(quán)平均法及選取系數(shù)絕對值最大法等。但是這些方法通過取像素的極大值或極小值，亦或?qū)ο袼氐木C合平均，會導(dǎo)致圖像的失真或邊緣輪廓被模糊化；而經(jīng)過小波變換后的高頻子帶系數(shù)包含了圖像中有用的細節(jié)信息，如邊緣、輪廓等，對高頻子帶進行融合的最終目的是保留和凸出圖像中清晰的邊緣細節(jié)?；诖?，本研究提出一種低頻能量取大結(jié)合高頻方差取大的圖像融合方法。

(1)低頻子帶的融合規(guī)則?？紤]到圖像局部能量是對全局能量的比例映射，因而，本研究設(shè)計了低頻能量取大的融合規(guī)則，即：設(shè)ILk(m,n)(k=a，b分別表示源圖像A和B的兩個子帶)表示第k個圖像(m,n)處的低頻系數(shù)值；E(m,n)表示以(m,n)為中心的(3×3)鄰域μ的能量；ω(x,y)表示每個像素IL(m,n)對應(yīng)的權(quán)重系數(shù)，(x,y)∈μ，故有公式4：

定義源圖像A和B的權(quán)值系數(shù)，即為公式5和公式6：

定義源圖像A和B的匹配度，即為公式7：

設(shè)Thr為源圖像A和B的匹配度閾值，若Mat(m,n)≤Thr，表明A和B之間能量相差較大，融合后的低頻系數(shù)為公式8：式中加權(quán)系數(shù)ε1和ε2存在：ε1+ε2=1；若Mat(m,n)＞Thr，表明A和B之間能量相差較小，融合后的低頻系數(shù)為公式9：

(2)高頻子帶的融合規(guī)則。對高頻子帶進行融合的最終目的是保留和凸出圖像中清晰的邊緣細節(jié)。采用高頻方差取大的融合規(guī)則，即：設(shè)IHk(m,n)(k=a，b分別表示源圖像A和B的兩個子帶)表示第k個圖像(m,n)處的高頻系數(shù)值；D(m,n)表示以(m,n)為中心的(3×3)鄰域μ的方差；表示鄰域μ內(nèi)高頻系數(shù)的均值，則有公式10：

融合后的高頻系數(shù)FH(m,n)為公式11：

1.3 Contourlet變換、HVS方法與圖像融合

Contourlet變換、人類視覺系統(tǒng)方法(human vision system，HVS)方法與圖像融合[8]：Contourlet變換是一種多分辨率、局域的以及多方向的圖像表示方法，其繼承了Curvelet變換的各向異性尺度關(guān)系，在一定意義上可以認為是近似Curvelet變換的數(shù)字實現(xiàn)方式。Contourlet變換是一種真正的二維圖像的稀疏表示方式，具有良好的方向性和各向異性特征，能較好的將圖中的邊緣輪廓信息捕捉到不同尺度和不同方向的子帶中，被有效的應(yīng)用在圖像融合領(lǐng)域?；贑ontourlet變換的圖像融合技術(shù)需要對Contourlet變換進行分析。Contourlet變換實現(xiàn)結(jié)構(gòu)由拉普拉斯金字塔和方向濾波器組成，該變換是將多尺度分析和方向分析分別進行，用類似于輪廓段的“基”結(jié)構(gòu)來無限逼近圖像。HVS提供關(guān)于人類如何“看”世界的相關(guān)數(shù)學(xué)模型，HVS對圖像中的對比度、方向、亮度等可視特征的變化比較敏感，被廣泛地應(yīng)用于圖像融合的實驗中。研究人員也提出了多種視覺顯著性分析方法，以快速檢測圖像的顯著區(qū)域和(或)目標。圖像融合領(lǐng)域?qū)嶒炓脖砻?，合理利用圖像的區(qū)域特征可以有效改善圖像融合和融合質(zhì)量評價的性能。

2 結(jié)果

為了評估本研究所提圖像融合方法的性能，選取了兩組不同類型的醫(yī)學(xué)灰度圖像，包括已配準后的CT和MRI灰度圖像，以及多聚焦眼底圖像組，并進行了兩類實驗數(shù)據(jù)對比，如圖3a、b，圖4a、b所示。第1類主要針對基于小波變換的不同融合規(guī)則進行實驗對比分析；第2類主要對不同融合方法與小波變換融合方法進行實驗對比分析。

2.1 第1類實驗

在第1類實驗中主要對比了本研究算法和不同融合規(guī)則的實驗效果：①為低頻極值取小(mincoefficient absolute value，CAV-min)[9]結(jié)合高頻方差(rigion variance， RVA)[10]取大算法融合結(jié)果，如圖3c，圖4c所示；②為低頻取極大值(max-coefficient absolute value，CAV-max)結(jié)合高頻方差取大融合結(jié)果，如圖3d，圖4d所示；③為低頻取平均法(average，AVE)[11]結(jié)合高頻方差取大算法的融合結(jié)果，如圖3e，圖4e所示；④本研究算法圖像融合結(jié)果，如圖3f，圖4f所示。

圖3 不同融合規(guī)則下第一組圖像的融合效果示圖

圖4 不同融合規(guī)則下第二組圖像的融合效果示圖

對于圖3a，b和圖4a，b中的兩組醫(yī)學(xué)測試圖像，通過主觀視覺評價可以直接看出：第一組圖像中選用低頻極值取小結(jié)合高頻方差取大法融合會使得融合后的圖像模糊；第二組圖像中選用低頻取平均結(jié)合高頻方差取大法融合規(guī)則會使融合后的圖像亮度大幅增強。

除上述主觀視覺分析外，本研究還選取了均值、信息熵以及互信息3個有代表性的指標[12-15]對每組進行融合結(jié)果的客觀評價。其中，圖像均值反映融合圖像像素的灰度平均值，即平均亮度；信息熵表示圖像中所包含的信息，值越大越好；互信息表示融合圖像從源圖像中所獲取的信息，值越大越好。通過對實驗結(jié)果的分析和比較顯示，采用融合規(guī)則1進行圖像融合會造成融合結(jié)果的失真，不能綜合源圖像MRI的信息；規(guī)則2和規(guī)則3融合效果相比方法一有了較好的改善；本研究提出的低頻能量取大結(jié)合高頻方差取大法融合規(guī)則4的客觀評價數(shù)據(jù)優(yōu)于其他3種融合規(guī)則，不同融合規(guī)則對第一組圖像融合結(jié)果的客觀評價見表1。

表1 不同融合規(guī)則的醫(yī)學(xué)圖像融合評價

表1顯示，通過均值可以體現(xiàn)出本研究融合規(guī)則使融合后的圖像亮度有了合理的提高，通過互信息和信息熵可以體現(xiàn)出本研究融合規(guī)則得到的融合醫(yī)學(xué)圖像具有更加豐富的信息量。

2.2 第2類實驗

為了進一步證明本研究算法的優(yōu)越性，在第2類仿真實驗中主要針對不同融合方法與本研究算法進行實驗對比分析。為了使圖像融合結(jié)果具有可比性，分別選取了contourlet變換方法[7]和HVS方法[8]。實驗結(jié)果如圖5a、b和圖6a、b所示。

通過對實驗結(jié)果的分析和比較可以看出，本研究方法得到的融合圖像的客觀評價數(shù)據(jù)優(yōu)于contourlet變換方法和HVS方法，對源圖像的信息綜合方面更具優(yōu)勢。不同融合方法對第一組圖像融合結(jié)果的客觀評價見表2。

3 討論

圖5 不同方法下圖像的融合效果影像

圖6 不同方法下圖像的融合效果示圖

表2 不同融合方法的醫(yī)學(xué)圖像融合評價

小波變換是一種多尺度、多分辨率及局域變換的分析方法，繼承和發(fā)展了短時傅里葉變換局部化的思想，同時又克服了短時傅里葉變換存在的時頻窗口固定不變的局限性，在低頻部分具有較低的時間分辨率和較高的頻率分辨率，在高頻部分具有較高的時間分辨率和較低的頻率分辨率，能更好地將圖像中的邊緣紋理信息捕捉到不同尺度，不同方向的子帶中，被廣泛地應(yīng)用于圖像處理領(lǐng)域，并成為圖像融合領(lǐng)域的重要算法。

本研究將小波變換用于已配準的CT和MRI灰度圖像，以及多聚焦眼底圖像，提出了一種基于小波變換的低頻能量取大結(jié)合高頻方差取大的醫(yī)學(xué)圖像融合算法。將該算法用于源圖像的融合實驗，通過主觀視覺感受和客觀的評估指標進行評價，并進行了兩類實驗數(shù)據(jù)對比，即：第1類，不同融合規(guī)則下的圖像融合仿真實驗；第2類，不同融合方法下的圖像融合仿真實驗。結(jié)果表明：在兩類仿真實驗客觀數(shù)據(jù)分析中，本研究算法得到的融合圖像的均值、信息熵以及互信息指標數(shù)據(jù)最優(yōu)，本研究算法得到的融合圖像包含源圖像的有效信息量更豐富，圖像亮度得到合理提高。

目前，用于臨床診斷的醫(yī)學(xué)圖像模態(tài)越來越多，通過運用圖像融合技術(shù)，可以獲得富含細節(jié)，更全面的融合圖像，如何有效地使本研究算法適應(yīng)于多樣化模態(tài)醫(yī)學(xué)圖像融合中將是今后的研究重點，如在圖像分解和重構(gòu)中采用多小波，或進一步改進融合規(guī)則等。

[1]Chen LS，Hu XF，Shi JP，et al.Compare CT/MRI fusion image and enhance CT on definition of the target volumes of nasopharyngeal carcinoma[J].Practical J Cancer，2010，25(2)：172-174.

[2]Zhang Y，Zhang N，Wang Y.The effects of recurrent nasopharyngeal target with PET-CT image fusion[J].China Medical Engineering，2011，19(12)：52-53.

[3]Li K，Zeng QJ，heng RQ，et al.CT/MRI image fusion in evaluating ablative margin after radiofrequency ablation of hepatocellular carcinoma[J].Chinese Journal of Medical Imaging Technology，2012，28(12)：2189-2192.

[4]Matsopouios GK，Marshall S，Brunt JNH.Multiresolution morpholo-gical fusion of MR and CT image of the human brain[J].Vision，Image and Signal Processing，IEE Procee，1944，141(3)：137-142.

[5]Wang A，Sun H，Guan Y.The application of wavelet transform to multi-modality medical image fusion[C].IEEE International Conference on Networking，2006：270-274.

[6]胡俊峰，唐鶴云，錢建生.不同圖像格式在醫(yī)學(xué)圖像融合中的性能研究[J].中國生物醫(yī)學(xué)工程學(xué)報，2010，29(2)：310-331.

[7]張鑫，陳偉斌.Contourlet變換系數(shù)加權(quán)的醫(yī)學(xué)圖像融合[J].中國圖象圖形學(xué)報，2014，19(1)：133-140.

[8]Lan T，Xiao Z，Li Y，et al.Multimodal medical image fusion using wavelet transform and human vision system[J].International Conference on Audio，2015：491-495.

[9]劉貴喜，楊萬海.基于小波分解的圖像融合方法及性能評價[J].自動化學(xué)報，2002，28(6)：65-72.

[10]黃彩霞，陳家新.基于小波系數(shù)區(qū)域相似度的醫(yī)學(xué)圖像融合[J].計算機應(yīng)用研究，2008，25(1)：274-276.

[11]Li H，Manjunath BS，Mitra SK.Multisensor image fusion using the wavelet transfer[J].Image Processing，1994.Proceedings.ICIP-94.IEEE International Conference，2002，1(3)：235-245.

[12]Wang Z，Ziou D，Armenakis C，et al.A comparative analysis of image fusion methods[J].IEEE Transactions on Geoscience and Remote Sencing，2005，43(6)：1391-1402.

[13]Qu G，Zhang D，Yan P.Imformation measure for performance of image fusion，Electron[J].Electronics Letters，2002，38(7)：313-315.

[14]Xydeas CS，Petrovic V.Objective image fusion performance measure，Electron[J].Military Technical Courier，2000，36(4)：308-309.

[15]黃杰賢，楊冬濤，龔昌來.互信息熵與區(qū)域特征結(jié)合的圖像匹配研究[J].激光與紅外，2013(1)：98-103.

Medical image fusion of multimoding based on wavelet transformation

LI Jian, LUO Xiao, LUO Man

Objective:To fuse many non-homologous medical images based on wavelet transformation, and integrate and stand out complementation information, and strengthen image quality, and reduce redundancy so as to enhance the precision of clinically auxiliary diagnosis and treatment for medical image.Methods:Through studied and researched the relevant knowledge of wavelet theory in the application of image fusion to proposed a improved fusion algorithm by mutual combination for maximum low frequency energy and maximum high frequency variance. The fusion experiment of non-homologous standard medical image, including CT, MRI and multi-focus images, were implemented, and their data were compared. And then, the performance of image fusion was compared and analyzed under different fusion rule and different fusion method.Results:In the two kinds of contrastive analysis experiments, the fusion image which depended on algorithm included more abundantly effective information amount of source image,and the luminance of image was reasonable enhanced. Besides, the mean value, mutual information and information entropy of fusion image were optimal.Conclusion:The fusion image which comes from multimoding medical image algorithm has better visual effects and quantization indicator, and it has strengthener fused performance. Therefore,it can reflect the effectiveness of the method.

Medical images fusion; Wavelet transformation; Fusion rule; Effectiveness evaluation

Center of Tumor Radiotherapy, Central Hospital of Agricultural Reclamation in Guangdong Province, Zhanjiang 524002, China.

1672-8270(2017)11-0022-05

R812

A

10.3969/J.ISSN.1672-8270.2017.11.007

李健,男,(1983- ),碩士，工程師。廣東省農(nóng)墾中心醫(yī)院腫瘤放射治療中心，從事腫瘤放射物理工作，研究方向：多模態(tài)醫(yī)學(xué)圖像處理在放射治療中的應(yīng)用。

①廣東省農(nóng)墾中心醫(yī)院腫瘤放射治療中心 廣東 湛江 524002

China Medical Equipment,2017,14(11):22-26.

2017-06-23