劉凌湘陳武凡周凌宏徐子海陳超敏*
1(南方醫(yī)科大學生物醫(yī)學工程學院,廣州 510515)2(解放軍303醫(yī)院放射治療中心,南寧 530021)
基于小波變換的CT/PET圖像融合最佳參數(shù)研究
劉凌湘1陳武凡1周凌宏1徐子海2陳超敏1*
1(南方醫(yī)科大學生物醫(yī)學工程學院,廣州 510515)2(解放軍303醫(yī)院放射治療中心,南寧 530021)
為了提高基于小波變換圖像融合的性能,在圖像融合規(guī)則相對固定的情況下,提出一種確定最佳小波基函數(shù)和分解層數(shù)的方法。從圖像的信息熵出發(fā),通過比較低頻子帶圖像熵差與原始圖像熵差的接近程度,選擇每一種小波基所對應(yīng)的最佳分解層數(shù);在小波分解層數(shù)確定的情況下,結(jié)合圖像融合評價方法,選擇最佳的小波基函數(shù)。與引入融合效果的評價構(gòu)成一個閉環(huán)系統(tǒng)來確定小波參數(shù)相比,該方法極大地簡化了判別過程;將該方法應(yīng)用于CT/PET圖像融合,獲得了較好的融合效果。實驗結(jié)果表明,該方法簡單可行,對基于小波變換圖像融合的小波參數(shù)選取有一定的指導(dǎo)意義。
CT/PET;小波變換;圖像融合;小波基;分解層數(shù)
Abstract:In order to improve the performance of image fusion based on wavelet transform,a new approach to determine the best wavelet base and decomposition level was proposed in the case of image fusion rule was ralatively fixed.First,according to the image information entropy,the best decomposition level of each wavelet base was selected by comparing the difference of both low-frequency sub-band image entropy and the original image entropy.After the best decomposition level was determined,the best wavelet base was chosen by image fusion evaluation methods.Compared with the method in which the parameters of wavelet decomposition were determined by introducing image fusion evaluation methods to form a closed-loop system,the proposed method greatly simplified the distinction process.The results of CT/PET image fusion were satisfying as well.The method is simple and feasible in selecting the wavelet parameters for wavelet transform based image fusion.
Key words:CT/PET;wavelet transform;image fusion;wavelet base;decomposition level
隨著醫(yī)學影像技術(shù)的發(fā)展,多種成像模式的影像技術(shù)已廣泛應(yīng)用于臨床診斷和治療中。醫(yī)學成像模式可分為解剖成像和功能成像兩大類:前者如CT(計算機斷層成像),主要以較高的分辨率提供人體的解剖形態(tài)信息,為病灶定位提供很好的參照,但無法反映臟器的功能代謝信息;后者如PET(正電子發(fā)射成像),反映了臟器的代謝水平和血流狀況,對腫瘤病變呈現(xiàn)“熱點”,能及早地發(fā)現(xiàn)病灶,但無法提供病灶的解剖細節(jié)。倘若將這些解剖圖像和功能圖像的互補信息有機地融合成一幅新的圖像,就可得到同一解剖結(jié)構(gòu)更豐富的信息,進而使醫(yī)師更清楚地了解病變臟器的綜合情況,做出更精確的治療計劃,而醫(yī)學圖像融合恰好就解決了這一問題。醫(yī)學圖像融合技術(shù)是信息融合技術(shù)在醫(yī)學影像學領(lǐng)域的應(yīng)用,它是對來自于不同成像技術(shù)的圖像經(jīng)過必要地變換以達到空間坐標的匹配,然后利用圖像間的冗余及互補信息,將它們有機地結(jié)合在一起,得到一幅包含更多信息的新圖像,為臨床診斷提供更大的幫助。
目前,利用小波變換進行醫(yī)學圖像融合的研究相當多,但主要體現(xiàn)在對融合規(guī)則的研究上,而對如何選取最佳小波基函數(shù)和最佳分解層數(shù)的研究很少。多數(shù)文獻通過引入圖像融合效果評價構(gòu)成閉環(huán)系統(tǒng)來選擇小波參數(shù),需要不停地改變小波基和分解層數(shù)[1]。也有單獨考慮小波參數(shù)選取的,如文獻[2]提出了最優(yōu)小波包基選擇的熵準則,通過構(gòu)造代價函數(shù)來選擇最優(yōu)小波基,但僅限于考慮單一信號或單一圖像。文獻[3]提出可通過比較低頻子圖像的熵差來選擇最佳小波分解層數(shù),采用圖像經(jīng)過歸一化處理后的像素值來計算圖像的熵。筆者則在借鑒上述參數(shù)選取方法的基礎(chǔ)上,提出以下判別準則:首先,通過比較低頻子圖像熵差與原始圖像熵差的接近程度來選擇每一種小波基所對應(yīng)的最佳分解層數(shù),采用像素灰度概率值來計算圖像的熵;然后,根據(jù)所確定的分解層數(shù),對采用不同種小波基所得到的融合圖像效果進行評價,其中融合效果最好的小波基為最佳小波基。在實驗時,結(jié)合CT/PET圖像得出了最佳參數(shù),其所對應(yīng)的融合圖像在主客觀上均取得了較好的融合效果。
小波變換是20世紀80年代后期發(fā)展起來的新的數(shù)學分支,是一種時頻局部化分析方法,可以“聚焦”到對象的任意細節(jié),被譽為“數(shù)學顯微鏡”?;谛〔ㄗ儞Q的圖像融合的本質(zhì)是:采用不同的濾波器,將源圖像分解到一系列的頻率通道中;然后針對系數(shù)特性,采用不同的融合規(guī)則和融合策略,對變換系數(shù)進行操作;最后利用小波逆變換重構(gòu)融合圖像。算法可以用一個公式化模型[4]表示為
式中,Ii(x,y)(i=1,2,3,…,N)表示待融合的圖像,F(xiàn)(x,y)表示融合結(jié)果,ω表示小波正變換,ω-1表示小波逆變換,φ表示融合算子。
根據(jù)Mallat的塔式小波分解理論[5],經(jīng)二維小波變換,圖像被分解成低頻子帶和高頻子帶兩部分。其中,低頻子帶反映的是圖像的近似分量,代表原圖像的基本信息;高頻子帶反映的是圖像在水平、垂直、對角三個方向的細節(jié)分量,對應(yīng)圖像的邊緣、線、區(qū)域、邊界等處的信息。從式(1)可以看出,采用合理的融合規(guī)則是獲得高品質(zhì)融合的關(guān)鍵。本研究側(cè)重于研究最佳小波參數(shù),采用了簡單的基于像素的融合規(guī)則,對低頻部分采用加權(quán)求和、高頻部分采用絕對值最大值法的融合規(guī)則[5-6]。
基于小波變換的圖像融合是以圖像小波變換后各尺度的小波系數(shù)為基礎(chǔ)的,不同類型的圖像經(jīng)小波變換后,其系數(shù)的分布特性是不同的。就算是同一類型、同一幅圖像,采用不同的小波基函數(shù)進行變換,所得變換系數(shù)的分布特性亦不同,這是由小波基的正交性、緊支性、消失矩、正則性及對稱性等多種屬性的差異造成的[7]。因此,為了獲得最佳的融合性能,選擇合適的小波基是非常關(guān)鍵的。實際應(yīng)用中,有很多小波基可供選擇,這里選取了文獻中常用到的 Haar小波基,Daubechies、Symlets、Coiflets及 Biorthogonal小波基系列[2]。實驗時為了便于比較,對這些小波基進行編號,如表1所示。
表1 小波基函數(shù)的編號Tab.1 The number of wavelet base
以一幅圖像的小波分解為例,小波分解過程如圖1所示。原圖像采用一層小波分解后,得到低頻子帶近似分量(LL),以及高頻子帶水平(LH)、垂直(HL)、對角(HH)三個細節(jié)分量;二層小波分解是對近似分量(LL)再進行分解,得到 LL2、LH2、HL2及HH2;三層及多于三層的分解可依次類推。N層小波分解后可得到(3N+1)個頻帶[5,8]。
圖1 圖像的小波分解過程Fig.1 The wavelet decomposition process of an image
由圖1可知,圖像的小波分解是利用上一級頻帶分解后得到的低頻子帶近似分量作為下一級頻帶分解的輸入,隨著分解層數(shù)的增加,級間的濾波器增多,信號的移位增大。同時,低頻子帶的空間分辨率降低,低頻子圖像越來越模糊,邊界延拓造成的塊狀效應(yīng)越來越明顯,引起的邊界失真也越來越大。雖然,通過小波逆變換可以得到原圖像,但不能恢復(fù)已損失的信息量。因此,在采用小波變換做圖像融合時,需限制圖像的分解層數(shù)。
在文獻[2]中提出,可以采用wmaxlev函數(shù)來計算小波分解的最大層數(shù)(尺度),但一般情況下,小波變換的分解層數(shù)都小于這個理論計算的最大值。其次,由于小波變換綜合考慮了圖像的各個頻帶信息,對細節(jié)信息的提取很有效,可應(yīng)用于各種圖像融合,如醫(yī)學圖像、紅外圖像、可見光圖像、雷達圖像、多光譜圖像等。不同類型的圖像進行融合,其側(cè)重點是不同的,但最終目的是獲取對目標更為清晰的表達,便于人眼識別。因此,可依據(jù)理論計算的最大分解層數(shù),以此作為分解的上限,對圖像進行不同層數(shù)的分解,依據(jù)人眼的主觀觀察及一些客觀評價指標,選擇效果最好的融合圖像,進而限制圖像的分解層數(shù)。筆者提出基于信息熵的低頻子帶圖像熵差來確定分解層數(shù)。
在文獻[1]中,通過引入圖像融合效果評價構(gòu)成閉環(huán)系統(tǒng)來選擇小波參數(shù),即對圖像進行融合后,對融合圖像的融合效果進行評價,然后改變小波分解層數(shù)和小波基的種類,最后采用融合效果最好的小波參數(shù)進行后續(xù)圖像的融合處理。文獻[3]中,通過比較低頻子圖像的熵差來選擇最佳小波分解層數(shù),熵的計算公式為
式中,mn為圖像的像素數(shù),xi(1≤i≤mn)為原始圖像經(jīng)過歸一化處理后的一個像素值。
借鑒上述參數(shù)選擇方法,提出以下判別準則。
第一步,確定每一種小波基函數(shù)所對應(yīng)的最佳分解層數(shù)。由于小波分解后的低頻子帶反映的是圖像的近似分量,可以間接地表示原圖像的信息,隨著分解層數(shù)的增加,低頻子帶的信息量增大,與原始圖像的差異也越來越小。因此,可以通過比較低頻子圖像與原圖像的差異來選擇小波分解層數(shù)。熵作為一種圖像融合評價手段,反映了圖像的平均信息量[9],計算公式有別于式(2),為式中,pi為灰度值等于i的像素數(shù)與圖像總像素數(shù)之比,即某一灰度值i在圖像中出現(xiàn)的概率,n為灰度級總數(shù)。
因此,可以用熵來表示低頻子圖像與原圖像的差異。對兩幅圖像而言,可以考慮二者之間的熵差。比較圖像分解后低頻子圖像的熵差和原始圖像熵差,使二者最接近的分解層數(shù)即為最佳分解層數(shù)。
這里以 CT、PET圖像為例,兩幅原圖像的熵差為
設(shè) enct、enpet分別代表兩圖像分解后的低頻子圖像的熵,則其熵差為
式中,n為兩幅圖像進行小波變換的分解層數(shù),一般取1~7。
當|Δe-Δen|取最小時,對應(yīng)的 n就是最佳分解層數(shù)。由于每一種小波基分解后的低頻子圖像是不同的,因而每一種小波基所對應(yīng)的最佳分解層數(shù)也是不同的。
第二步,根據(jù)所確定的分解層數(shù),對采用不同種小波基所得到的融合圖像效果進行評價,使融合效果最好的小波基為最佳小波基。采取的基本步驟為[10]:
步驟1,選取每一種小波基(表1所列舉的小波基)所對應(yīng)的最佳分解層數(shù);
步驟2,在分解層數(shù)確定的情況下,采用多種小波基進行小波分解;
步驟3,對各分解層分別進行融合處理,低頻加權(quán)求和,高頻用絕對值最大值法,得到融合圖像的小波系數(shù);
步驟4,對所得到融合圖像小波系數(shù)進行小波逆變換(即進行圖像重構(gòu)),所得到的重構(gòu)圖像即為融合圖像;
步驟5,對融合圖像進行綜合評價,融合效果最好的圖像所對應(yīng)的小波基為最佳小波基函數(shù)。
對于步驟5,圖像融合質(zhì)量的評價主要有主觀評價和客觀評價兩種。主觀評價屬于定性評價,是一種主觀性較強的目測方法,具有直觀、簡單、方便、快捷等優(yōu)點;客觀評價屬于定量評價,能克服主觀性??陀^類評價方法有很多,這里主要取信息熵、互信息、交叉熵、相關(guān)系數(shù)等融合評價指標,相應(yīng)的計算公式可參考文獻[5,11]。其中,互信息取融合圖像與CT圖像及融合圖像與PET圖像的平均值,交叉熵及相關(guān)系數(shù)也按此方法計算。
圖像的熵是衡量圖像信息豐富程度的一個重要指標,融合圖像的熵越大,說明圖像中包含的信息越多,融合效果越好?;バ畔⑹切畔⒄撝械囊粋€重要基本概念,可作為兩個變量之間相關(guān)性的量度,或一個變量包含另一個變量的信息量的度量,因此融合圖像與原始圖像的互信息越大越好。交叉熵直接反映了兩幅圖像的差異,交叉熵越小,則融合圖像和原圖像的差別越小。相關(guān)系數(shù)反映的是兩圖像之間的相關(guān)性,值越大效果越好。
可用圖2表示該小波基函數(shù)判別的融合步驟:設(shè)A、B為已配準好的兩幅原圖像,F(xiàn)為融合圖像。
圖2 小波圖像融合方法Fig.2 Wavelet image fusion method
對一張512像素×512像素的CT圖像和一張128像素×128像素的PET圖像進行算法的實驗驗證,兩種圖像分別來自解放軍303醫(yī)院影像中心的CT室和PET中心,均為標準的DICOM格式。CT為GE產(chǎn)品,型號 prospeed‖,物理孔徑為65 cm,F(xiàn)OV為43 cm;PET也是 GE產(chǎn)品,型號 DISCOVERY16,物理孔徑為90 cm、FOV為70 cm。算法用 Matlab 7.0.1編寫,運行的硬件環(huán)境為Intel(R)Celeron(R)CPU 2.40 GHz、1.25 GB的內(nèi)存。在實驗前,先對CT和 PET圖像進行格式轉(zhuǎn)換,轉(zhuǎn)換成 BMP格式;然后對PET圖像進行雙線性插值,以統(tǒng)一圖像的大小;接著,采用最大互信息方法對圖像進行配準,以保證融合圖像質(zhì)量。圖3為兩幅已配準好的CT圖像和PET圖像,大小為512像素×512像素。
圖3 原始圖像。(a)CT圖像;(b)PET圖像Fig.3 The original image.(a)CT image;(b)PET image
利用不同的評價方法,對這38種小波基在各自分解層數(shù)確定下的融合效果進行比較,見圖4。橫坐標表示的是小波基函數(shù)的種類,縱坐標表示的是用最大值歸一化后的熵值、互信息、交叉熵、相關(guān)系數(shù)。
由于每一系列的小波基函數(shù)有其各自的相同點,僅是小波濾波器的長度不同,因此在討論融合效果時,分各個不同的系列進行討論。同時,結(jié)合主觀評價方法,以彌補客觀評價所帶來的不足。對于熵值、互信息、交叉熵、相關(guān)系數(shù)這4個標準,在判斷圖像融合效果時,首先分析融合圖像的熵值,排除熵值較低的融合圖像,然后利用互信息、交叉墑及相關(guān)系數(shù)來考慮融合圖像與原始圖像之間的繼承關(guān)系,并綜合各種評價值,選取融合效果最好的圖像。
從圖4可以看出:當采用 Haar小波基時,融合圖像信息熵偏低,與其他小波基相比較,融合效果較差。當采用Daubechies小波基系列時,db5所對應(yīng)的融合圖像熵最大,交叉熵最小,但相關(guān)系數(shù)卻最小;db8次之,同時,db8所對應(yīng)的融合圖像互信息也最小;而db3的各項指標均適中,融合效果好。當采用Symlets小波基系列時,sym4對應(yīng)的融合圖像熵值及互信息最大,但融合圖像出現(xiàn)模糊陰影;sym5對應(yīng)的融合圖像,熵值及相關(guān)系數(shù)略低于sym7,但互信息僅次于sym4,且交叉墑較低,融合效果較好。當采用Coiflets小波基系列時,coif2的融合效果最好。當采用 Biorthogonal小波基系列時,bior2.2的各項評價指標較優(yōu),融合效果相對好些。
對所得到的每一系列最好的融合圖像作比較,在客觀評價上,sym5對應(yīng)的融合圖像效果最好,而從視覺上來說,差異不是很大,均可以這些參數(shù)進行圖像融合。圖5所示的是按照所確定的參數(shù)進行圖像融合后所得的融合圖像。
圖4 融合圖像的客觀評價。(a)信息熵;(b)互信息;(c)交叉墑;(d)相關(guān)系數(shù)Fig.4 The objective assessment of fused images.(a)entropy;(b)mutual information;(c)crossentropy;(d)correlation coefficient
采用小波變換進行醫(yī)學圖像融合時,小波基函數(shù)的選取及小波分解層數(shù)的選擇將影響融合圖像的性能。筆者依據(jù)圖像熵差確定小波分解層數(shù),依據(jù)融合評價指標確定小波基函數(shù),該方法簡單可行。在實驗過程中,確定小波分解層數(shù)這一環(huán)節(jié),由于不需要引入融合規(guī)則,節(jié)約了判別的時間。通過實驗可以發(fā)現(xiàn),在采用不同小波基函數(shù)進行圖像融合時,所對應(yīng)的最佳分解層數(shù)是不同的,但一般不超過5層。同時,同一系列的小波基函數(shù),隨著小波濾波器長度的增長,小波分解系數(shù)增加,計算量增加,程序運行的時間也增加,所以,如果強調(diào)實時性,可采用濾波器長度較短的小波基函數(shù)。
圖5 CT與PET的融合圖像。(a)db3小波基+2層;(b)sym5小波基 +2層;(c)coif2小波基 +4層;(d)bior2.2小波基+1層Fig.5 Fusion image of CT and PET.(a)db3+2 levels;(b)sym5+2 levels;(c)coif2+4 levels;(d)bior2.2+1 level
[1]趙大鵬,時家明.小波圖像融合的最佳參數(shù)研究[J].激光與紅外,2007,37(2):189-193.
[2]葛哲學,沙威.小波分析理論與 MATLAB R2007實現(xiàn)[M].北京:電子工業(yè)出版社,2007.123-126.
[3]楊颯.醫(yī)學圖像融合中最佳小波分解層數(shù)的選擇[J].計算機工程與設(shè)計,2008,29(20):5265-5268.
[4]Lewis JJ,O′Callaghan RJ,Nikolov SG,et al.Pixel-and regionbased image fusion using complex wavelets[J].Information Fusion,2007,8:119-130.
[5]敬忠良,肖剛,李振華.圖像融合—理論與應(yīng)用[M].北京:高等教育出版社,2007.55-75.
[6]Pajares G,Manuel de la Cruz J.A wavelet-based image fusion tutorial[J].Pattern Recognition,2004,37:1855-1872.
[7]秦定宇,王敬東,李鵬.圖像融合中小波基的選擇分析[J].光電子技術(shù),2006,26(3):203-207.
[8]Amolins K,Zhang Yun,Dare P.Wavelet based image fusion techniques—An introduction,review and comparison [J].ISPRS Journal of Photogrammetry& Remote Sensing,2007,62:249-263.
[9]Shi Wenzhong,Zhu Changqing,Yan Tian,et al.Wavelet-based image fusion and quality assessment[J].International Journal of Applied Earth Observation and Geoinformation,2005,6:241-251.
[10]談泉,林家瑞.多模態(tài)醫(yī)學圖像融合技術(shù)的研究與進展[J].國際生物醫(yī)學工程雜志,2006,29(3):158-161.
[11]康圣,王江安,宗思光,等.圖像融合的量化評價方法及實驗分析[J].光電子技術(shù)與信息,2006,19(2):59-63.
Research of Optimal Parameters of CT/PET Image Fusion Based on Wavelet Transform
LIU Ling-Xiang1CHEN Wu-Fan1ZHOU Ling-Hong1XU Zi-Hai2CHEN Chao-Min1
*1(Institute of Biomedical Engineering,Southern Medical University,Guangzhou 510515,China)2(Radiotherapy Center of PLA 303 Hospital,Nanning 530021,China)
R814
A
0258-8021(2010)04-0498-06
10.3969/j.issn.0258-8021.2010.04.004
2010-01-27,
2010-04-23
國家重點基礎(chǔ)研究發(fā)展(973)計劃(2010CB732500);廣東省科技計劃項目 (2007B01040056)
*通訊作者。 E-mail:gzccm@fimmu.com.