賈義亭,祝 軒,藺恩標,雷文娟
西北大學 信息科學與技術學院,西安710127
圖像配準就是對在不同時間、不同傳感器等不同條件(天候、照度、攝像位置和角度等)下獲得的兩幅或多幅圖像根據(jù)某種配準測度函數(shù),尋找一種空間變換關系,使經過空間變換后兩幅圖像間的相似性最大或者差異性最小。圖像配準(Image registration)被廣泛地應用于遙感數(shù)據(jù)分析、計算機視覺、醫(yī)學圖像分析和軍事目標自動識別等領域,是圖像處理領域的一個重要研究方向。圖像配準方法通常分為兩類:一類是剛性配準,另一類是非剛性配準。剛性配準適合于剛性物體形變的配準,其只能對圖像進行全局線性變換,使它在圖像配準方面存在很大的局限性,目前剛性配準技術已經發(fā)展得比較成熟。自然界中多數(shù)物體的形變都屬于非剛性形變,非剛性配準[1]能夠更精確地實現(xiàn)局部變形,其配準技術有待進一步提高,基于此圖像的非剛性配準算法研究受到相關人員的高度關注。
非剛性配準方法主要分為兩大類:基于像素的方法和基于特征的方法。其中基于像素的方法不需要對圖像進行分割,可避免因分割帶來的邊緣效應和誤差,是目前公認的較好的方法之一。Hellier 等人[2]對配準方法的比較研究表明Demons 配準算法對非剛性形變具有較高的配準精度。文獻[3]則指出Demons 算法只適用于小形變配準,對大形變問題Demons 算法將不能保持圖像的拓撲結構,并產生物理上的不合理形變。此外,Demons算法還存在僅靠梯度信息來確定浮動圖像的位移量,當梯度非常小時,圖像形變的方向不能被確定,往往會導致錯誤的配準變換[3]。針對Demons 算法的弊病,Wang 等人[4]提出了改進的Active Demons 算法,將牛頓作用力與反作用力原理引入Demons算法,假設擴散是雙向的,認為不但可以用參考圖像的梯度信息作為驅動力使浮動圖像向參考圖像擴散,同時施加反向作用力使參考圖像向浮動圖像擴散。Active Demons算法能夠部分克服Demons 算法的缺陷,特別是在提高大形變配準的正確性和一致性方面具有一定優(yōu)勢。
Active Demons 配準算法[5]是一種將形變配準視作擴散問題的基于灰度的非剛性配準方法,其利用參考圖像的灰度梯度信息作為驅動力實現(xiàn)浮動圖像與參考圖像的配準。
隨著對圖像局部特征研究的深入,人們認識到僅用一階微分量——梯度來表征圖像局部特征是不夠的,二階微分量中含有更豐富的信息。Sapiro 和Caselles 指出圖像中物體的形狀信息取決于等照度線(isophoto)的形態(tài)學特征[6-7]。在文獻[3]中將圖像等照度線的曲率作為一個校正形變的驅動力因素引入Demons 擴散方程,建立了一個基于梯度和曲率變形力相結合的擴散模型(簡稱G&C model),實現(xiàn)了小形變圖像的精確配準。更進一步將等照度線的曲率引入Active Demons 算法,提出改進的Active G&C 模型,并在Active G&C 模型應用于大形變圖像配準的算法實現(xiàn)過程中加入多分辨率策略,使梯度與曲率變形力相結合的Active G&C 配準模型不僅能夠克服Active Demons算法僅依靠梯度信息易導致錯誤配準的弊病,而且在提高大形變圖像的配準精度方面明顯優(yōu)于Active Demons 算法。本文通過實驗對上述內容進行驗證,結果表明提出的方法行之有效。
Demons 算 法 是Thirion 等 人[5]根 據(jù) 經 典 的Maxwell’s demons 熱力學實驗,提出的一種基于光流場的非剛性圖像配準模型,其配準思想是將配準過程看作是浮動圖像的像素向參考圖像逐步擴散的過程,擴散強度由參考圖像的梯度信息確定,擴散方程如下:
其中m、s分別表示浮動圖像和參考圖像,?s表示參考圖像的梯度。
文獻[4]提出改進的Active Demons 算法,該算法根據(jù)牛頓作用力與反作用力的原理,假設擴散是雙向的,不僅利用參考圖像的灰度梯度信息?s使浮動圖像向參考圖像擴散,而且利用浮動圖像的灰度梯度信息?m使參考圖像向浮動圖像擴散,定義如下基于浮動圖像的灰度梯度信息驅動力um:
其中,“-”表示反作用力。
結合式(1)和(2),得Active Demons算法驅動力:
其中,前項促使浮動圖像向參考圖像移動,后項促使參考圖像向浮動圖像移動。
具體在算法實現(xiàn)過程中引入歸一化參數(shù)α[4],用來自適應地調節(jié)每次迭代中的驅動力,以加快收斂速度,得式(4):
記灰度圖像u(x,y),其梯度是一階量,可表示為?u=(ux,uy),其中ux=?u/?x,uy=?u/?y,梯度信息反映圖像中像素灰度值的變化強弱。圖像的等照度線定義為Xλu={[x,y],u(x,y)=λ},等照度線是指圖像中光順的曲線,反映圖像中物體的形狀。文獻[6-7]指出圖像中物體的形狀信息取決于等照度線的形態(tài)學特征。鑒于真實圖像中的等照度線足夠光順,相應地描述等照度線形態(tài)學特征的二階微分量——曲率的變化應該較小,然而因為浮動圖像存在形變,造成其中的等照度線發(fā)生畸變,使曲率發(fā)生顯著變化?;谏鲜龇治?,認為Demons 和Active Demons 算法僅靠梯度信息決定配準驅動力是不夠的,為了使畸變的等照度線也變得比較光順,將等照度線曲率作為另一個驅動力因素引入Active Demons 方程,使浮動圖像在梯度和曲率雙重驅動作用力下形變,定義如下兩個曲率驅動力uk(m)和uk(s):
其中,f(k(s))和f(k(m))分別是以參考圖像的曲率k(s)和浮動圖像的曲率k(m)為自變量的曲率驅動函數(shù),其作用是保持圖像的結構信息,使等照度線變的光滑,“-”表示反作用力。
結合式(5)和(6),并引入歸一化參數(shù)α,得:
將該模型稱為梯度和曲率變形力相結合的配準模型(簡稱Active G&C model)。
本文選取如下曲率驅動函數(shù):
以參考圖像的曲率ks計算為例,如式(9):
浮動圖像的曲率km計算只需將式(9)中的s 換成m。
為了更進一步提高大形變圖像的配準精度,在迭代求解Active G&C model 的過程中加入金字塔多分辨率策略,對浮動圖像和參考圖像進行多級金字塔分解,將低級金字塔圖像計算得到的位移偏移量超采樣后作為上一級金字塔圖像的初始變換矩陣(如圖1 所示),按照由粗到精逐級迭代的方式對配準結果優(yōu)化。多分辨率策略不僅有利于提高配準算法的執(zhí)行速度和精度,更重要的是可以避免配準過程中出現(xiàn)局部極值[8]。
圖1 多分辨率策略示意圖
Active G&C 算法實現(xiàn)過程如下:
步驟1設定初始偏移矩陣T0,設置金字塔級數(shù)K ,對浮動圖像m 和參考圖像s 進行K 級金字塔分解。
步驟2當前金字塔級數(shù)k <K 時,根據(jù)式(7)進行n 次迭代,得浮動圖像m 相對參考圖像s 的位移偏移矩陣更新偏移矩陣Tk=Tk-1+ukn。
步驟3用Tk使浮動圖像形變,用均方誤差MSE(式(10))作為形變后的浮動圖像與參考圖像的相似性測度,當相似性測度小于某設定閾值時,認為第k 級分辨率圖像已收斂,進入第k+1 級,執(zhí)行步驟4,否則繼續(xù)迭代,計算ukn+1。
步驟4對前一級圖像的偏移矩陣Tk-1超采樣,作為當前圖像配準的初始位移偏移量 執(zhí)行步驟2。
步驟5K 級金字塔迭代完成后,將最終的位移偏移矩陣作用于浮動圖像,得到最終的配準結果。
在Matlab7.6 環(huán)境下,分別用Demons、Active Demons和本文方法分別對大形變Woman 圖像進行配準。實驗結果如圖2 所示。實驗迭代次數(shù)為200 次,進行三級金字塔分解,Active Demons和本文Active G&C 算法中α 取2.5。
一般情況下金字塔級數(shù)越高,配準效果越好,但是配準時間越長??筛鶕?jù)所處理對象的不同,權衡配準精度和時間效率之間的利弊加以選擇。
觀察圖2可以看出本文方法在配準大形變圖像時具有更好的視覺效果(如眼睛和嘴的部位),明顯優(yōu)于其他兩種方法。
為了進一步客觀評價上述三種配準方法的配準質量,以大形變Elaine 圖為例,采用不同的配準方法得圖3 所示配準結果。通過在Elaine 圖中的相同位置劃線,繪制相應的灰度偏移曲線,比較不同配準方法配準大形變Elaine 圖像后與參考圖像之間的灰度偏移量,得圖4(a)和(b),其中特別給出了本文方法和Active Demons 方法的灰度偏移比較曲線,如圖4(b)。
觀察對比圖4 中灰度偏移曲線可知,采用多分辨策略的Active G&C 方法在處理大形變圖像配準問題時優(yōu)越性明顯,配準結果中的各個像素點的灰度值與參考圖像基本一致,可實現(xiàn)圖像局部的精確配準,視覺效果更好。
分別用均方誤差、峰值信噪比、相關系數(shù)、歸一化互信息和結構相似度[9]五種客觀評價方法比較Demons、Active Demons 和Active G&C 方法配準Elaine 圖像的配準質量,得表1。
圖2 Woman 圖像配準
圖3 Elaine圖像配準
圖4 灰度偏移比較
表1 質量評價比較
相關系數(shù)可以反映兩幅圖像之間的相似度,按式(11)計算:
Scc越大配準效果越好。
結構相似度(SSIM)按式(12)計算:
其中,s為參考圖像,T(m)為配準結果,S(s,T(m))是參考圖像s與配準結果T( )m之間的結構相似度度量函數(shù),α>0,β>0,γ>0,用來調整圖像亮度、對比度和結構信息所占的比重,l(·),c(·),s(·)分別是浮動圖像和參考圖像之間亮度、對比度和結構的比較函數(shù)。
從表1 中可以看出,Active G&C 方法相比其他兩種配準方法優(yōu)勢更明顯。
本文將等照度線曲率引入Active Demons 算法,同時在算法迭代過程中采用金字塔多分辨率策略,建立了一個具有曲率和梯度雙重驅動力相結合的配準擴散模型,該模型克服了僅靠梯度信息易導致錯誤圖像配準以及對大形變圖像配準精度不高的弊病。實驗表明,本文方法是一種行之有效的圖像配準算法。
[1] Crum W R,Hartkens T.Non-rigid image registration:theory and practice[J].British Journal of Radiology,2004,77:140-153.
[2] Hellier P,Barillot C,Corouge I,et al.Retrospective evaluation of inter-subject brain registration[J].IEEE Transactions on Medical Imaging,2003,22(9):1120-1130.
[3] 雷文娟.非剛性圖像配準方法研究[D].西安:西北大學信息科學與技術學院,2008.
[4] Wang He,Dong Lei.Validation of an accelerated“demons”algorithm for deformable image registration in radiation therapy[J].Physics in Medicine Biology,2005,50(12):2887-2905.
[5] Thirion J P.Image matching as a diffusion process:an analogy with Maxwell’s demons[J].Medical Image Analysis,1998,2(3):243-260.
[6] Caselles V.Shape preserving local contrast enhancement[C]//Proceedings of the 1997 International Conference on Image Processing(ICIP’97).Washington:IEEE Computer Society,1997:314-317.
[7] Sapiro G,Caselles V.Histogram modification via differential equations[J].Journal of Differential Equations,1997,135(2):238-268.
[8] 張紅穎,張加萬,孫濟洲.改進Demons 算法的非剛性醫(yī)學圖像配準[J].光學精密工程,2007,15(1):145-150.
[9] Wang Zhou,Bovik A C.Modern image quality assessment(synthesis lectures on image,video & multimedia processing)[M].[S.l.]:Morgan & Claypool Publishers,2006.