崔 棟,劉敏敏,張光玉,焦 青,陳 迪,郭永新
1 泰山醫(yī)學(xué)院放射學(xué)院,泰安市,271016
2 泰安市中醫(yī)醫(yī)院眼科,泰安市,271000
3 泰山醫(yī)學(xué)院附屬醫(yī)院眼科,泰安市,271000
基于邊緣擴(kuò)展相位相關(guān)的眼底圖像拼接
【作 者】崔 棟1,劉敏敏2,張光玉1,焦 青1,陳 迪3,郭永新1
1 泰山醫(yī)學(xué)院放射學(xué)院,泰安市,271016
2 泰安市中醫(yī)醫(yī)院眼科,泰安市,271000
3 泰山醫(yī)學(xué)院附屬醫(yī)院眼科,泰安市,271000
該文采用了一種基于邊緣擴(kuò)展相位相關(guān)的圖像拼接算法。首先使用改進(jìn)的小波邊緣檢測算法對眼底圖像進(jìn)行邊緣檢測,再對檢測出的邊緣進(jìn)行擴(kuò)展相位相關(guān)計(jì)算得出圖像間的平移、旋轉(zhuǎn)和尺度變化,利用這些參數(shù)拼接圖像,最后用漸進(jìn)漸出的算法來實(shí)現(xiàn)拼接圖像的融合。實(shí)驗(yàn)證明這種算法能夠簡化計(jì)算,并且有效的實(shí)現(xiàn)眼底圖像的拼接。
眼底圖像;圖像拼接;擴(kuò)展相位相關(guān)
眼底圖像對糖尿病、高血壓等眼底病變以及黃斑病變、眼底動(dòng)脈硬化和視網(wǎng)膜病變等眼底疾病的早期發(fā)現(xiàn)、診斷及指導(dǎo)治療有著重要的意義。由于眼底照相機(jī)的視場角度有限,一次成像只能獲取眼底局部區(qū)域的圖像。為了滿足研究和臨床診斷中對整個(gè)或大部分眼底區(qū)域圖像進(jìn)行分析處理的需要,就需要對不同視場區(qū)域的眼底圖像進(jìn)行圖像配準(zhǔn)和拼接。由多幅局部圖像生成無縫全景圖像,可提供完整的眼底視圖,滿足臨床擴(kuò)大視野、疾病跟蹤以及輔助診斷等應(yīng)用的需求,在眼科方面具有重要的研究價(jià)值和臨床意義[1-3]。
眼底造影圖像中組織密度不均勻,層次較豐富,噪聲大,血管的組織密度較高。同時(shí),由于物理和光照等原因,每幅圖像中的邊緣通常產(chǎn)生在不同的尺度范圍內(nèi),形成不同類型的邊緣。因此,根據(jù)圖像特性自適應(yīng)地正確檢測出視網(wǎng)膜血管的邊緣是非常困難的。小波變換具有良好的時(shí)頻局部化特性及多尺度分析能力,在不同尺度上具有“變焦”的功能,適合于檢測突變信號[4-5]。
首先由樣條函數(shù)構(gòu)造樣條小波,由此得到小波濾波系數(shù),然后,采用小尺度多方位濾波取最大值的檢測方法得到眼底熒光圖像的血管初始邊緣,利用邊緣細(xì)化算法對初始邊緣進(jìn)行細(xì)化,基于分形技術(shù)對細(xì)化后的邊緣進(jìn)行連接,由噪聲去除算法消除邊緣圖像中的噪聲點(diǎn),得到連續(xù)的單像素點(diǎn)血管邊緣。最后,利用計(jì)算機(jī)程序自動(dòng)在邊緣圖像中搜尋三個(gè)相鄰的邊緣像素點(diǎn),由這三個(gè)像素點(diǎn)決定兩條直線,若這兩條直線夾角等于零度,則認(rèn)為這三個(gè)點(diǎn)在一條直線上,即找到了血管一條邊緣,在這條邊緣的垂直方向上搜尋血管的另一條邊緣[6]。實(shí)驗(yàn)結(jié)果如圖1所示,圖1(b)所示為基于Canny算子的血管邊緣檢測結(jié)果,圖1(c)所示為基于小波邊緣檢測算法的血管邊緣檢測結(jié)果。本文所使用的方法具有更好的邊緣連續(xù)性和更少的過檢測點(diǎn)。
圖1 眼底圖像的邊緣檢測Fig.1 Fundus image edge detection
使用相位相關(guān)法來實(shí)現(xiàn)數(shù)字圖像拼接,是先將兩幅待拼接圖像使用傅里葉變換算法變換到頻域,再計(jì)算它們之間的互功率譜,從而計(jì)算出兩幅圖像之間的平移量,找到配準(zhǔn)位置實(shí)現(xiàn)圖像的拼接。如果圖像之間存在旋轉(zhuǎn)變換,就可使用擴(kuò)展相位相關(guān)法,將圖像坐標(biāo)變換到極坐標(biāo)下,尺度變化和旋轉(zhuǎn)量就轉(zhuǎn)換為平移量來計(jì)算,最后實(shí)現(xiàn)眼底造影圖像的拼接[7]。
2.1 相位相關(guān)法
相位相關(guān)法是利用二維傅里葉變換的性質(zhì),將空域上的平移等效于頻域相位的平移。相位相關(guān)法具有場景無關(guān)性,能夠?qū)⒍S有平移圖像在較好的條件下進(jìn)行精確的對齊[8]。
設(shè)二維離散圖像f (x, y)的大小為M×N,則二維離散傅里葉變換定義為:
其中,u=0, 1,... M-1; v=0, 1, ... N-1。
傅里葉變換定義為:
其中,u=0, 1,... M-1;y =0, 1, ... N-1。
設(shè) f1和 f2分別表示兩幅待拼接的數(shù)字圖像,第二幅圖像在第一幅圖像的基礎(chǔ)上有如下的坐標(biāo)轉(zhuǎn)換關(guān)系:
其中,(x0, y0)表示平移量,相對應(yīng)的傅立葉變換F1和F2滿足如下關(guān)系:
由上式可知,這兩幅待拼接圖像在頻域中具有相同的幅值,只是它們的相位不同。它們之間的相位差同時(shí)可以等效為互功率譜的相位。
式(6)中F2*(ξ, η)是F2(ξ, η)的復(fù)共軛,二位脈沖函數(shù)δ(x-x, y-y)是e-j( ξx0-ηy0)的傅里葉變換。規(guī)格化
00的互功率譜的結(jié)果是簡單復(fù)指數(shù),即相位差。相位差的傅里葉變換是在平移運(yùn)動(dòng)坐標(biāo)上的脈沖,搜索最大的位置(x0, y0)就是兩幅圖像的對齊點(diǎn)。此算法具有簡單而準(zhǔn)確的優(yōu)點(diǎn),但對具有較大旋轉(zhuǎn)角度和較大尺度變化的兩幅圖像的配準(zhǔn)則顯得無能為力。
2.2 擴(kuò)展相位相關(guān)法
為了能解決同時(shí)存在相對平移、旋轉(zhuǎn)和尺度變化的兩幅圖像的配準(zhǔn)問題, Reddy BS等人在1996年將對數(shù)極坐標(biāo)變換與相位相關(guān)法相結(jié)合,形成了擴(kuò)展相位相關(guān)法。該算法保留了相位相關(guān)算法的優(yōu)點(diǎn),實(shí)現(xiàn)了尺度因子和旋轉(zhuǎn)角度的檢測[9]。
假設(shè)圖像 f2(x, y)相對于圖像 f1(x, y)沿順時(shí)針方向旋轉(zhuǎn)了θ0角度,尺度變化了α倍,并平移了(x0, y0)。則兩幅圖像信號 f1(x, y)和 f2(x, y),滿足:
對f1(x, y)和f2(x, y)分別取傅里葉變換得F1( μ, ν)和F2( μ, ν),則F1( μ, ν)和F2( μ, ν)滿足:
對F1(μ, ν)和F2( μ, ν)取模得到M1( μ, ν)和M2(μ, ν),則有
對M1(μ, ν)和M2(μ, ν)進(jìn)行對數(shù)極坐標(biāo)變換可得:
式中,θ為極角,γ為對數(shù)極徑。表明了尺度因子和旋轉(zhuǎn)角度在對數(shù)角坐標(biāo)系中表現(xiàn)為M1(γ, θ)和M2(γ, θ)的相對平移量。
對M1(γ, θ)和M2(γ, θ)分別做傅里葉變換得到,其歸一化互功率譜為:
對C(μ, ν)取傅里葉反變換得
c( γ, θ)為二維沖擊函數(shù),只要搜索其峰值所在位置即可確定尺度因子α和旋轉(zhuǎn)角度θ0。
對圖像f1(x, y)沿順時(shí)針方向旋轉(zhuǎn)θ0角度,并尺度α倍得到相對于f2(x, y)僅存在(x0, y0)平移的圖像,重復(fù)式就可以求解平移量(x0, y0)。
由于光照條件、時(shí)間條件的變化以及幾何校正所帶來的誤差,我們所獲得的拼接圖像會(huì)存在灰度的不連續(xù)和幾何變形留下的縫隙,若拼縫是在圖像的邊緣位置,則更加明顯,因此,本文采用了加權(quán)平均的圖像融合方法,減小和消除可能形成的拼縫[10]。
加權(quán)平均法是對圖像重疊區(qū)域中的像素值先進(jìn)行加權(quán)計(jì)算,然后再疊加像素值來計(jì)算像素平均值。設(shè)f1和f2分別代表待拼接的兩幅圖像,f代表融合后的圖像,則有:
式中,和代表兩幅待拼接圖像在重疊區(qū)域中對應(yīng)像素的權(quán)值,找出適當(dāng)?shù)臋?quán)值,就能實(shí)現(xiàn)圖像重疊區(qū)域的平滑過渡,消除圖像拼接接縫。
本文使用漸入漸出法選取權(quán)值,將圖像f1和f2在空間上疊加,則融合后的圖像像素可表示為:
實(shí)驗(yàn)使用日本產(chǎn)KAWA VX-3眼底數(shù)字照相機(jī)進(jìn)行拍攝,得到多幅具有重疊區(qū)域的眼底圖像,如圖2所示。在Matlab 2012軟件中進(jìn)行計(jì)算,分別提取出多幅眼底圖像中的邊緣。利用圖像中的邊緣,使用擴(kuò)展相位相關(guān)算法拼接眼底圖像,如圖3所示。通過實(shí)驗(yàn)可以看出,本文提出的算法具有很好的效果,能夠有效地實(shí)現(xiàn)眼底圖像的拼接。
圖2 眼底圖像Fig.2 Fundus images
圖3 眼底造影圖像的拼接效果圖Fig.3 Fundus angiography images of the mosaic effect chart
本文使用改進(jìn)的小波邊緣檢測算法提取眼底圖像中的血管邊緣信息,再通過求邊緣擴(kuò)展相位相關(guān)找出眼底圖像間的變換參數(shù),從而進(jìn)行眼底圖像拼接,并用漸入漸出法融合拼接后的眼底圖像。通過實(shí)驗(yàn)可以看出該算法簡單,計(jì)算量小,能夠有效的實(shí)現(xiàn)眼底圖像的拼接。
[1] 陳昱, 莊天戈. 醫(yī)學(xué)影像中的圖像配準(zhǔn)和融合技術(shù)研究[J]. 中國醫(yī)療器械雜志, 1999, 23(3): 134-138.
[2] 張承芬, 劉熙樸. 我國眼底病臨床和研究工作的現(xiàn)狀及發(fā)展趨勢[J]. 中華眼科雜志, 2002, 38(3): 129-131.
[3] 王曉幸, 王勤美, 包含飛. 眼科信息學(xué)的發(fā)展概述[J]. 中華眼科雜志, 2006, 42(5): 476-480.
[4] 張德豐, 張葡青. 基于小波的圖像邊緣檢測算法研究[J]. 中山大學(xué)學(xué)報(bào), 2007, 46(3): 39-42.
[5] 費(fèi)浦生, 王文波. 基于小波增強(qiáng)的改進(jìn)多尺度形態(tài)梯度邊緣檢測算法[J]. 武漢大學(xué)學(xué)報(bào), 2007, 32(2): 120-123.
[6] 崔棟, 劉敏敏, 張光玉. 基于改進(jìn)小波邊緣檢測算法的視網(wǎng)膜血管寬度測量[J]. 中國組織工程與臨床康復(fù), 2009, 14(39): 7340-7346.
[7] 邵向鑫. 數(shù)字圖像拼接核心算法研究[D]. 吉林大學(xué), 2010.
[8] 羅鎮(zhèn)寶, 張永科, 吳鐘建. 基于擴(kuò)展相位相關(guān)的圖像快速匹配算法研究[C]. 圖像圖形技術(shù)與應(yīng)用進(jìn)展——第三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議. 2008: 182-187.
[9] Reddy BS, Chatterji BN. An FFT-based technique for translation, rotation and scale-invariant image registration[J]. IEEE Trans Image Process, 1996, 5(8): 1266-1271.
[10] 倪國強(qiáng). 多波段圖像融合算法研究及其新進(jìn)展[J]. 光電子技術(shù)與信息, 2001, 14(5): 11-17.
Fundus Images Mosaicking Based on Edge Extended Phase Correlation
【W(wǎng)riters】Cui Dong1, Liu Minmin2, Zhang Guangyu1, Jiao Qing1, Chen Di3, Guo Yongxin1
1 Department of Radiology, Taishan Medical University, Tai’an, 271016
2 Department of Ophthalmology, Chinese Medicine Hospital, Tai’an, 271000
3 Department of Ophthalmology, Hospital Aff i liated to Taishan Medical University, Tai’an, 271000
With regard to the large amount of calculation in image mosaic algorithm, an image mosaic algorithm based on extended phase correlation of edge is presented. The improved wavelet edge detection algorithm is to detect edge of blood vessels. Then the image translation, rotation and scale changes are calculated by the extended phase correlation method. These parameters are utilized to stitch images. Finally, image fusion can be achieved by fade-infade-out method. It is proved by experiments that this algorithm is simple to calculate, and can effectively achieve the image mosaic.
fundus image, image mosaic, extended phase correlation
TP317.4
A
10.3969/j.issn.1671-7104.2013.03.002
1671-7104(2013)03-0163-03
2013-01-13
山東省醫(yī)藥衛(wèi)生科技發(fā)展計(jì)劃項(xiàng)目(2011HW079)
崔棟,實(shí)驗(yàn)師,碩士,主要研究方向:醫(yī)學(xué)圖像處理,E-mail: cuidong_cd@126.com
郭永新,教授,主要研究方向:生物醫(yī)學(xué)信號處理,E-mail: davidgyx@163.com