郭姝言,劉　橋,盧　進

(長沙理工大學(xué) 電氣與信息工程學(xué)院,湖南 長沙　410114)

一種改進的醫(yī)學(xué)圖像深度信息恢復(fù)算法

郭姝言,劉橋,盧進

(長沙理工大學(xué) 電氣與信息工程學(xué)院,湖南 長沙410114)

摘要針對醫(yī)學(xué)圖像深度信息恢復(fù)的實時性問題,提出了一種Harris角點檢測與SIFT特征點檢測相結(jié)合的算法,提取醫(yī)學(xué)圖像的特征點,采用歐式距離作為相似性判定準則將特征點進行匹配,克服了傳統(tǒng)SIFT算法提取特征點過多、耗時長的問題。并對獲得較致密的視差圖,運用三角測量的方法恢復(fù)醫(yī)學(xué)圖像的深度信息。實驗結(jié)果表明,文中所提算法在縮短了醫(yī)學(xué)圖像深度信息恢復(fù)的時間的同時提高了精度,驗證了該算法的有效性。

關(guān)鍵詞雙目立體視覺;Harris;SIFT;圖像匹配;深度信息恢復(fù)

Medical Image Depth Information Recovery Based on Binocular Stereo Vision

GUO Shuyan,LIU Qiao,LU Jin

(College of Electrical and Information Engineering,Changsha University of

Science and Technology,Changsha 410114,China)

AbstractA Harris-SIFT algorithm is proposed to extract the medical image feature points at first for real-time medical image depth information recovery.The Euclidean distance is used as the similarity criterion for matching the feature points.This matching algorithm reduces the feature points and time consumption of SIFT extraction.The denser disparity maps are processed by the triangulation method to recover the depth information of medical image.The experimental result shows that the proposed algorithm effectively reduces the medical image depth information recovery time and improves the accuracy.

Keywordsbinocular stereo vision;Harris;SIFT;image matching;depth information recovering

視覺是人類觀察和感知世界的一種重要手段,雙目立體視覺的研究目標就是使機器人具備通過幾幅圖片來認知周圍環(huán)境的能力,從二維圖像中感知、獲得三維世界的信息,目前已被廣泛應(yīng)用于遙感圖像分析、道路跟蹤、特定目標識別、醫(yī)學(xué)圖像處理、多媒體技術(shù)等方面?；陔p目立體視覺的三維重建技術(shù)是近年來視覺技術(shù)領(lǐng)域中迅速發(fā)展的一個新技術(shù)。文獻[1]總結(jié)了近年來三維重構(gòu)的研究成果和計算方法,其中有Harris角點檢測算法、邊緣提取算子、Canny邊緣檢測算法和圖像匹配算法。這些算法在圖像處理中各有優(yōu)劣。文獻[2]運用Canny算子檢測圖像邊緣,提取圖像的輪廓信息并進行匹配。該算法降低了計算復(fù)雜度和成本。文獻[3~4]提出了基于雙目立體視覺的物體識別與定位,提高了采摘機器人視覺系統(tǒng)的定位精度。文獻[5]針對農(nóng)業(yè)害蟲,提出了一種新的三維重建算法,該算法降低了平均誤差和百分比誤差,提高了害蟲重建的精度。萬智萍[6]等對有一定程度模糊的圖片設(shè)計開發(fā)了雙目立體視覺的監(jiān)控跟蹤系統(tǒng),能夠?qū)崿F(xiàn)對監(jiān)控區(qū)域的物體進行距離測量和識別。張順嵐[7]等提出了一種基于雙目視覺的新的三維人臉識別算法,完成了人臉二維圖像采集和反向傳播神經(jīng)網(wǎng)絡(luò)識別工作,提高了識別的正確率,縮短了識別時間。原思聰[8]等在基于SIFT的特征點匹配的基礎(chǔ)上加入極線約束的方法,去除了大部分虛假匹配。趙本東[9]等綜合了Susan和Harris兩種算法的優(yōu)點,提出了一種改進的角點特征提取算法,該算法具有較好的角點檢測性能。張棟棟[10]等基于區(qū)域匹配的方法對圖像進行特征點匹配,完成電池的三維重建。

本文重點研究了雙目立體視覺下的醫(yī)學(xué)圖像匹配與深度信息恢復(fù),為了克服SIFT提取的特征不是人們視覺中的角點,且計算量較大,實時性差的問題,提出了一種將Harris算子和SIFT算子相結(jié)合的算法,以便于較準確、快速地提取特征點,對醫(yī)學(xué)圖像進行匹配,得出視差圖,最后通過三角測量的方法恢復(fù)醫(yī)學(xué)圖像的深度信息。

1雙目立體視覺系統(tǒng)模型

雙目立體視覺的基本原理是從兩個視點觀察同一景物,以獲取在不同視角下的感知圖像,然后通過三角測量原理計算圖像像素間的位置偏差來獲取景物的三維信息。本文重點研究的是兩臺攝像機平行放置的雙目視覺系統(tǒng)。圖1給出了雙目成像系統(tǒng)的平面示意圖,圖中的L和R分別代表左右兩個攝像機,f表示焦距,這樣就構(gòu)成了一個主光軸平行的雙目視覺模型。

圖1　雙目視覺成像系統(tǒng)

三角測量法恢復(fù)深度信息的原理圖,如圖2所示,CL、CR分別表示左右攝像機的光心的位置;f表示攝像機的焦距;b表示CL與CR之間的距離。目標上的點P過CL和CR分別向圖像面做垂線,過P向圖像面做垂線,AL、AR、B表示垂足。

圖2　三角測量恢復(fù)深度信息原理圖

(1)

(2)

由式(1)和式(2)化簡可得

(3)

將式(3)式帶入式(1)中,可得

(4)

式中,la-lb稱為P在左右兩個圖像面上形成的視差;表示P在左右兩幅圖像中的成像點的位置差異。因此,要恢復(fù)出圖像的深度信息,最關(guān)鍵的是要求得視差。

2圖像匹配算法

2.1　SIFT算法原理

SIFT算子特征是圖像的局部特征,其在平移、尺度縮放、旋轉(zhuǎn)、對亮度影響及抗噪性能等方面具有一定的優(yōu)勢,SIFT特征匹配算法主要經(jīng)過兩個階段:(1)SIFT特征的生成;(2)SIFT特征向量的匹配[11]。

任何一幅二維圖像,將其與Gaussian核卷積可以得到不同尺度下的尺度空間

L(x,y,σ)=G(x,y,σ)×I(x,y)

(5)

SIFT匹配算法包括4個過程:(1)對空間尺度的極值點進行檢測。首先對所有的圖像與尺度的位置進行搜索,再通過Gaussian差分公式來檢驗具有尺度縮放和旋轉(zhuǎn)不變性的特征點;(2)定位極值點。精確對各個候選點進行尺度與位置的確定,以增強圖像匹配的正確性;(3)關(guān)鍵點方向的確定。對每個關(guān)鍵點進行一個方向的分配,保證尺度的旋轉(zhuǎn)不變性;(4)特征點描述子的生成。利用梯度統(tǒng)計的方法對關(guān)鍵點當前所在的尺度空間的區(qū)域進行統(tǒng)計,進而生成特征點描述子。

2.2　SIFT與Harris結(jié)合提取特征點

由于醫(yī)學(xué)圖像處理對實時性要求較高,且SIFT算法提取特征點的數(shù)量較多、耗時較長,SIFT算法提取的特征點不能準確定位角點,故將Harris算法與SIFT算法結(jié)合,采用Harris提取特征點取代SIFT算法極值點。Harris是較為穩(wěn)定有效的一種特征點提取算法,有如下角點響應(yīng)函數(shù)

R(Aρ)=det(Aρ)-k·tr2(Aρ)

(6)

2.3　圖像特征點匹配步驟

圖3給出了圖像特征點匹配的步驟,當兩幅醫(yī)學(xué)圖像的特征向量生成后,采用歐氏距離作為兩幅醫(yī)學(xué)圖像特征點的相似性判定準則[12]。首先取出左圖像的特征點,找出與右圖像中歐氏距離最近的前兩個特征點,若離這兩個特征點的最近距離和次近距離的比值小于某個比例閾值,則接受這一匹配點。

圖3　圖像特征點匹配步驟

3實驗結(jié)果與分析

在PC機上用Matlab 2012b實現(xiàn)本文提出的算法,對獲取的兩幅醫(yī)學(xué)圖像進行特征點提取,并將Harris與SIFT相結(jié)合的算法與SIFT算法的匹配結(jié)果進行對比和分析,最后運用三角測量原理恢復(fù)醫(yī)學(xué)圖像的深度信息。本文的醫(yī)學(xué)圖像取自二尖瓣索修復(fù)手術(shù)視頻,如圖4和圖5所示,實驗中,攝像機光心距離取0.5 m,匹配閾值取0.49。匹配結(jié)果如圖6和圖7所示。

圖4　左圖像

圖5　右圖像

表1為圖6和圖7的匹配結(jié)果統(tǒng)計,可以看出,本文提出的將Harris與SIFT相結(jié)合對醫(yī)學(xué)圖像進行特征點匹配生成的特征點數(shù)量要比SIFT算法少,從而在一定程度上減小了數(shù)據(jù)庫容量和有待匹配的特征點數(shù)量,縮短了匹配時間。并在生成SIFT描述子之前,本文提出的算法采用Harris算子檢測特征點,計算量較小,與SIFT算法特征點匹配相比,去除了部分不顯著的特征點,減小了特征描述生成階段的計算量和生成的次數(shù),提高了匹配精度,可滿足醫(yī)學(xué)圖像處理實時性要求。

圖6　SIFT特征點匹配結(jié)果

圖7　Harris與SIFT相結(jié)合特征點匹配結(jié)果

算法SIFTHarris_SIFT匹配點數(shù)7631誤匹配點數(shù)31匹配率/%96.0596.77匹配時間/s5.82.4

圖8給出了將Harris與SIFT算法結(jié)合提取特征點后,并進行匹配后得到的較密集視差圖。由實驗結(jié)果可知,得到的視差圖能夠較好地體現(xiàn)出醫(yī)學(xué)圖像的特征,從中可較為清晰地看出手術(shù)夾子以及人體的輪廓信息,且圖像含有的噪聲較少。圖9是根據(jù)三角測量法對醫(yī)學(xué)圖像進行深度信息恢復(fù)的結(jié)果,圖像能較好地反映原有醫(yī)學(xué)圖像的信息,表明本文采用的匹配算法有較好的效果。

圖8　視差圖

圖9　醫(yī)學(xué)圖像深度信息恢復(fù)結(jié)果

4結(jié)束語

SIFT算法在平移、尺度縮放、旋轉(zhuǎn)、對亮度影響及抗噪性能等方面均具有一定的優(yōu)勢,但在處理實時性要求較高的醫(yī)學(xué)圖像時,提取的特征點過多且可能不是角點,計算量較大。由實驗結(jié)果可看出,本文提出的將Harris與SIFT算法相結(jié)合,在一定程度上彌補了這一缺點,降低了特征點提取和圖像匹配的復(fù)雜度,同時縮短了匹配時間,保證了正確匹配率,滿足了醫(yī)學(xué)圖像

處理實時性的要求。同時,可增強算法的抗噪聲能力和對圖像進行變化的魯棒性,醫(yī)學(xué)圖像深度信息恢復(fù)結(jié)果進一步驗證了該算法的有效性。對醫(yī)學(xué)圖像進行三維重建,實現(xiàn)從二維圖像到三維空間的重構(gòu),使結(jié)果更接近人眼所能反映出的圖像,將是下一步研究工作的目標。

參考文獻

[1]沈洪宇,柴毅.計算機視覺中雙目視覺綜述[J].科技資訊,2007(34):150-151.

[2]ZhangHui.Afastbinocularvisionstereomatchingalgorithm[C].Wuhan,China:Proceedingof2012InternationalConferenceonModelling,IdentificationandControl,2012.

[3]項榮.基于雙目立體視覺的番茄定位[J].農(nóng)業(yè)工程學(xué)報,2012,28(5):161-167.

[4]LiJian.Researchonlocalizationofapplesbasedonbinocularstereovisionmarkedbycancroidsmatching[C].Beijing,China:ThirdInternationalConferenceonDigitalManufacturingandAutomation,2012.

[5]RenJianqiang.Algorithmfor3Dreconstructionofagriculturefieldpestsbasedonbinocularstereovision[C].Shijiazhuang,China:WorldAutomationCongress(WAC),2010.

[6]萬智萍,葉仕通.基于OpenCV的雙目立體視覺監(jiān)控跟蹤系統(tǒng)[J].科學(xué)技術(shù)與工程,2013,13(5):1671-1815.

[7]張順嵐,莫建文.基于雙目立體視覺的三維人臉識別算法[J].電視技術(shù),2014,38(9):214-217.

[8]原思聰.雙目立體視覺中的圖片匹配方法研究[J].計算機工程與應(yīng)用,2008,44(8):75-77.

[9]趙本東,陶華敏.雙目立體視覺中特征提取算法研究[J].電子技術(shù)與軟件工程,2014(6):122-123.

[10]張棟棟,李漢舟.雙目視覺及其在全自動換電機器人中的應(yīng)用[J].電子科技,2014,27(7):168-176.

[11]肖健.SIFT特征匹配算法研究與改進[D].重慶:重慶大學(xué),2012.

[12]邵暖,劉樂.基于特征匹配算法的雙目視覺測距[J].燕山大學(xué)學(xué)報,2012(1):57-61.

作者簡介:郭姝言(1991—),女,碩士研究生。研究方向:圖像處理與成像技術(shù)等。劉橋(1970—),男,副教授,碩士生導(dǎo)師。研究方向:圖像處理等。

收稿日期:2015- 05- 21

中圖分類號TP391.41

文獻標識碼A

文章編號1007-7820(2016)01-048-04

doi:10.16180/j.cnki.issn1007-7820.2016.01.013