李俊憓，張永順

（大連理工大學(xué)精密與特種加工教育部重點(diǎn)實(shí)驗(yàn)室，遼寧大連 116024）

0 引言

膠囊機(jī)器人替代了傳統(tǒng)內(nèi)窺鏡對患者進(jìn)行無痛無創(chuàng)的胃腸道便利檢查。在檢查過程中，姿態(tài)信息十分重要，準(zhǔn)確的姿態(tài)信息對于醫(yī)生判斷病變區(qū)域起到很大幫助[1]。而基于視覺的位姿檢測，需要對胃腸道圖像進(jìn)行圖像匹配以獲取位姿信息[2]。圖像匹配是指在兩張或者多張圖片中尋找一致點(diǎn)的過程，在機(jī)器視覺、機(jī)器人定位、醫(yī)療等領(lǐng)域有著廣泛的應(yīng)用[3-4]。膠囊機(jī)器人拍攝的胃腸道圖像圖幅小、圖像姿態(tài)不穩(wěn)健以及胃腸道自身存在因紋理復(fù)雜、顏色差異和成像條件導(dǎo)致的非線性灰度差異，導(dǎo)致匹配過程中出現(xiàn)正確匹配對較少，且匹配時(shí)間較長的問題。而匹配結(jié)果的質(zhì)量，直接影響到后續(xù)位姿信息處理的準(zhǔn)確性，甚至?xí)哟筇幚黼y度。

目前，圖像匹配算法主要分為兩類：基于圖像區(qū)域的圖像匹配和基于圖像特征的圖像匹配。前者主要依靠像素強(qiáng)度之間的相似行關(guān)系來確定圖像間的對應(yīng)關(guān)系[5]，常用的相似性關(guān)系有互相關(guān)和互信息，但這種匹配方法計(jì)算復(fù)雜度較高，容易受到噪聲干擾，匹配效果較差。后者是在參考圖像中提取特征，采用相似性度量和一些約束條件確實(shí)幾何變換，并將該變化應(yīng)用于待匹配圖像[6]，其中最為經(jīng)典的是SIFT（尺度不變特征變換）[7]。SIFT算法對于圖像縮放、平移、旋轉(zhuǎn)、尺度等具備不變性，但SIFT算法比較復(fù)雜，計(jì)算繁瑣，耗時(shí)較長[6]。此外也有一些算法被提出，如SURF[8]、ORB[9]和GLOH[10]等，主要是在計(jì)算速度上進(jìn)行了提高。當(dāng)SIFT算法直接應(yīng)用與胃腸道圖像時(shí)，由于非線性灰度差異的存在，使得匹配精度很低。目前尚未有專門針對胃腸道圖像的匹配算法研究，這一方面仍是空白。

本文提出了一種基于改進(jìn)SIFT和位置方向的胃腸道圖像匹配算法，利用新的梯度定義克服了胃腸道圖像間的灰度差異，采用對數(shù)極坐標(biāo)完成了描述子的降維，提高計(jì)算效率。此外，結(jié)合特征的位置和方向建立了魯棒性更強(qiáng)的距離匹配函數(shù)，以獲取更多的正確匹配對。

1 SIFT算法

SIFT算法是由Lowe于2004年提出的一種圖像匹配算法，主要包括以下幾個(gè)部分。

（1）尺度空間極值檢測：利用高斯卷積核函數(shù)計(jì)算不同尺度下的高斯尺度空間以得到高斯金字塔圖像，將高斯金字塔的相鄰層相減構(gòu)造高斯差分金字塔（Difference of Gaussians，DoG）[11]。

（2）特征點(diǎn)定位：將每一個(gè)像素點(diǎn)與它的所有相鄰點(diǎn)對比確定極值點(diǎn)，然后利用泰勒公式將DoG在局部極值點(diǎn)展開計(jì)算極值的偏移量，若偏移量過小則該極值點(diǎn)需要剔除，剩下的就是特征點(diǎn)[4]。

（3）特征點(diǎn)主方向的確定：利用特征點(diǎn)鄰域范圍的像素梯度幅度和方向直方圖為每一個(gè)特征點(diǎn)確定主方向[11]。

（4）確定特征點(diǎn)描述子：將特征點(diǎn)鄰域劃分成4×4的子區(qū)域，在每個(gè)子區(qū)域選取8個(gè)方向進(jìn)行計(jì)算，因此每個(gè)特征點(diǎn)可以生成一個(gè)4×4×8=128維的描述子。

2 改進(jìn)后的SIFT算法

對SIFT算法進(jìn)行改進(jìn)主要體現(xiàn)在兩個(gè)方面：（1）對梯度進(jìn)行重定義，采用SOBEL算子重新計(jì)算胃腸道圖像的梯度和主方向，以消除非線性灰度差異；（2）利用GLOH和對數(shù)極坐標(biāo)構(gòu)建描述子，完成描述子的降維處理。改進(jìn)的SIFT算法流程如圖1所示。

圖1 胃腸道圖像特征的檢測流程

2.1 新的梯度定義

SIFT算法中采用下式進(jìn)行像素梯度幅度和梯度方向的計(jì)算：

式中：I(x,y)為圖像位于(x,y)的像素值；m(x,y)為像素梯度幅值；θ(x,y)為像素梯度方向。

由于胃腸道的特殊管腔結(jié)構(gòu)，腔內(nèi)比周圍環(huán)境要暗。由于非環(huán)境照明，靠近光源的組織成像時(shí)非常明亮，使得胃腸道圖像之間存在非線性的灰度差異。特征描述子由特征點(diǎn)鄰域的像素梯度直方圖構(gòu)成[12]，而胃腸道圖像的非線性灰度差異會導(dǎo)致參考圖像和待匹配圖像相同區(qū)域的像素梯度具備較大差異。圖2（a）和圖2（b）分別為參考圖像和待匹配圖像的像素梯度幅值圖和像素梯度方向圖。通過分析可發(fā)現(xiàn)在使用傳統(tǒng)梯度定義時(shí)，兩幅圖像在藍(lán)色圓形區(qū)域的梯度幅值相似性較大，而梯度方向差異較大，這種差異導(dǎo)致了圖像在特征識別中存在了誤差，對特征點(diǎn)的主方向帶來了一定誤差。而特征描述子是利用了特征點(diǎn)的主方向來保證旋轉(zhuǎn)不變性，梯度主方向誤差使得提取的描述子準(zhǔn)確性降低，在匹配階段出現(xiàn)問題，因此需要對該算法的像素梯度計(jì)算方法進(jìn)行改進(jìn)。

圖2 原梯度方法得到的梯度幅值和梯度方向

為改善特征描述的魯棒性，本文對胃腸道圖像梯度的計(jì)算采用二階SOBEL進(jìn)行計(jì)算。首先，在高斯尺度空間圖像上計(jì)算像素梯度，計(jì)算公式如下：

式中：L(x,y,σ)為高斯尺度空間；和分別為一階高斯尺度空間沿水平方向和豎直方向的差分；為高斯尺度空間的梯度幅度；S為SOBEL算子；σ為尺度。

圖3所示為使用二階SOBLE算子重新計(jì)算梯度后得到的圖2中胃腸道的梯度幅度和梯度方向圖像。從圖3中的圓形區(qū)域可知道，不僅相同區(qū)域的梯度幅度圖像有較好的一致性，并且該區(qū)域的梯度方向圖像也有較好的一致性，因此可以確定采用新的梯度定義計(jì)算方法可消除胃腸道圖像的非線性灰度差異，為后續(xù)精準(zhǔn)匹配奠定了基礎(chǔ)。

圖3 新梯度方法得到的梯度幅值和梯度方向

2.2 對數(shù)極坐標(biāo)描述子生成

對數(shù)極坐標(biāo)可將圖像由笛卡爾坐標(biāo)系描述轉(zhuǎn)換到對數(shù)極坐標(biāo)描述[13]，這樣的轉(zhuǎn)換使得圖像的尺度和旋轉(zhuǎn)變換變?yōu)槠揭谱兓?，降低了匹配難度，可提高匹配精度，能更好地處理亮度變化等問題。GLOH（梯度方向直方圖）是一種利用笛卡爾坐標(biāo)和對數(shù)極坐標(biāo)確定網(wǎng)格生成圓形鄰域。本文采用采用基于GLOH的半徑為12σ′圓形鄰域和有13個(gè)子區(qū)域的對數(shù)極坐標(biāo)網(wǎng)格生成特征描述子。圓形鄰域如圖4（a）所示，針對胃腸道圖像，當(dāng)R3和R2與R1的比率分別是0.25和0.65時(shí)，此時(shí)比率設(shè)置為最佳結(jié)果。對數(shù)極坐標(biāo)網(wǎng)格如圖4（b），水平方向代表極角。對兩個(gè)外層圓形區(qū)域6等分，一共得到13個(gè)子區(qū)。再按照45°一個(gè)方向的原則計(jì)算每個(gè)扇區(qū)內(nèi)的特征點(diǎn)維度數(shù)目，共計(jì)8個(gè)維度。最終累計(jì)獲得每個(gè)特征維度為104維的對數(shù)極坐描述子。

圖4 圓形鄰域和對數(shù)極坐標(biāo)網(wǎng)格示意圖

3 位置方向歐式距離匹配

最近鄰與次進(jìn)鄰比匹配是常用的特征匹配算法，這種算法是尋求兩個(gè)對應(yīng)點(diǎn)之間的最近歐式距離與次進(jìn)歐式距離，當(dāng)二者比值大于某一設(shè)定值時(shí)，認(rèn)為是錯(cuò)誤匹配進(jìn)行刪除，剩下就是正確匹配對。這種方法在胃腸道圖像中可獲得比較精確的對應(yīng)關(guān)系，但沒有考慮到特征的位置變換和方向偏移，使得很多特征點(diǎn)找不到正確的匹配對。因此，本文提出了基于位置方向歐式距離（Position Orientation Euclidean Distance，POED）函數(shù)來計(jì)算匹配對。首先需要構(gòu)建POED函數(shù)，隨后采用MS和RANSAC算法對錯(cuò)誤匹配對進(jìn)行篩選，以獲得更多正確的匹配對。

3.1 POED函數(shù)確定

位置方向歐式距離函數(shù)是結(jié)合特征點(diǎn)的位置方向信息來進(jìn)行建立，需要確定特征點(diǎn)的位置變換誤差和主方向偏移誤差。

從參考圖像和待匹配圖像獲得的特征點(diǎn)集合分別為P=p1，p2，p3，…，pm和P′=p′1,p′2,p′3,…,p′n。(x′j,y′j)和θ′j分別代表待匹配圖像中特征點(diǎn)p′n的位置和方向；(xi,yi)和θi分別代表參考圖像中特征點(diǎn)pm的位置和方向；pm點(diǎn)和p′n點(diǎn)之間的位置變換誤差是：

式中：T(*)為相似變換模型；μ為相似模型變換參數(shù)。

pm點(diǎn)和p′n點(diǎn)之間的主方向誤差為：

式中：Δθ*為主方向差直方圖的峰值位置。

基于以上兩個(gè)誤差定義一個(gè)穩(wěn)健性更好的特征匹配距離，即位置方向歐式距離（POED），公式如下所示：

式中：D e(p m,p′n)為兩特征點(diǎn)之間的歐式距離。

3.2 匹配過程

（1）粗匹配：采用最近鄰與次近鄰比匹配進(jìn)行胃腸道圖像的特征匹配，獲得初始匹配點(diǎn)對集合P1，并計(jì)算主方向差，水平位移，豎直位移和尺度比的直方圖，從圖中獲取峰值位置Δθ*、Δx i、Δy i、r*。采用隨機(jī)抽樣一致（RANSAC）算法進(jìn)行錯(cuò)誤匹配對的刪除并計(jì)算初始變換參數(shù)μ。

（2）精匹配：采用POED作為描述子的距離度量，并再次使用最近鄰與次近鄰比的特征匹配方法進(jìn)行匹配，至此，完成了兩次匹配并獲得了匹配對集合P2。

（3）錯(cuò)誤匹配對刪除：在完成圖像的特征點(diǎn)匹配后，會出現(xiàn)一些誤匹配點(diǎn)。要解算出正確的匹配關(guān)系，需要去掉誤匹配點(diǎn)，主要采用MS算法和RANSAC算法進(jìn)行錯(cuò)誤點(diǎn)刪除。MS算法是指在變換空間中，將每個(gè)特征點(diǎn)和與其對應(yīng)的位置，方向進(jìn)行聯(lián)系，采用模式搜索的方式消除弱匹配關(guān)系的方法。具體操作如下：令(xi,yi)和(x′i,y′i)分別為匹配對P2中第i個(gè)匹配點(diǎn)的位置坐標(biāo)，其相應(yīng)的水平位移和垂直位移定義如下：

采用上述公式進(jìn)行錯(cuò)誤點(diǎn)刪除后得到匹配點(diǎn)集合P3，在使用RANSAC算法刪除P3中的錯(cuò)誤對應(yīng)對，隨后即可得到正確的匹配關(guān)系。RANSAC算法是指在有錯(cuò)誤匹配的匹配集合中，不斷進(jìn)行迭代已刪除錯(cuò)誤匹配對，提高匹配精度。特征匹配流程如圖5所示。

圖5 特征匹配流程

4 胃腸道圖像匹配結(jié)果

4.1 實(shí)驗(yàn)圖像

為評估本文提出算法的有效性，采用雙半球膠囊機(jī)器人獲取胃部圖像與腸道圖像進(jìn)行特征匹配?？紤]到本文算法是針對胃腸道圖像開發(fā)的，加上在匹配階段，定義了POED函數(shù)，因此將本文算法定義為GIPOED-SIFT。本文算法與其他算法做了對比實(shí)驗(yàn)，如：SIFT，PSOSIFT，SURF+FLANN，ORB+FLANN；本文還專門比較了“新的梯度定義+FSC”算法來確定對于胃腸道圖像非線性灰度差異的處理。硬件開發(fā)環(huán)境為Intel（R）Core（TM）i5-7300HQ CPU@2.50GHz、內(nèi)存為16GB的PC，軟件開發(fā)環(huán)境為Microsoft Visual Studio 2019和計(jì)算機(jī)視覺庫OpenCV 3.4.1。

4.2 評價(jià)標(biāo)準(zhǔn)

采用均方根誤差（Root Mean Square Error，RMSE）進(jìn)行算法評估[5]，其公式如下：

式中：N為選取的匹配點(diǎn)個(gè)數(shù)；(xi,yi)和(x′i,y′i)為第i個(gè)匹配點(diǎn)的坐標(biāo)；(x"

i,yi")為第i個(gè)待匹配圖像特征點(diǎn)(x′i,y′i)在經(jīng)過匹配幾何關(guān)系后轉(zhuǎn)換的坐標(biāo)。

4.3 實(shí)驗(yàn)結(jié)果

如圖6～7和表1所示，給出了GIPOED-SIFT算法與其他算法在胃腸道圖像的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)在匹配時(shí)間上，GIPOED-SIFT算法相比于SURF，ORB等算法耗時(shí)較長，但對比其他算法耗時(shí)較短，這是由于GIPOEDSIFT算法主要耗時(shí)在匹配階段，需要對特征點(diǎn)進(jìn)行二次匹配并進(jìn)行新的匹配距離計(jì)算，這導(dǎo)致了其耗時(shí)較長，但匹配時(shí)間在3 s以內(nèi)，可以滿足姿態(tài)檢測實(shí)時(shí)性要求；從圖6（a）和圖7（a）中可以看出，GIPOED-SIFT算法可以正確匹配胃腸道圖像，并且不存在誤匹配點(diǎn)，相比于其他算法而言，匹配的特征數(shù)目較少，但匹配點(diǎn)的準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于其他算法，并且匹配點(diǎn)數(shù)目滿足相機(jī)本質(zhì)矩陣求解，不會對姿態(tài)估計(jì)帶來匹配誤差；從匹配誤差來看，本文算法在胃腸道圖像匹配中RMSE均為最小。為了驗(yàn)證新的梯度算法針對胃腸道圖像非線性灰度差異的有效性，實(shí)驗(yàn)中對比了“新的梯度定義”和“SIFT”算法，可以發(fā)現(xiàn)新的梯度應(yīng)該可以減小匹配誤差，增強(qiáng)匹配對正確數(shù)目。從以上可以看出，本文提出的匹配算法在胃腸道圖像匹配中匹配精度、匹配時(shí)間上相比于SIFT算法得到了顯著提高，滿足了姿態(tài)檢測實(shí)時(shí)性要求，可用于姿態(tài)檢測的特征匹配。

圖6 胃部圖像匹配結(jié)果

圖7 腸道圖像匹配結(jié)果

表1 本文提出的算法和對比算法實(shí)驗(yàn)結(jié)果

5 結(jié)束語

本文提出了一種聯(lián)合SIFT和特征點(diǎn)位置方向距離的胃腸道圖像匹配算法。首先采用新的梯度定義消除了胃腸道圖像的非線性灰度差異；此外在特征描述子生成階段，利用對數(shù)極坐標(biāo)進(jìn)行構(gòu)建，對描述符進(jìn)行了降維，使得匹配更為穩(wěn)??；最后提出了一種結(jié)合每個(gè)特征點(diǎn)的位置和方向來增加正確匹配對數(shù)的穩(wěn)健匹配算法。在胃腸道圖像上的實(shí)驗(yàn)結(jié)果表明，本文提出的算法與其他算法進(jìn)行比較后，在匹配精度和正確匹配數(shù)目方面均得到提升，可為膠囊機(jī)器人位姿求解提供精確位姿信息。