陶靜 李逸琳 霍藝文 徐武

摘 ?要： 立體顯示技術(shù)中立體圖像對(duì)虛擬場(chǎng)景的構(gòu)建至關(guān)重要，現(xiàn)有的立體圖像配準(zhǔn)技術(shù)可能導(dǎo)致圖像扭曲、變形。結(jié)合SURF算法和RANSAC算法，根據(jù)SURF算法對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè);計(jì)算各特征點(diǎn)的Haar小波響應(yīng)系數(shù)以確定特征點(diǎn)主方向和特征矢量;通過(guò)特征矢量的歐氏距離來(lái)判斷特征點(diǎn)的匹配性，找出相鄰最近的匹配點(diǎn);最后利用一種改進(jìn)的RANSAC算法剔除錯(cuò)誤的匹配點(diǎn)。實(shí)驗(yàn)結(jié)果表明，基于SURF算法和改進(jìn)的RANSAC算法的圖像配準(zhǔn)方法提高了特征點(diǎn)匹配度和精確度，能有效改善圖像配準(zhǔn)的變形問(wèn)題。

關(guān)鍵詞： 圖像配準(zhǔn); 特征點(diǎn)匹配; 立體顯示; 特征點(diǎn)檢測(cè); 算法改進(jìn); 錯(cuò)誤匹配點(diǎn)剔除

中圖分類號(hào)： TN911.73?34; TP391.9 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）20?0090?04

Research on image registration based on feature point matching

TAO Jing， LI Yilin， HUO Yiwen， XU Wu

（College of Electrical and Information Engineering， Yunnan Minzu University， Kunming 650500， China）

Abstract： The existing stereo image registration technology may lead to image distortion and deformation. The feature points of images are detected in combination with SURF algorithm and RANSAC algorithm. Haar wavelet response coefficients of each feature point are calculated to ascertain the main direction and feature vector of feature points. The matching performance of feature points is judged by Euclidean distance of feature vectors， and the nearest matching points are found. An improved RANSAC algorithm is used to eliminate the wrong matching points. The experimental results show that the image registration method based on SURF algorithm and the improved RANSAC algorithm can improve the matching degree and accuracy of feature points， and effectively improve the deformation in image registration.

Keywords： image registration; feature point matching; stereo display; feature point detection; algorithm improvement; wrong matching point removing

0 ?引 ?言

立體顯示技術(shù)可以讓觀看者看到物體的各個(gè)方面，目前的自由立體顯示主要是基于多視點(diǎn)的立體顯示[1]，需要采集多個(gè)視點(diǎn)信息并做相應(yīng)的處理，將處理后的圖像合成符合多視點(diǎn)立體顯示的圖像。但在圖像的采集和顯示上存在著水平、垂直視差，顏色失真等問(wèn)題 [2]，這些問(wèn)題會(huì)導(dǎo)致觀看者看到的圖像扭曲、變形。因此對(duì)圖像的處理就顯得格外重要。

圖像配準(zhǔn)技術(shù)是實(shí)現(xiàn)圖像融合關(guān)鍵的步驟。圖像配準(zhǔn)中特征點(diǎn)提取及匹配方法有很多，如Harris算法、Moravec算法、SIFT算法等。SIFT算法提取的特征點(diǎn)比較穩(wěn)定，適用于局部目標(biāo)匹配與識(shí)別，但其算法計(jì)算量大，耗時(shí)多，運(yùn)算速度慢 [3]。SURF算法是在SIFT的基礎(chǔ)上進(jìn)行優(yōu)化的算法，計(jì)算量小，運(yùn)算速度快，提取特征點(diǎn)幾乎與SIFT算法相同[4]。對(duì)采集的特征點(diǎn)進(jìn)行匹配時(shí)會(huì)出現(xiàn)錯(cuò)誤的匹配對(duì)，目前RANSAC算法廣泛應(yīng)用于圖像配準(zhǔn)中剔除錯(cuò)誤匹配點(diǎn)，提高圖像匹配的精度。

本文結(jié)合SURF算法和改進(jìn)后的RANSAC算法，對(duì)采集的圖像進(jìn)行分析配準(zhǔn)。用SURF算法提取圖像的特征點(diǎn)，用RANSAC算法剔除錯(cuò)誤的匹配特征點(diǎn)，確保特征點(diǎn)匹配準(zhǔn)確性，為后續(xù)的立體圖像顯示增加精確度。

1 ?基于SURF算法的特征點(diǎn)選取匹配

1.1 ?特征點(diǎn)的檢測(cè)

SURF算法使用積分圖像生成特征矢量。由于特征點(diǎn)檢測(cè)的中間結(jié)果是積分圖像[5]，所以SUFR 算法可以直接使用中間結(jié)果生成特征矢量，避免了對(duì)圖像的重復(fù)運(yùn)算，相比 SIFT 算法要快很多。下面為SURF算法選取特征點(diǎn)的詳細(xì)步驟。

圖1 ?盒式濾波器的近似模型

1.2 ?特征點(diǎn)主方向

為了保證算法的旋轉(zhuǎn)不變性，需要確定特征點(diǎn)的主方向。構(gòu)造以特征點(diǎn)為中心，半徑為6ε的扇形區(qū)域，求出區(qū)域內(nèi)各點(diǎn)的Haar小波響應(yīng)系數(shù)，統(tǒng)計(jì)加權(quán)響應(yīng)值，越靠近特征點(diǎn)的響應(yīng)值越大，越遠(yuǎn)離特征點(diǎn)的響應(yīng)值越小;對(duì)60°扇形區(qū)域特征點(diǎn)再做一次Haar小波響應(yīng)并求和，旋轉(zhuǎn)一周后對(duì)求和所得值最大的方向?yàn)橹鞣较騕7]。

1.3 ?特征矢量

以特征點(diǎn)為中心，構(gòu)造一個(gè)正方形區(qū)域，其邊長(zhǎng)為20ε，方向?yàn)橹鞣较騕8]。把該區(qū)域分成4×4個(gè)子區(qū)域，每個(gè)子區(qū)域內(nèi)計(jì)算Haar小波響應(yīng)，對(duì)每一個(gè)子域分別計(jì)算[dx，dx，dy，dy]，則每個(gè)子區(qū)域可以表示為：

把全部子區(qū)域的矢量[V]連在一起就得到一個(gè)64維的特征矢量[S=V1，V2，…，Vi]。

1.4 ?特征點(diǎn)匹配

得到特征點(diǎn)后，需要進(jìn)行特征匹配，即在空間中找到最相似的特征向量。本文采用特征矢量的歐氏距離[d]來(lái)判斷特征點(diǎn)的匹配程度。找到與基準(zhǔn)圖像中特征點(diǎn)歐氏距離最近的前兩個(gè)特征點(diǎn)，計(jì)算最近的距離[dfirst]除以次近的距離[dlater]的比值，即：

若K小于某個(gè)比例閾值，則匹配成功。

2 ?基于RANSAC算法的特征點(diǎn)匹配

特征點(diǎn)提取匹配后，可能會(huì)出現(xiàn)特征點(diǎn)匹配錯(cuò)誤的情況，因此選擇RANSAC算法對(duì)匹配錯(cuò)誤的特征點(diǎn)進(jìn)行剔除。假設(shè)所有特征點(diǎn)中包含局內(nèi)點(diǎn)和局外點(diǎn)，其中局內(nèi)點(diǎn)近似被直線通過(guò)，局外點(diǎn)遠(yuǎn)離于直線[9]。利用RANSAC算法得到一個(gè)僅由局內(nèi)點(diǎn)計(jì)算的矩陣模型，用矩陣模型測(cè)試特征點(diǎn)，若滿足的特征點(diǎn)個(gè)數(shù)最多，則該矩陣全局最優(yōu)。

假設(shè)局內(nèi)點(diǎn)至少有4組匹配點(diǎn)對(duì)，從特征點(diǎn)中隨機(jī)抽出4組不共線的特征點(diǎn)對(duì)作為樣本，那么其變換關(guān)系可以表示為：

3 ?RANSAC算法的改進(jìn)

3.1 ?RANSAC算法的效率改進(jìn)

本文隨機(jī)選取m個(gè)特征點(diǎn)作為樣本，假設(shè)樣本中內(nèi)點(diǎn)所占的比例為[σ]，那么M次抽樣后至少有一次抽取的樣本中全為內(nèi)點(diǎn)的概率為：

圖2 ?RANSAC算法改進(jìn)步驟

3.2 ?RANSAC算法的匹配錯(cuò)誤改進(jìn)

假設(shè)[A1，B1]和[A2]，[B2]是A，B兩幅圖像中兩組匹配正確的特征點(diǎn)對(duì)，則[A1，B1]的斜率應(yīng)近似等于[A2，B2]的斜率。那么可以推論：[Ai]與所在圖像中其他特征點(diǎn)[Aj]的斜率近似等于[Bi]與所在圖像中其他特征點(diǎn)[Bj]的斜率。[Ai]與待匹配圖像中準(zhǔn)確匹配特征點(diǎn)[Bi]的平均斜率為：

4 ?實(shí)驗(yàn)結(jié)果分析

本文在Matlab實(shí)驗(yàn)平臺(tái)上進(jìn)行測(cè)試，選用兩幅不同視角拍攝的圖片如圖3所示。實(shí)驗(yàn)的具體步驟為：對(duì)圖像進(jìn)行預(yù)處理;利用SURF算法提取圖像對(duì)的特征點(diǎn)并對(duì)特征點(diǎn)進(jìn)行匹配;用RANSAC算法快速去除錯(cuò)誤的匹配點(diǎn)，提高特征點(diǎn)匹配的精確度;最后，基于SURF算法和改進(jìn)的RANSAC算法進(jìn)行特征點(diǎn)匹配，對(duì)匹配結(jié)果進(jìn)行比較。

圖3 ?實(shí)驗(yàn)圖像

圖4是單獨(dú)使用SURF算法得出的特征點(diǎn)匹配結(jié)果及圖像配準(zhǔn)結(jié)果。從圖4a）可以看出檢測(cè)出的特征點(diǎn)數(shù)量較多，但同時(shí)匹配錯(cuò)誤的特征點(diǎn)對(duì)也較多。此時(shí)配準(zhǔn)出的圖像有明顯的變形，如圖4b）所示。

圖4 ?SURF算法實(shí)驗(yàn)結(jié)果

圖5是SURF+RANSAC算法實(shí)驗(yàn)結(jié)果?？梢钥闯銎ヅ溴e(cuò)誤的特征點(diǎn)明顯減少，匹配度有了一定的提高，但是錯(cuò)誤匹配點(diǎn)依然存在;另外配準(zhǔn)圖像的變形問(wèn)題得到了有效的改善，但仍然存在輕微變形問(wèn)題。

圖5 ?SURF+RANSAC算法實(shí)驗(yàn)結(jié)果

圖6是SURF+改進(jìn)的RANSAC算法實(shí)驗(yàn)結(jié)果。圖中錯(cuò)誤的匹配對(duì)幾乎沒(méi)有。利用改進(jìn)后的RANSAC 算法對(duì)誤匹配點(diǎn)進(jìn)行了剔除，在提高精度的同時(shí)又提高了算法的實(shí)時(shí)性;同時(shí)圖像配準(zhǔn)的結(jié)果是三次實(shí)驗(yàn)中效果最好的，幾乎沒(méi)有變形。

還對(duì)三種算法的特征點(diǎn)匹配正確率進(jìn)行了對(duì)比分析。特征點(diǎn)的匹配正確率可以用式（15）進(jìn)行計(jì)算，數(shù)據(jù)對(duì)比如表1所示。

圖6 ?SURF+改進(jìn)的RANSAC算法實(shí)驗(yàn)結(jié)果

表1 ?幾種算法的準(zhǔn)確率對(duì)比

5 ?結(jié) ?語(yǔ)

本文先用SURF算法提取待配準(zhǔn)圖像對(duì)的特征;接著計(jì)算各特征點(diǎn)的Haar小波響應(yīng)系數(shù)以確定特征點(diǎn)主方向和特征矢量;然后用基于歐氏距離的方法實(shí)現(xiàn)特征的匹配;并用改進(jìn)后的RANSAC算法來(lái)快速剔除錯(cuò)誤的匹配點(diǎn)，實(shí)現(xiàn)了快速地完成圖像的匹配過(guò)程。在實(shí)際的實(shí)驗(yàn)對(duì)比表明，利用SURF算法和改進(jìn)的RANSAC算法相結(jié)合的辦法能夠有效地提高特征點(diǎn)的匹配度，為立體顯示技術(shù)的后續(xù)工作提供了一定的前期準(zhǔn)備。

注：本文通訊作者為徐武。

參考文獻(xiàn)

[1] CHATURVEDI A， SETHI N， CHATURVEDI A， et al. Automatic license plate recognition system using surf features and RBF neural network [J]. International journal of computer applications， 2014， 70（27）： 37?41.

[2] 陳莉莉.自由立體顯示系統(tǒng)中的校正技術(shù)[D].天津：天津大學(xué)，2014.

CHEN Lili. Correction technology in free stereoscopic display system [D]. Tianjin： Tianjin University， 2014.

[3] 楊海燕，羅文超，劉國(guó)棟.基于SURF算法和SC?RANSAC算法的圖像配準(zhǔn)[J].計(jì)算機(jī)應(yīng)用研究，2013，30（5）：1586?1588.

YANG Haiyan， LUO Wenchao， LIU Guodong. Image registration based on SURF and SC?RANSAC [J]. Journal of computer applications， 2013， 30（5）： 1586?1588.

[4] 史露，蘇剛，韓飛.基于SIFT和SURF圖像拼接算法的改進(jìn)算法[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30（6）：72?74.

SHI Lu， SU Gang， HAN Fei. Improved algorithm based on SIFT and SURF image stitching [J]. Journal of computer applications and software， 2013， 30（6）： 72?74.

[5] 佘建國(guó)，徐仁桐，陳寧.基于orb和改進(jìn)ransac算法的圖像拼接技術(shù)[J].江蘇科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2015（2）：164?169.

SHE Jianguo， XU Rentong， CHEN Ning. Image mosaic based on Orb and improved Ransac [J]. Journal of Jiangsu University of Science and Technology （Natural science edition）， 2015（2）： 164?169.

[6] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features （SURF） [J]. Computer vision & image understanding， 2008， 110（3）： 346?359.

[7] 陳雪濤，穆春陽(yáng)，馬行.基于SURF和改進(jìn)RANSAC的視頻拼接算法[J].現(xiàn)代電子技術(shù)，2016，39（10）：44?48.

CHEN Xuetao， MU Chunyang， MA Xing. Video mosaic algorithm based on SURF and improved RANSAC [J]. Modern electronics technology， 2016， 39（10）： 44?48.

[8] 權(quán)巍，包鐵壯，白寶興，等.SURF與RANSAC算法結(jié)合的圖像跟蹤方法[J].計(jì)算機(jī)仿真，2016，33（9）：268?272.

QUAN Wei， BAO Tiezhuang， BAI Baoxing， et al. Image tracking method combining SURF and RANSAC algorithm [J]. Computer simulation， 2016， 33（9）： 268?272.

[9] 范宗杰，徐向輝，周曉麗.一種基于SIFT算法的SAR圖像配準(zhǔn)方法[J].電子測(cè)量技術(shù)，2014，37（8）：70?74.

FAN Zongjie， XU Xianghui， ZHOU Xiaoli. A SAR image registration method based on SIFT [J]. Electronic measurement technology， 2014， 37（8）： 70?74.

[10] 尚明姝.基于改進(jìn)SIFT特征匹配的快速圖像拼接算法[J].微電子學(xué)與計(jì)算機(jī)，2014，31（1）：64?67.

SHANG Mingshu. A fast image mosaic algorithm based on improved SIFT feature matching [J]. Microelectronics & computer， 2014， 31（1）： 64?67.