高飛， 王聰， 矯東航

(北京理工大學 信息與電子學院，北京 100081)

?

基于分塊信息熵和特征尺度的圖像配準算法

高飛， 王聰， 矯東航

(北京理工大學 信息與電子學院，北京 100081)

針對當前圖像配準技術中特征點的檢測和匹配存在的問題，提出了一種基于分塊信息熵和特征尺度的圖像配準算法.通過對圖像進行分塊，結合每塊圖像的信息熵，改善了Harris-Laplace算子提取的特征點分布過于集中的問題.通過比較角點響應函數(shù)的值，剔除了特征點中的冗余點.通過結合特征點的尺度信息、Hu矩和雙向匹配策略，提高了初始匹配點對的準確率.仿真結果表明，改進的配準算法可以實現(xiàn)高精度的圖像配準，對圖像的幾何變換具有很強的魯棒性.

圖像配準；信息熵；Harris-Laplace算子；特征尺度；Hu矩

圖像配準是指將不同傳感器、時間、視角以及不同拍攝條件下獲得的兩幅或多幅圖像進行配準，以確定圖像間的相對位置的過程[1].當時間、視角、環(huán)境以及傳感器的種類，有一個或多個發(fā)生變化時，對同一場景所拍攝的圖像一般會存在不同的灰度失真和幾何形變，因此需要使用圖像配準技術對這些圖像進行配準.

圖像配準方法一般可以分為兩大類：基于區(qū)域的配準方法和基于特征的配準方法[2].基于區(qū)域的方法通常存在抗噪性差、計算復雜度高、對圖像的旋轉(zhuǎn)和縮放比較敏感的問題，很難實現(xiàn)配準的穩(wěn)定性、實時性、通用性.基于特征的方法可以很好的克服前者的缺點，其中應用最廣泛的是基于特征點的配準方法.圖像中的特征點比較少，因此能大大減少配準過程的計算量；而且特征點具有信息含量高、局部不變等特點，對灰度變化、噪聲干擾和圖像形變等都有較好的適應性.基于特征點的圖像配準算法的流程圖如圖1所示.

基于特征點的配準算法主要有4個步驟[3]：特征點的檢測、特征點的匹配、圖像空間變換估計以及圖像的重采樣，其中特征點的檢測和匹配是最關鍵的兩部分.提取特征點的好壞及其分布是否合理，直接關系到后續(xù)特征點的匹配以及圖像配準的精確性，而能否快速建立穩(wěn)定的特征點對應關系，也關系到配準的速度以及準確度.

Harris-Laplace算子[4]是經(jīng)典的特征點檢測算子，然而其檢測到的特征點分布過于集中且存在冗余點.為解決這些問題，本文結合圖像的信息熵[5-6]及分塊策略[5]，改進了Harris-Laplace算子.在特征點匹配方面，本文結合特征點的尺度信息、Hu矩[7]及雙向匹配策略[8]，提高了初始匹配點對的準確率，同時有效的實現(xiàn)了抗圖像的幾何變換.

1 Harris-Laplace特征點檢測算法

Mikolajczyk和Schmid結合Harris算子[9]、尺度空間理論[10]及高斯拉普拉斯函數(shù)(LoG)，提出了Harris-Laplace角點檢測算法.該算法的步驟如下：

① 將灰度圖像I(x，y)與微分尺度為sσn的二維高斯核做卷積建立圖像尺度空間：

I(x,y,s σn)=I(x,y)＊G(x,y,s σn).

(1)

(2)

式中：＊表示卷積運算；G(x，y，sσn)表示微分尺度為sσn的二維高斯核函數(shù)；I(x，y，sσn)表示與微分尺度sσn相對應尺度空間中的圖像；s為一常量，一般取經(jīng)驗值0.7；σn為積分尺度,n=1,2,…,N,σn=εσn-1；ε為尺度空間的步長，一般取1.4.

② 計算尺度空間中圖像I(x,y,sσn)的自相關矩陣Mn及角點響應函數(shù)Rn：

(3)

Rn=det(Mn)-k(trace(Mn))2.

(4)

式中，k為一個經(jīng)驗值，通常取0.04～0.06；Lx和Ly如下所示：

Lx=I(x，y)*Gx(x，y，sσn).

(5)

Ly=I(x，y)*Gy(x，y，sσn).

(6)

式中Gx(x,y,sσn)、Gy(x,y,sσn)分別為G(x,y,sσn)在x、y方向上的偏導.

③ 當圖像I(x,y,sσn)中某點的Rn(x,y)為局部極大值，且大于閾值Tn時，則該點就是圖像I(x，y)在微分尺度sσn下的一個特征點. 若Rn的最大值為Rnmax，則Tn一般取值為0.05Rnmax.

④ 經(jīng)上述步驟處理后，會出現(xiàn)位置和尺度差不多的特征點代表同一局部結構以及一個特征點代表不同的尺度的現(xiàn)象，即存在很多冗余點. 為剔除這些冗余點，引入了LoG算子：

(7)

驗證圖像在不同尺度下的特征點，若該點滿足：

i∈{l-1，l+1}.

(8)

則將該點作為最終的特征點；否則，拋棄該點.

Harris-Laplace算子對平移、旋轉(zhuǎn)、縮放、灰度變化及噪聲干擾等具有較強的魯棒性.因此，該算子可以很好的用于圖像匹配中[11-13].

圖2為采用Harris-Laplace算子檢測到的圖像的特征點. 圖2(a)中白色的點表示特征點，可以看出該算法提取的特征點分布過于集中，一般只在圖像特征特別明顯的地方. 圖2(b)中圓的中心點表示特征點，圓的大小表示其中心點所代表的尺度，由圖可知該算法并不能完全去除冗余點.

2 結合信息熵改進的Harris-Laplace算法

圖像所含信息量的大小可以利用圖像的信息熵來衡量. 設灰度圖像I(x,y)具有k個灰度級，其中第i(i=0～k-1)級灰度出現(xiàn)的概率為pi，則該圖像的熵為

(9)

當pi=0時，可令pilgpi=0.

針對Harris-Laplace算子提取的特征點分布過于集中及存在冗余點的問題，本文結合信息熵理論及分塊策略對Harris-Laplace算子進行了如下改進：

① 仿照Harris-Laplace算子建立了灰度圖像I(x,y)的尺度空間，I(x,y,sσn)表示與微分尺度sσn相對應尺度空間中的圖像，如式(1)所示.

② 將I(x,y)，I(x,y,sσn)以同樣的分解方式分別分解成M塊，與I(x,y)，I(x,y,sσn)對應的各子圖像塊分別記為Ii(x，y)，Ii(x,y,sσn)，i=1,2,…,M.

③ 計算Ii(x,y)的信息熵Hi及圖像I(x,y)的信息熵H. 計算Ii(x,y,sσn)的角點響應函數(shù)Rin及I(x,y,sσn)的角點響應函數(shù)Rn，其中Rin的最大值為Rin,max，Rn的最大值為Rn,max.

④ 計算與Ii(x,y,sσn)相對應的局部閾值T1及全局閾值T2，T1和T2如下所示：

T2=0.005Rn,max.

(11)

若Ii(x,y,sσn)中某點的Rin(x,y)為局部極大值，且同時大于T1和T2，則認為該點為圖像I(x,y)在微分尺度sσn下的一個特征點.

由于原Harris-Laplace算子只采用全局閾值來確定特征點，因此特征點的分布很集中.本文采用局部閾值可以使特征點分布比較均勻，再結合全局閾值又避免了在圖像的平坦區(qū)域提取過多的特征點.

⑤ 在得到圖像I(x,y)在各個尺度下的特征點后，可以先利用LoG算子剔除一些冗余的特征點，對殘余的冗余點可以再分成如下兩步進行剔除：

對于一個特征點代表不同的尺度的情況，比較不同尺度下該特征點角點響應函數(shù)的值，以其中最大的值所對應的尺度，作為該特征點的尺度；

3 改進的特征點匹配算法

M.K.Hu[7]在1962年提出了表征圖像區(qū)域幾何特征，具有旋轉(zhuǎn)、平移和尺度不變性的不變矩. 一幅M×N的灰度圖像I(x,y)，其(p+q) 階標準矩和中心矩分別

(12)

(13)

歸一化中心矩ηpq的定義為

ηpq=μpq/(μ00ρ).

(14)

式中ρ=(p+q)/2+1,p+q=2,3,….

Hu利用二階和三階歸一化中心矩構造了具有平移、旋轉(zhuǎn)和尺度不變性的7個不變矩M1～M7.

文獻[14]中提出的基于特征點Hu矩的圖像配準算法是將Hu矩擴充成10個不變矩；以特征點鄰域窗口的擴充的Hu矩作為特征點的描述符；計算待配準圖像上每個特征點與參考圖像上某個特征點P的描述符的歐氏距離，取距離最小的點作為P點的對應點.據(jù)此找到參考圖像中所有的特征點在待配準圖像上的對應點，建立特征點之間的對應關系.

然而文獻[14]在計算擴充的Hu矩時，所選窗口的大小是固定的，因此算法不能抗尺度變化.另外只找出參考圖像上的每一點在待配準圖像上的對應點，可能會出現(xiàn)參考圖像上的多個特征點對應待配準圖像上的同一個特征點的現(xiàn)象.針對這些問題，本文提出的改進方法如下：

① 采用本文改進的Harris-Laplace算法提取圖像的特征點，同時記錄各個特征點所在的微分尺度sσn. 計算特征點鄰域窗口的擴充的Hu矩作為該特征點的描述符，為了保證結果的精確性，特征點T的鄰域選為圓形區(qū)域：中心為T點，半徑為6sσn.

② 實驗發(fā)現(xiàn)上述步驟中所得T點的10個不變矩相互之間的數(shù)值相差很大，有些能達到幾個數(shù)量級.為了使每個不變矩都有相同的權重，假設以參考圖像上的特征點P作為參考點，其擴充的Hu矩為(M1,M2,…,M10)，則對于待配準圖像上擴充的Hu矩為(N1,N2,…,N10)的特征點Q，這兩個點描述符之間的距離可以表示為

通過此式計算出待配準圖像上任意一個特征點與特征點P之間距離，若待配準圖像中的特征點S與P點的距離最近，則點S就是P點在待配準圖像上的對應點.據(jù)此找出參考圖像中各個特征點在待配準圖像上對應的特征點.

③ 為了提高特征點匹配的可靠性，采用雙向匹配策略.即首先找到參考圖像中每個特征點在待配準圖像上對應的特征點，再找到待配準圖像中每個特征點在參考圖像上對應的特征點.假設參考圖像上的特征點P在待配準圖像上的對應點是S，待配準圖像上的特征點S在參考圖像上的對應點是P′，若P與P′是同一個點，則認為P點與S點是正確的匹配點對，否則將這對點舍棄.

按照以上步驟可以剔除大量的誤匹配點對，提高了特征點匹配的可靠性.

4 實驗結果與分析

綜合上述在特征點檢測和匹配中改進的算法，按照如下步驟實現(xiàn)圖像配準.

① 采用改進的Harris-Laplace算法提取參考圖像和待配準的圖像的特征點.其中尺度空間為10個，微分尺度的向量為s(σ0,εσ0,…,ε9σ0)，s=0.7,σ0=1.4,ε=1.4；

② 采用改進的特征點匹配方法，建立參考圖像與待配準圖像特征點之間的對應關系；

③ 采用RANSAC算法[15]找到最終的匹配點集，再利用最小二乘法確定圖像之間的空間變換參數(shù)，最后對待配準的圖像進行重采樣實現(xiàn)圖像配準.

圖3為本文改進的Harris-Laplace算子檢測到的圖像的特征點.實驗測得圖3(a)中的特征點數(shù)為162，圖2(a)中的特征點數(shù)為158，對比兩圖可知本文算法提取的特征點分布更加均衡，也有效避免了在紋理信息不明顯的地方提取到過多的特征點，從而有利于之后配準過程的進行；由圖3(b)和圖2(b)的對比可以看出，本文的算法能有效去除圖像的特征冗余點，提高圖像的配準速度.

文獻[14]中的基于特征點Hu矩的配準算法與本文改進的特征點匹配算法可以通過匹配點對的準確率進行比較.匹配點對的準確率η[5]是指在利用特征點匹配算法得到初始匹配點對之后，再利用RANSAC算法剔除其中的外點得到的最終的匹配點對的數(shù)目Nr與原有的數(shù)目N0之間的比值為

η=Nr/N0.

(16)

圖4顯示了以20幅圖像作為測試對象，在發(fā)生旋轉(zhuǎn)、尺度變換及添加均值為0的高斯噪聲時，利用文獻[14]中的匹配算法和本文改進的匹配算法所得的匹配點對的準確率的比較結果. 由圖4(a)、4(c)可知當圖像發(fā)生旋轉(zhuǎn)或加入高斯噪聲時，本文匹配算法匹配點對的準確率要比文獻[14]中的算法高，本文算法的性能更好. 由圖4(b)可以看出，文獻[14]中的算法完全不抗尺度變換，而本文的算法在圖像發(fā)生尺度變化時，依然可以得到比較準確的匹配點對.

圖5中左上角為參考圖像，下面是待配準的圖像，圖中白色的連線表示采用RANSAC算法找到的參考圖像與待配準圖像的最終匹配點對.

在得到最終的匹配點對后，就可以求出圖像之間的空間變換參數(shù). 表1反應了圖5中參考圖像與待配準圖像空間變換參數(shù)的實際值與測試值的比較結果，其中旋轉(zhuǎn)量以逆時針為正，行偏移向下為正，列偏移向右為正.實驗結果表明各個參量的誤差都在0.5%之內(nèi). 圖6顯示了圖5中兩幅圖的配準結果，可以看出本文的算法可以很好地實現(xiàn)圖像的配準.

表1 空間變換參數(shù)的比較結果

5 結 論

針對圖像特征點檢測和匹配中一些存在的問題，提出了一種基于分塊信息熵和特征尺度的圖像配準算法.在檢測特征點時改進了Harris-Laplace算法，提出了結合信息熵的分塊處理算法，使特征點的分布更加均勻且避免在圖像紋理不明顯的地方提取過多的特征點，同時進一步剔除了冗余點；在進行特征點匹配時，依據(jù)特征點及其所在尺度，結合擴充的Hu矩和雙向匹配策略，提高了初始匹配點對的準確率，同時對幾何變換以及噪聲干擾有著很強的魯棒性.

實驗表明文中改進的算法在特征點檢測和匹配時都取得了良好的效果，對于實現(xiàn)圖像的配準有著重要的意義.

[1] Brown L G. A survey of image registration techniques[J]. ACM Computing Surveys (CSUR)， 1992，24(4):325-376.

[2] 王鯤鵬，徐一丹，于起峰.紅外與可見光圖像配準方法分類及現(xiàn)狀[J].紅外技術，2009，31(5):270-274.

Wang K P， Xu Y D， Yu Q F. Classification and state of IR/visible image registration methods[J]. Infrared Technology， 2009，31(5):270-274. (in Chinese)

[3] 廖斌.基于特征點的圖像配準技術研究[D].長沙:國防科學技術大學， 2008.

Liao Bin. The research of image registration technology based on feature points[D]. Changsha: National University of Defense Technology， 2008. (in Chinese)

[4] Mikolajczyk K， Schmid C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision， 2004，60(1):63-86.

[5] 吳澤鵬，郭玲玲，朱明超，等.結合圖像信息熵和特征點的圖像配準方法[J].紅外與激光工程，2013，42(10):2846-2852.

Wu Zepeng， Guo Lingling， Zhu Mingchao， et al. Improved image registration using feature points combined with image entropy[J]. Infrared and Laser Engineering， 2013，42(10):2846-2852. (in Chinese)

[6] Chuang Y C， Fan S K S. An image registration method based upon information theorem on overlapped region[J]. Applied Mechanics and Materials， 2011，58:1985-1989.

[7] Hu M K. Visual pattern recognition by moment invariants[J]. IEEE Transactions on Information Theory， 1962， 8(2): 179-187.

[8] 賀柏根，朱明.改進的抗全仿射尺度不變特征變換圖像配準算法[J].光學精密工程，2011，19(10):2472-2477.

He B G， Zhu M. Improved fully affine invariant SIFT-based image matching algorithm[J]. Guangxue Jingmi Gongcheng(Optics and Precision Engineering)， 2011，19(10):2472-2477. (in Chinese)

[9] Harris C， Stephens M. A combined corner and edge detector[C]∥Proceedings of the Fourth Alvey Vision Conference. Manchester， UK:[s. n. ]， 1988:147-151.

[10] Lindeberg T. Scale-space theory: a basic tool for analyzing structures at different scales[J]. Journal of Applied Statistics， 1994，21(1-2):225-270.

[11] Wang W， Luo D， Li W. Algorithm for automatic image registration on Harris-Laplace features[J]. Journal of Applied Remote Sensing， 2009，3(1):033554.

[12] 李偉生，王衛(wèi)星，羅代建.用Harris-Laplace特征進行遙感圖像配準[J].四川大學學報:工程科學版，2011，43(4):89-94.

Li W S， Wang W X， Luo D J. Remote sensing image registration by using Harris-Laplace features[J]. Journal of Sichuan University: Engineering Science Edition， 2011，43(4):89-94. (in Chinese)

[13] Dai X， Zhang H， Shu H， et al. Blurred image registration by combined invariant of legendre moment and Harris-Laplace detector[C]∥Proceedings of the Fourth Pacific-Rim Symposium on Image and Video Technology (PSIVT2010). Singapore:[s. n. ]. 2010:300-305.

[14] 楊占龍，郭寶龍.基于特征點的圖像配準與拼接技術研究[D].西安:西安電子科技大學，2008.

Yang Zhanlong， Guo Baolong. Research on image registration and mosaic based on feature point[D]. Xi’an: Xidian University， 2008. (in Chinese)

[15] Fischler M A， Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM， 1981，24(6):381-395.

(責任編輯：劉雨)

An Image Registration Algorithm Based on Block Information Entropy and Characteristic Scale

GAO Fei， WANG Cong， JIAO Dong-hang

(School of Information and Electronics， Beijing Institute of Technology， Beijing 100081， China)

To solve the problem of feature point detection and matching in the image registration techniques at present, an improved image registration algorithm was proposed based on block information entropy and characteristic scale. By dividing the image into blocks and combining the information entropy of each block, the concentrated distribution problem of feature points extracted by the Harris-Laplace operator was improved. By comparing the value of corner response function, redundant points in the feature points were eliminated. By combining the scale information of feature points with Hu moments and bidirectional matching strategy, the accuracy of the initial matching points was enhanced. Simulation shows that the improved registration algorithm can realize high-precision image registration and possesses strong robustness with the geometric transformation of image.

image registration; information entropy; Harris-Laplace operator; characteristic scale; Hu moments

2014-05-20

高飛(1959—)，女，教授，博士生導師，E-mail:gaofei@bit.edu.cn.

王聰(1992—)，男，碩士生，E-mail:caomujieming@163.com.

TN 919

A

1001-0645(2016)11-1194-06

10.15918/j.tbit1001-0645.2016.11.018