張詩清，鮑文霞，2，余國芬

（1.安徽大學電子信息工程學院，安徽 合肥 230601；2.偏振光成像探測技術安徽省重點實驗室，安徽 合肥 230031）

基于馬氏度量的圖像譜特征描述

張詩清1，鮑文霞1，2，余國芬1

（1.安徽大學電子信息工程學院，安徽 合肥 230601；2.偏振光成像探測技術安徽省重點實驗室，安徽 合肥 230031）

傳統(tǒng)的譜特征描述過程中采用的是不能反映樣本間潛在關系的歐式距離進行度量的.為更好地區(qū)分數據之間的聯(lián)系，提出基于馬氏度量的圖像譜特征描述算法.首先，對特征點及其周圍特征點按照馬氏距離進行分層，并在每層上面構造相應的結構圖及計算其關聯(lián)矩陣；接著，對關聯(lián)矩陣進行譜分解得到其特征值向量和譜隙向量；然后分別用兩者的最大值、平均值和方差統(tǒng)計量得到最終的馬氏度量譜特征；最后，根據馬氏度量譜特征之間的相似性和特征點之間距離關系來構建匹配數學模型，并用貪心算法求解得到特征點之間的匹配關系.實驗結果表明，該算法提高匹配精度；同時將其應用于偏振圖像的匹配問題上，并取得較好的匹配結果.

譜特征描述；馬氏度量；馬氏度量譜特征；偏振圖像

0 引言

圖像特征匹配是圖像處理、計算機視覺、模式識別等領域中一項基本但非常困難的任務，對獲取的特征點進行特征描述是匹配的一個重要步驟.近年來，譜圖理論［1］廣泛應用于特征描述中，從而得到一種譜特征描述.Scott［2］和Shapiro［3］最早將譜圖理論用于構造特征描述中，首先根據圖像特征點之間的歐式距離來構造鄰接矩陣，然后進行譜分解來得到譜特征描述，最后根據譜特征之間關系來獲得匹配關系；王年等［4］提出一種圖的Laplace譜，首先根據特征點集構造規(guī)范化Laplace矩陣，接著對該矩陣進行譜分解得到其特征向量用來構造Laplace譜，最后用匹配來驗證所構造的Laplace譜提高匹配精度；唐俊等［5］提出一種多譜特征描述子，通過對構造圖的不同矩陣求解得到特征值序列，然后對這些特征值序列通過多譜嵌入技術得到最終的局部結構描述子；Tang等［6］構造譜上下文描述子，首先根據特征點及其鄰域特征點來構造圖，然后對圖計算矩陣并進行譜分解，最后用特征值來得到譜上下文描述子，匹配結果表明該描述子對位置抖動以及出格點具有較好的魯棒性；朱明等［7］將特征點的鄰域點進行分層，并基于灰度信息在每層上構造線圖，然后通過對圖的賦權鄰接矩陣進行譜分解得到特征值，最后將每層得到的鄰接譜結合得到最終的譜特征，該譜特征對噪聲具有較高的魯棒性；Yan等［8］提出一種對亮度變化具有魯棒性的單調強度不變描述子，對有向圖的無符號Laplace矩陣進行譜分解得到特征值向量及其譜隙向量，從而構造描述子.

上述這些譜特征的構造都是基于歐式距離進行度量的，歐式距離假設樣本空間是各向同性的，但這種假設在實際應用中是不成立的，因為它沒有充分體現樣本維度分量之間所包含的潛在聯(lián)系.因此，為使構造的譜特征描述能滿足實際應用情況，本文引入對樣本數據具有更好區(qū)分性的馬氏度量來代替歐式距離，從而提出一種基于馬氏度量的圖像譜特征描述算法.首先，對特征點按照距離關系進行分層并在每層上面構造結構圖；然后，對結構圖的鄰接矩陣進行譜分解，從而得到其馬氏度量譜特征；最后，構造匹配數學模型，并用貪心算法求解得到匹配關系，從而驗證本文所提的基于馬氏度量的圖像譜特征的性能.

1 馬氏度量譜特征描述

1.1 馬氏度量

馬氏度量（Mahalanobis distance）是1936年由印度統(tǒng)計學家Mahalanobis提出的，它充分考慮樣本數據維度分量之間的相關性，即考慮樣本數據分布的統(tǒng)計特性—協(xié)方差矩陣，常用于計算兩個未知樣本數據之間相似度.馬氏度量具有3個性質，分別為平移不變性、旋轉不變性和仿射不變性.

對于由n個樣本構成的樣本空間X={xz:1≤z≤n}?Rn，其均值向量和協(xié)方差矩陣分別記為uX和CX，其各自的計算公式如下：

其內任意兩個樣本點xa和xb之間的馬氏距離為：

馬氏度量滿足度量公理，即同時滿足如下4個條件：

1）非負性：dM(x,y)≥0；

2）同一性：dM(x,y)=0?x=y；

3）對稱性：dM(x,y)?dM(y,x)；

4）三角不等式：dM(x,z)≤dM(x,y)+dM(y,z).

1.2 譜特征描述

在圖像中將像素點作為節(jié)點，節(jié)點之間的相互關系作為邊來構造圖.假設有點集P，記點集P={pi,i=1,2,…,t}，首先對點集P構造結構圖，任意兩點之間的距離關系作為連接兩點邊的長度，這樣就可以得到一個t階的結構圖.點集P中的任意一點pi有t-1個點與其相連，即有t-1條邊與pi相連并可以構造星圖Si，邊分別記之為：e1≤e2≤…≤et-1（按照大小順序進行排列）.

其次，求解Si的線圖Li［9］，就是將邊轉換為點的過程.線圖中的點就是星圖中的邊，點連接的是原星圖中對應關聯(lián)的邊，如圖1所示.pi的星圖如圖1（1）所示，其中e1、e2、e3是與pi相關聯(lián)的邊，長度分別為1、2、3；構造的線圖如圖1（2）所示，e1、e2、e3作為點，邊的權值分別為e1、e2、e3之間差的絕對值.

最后，根據線圖構造鄰接矩陣.在一幅大小為m×n的圖像I上取非邊界點u，u的特征可以由u及其鄰域點的屬性之間的相互關系來表示.設u的i個鄰域點為x1,x2,…,xi，i=1,2,…,t(t=(2n+1)2-1,n=1,2,…,t)，構造星圖S1，即u和所有鄰域點相連，邊uxi的權值ri=| |u-xi，i=1,2,…,t.對星圖S1求解線圖L1，對線圖L1構造賦權鄰接矩陣H，其元素為：

其中，|.|表示一種距離度量.

H是一個對稱的、半正定的矩陣，因此對H進行譜分解得到：

其中，Δ=diag(λ1,λ2,…,λt)，其對角元素是H特征值的降序排列，U={U1,U2,…,}Ut是正交特征向量集合.因此，可以將特征值向量(λ1(u),λ2(u),…,λt(u))或者特征向量組合(U1,U2,…,Ut)作為點u的譜特征.

1.3 馬氏度量譜特征描述

對于圖像中任意特征點xi的特征屬性，可以通過該點以及其周圍特征點之間的關系來進行描述.假設I和J是兩幅待匹配的圖像，其中分別包含有s和s′個特征點，分別記為點集P={x1,x2,…,xs}和點集Q={y1,y2,…,ys′}.點集P中任一特征點xi的馬氏度量譜特征描述如下：

首先，在點集P中計算平均最小馬氏距離d，并根據平均最小馬氏距離定義半徑集R={|

rφrφ=φd,φ=1,2,…,5}，其中平均最小馬氏距離計算如下：

以xi為圓點，r?∈R為半徑在點集P上選擇特征點來構成子點集Ωi?，即Ωi?={xl:xl∈PanddM(xi,xl)＜r?}.

其次，對子點集Ωi?構造無向加權圖，并計算其關聯(lián)矩陣為：

其中：β是常數因子，用來控制特征點之間的相互作用.

對關聯(lián)矩陣Hiφ進行SVD分解可得：

對特征值向量和譜隙向量分別計算其最大值、平均值和方差3個統(tǒng)計量來獲得固定長度的馬氏度量譜特征，從而避免長度不等的向量比較問題.對特征值向量Ai?進行統(tǒng)計量計算如下：

同樣，可以計算得到譜隙向量A′i?的3個統(tǒng)計量Fm(A′i?)、Fa(A′i?)、Fv(A′i?). 最終，用一個30維的特征向量來表示特征點xi的馬氏度量譜特征，即

2 特征匹配

將上述所構造的馬氏度量譜特征應用于特征匹配上來檢驗其性能，具體的匹配過程如下.對于點集P和Q中的特征點ui和vj，其馬氏度量譜特征分別記為Ai和Bj，則可以定義如下的匹配關系矩陣M，其中Ai和Bj之間的相似性關系定義為對角元素Mij,ij，非對角元素Mij,i′j′表示特征點之間的幾何距離，計算公式如下：

因此，對上述構造的匹配關系矩陣用匹配數學模型［10］來求解，求得分配向量x*，使下式的目標函數最大化：

其中：x∈{0,1}ss′×ss′是表示匹配關系的匹配向量.當x=1時表示匹配，否則x=0時表示不匹配，從而得到特征點集P和Q之間的匹配關系.

最后用貪心算法［11］求解該匹配的數學模型，得到匹配結果.

3 實驗結果與分析

3.1 基于馬氏度量的圖像譜特征實驗結果與分析

為驗證本文提出的基于馬氏度量的圖像譜特征的性能，本文在CMU/VASC圖像數據庫的long-hotel序列圖像上進行圖像匹配實驗，下面給出部分的實驗結果.本文取第10、30、50、70、90幀圖像分別與第1幀圖像進行匹配，首先在每幀圖像上提取40個特征點，然后分別用本文提出的算法與文獻［5］、文獻［11］以及文獻［12］的算法進行對比實驗，實驗結果如圖2所示，圖2（a）-（c）分別表示第10、50、70幀與第1幀進行匹配的實驗結果.表1給出具體的實驗數據.實驗結果表明，本文提出的基于馬氏度量的圖像譜特征的匹配精度最高，當幀差數達到90幀時仍然能夠達到100%的正確匹配率；而其他3種算法的準確率隨著幀差數的增加逐漸下降.

圖2 圖像匹配實驗結果

表1 實驗的匹配數據

3.2 偏振圖像匹配實驗結果與分析

本文將所提出的基于馬氏度量的圖像譜特征描述算法應用于偏振圖像匹配中，下面給出部分的實驗結果.首先，分別取近景和遠景采集所需的偏振圖像數據；然后，在每張圖像上提取40個特征點，接著用本文提出的基于馬氏度量的圖像譜特征對特征點進行特征描述，最后用本文提出的特征匹配算法進行圖像匹配.實驗結果如圖3所示，其中（a）是近景圖像及其匹配結果，（b）是遠景圖像及其匹配結果.從實驗結果可知，對近景和遠景的偏振圖像進行匹配時都達到100%的匹配正確率，因此表明本文提出的基于馬氏度量的圖像譜特征描述能夠有效地描述圖像特征.

圖3 偏振圖像匹配實驗結果

4 結論

文中提出一種基于馬氏度量的圖像譜特征描述算法，該算法在圖像譜特征描述過程中用馬氏度量代替歐式距離進行度量，并利用特征點之間的位置關系來獲得譜特征向量以及譜隙向量，最后用兩者的統(tǒng)計量來定義馬氏度量譜特征.實驗結果表明，本文提出的基于馬氏度量的圖像譜特征在匹配問題上具有較高的匹配精度，并且在偏振圖像匹配問題上具有較好的效果.

［1］CHUNG FAN R K.Spectral graph theory［M］.Washington D C：American Mathematical Society，1997.

［2］SCOTT G L，LONGUET-HIGGINS H C.An algorithm for associating the features of two image［J］.Proc of Royal Society of London：Biological B，1991 ，244（1309）：21-26.

［3］SHAPIRO L S，BRADY J M.Feature-based correspondence：an eigenvector approach［J］.Image Vision Computing，1992，10（5）：283-288.

［4］王年，范益政，韋穗，等.基于圖的Laplace譜的特征匹配［J］.中國圖象圖形學報，2006，11（3）：332-336.

［5］唐俊，劉志忠，梁棟，等.基于多譜特征表示的點模式匹配算法［J］.光學學報，2013，33（12）：154-161.

［6］TANG Jun，SHAO Ling，ZHEN Xiantong.Robust point pattern matching based on spectral context［J］.Pattern Recognition，2014，47（3）：1469-1484.

［7］朱明，梁棟，范益政，等.基于譜特征的圖像匹配算法［J］.華南理工大學學報（自然科學版），2015，43（9）：60-66.

［8］YAN Pu，LIANG Dong，TANG Jun，et al.Local feature descriptor invariant to monotonic illumination changes［C］∥SPIE，2016，013023：1-12.

［9］朱明，梁棟，唐俊，等.基于線圖Q-譜的點模式匹配算法［J］.華南理工大學學報（自然科學版），2011，39（7）：102-108.

［10］MINSU C，JIAN S，OLIVIER D，et al.Finding matches in a haystack：a max-pooling strategy for graph matching in the presence of outliers［C］∥Proc of Computer Vision and Pattern Recognition，2014：2091-2098.

［11］LEORDEANU M，HEBERT M.A spectral technique for correspondence problems using pairwise constraints［C］∥Proc of International Conference on Computer Vision，Beijing，IEEE，2005：1482-1489.

［12］梁棟，童強，王年，等.一種基于Laplacian矩陣的圖像匹配算法［J］.計算機工程與應用，2005，36：31-32.

Image Spectral Feature Description Based on Mahalanobis Metric

ZHANG Shiqing1，BAO Wenxia1，2，YU Guofen1
（1.School of Electronics and Information Engineering，Anhui University，230601，Hefei，Anhui，China;2.Key Laboratory of Polarization Imaging Detection Technology Anhui Province，230031，Hefei，Anhui，China）

The traditional spectral features in the process of description use the European distance metric that can not reflect the potential relationship between the samples.In order to better distinguish the relation be?tween data，the image spectral feature description algorithm based on mahalanobis metric is proposed in this paper.Firstly，the feature points and their surrounding points are layered according to the Mahalanobis dis?tance，and the corresponding structure graph is constructed on each layer and the correlation matrix is calcu?lated.Secondly，the eigenvalue vector and the spectral gap vector are obtained by spectral decomposition of the correlation matrix.And then，the maximum，mean and variance of the two vectors are calculated respective?ly to obtain the final mahalanobis metric spectral features.Finally，a matching mathematical model is con?structed based on the similarity between the mahalanobis metric spectral and the distance between feature points，and the matching relation between feature points is obtained by greedy algorithm.A large number of experimental results show that the proposed algorithm improves the matching accuracy.At the same time，it is applied to the matching of polarimetric images and a good matching result is obtained.

spectral feature description；Mahalanobis metric；Mahalanobis metric spectral feature；polarimetric image

TP 391.9

A

2095-0691（2017）04-0038-06

2017-06-13

國家自然科學基金項目（61401001，61501003）；安徽省重點實驗室開放基金項目（2017KJQ010001）；安徽大學2016年大學生科研訓練計劃資助項目

張詩清（1997- ），女，安徽安慶人，研究方向為圖像處理.通信作者：鮑文霞（1980- ），女，安徽銅陵人，副教授，研究方向為圖像處理、計算機視覺方向等.