張亮格，吳兆福，余 敏，李齊鍵

(1.合肥工業(yè)大學(xué) 土木與水利工程學(xué)院，安徽 合肥 230009;2.安徽省基礎(chǔ)設(shè)施安全檢測與監(jiān)測工程實驗室,安徽 合肥 230009)

傾斜攝影測量可為建筑物提供頂面和立面信息，因此常被用于三維建模。然而傾斜影像存在局部仿射變形比較大、鏡頭方向不一致帶來的色差，建筑物遮擋導(dǎo)致的紋理缺失等問題，因此相較于普通影像匹配，傾斜影像匹配存在匹配點數(shù)量少，匹配效率低的問題[1]。

目前針對傾斜影像的匹配方法可大致分為三類:(1)基于仿射不變性的點特征匹配方法。對原始影像提取具有仿射不變性的特征點，生成描述子，匹配。如仿射-尺度不變特征變換(affine scale-invariant feature transform，ASIFT)[2]、Harris-Affine[3]、Hessian-Affine[4]和最大穩(wěn)定極值區(qū)域(maximally stable extremal regions，MSER)[5]。其中,ASIFT具有完全仿射不變性，對圖像旋轉(zhuǎn)、尺度、光照變化具有更強的魯棒性[6-7]。(2)基于影像糾正的匹配方法。將各個傾斜相機拍攝的影像糾正到以某一基準(zhǔn)面為參考面的“虛擬水平像片”上，再用常規(guī)影像匹配方法進行匹配[8-9]。(3)基于線特征的匹配方法。根據(jù)一些幾何關(guān)系，以及一些強度或?qū)Ρ炔町惖纫恍姸燃s束關(guān)系來建立線段之間潛在的對應(yīng)關(guān)系，然后在局部間進行匹配，如MSLD(mean-standard deviation line descriptor)[10]算法。但對比上述兩種方法，近幾年線提取算法發(fā)展緩慢。文獻[11]指出目前具有最佳仿射不變性的區(qū)域特征提取算子為MSER特征提取算子，MSER對于含有相似區(qū)域并有明顯邊界的影像效果較好。Hessian-Affine算子和Harris-Affine算子相對其他算子,可以檢測出更多的特征區(qū)域,這一特性有利于有遮擋或紊亂情況的影像匹配。Hessian-Laplace提取尺度不變特征點的時候通過二階梯度微分算子，因此Hessian-Affine在穩(wěn)定性和匹配性能優(yōu)于Harris-Affine。 文獻[12]指出目前最佳的特征描述符是尺度不變特征變換(scale-invariant feature transform，SIFT),SIFT對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變。文獻[13]利用MSER和Harris-Affine算法獲取初始匹配，在此基礎(chǔ)上進行最小二乘匹配(Least Squares Matchings，LSM)并自適應(yīng)迭代求取LSM最大收斂區(qū)域，再利用一定的方法進行匹配擴散(匹配傳播)。此方法具有較強的仿射不變性，能夠解決從不同視角獲取的較簡單立面紋理的匹配問題。由于基于拉普拉斯的尺度選擇與Hessian算子相結(jié)合可以獲得更準(zhǔn)確的結(jié)果。文獻[14]針對城市建筑物的特點，提出融合Hessian-Affine和MSER的仿射協(xié)變區(qū)域檢測方法，用于城市遙感的建筑物檢測中。文獻[15]應(yīng)用SIFT和Harris-A兩種具有互補特性的局部不變特征, 實現(xiàn)大失配圖像的自動配準(zhǔn)。

本文融合Hessian-Affine和MSER算子提取具有仿射不變性的特征區(qū)域，將其應(yīng)用至具有較大視角變化的傾斜影像匹配過程。用SIFT描述子進行描述，利用歐式距離進行初始匹配，采用比值提純法、歸一化相關(guān)系數(shù)法和左右一致性檢驗,再將粗匹配得到的匹配點對用隨機抽樣一致性算法(random sample consensus ,RANSAC)進行提純。

1 MSER和Hessian Affine

1.1 MSER

MSER是Matas等針對寬基線立體匹配提出的一種局部特征檢測算子。該算法基于分水嶺的概念，通過分析影像局部區(qū)域內(nèi)像素點間的灰度值關(guān)系,構(gòu)造出四連通的影像區(qū)域,即為最大穩(wěn)定極值區(qū)域,該區(qū)域內(nèi)部像素點的灰度值都大于或小于區(qū)域邊界像素點的灰度值。MSER常用于圖像的斑點區(qū)域檢測，具備可區(qū)分、 仿射不變性、穩(wěn)定等特性。下面給出了MSER的數(shù)學(xué)定義為

q(i)=|Qi+Δ-Qi-Δ|/|Qi|

(1)

式中，Qi為閾值是i時的某一連通區(qū)域；Δ為灰度閾值的微小變化量；q(i)為閾值是i時的區(qū)域Qi的變化率。當(dāng)q(i)為局部極小值時，則Qi為最大穩(wěn)定極值區(qū)域。在完成圖像中MSER的區(qū)域檢測后,形成的圖像不利于進行歸一化和提取特征描述, 必須進行橢圓擬合。

1.2 Hessian-Affine

Hessian-Affine檢測算子是基于某點上的Hessian矩陣進行興趣點計算,選擇在多尺度下具有局部最大的興趣點,得到一系列對旋轉(zhuǎn)、尺度、平移、亮度改變穩(wěn)定的點,然后運用多尺度迭代算法進行空間定位和篩選尺度、仿射不變特征。Hessian-Affine檢測算子首先在高斯尺度空間由Hessian矩陣H(L)及其行列式HDo檢測初始特征點，然后搜索HDo局部極值來選擇特征點的位置和特征尺度，最后使用迭代算法不斷調(diào)整特征點的位置、尺度和鄰域形狀，找到收斂后的仿射協(xié)變區(qū)域。通過上述迭代過程，一個初始點將會自動地迭代以調(diào)整規(guī)范化圖像域、初始點的尺度以及空間位置，最終收斂到一個具有仿射不變性的特征點。Hessian-Affine檢測算子時HDo檢測算子的仿射自適應(yīng)改進，用高斯尺度空間的HDo檢測算子估計特征點的初始位置和尺度。

2 特征融合

Hessian-Affine能夠大量地檢測出灰度變化強烈的局部區(qū)域，適用于具有明顯拐角和邊緣的建筑物類型，而 MSER 算法能夠提取圖像中灰度一致的目標(biāo)區(qū)域，對于灰度分布均勻的建筑物具有較好的檢測效果，且對于圖像的旋轉(zhuǎn)等仿射變換具有較好的適應(yīng)性。由于沒有任何一種檢測子在任何場景或變換下表現(xiàn)最優(yōu)，因此本文提出對 Hessian-Affine、MSER 進行互補融合進行傾斜影像特征點提取。對每一個初始特征點，使用穩(wěn)定和收斂的迭代過程來同步調(diào)整特征點的尺度、位置和鄰域形狀。Hessian-Affine檢測子對于明顯尺度變化和視角變化等變換具有較強適應(yīng)性，降低了特征的誤配率，從而更準(zhǔn)確地識別出不同仿射變換和不同光照變化圖像中對應(yīng)的相似特征區(qū)域。

融合具體流程如下：

(1)特征提取。對原始影像分別用MSER和Hessian-Affine計算關(guān)鍵點主方向，生成特征區(qū)域。

(2)特征組合。對分別用MSER和Hessian-Affine檢測出來的特征進行組合提取，刪除相同特征區(qū)域。

(3)特征歸一化。Hessian-Affine和MSER特征區(qū)域呈橢圓形，特征描述需在規(guī)則區(qū)域中(如圓形或矩形)進行，因此，首先需要對特征實施歸一化處理，之后再進行特征描述。設(shè)f=(x,W)和f′=(x′,W′)分別為左側(cè)影像和右側(cè)影像中任意同名特征，x和x′表示特征點坐標(biāo)，W和W′表示協(xié)方差矩陣。同名特征點的橢圓特征區(qū)域E和E′的長短軸和長軸傾角值可由W和W′求出。仿射歸一化計算公式為：

(2)

(3)

(4)

(5)

(4)特征描述。用SIFT描述子生成128維特征向量。

3 匹配策略

(1)對于生成的128維特征向量采用雙向最近鄰(nearest neighbor ,NN)匹配和最鄰近距離與次鄰近距離的比值(nearest/next distance ratios，NNDR)獲得初始匹配結(jié)果，閾值取值ρT=0.8。

(2)采用隨機采樣一致性(random sample consensus，RANSAC)算法剔除外點并估計基礎(chǔ)矩陣F和單應(yīng)矩陣H，F(xiàn)代表了對應(yīng)點應(yīng)該滿足的極限約束，H代表左側(cè)影像和右側(cè)影像間的變換關(guān)系。在初始匹配結(jié)果中任選四對不共線的點，計算出單應(yīng)矩陣估計值Hg，然后在F的約束下，將左右影像特征進行歸一化，并作為相關(guān)窗口，根據(jù)公式(6)計算相關(guān)系數(shù)ρ：

ρ=

(6)

(7)

(3)用均方根誤差(root mean squared error，RMSE)對最終結(jié)果進行約束，若RMSE大于2.0個像素，剔除誤差最大的同名點對，然后重新計算基礎(chǔ)矩陣F和單應(yīng)矩陣H，直至滿足要求。

4 匹配評價標(biāo)準(zhǔn)

(8)

(9)

若d小于閾值2.0像素，則認為點對匹配正確，否則認為點對匹配錯誤。

5 試驗結(jié)果與分析

本次試驗運行環(huán)境為：運行內(nèi)存8.00 GB，處理器Intel?CoreTMi7-8750H CPU@2.20 GHz 2.21 GHz，基于Visual Studio2015的OpenCV2.4.13視覺庫。

試驗數(shù)據(jù)：安徽合肥地區(qū)某印刷廠附近的一組傾斜影像數(shù)據(jù)，影像大小為1 200像素×800像素，側(cè)視影像的傾角約為45°，飛行高度約為122 m。因篇幅有限，僅選擇其中5個像對介紹，如圖1～圖5所示。前3組為側(cè)視影像組成的影像對，視角變化在2°～5°，后2組為側(cè)視影像和下視影像組成的影像對，視角變化約為45°。

分別使用本文提出的方法與SIFT、ASIFT對5組典型試驗影像對進行匹配。匹配結(jié)果如表1～表3所示。其中，t1為特征提取時間，t2為匹配時間，N1為初始匹配點對數(shù)，N2為最終正確匹配點對數(shù)，RMSE為均方根誤差。進行ASIFT特征提取時將圖片縮放為800像素×600像素。

圖1 下視影像對

圖2 右視影像對

圖3 后視影像對

圖4 左視影像和下視影像對

圖5 前視影像和下視影像對

前三組匹配結(jié)果顯示，對于同一相機獲取的部分重疊影像，在正確匹配點對數(shù)上，ASIFT最多，約為SIFT方法的20倍，MSER+Hessian-Affine約為SIFT的兩倍， MSER+Hessian-Affine方法的10倍。在耗時上，ASIFT耗時最長，MSER+Hessian-Affine次之，SIFT耗時最短。

后兩組匹配結(jié)果顯示，對于側(cè)視影像和下視影像組成的影像對，在正確匹配點對數(shù)上，SIFT僅為個位數(shù)，MSER+Hessian-Affine和ASIFT方法得到的結(jié)果比較一致，在耗時上，ASIFT耗時最長，MSER+Hessian-Affine次之，SIFT耗時最短。因采取相同的匹配策略，三者精度相近。

試驗結(jié)果表明，對于視角變化約為45°的傾斜影像對，本文方法能提取到與ASIFT近乎同等數(shù)量的特征點，但耗時僅為ASIFT的1/10。

表1 本文方法匹配結(jié)果

表2 SIFT方法匹配結(jié)果

表3 ASIFT方法匹配結(jié)果

6 結(jié) 語

本文融合Hessian-Affine和MSER提取具有仿射不變性的特征區(qū)域進行匹配，提高了特征點的數(shù)量和分布均勻性。試驗表明，對于視角變化約為45°的傾斜影像對，本文方法仍能提取到較多的正確特征點，且耗時僅為ASIFT算法的1/10，為存在較大仿射(透視)變形的低空傾斜立體影像匹配探索一種新的可行思路。直接利用SIFT描述子對具有仿射不變性的特征區(qū)域進行描述,計算過程繁瑣、計算量較大、程序運行時間長,下一步研究可對該算法進一步優(yōu)化并提高速度。