田 丹, 陳鈺坤

(沈陽大學(xué) a. 智能科學(xué)與工程學(xué)院, b. 信息工程學(xué)院, 遼寧 沈陽 110044)

遙感圖像一般分為航空圖像和衛(wèi)星圖像[1]2種,常由不同成像器材在不同時間、不同天氣、不同視角下拍攝獲得,廣泛應(yīng)用于土地資源監(jiān)測、搶險救災(zāi)、目標(biāo)定位等領(lǐng)域。近些年,隨著無人機技術(shù)的快速發(fā)展,應(yīng)用靈活、成本低廉的無人機在遙感圖像的獲取中備受青睞,而基于無人機航拍圖像與衛(wèi)星圖像的圖像匹配也逐漸成為研究熱點之一。

圖像匹配是指從2個或多個圖像中識別出相同或相似的內(nèi)容、并將具有幾何意義的關(guān)系相互對應(yīng)的過程。根據(jù)特征性質(zhì)和匹配策略的不同,可將圖像匹配分為基于區(qū)域的匹配方法和基于特征的匹配方法[2],其中,基于特征的匹配方法能更好地應(yīng)對幾何變形失真的問題[3],從而降低光照變化和背景變化等引起的誤匹配,在遙感圖像匹配中更受研究者青睞?；谔卣鞯膱D像匹配算法主要有SIFT[4-6]、SURF[7-9]、BRISK[10-11]、ORB[12-14]等。SIFT算法對圖像受到的旋轉(zhuǎn)、尺度、光照、噪聲和幾何變換等不利影響都有較強的魯棒性,但其每個特征點都要建立128維的特征描述符,因而降低了匹配實時性;SURF算法是對SIFT算法的優(yōu)化,引入積分圖思想來減少計算量并降低了生成特征描述符的維度,保證特征提取質(zhì)量的同時提高了算法運行速度;ORB算法和BRISK算法均使用二進制描述子進行特征點描述,大大提高了計算速度,但ORB算法運行速度比BRISK算法更快。ORB算法在進行特征描述時使用隨機采樣,而BRISK算法則是在領(lǐng)域內(nèi)進行均勻采樣,因此BRISK算法有機會獲得更高質(zhì)量的匹配關(guān)系。

為了提高特征匹配的精度,往往會對匹配關(guān)系進行誤匹配剔除,主要的誤匹配剔除算法有RANSAC和GMS等[15]。RANSAC算法是最常用的誤匹配剔除方法,但對于樣本中的外點比例和迭代次數(shù)較敏感,外點比例過高或迭代次數(shù)過多都容易導(dǎo)致局部最優(yōu)模型計算時間呈指數(shù)增長,迭代次數(shù)過少則無法有效剔除誤匹配點。GMS算法是將運動平滑約束結(jié)合到一個統(tǒng)計框架中,以剔除錯誤的匹配,在計算實時性上有較大優(yōu)勢。Ma等[16]提出的LPM算法根據(jù)局部結(jié)構(gòu)的一致性來建模,區(qū)分描述符集合中的內(nèi)點和外點,以實現(xiàn)誤匹配點的剔除。LPM算法不需要對2幅圖像之間的變換進行任何預(yù)先估計,且時間復(fù)雜度和空間復(fù)雜度均為線性,能在幾毫秒內(nèi)完成上千個匹配對中的誤匹配剔除。

雖然SIFT和SURF算法在匹配時表現(xiàn)出更佳的魯棒性,但算法復(fù)雜、計算速度慢,難以滿足無人機航拍圖像與衛(wèi)星圖像之間對實時性要求較高的匹配任務(wù)。針對這個問題,提出一種改進ORB(ORB-BRISK)結(jié)合LPM誤匹配剔除算法的遙感圖像匹配方法,滿足了精度和計算效率的需求。

1 ORB算法

ORB算法中的oFAST特征點檢測算子和rBRIEF特征描述算子是在FAST特征檢測器和BRIEF特征描述算子的基礎(chǔ)上改良而來的。ORB算法在特征提取速度方面具有極大的優(yōu)勢,是SIFT的100倍左右,是SURF的10倍左右[17]。

1) 特征點檢測。oFAST特征點檢測器根據(jù)被檢測點與周圍鄰域內(nèi)的所有像素點的灰度值之差來判斷其是否為特征點,當(dāng)差值達到設(shè)定的閾值時,則認(rèn)為該被檢測點是一個特征點。即以圖像中一被檢測點P為中心,將半徑為3像素的圓上的16個像素點與之比較。假設(shè)這16個像素點中有連續(xù)的N個像素點(N通常取9,即FAST-9;其他常用值有11、12[18])滿足灰度差異閾值的要求,則認(rèn)為該被檢測點是一個特征點,判定函數(shù)為:

式中:o表示圓上任一像素點;Io表示它的灰度值;IP表示被檢測點的灰度值;t表示閾值。

通過灰度質(zhì)心法,給檢測到的特征點賦予方向信息。該方法通過特征點的灰度與質(zhì)心之間的偏移來確定方向,定義鄰域矩為

式中:x和y為像素坐標(biāo);I(x,y)表示此像素坐標(biāo)的灰度值;p和q控制質(zhì)心在橫向和縱向上的偏移程度。此時,特征點鄰域的質(zhì)心坐標(biāo)為

特征點與質(zhì)心的夾角便為FAST特征點的方向θ,

θ=arctan(m01,m10)。

ORB算法為獲得尺度不變性,通過構(gòu)建圖像金字塔并檢測金字塔中每一層的角點來實現(xiàn)。

(1)

在特征點上選取n對特征,得到2×n的矩陣S,

再對矩陣S進行旋轉(zhuǎn)變換,變換矩陣采用特征點方向θ的旋轉(zhuǎn)矩陣Rθ,

用變換矩陣Rθ對矩陣S進行旋轉(zhuǎn),即可得到新的描述矩陣Sθ,

(2)

結(jié)合式(1)和式(2)可以得到變換后的BRIEF描述符

式中,n的取值通常為128、256、512。

2 匹配方法

ORB算法進行特征描述時,基于生成的窗口在特征點處隨機采樣n對點。而BRISK算法則是以特征點為圓心,在鄰域大小內(nèi)進行等間距均勻采樣。雖然ORB算法匹配速度比BRISK算法快,但在內(nèi)容相似、來源不同的遙感圖像匹配中,BRISK算法因其均勻采樣的特征描述方法表現(xiàn)出更高的準(zhǔn)確性。本文沿用ORB算法的特征檢測算子,但用BRISK描述算子替代ORB描述算子,得到一種更高效的匹配算法----ORB-BRISK。

2.1 ORB-BRISK特征提取

1) 特征點檢測。為了實現(xiàn)尺度不變性和旋轉(zhuǎn)不變性,首先使用ORB算法中的oFAST特征點檢測算子進行圖像金字塔的構(gòu)建,對金字塔的每一層進行特征點檢測,以得到尺度特征;然后使用灰度質(zhì)心法來計算特征點灰度和質(zhì)心之間的偏移,給檢測到的特征點賦予方向信息。

2) 特征描述。BRISK特征描述符使用512 bit的二進制字符串表示,以特征點為圓心,構(gòu)建4個不同半徑的離散化同心圓,每個同心圓上等間距采樣多個點,采樣點個數(shù)由內(nèi)到外分別為10、14、15和20。再使用高斯平滑濾波處理采樣點并計算相應(yīng)梯度,根據(jù)所有采樣點構(gòu)成的集合計算出特征點的特征模式方向并旋轉(zhuǎn),最后對旋轉(zhuǎn)后的所有特征點進行灰度值比較,從而得到特征描述符。

2.2 特征匹配

暴力匹配能夠有效處理數(shù)據(jù)敏感性并獲得更多潛在的真實匹配[19],同時使用交叉檢查的方法來保留雙向最佳匹配結(jié)果,能夠避免一對多的情況。本文使用帶交叉檢查的暴力匹配來進行無人機航拍圖像和衛(wèi)星圖像之間的圖像匹配,并以漢明距離計算模板圖像和待匹配圖像的特征點描述符集合之間的相似度,以獲得初始匹配點集。

2.3 誤匹配剔除

在初始匹配點集中仍會存在較多的誤匹配點,本文使用局部保持匹配(LPM)來剔除掉誤匹配點。LPM根據(jù)局部結(jié)構(gòu)的一致性來建模,首先通過考慮2個特征集之間的所有可能匹配并過濾掉特征描述符中足夠不同的匹配,來構(gòu)造一組假定匹配。然后使用幾何約束來去除假定集中包含的錯誤匹配,從而進一步過濾掉特征點之間具有不同空間鄰域結(jié)構(gòu)的那些匹配[20],從而獲得準(zhǔn)確的匹配關(guān)系。

本文算法流程如圖1所示。

圖1 本文算法流程

3 實驗與分析

實驗測試硬件環(huán)境為Windows 10操作系統(tǒng)(64位),Inter Core i7-11800H CPU,主頻2.3GHz,內(nèi)存16.0GB,軟件運行平臺為PyCharm-2021.3,基于OpenCV 4.6.0編寫。

實驗不僅使用ORB、BRISK、ORB-BRISK三種算法與RANSAC誤匹配剔除算法進行組合對比,還使用ORB-BRISK算法與RANSAC、GMS、LPM三種誤匹配剔除算法進行組合對比,以驗證本文提出的遙感圖像匹配算法能有效提高無人機航拍圖像與衛(wèi)星圖像的匹配性能。實驗選取了客運火車站、操場和貨運站3組無人機航拍圖像和Google Earth衛(wèi)星圖像,均以衛(wèi)星圖像為模板圖像,無人機航拍圖像為待匹配圖像,如圖2～圖4所示。

圖2 火車客運站圖像匹配結(jié)果

圖3 操場圖像匹配結(jié)果

圖4 貨運站圖像匹配結(jié)果

本實驗所使用的精確度評價指標(biāo)定義為

(11)

式中:matchesinp為特征匹配集合中內(nèi)點的數(shù)量,即誤匹配剔除后保留的正確匹配點對;matches為特征匹配對數(shù)量,即內(nèi)點和外點之和。

表1是不同算法與RANSAC算法組合實驗的結(jié)果。結(jié)合圖2～圖4和表1可以看出,本文提出的ORB-BRISK算法提取特征點的數(shù)量雖然沒有BRISK算法多,但運行時間比BRISK算法減少了一半以上,精度較BRISK算法低了3.03%;與ORB算法相比,不僅精確度高了2.15%,而且運行時間相近。ORB-BRISK算法結(jié)合了ORB和BRISK算法的優(yōu)點,具有良好的旋轉(zhuǎn)、尺度不變性和抗噪性,在速度和精度上達到了平衡,具有更高的匹配效率。

表1 不同算法與RANSAC算法組合實驗結(jié)果

表2是ORB-BRISK算法與RANSAC、GMS、LPM三種誤匹配剔除算法進行組合測試的結(jié)果。圖5～圖7以客運火車站圖像為例,展示了ORB-BRISK算法與RANSAC、GMS、LPM三種誤匹配剔除算法進行組合對比的結(jié)果。可以看出,最常使用的ORB+RANSAC算法進行遙感圖像匹配時,犧牲了大量的真實匹配點, 且整體運行速度較大程度上受RANSAC算法限制。而本文提出的ORB-BRISK+LPM遙感圖像匹配算法提取到的特征點分布相對均勻,匹配點數(shù)量更多,在保證高精確度的同時降低了運行時間,對于諸如無人機航拍圖像和衛(wèi)星圖像匹配這類有實時性要求的任務(wù),帶來了更高效的算法選擇。

表2 ORB-BRISK與 RANSAC、GMS、LPM算法組合實驗結(jié)果

圖5 客運火車站圖像ORB-BRISK+RANSAC匹配結(jié)果

圖6 客運火車站圖像ORB-BRISK+GMS匹配結(jié)果

圖7 客運火車站圖像ORB-BRISK+LPM匹配結(jié)果

4 結(jié) 論

針對遙感圖像匹配中匹配精度和運行速度難以兼得的問題,本文對經(jīng)典圖像匹配算法進行改進,提出了ORB-BRISK算法用于遙感圖像的特征提取,其中ORB特征檢測算子進行特征點提取,BRISK特征描述算子進行特征點描述,并使用基于圖像局部結(jié)構(gòu)一致性的LPM算法進行誤匹配剔除。通過實驗驗證了本文算法在遙感圖像匹配中能滿足高質(zhì)量、高精度和快速度的要求,算法的精度和速度達到了平衡。在對實時性有需求的遙感圖像匹配任務(wù)中,本文算法具有較好的應(yīng)用價值。