張瑩
(天津市環(huán)境監(jiān)測(cè)中心,天津300191)
近年來,我國(guó)自然災(zāi)害頻繁發(fā)生,生活環(huán)境在不同方面造成了巨大的損失,因此需要及時(shí)對(duì)環(huán)境進(jìn)行監(jiān)測(cè),掌握災(zāi)害發(fā)生情況。為了提高災(zāi)害監(jiān)測(cè)效率,必須提供準(zhǔn)確的災(zāi)害信息,而以傳統(tǒng)的影像獲取平臺(tái)為基礎(chǔ)的環(huán)境監(jiān)測(cè)方法在分辨率及時(shí)間上難以滿足救災(zāi)應(yīng)急的需要。無人駕駛低空飛行器及其輔助設(shè)備的發(fā)展,彌補(bǔ)了傳統(tǒng)航空攝影測(cè)量的缺陷,使得低空遙感在大比例尺遙感影像應(yīng)用方面,迅速成為了廣泛關(guān)注的熱點(diǎn)[1]。
目前,對(duì)于航天航空遙感影像的匹配研究較多,也有了較為成熟的匹配算法并獲得了理想的匹配結(jié)果,但是對(duì)于低空遙感影像匹配的研究卻較少。本文研究的目的就是尋找一種匹配算法,能夠適用于低空遙感影像數(shù)據(jù)處理。
本文從特征檢測(cè)和特征描述兩方面進(jìn)行,涉及到的算法主要有 MSER 算法[2](Maximally Stable Extremal Regions)、SIFT 算法[3,4](Scale-invariant feature transform)以 及 SURF 算 法[5](Speeded Up Robust Features)。
相關(guān)實(shí)驗(yàn)證明,MSER檢測(cè)算法在各種不同條件下進(jìn)行實(shí)驗(yàn)時(shí),均顯示出其穩(wěn)定的仿射不變性。MSER算法的基本思想為,對(duì)于一幅灰度影像定義一系列閾值t,閾值t的范圍在0~255內(nèi),將影像中每個(gè)點(diǎn)的灰度值分別與該閾值進(jìn)行比較,灰度值大于t的像素點(diǎn)重采樣為1,將灰度值小于t的像素點(diǎn)重采樣為0,最終得到256幅二值圖像。對(duì)閾值相鄰的二值圖像檢測(cè)出特征區(qū)域并對(duì)面積進(jìn)行比較,獲取特征區(qū)域面積隨閾值變化的關(guān)系。最后選取出適當(dāng)個(gè)數(shù)的特征區(qū)域面積隨閾值變化較小的區(qū)域即為最大穩(wěn)定極值區(qū)域(MSER)。這樣,MSER算法獲取的區(qū)域就具有以下特點(diǎn)。
(1)當(dāng)影像整體發(fā)生相同的亮度變化時(shí),MSER算法獲取的極值區(qū)域是穩(wěn)定的。
(2)檢測(cè)出的特征保留了拓?fù)湫?,特征區(qū)域內(nèi)的像素點(diǎn)即使發(fā)生了幾何變化,如縮放、平移或者旋轉(zhuǎn)等現(xiàn)象,發(fā)生變換后依然還在同一個(gè)特征區(qū)域內(nèi)。
(3)區(qū)域特征本身的優(yōu)點(diǎn)就是在一個(gè)允許的范圍內(nèi),如果影像發(fā)生了幾何、光照變換等現(xiàn)象,特征區(qū)域依然能夠保持較好的不變性。
SIFT算法是David G.Lowe等人于1999年提出,并于2004年提高完善的一種基于尺度空間的方法,是目前影像匹配領(lǐng)域研究的重點(diǎn)和熱點(diǎn)。SIFT特征匹配主要分為3個(gè)步驟:特征提取、特征描述、特征匹配。
2.2.1 SIFT特征提取
SIFT算法是基于影像特征尺度選擇的思想,首先要建立影像的尺度空間,在不同尺度下檢測(cè)出對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征點(diǎn)后,確定特征點(diǎn)的位置,對(duì)特征點(diǎn)進(jìn)行描述進(jìn)而進(jìn)行影像匹配。Koenderink[6]和 Lindeberg[7,8]在一系列合理的假設(shè)下得出,高斯卷積核是實(shí)現(xiàn)尺度變換的唯一可能的線性核。
尺度空間是SIFT進(jìn)行極值點(diǎn)檢測(cè)的理論基礎(chǔ),尺度空間的建立就是將一幅遙感影像 與不同尺度的高斯核 進(jìn)行卷積,得出的一系列影像,即:
其中G(x,y,σ)是高斯函數(shù),σ即為尺度空間因子。
由于高斯差分函數(shù)DoG具有效率高,易計(jì)算及穩(wěn)定性強(qiáng)等特點(diǎn),故SIFT采用DoG檢測(cè)關(guān)鍵點(diǎn)的位置,高斯差分函數(shù)如下:
2)將2τ+1個(gè)sigma點(diǎn)(χk|k)r(χk|k的第r列,r∈[1,2τ])依次代入永磁轉(zhuǎn)子離散狀態(tài)方程(6),計(jì)算采樣點(diǎn)集χk|k的預(yù)測(cè)值χk+1|k=f(χk|k)。
在DoG影像中,以3×3大小的窗口遍歷整幅影像,比較窗口中心點(diǎn)與鄰點(diǎn)已經(jīng)其相鄰尺度層影像中對(duì)應(yīng)的區(qū)域像素點(diǎn)的大小。因DoG算子具有較強(qiáng)的邊緣效應(yīng),所以為了獲得穩(wěn)定且抗噪的特征點(diǎn),必須去除低對(duì)比度與不穩(wěn)定的邊緣點(diǎn)。檢測(cè)出的極值點(diǎn)利用擬合三維二次函數(shù)以子像素精度,來確定關(guān)鍵點(diǎn)的精確位置。
2.2.2 SIFT特征點(diǎn)描述
通過SIFT檢測(cè)子得到穩(wěn)定的特征點(diǎn),已經(jīng)包含了尺度和位置信息,接下來對(duì)特征點(diǎn)進(jìn)行方向描述。SIFT特征點(diǎn)最關(guān)鍵的特性是旋轉(zhuǎn)不變性,為了保持這個(gè)特性,需要對(duì)特征點(diǎn)賦予一個(gè)主方向,即對(duì)SIFT特征點(diǎn)與各相鄰像素點(diǎn)間的梯度大小及方向進(jìn)行統(tǒng)計(jì)。以特征點(diǎn)為中心,在其鄰域內(nèi)選取一個(gè)8×8的像素矩陣,再將此矩陣分割成16個(gè)2×2的子區(qū)域,分別計(jì)算每個(gè)子區(qū)域在8個(gè)方向上的梯度值,這樣就構(gòu)成了一個(gè)8維向量。每個(gè)子區(qū)域包含一個(gè)8維向量,那么一個(gè)特征點(diǎn)就形成了8×16即128維向量,該特征向量即為SIFT特征點(diǎn)的描述子。最后,除了要保持關(guān)鍵點(diǎn)的旋轉(zhuǎn)不變性,描述子還需要對(duì)仿射變換和光照變化具有一定程度的魯棒性,因此還需將特征點(diǎn)的描述子進(jìn)行歸一化。
SURF算法繼承了SIFT算法的匹配思想,將DoH中的高斯二階微分模板進(jìn)行了近似簡(jiǎn)化,并引入了積分圖像的概念,這使SURF算法在特征提取和特征描述的計(jì)算時(shí)間上顯示出優(yōu)勢(shì)。Koendetink等對(duì)SURF算法和SIFT算法進(jìn)行了實(shí)驗(yàn),結(jié)果表明在匹配速度方面,SURF算法約比SIFT算法節(jié)約了3倍的時(shí)間,綜合性能優(yōu)于 SIFT 算法[9]。
2.3.1 SURF特征提取
SURF算法的尺度空間建立與SIFT不同,是利用積分圖像與高斯模板的近似盒子濾波器(Box-fliter)進(jìn)行卷積,Box-fliter的構(gòu)造如圖1所示。
SURF算法能夠于眾匹配算法中脫穎而出,還因?yàn)樗鼘essian矩陣引入到匹配算法中。
假設(shè)像素點(diǎn)P(x,y)為圖像I上的任意一點(diǎn),則該點(diǎn)在尺度為σ的高斯空間中的Hessian矩陣可表示為:
其中,Lxx(x,y,σ)表示高斯二階偏導(dǎo)在P處于圖像I的卷積,Lxy(x,y,σ)和Lyy(x,y,σ)可類推。
用Dxx,Dxy,Dyy替換 Hessian矩陣中的Lxx,Lxy和Lyy來表示盒子濾波模板和影像卷積計(jì)算的協(xié)方差,那么替換簡(jiǎn)化后的Hessian矩陣行列式可用如公式(4)表示:
其中ω是權(quán)重系數(shù)。尺度空間構(gòu)建完成后,利用特征監(jiān)測(cè)算子Hessian矩陣對(duì)影像進(jìn)行極值檢測(cè),將檢測(cè)出的極值點(diǎn)與尺度空間中三層26個(gè)點(diǎn)進(jìn)行比較,確定特征點(diǎn),并根據(jù)閾值篩選適當(dāng)?shù)奶卣鼽c(diǎn)。
2.3.2 SURF特征點(diǎn)描述
SURF算法是統(tǒng)計(jì)興趣點(diǎn)鄰域范圍內(nèi)的灰度信息,同樣是計(jì)算主方向和特征向量來得到特征描述子。
SURF算法描述子的生成過程利用到了Haar小波模板。SURF算法特征描述子生成首先要以特征點(diǎn)為圓心,用Haar小波模板遍歷特征點(diǎn)的整個(gè)圓形鄰域,取最長(zhǎng)向量和的方向作為主方向。
確定主方向后,對(duì)特征點(diǎn)進(jìn)行描述。在生成描述子的過程中,同SIFT類似,以特征點(diǎn)為中心原點(diǎn),旋轉(zhuǎn)坐標(biāo)軸到該特征點(diǎn)的主方向,以σ作為采樣間隔,建立一個(gè)邊長(zhǎng)為20σ的正方形窗口,將該正方形窗口進(jìn)行分割,分成4×4的16個(gè)子窗口。再次利用Haar小波模板分別計(jì)算每個(gè)子窗口內(nèi)的中心點(diǎn)水平于主方向的、垂直于主方向的Haar小波響應(yīng)值,分別記為dx、dy。將子窗口內(nèi)的dx和dy值在分別進(jìn)行矢量和計(jì)算和絕對(duì)值之和的計(jì)算,便得到了每個(gè)子窗口的四維向量:v=(∑dx,∑dy,∑|dx|,∑|dy|)。
由此得出,一個(gè)特征點(diǎn)的正方形鄰域內(nèi)包含了4×4個(gè)子窗口,特征點(diǎn)的描述符有著16個(gè)窗口的向量組成,便形成了一個(gè)4×4×4=64維的特征向量。
在當(dāng)前影像特征提取與匹配算法的研究過程中,依然存在許多問題有待解決?,F(xiàn)有匹配算法中使用比較廣泛的是SIFT算法,然而其計(jì)算速度和對(duì)仿射不變特性都存在較大缺陷。SURF算法是近年來新提出的一種基于點(diǎn)特征的特征匹配方法,在重復(fù)度、獨(dú)特性、魯棒性這三個(gè)評(píng)價(jià)算法的標(biāo)準(zhǔn)上有著較為顯著的優(yōu)勢(shì),與以往提出的同類方法相比,均存在不同程度的超越,其匹配效果可與SIFT算法媲美,在計(jì)算效率上更是具有明顯的優(yōu)勢(shì)。SURF算法繼承了SIFT算法的匹配思想,在保證了特征點(diǎn)提取質(zhì)量的同時(shí),在特征點(diǎn)提取的速度方面提出了改進(jìn),這使SURF算法在處理大量、實(shí)時(shí)的數(shù)據(jù)問題上更有應(yīng)用價(jià)值。但SURF算法在影像仿射變換、旋轉(zhuǎn)角度等變形較大情況下對(duì)圖像特征點(diǎn)的提取和匹配效果依然不是很好。因此有人提出將MSER檢測(cè)算法引入SIFT和SURF中,分別與兩種方法結(jié)合,利用MSER本身的仿射不變特性,與SIFT和SURF兩種性能優(yōu)異的匹配算法在空間分布上成互補(bǔ)關(guān)系[10]。
本文對(duì)4種方法結(jié)合低空遙感影像分別進(jìn)行了充分的實(shí)驗(yàn),采用的數(shù)據(jù)是某區(qū)域無人機(jī)影像,分辨率為0.2m。兩幅影像間存在仿射變化。下面對(duì)本組的兩幅影像進(jìn)行4種方法的匹配實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果圖和實(shí)驗(yàn)數(shù)據(jù)如圖2所示。
表1 四種算法匹配實(shí)驗(yàn)數(shù)據(jù)
通過表1實(shí)驗(yàn)數(shù)據(jù)可以得出,首先,無論是在特征點(diǎn)提取還是特征點(diǎn)描述方面,SURF+MSER算法和經(jīng)典SURF算法在處理時(shí)間上是具有很明顯的優(yōu)勢(shì)的,而包含了SIFT算法的兩種方法,在提取和描述特征點(diǎn)的時(shí)候,相對(duì)于其他兩種包含了SURF的算法來說計(jì)算所用的時(shí)間是相當(dāng)多的。
然后,影像檢測(cè)出的特征點(diǎn)個(gè)數(shù)存在明顯差異,包含了SIFT算法的方法在提取到的特征點(diǎn)個(gè)數(shù)上遠(yuǎn)遠(yuǎn)超過了其他兩種算法,并且MSER+SURF檢測(cè)出的特征點(diǎn)的個(gè)數(shù)也比經(jīng)典SURF算法明顯增加。
最后,在匹配正確率方面,經(jīng)典SIFT算法和經(jīng)典SURF算法的實(shí)驗(yàn)結(jié)果相差不多,而結(jié)合MSER后的兩種算法匹配正確率也有了較為明顯的提升。
綜上,SURF+MSER算法和經(jīng)典SURF算法在計(jì)算時(shí)間上與包含了SIFT算法的兩種方法相比縮短很多,這說明SURF+MSER算法充分吸收了SURF算法計(jì)算速度快的優(yōu)勢(shì)的同時(shí)在特征點(diǎn)檢測(cè)的個(gè)數(shù)上比經(jīng)典SURF算法的檢測(cè)能力有所提升,充分利用了MSER和SURF算法各自的優(yōu)勢(shì),彌補(bǔ)了SURF算法提取特征的不充足性。
本文通過實(shí)驗(yàn)數(shù)據(jù)充分驗(yàn)證了SURF算法的改進(jìn)算法相對(duì)于其他三種方法的綜合優(yōu)勢(shì),既可以在時(shí)間上滿足數(shù)據(jù)量大的低空遙感影像,又能在匹配的個(gè)數(shù)上滿足遙感數(shù)據(jù)的處理需求,適用于環(huán)境監(jiān)測(cè)過程中遙感影像生產(chǎn)過程。
[1]張永軍 .無人駕駛飛艇低空遙感影像的幾何處理[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2009,34(3):284~288.
[2]Matas J,Chum O,Urban M,Pajdla T.Robust wide baseline stereo from maximally stable extremal regions[C].BMVC,2002:384~393.
[3]D.G.Lowe.Distinctive Image Features from Scale-Invariant Keypoint[J].Internation Journal of Computer Virsion,2004,60(2):91~110.
[4]D.G.Lowe.Object Recognition from Local Scale-Invariant Features[J].International Conference on Computer Vision,1999:1150~1157.
[5]H.Bay,T.Tuytelaars,L.V.Gool.SURF:Speeded up Robust Features[J].Computer Vision and Image Understanding,2006,110(3):346~359.
[6]Mikolajczyk K,Tuytelaars T,Schmid C,et al.A comparison of affine region detectors[J].International journal of computer vision,2005,65(1-2):43~72.
[7]Vincent L,Soille P.Watersheds in digital spaces:an efficient algorithm based on immersion simulations[J].IEEE transactions on pattern analysis and machine intelligence,1991,13(6):583~598.
[8]Lindeberg T.Scale-space for discrete Signals[J].IEEE Transactions PAMI,1980(207):187~217.
[9]Koendetink J.The structure of image[J].Biological Cybernetics,1984(50):363~369.
[10]唐 樂,路林吉 .基于 MSER與SURF的圖形匹配新方法[J].微型電腦應(yīng)用,2012,28(3):61~64.