王　力，賈　平，張　葉，馬天翔

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033;

2.中國科學(xué)院大學(xué)，北京 100049)

?

復(fù)雜地物條件下基于線特征的異源景象匹配

王力1,2，賈平1*，張葉1，馬天翔1

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033;

2.中國科學(xué)院大學(xué)，北京 100049)

摘要：為了尋求應(yīng)用于復(fù)雜地物條件下異源景象匹配的算法，使其滿足尺度和旋轉(zhuǎn)不變性，受視覺成像系統(tǒng)的啟發(fā)，利用初始簡圖可以表征圖像大部分信息的特點(diǎn)，提出了一種新的基于線段對(duì)的異源圖像匹配算法。首先，提取并篩選圖像中能夠表征圖像信息的線段；然后，利用線段自身信息及線段的相對(duì)位置關(guān)系構(gòu)建線段對(duì)特征；接著，通過線段對(duì)之間的相似性對(duì)圖像進(jìn)行粗匹配；最后，利用線段之間的拓?fù)潢P(guān)系進(jìn)行精匹配。實(shí)驗(yàn)表明，本文方法對(duì)具有旋轉(zhuǎn)、縮放和平移變換的異源圖像的匹配正確率達(dá)到了75%以上，運(yùn)算時(shí)間是傳統(tǒng)匹配算法的1/5左右，基本滿足了異源景象匹配應(yīng)用對(duì)算法實(shí)時(shí)性和準(zhǔn)確性的要求。

關(guān)鍵詞:圖像匹配；線段對(duì)匹配；尺度旋轉(zhuǎn)無關(guān)；異源圖像

Multi-sensor image matching based on line features

under complex object conditions

1引言

異源景象匹配技術(shù)是在多學(xué)科基礎(chǔ)上發(fā)展起來的一門新技術(shù)，在民用、軍事、醫(yī)療等領(lǐng)域具有重要的應(yīng)用價(jià)值。在航空光電載荷系統(tǒng)中，通過將基準(zhǔn)圖和實(shí)時(shí)圖進(jìn)行匹配，從而實(shí)現(xiàn)圖像的拼接以及融合。異源景象匹配算法的難點(diǎn)在于異源圖像之間存在尺度、視角、亮度、分辨率等方面的諸多差異。在硬件系統(tǒng)運(yùn)轉(zhuǎn)正常時(shí)，匹配算法的優(yōu)劣決定了光電載荷系統(tǒng)的性能。因此，異源景象匹配技術(shù)的研究對(duì)于航空光電載荷系統(tǒng)的發(fā)展有著重要的意義[1]。

異源景象匹配算法主要有基于區(qū)域的圖像匹配方法、基于變換域的圖像匹配方法以及基于特征的圖像匹配方法?；趨^(qū)域的圖像匹配方法主要包括基于區(qū)域相似性的匹配方法以及基于互信息的匹配方法等，這類方法在時(shí)間復(fù)雜度上很難滿足實(shí)時(shí)性的要求，并且由于異源圖像間灰度的差異太大，很難得到較高的匹配成功率[2]?；谧儞Q域的圖像匹配方法主要包括Fourier-Mellin算法(FMT)和相位一致性算法等，這類算法對(duì)縮放和平移量稍大的圖像適應(yīng)性不強(qiáng)，且對(duì)圖像形變敏感，另外對(duì)于圖像的畸變或部分內(nèi)容的改變適應(yīng)能力較差[3-5]?；谔卣鞯膱D像匹配方法主要有基于點(diǎn)特征的匹配方法[6]、基于邊緣特征的匹配方法[7]以及基于線特征的匹配方法[8-9]等，基于點(diǎn)特征的算法在圖像灰度差異較小時(shí)有較高的精度，但對(duì)灰度差異較大的圖像無能為力；基于邊緣的匹配方法匹配精度高，但時(shí)間復(fù)雜度過高；基于線特征的算法特征易于提取并且時(shí)間復(fù)雜度低，但在灰度差異過大的情景下很難保證匹配正確率。

考慮到在航空異源景象匹配中，一般感興趣的圖像區(qū)域多為人工建造區(qū)域，圖像紋理豐富，易于提取出同名線段。另外，對(duì)于視覺系統(tǒng)，由少量的線條所構(gòu)成的輪廓信息很大程度上反映物體的特征。受視覺系統(tǒng)的啟發(fā)，本文提出了一種基于線段對(duì)的匹配方法。首先提取圖像中的線特征，然后根據(jù)線段之間的距離和夾角對(duì)線段配對(duì)，構(gòu)建滿足旋轉(zhuǎn)、縮放的特征描述子，采用距離相似性度量來進(jìn)行匹配處理得到最終結(jié)果。

2算法介紹

本文算法主要包括線段提取、構(gòu)建特征描述符與特征匹配。線段提取采用R.Von Gioi等人提出的A Line Segment Detector(LSD)[10]算法來實(shí)現(xiàn)；通過對(duì)提取出的線段本身信息及相互間位置關(guān)系的統(tǒng)計(jì)來描述線段對(duì)特征；利用線段間的拓?fù)潢P(guān)系進(jìn)行精確匹配。

2.1　線段提取

現(xiàn)有的線段提取算法主要有Hough變換[11]、基于邊緣檢測(cè)算子的直線提取方法[12-13]以及LSD直線提取算法。由于受航空載荷系統(tǒng)的功率限制等因素，應(yīng)用于航空景象的匹配算法必須能夠滿足實(shí)時(shí)性的要求。

圖1　LSD提取線段效果Fig.1　Effects of line segment extraction by LSD algorithm

以上3種算法中，Hough變換時(shí)間復(fù)雜度過高，不適合應(yīng)用于實(shí)時(shí)性要求較高的算法；基于邊緣檢測(cè)算子的算法檢測(cè)精度低，很難提取出完整的線段；LSD算法運(yùn)算速度快，可以在線性時(shí)間內(nèi)得出亞像素級(jí)精度的檢測(cè)結(jié)果。本文采取LSD算法來對(duì)圖像進(jìn)行線段提取[7]。LSD算法是通過統(tǒng)計(jì)圖像每個(gè)像素點(diǎn)梯度值和方向，排除梯度值過小的像素點(diǎn)的影響，將梯度方向相近且像素點(diǎn)位置相鄰的像素點(diǎn)結(jié)合構(gòu)成待篩選線段，通過計(jì)算檢測(cè)到的待篩選線段和完美噪聲圖像(不會(huì)檢測(cè)到目標(biāo)的噪聲圖像)的相似性來確定最終得到的線段。LSD提取線段的效果如圖1所示。

2.2　線段對(duì)特征提取及表征

對(duì)圖像提取出線段之后，通過描述線段對(duì)的空間結(jié)構(gòu)和線段間的幾何關(guān)系來反映線段對(duì)之間的關(guān)系，為線段對(duì)相似性度量做準(zhǔn)備。本文利用線段之間的長度比例、角度關(guān)系、距離關(guān)系以及相對(duì)位置關(guān)系來描述兩條線段的關(guān)系。

在構(gòu)造線段對(duì)之前，為了提取出明顯的特征以及消除噪聲的影響，需要對(duì)提取的線段按照表達(dá)式(1)進(jìn)行篩選:

(1)

圖2　線段篩選結(jié)果Fig.2　Selection of line segment

(2)

圖3　線段配對(duì)原則Fig.3　Rule of line combination process

如圖4(a)所示，在計(jì)算線段對(duì)之間的距離時(shí)，分別計(jì)算出兩條線段li(P1,P2)和lj(P3,P4)四個(gè)頂點(diǎn)之間的距離L1,L2,L3,L4四者的平均值即兩條線段之間的距離，表達(dá)式如下：

(3)

如圖4(b)所示，為了得到兩條線段的夾角，需要求出兩條線段所在直線的斜率K1，K2，按照直線夾角的公式可得：

(4)

將線段斜率用坐標(biāo)形式表示得:

(5)

如圖4(c)所示，線段l1和l2的頂點(diǎn)分別為P1(x1,y1)，P2(x2,y2)，P3(x3,y3)，P4(x4,y4)，兩條線段的相對(duì)位置關(guān)系可用下式表示：

(6)

(7)

式中，ξx代表兩條線段間橫向的位置差異，ξy代表兩條線段間縱向的位置差異。

圖4　線段相互關(guān)系示意圖Fig.4　Relationship of line segments

由于在構(gòu)造線段對(duì)的過程中，沒有限制一條線段只能出現(xiàn)在一個(gè)線段對(duì)中，多個(gè)線段對(duì)之間有可能會(huì)共用某一條線段，通過這種拓?fù)潢P(guān)系可以簡化匹配工作。

2.3　特征匹配

假設(shè)Si和Sj是從實(shí)時(shí)圖和基準(zhǔn)圖中提取出的線段對(duì)特征向量集，Vi，Vj分別為Si，Sj中的一個(gè)特征向量。由歐氏距離定義兩個(gè)線段對(duì)之間的相似性。兩線段對(duì)之間的相似性度量函數(shù)如下：

(8)

式中，λl,λξ,λd,λθ分別為兩個(gè)線段對(duì)長度比例、相對(duì)位置關(guān)系、距離及夾角在匹配過程中所占權(quán)重。它們滿足λl+λξ+λd+λθ=1且λl>0，λξ>0，λd>0，λd>0。

理論上同名線段對(duì)應(yīng)該具有相同的特征向量，如果Vi和Vj的特征向量的相似性度量相距甚遠(yuǎn)，超過設(shè)定的某一閾值ρmax，那么我們就認(rèn)定Vi和Vj不是同名特征點(diǎn)，即這兩個(gè)特征是不匹配的。

(9)

(10)

在初步匹配結(jié)束之后，線段對(duì)之間有可能出現(xiàn)多對(duì)一的情況，為了避免這種情況的發(fā)生，對(duì)每個(gè)線段對(duì)加入一個(gè)標(biāo)記位，比較匹配到同一個(gè)線段對(duì)的所有實(shí)時(shí)線段對(duì)，標(biāo)記實(shí)時(shí)線段對(duì)與基準(zhǔn)線段對(duì)相似性最高的實(shí)時(shí)線段對(duì)為已配準(zhǔn)狀態(tài)，其余實(shí)時(shí)線段對(duì)為未配準(zhǔn)狀態(tài)，至此線段對(duì)之間的配準(zhǔn)工作完成，接下來利用線段對(duì)之間的拓?fù)潢P(guān)系進(jìn)一步匹配各個(gè)線段。

圖5　精確匹配過程Fig.5　Process of accurate registration

為了提高匹配的可靠性可以采用雙向匹配算法[14]，雙向匹配算法的思想為僅保留以紅外圖像作為實(shí)時(shí)圖像和以可見光圖像作為實(shí)時(shí)圖像時(shí)匹配成功的線段作為匹配結(jié)果。在匹配完成之后利用隨機(jī)抽樣一致算法(Random Sample Consensus, RANSAC)進(jìn)一步降低錯(cuò)配率[15-16]。

由于異源圖像匹配完成之后往往需要進(jìn)行融合等操作，這些操作需要匹配結(jié)果能夠達(dá)到像素級(jí)別的精度，為了后續(xù)處理的方便，本文采用每條線段的中點(diǎn)來代表改線段。

3實(shí)驗(yàn)結(jié)果與分析

3.1　實(shí)驗(yàn)閾值設(shè)置

為了進(jìn)一步驗(yàn)證所提算法的性能，在硬件配置為：CPU為core i3-2310，3.3 GHZ，內(nèi)存為4 G，算法開發(fā)工具為vc2010的設(shè)備上進(jìn)行大量實(shí)驗(yàn)，使用圖片大小為256 pixel×256 pixel。

圖6　δ值與算法運(yùn)算時(shí)間及特征數(shù)量的關(guān)系Fig.6　Relationship between δ, operation time and feature number

由于閾值δ、dmax的選取對(duì)算法性能有很大的影響，其中δ主要影響運(yùn)算時(shí)間和提取的特征數(shù)量，dmax影響算法匹配正確率和運(yùn)算時(shí)間，本文通過大量的對(duì)比試驗(yàn)統(tǒng)計(jì)出閾值選取和匹配正確率及匹配時(shí)間之間的關(guān)系。圖6表示δ值對(duì)算法運(yùn)算時(shí)間以及特征數(shù)量的影響，圖7表示dmax對(duì)匹配正確率及運(yùn)算時(shí)間的影響。

圖7　dmax值和匹配正確率及運(yùn)算時(shí)間的關(guān)系Fig.7　Relationship between dmax, the correct matching rate and operation time

由圖6可以看出，δ值越大，運(yùn)算時(shí)間越小，但特征數(shù)量也越小。為了保證算法的有效性并且保證算法的運(yùn)算時(shí)間，取δ=0.53。由圖7得到，當(dāng)dmax=270時(shí)，匹配正確率最高并且可以保證算法的運(yùn)算時(shí)間，取dmax=270。

3.2　實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，本文通過大量的異源圖像進(jìn)行仿真實(shí)驗(yàn)。由于異源匹配領(lǐng)域沒有通用的圖像庫，因此本文選用了多組多光譜圖片，并將實(shí)時(shí)圖像逆時(shí)針旋轉(zhuǎn)5°，縮放為原圖的0.9倍后截取部分圖片作為實(shí)驗(yàn)圖像來驗(yàn)證算法是否具有旋轉(zhuǎn)、縮放和平移不變性，經(jīng)過變換之后的紅外圖片大小為211 pixel×211 pixel。圖8為采用本文方法匹配之后比較有代表性的四組結(jié)果，其中圖8(a)是地面拍攝的異源圖像對(duì)的匹配結(jié)果，圖8(b)、8(c)、8(d)是航拍得到的異源圖像對(duì)的匹配結(jié)果。為了能夠更加簡潔的描述線特征并且直觀地觀察匹配結(jié)果，圖8中的線段用該線段的中點(diǎn)來表示。

圖8　本文方法匹配結(jié)果Fig.8　Matching results using proposed algorithm in this paper

為了更加客觀地評(píng)價(jià)本文算法，分別采用本文算法、SIFT匹配算法、互信息方法以及文獻(xiàn)[6]

表1　4種算法性能比較

提出的點(diǎn)特征和邊緣信息相結(jié)合的算法對(duì)復(fù)雜地物條件下的異源圖像進(jìn)行多次匹配測(cè)試，得出4種算法正確匹配率和匹配時(shí)間的實(shí)驗(yàn)數(shù)據(jù)。結(jié)果如表1所示。

圖9　本文算法與SIFT算法比較結(jié)果Fig.9　Comparison of the proposed algorithm and SIFT algorithm

從表1可以看出，本文提出的算法正確率最高，邊緣相關(guān)方法次之，傳統(tǒng)點(diǎn)特征匹配算法最低。在計(jì)算時(shí)間上，本文方法用時(shí)最短，遠(yuǎn)低于互信息方法與傳統(tǒng)點(diǎn)特征方法相近。

為更加直觀地體現(xiàn)本文算法的有效性，圖9給出了一組使用本文方法、SIFT及文獻(xiàn)[6]所述方法對(duì)異源景象匹配的實(shí)驗(yàn)結(jié)果。

本文方法要求異源圖像對(duì)之間存在相同或者相似的直線特征,這點(diǎn)在城市、港口、機(jī)場(chǎng)等大多數(shù)人造場(chǎng)景，一般能夠滿足。但是在山區(qū)、農(nóng)田等一些特殊的場(chǎng)景,通常難以有效提取對(duì)應(yīng)的直線特征, 則本文方法將會(huì)失效。

4結(jié)論

本文針對(duì)異源景象成像機(jī)理不同造成的灰度差異大以及圖像間存在縮放和旋轉(zhuǎn)時(shí)導(dǎo)致的匹配困難問題，受到人眼視覺模型的啟發(fā)，提出一種復(fù)雜地物條件下基于線特征的異源圖像匹配方法。介紹了線段對(duì)的提取、表征與匹配過程，給出了該算法對(duì)于復(fù)雜地物條件下異源景象匹配問題的效果。實(shí)驗(yàn)結(jié)果證明:基于線特征的匹配算法可以完成具有旋轉(zhuǎn)、縮放變換的兩幅異源圖像間的匹配。當(dāng)圖像同時(shí)具有旋轉(zhuǎn)縮放和少量平移變換時(shí)，匹配正確率能夠達(dá)到75%左右，當(dāng)兩幅異源圖像場(chǎng)景相差較小時(shí)，匹配效果會(huì)有進(jìn)一步提升。

參考文獻(xiàn)：

[1]張蕾.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學(xué) 精密工程,2015,23(3):810-818.

ZHANG L. Fusion of infrared and visible images based on non-sampled contourlet transform and region classification[J].Opt.PrecisionEng.,2015,23(3):810-818.(in Chinese)

[2]李壯.異源圖像匹配關(guān)鍵技術(shù)研究[D].長沙：國防科技大學(xué),2011:67-77.

LI ZH. Research on key technologies of multi-sensor images matching[D]. Changsha:National University of Defense Technology,2011:67-77.(in Chinese)

[3]LIM F L,WEST G A W,VENKATESHS. Use of log polar space for foveation and feature recognition[J].IEEE,1997,144(6):323-331.

[4]CHEN Q S,DEFRISE M,DECONINCK F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1994,16(12):1156-1168.

[5]沈同圣,張健,等.面向目標(biāo)檢測(cè)的空間觀測(cè)圖像精確配準(zhǔn)[J].光學(xué) 精密工程,2014,22(8):2205-2213.

SHEN T SH,ZHANG J. Precise registration of Space observation images for target detection[J].Opt.PrecisionEng.,2014,22(8):2205-2213.(in Chinese)

[6]王飛宇，邸男，賈平.結(jié)合尺度空間FAST角點(diǎn)檢測(cè)器和SURF描繪器的圖像特征[J].液晶與顯示，2014,29(4):598-604.

WANG F Y,DI N,JIA P. Image features using scale-space FAST corner detector and SURF descriptor[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(4):598-604.(in Chinese)

[7]李壯,朱憲偉.基于邊緣相似性的異源圖像匹配[J].飛行器測(cè)控學(xué)報(bào)，2011,30(2):0037- 0041.

LI ZH,ZHU X W. Matching mult-i sensor images based on edge similarity[J].J.SpacecraftTT&CTechnology,2011,30(2):0037-0041.(in Chinese)

[8]高峰,文貢堅(jiān),呂金建.基于干線對(duì)的紅外與可見光最優(yōu)圖像配準(zhǔn)算法[J].計(jì)算機(jī)學(xué)報(bào),2007,30(6):1014-1022.

GAO F. An optimal algorithm for IR/visual image registration based on main-line-pairs[J].ChineseJ.Computers,2007,30(6):1014-1022.(in Chinese)

[9]張葉,曲宏松,王延杰.運(yùn)用旋轉(zhuǎn)無關(guān)特征線實(shí)現(xiàn)景象匹配[J].光學(xué) 精密工程， 2009,17(7):1759-1765.

ZHANG Y,QU H S,WANG Y J. Implementation of scene matching based on rotation invariant keylines[J].Opt.PrecisionEng.,2009,17(7):1759-1765.(in Chinese)

[10]VON G R,JAKUBOWICZ J,MOREL J,etal.. Lsd:a fast line segment detector with a false detection control[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(4):722-732.

[11]陳志良.序列圖像中的直線特征提取與匹配[D].南昌:南昌航空大學(xué),2011:19-31.

CHEN ZH L. Research on Extraction and Matching of Linear in Image Sequences[D]. Nanchang:Nanchang Hangkong University,2011:19-31.(in Chinese)

[12]楊寧.基于邊緣特征的前方車輛識(shí)別[D].長春：吉林大學(xué),2007:10-23.

YANG N. Detection of preceding vehicles based on edge character[D]. Changchun:Jilin University,2007:10-23.(in Chinese)

[13]楊桄,童濤.基于多特征的紅外與可見光圖像融合[J].光學(xué) 精密工程,2014,22(2):489-496.

YANG G,TONG T. Fusion of infrared and visible images based on multi-features[J].Opt.PrecisionEng.,2014,22(2):489-496.(in Chinese)

[14]周達(dá)標(biāo).基于局部不變特征的目標(biāo)自動(dòng)識(shí)別[J].光子學(xué)報(bào)，2015,44(2):021003.

ZHOU D B. Automic target recognition based on local invariant features[J].ActaPhotonicaSinica,2015,44(2):021003.(in Chinese)

[15]王燦進(jìn)，孫濤，陳娟.局部不變特征匹配的并行加速技術(shù)研究[J].液晶與顯示，2014,29(2):266-274.

WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):266-274.(in Chinese)

[16]王健博,朱明.基于字典描述向量的實(shí)時(shí)圖像配準(zhǔn)[J].光學(xué) 精密工程,2014,22(6):1613-1621.

WANG J B,ZHU M. Real time image registration based on dictionary feature descriptor[J].Opt.PrecisionEng.,2014,22(6):1613-1621.(in Chinese)

王力(1992—)，男，甘肅定西人，碩士研究生，主要從事航空?qǐng)D像處理和模式識(shí)別方面的研究。E-mail：wl_ciomp@126.com

賈平(1964—)，男，吉林延吉人，研究員，博士生導(dǎo)師，主要從事光學(xué)動(dòng)態(tài)成像控制和圖像處理技術(shù)等方面的研究。E-mail：jiap@ciomp.ac.cn

Supported by Jilin Provincial Science and Technology Development Plan Project of China(No.20140204009GX), Changchun City Major Scientific Research Project of China(No.14KG008)

WANG Li1,2, JIA Ping1*, ZHANG Ye1, MA Tian-xiang1

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,Chinese

AcademyofSciences,Changchun130033,China;

2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor,E-mail:jiap@ciomp.ac.cn

Abstract:In order to provide a robust multi-sensor image matching algorithm to satisfy the scale and rotation invariance, we put forward a new matching method based on key line segment pairs, inspired by the visual system in which most of the information of image is contained in sketch. Firstly, the line segments that can express the feature of image are found and screened out. Then，the characteristic of line segment pairs is constructed by using the information and the relative position of line segments. And initial matching is carried out by the similarity between line segment pairs of two images. Finally, the topological relationship between line segments is used to achieve accurate registration. Experiment results tested by multi-sensor images show that the accuracy of image matching by using this proposed algorithm is more than 75% and the computing time is about 1/5 of traditional algorithm which satisfies the requirement of real-time and veracity in the multi-sensor image matching.

Key words:image registration;line-pairs registration;rotation and scale invariance;multi-sensor image

作者簡介：

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3788/CO.20160901.0081

文章編號(hào)2095-1531(2016)01-0081-08 2095-1531(2016)01-0089-08

基金項(xiàng)目：吉林省重大科技攻關(guān)資助項(xiàng)目(No.11ZDGG001) 吉林省科技發(fā)展計(jì)劃資助項(xiàng)目(No.20140204009GX),長春市重大科技攻關(guān)計(jì)劃資助項(xiàng)目(No.14KG008)

收稿日期:2015-09-11； 2015-09-11；

修訂日期:2015-11-13 2015-11-13

Supported by Jilin Provincial Major Scientific Research Special Project of China(No.11ZDGG001)