陳世偉,楊小岡,張勝修,王雪梅
(第二炮兵工程大學(xué)303教研室,陜西西安710025)
目標(biāo)自動識別是成像末制導(dǎo)過程中的一個關(guān)鍵環(huán)節(jié),也是當(dāng)前的一個技術(shù)難點,尤其是對于地面復(fù)雜背景下的目標(biāo)識別,存在目標(biāo)形態(tài)各異、背景復(fù)雜,特征描述困難,模板圖像不宜制作等諸多困難[1]。宋丹等[2]提出了一種基于仿射梯度方向直方圖特征的目標(biāo)識別算法,具備很好的旋轉(zhuǎn)不變性和錯切不變性,但是對目標(biāo)信息保障要求過高。楊校余、張?zhí)煨虻龋?]以及劉婧等[4]均以目標(biāo)的三維模型為基礎(chǔ)來制作匹配模板圖像。這些方法通常只適用于背景較為簡單、高大、顯著目標(biāo),而背景復(fù)雜、遠(yuǎn)距離、低矮、存在遮擋等情況下的目標(biāo)則很難或者不能直接識別。針對這一問題,李志軍等[5]提出了一種相對定位方法。其思想是在制定末制導(dǎo)策略時,選擇對直接目標(biāo)附近的高大、顯著、容易識別的“相對定位目標(biāo)”進(jìn)行識別,進(jìn)而利用它與直接目標(biāo)之間在實時圖中的相對位置關(guān)系對直接目標(biāo)進(jìn)行相對定位。但是,該方法的運用也存在一些問題:相對定位目標(biāo)的選取數(shù)量和質(zhì)量人工很難把握;對于選取的目標(biāo)進(jìn)行識別依然存在諸多困難。
針對上述問題,本文提出一種新的基于最穩(wěn)定極值區(qū)域的相對定位目標(biāo)選取與識別方法。具體流程如圖1所示,首先根據(jù)目標(biāo)區(qū)域航拍偵察得到的基準(zhǔn)圖像進(jìn)行MSER特征區(qū)域提取,再通過一定策略自適應(yīng)選取相對顯著的特征區(qū)域作為相對定位目標(biāo),再利用仿射橢圓對MSER特征區(qū)域進(jìn)行擬合,制成基準(zhǔn)數(shù)據(jù)模板。當(dāng)飛行器按照預(yù)定航跡進(jìn)入末制導(dǎo)目標(biāo)自動識別階段時,對實時圖采用同樣的方法進(jìn)行MSER區(qū)域提取擬合,并與基準(zhǔn)數(shù)據(jù)模板進(jìn)行規(guī)則化處理,然后根據(jù)互相關(guān)性準(zhǔn)則提取確定基準(zhǔn)數(shù)據(jù)模版和實時圖像間匹配的MSER特征區(qū)域?qū)?,最后根?jù)雙層匹配矯正策略剔除誤匹配,從而實現(xiàn)相對定位目標(biāo)的檢測識別。
圖1 相對定位目標(biāo)選取與識別算法流程圖Fig.1 Flow diagram of image selection and recognition
2004年,J.Matas等人在研究寬基線圖像匹配問題時借鑒分水嶺思想提出了最穩(wěn)定極值區(qū)域算法[6]。該方法具有良好的穩(wěn)定性、抗噪性和仿射不變性,計算簡單高效。2005年,K.Mikolajczyk等人對六種主要的仿射無關(guān)局部特征點檢測子進(jìn)行了比較[7],其中一個很重要的比較結(jié)果就是使用MSER方法檢測出的局部在視角變換、尺度變換、光照變換、圖像壓縮和圖像模糊這五種情況下在重現(xiàn)性和區(qū)分性方面處于領(lǐng)先的位置。
下面給出MSER區(qū)域特征提取的具體步驟:
(1)預(yù)處理。對輸入的灰度影像采用Bin-Sort算法,按灰度值對所有像元進(jìn)行降序或升序排序;
(2)極值區(qū)域合并與選取?;谏喜脚判蚝蟮挠跋袷褂煤喜ⅲ檎?Union-Find)算法構(gòu)造部件樹,并詳細(xì)記錄像素是否放入操作域地圖(Operating Region Map,ORM)中,在ORM中的位置以及合并-查找索引。在形成的部件樹上,從某個節(jié)點開始向上搜索分支,同時利用閾值對灰度影像進(jìn)行二值化聚類操作,不斷查找與合并極值區(qū)域,并根據(jù)適當(dāng)?shù)呐袥Q條件進(jìn)行極值區(qū)域的選取;
(3)MSER區(qū)域檢測。通過上步可以獲得該圖像所對應(yīng)的全部極值區(qū)域序列,針對每一個極值區(qū)域序列,計算區(qū)域變化率q(i)=|Qi+△-Qi-△|/|Qi|。當(dāng)且僅當(dāng) q(i)在 i*處取得局部極小值時,極值區(qū)域Qi才被作為最大值穩(wěn)定區(qū)域提取出來。此時,僅提取出了最小灰度MSER+,為提取最大灰度的MSER-,需要將原始圖像灰度值進(jìn)行反轉(zhuǎn):I反=Imax-I,重復(fù)步驟(2)、(3),提取出MSER-。
最穩(wěn)定極值區(qū)域作為一種不規(guī)則的仿射不變區(qū)域,這不利于特征描述操作。通常需要對這些不規(guī)則的特征區(qū)域進(jìn)行擬合,如橢圓擬合、多邊形擬合、凸包圍擬合等。由于特征區(qū)域協(xié)方差矩陣的特征值和特征向量唯一確定一個橢圓,因此這里采用橢圓擬合方法。
根據(jù)相對定位原理[8],理論上只要識別出一個相對定位目標(biāo)就可以對直接目標(biāo)進(jìn)行定位計算。考慮到飛行中獲得的實時圖與提前偵察獲得的基準(zhǔn)圖之間會有一定的變化,提取后的MSER特征區(qū)域不可能完全相同,其中一些特征區(qū)域并不適合作為相對定位目標(biāo)。另外,還需要有一定數(shù)量的相對定位目標(biāo),這樣才能保證有較高的識別概率。因此,如何自動選取相對定位目標(biāo)非常關(guān)鍵。如果設(shè)置固定的面積閾值,一方面可能會造成符合條件的特征區(qū)域過少甚至沒有,另一方面可能造成特征區(qū)域過多從而增加后續(xù)的匹配識別工作量。從識別的角度分析,相對定位目標(biāo)應(yīng)該具備面積較大、特征顯著、目標(biāo)附近、數(shù)量適當(dāng)?shù)忍攸c。因此,這里采用比例選取、總量控制、就近取點的策略來選取相對定位目標(biāo)。具體方法如下,首先計算每一個特征區(qū)域的選擇權(quán)重指數(shù),然后將所有特征區(qū)域按選擇權(quán)重指數(shù)從大到小排序,最后取前十個作為相對定位目標(biāo)。選擇權(quán)重指數(shù)λi可以通過公式(1)得出:
其中,Si為特征區(qū)域面積;Li特征區(qū)域擬合橢圓中心與直接目標(biāo)中心的距離。
為了便于關(guān)聯(lián)特征間進(jìn)行特征匹配,需要將提取的MSER特征區(qū)域進(jìn)行規(guī)則化處理,即將不同尺寸的橢圓擬合區(qū)域映射為某個固定大小的圓形區(qū)域,從而消除尺度縮放和平移等因素的影響?;ハ嚓P(guān)性在早期模板匹配中有較好的應(yīng)用,但是不能抗旋轉(zhuǎn)、扭曲等畸變影響,而歸則化后的MSER區(qū)域原理上可以消除扭曲變形、尺度大小和旋轉(zhuǎn)方向上的差異。針對MSER區(qū)域這一優(yōu)點,引入特征區(qū)域之間的互相關(guān)性指標(biāo)corr作為匹配量度。兩個特征區(qū)域之間的互相關(guān)性指標(biāo)可以通過式(2)得出:
式中,MSERm(i,j),MSERn(i,j)分別代表兩幅圖像中的MSER區(qū)域的灰度值。
由于在基準(zhǔn)圖上設(shè)定的相對定位點數(shù)量有限,且互相關(guān)性指標(biāo)計算簡單,因此采用窮盡搜索法來尋找實時圖上的匹配特征區(qū)域。
當(dāng)特征區(qū)域之間灰度信息區(qū)別明顯時,直接采用相關(guān)性指標(biāo),設(shè)置恰當(dāng)?shù)拈撝禃r即表示實現(xiàn)正確匹配。但對于復(fù)雜地面建筑物圖像,出現(xiàn)區(qū)域灰度信息接近的概率很高,因此會出現(xiàn)一對多的誤匹配情況。針對這個問題,文獻(xiàn)[9]中采用RANSAC算法[10]來消除誤匹配。但是,RANSAC算法計算參數(shù)的迭代次數(shù)沒有上限,尋找這樣的支撐點集需要的迭代次數(shù)非常高,將會浪費很多的時間。針對以上不足,文中設(shè)計了一種雙層匹配識別策略。首先對匹配特征對進(jìn)行預(yù)檢測,即利用位置權(quán)重指數(shù)μ來消除大量的誤匹配情況,對于每組一對多匹配,只取權(quán)重指數(shù)最大的一對,然后再采用RANSAC算法進(jìn)一步剔除誤匹配特征對,最后實現(xiàn)相對定位目標(biāo)的精確匹配識別。這種雙層匹配矯正策略既能減少RANSAC算法的迭代次數(shù)加快速度,又能進(jìn)一步保證識別精度。位置權(quán)重指數(shù)μ可由公式(3)計算得出:
其中,corr為互相關(guān)性指標(biāo);d*為每對匹配特征區(qū)域擬合橢圓中心的2-范數(shù)。
根據(jù)相對定位原理,在相對定位目標(biāo)識別過程中如果誤識別個數(shù)大于或等于正確識別個數(shù)時,理論上將不能正確定位直接目標(biāo)。因此,本文以相對誤識別率RERP作為單次識別實驗的評價指標(biāo),來反映直接目標(biāo)的定位精度;將絕對誤識別率AERP作為多次識別實驗的評價指標(biāo),來考察算法的魯棒性[11-12]。
其中,Ni為第i次單次識別實驗中的誤識別個數(shù);Mi為正確識別個數(shù);Oi為不能識別的個數(shù)。
實驗環(huán)境為:Intel酷睿1.7 G處理器,4G內(nèi)存,Windows 8操作系統(tǒng),MatlabR2014a計算平臺。實驗選取10組不同類型的復(fù)雜地面場景圖像采用MSER特征和SIFT特征進(jìn)行相對定位目標(biāo)的選取與識別對比實驗。表1給出本次實驗的對比結(jié)果。可以看采用SIFT特征算法的誤識別率和平均耗時都高于本文算法。
表1 誤識別率統(tǒng)計結(jié)果Tab.1 Statistic result of error recognition probability
圖2和圖3分別為利用可見光和紅外前視圖像進(jìn)行相對定位目標(biāo)識別仿真實驗的結(jié)果。其中,圖中左半部分為基準(zhǔn)圖,右半部分為實時圖,用橢圓表示提取的特征區(qū)域?;鶞?zhǔn)圖中用本文算法在直接目標(biāo)(矩形框)周圍自適應(yīng)選取的10個特征區(qū)域作為相對定位目標(biāo)。圖2中實時圖與基準(zhǔn)圖存在較大的視角差異和一定的旋轉(zhuǎn)變換,實時圖共提取了18個特征區(qū)域,采用本文算法進(jìn)行匹配識別,正確識別出7個相對定位目標(biāo),沒有誤識別,實驗測重考察算法的抗旋轉(zhuǎn)畸變能力。圖3中基準(zhǔn)圖和實時圖存在較大的尺度差異,并帶有一定的橫向偏差,實時圖共提取了61個特征區(qū)域,最終正確識別出6個相對定位目標(biāo),沒有誤識別。實驗主要考察算法的抗尺度變化能力。
圖2 可見光圖像識別Fig.2 Recognition of optical images
圖3 紅外圖像識別實驗Fig.3 Recognition of infrared images
本文提出了一種新的相對定位目標(biāo)選取與識別方法。算法利用具有仿射不變性的MSER特征區(qū)域作為相對定位目標(biāo),根據(jù)MSER特征的選擇權(quán)重指數(shù)自適應(yīng)選取具有較好顯著特性的區(qū)域作為相對定位目標(biāo),解決了成像末制導(dǎo)相對定位技術(shù)中相對定位目標(biāo)選取質(zhì)量難于控制的問題?;贛SER特征選取的相對定位目標(biāo)對尺度變化和圖像旋轉(zhuǎn)具有不變性,解決了基準(zhǔn)圖像與實時圖像之間可能存在尺度和旋轉(zhuǎn)角度差異而造成的誤識別問題。根據(jù)互相關(guān)性準(zhǔn)則進(jìn)行有效的特征粗匹配,利用雙層匹配矯正策略剔除誤匹配,實現(xiàn)了對相對定位目標(biāo)的準(zhǔn)確識別。實驗結(jié)果表明,針對復(fù)雜地面建筑場景,該方法的相對誤識別率最大為0.125,絕對誤識別率僅為0.028?;緷M足相對定位技術(shù)的要求,為相對定位技術(shù)在成像末制導(dǎo)上的應(yīng)用提供了有利的條件。
[1] MING Delie,TIAN Jinwen.Automatic infrared condensing tower target recognition using gradient vector features[J].Journal of Astronautics,2010,31(4):1190-1194.(in Chinese)明德烈,田金文.紅外前視對一類特殊建筑目標(biāo)識別技術(shù)研究[J].宇航學(xué)報,2010,31(4):1190-1194.
[2] SONG Dan,TANG Linbo,ZHAO Baojun.The object recognition algorithm based on affine histogram of oriented gradient[J].Journal of Electronics & Information Technology,2013,35(6):1429-1434.(in Chinese)宋丹,唐林波,趙保軍.基于仿射梯度方向直方圖特征的目標(biāo)識別算法[J].電子與信息學(xué)報,2013,35(6):1429-1434.
[3] YANG Xiaoyu,ZHANG Tianxu,LU Ying.Building recognition based on geometric modeling FLIR images sequences[J].Journal of Infrared,Millimeter,and Terahertz Waves,2009,30(5):468-483.
[4] LIU Jing,SUN Jiyin,ZHU Junlin,et al.FLIR scene matching algorithm for complex ground target[J].Application Research of Computers,2010,27(1):350-352.(in Chinese)劉婧,孫繼銀,朱俊林,等.復(fù)雜地面目標(biāo)前視紅外景象匹配算法[J].計算機應(yīng)用研究,2010,27(1):350-352.
[5] LI Zhijun,LIU Yang,CHEN Zengping,et al.Relative positioning technology of FLIR ground targets in terminal guidance[J].Infrared and Laser Engineering,2012,41(11):2861-2864.(in Chinese)李志軍,劉洋,陳曾平,等.前視紅外地面固定目標(biāo)末制導(dǎo)相對定位技術(shù)[J].紅外與激光工程,2012,41(11):2861-2864.
[6] Matas J,Chum O,Urban M,et al.Robust wide-baseline stereo from maximally stable external regions[J].Image Vision Computing,2004,22(10):761-767.
[7] K Mikolajczyk,T Tuytelaars,et al.A comparison of affine region detectors.IJCV,2005,65(1-2):43-72.
[8] ZHANG Guangjun,WEI Zhenzhong.A novel calibration approach to structured light 3D vision inspection[J].Optics & Laser Technology,2002,34(5):373-380.
[9] CHEN Bin,ZHAO Yigong,et al.A new approach to scene matching during electro-optical imaging terminal guidance[J].Acta Optica Sinica,2010,30(1):163-165.(in Chinese)陳冰,趙亦工,等.一種新的光電成像末制導(dǎo)景象匹配方法[J].光學(xué)學(xué)報,2010,30(1):163-165.
[10] R Hartley,A Zisserman.Multiple view geometry in computer vision[M].2nded.Cambridge:Cambridge University Press,2003:290-293.
[11] ZHANG Shengchong,CAI Jun,et al.Algorithm to reduce false alarm of IR small targets detection in complex background[J].Laser & Infrared,2015,45(2):221-224.(in Chinese)張晟翀,蔡軍,等.復(fù)雜背景下減少紅外小目標(biāo)檢測虛警率的算法[J].激光與紅外,2015,45(2):221-224.
[12] CHENG Xiangzheng,ZHAO Wei,et al.Registration method between high-low resolution images based on calibration information[J].Laser & Infrared,2015,45(2):214-220.(in Chinese)程相正,趙威,等.基于標(biāo)定信息的高低分辨率圖像配準(zhǔn)方法[J].激光與紅外,2015,45(2):214-220.