張 超,陳志斌,宋 巖,劉先紅
(軍械技術(shù)研究所,河北石家莊050000)
隨著光電成像技術(shù)的發(fā)展,運(yùn)動(dòng)目標(biāo)檢測(cè)越來(lái)越多地應(yīng)用于安防、交通、軍事等領(lǐng)域。其基本任務(wù)是從圖像序列中檢測(cè)出運(yùn)動(dòng)信息,從而為后續(xù)目標(biāo)識(shí)別與跟蹤提供依據(jù)。根據(jù)攝像機(jī)的運(yùn)動(dòng)狀態(tài),運(yùn)動(dòng)目標(biāo)檢測(cè)可分為靜態(tài)場(chǎng)景目標(biāo)檢測(cè)和動(dòng)態(tài)場(chǎng)景目標(biāo)檢測(cè)[1]。現(xiàn)有的目標(biāo)檢測(cè)方法主要有背景減除法、幀差法和光流法[2]等幾種。背景減除法和幀差法主要用于靜態(tài)的視頻監(jiān)控場(chǎng)合[3],光流法[4]通用性強(qiáng),在攝像機(jī)運(yùn)動(dòng)存在的前提下也能精確檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo),但計(jì)算量較大,實(shí)時(shí)性較差。針對(duì)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題,目前普遍的解決方法是采用匹配的方法對(duì)背景進(jìn)行運(yùn)動(dòng)補(bǔ)償,如塊匹配[5]、SIFT特征匹配等。在煙幕干擾環(huán)境下,紅外圖像成像質(zhì)量會(huì)受到嚴(yán)重影響,導(dǎo)致上述算法的魯棒性較差,為此本文提出一種快速運(yùn)動(dòng)檢測(cè)方法。首先提取FAST特征點(diǎn),采用改進(jìn)的二進(jìn)制BRIEF特征進(jìn)行描述以增加對(duì)煙幕干擾的魯棒性,并采用Hamming距離實(shí)現(xiàn)圖像的快速匹配;采用隨機(jī)一致性算法(Random Sample Consensus Algorithm,RANSAC)估計(jì)全局運(yùn)動(dòng)參數(shù)并進(jìn)行運(yùn)動(dòng)補(bǔ)償;采用幀間差分法提取運(yùn)動(dòng)目標(biāo)區(qū)域。
由于紅外跟瞄系統(tǒng)的熱像儀多置于云臺(tái)上并隨云臺(tái)不斷轉(zhuǎn)動(dòng),云臺(tái)的姿態(tài)或位置變化必然引起視頻序列全局背景的變化,所以背景運(yùn)動(dòng)估計(jì)的目的就是要精確求出全局運(yùn)動(dòng)參數(shù)。因此,建立圖像全局運(yùn)動(dòng)的參數(shù)模型非常必要。
本文采用經(jīng)典的基于平行投影的六參數(shù)仿射模型描述全局運(yùn)動(dòng)[6],假設(shè)目標(biāo)上的某一點(diǎn)tk時(shí)刻在成像平面上的投影坐標(biāo)為(x,y),在tk+1時(shí)刻的投影坐標(biāo)為(x',y'),則六參數(shù)仿射模型可表示為:
這樣成像平面中目標(biāo)點(diǎn)成像的坐標(biāo)就取決于a0~a5這六個(gè)參數(shù)。對(duì)前后兩幀圖像中的點(diǎn)即可對(duì)參數(shù)進(jìn)行估計(jì),從而補(bǔ)償圖像背景的全局運(yùn)動(dòng)。
一般情況下,紅外跟瞄系統(tǒng)處于低速掃描狀態(tài),紅外序列圖像中背景的運(yùn)動(dòng)速度較緩慢,可以近似認(rèn)為背景做平移運(yùn)動(dòng)。另外,在對(duì)幀間圖像進(jìn)行匹配時(shí),只要目標(biāo)的大小小于一定范圍,則由目標(biāo)本身的運(yùn)動(dòng)導(dǎo)致的對(duì)匹配結(jié)果的影響亦可忽略。基于上述前提,本文提出了一種快速特征點(diǎn)匹配方法進(jìn)行運(yùn)動(dòng)估計(jì)。
FAST(Feature from Accelerated Segment Test)特征點(diǎn)檢測(cè)是公認(rèn)的比較快速的特征點(diǎn)檢測(cè)方法,只利用周圍像素比較的信息就可以得到特征點(diǎn),簡(jiǎn)單且有效。FAST特征檢測(cè)算法的基本原理為:假設(shè)候選點(diǎn)為p,N表示以p點(diǎn)為中心半徑為r的圓周上,與p點(diǎn)灰度值差別足夠大的點(diǎn)所組成的最長(zhǎng)連續(xù)圓弧的像素個(gè)數(shù),如果N大于某閾值n,則認(rèn)為該候選點(diǎn)p為一個(gè)特征點(diǎn)。FAST算法示意圖如圖1所示。
圖1 FAST算法示意圖Fig.1 schematic diagram of FAST
FAST算法的性能很大程度上決定于門限n的取值,文獻(xiàn)[7]表明,n=9時(shí)FAST算法提取特征點(diǎn)的效果是最好的,稱之為FAST9,故本文采用FAST9提取特征點(diǎn)。
由于煙幕干擾會(huì)極大影響紅外圖像的成像質(zhì)量,降低目標(biāo)對(duì)比度甚至對(duì)目標(biāo)形成遮擋,而且紅外圖像本身對(duì)比度較低,在自然環(huán)境下大面積區(qū)域灰度變化緩慢且分布相近,因而傳統(tǒng)的特征點(diǎn)描述方法不能很好的兼顧匹配精度和速度方面的性能。文獻(xiàn)[8]中提出了一種快速的二進(jìn)制特征提取方法BRIEF(Binary Robust Independent Elementary Features),該算法充分利用了圖像的灰度分布特性,且不依賴于統(tǒng)計(jì)特性,因而可以很好地區(qū)分灰度分布相近的特征點(diǎn)。該算法流程如下:
1)對(duì)圖像做平滑處理,降低圖像噪聲的影響;
2)定義τ測(cè)試,公式如下:
其中,x,y是兩個(gè)像素位置;
3)在特征點(diǎn)周圍S×S的像素區(qū)域內(nèi)提取BRIEF特征,即在該區(qū)域內(nèi)選擇若干個(gè)特定的[x,y]對(duì),并進(jìn)行τ測(cè)試,將所有測(cè)試結(jié)果構(gòu)造出一個(gè)二進(jìn)制串。
由于紅外圖像易受噪聲干擾,基于像素位置的BRIEF特征抗噪性能較差。為此,本文采用改進(jìn)的BRIEF特征,采用隨機(jī)矩形框?qū)Υ纥c(diǎn)對(duì),進(jìn)行τ測(cè)試時(shí)以隨機(jī)矩形框內(nèi)的像素均值代替像素值,采用相同的矩形框選取規(guī)則對(duì)兩幅圖像的特征點(diǎn)進(jìn)行描述。其中,隨機(jī)矩形框大小為2-4像素,且服從高斯分布(文獻(xiàn)[8]中的實(shí)驗(yàn)表明,該分布具有最佳性能)。
采用Hamming距離對(duì)特征點(diǎn)進(jìn)行匹配。為了進(jìn)一步提高匹配速度,考慮到背景運(yùn)動(dòng)為整體運(yùn)動(dòng),在匹配時(shí)需滿足以下條件:
1)對(duì)于某個(gè)特征點(diǎn),其對(duì)應(yīng)的匹配點(diǎn)位于該特征點(diǎn)的某個(gè)鄰域內(nèi);
2)特征點(diǎn)的運(yùn)動(dòng)具有很強(qiáng)的相關(guān)性,已匹配的點(diǎn)能為待匹配點(diǎn)提供參考。
通過(guò)對(duì)特征點(diǎn)進(jìn)行提取和匹配,可以得到一系列匹配的特征點(diǎn)對(duì),但不足以代表整幅圖像背景的運(yùn)動(dòng),需要在獲取匹配點(diǎn)的基礎(chǔ)上利用六參數(shù)仿射模型估計(jì)全局運(yùn)動(dòng)參數(shù)。
RANSAC算法[9]是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集,計(jì)算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù),得到有效樣本數(shù)據(jù)的算法。其進(jìn)行運(yùn)動(dòng)參數(shù)估計(jì)的基本思想可描述如下:
1)隨機(jī)選取n=3(n為求解模型參數(shù)所需的最小樣本數(shù))對(duì)特征點(diǎn),求解出一組運(yùn)動(dòng)參數(shù),作為初始參數(shù);
2)求出樣本集中在一定誤差范圍內(nèi)滿足運(yùn)動(dòng)參數(shù)的數(shù)據(jù)點(diǎn)集S,構(gòu)成該參數(shù)的一致集;
3)若S中的數(shù)據(jù)點(diǎn)個(gè)數(shù)大于閾值N,予以記錄并重新隨機(jī)選取特征點(diǎn),重復(fù)以上過(guò)程;
4)在完成一定的抽樣次數(shù)后,選擇最大一致集計(jì)算運(yùn)動(dòng)參數(shù)。
估計(jì)出基準(zhǔn)幀與下一幀圖像間的背景全局運(yùn)動(dòng)參數(shù)后,即可計(jì)算出基準(zhǔn)幀圖像中的每一點(diǎn)(x,y),在下一幀圖像上的對(duì)應(yīng)坐標(biāo) (x',y')。為解決對(duì)應(yīng)坐標(biāo)可能出現(xiàn)小數(shù)的情況,采用后向映射的方法,將(x',y')映射到基準(zhǔn)幀圖像中,若對(duì)應(yīng)點(diǎn)坐標(biāo)包含小數(shù),位于四個(gè)像素位置之間,則采用四個(gè)像素的均值代替。對(duì)完成運(yùn)動(dòng)補(bǔ)償?shù)膬煞鶊D像,即可利用幀間差分法進(jìn)行目標(biāo)檢測(cè),采用自適應(yīng)閾值分割算法求出目標(biāo)位置。
本文中實(shí)驗(yàn)均在雙核2.2 GHz主頻,2GB內(nèi)存的計(jì)算機(jī)上利用vs2010和openCV實(shí)現(xiàn),實(shí)驗(yàn)素材為分辨率為320×240的中波紅外熱像儀拍攝的煙幕干擾環(huán)境下包含運(yùn)動(dòng)坦克目標(biāo)的紅外運(yùn)動(dòng)場(chǎng)景圖像,如圖2和圖3所示,其中圓圈標(biāo)注位置為坦克目標(biāo)位置。圖4~圖6分別為采用經(jīng)典的點(diǎn)匹配算法如SIFT特征匹配算法、SURF特征匹配算法以及本文所提算法進(jìn)行場(chǎng)景匹配得到的結(jié)果,圖7為未經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償直接采用幀間差分法得到的目標(biāo)檢測(cè)結(jié)果,圖8為采用本文算法進(jìn)行運(yùn)動(dòng)補(bǔ)償后得到目標(biāo)檢測(cè)結(jié)果。
圖2 第1幀紅外圖像Fig.2 the first infrared image
圖3 第2幀紅外圖像Fig.3 the second infrared image
圖4 SIFT算法匹配結(jié)果Fig.4 Matching result of SIFT algorithm
圖5 SURF算法匹配結(jié)果Fig.5 Matching result of SURF algorithm
圖6 本文算法匹配結(jié)果Fig.6 Matching result of our method
圖7 運(yùn)動(dòng)補(bǔ)償前目標(biāo)檢測(cè)結(jié)果Fig.7 target detection before motion compensation
圖8 運(yùn)動(dòng)補(bǔ)償前后目標(biāo)檢測(cè)結(jié)果Fig.8 target detection after motion compensation
各種匹配算法的性能比較如表1所示。通過(guò)表1可以直觀地看出,采用本文算法可以得到更多的特征點(diǎn)個(gè)數(shù),且匹配時(shí)間較其他兩種經(jīng)典的算法大大減少。由于沒(méi)有考慮尺度、旋轉(zhuǎn)等因素,本文算法的正確匹配率較低,但這一缺點(diǎn)可以通過(guò)隨機(jī)一致性算法進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)予以彌補(bǔ),從而在保證目標(biāo)檢測(cè)精度的同時(shí)極大的提高目標(biāo)檢測(cè)速度,且對(duì)煙幕干擾具有較強(qiáng)的魯棒性。
表1 各種算法匹配性能比較Tab.1 Comparison of different algorithms
本文針對(duì)煙幕干擾條件下紅外運(yùn)動(dòng)目標(biāo)檢測(cè)的難題,提出了一種改進(jìn)的運(yùn)動(dòng)補(bǔ)償方法。采用FAST特征點(diǎn)提取算法快速提取特征點(diǎn),并改進(jìn)了BRIEF特征使其更加適用于煙幕干擾下的紅外運(yùn)動(dòng)場(chǎng)景的匹配。實(shí)驗(yàn)結(jié)果表明,該算法對(duì)煙幕干擾具有較強(qiáng)的魯棒性,且能夠滿足紅外跟瞄系統(tǒng)運(yùn)動(dòng)時(shí)運(yùn)動(dòng)目標(biāo)快速檢測(cè)需求。
[1] Li Jian,Lan Jinhui.A novel fast moving target detection method[J].Journal of Central South University:Science and Technology,2013,44(3):978 -984.(in Chinese)李建,藍(lán)金輝.一種新型快速運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].中南大學(xué)學(xué)報(bào):自然科學(xué)版,2013,44(3):978-984.
[2] Lu Shan.Research on Techniques of Detection and Discrimination of IR Object[D].Changchun:Changchun U-niversity of Science and Technology,2009.(in Chinese)盧珊.紅外目標(biāo)檢測(cè)識(shí)別技術(shù)研究[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2009.
[3] Chen Wenhui,Zhang Jing.A method based on background subtraction and frame difference algorithm for moving target detection[J].Electronic Design Engineering,2013,21(3):24 -26.(in Chinese)陳文會(huì),張晶.一種基于背景減法和幀差的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].電子設(shè)計(jì)工程,2013,21(3):24 -26.
[4] Zhang Qiujia,Wang Hong.Moving object detection optical flow vectors compensation model[J].Laser & Infrared,2011,41(11):1263 -1266.(in Chinese)張秋佳,王虹.光流向量補(bǔ)償模型的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].激光與紅外,2011,41(11):1263 -1266.
[5] Zhang Afei,Shen Haibin.Difference based search algorithm for fast block - matching motion estimation[J].Computer Engineering and Applications,2013,49(6):127 -130.(in Chinese)張阿飛,沈海斌.基于差分的塊匹配運(yùn)動(dòng)估計(jì)算法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(6):127 -130.
[6] Xiao Yuwei.Researching on Algorithms of Motion Detecting and Tracking In Moving Background[D].Shanghai:Donghua University,2011.(in Chinese)肖宇嵬.運(yùn)動(dòng)場(chǎng)景中的目標(biāo)檢測(cè)與跟蹤算法的研究[D].上海:東華大學(xué),2011.
[7] Yen -Kuang Chen,Tian X,Steven Ge.Towards efficient multi-level threading of H.264 encoder on Intel hyperthreading architectures[C]//Proc.of International Parallel and Distributed Processing Symposium:IEEE Press,2004.
[8] Michael Calonder,Vincent Lepetit.BRIEF:binary robust independent elementary features[C].11th European Conference on Computer Vision:Springer Berlin Heidelberg,2010.
[9] Gui Yang,Li Lichun.A new method of sea - sky - line detection based on region variance and RANSAC Algorithm[J].Laser& Infrared,2008,38(11):1149 - 1151.(in Chinese)桂陽(yáng),李立春.基于區(qū)域方差和RANSAC的海天線檢測(cè)新方法[J].激光與紅外,2008,38(11):1149 -1151.