秦曉燕,王曉芳,陳萍,儲(chǔ)德軍,王海濤
(陸軍軍官學(xué)院 指揮自動(dòng)化與仿真系,安徽 合肥230031)
炮彈炸點(diǎn)檢測(cè)可用于射擊校射、毀傷效果評(píng)估和反火力打擊中敵方火力位置估計(jì)等方面。目前炮彈炸點(diǎn)定位方法是操作手利用激光儀進(jìn)行觀測(cè)測(cè)量,該方法存在人為目視誤差,且實(shí)時(shí)性較差?,F(xiàn)代化戰(zhàn)爭(zhēng)的特點(diǎn)對(duì)炸點(diǎn)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性提出了較高要求,因此利用圖像信息快速、精確地檢測(cè)炮彈炸點(diǎn)具有重要意義。
基于圖像的目標(biāo)檢測(cè)有單幀圖像的目標(biāo)檢測(cè)和運(yùn)動(dòng)目標(biāo)檢測(cè)。其中對(duì)單幀圖像的目標(biāo)檢測(cè)方法主要是統(tǒng)計(jì)識(shí)別方法,而匹配技術(shù)是統(tǒng)計(jì)識(shí)別方法中非常重要的一種,常用的匹配算法有基于模板匹配和基于特征內(nèi)容的匹配算法。模板匹配算法的思想就是使用已知的模板去檢測(cè)未知的目標(biāo),因此利用模板匹配算法檢測(cè)目標(biāo),必須有先驗(yàn)知識(shí)[1]。運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有相鄰幀差法、背景減法、光流法和塊匹配法等。相鄰幀差法[2]通過相鄰的兩幀做減法來得到運(yùn)動(dòng)目標(biāo)的區(qū)域,算法簡(jiǎn)單快速,實(shí)時(shí)性好,對(duì)動(dòng)態(tài)環(huán)境有較強(qiáng)自適應(yīng)性,但總體來說該方法不能完全提取所有相關(guān)的特征像素點(diǎn),分割出的目標(biāo)不完整,在運(yùn)動(dòng)目標(biāo)內(nèi)部易產(chǎn)生空洞現(xiàn)象,不利于進(jìn)一步的目標(biāo)分析與識(shí)別。背景減法[3]利用當(dāng)前幀圖像與背景圖像比較得出運(yùn)動(dòng)目標(biāo),在背景穩(wěn)定的情況下,這種方法能夠提供最完全的特征數(shù)據(jù)并能完整地檢測(cè)出前景運(yùn)動(dòng)目標(biāo),但是背景減法對(duì)由于光照引起的動(dòng)態(tài)場(chǎng)景變化非常敏感。以上兩種方法主要用于攝像頭靜止情況下,在非穩(wěn)平臺(tái)連續(xù)幀圖像背景跳動(dòng)大的限制下無法應(yīng)用。光流法[4]適合做精確分析,可獲得目標(biāo)的運(yùn)動(dòng)參數(shù),適合做多目標(biāo)的運(yùn)動(dòng)分析,可解決傳統(tǒng)的基于特征的運(yùn)動(dòng)目標(biāo)檢測(cè)難以解決的遮擋、重疊等問題,缺點(diǎn)是運(yùn)算量大,難以滿足實(shí)時(shí)性要求,同時(shí)由于采用假設(shè)的局限性使得光流法對(duì)噪聲、多光源特別敏感,再加上陰影、透明性等原因,易產(chǎn)生錯(cuò)誤結(jié)果。塊匹配法[5]計(jì)算簡(jiǎn)單、耗時(shí)少且硬件復(fù)雜度較低,對(duì)于實(shí)時(shí)運(yùn)動(dòng)處理來說是一種最為有效的方法,缺點(diǎn)是依賴于運(yùn)動(dòng)模型和匹配算法的選取,精度不高。光流法和塊匹配法雖然可以使用在非穩(wěn)平臺(tái)條件下,但由于分別在計(jì)算量和檢測(cè)精度方面的欠缺,因此也無法滿足炸點(diǎn)類目標(biāo)檢測(cè)實(shí)時(shí)性、精確性的要求。
Adaboost 算法[6]是一種分類器算法,實(shí)用價(jià)值高,是目前研究的熱點(diǎn)[7-8]。該算法已經(jīng)成功運(yùn)用在多種目標(biāo)的檢測(cè)中,如機(jī)動(dòng)車輛、軍事目標(biāo)等,這類目標(biāo)的特征值相對(duì)穩(wěn)定,受外界環(huán)境的影響較小。而本文研究對(duì)象(炮彈炸點(diǎn))的特征具有多樣性和不確定性,炸點(diǎn)的特征會(huì)受戰(zhàn)場(chǎng)環(huán)境的變化而變化,如爆炸區(qū)域土質(zhì)、戰(zhàn)場(chǎng)的天氣、風(fēng)力等都會(huì)對(duì)炸點(diǎn)的形狀產(chǎn)生很大的影響,這也是基于Adaboost 算法進(jìn)行炸點(diǎn)類目標(biāo)檢測(cè)的一個(gè)難題。
利用基于Adaboost 的實(shí)時(shí)人臉檢測(cè)算法,并提取邊緣、線性和對(duì)角三類基本的Haar 特征[9],對(duì)炸點(diǎn)類目標(biāo)進(jìn)行了訓(xùn)練和檢測(cè),結(jié)果發(fā)現(xiàn)檢測(cè)效果不佳,尤其是誤檢率較高。針對(duì)以上問題,本文在以下2 個(gè)方面進(jìn)行了改進(jìn):
1)在選取樣本時(shí),只選取炮彈爆炸一瞬間的幾幀作為正樣本,因?yàn)榇藭r(shí)的炸點(diǎn)圖像受戰(zhàn)場(chǎng)環(huán)境的干擾較小,炸點(diǎn)圖像基本呈現(xiàn)扇形發(fā)散狀,其特征較為一致,另外爆炸瞬間的炸點(diǎn)圖像能正確反映炸點(diǎn)位置。而在炮彈爆炸一段時(shí)間后,炸點(diǎn)圖像會(huì)發(fā)生很大變化,如擴(kuò)散或隨風(fēng)向漂移等,此時(shí)的炸點(diǎn)圖像和炸點(diǎn)位置會(huì)有一定的偏差。圖1為相同炮彈炸點(diǎn)爆炸瞬間的圖像和爆炸一段時(shí)間后的圖像,對(duì)兩幅圖的比較不難看出圖1(b)圖中的炸點(diǎn)圖像已經(jīng)相對(duì)炸點(diǎn)位置發(fā)生了偏移,不適合用作正樣本。
圖1 炸點(diǎn)圖像和炸點(diǎn)位置Fig.1 Blast point image and location
2)針對(duì)炸點(diǎn)特征,增加了旋轉(zhuǎn)類Haar 特征,特別是傾角為45°圓心環(huán)繞類Haar 特征,并給出該特征的計(jì)算方法。
經(jīng)實(shí)驗(yàn)驗(yàn)證,該算法對(duì)背景較為簡(jiǎn)單的炸點(diǎn)類目標(biāo)的檢測(cè)率較高,達(dá)到了92.8%,同時(shí)減小了誤檢率。雖然由于增加了圓心環(huán)繞類特征,檢測(cè)時(shí)間有所增加,但仍能滿足炸點(diǎn)實(shí)時(shí)檢測(cè)的要求。
本文采用的Adaboost 算法是經(jīng)過文獻(xiàn)[9-10]變形之后的算法,該算法由訓(xùn)練和檢測(cè)兩個(gè)模塊組成,檢測(cè)流程如圖2所示。
圖2 炸點(diǎn)檢測(cè)算法流程圖Fig.2 Flowchart of blast point detection algorithm
訓(xùn)練過程是對(duì)給定的一組正負(fù)樣本,利用積分圖的方法快速計(jì)算大量簡(jiǎn)單的Haar 特征,訓(xùn)練出這些特征各自的分類器,從中選擇一些分類能力較強(qiáng)的特征,通過Cascade 級(jí)聯(lián)算法將這些單獨(dú)特征的分類器組合成一個(gè)更加復(fù)雜,分類能力更強(qiáng)的強(qiáng)分類器。算法的關(guān)鍵是當(dāng)分類器正確分類時(shí),減少樣本的權(quán)值,當(dāng)錯(cuò)誤分類時(shí),增加樣本的權(quán)值,讓學(xué)習(xí)算法能夠在后面的學(xué)習(xí)中對(duì)比較困難的樣本進(jìn)行訓(xùn)練,得到一個(gè)檢測(cè)率較高的強(qiáng)分類器。
檢測(cè)過程是從待檢測(cè)圖像中提取被檢測(cè)子窗口,利用訓(xùn)練得到的級(jí)聯(lián)分類器對(duì)每個(gè)檢測(cè)子窗口進(jìn)行檢測(cè),畫出圖像中的目標(biāo)位置和范圍。目標(biāo)檢測(cè)一般采用2 種方法:1)金字塔法,將圖像按比例逐層縮小而檢測(cè)窗口大小保持不變,用檢測(cè)窗口掃描整個(gè)圖像,從而檢測(cè)出目標(biāo)子窗口,這種檢測(cè)方法簡(jiǎn)單,但比較耗時(shí);2)對(duì)特征進(jìn)行放大的方法,即采用放大檢測(cè)窗口的方法獲得圖像的待檢測(cè)子窗口,沒有對(duì)圖像進(jìn)行縮放,在檢測(cè)時(shí)等比例放大檢測(cè)窗口,用放大后的檢測(cè)窗口掃描整個(gè)圖像,將這些檢測(cè)窗口輸入分類器,檢測(cè)出目標(biāo)。
在Adaboos 算法[9-10]中,弱分類器與特征是一一對(duì)應(yīng)的關(guān)系,選弱分類器的過程,其實(shí)就是選一個(gè)特征的過程。由于各種目標(biāo)特征的差異性,因此在選取特征時(shí),要充分考慮和分析研究對(duì)象的特征,為提高分類器的檢測(cè)效率,針對(duì)炮彈炸點(diǎn)類目標(biāo)的圖像特征,除了選取了基本的類Haar 特征外還擴(kuò)充了旋轉(zhuǎn)Haar 特征。
Haar 特征是基于灰度圖像的,有邊緣特征、線性特征、中心特征和對(duì)角線特征,組合成特征模板。特征模板內(nèi)有白色和黑色兩種矩形,并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和。利用Haar 特征檢測(cè)像人臉這種有明顯的、穩(wěn)定結(jié)構(gòu)的Haar 特征的物體最適用,因?yàn)橹灰Y(jié)構(gòu)相對(duì)固定,即使發(fā)生扭曲等非線性形變依然可檢測(cè)。對(duì)大量炮彈炸點(diǎn)樣本圖像分析發(fā)現(xiàn),炮彈炸點(diǎn)區(qū)域灰度均勻,且與背景之間有著明顯的灰度差異,邊緣較為清晰??梢岳闷叫?、垂直和對(duì)角方向上不同區(qū)域灰度差異作為特征。本文選取了4 類基本的類Haar特征(圖3(a))和4 類旋轉(zhuǎn)類Haar 特征(圖3(b))。
另外由于炮彈炸點(diǎn)在爆炸瞬間基本呈現(xiàn)扇形發(fā)散形狀,因此本文擴(kuò)充了旋轉(zhuǎn)的中心環(huán)繞類Haar特征,如圖4所示。為了方便計(jì)算該Haar 特征,選擇旋轉(zhuǎn)角度為45°,即黑色矩形的下方2 條直角邊與x 方向的夾角分別成45°和135°.
圖3 類Haar 特征Fig.3 Haar-like features
圖4 炸點(diǎn)圖像和擴(kuò)展的特征Fig.4 Blast point image and expanded feature
每張待檢測(cè)圖像以及所有訓(xùn)練樣本圖像都可以計(jì)算對(duì)應(yīng)的積分圖,積分圖主要思想是將圖像從起點(diǎn)開始到各個(gè)點(diǎn)所形成區(qū)域像素之和作為一個(gè)數(shù)組的元素保存在內(nèi)存中,當(dāng)要計(jì)算某個(gè)區(qū)域的像素和時(shí)可以直接索引數(shù)組的元素,不用重新計(jì)算這個(gè)區(qū)域的像素和,從而加快了計(jì)算。針對(duì)炸點(diǎn)檢測(cè)所選取的特征,需要計(jì)算兩類積分圖像:傾角為0°的積分圖[9]和傾角為45°的積分圖[11]。
對(duì)于給定的一個(gè)矩形窗口r(x1,y1,x2,y2),其矩形區(qū)域的像素之和為
傾角為45°的積分圖Tsum(x,y)的定義,如圖5所示,點(diǎn)(x,y)處的積分圖是指該點(diǎn)正上方所有像素之和,即從點(diǎn)(x,y)開始,統(tǒng)計(jì)與x 方向成45°和135°的兩條射線內(nèi)的區(qū)域與原圖像區(qū)域的交集中的所有像素之和。圖5中點(diǎn)1、2、3、4 的坐標(biāo)分別為:(x-1,y-1),(x,y-1),(x+1,y-1)和(x,y-2).在實(shí)際計(jì)算傾角為45°的積分圖時(shí)可以使用增量方式完成。
式中:f(x,y)和f(x,y-1)分別表示點(diǎn)(x,y)和點(diǎn)(x,y-1)的像素值。
計(jì)算一個(gè)旋轉(zhuǎn)角度為45°的矩形區(qū)域D(如圖6所示)的像素和利用(4)式即可。
圖5 傾角45°的積分圖Fig.5 45°integral image
圖6 區(qū)域D 像素和Fig.6 Pixel sum of area D
圖7給出的擴(kuò)展特征RF 的計(jì)算,RF 為圖中白色區(qū)域Pw的像素和與黑色區(qū)域Pb的像素和之差,記矩形(x1,y1,x2,y2)的像素之和為P.因?yàn)镻w= PPb,所以有:
由于該類Haar 特征中包含兩類矩形,即傾角為0°和傾角為45°的矩形,因此在計(jì)算該特征值時(shí)需要利用上面介紹的兩類積分圖。根據(jù)(2)式和(4)式可分別計(jì)算出P 和Pb:
將P 和Pb帶入(5)式即可得到
在Windows XP 操作系統(tǒng)下,以Visual C + +6.0和OpenCV1.0 為開發(fā)工具實(shí)現(xiàn)了基于Adaboost 算法的炸點(diǎn)檢測(cè),在主頻為2.8 GHz Pentium Dual-Core CPU,內(nèi)存為1.87 GB 的臺(tái)式機(jī)上調(diào)試通過,訓(xùn)練過程耗時(shí)約3 h.另在相同的實(shí)驗(yàn)環(huán)境下,提取實(shí)時(shí)人臉檢測(cè)中的3 類Haar 特征對(duì)炸點(diǎn)樣本進(jìn)行訓(xùn)練,并分別利用訓(xùn)練得到2 個(gè)強(qiáng)分類器對(duì)真實(shí)的炮彈炸點(diǎn)圖像進(jìn)行檢測(cè)。
炸點(diǎn)檢測(cè)分為樣本訓(xùn)練模塊和檢測(cè)模塊2 部分[7-8]。在訓(xùn)練之前需要準(zhǔn)備正負(fù)樣本集,正樣本是從采集到的炸點(diǎn)圖像中獲取,該系統(tǒng)中所用的正樣本是24 ×24 的位圖,如圖8所示,負(fù)樣本是指不包含炸點(diǎn)的圖像,要求正負(fù)樣本圖像大小一致。為了提高檢測(cè)系統(tǒng)的通用性,正樣本來源于不同地域的實(shí)戰(zhàn)演習(xí)中炮彈爆炸的視頻序列。實(shí)驗(yàn)使用的訓(xùn)練集包括690 個(gè)正樣本和500 個(gè)負(fù)樣本進(jìn)行訓(xùn)練,訓(xùn)練模塊是在OpenCV 自帶的訓(xùn)練器的基礎(chǔ)上實(shí)現(xiàn),分別訓(xùn)練了兩個(gè)強(qiáng)分類器:一個(gè)是提取三類基本Haar 特征對(duì)樣本進(jìn)行訓(xùn)練得到的分類器;另一個(gè)是提取包含本文提出的旋轉(zhuǎn)45°類Haar 特征在內(nèi)的9類特征進(jìn)行訓(xùn)練得到的分類器。設(shè)置訓(xùn)練階段數(shù)為13,并在訓(xùn)練時(shí)給出檢測(cè)率和誤檢率的要求,設(shè)置每個(gè)階段分類器需要的最小的命中率為0.99,總的錯(cuò)誤警告率0.4.按照這個(gè)設(shè)置得到的強(qiáng)分類器個(gè)數(shù)為13 個(gè)。本文使用的檢測(cè)方法是對(duì)特征進(jìn)行放大的方法,檢測(cè)窗口基本大小為24 ×24,比例系數(shù)為1.2,步長(zhǎng)設(shè)置為4.
圖8 樣本庫中部分正樣本Fig.8 Part of positive samples used for training
分別利用訓(xùn)練得到的兩個(gè)炸點(diǎn)目標(biāo)分類器對(duì)220 張分辨率為352 ×288 單發(fā)炮彈爆炸的圖像進(jìn)行了檢測(cè),并在檢測(cè)的準(zhǔn)確率、誤檢率及單幀檢測(cè)時(shí)間方面進(jìn)行了比較,如表1所示,其中單幀檢測(cè)時(shí)間取220 副圖像的平均檢測(cè)時(shí)間。通過實(shí)驗(yàn)結(jié)果分析發(fā)現(xiàn)利用兩個(gè)分類器正確檢測(cè)到的目標(biāo)個(gè)數(shù)相差不大,但文獻(xiàn)[9]算法的誤檢率約為本文算法的4 倍,單幀檢測(cè)時(shí)間上,本文算法比文獻(xiàn)[9]的算法要稍長(zhǎng)。
針對(duì)炸點(diǎn)目標(biāo)在爆炸瞬間圖像呈現(xiàn)扇形發(fā)散形狀的特征,本文算法在三類基本的Haar 的基礎(chǔ)上又?jǐn)U充了旋轉(zhuǎn)類Haar 特征,特別是傾角為45°圓心環(huán)繞類Haar 特征,經(jīng)過訓(xùn)練得到的強(qiáng)分類器提高了炸點(diǎn)目標(biāo)的檢測(cè)效率。特征模板的擴(kuò)充會(huì)增加檢測(cè)時(shí)間,原因在于掃描每個(gè)子窗口時(shí),需要計(jì)算的特征值增多,這也是本文算法比文獻(xiàn)[9]算法檢測(cè)時(shí)間要長(zhǎng)的原因。不過每單幀40 ms 的檢測(cè)時(shí)間足以滿足炸點(diǎn)檢測(cè)的實(shí)時(shí)性要求。實(shí)驗(yàn)表明:擴(kuò)充旋轉(zhuǎn)類Haar 特征后,基于Adaboost 炸點(diǎn)檢測(cè)算法有更優(yōu)越的檢測(cè)性能。
本文給出的炮彈炸點(diǎn)類目標(biāo)檢測(cè)算法的檢測(cè)率有明顯提高,特別是檢測(cè)背景較簡(jiǎn)單的炮彈炸點(diǎn)圖像,如圖9所示,效果較好。但實(shí)際采集的戰(zhàn)場(chǎng)圖片很多是比較復(fù)雜的,如有大量煙塵干擾,有些背景區(qū)域和炸點(diǎn)區(qū)域的特征比較接近等問題。對(duì)于這一類圖像的檢測(cè)誤檢率較高,檢測(cè)效果很不理想。因此下一步研究的重點(diǎn)在于如何提高復(fù)雜背景下炸點(diǎn)目標(biāo)的檢測(cè)效率。
表1 兩種算法的檢測(cè)結(jié)果Tab.1 Detection results of two algorithms
圖9 檢測(cè)結(jié)果Fig.9 Detection results
References)
[1] 王海霞.基于不變矩的目標(biāo)識(shí)別算法研究[D].長(zhǎng)春:中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,2004:11-15.WANG Hai-xia.Object recognition algorithm research based on invariant moments[D].Changchun:Changchun Institute of Optics and Fine Mechanics and Physics,Chinese Academy of Sciences,2004:11-15.(in Chinese)
[2] Lipton A J,F(xiàn)ujiyoshi H,Patil R S.Moving target classification and tracking from real-time video[C]∥Proc IEEE Workshop Applications of Computer Vision.Princeton,NJ:IEEE,1998:8-14.
[3] 成喜春,全燕鳴.基于HSI 模型的彩色圖像背景減法[J].計(jì)算機(jī)應(yīng)用,2009,29(增刊1):231-232.CHENG Xi-chun,QUAN Yan-ming.Color image background difference based on HSI model[J].Journal of Computer Applications,2009,29(S1):231-232.(in Chinese)
[4] Ohta N.Uncertainty models of the gradient constraint for optical flow computation[J].IEICE Transactions on Information and Systems(D),1996,E79-D(7):958-964.
[5] Zhu C,Qi W S,Ser W.Predictive fine granularity successive elimination for fast optimal block-matching motion estimation[J].IEEE Trans on Image Processing,2005,2(14):213-221.
[6] Freund Y,Schapire R E.A decision-theoretic generalization of on-line learning and an application to boosting[J].Journal of Computer and System Sciences,1997,55(1):119-139.
[7] Grabner H,Nguyen T T.On-line boosting-based car detection from aerial images[J].ISPRS Journal of Photogrammetry & Remote Sensing,2008,63(3):382-396.
[8] 李文波,王立研.一種基于Adaboost 算法的車輛檢測(cè)方法[J].長(zhǎng)春理工大學(xué)學(xué)報(bào):自然科學(xué)版,2009,32(2):292-295.LI Wen-bo,WANG Li-yan.An approach of vehicle detection based on Adaboost algorithm[J].Journal of Changchun University of Science and Technology:Natural Science Edition,2009,32(2):292-295.(in Chinese)
[9] Viola P,Michael Jones.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):37-154.[10] Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Kauai,Hawaii:IEEE,2001:511-518 .
[11] Lienhart R,Maydt J.An extended set of haar-like features for rapid object detection[C]∥Proceedings of International Conference on Image Processing.New York:IEEE,2002:900-903.