王 倩,李志國(guó),王 華,顧 鑫,費(fèi)智婷

(中國(guó)運(yùn)載火箭技術(shù)研究院研究發(fā)展中心,北京 100076)

·光電技術(shù)與系統(tǒng)·

基于VPX架構(gòu)的目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)

王 倩,李志國(guó),王 華,顧 鑫,費(fèi)智婷

(中國(guó)運(yùn)載火箭技術(shù)研究院研究發(fā)展中心,北京 100076)

設(shè)計(jì)了一種目標(biāo)跟蹤系統(tǒng),該系統(tǒng)利用立體沙盤(pán)模擬復(fù)雜地面環(huán)境,通過(guò)紅外和可見(jiàn)光傳感器采集圖像數(shù)據(jù),利用紅外圖像傳感器來(lái)檢測(cè)目標(biāo),在檢測(cè)到目標(biāo)的基礎(chǔ)上,利用可見(jiàn)光傳感器來(lái)跟蹤目標(biāo)。目標(biāo)跟蹤采用粒子濾波算法實(shí)現(xiàn),為了實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤,結(jié)合紅外傳感器的檢測(cè)結(jié)果和可見(jiàn)光圖像的跟蹤結(jié)果對(duì)目標(biāo)模板的更新。該圖像處理算法在以VPX為設(shè)計(jì)架構(gòu)、FPGA+DSP為核心的高速嵌入式圖像處理平臺(tái)實(shí)現(xiàn),最終生成目標(biāo)坐標(biāo)偏差來(lái)控制伺服云臺(tái)的轉(zhuǎn)動(dòng),使其保持在視場(chǎng)的中心,并輸出目標(biāo)跟蹤圖像,實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。

目標(biāo)跟蹤;紅外/可見(jiàn)光成像;圖像處理;VPX架構(gòu)

1 引 言

在復(fù)雜多變的現(xiàn)代化電子戰(zhàn)爭(zhēng)中,地面運(yùn)動(dòng)目標(biāo)跟蹤在實(shí)戰(zhàn)中具有至關(guān)重要的作用?，F(xiàn)代作戰(zhàn)要求對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行快速、準(zhǔn)確地搜索、跟蹤,以引導(dǎo)武器對(duì)目標(biāo)實(shí)施攻擊,這就必須具備“高靈敏、多功能、自適應(yīng)”的目標(biāo)跟蹤系統(tǒng)。另一方面,伴隨著電子技術(shù)特別是數(shù)字信號(hào)處理技術(shù)、超大規(guī)模集成數(shù)字電路技術(shù)、計(jì)算機(jī)技術(shù)和通信技術(shù)的高速發(fā)展,使得原來(lái)很多受到硬件條件限制的復(fù)雜處理算法可以完成工程實(shí)現(xiàn)。

本系統(tǒng)利用立體沙盤(pán)模擬復(fù)雜地面環(huán)境,采用可見(jiàn)光/紅外雙模成像體制作為信息源,以基于VPX架構(gòu)的一體化設(shè)備為信息處理平臺(tái),構(gòu)建基于FPGA+DSP的目標(biāo)指示軟件運(yùn)行載體,結(jié)合目標(biāo)識(shí)別、定位技術(shù),完成復(fù)雜背景下的目標(biāo)檢測(cè)、識(shí)別、定位的跟蹤系統(tǒng)。

2 動(dòng)目標(biāo)圖像的特點(diǎn)

由于實(shí)際環(huán)境中目標(biāo)運(yùn)動(dòng)和圖像數(shù)據(jù)的復(fù)雜性,給運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤增加了困難。目標(biāo)的運(yùn)動(dòng)軌跡、運(yùn)動(dòng)速度、目標(biāo)顏色與背景顏色的相似度,背景的穩(wěn)定程度等因素都會(huì)影響運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤的準(zhǔn)確性、穩(wěn)定性。影響目標(biāo)跟蹤系統(tǒng)性能的因素有:

(1)光線(xiàn)的變化:場(chǎng)景中亮度的變化將會(huì)導(dǎo)致背景圖像也發(fā)生變化,很難將這些變化與圖像中由于前景目標(biāo)導(dǎo)致的變化加以區(qū)分。

(2)背景的變動(dòng):若背景中的某些景物增加或移動(dòng)并且持續(xù)了一段時(shí)間,背景模型都需要及時(shí)更新。

(3)目標(biāo)的調(diào)整:前景目標(biāo)的運(yùn)動(dòng)會(huì)導(dǎo)致不同的目標(biāo)在背景中頻繁出入,因此難以分辨背景和前景目標(biāo),增加了目標(biāo)跟蹤的難度。

(4)數(shù)據(jù)量大:一幅中等分辨率的視頻圖像的數(shù)據(jù)量大約為1MB,乘以每秒鐘的播放幀數(shù),則一秒鐘的數(shù)據(jù)量約為幾十MB。

考慮到以上影響目標(biāo)跟蹤的因素,在設(shè)計(jì)目標(biāo)跟蹤系統(tǒng)時(shí),應(yīng)充分考慮該系統(tǒng)可能面臨的各種復(fù)雜環(huán)境,同時(shí)硬件架構(gòu)的設(shè)計(jì)要便于軟件算法的移植。

3 系統(tǒng)總體設(shè)計(jì)

3.1 系統(tǒng)組成

目標(biāo)跟蹤系統(tǒng)示意圖如圖1所示,主要由模擬沙盤(pán)、伺服云臺(tái)、紅外傳感器、可見(jiàn)光傳感器、一體化圖像處理平臺(tái)組成。

圖1 目標(biāo)跟蹤系統(tǒng)示意圖

沙盤(pán)用于模擬真實(shí)的地面環(huán)境,為保證地面環(huán)境的復(fù)雜性,沙盤(pán)包括河流、沙漠、草地、樓宇、樹(shù)木等靜態(tài)元素,動(dòng)目標(biāo)為按70∶1縮放的普通在軌電車(chē),可以以0.02～0.1 m/s的速度在沙盤(pán)中循環(huán)穿梭。

一體化圖像處理平臺(tái)上電工作后,通過(guò)外部接口接收紅外傳感器和可見(jiàn)光傳感器采集的圖像數(shù)據(jù),分別進(jìn)行紅外圖像的目標(biāo)檢測(cè)、可見(jiàn)光的目標(biāo)檢測(cè)和跟蹤,并提取兩類(lèi)圖像數(shù)據(jù)進(jìn)行協(xié)同跟蹤,獲得目標(biāo)坐標(biāo)偏差,根據(jù)協(xié)議生成控制指令,并將控制指令通過(guò)485接口輸出至伺服云臺(tái),云臺(tái)根據(jù)控制指令移動(dòng)并進(jìn)行角度調(diào)整,保證紅外成像器和可見(jiàn)光成像器追蹤在軌電車(chē),使其處于視場(chǎng)的中央。

3.2 一體化圖像處理平臺(tái)

一體化圖像處理平臺(tái)是該系統(tǒng)的重要組成部分,只有處理平臺(tái)具備極快的反應(yīng)速度,才能及時(shí)地識(shí)別目標(biāo)、快速精確地捕獲和跟蹤目標(biāo),實(shí)現(xiàn)有效的防御和攻擊。

本系統(tǒng)中的一體化圖像處理平臺(tái)采用了VPX架構(gòu)進(jìn)行設(shè)計(jì),平臺(tái)示意圖如圖2所示[1]。平臺(tái)機(jī)箱采用加固導(dǎo)冷結(jié)構(gòu),可適應(yīng)30 G/11 ms的沖擊環(huán)境,支持串行高速通信協(xié)議。機(jī)箱后部安裝背板,作為內(nèi)插板間的數(shù)據(jù)通路。機(jī)箱前部安裝前面板,放置了RS422、1553B、LVDS、網(wǎng)口的電連接器和工作指示燈。圖中可見(jiàn)的卡槽為內(nèi)插板的槽位,插入標(biāo)準(zhǔn)3U尺寸的電源板、主控板和兩塊圖像處理板。

圖2 一體化圖像處理平臺(tái)示意圖

a)電源板

電源板設(shè)計(jì)遵循VITA46標(biāo)準(zhǔn),通過(guò)背板的P0接插件為機(jī)箱內(nèi)的其他功能板提供工作電壓,其中5 V的功率最高可達(dá)115 W,12 V最高可達(dá)384 W,高功率允許子卡集成更多的功能,也避免了多電源帶來(lái)的電磁兼容等問(wèn)題。

b)圖像處理板

一體化圖像處理平臺(tái)中插入兩塊設(shè)計(jì)一致的圖像處理板,分別對(duì)紅外圖像和可見(jiàn)光圖像數(shù)據(jù)進(jìn)行處理。

圖像處理板接收傳感器的視頻信號(hào),并對(duì)每幀圖像進(jìn)行處理,由于圖像處理的數(shù)據(jù)量大、任務(wù)重,故以FPGA+DSP為核心搭建。選用 XILINX公司V5系列XC5VSX95T-1FF1136 FPGA和TI的DSP芯片TMS320C6678。其中FPGA完成圖像數(shù)據(jù)預(yù)處理和接口控制,DSP完成圖像檢測(cè)跟蹤算法[2]。

如圖3所示,圖像處理板包括FPGA芯片、DSP芯片、視頻編解碼器、SDRAM和FLASH等。由傳感器輸入的模擬視頻信號(hào)經(jīng)SAF7113采樣后,轉(zhuǎn)換為包含亮度和色度的YCbCr 4∶2∶2格式數(shù)據(jù),經(jīng)FPGA預(yù)處理后發(fā)送至DSP,TMS320C6678運(yùn)行圖像處理算法,處理結(jié)束后,兩路數(shù)字圖像數(shù)據(jù)通過(guò)背板的P1/P2節(jié)點(diǎn)發(fā)送至主控板。

圖3 圖像處理板電路框圖

c)主控板

主控板作為處理平臺(tái)的核心,選用PPC+FPGA作為主處理芯片,采用VxWorks操作系統(tǒng)對(duì)其他板卡的溫度、功率進(jìn)行監(jiān)管,并負(fù)責(zé)對(duì)外數(shù)據(jù)的收發(fā)以及整機(jī)工作狀態(tài)的顯示。在該系統(tǒng)中,主控板接收處理后的紅外圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù),并進(jìn)行特征融合,生成被檢測(cè)目標(biāo)的位置偏差和控制指令,將該控制指令通過(guò)前面板的485接口發(fā)往伺服云臺(tái),調(diào)整傳感器的位置和角度；同時(shí)輸出鎖定目標(biāo)的圖像信號(hào)。

d)背板

由于功能板少于5塊,因此將背板設(shè)計(jì)為物理直連型拓?fù)浣Y(jié)構(gòu)即可實(shí)現(xiàn)所有板卡的全互聯(lián),板間的通信協(xié)議為串行SRIO協(xié)議,單路數(shù)據(jù)傳輸速率為3.125 Gbps,保證了板間高速數(shù)據(jù)的可靠傳輸。

采用VPX的一體化圖像處理平臺(tái)遵循VITA46標(biāo)準(zhǔn),將傳統(tǒng)處理器設(shè)計(jì)采用的板卡疊摞式結(jié)構(gòu)改為插拔式,而其加固性能又遠(yuǎn)優(yōu)于同類(lèi)的CPCI平臺(tái),可適應(yīng)各類(lèi)飛行器嚴(yán)苛的環(huán)境指標(biāo),且支持如PCI-E、以太網(wǎng)協(xié)議等多種串行通信協(xié)議,極大地提升了系統(tǒng)的數(shù)據(jù)傳輸、處理能力,可并行、快速地完成復(fù)雜圖像處理算法。

3.2 圖像處理軟件

圖像處理軟件包括紅外目標(biāo)檢測(cè)、可見(jiàn)光目標(biāo)跟蹤和雙模協(xié)同跟蹤三個(gè)部分,其基本流程如圖4所示。

圖4 目標(biāo)檢測(cè)跟蹤算法總體流程框圖

a)紅外目標(biāo)檢測(cè)

紅外目標(biāo)檢測(cè)包括圖像分割、二值圖像連通域標(biāo)記、目標(biāo)粗檢和幀間軌跡關(guān)聯(lián)。

紅外圖像的分割以目標(biāo)區(qū)域亮度高于局部背景亮度為前提,若該像素的亮度值高于它的支持窗口平均亮度值,則該像素為前景,否則為背景像素,該分割方式性能比較穩(wěn)定,易于硬件實(shí)現(xiàn)[3]。

標(biāo)記操作需對(duì)二值圖像從左向右、從上向下進(jìn)行逐像素的掃描。檢查當(dāng)前像素與之前掃描到的若干個(gè)近鄰像素的連通性。假如當(dāng)前正被掃描像素的灰度值為1,則將它標(biāo)記為與之相連通的目標(biāo)像素,如果它與兩個(gè)或多個(gè)目標(biāo)相連通,則可以認(rèn)為這些目標(biāo)實(shí)際上是一個(gè),并把它們連接起來(lái)；如果發(fā)現(xiàn)了從為0的像素到一個(gè)孤立的為1的像素的過(guò)渡,就賦一個(gè)新的目標(biāo)標(biāo)記。

b)可見(jiàn)光目標(biāo)跟蹤

可見(jiàn)光跟蹤采用粒子濾波算法,定義貝葉斯跟蹤中目標(biāo)狀態(tài)如下[4]:

xk=fk(xk-1,εk)

(1)

其中，xk是目標(biāo)在k時(shí)刻的狀態(tài)向量,目標(biāo)的狀態(tài)遞歸估計(jì)如下:

zk=hk(xk,ek)

(2)

其中，zk是狀態(tài)xk的觀(guān)測(cè)值,假設(shè)過(guò)程噪聲εk和觀(guān)測(cè)噪聲ek獨(dú)立同分布。

(3)

采用顏色直方圖作為目標(biāo)的觀(guān)測(cè)信息,對(duì)目標(biāo)進(jìn)行跟蹤。

c)雙模協(xié)同跟蹤

可見(jiàn)光在跟蹤過(guò)程中一個(gè)重要問(wèn)題就是目標(biāo)模板htar的更新,由于遮擋、光照變化等現(xiàn)象,目標(biāo)的初始模板圖不能適應(yīng)目標(biāo)形狀及環(huán)境的變化,為了應(yīng)對(duì)這一問(wèn)題,該系統(tǒng)每隔20幀將可見(jiàn)光跟蹤的結(jié)果與紅外傳感器檢測(cè)的結(jié)果進(jìn)行比對(duì),如果兩者的位置信息相差小于3個(gè)像素,則認(rèn)為此時(shí)對(duì)目標(biāo)的跟蹤是穩(wěn)定,此時(shí)將目標(biāo)的模板圖更新如下[5]:

因此對(duì)目標(biāo)的模板直方圖htar更新如下:

(4)

其中，β是更新率；η是閾值；dis是可見(jiàn)光跟蹤結(jié)果與紅外檢測(cè)結(jié)果之間的距離,上式可以有效地避免模板的錯(cuò)誤更新,大量實(shí)驗(yàn)驗(yàn)證表明：β=0.2且η=3是較好的選擇。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證系統(tǒng)功能,對(duì)該系統(tǒng)進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)沙盤(pán)高度約20cm；云臺(tái)對(duì)地高度2.5m；可見(jiàn)光傳感器分辨率768×576,紅外傳感器的工作波段為8～14μm,云臺(tái)調(diào)整角度為俯仰面0°～90°、水平面±360°。在軌電車(chē)以0.5m/s的移動(dòng)速度運(yùn)行,伺服平臺(tái)的水平旋轉(zhuǎn)速度為10°/s,垂直旋轉(zhuǎn)速度為4.5°/s。

圖像處理平臺(tái)首先不加載圖像處理算法,直接輸出的沙盤(pán)的可見(jiàn)光圖像,然后運(yùn)行可見(jiàn)光與紅外檢測(cè)追蹤算法,觀(guān)測(cè)追蹤結(jié)果。

圖5為未進(jìn)行圖像處理的沙盤(pán)可見(jiàn)光圖像,在軌電車(chē)位于視場(chǎng)的左下角,未對(duì)待檢測(cè)目標(biāo)進(jìn)行追蹤。

圖5 未處理的的沙盤(pán)可見(jiàn)光圖像

圖6和圖7為圖像處理算法運(yùn)行后輸出的可見(jiàn)光與紅外圖像,由圖可見(jiàn)電車(chē)處于沙盤(pán)的不同位置時(shí)都基本保持在視場(chǎng)的中央,且對(duì)電車(chē)的當(dāng)前位置加以標(biāo)記。

圖6 處理后的沙盤(pán)可見(jiàn)光圖像

圖7 處理后的沙盤(pán)紅外圖像

在該實(shí)驗(yàn)中,可見(jiàn)光與紅外復(fù)合跟蹤系統(tǒng)可以實(shí)現(xiàn)對(duì)在軌電車(chē)的準(zhǔn)確檢測(cè)與穩(wěn)定跟蹤,目標(biāo)首次檢測(cè)識(shí)別時(shí)間小于2s,目標(biāo)跟蹤信息更新頻率可達(dá)到25Hz,目標(biāo)失鎖后再檢測(cè)時(shí)間小于1s,滿(mǎn)足動(dòng)態(tài)跟蹤的精度要求。

為驗(yàn)證系統(tǒng)與單圖像處理平臺(tái)性能對(duì)比,將檢測(cè)算法在單塊圖像處理板進(jìn)行了實(shí)現(xiàn),單板先后進(jìn)行可見(jiàn)光與紅外檢測(cè),在進(jìn)行目標(biāo)跟蹤生成坐標(biāo)偏差,相較于系統(tǒng)的并行計(jì)算,單板處理速度較低,會(huì)出現(xiàn)重捕延遲，其實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果

由以上試驗(yàn)結(jié)果可知,相較于單圖像處理板,VPX系統(tǒng)對(duì)算法的處理能力更強(qiáng),能穩(wěn)定跟蹤復(fù)雜環(huán)境中的地面動(dòng)目標(biāo)。

5 結(jié) 論

本文設(shè)計(jì)了一種目標(biāo)跟蹤系統(tǒng),介紹了其系統(tǒng)組成結(jié)構(gòu)和圖像處理算法,并進(jìn)行了模擬實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能有效捕獲、追蹤被檢測(cè)目標(biāo)。

該系統(tǒng)采用的多模復(fù)合技術(shù),融合了紅外與可見(jiàn)光兩種數(shù)據(jù)源,增強(qiáng)了動(dòng)目標(biāo)跟蹤的抗干擾能力,提高了指示精度；一體化圖像處理平臺(tái)采用了導(dǎo)冷體制的VPX架構(gòu),使硬件具備小型化、可重構(gòu)的優(yōu)點(diǎn),適合安裝于環(huán)境指標(biāo)嚴(yán)苛的飛行器或武器平臺(tái)中。

[1] HUANG Yongming,CHEN Jimin.Design of a vehucle computing platform based on VPX Bus[J].Measurement & Control Technology,2011,36(4):94-98..(in Chinese) 黃泳銘,陳濟(jì)民.基于VPX總線(xiàn)的車(chē)載計(jì)算平臺(tái)設(shè)計(jì)[J].測(cè)控技術(shù),2011,36(4):94-98.

[2] LIU Yi.Design and implementation of low cost movement detection system based on FPGA[J].Video Engineering,2013,37(13):175-178.(in Chinese) 劉怡.基于FPGA 低成本動(dòng)目標(biāo)偵測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù),2013,37(13):175-178.

[3] LI Xiangjun,LI Zhuang.Analysis is of image processing and recognition algorithm of infrared moving ground targets[J].Ship Electronic Engineering,2013,227:53-55.(in Chinese) 李相軍,李壯.地面紅外運(yùn)動(dòng)目標(biāo)圖像處理與識(shí)別算法分析[J].艦船電子工程,2013,227:53-55.

[4] GU Xin,WANG Hua,LI Zhe,et al.Particle filter target tracking based on integral covariance matrix[J].Laser & Infrared,2014,44(12):1384-1386.(in Chinese) 顧鑫,王華,李喆,等.基于積分協(xié)方差矩陣的粒子濾波目標(biāo)跟蹤[J].激光與紅外,2014,44(12):1384-1386.

[5] YANG Guang,TONG Tao,LU Songyan,et al.Fusion of infrared and visible images based on multi-features[J].Optics and Precision Engineering,2014,2:490-493.(in Chinese) 楊桄,童濤,陸松巖,等.基于多特征的紅外與可見(jiàn)光圖像融合[J].光學(xué) 精密工程,2014,2:490-493.

Design of target tracking system based on VPX

WANG Qian,LI Zhi-guo,WANG Hua,GU Xin,FEI Zhi-ting

(China Academy of Launch Vehicle Technology Research and Development Center,Beijing 100076,China)

In this paper,a target tracking system is designed.The system simulated a complex ground environment by utilizing a sand table and adopted infrared and visible sensor to collect image data,and then the target is detected by infrared image sensor and the target is tracked by visible sensor.Particle filter algorithm is used to realize target tracking.To realize the stable track,target template is updated according to tracking results of two kings of sensors.The image processing algorithm is realized through image processing platform based on VPX and FGPA+DSP.The rotation of servo is controlled by target coordinate deviation,and the target is kept in the center of viewing field,which realized the target tracking.

target tracking;infrared/visible imaging;image processing;VPX

王 倩(1983-)，女，碩士，工程師，主要研究方向?yàn)樾盘?hào)與信息處理。E-mail：aoranqian@163.com

2014-11-19;

2014-12-20

1001-5078(2015)07-0839-05

TN29

A

10.3969/j.issn.1001-5078.2015.07.023