徐富元，楊 蔚，祁友杰，朱明明，李仙法

(中國航天科工集團8511研究所，江蘇 南京 210007)

一種利用可見光載荷實現(xiàn)運動目標搜索的方法

徐富元，楊 蔚，祁友杰，朱明明，李仙法

(中國航天科工集團8511研究所，江蘇 南京 210007)

利用無人機可見光載荷實現(xiàn)地面運動目標的搜索是獲取地面運動目標信息的重要技術(shù)。為實現(xiàn)在探測器運動的條件下實現(xiàn)運動目標的檢測，提出了一種基于平面+視差的運動目標搜索方法。首先采用相位相關(guān)法配準尋找主平面，實現(xiàn)對運動圖像的全局運動補償，然后采用光流法對殘差圖像進行視差濾除。全局運動補償可以有效補償主平面的運動，視差濾除通過多視角理論，去除視差景物在搜索系統(tǒng)中形成的虛警。實驗表明，該方法利用可見光載荷系統(tǒng)，通過對移動探測器的運動補償和視差的濾除，能夠很好地實現(xiàn)地面運動目標的搜索，提高地面運動目標信息獲取的能力。

可見光載荷；主平面補償；視差濾除；運動目標檢測

0 引言

利用無人機可見光載荷實現(xiàn)地面運動目標的搜索，其中主要需要解決的難題有兩個：首先是探測器固定在一個運動的平臺上，從一個運動的背景中提取出相對運動的目標是一個比較困難的過程；其次由于探測器的投影關(guān)系，視差景物往往成為目標搜索的主要虛警成份。本文提出了一種平面+視差的運動目標搜索方法。該方法可以能夠很好地解決探測器運動的問題，并且可以通過多視角幾何的理論去除因視差而產(chǎn)生的虛警。

在運動平臺下實現(xiàn)運動目標搜索是一個從二維數(shù)據(jù)中提取出運動目標的過程[1]。很多傳統(tǒng)的方法均是假設(shè)圖像中的深度很小，可以忽略不計[2]。但是在實際的場景中其圖像中的視差是不可忽略的，如果仍然采用二維處理方式，其深度差異較大的地方將會出現(xiàn)大量虛警。

從二維的圖像數(shù)據(jù)中得到深度信息是一個很難的過程。大多數(shù)方法都是通過計算光流或者特征點匹配檢測運動目標[1-4]。也有很多學(xué)者通過從連續(xù)幀中推導(dǎo)圖像場景的三維信息或者通過建立場景中的運動模型檢測運動目標。如在文獻[1]中，作者采用光流法檢測特征點的二維運動場，通過兩幀圖像建立圖像中固定場景的運動方程。文獻[4]從多視角理論出發(fā)，通過建立新的運動限制模型檢測運動目標。但是在實際的應(yīng)用中，此類理論都建立在一定的運動假設(shè)的基礎(chǔ)上。如文獻[1]則假設(shè)探測器的成像平面要始終平行，而文獻[4]所建立的運動限制模型也具有一定的局限性，在很多特殊的條件下無法獲得正確的結(jié)果。

為了克服以上問題，本文提出了一種平面+視差的運動目標搜索方法。該方法主要有兩個創(chuàng)新點，首先采用相位相關(guān)法尋找連續(xù)圖像中的主平面，實現(xiàn)圖像中符合主平面的像素點的運動補償；然后采用光流法對殘留像素二維運動信息建立多幀運動方程，實現(xiàn)視差的濾除。該算法的創(chuàng)新點在于通過兩次運動補償可以有效地解決因探測器移動而帶來的視差問題，實現(xiàn)利用無人機可見光載荷提取地面運動目標信息的目的。

1 算法概述

傳統(tǒng)的檢測方法是通過連續(xù)的圖像恢復(fù)出實際圖像中的深度信息然后通過圖像的三維信息來判斷運動區(qū)域如文獻[1-4]。該類方法比較依賴于特征點配準精度，并且對于無特征點的區(qū)域?qū)o法判斷有否有目標存在。在文獻[5]中，在三維空間中存在一個參考平面∏12，該平面上的不同視角的圖像坐標點m1和m2存在單應(yīng)矩陣H將其相互對應(yīng)，即滿足m1=Hm2?？臻g中其它坐標的圖像坐標點p1的對應(yīng)關(guān)系則可以表示為：

p1～Hp2+ke

(1)

式中，e是視角1與視角2攝像機中心的極點，k是投影深度。

平面+視差框架已經(jīng)在文獻[4-7]中提出。本文根據(jù)此框架提出了一種基于可見光載荷的運動目標搜索方法。如圖1所示，本文提出的目標搜索方法主要分為全局運動補償與視差濾除，全局運動補償是通過相位相關(guān)法計算單應(yīng)矩陣，提取連續(xù)圖像中的主平面，實現(xiàn)對符合主平面上的像素全局補償，最終得到殘差圖像。對于殘差圖像采用光流法計算每個像素連續(xù)幀中的運動信息，通過建立三維運動方程，最終提取移動背景下的運動目標。

2 主平面提取

文獻[8]采用相位法實現(xiàn)運動補償?shù)念A(yù)處理，但是可見光載荷的探測器的移動并非平移式，因此相鄰兩幀圖像存在一定的平移、縮放和旋轉(zhuǎn)關(guān)系。

Reddy和Chatterji提出了一種基于Fourier-Mellin變換的圖像匹配方法, 對圖像旋轉(zhuǎn)、拉伸和平移有較強的魯棒性[9]。設(shè)連續(xù)幀圖像為Ii與Ii+1，圖像Ii和圖像Ii+1之間的關(guān)系為：

Ii(x,y)=Ii+1(txcosφ+tysinφ-x0,

-txsinφ+tycosφ-y0)

(2)

式中，(x0,y0)為平移量，t為縮放因子，φ為旋轉(zhuǎn)角度。分別作Fourier變換后，F(xiàn)ourier頻譜幅度為：

|H2(u,v)|=t2

|H1(t-1(ucosφ+vsinφ),

t-1(-usinφ+vcosφ))|

(3)

對式(3)進行極坐標轉(zhuǎn)換得到:

H2(θ,ρ)=t2H1(θ-φ,ρ/t)

(4)

對式(4)進行幅值取對數(shù)即得：

H2K(θ,λ)=H2(θ,ρ)

=t-2H1k(θ-φ,λ-p)

(5)

式中，λ=lg(ρ),p=lg(t)，H1K即為圖像的Fourier-Mellin不變描述子。

由以上描述可知將旋轉(zhuǎn)和尺度縮放轉(zhuǎn)變?yōu)槠揭频男问?，通過相位相關(guān)法計算其參數(shù)。

由于Fourier-Mellin在計算中誤差較大，因此不少學(xué)者提出了其改進算法，如文獻[10] 在引進核函數(shù)的基礎(chǔ)上定義了一種加權(quán)距離，經(jīng)過核函數(shù)對圖像的峰值進行修正，更好地解決了圖像的匹配問題。

通過Fourier-Mellin算法得到圖像變換的參數(shù)，計算出單應(yīng)矩陣H。通過單應(yīng)矩陣將Ii+1變換到Ii。其殘差圖像則為：

IR=HIi+1-Ii

(6)

由于相鄰的兩幀圖像大部分的像素點都位于主平面上，或者處于主平面附近。因此殘差圖像主要由視差較大的像素與運動的像素區(qū)域組成。

3 視差濾除

對殘差圖像進行閾值分割，將其中視差較大的部分與運動的區(qū)域的像素提取出來，通過光流法描述運動狀態(tài)。由于視差是由探測器的運動產(chǎn)生的，因此必須要從二維的光流場當中尋找到背景運動的實際模型，從而實現(xiàn)運動目標的檢測。

如圖2所示在探測器坐標系中，假設(shè)探測器的平移運動為(ΔA,ΔB,ΔC)，旋轉(zhuǎn)運動為(Δα,Δβ,Δγ)，假設(shè)在圖像坐標系中有點p(x,y)對應(yīng)于相機坐標系坐標為P(X,Y,Z)，則圖像中的p點運動矢量(u,v)與相機運動之間的關(guān)系為：

u=(-ΔAf+xΔC)/Z+αxy/f-

βxy/f-rx

(7)

假設(shè)(u,v)為圖像Ii+1與Ii之間殘差像素的運動場，平面∏為Ii+1和Ii之間的參考平面。假設(shè)(u∏,v∏)為參考平面與Ii之間的運動場，設(shè)平面上的點P∏(X∏,Y∏,Z∏)。

u∏=(-ΔAf+xΔC)/Z∏+αxy/f-

βxy/f-rx

(8)

由式(7)和式(8)可得到參考平面上的投影點與三維空間中的點的運動矢量之差(uΔ,vΔ)：

uΔ=u-u∏

=(-ΔAf+xΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔAf+xΔC)(Z∏-Z)/ZZ∏

vΔ=v-v∏

=(-ΔBf+yΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔBf+yΔC)(Z∏-Z)/ZZ∏

(9)

令θ=(Z∏-Z)/ZZ∏，則：

uΔ=(-ΔAf+xΔC)θ

vΔ=(-ΔBf+yΔC)θ

(10)

由式(10)可以得到方程：

0=(-ΔBf+yΔC)uΔ-

(-ΔAf+xΔC)vΔ

(11)

(12)

由以上理論可知對于運動的相機，殘差圖像中視差部分滿足式(12)的方程。因此本文采用稠密光流計算殘差區(qū)域與殘差區(qū)域周圍的像素，以保證估計模型參數(shù)時的正確性。如圖3所示，p(x,y)為前景像素點，取其周圍40×40的區(qū)域計算稠密光流，估計式(12)中的參數(shù)。

式(12)為一個線性最小二乘問題，參數(shù)估計一般都采用svd分解得到，為了獲得更精確的參數(shù)，很多學(xué)者在此方面做了很多研究。本文主要采用文獻[1]提出的求解算法，該算法具有較高的參數(shù)估計精度和迭代收斂速度。

4 實驗與分析

本文實驗主要采用可見光載荷高空俯視連續(xù)圖像數(shù)據(jù)，對本文算法與其他文獻算法進行實驗。實驗圖像大小均為960×540，算法實驗平臺為2.4GHz主頻，2G內(nèi)存的計算機，使用軟件為VS2008，處理速度為每秒8幀，在實驗過程中相機均有較強的旋轉(zhuǎn)與平移運動。本文從定量與定性的角度對本文的算法進行分析并與其他算法做比較。

4.1 定性的分析

圖4為可見光CCD在熱氣球上高空對地面俯視得到的圖像，探測高度約為50m。在圖像視頻中有兩輛汽車與兩個直立行走的人。其中白色汽車相對于地面是靜止不動的，公路上的灰色的車與行人是運動的。

圖4(a)和圖4(b)是連續(xù)的原始的圖像；圖4(c)主平面補償后得到的殘差的圖像；圖4(d)是殘差圖像的二值化的結(jié)果，其中黑色的區(qū)域表示運動和視差的區(qū)域；圖4(e)是經(jīng)過視差濾除后的二值化的結(jié)果；通過圖4(d)和圖4(e)對比可以清楚地看出由于視差的影響，白色的車、路邊的路燈和路的邊緣等沒有運動的景物在主平面配準后被凸顯出來，通過視差濾除后在圖4(e)中已經(jīng)完全被濾除。圖4(f)是運動目標檢測的最終的結(jié)果。

圖5為可見光CCD在低速無人機上高空對地面俯視得到的圖像，探測高度約為60m。在圖像視頻中背景主要有道路和樹木，其中運動的物體主要是兩個直立行走的人、公路上一個騎車的人和一輛騎車還有在遠處樹林背景中的運動的車。

圖5中的每行圖像序列，從左到右依次是原始圖像、殘差圖像、視差濾除后的二值化圖像和最終的目標檢測結(jié)果。通過每一行的殘差圖像與視差濾除后的二值化圖像的比較，可以明顯地發(fā)現(xiàn)，視頻中樹木和一些視差比較大的區(qū)域經(jīng)過視差濾除后都可以很好地被去除，只保留視頻中運動的目標。

4.2 定量分析

(13)

式中,Nc為關(guān)聯(lián)目標的個數(shù)。

圖6是本文算法與其他算法的比較，由曲線可以看出本文算法能有效分割地面運動的目標，其檢測出的運動目標的位置與實際運動目標的位置偏移較小，因而能夠更準確地獲取地面運動目標的信息。

定義目標的檢測率表示為：

(14)

檢測率主要表示系統(tǒng)虛警率和探測率的關(guān)系，本文采用圖4可見光載荷所采集的視頻，對其他算法與本文算法根據(jù)式(14)做了相互的比較，其中虛警率α=0.03，結(jié)果如表1所示。

由表1可知在相同的虛警率的情況下，本文算法相比較于傳統(tǒng)的算法將會獲得更高的檢測率。

表1 檢測率的比較

5 結(jié)束語

本文提出一種利用可見光載荷實現(xiàn)對地面運動目標的檢測的方法。該方法基于平面+視差的框架，首先采用相位相關(guān)法配準尋找主平面，實現(xiàn)對運動圖像的全局運動補償。然后采用光流法對殘差圖像進行視差濾除，最終能夠?qū)⒌孛孢\動目標從連續(xù)的視頻中提取出來。實驗表明，該方法利用可見光載荷系統(tǒng)，通過對移動探測器運動補償和視差濾除，能夠很好地實現(xiàn)地面運動目標搜索，提高地面運動目標信息獲取的能力?！?/p>

[1] Zhang Y, Kiselewich SJ, Bauson WA, et al. Robust moving object detection at distance in the visible spectrum and beyond using a moving camera[J]. Comput. Vis. Pattern Recog. Workshop in Proc. IEEE Conf., 2006, 24(7):131-132.

[2] Lin Y, Medioni G. Map-enhanced UAV image sequence registration and synchronization of multiple image sequences[J]. Computer Vision and Pattern Recognition., 2007, 25(8): 1-7.

[3] Yin Zhaozheng, Collins R. Moving object localization in thermal imagery by forward-backward MHI[J]. Computer Vision and Pattern Recognition Workshop in Proc. IEEE Conf., 2006, 15(5):8-16

[4] Yuan, Chang, et al. Detecting motion regions in the presence of a strong parallax from a moving camera by multiview geometric constraints[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence., 2007, 29(9):1627-1641.

[5] Mundy JL, Zisserman A. Geometric Invariance in Computer Vision[M]. MIT Press., MA, 1992.

[6] Yu Qian, Medioni G. Motion pattern interpretation and detection for tracking moving vehicles in airborne video[J]. Computer Vision and Pattern Recognition in Proc. IEEE Conf., 2009, 45(5):45-50.

[7] Jin Yuxin, et al. Background modeling from a free-moving camera by multi-layer homography algorithm[J]. Image Processing in Proc. IEEE Conf., 2008, 78(1):789-798.

[8] Xu Fuyuan, et al. Design and implementation of a real-time image registration in an infrared search and track system[J]. IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics., 2013, 87(6):854-865.

[9] Xiong Wenzhen, Cai Guangcheng, Zhang Hongju. Application of an improved Fourier-Mellin descriptor in image matching[J]. Computer Engineering & Science., 2011, 54(5):458-467.

[10]Li Guo, Liao Yu, Chen Weilong. An improved registration algorithm on video super resolution reconstruction[J]. Journal of Hubei University for Nationalities (Natural Science Edition), 2010, 28(2): 177-180.

A moving target detection method using visible payload

Xu Fuyuan, Yang Wei, Qi Youjie, Zhu Mingming, Li Xianfa

(No．8511 Research Institute of CASIC, Nanjing 210007, Jiangsu，China)

The ground moving target detection using the visible payload is an important technology to obtain information of the ground moving target. To detect the moving target on the moving camera, a method within the “Plane+Parallax” framework is proposed to detect the moving target in video sequences observed by a moving camera. Firstly, the reference plane is found by the image registration based on phase-correlation and the global motion compensation is achieved. Secondly, the parallax regions are filtered by the optical flow method. The global motion compensation can effectively compensate for the motion of the main plane and the parallax in the search system is removed by the multi-view theory. The experiments show that this method can achieve the moving target detection using the visible payload through the motion compensation and parallax filter and improve the ability to obtain the ground moving target.

visible payload; main plane compensation; parallax filter; moving target detection

2016-11-30;2017-01-17修回。

徐富元(1986-)，男，博士研究生，研究方向為目標識別與信號處理。

TN971+.5

A