韓樂(lè)樂(lè), 王思明, 李偉杰

(蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院,甘肅 蘭州 730070)

0 引 言

運(yùn)動(dòng)目標(biāo)檢測(cè)作為機(jī)器視覺(jué)領(lǐng)域的研究熱點(diǎn),其目的是從圖像序列中將運(yùn)動(dòng)區(qū)域提取出來(lái)。運(yùn)動(dòng)目標(biāo)檢測(cè)分為兩種：靜態(tài)背景和動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)。靜態(tài)背景的運(yùn)動(dòng)目標(biāo)檢測(cè)算法已經(jīng)非常成熟,因此,研究動(dòng)態(tài)背靜下的運(yùn)動(dòng)目標(biāo)檢測(cè)。

動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要分為三種：模板匹配法[1,2]、光流法[3～5]和背景運(yùn)動(dòng)補(bǔ)償法。模板匹配法計(jì)算量小,但不適合未知運(yùn)動(dòng)目標(biāo)的檢測(cè)；光流法運(yùn)算量過(guò)大,且易受光照變化影響；背景運(yùn)動(dòng)補(bǔ)償法根據(jù)運(yùn)動(dòng)參數(shù)參考幀補(bǔ)償?shù)刃殪o態(tài)背景,適用于攝像機(jī)旋轉(zhuǎn)等復(fù)雜場(chǎng)景的場(chǎng)合[6]。文獻(xiàn)[7]提出了一種基于子塊運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測(cè)方法,算法避免了傳統(tǒng)特征點(diǎn)匹配方法求解參數(shù)時(shí)易受錯(cuò)誤匹配點(diǎn)的影響,但計(jì)算量較大,抗噪性較差；文獻(xiàn)[8]提出了一種結(jié)合尺度不變特征變換(scale invariant feature transform,SIFT)和差分相乘算法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法,SIFT與差分相乘的結(jié)合具有較強(qiáng)的魯棒性和抗噪能力,但算法速度較慢；文獻(xiàn)[9]在移動(dòng)機(jī)器人上使用全方位視覺(jué)傳感器,LK(Lukas-Kanade)光流法算法實(shí)時(shí)性較強(qiáng),但無(wú)法處理復(fù)雜情況下的運(yùn)動(dòng)目標(biāo)。

針對(duì)上述問(wèn)題,本文提出了一種基于二進(jìn)制魯棒不變尺度特征(binary robust invariant scalable keypoints,BRISK)特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。BRISK算法具有較好的旋轉(zhuǎn)不變形、尺度不變性,較好的魯棒性等；計(jì)算速度遠(yuǎn)高于SIFT和加速穩(wěn)健特征(speeded-up robust features,SURF)算法,在對(duì)具有較大模糊的圖像配準(zhǔn)時(shí),BRISK算法表現(xiàn)極為出色。本文通過(guò)改進(jìn)的BRISK算法檢測(cè)特征點(diǎn);利用K最近鄰(K-nearest neighbor,KNN)算法進(jìn)行特征匹配；采用基于隨機(jī)抽樣一致(random sample consensus,RANSAC)的運(yùn)動(dòng)參數(shù)估計(jì)法和幀間差分法完成動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)。

1 BRISK算法

1.1 特征點(diǎn)檢測(cè)

在BRISK算法的特征點(diǎn)檢測(cè)子利用了自適應(yīng)通用加速分割檢測(cè)(adaptive and generic accelerated segment test,AGAST)算法,AGAST算法以加速分割試驗(yàn)特征(features from accelerated segment test,FAST)算法為基礎(chǔ)進(jìn)行改進(jìn),其在尺度空間上用FAST角點(diǎn)進(jìn)行檢測(cè)。首先，構(gòu)造n個(gè)octave層(用ci表示)和n個(gè)intra-octave層(用di表示),本文n=4,i=0,1,…,n-1。其中，c0對(duì)應(yīng)圖像原始圖像,其余的octave層對(duì)c0進(jìn)行2倍下采樣,intra-octave層對(duì)c0進(jìn)行1.5倍下采樣,每個(gè)di位于ci與ci+1之間,則ci,di層與原圖像之間的尺度關(guān)系用t表示：t(ci)=2i,t(di)=2i×1.5。

1)對(duì)每個(gè)octave層和intra-octave層進(jìn)行FAST 9～16角點(diǎn)檢測(cè),如圖1所示。具體為計(jì)算每層的FAST得分值V,以像素點(diǎn)p為圓心,周圍16個(gè)像素中至少有9個(gè)像素點(diǎn)的值高于或低于p點(diǎn)的值,即為潛在的特征點(diǎn),公式如下

(1)

式中τ為閾值;Ip為p點(diǎn)的灰度值

(2)

圖1 角點(diǎn)檢測(cè)圖像

由于n=4,即得到了8張具有角點(diǎn)的圖,接著對(duì)原圖進(jìn)行1次FAST 5～8角點(diǎn)檢測(cè)(作為d(-1)層),得到9張角點(diǎn)檢測(cè)圖。

2)在空間上對(duì)9幅圖進(jìn)行非極大值抑制,必須保證每個(gè)特征點(diǎn)在其尺度的鄰域8點(diǎn)及上下2層(2×9點(diǎn))的FAST的得分值最大,否則,不能作為特征點(diǎn)。

3)通過(guò)以上2個(gè)步驟,即可得到特征點(diǎn)所在的位置和尺度,對(duì)極值點(diǎn)所在的層和上下2層的FAST得分值進(jìn)行二維二次函數(shù)插值,即可得到3個(gè)亞像素優(yōu)化的極大值位置,沿尺度坐標(biāo)軸對(duì)尺度進(jìn)行一維插值,算出最優(yōu)尺度估計(jì)值。整個(gè)過(guò)程如圖2所示。

圖2 尺度空間點(diǎn)檢測(cè)圖像

1.2 特征點(diǎn)描述

BRISK特征點(diǎn)描述采用均勻采樣模式,即以特征點(diǎn)為中心,構(gòu)建不同半徑的圓,在每個(gè)圓上獲得一定數(shù)目的等間隔采樣點(diǎn),共60個(gè)采樣點(diǎn)。由于這種鄰域采樣模式容易產(chǎn)生混疊效應(yīng),因此,需要對(duì)同心圓上的點(diǎn)進(jìn)行高斯濾波,如圖3所示。

圖3 均勻采樣

經(jīng)過(guò)高斯濾波之后,特征點(diǎn)的局部梯度為

(3)

令A(yù)為所有點(diǎn)對(duì)的集合,S為利用歐氏距離定義的短距離采樣點(diǎn)集,L為長(zhǎng)距離采樣點(diǎn)集[10]

S={(pi,pj)∈A|‖pj-pi‖<δmax}?A

(4)

L={(pi,pj)∈A|‖pj-pi‖>δmin}?A

(5)

設(shè)t為關(guān)鍵點(diǎn)所在的尺度,則閾值δmax=9.75t,δmin=13.67t。角點(diǎn)的特征方向定義為

(6)

(7)

1.3 特征匹配

生成特征描述符之后,對(duì)比特征點(diǎn)描述符的漢明距離進(jìn)行匹配。當(dāng)兩者的漢明距離小于某閾值時(shí),則認(rèn)為匹配成功。Str1和Str2為2個(gè)BRISK特征描述子,漢明距離定義為

(8)

2 改進(jìn)的BRISK算法

BRISK算法在特征提取和特征匹配的過(guò)程中,只關(guān)注角點(diǎn)的局部信息,而忽略了角點(diǎn)分布不均勻,角點(diǎn)過(guò)于密集易產(chǎn)生錯(cuò)誤匹配；匹配策略單一,導(dǎo)致圖像匹配結(jié)果出現(xiàn)較大誤差。本文針對(duì)BRISK算法的缺點(diǎn)提出2點(diǎn)改進(jìn)：基于3×3模板的特征點(diǎn)提取和基于KNN算法的特征點(diǎn)匹配。

2.1 基于3×3模板的特征提取

研究表明,圖像特征點(diǎn)分布越均勻,圖形匹配結(jié)果越精確[11]。BRISK算法利用角點(diǎn)信息作為特征點(diǎn),角點(diǎn)分布密集的區(qū)域一般為圖形中的邊緣部分,因此，極有可能位于運(yùn)動(dòng)目標(biāo)區(qū)域,或者背景圖像中特征信息較為顯著的區(qū)域。AGAST算子中閾值T過(guò)大,特征點(diǎn)的數(shù)目過(guò)少,且多分布在圖像顯著區(qū)域,平滑區(qū)域特征點(diǎn)數(shù)目較少甚至沒(méi)有；閾值T過(guò)小,則會(huì)導(dǎo)致特征點(diǎn)數(shù)目過(guò)多且顯著區(qū)域的特征點(diǎn)會(huì)影響圖像匹配的準(zhǔn)確性。圖4(a)為閾值T=70時(shí)的BRISK特征點(diǎn)圖,特征點(diǎn)過(guò)多且密集,容易產(chǎn)生錯(cuò)誤匹配；圖4(b)為閾值T=20的特征點(diǎn)圖,特征點(diǎn)過(guò)少且在乒乓球桌案區(qū)域只有2個(gè)特征點(diǎn),圖4(a)則有8個(gè)特征點(diǎn)。因此,本文提出基于3×3模板的特征點(diǎn)提取方法：

1)采用低閾值的方式進(jìn)行特征提取。

2)利用3×3模板進(jìn)行特征點(diǎn)篩選。對(duì)任一特征點(diǎn),保證其3×3范圍內(nèi)只有一個(gè)特征點(diǎn),既能最大程度上保證平坦區(qū)域的特征點(diǎn)數(shù)目,又能去除顯著區(qū)域過(guò)于密集的特征點(diǎn),提高了圖像匹配的準(zhǔn)確性。

圖4(c)為改進(jìn)后的特征點(diǎn)提取效果,此方法既減少了圖中樹葉上的特征點(diǎn)數(shù)目,又最大程度上保留了乒乓球桌案上的特征點(diǎn)。

圖4 閾值改進(jìn)前不同閾值下和改進(jìn)后的特征點(diǎn)圖

2.2 改進(jìn)的特征匹配法

傳統(tǒng)的特征匹配法利用漢明距離尋找最佳匹配對(duì),由于顯著區(qū)域密集度和圖像中噪聲的影響,匹配結(jié)果較差。本文采用基于KNN算法的特征匹配方法。具體步驟如下：

1)尋找最近鄰與次近鄰特征點(diǎn)。通過(guò)KNN算法查找最近鄰與次近鄰特征點(diǎn),假設(shè)參考幀的特征點(diǎn)k的最近鄰與次近鄰特征點(diǎn)為當(dāng)前幀的m和n,其與特征點(diǎn)k的漢明距離分別為D(k,m),D(k,n)。

2)匹配特征點(diǎn)對(duì),獲得粗匹配集。首先設(shè)立一個(gè)閾值p,當(dāng)D(k,m)/D(k,n)

3)利用RANSAC法篩選匹配對(duì),進(jìn)一步去除錯(cuò)誤匹配對(duì),獲得最佳匹配集。

3 基于BRISK算法的運(yùn)動(dòng)目標(biāo)檢測(cè)

3.1 運(yùn)動(dòng)參數(shù)模型

攝像頭的運(yùn)動(dòng)參數(shù)模型采用仿射變換表示,仿射模型可以描述攝像機(jī)的平移、旋轉(zhuǎn)、縮放等。采用六參數(shù)的仿射模型,公式如下

(9)

式中 (x,y)為t-1幀坐標(biāo)；(u,v)為t幀坐標(biāo)；(a00,a01,a10,a11)為攝像機(jī)的旋轉(zhuǎn)和縮放運(yùn)動(dòng)；(b00,b01)為攝像機(jī)的平移運(yùn)動(dòng)。

3.2 基于RANSAC的全局運(yùn)動(dòng)參數(shù)估計(jì)

經(jīng)過(guò)改進(jìn)的BRISK算法進(jìn)行特征匹配后,得到一系列匹配后的特征點(diǎn)對(duì)。利用六參數(shù)仿射模型進(jìn)行全局運(yùn)動(dòng)參數(shù)估計(jì),必須選擇3個(gè)特征點(diǎn)對(duì)進(jìn)行參數(shù)估計(jì)。由于各種因素的影響,其中必然存在有誤差的特征點(diǎn)對(duì)。本文提出了一種基于RANSAC的全局運(yùn)動(dòng)參數(shù)估計(jì)法,運(yùn)行時(shí)間短,結(jié)果穩(wěn)定。具體步驟如下：

1)篩選特征點(diǎn)對(duì)。根據(jù)漢明距離對(duì)特征點(diǎn)對(duì)進(jìn)行排序,選擇前m個(gè)特征點(diǎn)對(duì)。

2)從m個(gè)特征點(diǎn)對(duì)中,選擇3個(gè)特征點(diǎn)對(duì)建立方程組,求解仿射模型的6個(gè)參數(shù)。

3)對(duì)剩余的(m-3)個(gè)特征點(diǎn)對(duì)s1和s2,利用六參數(shù)仿射模型求出s1的匹配特征點(diǎn)s3,計(jì)算s2和s3的差值do,若do小于某個(gè)閾值r,為內(nèi)點(diǎn)；否則,為外點(diǎn)。計(jì)算此時(shí)內(nèi)點(diǎn)數(shù)目sum。

4)基于RANSAC的全局運(yùn)動(dòng)估計(jì)法必須適應(yīng)多種場(chǎng)景,因此，步驟(3)的閾值r是一個(gè)粗閾值,最多的內(nèi)點(diǎn)數(shù)目max可能有若干組,計(jì)算每一組中小于閾值r的do的最大值max和最小值min,求出兩者的差值為sub。

5)重新選擇3個(gè)特征點(diǎn)對(duì),執(zhí)行步驟(2)～步驟(4),迭代若干次后,比較每次的內(nèi)點(diǎn)數(shù)目,求出最大內(nèi)點(diǎn)數(shù)目若干組；比較最大內(nèi)點(diǎn)數(shù)目組的sub,得到最小sub值的一組,即可求出最優(yōu)的全局運(yùn)動(dòng)參數(shù)。

3.3 運(yùn)動(dòng)目標(biāo)檢測(cè)

4 實(shí)驗(yàn)分析

本文采用的計(jì)算機(jī)系統(tǒng)為Windows7,CPU為Intel(R) core(TM)i3-3110M,主頻2.4GHz,內(nèi)存4GB。實(shí)驗(yàn)基于Visual Studio 2013和OpenCV2.4.13開發(fā)平臺(tái)完成,使用C++編程語(yǔ)言。

實(shí)驗(yàn)采用的基準(zhǔn)圖像為圖5 4組視頻圖像,設(shè)為V1～V4?，F(xiàn)在對(duì)V1分別利用SIFT算法、SURF算法、原BRISK算法和改進(jìn)的BRISK算法對(duì)比實(shí)驗(yàn),仿真參數(shù)、計(jì)算結(jié)果和運(yùn)行時(shí)間如表1所示。

圖5 測(cè)試圖像

由表1知,BRISK算法運(yùn)行時(shí)間較SIFT和SURF算法少,即BRISK算法的計(jì)算速度優(yōu)于其余兩者。同時(shí),改進(jìn)的BRISK提取特征點(diǎn)算法較原BRISK算法減少了49.8 %的特征點(diǎn)數(shù)目,并不影響算法自身的檢測(cè)效果。

表1 4種方法效果對(duì)比

前3種方法的匹配策略采用暴力匹配法與RANSAC法,本文采用KNN算法與RANSAC法,其中，KNN算法的閾值p為0.67,匹配策略去除的錯(cuò)誤匹配點(diǎn)對(duì)越多,匹配效果越優(yōu)。從表1中可以看出,本文采用的匹配策略KNN的特征點(diǎn)對(duì)為41對(duì),RANSANC只去除了6個(gè)錯(cuò)誤的匹配點(diǎn)對(duì)；而暴力匹配法經(jīng)過(guò)RANSAC去除了295個(gè)匹配點(diǎn)對(duì),可以看出:KNN算法去除錯(cuò)誤的匹配點(diǎn)對(duì)遠(yuǎn)高于暴力匹配法,表明,KNN算法的匹配效果優(yōu)于暴力匹配法。

表2 時(shí)間對(duì)比表 s

表2為SURF、文獻(xiàn)[10]和本文算法對(duì)V1～V4的算法運(yùn)行時(shí)間對(duì)比,圖6為3種方法對(duì)V1～V4的檢測(cè)效果對(duì)比?？芍罕疚乃惴▽?shí)時(shí)性略優(yōu)于SURF算法,并且魯棒性不差。由圖6(b)、圖6(e)、圖6(h)、圖6(k)和表2可知,文獻(xiàn)[10]的檢測(cè)算法在V1,V2的運(yùn)行速度較本文算法高,但在V3和V42種視頻場(chǎng)景中的運(yùn)行速度卻不如本文算法,而且對(duì)于V2的檢測(cè)效果差于本文算法,圖中出現(xiàn)了大量的圖像噪聲,并且對(duì)于運(yùn)動(dòng)目標(biāo)的提取完整度較低。由此可知,本文算法的實(shí)時(shí)性和魯棒性均高于文獻(xiàn)[10]。

圖6 V1～V4視頻場(chǎng)景下算法效果對(duì)比

5 結(jié) 論

提出了一種基于BRISK特征的動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)算法。利用BRISK算法提取特征的速度性能,結(jié)合基于RANSAC全局運(yùn)動(dòng)參數(shù)估計(jì)法獲得最優(yōu)全局運(yùn)動(dòng)參數(shù)；采用幀差法和形態(tài)學(xué)處理提取運(yùn)動(dòng)目標(biāo)。通過(guò)實(shí)際圖像對(duì)算法的實(shí)時(shí)性與準(zhǔn)確性進(jìn)行了實(shí)驗(yàn)驗(yàn)證,并對(duì)算法性能進(jìn)行了分析,相較已有算法,本文方法對(duì)于動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)效果較好。后續(xù)工作是進(jìn)一步優(yōu)化算法的準(zhǔn)確性與魯棒性,以便用于實(shí)際應(yīng)用。

[1] 高玉鵬,何明一.動(dòng)態(tài)背景下基于幀間差分與模板匹配相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].電子設(shè)計(jì)工程,2012,20(5):142-145.

[2] Zheng B,Xu X,Dai Y,et al.Object tracking algorithm based on combination of dynamic template matching and Kalman filter[C]∥International Conference on Intelligent Human-Machine Systems and Cybernetics,IEEE Computer Society,2012:136-139.

[3] 宋 宇,翁新武,郭昕剛.基于光流和慣性導(dǎo)航的小型無(wú)人機(jī)定位方法[J].傳感器與微系統(tǒng),2015,34(1):13-16.

[4] Gao P,Sun X,Wang W.Moving object detection based on kirsch operator combined with optical flow[C]∥International Confe-rence on Image Analysis and Signal Processing,IEEE,2010:620-624.

[5] Xin Y,Hou J,Dong L,et al.A self-adaptive optical flow method for the moving object detection in the video sequences[J].Optik-International Journal for Light and Electron Optics,2014,125(19):5690-5694.

[6] 閔 琪,黃影平.基于立體視覺(jué)與光流融合的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].光學(xué)技術(shù),2016,42(1):28-33.

[7] 于紅緋,劉 威,袁 淮,等.基于子塊運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測(cè)[J].電子學(xué)報(bào),2017,45(1):173-180.

[8] 王 梅,屠大維,周許超.SIFT特征匹配和差分相乘融合的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].光學(xué)精密工程,2011,19(4):892-899.

[9] 湯一平,胡大衛(wèi),蔡盈梅,等.基于全景視覺(jué)的移動(dòng)機(jī)器人的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].計(jì)算機(jī)科學(xué),2015,42(11):314-319.

[10] Leutenegger S,Chli M,Siegwart R Y.BRISK: Binary robust invariant scalable keypoints[C]∥International Conference on Computer Vision,IEEE Computer Society,2011:2548-2555.

[11] Bostanci E,Kanwal N,Clark A F.Feature coverage for better homography estimation: An application to image stitching[C]∥International Conference on Systems,Signals and Image Processing,IEEE,2012:448.