李倩倩，劉彥隆

（太原理工大學(xué)通信與嵌入式實(shí)驗(yàn)室，太原 030024）

先驗(yàn)信息光流法在運(yùn)動(dòng)目標(biāo)檢測(cè)中的應(yīng)用

李倩倩，劉彥隆

（太原理工大學(xué)通信與嵌入式實(shí)驗(yàn)室，太原 030024）

針對(duì)運(yùn)動(dòng)目標(biāo)的智能跟蹤檢測(cè)提出一種基于先驗(yàn)信息的光流檢測(cè)法。首先，通過利用區(qū)域生長(zhǎng)法獲取的道路先驗(yàn)信息并結(jié)合幀差法確定運(yùn)動(dòng)目標(biāo)的大致范圍。其次，采用光流法對(duì)處理后的圖像進(jìn)行分割，并由形態(tài)學(xué)方法對(duì)進(jìn)行圖像處理后檢測(cè)出運(yùn)動(dòng)目標(biāo)。最后，基于MATLAB平臺(tái)對(duì)其進(jìn)行仿真計(jì)算。結(jié)果表明，該方法克服了傳統(tǒng)光流法在運(yùn)動(dòng)目標(biāo)檢測(cè)中易受干擾的問題，并為軍事人員對(duì)運(yùn)動(dòng)目標(biāo)跟蹤檢測(cè)提供了有效的輔助。

運(yùn)動(dòng)目標(biāo)智能跟蹤檢測(cè)，光流法，區(qū)域生長(zhǎng)，先驗(yàn)信息，MATLAB

0 引言

運(yùn)動(dòng)目標(biāo)智能跟蹤檢測(cè)技術(shù)是一種對(duì)監(jiān)控視頻中運(yùn)動(dòng)目標(biāo)的狀況進(jìn)行跟蹤檢測(cè)、統(tǒng)計(jì)和分析的技術(shù)。通過運(yùn)動(dòng)目標(biāo)智能跟蹤檢測(cè)技術(shù)不僅可以鎖定軍事偵察領(lǐng)域內(nèi)的地面運(yùn)動(dòng)目標(biāo)，還可以對(duì)當(dāng)前環(huán)境狀況進(jìn)行分析、判斷，因此，被廣泛研究。

傳統(tǒng)光流法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)存在一些不足。例如：光照的變化會(huì)引起光流場(chǎng)的變化，導(dǎo)致檢測(cè)環(huán)境存在大量干擾信息。所以分析運(yùn)動(dòng)目標(biāo)所在的環(huán)境、道路結(jié)構(gòu)對(duì)目標(biāo)的檢測(cè)有著重要的作用。因此，結(jié)合道路結(jié)構(gòu)及其先驗(yàn)信息對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，可以達(dá)到去除干擾的目的。

本文提出了一種結(jié)合先驗(yàn)信息的光流檢測(cè)方法，該方法在車輛智能跟蹤過程中，首先應(yīng)用區(qū)域生長(zhǎng)法獲取的道路先驗(yàn)信息初步確定運(yùn)動(dòng)目標(biāo)的大致范圍的方法，其次利用光流法對(duì)運(yùn)動(dòng)的目標(biāo)進(jìn)行檢測(cè)與處理。通過上述方法可以有效地解決傳統(tǒng)光流法在現(xiàn)實(shí)應(yīng)用中易受道路環(huán)境干擾的問題。

1 光流法檢測(cè)原理

傳統(tǒng)光流法的基本思想是三維空間運(yùn)動(dòng)的目標(biāo)，其三維速度矢量在投影平面上具有二維速度場(chǎng)矢量。此二維速度場(chǎng)不僅包含著被觀察物體的運(yùn)動(dòng)信息，而且包含著相關(guān)景物的三維結(jié)構(gòu)信息。在二維投影面上通過求解光流方程，找到二維速度矢量場(chǎng)，進(jìn)而重構(gòu)出三維物體的運(yùn)動(dòng)信息，并最終檢測(cè)出運(yùn)動(dòng)目標(biāo)。

圖1 中以x，y，z為坐標(biāo)系的三維空間中的物體A在以h，v為坐標(biāo)系的二維空間中具有相應(yīng)的投影圖像B，當(dāng)空間中的三維物體A運(yùn)動(dòng)時(shí)，二維平面上投影的圖像B也相應(yīng)產(chǎn)生運(yùn)動(dòng)矢量。當(dāng)存在于三維空間中的物體A以位移矢量d1從位置a1移動(dòng)到a2點(diǎn)時(shí)，在二維投影面的投影B也以運(yùn)動(dòng)矢量d2由b1移動(dòng)到b2，這個(gè)位置的相對(duì)變化矢量d2就是光流。

給二維圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，形成一個(gè)光流矢量場(chǎng)［1］。每幀視頻可以看作是一幅圖像，引入時(shí)間點(diǎn)則像素點(diǎn)P（x，y）的灰度值為I（x，y，t），時(shí)間點(diǎn)t+Δt的視頻幀為I（x，y，t+ Δt），當(dāng)Δt→0，則可以認(rèn)為這兩幀中對(duì)應(yīng)的像素點(diǎn)灰度不變。圖像的光流場(chǎng)包含兩個(gè)分量，引入光流的平滑性約束：

利用松弛迭代方程進(jìn)行求解，令平滑約束項(xiàng)得到最小值，就可以得到該幅圖像的光流場(chǎng)［2］：

圖像運(yùn)動(dòng)以一個(gè)像素點(diǎn)為中心的窗口Ω為范圍，小空間領(lǐng)域Ω內(nèi)圖像的光照是連續(xù)的，光流方程在像素點(diǎn)周圍的窗口Ω內(nèi)均是成立的。假設(shè)在小空間領(lǐng)域Ω上運(yùn)動(dòng)矢量保持恒定，使用加權(quán)最小二乘法估計(jì)光流。則在小空間領(lǐng)域Ω上，光流估計(jì)誤差為：

其中W（x）是窗口權(quán)重函數(shù)，其使得鄰域的中心部分對(duì)約束產(chǎn)生的影響比外圍部分更大。設(shè)：

誤差的解可以由式（7）給出：

在某個(gè)特定的時(shí)刻t的n個(gè)點(diǎn)xi∈Ω，有：

于是：

在實(shí)際應(yīng)用中對(duì)運(yùn)動(dòng)目標(biāo)利用光流法進(jìn)行檢測(cè)時(shí)，由于道路上存在大量的標(biāo)志信息如保護(hù)桿、道路白線等，導(dǎo)致當(dāng)前幀圖像梯度計(jì)算較大，使得運(yùn)動(dòng)目標(biāo)與干擾物的光流信息無法被分辨，從而無法將運(yùn)動(dòng)目標(biāo)與背景圖像區(qū)分開來。理論上，傳統(tǒng)光流法不需要預(yù)先知道場(chǎng)景的任何信息即可檢測(cè)出運(yùn)動(dòng)目標(biāo)，同時(shí)可以很精確地計(jì)算出運(yùn)動(dòng)目標(biāo)的速度、方向等運(yùn)動(dòng)信息。但傳統(tǒng)光流法的缺點(diǎn)在于當(dāng)外部照明條件發(fā)生變化（如室外云彩遮擋天氣變化、室內(nèi)照明變化等），即使目標(biāo)沒有處于運(yùn)動(dòng)狀態(tài)，仍然有光流產(chǎn)生。類似的噪聲嚴(yán)重影響了光流法的精確度。另外，光流法所采用的迭代算法計(jì)算量大、算法復(fù)雜，相應(yīng)的硬件條件要求也非常高。

圖2 展示了傳統(tǒng)光流法處理道路上運(yùn)動(dòng)目標(biāo)的效果。在道路白線、保護(hù)桿等處由于圖像梯度較大，形成了明顯且數(shù)量眾多的干擾信息，在圖2中出現(xiàn)的干擾性極強(qiáng)的光流信號(hào)，嚴(yán)重影響了目標(biāo)的識(shí)別?？梢娫谶\(yùn)動(dòng)目標(biāo)檢測(cè)中直接應(yīng)用光流算法存在著明顯不足。

3 結(jié)合先驗(yàn)信息的運(yùn)動(dòng)目標(biāo)智能檢測(cè)法

針對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)應(yīng)用時(shí)直接運(yùn)用傳統(tǒng)光流算法產(chǎn)生的道路信息干擾，本文提出了結(jié)合先驗(yàn)信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，將運(yùn)動(dòng)目標(biāo)運(yùn)行的道路結(jié)構(gòu)化信息作為先驗(yàn)信息檢測(cè)出來，利用感興趣區(qū)域代替整幀圖像進(jìn)行光流計(jì)算，達(dá)到減少干擾的目的。算法的流程如圖3所示：

3.1 區(qū)域生長(zhǎng)算法提取道路信息

結(jié)構(gòu)性道路信息主要是指道路上的標(biāo)識(shí)白線以及道路的邊界等，提取信息可以通過樣本訓(xùn)練的方法訓(xùn)練出道路的描述信息，總結(jié)出一種符合人類視覺的知識(shí)規(guī)則以達(dá)到獲取道路信息的目的。

使用區(qū)域生長(zhǎng)算法提取道路信息，是一種基于特征級(jí)別的提取算法，從圖像特征角度出發(fā)，提取出道路信息［3］?？紤]運(yùn)動(dòng)目標(biāo)行駛的特點(diǎn)，利用運(yùn)動(dòng)目標(biāo)前部的影像作為種子區(qū)，利用圖像特征進(jìn)行區(qū)域增長(zhǎng)，最終獲取整幅圖像的道路信息。區(qū)域生長(zhǎng)過程中對(duì)于閾值的選取決定了道路提取的精度，由于道路環(huán)境十分復(fù)雜，選取固定的閾值全局提取道路信息是一個(gè)很大的挑戰(zhàn)。為了保證道路提取的準(zhǔn)確性，加入相鄰幀的視頻信息，將獲取的道路信息進(jìn)行特征融合，最終確定道路區(qū)域［4］。其算法流程圖如圖4所示。

區(qū)域生長(zhǎng)［5］是將整幅圖像看作是一個(gè)整體區(qū)域R，選取種子點(diǎn)通過區(qū)域生長(zhǎng)的方法。區(qū)域生長(zhǎng)將R分成若干個(gè)子區(qū)域R1，R2，…，Rn，具有如下特征：

3.2 幀差法提取車道信息

分析監(jiān)控視頻運(yùn)動(dòng)目標(biāo)運(yùn)行的區(qū)域主要集中在視頻的三角區(qū)域，確定運(yùn)動(dòng)目標(biāo)所在的區(qū)域可以進(jìn)一步摒除道路信息產(chǎn)生的干擾，如圖5所示。藍(lán)線之外的區(qū)域均為道路的結(jié)構(gòu)性信息，藍(lán)線之內(nèi)的區(qū)域是運(yùn)動(dòng)目標(biāo)運(yùn)行的區(qū)域，考慮到藍(lán)線內(nèi)的道路信息可以由區(qū)域生長(zhǎng)算法提取出來，完全可以消除，在這里可以不作考慮。

幀差圖像可以檢測(cè)到兩幀視頻中的變化，根據(jù)變化提取出目標(biāo)所在區(qū)域，該變化可以反應(yīng)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)歷程［7］。根據(jù)幀差圖像可以大致分辨出運(yùn)動(dòng)目標(biāo)的位置，并且簡(jiǎn)單地估計(jì)運(yùn)動(dòng)方向。I（x，y，t）表示為視頻序列在t時(shí)刻的圖形幀，I'（x，y，t+1）表示視頻序列在t+1時(shí)刻的圖像幀，即I幀的下一幀。I'也可以選擇與I幀非相鄰的圖像幀。幀差圖像D（x，y，t）定義為：

如果像素點(diǎn)的絕對(duì)值差大于某一個(gè)閾值，判斷其為運(yùn)動(dòng)目標(biāo)的一部分保留；反之，如果小于此閾值則被認(rèn)為是背景而被去除。I（x，y）為視頻中某幀圖像的灰度值集合，假設(shè)其灰度級(jí)L，則視頻某幀圖像的灰度值取值范圍為［0，L-1］?；叶戎礣為二值化閾值，則圖像被分成兩個(gè)部分，即運(yùn)動(dòng)目標(biāo)obj∈{I（x，y）≤T}和背景back∈{I（x，y）≥T}。為了得到較好的分割效果，必須使目標(biāo)與背景的類內(nèi)方差σ1、σ2最小，同時(shí)目標(biāo)與背景類間方差σ12最大。

具體計(jì)算公式如下：

方差實(shí)質(zhì)就是灰度分布均勻程度的一種度量方法。類內(nèi)方差值越大說明在此閾值下分割后的目標(biāo)與背景的差別就越大，分割效果就越好。類間方差反應(yīng)的是目標(biāo)與背景錯(cuò)誤劃分的程度，類間方差越小，則說明錯(cuò)誤劃分的概率最小。利用此方法自適應(yīng)選擇閾值，可以使圖像找到最佳的閾值從而達(dá)到比較好的分割效果。

由此區(qū)分、確定圖像序列中運(yùn)動(dòng)目標(biāo)的大致位置［7］，如圖6所示。

4 實(shí)驗(yàn)結(jié)果分析與討論

本文在MATLAB平臺(tái)上搭建了運(yùn)動(dòng)目標(biāo)的智能檢測(cè)系統(tǒng)。通過對(duì)傳統(tǒng)光流法以及先驗(yàn)信息的光流法進(jìn)行比較，分別從區(qū)域生長(zhǎng)、幀差法、形態(tài)學(xué)圖像處理等幾個(gè)方面對(duì)其進(jìn)行優(yōu)化，具體步驟如下：

首先通過區(qū)域生長(zhǎng)的方法得到道路的先驗(yàn)信息。本文采用前三幀圖像進(jìn)行道路區(qū)域的確認(rèn)，其結(jié)果如圖7所示，通過區(qū)域生長(zhǎng)算法將先驗(yàn)信息提取了出來，從中能明顯辨識(shí)出現(xiàn)實(shí)條件下道路的主要干擾信息，如車道線、護(hù)欄等。

其次進(jìn)行圖像差值處理，幀差法得到的幀間差值圖像如圖8所示，這些差值圖像大致確定了運(yùn)動(dòng)目標(biāo)的位置。然而在圖像中車道線和護(hù)欄位置明顯存在干擾信息，在之后的步驟中這些干擾信息將會(huì)結(jié)合先驗(yàn)信息被有效剔除。

在結(jié)合了利用區(qū)域生長(zhǎng)法獲取的道路先驗(yàn)信息和幀差法初步確定運(yùn)動(dòng)目標(biāo)大致范圍的方法之后，對(duì)圖像進(jìn)行光流法處理，得到如圖9的結(jié)果。對(duì)比直接運(yùn)用光流法得到的結(jié)果，運(yùn)用改進(jìn)后的方法得到光流場(chǎng)中的干擾因素得到了有效抑制與減少，使得光流法在運(yùn)動(dòng)目標(biāo)智能檢測(cè)的應(yīng)用中具有了現(xiàn)實(shí)應(yīng)用價(jià)值。

由圖9可以很直觀地看到，傳統(tǒng)光流法對(duì)每幀圖像的識(shí)別，存在較多的干擾點(diǎn)，在運(yùn)動(dòng)物體數(shù)量比較多的情況下，干擾點(diǎn)也呈現(xiàn)塊狀分布，嚴(yán)重影響接下來的數(shù)據(jù)分析處理。而經(jīng)過先驗(yàn)信息，干擾點(diǎn)明顯減少，個(gè)別干擾點(diǎn)也呈離散分布，非常容易剔除。

下頁表1列出了傳統(tǒng)光流法和先驗(yàn)信息光流法在數(shù)據(jù)識(shí)別中的對(duì)比。第1幀圖像為在沒有運(yùn)動(dòng)物體經(jīng)過時(shí)的圖像，識(shí)別出的數(shù)據(jù)點(diǎn)大致相同，第2幀是有少量物體經(jīng)過時(shí)，先驗(yàn)信息后可把干擾點(diǎn)有效去除，得到有效數(shù)據(jù)點(diǎn)的數(shù)量為傳統(tǒng)光流法的一半；第101幀是有多個(gè)物體經(jīng)過時(shí)的識(shí)別效果；先驗(yàn)信息光流法平均識(shí)別點(diǎn)數(shù)比傳統(tǒng)光流法減少大約35%，對(duì)運(yùn)動(dòng)物體的識(shí)別正確率提高約40%，改進(jìn)效果非常明顯。

然后對(duì)光流場(chǎng)進(jìn)行形態(tài)學(xué)處理，如圖10（a）所示。由圖10（a）可知，對(duì)圖像進(jìn)行形態(tài)學(xué)處理后，可以將目標(biāo)所在區(qū)域很好地標(biāo)記出來。最后對(duì)目標(biāo)進(jìn)行識(shí)別圈定如圖10（b）所示，至此完成運(yùn)動(dòng)目標(biāo)智能跟蹤檢測(cè)功能。

5 結(jié)束語

本文在運(yùn)動(dòng)目標(biāo)智能檢測(cè)領(lǐng)域提出了一種結(jié)合先驗(yàn)信息的光流檢測(cè)方法。該方法首先利用區(qū)域生長(zhǎng)法獲取的道路先驗(yàn)信息，同時(shí)結(jié)合幀差法初步確定運(yùn)動(dòng)目標(biāo)的大致范圍，再通過光流法進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤檢測(cè)。通過實(shí)驗(yàn)證明了此方法提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確率，增強(qiáng)了光流算法魯棒性，同時(shí)對(duì)軍事偵查領(lǐng)域中的地面車輛及坦克的實(shí)時(shí)檢測(cè)和報(bào)警有著重要的應(yīng)用價(jià)值。

［1］Horn B K，Schunck B G.Determining Optical Flow［C］// Technical Symposium East.International Society for Optics and Photonics，1981.

［2］Beauchemin S S，Barron J L.The Computation of Optical Flow［J］.ACM Computing Surveys（CSUR），1995，27（3）: 433-466.

［3］Pavlidis T，Liow Y T.Integrating Region Growing and Edge Detection［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，1990，12（3）:225-233.

［4］林麗群，肖俊.結(jié)合先驗(yàn)知識(shí)和圖像特征的道路提取方法［J］.計(jì)算機(jī)工程與應(yīng)用，2012，47（33）:236-239.

［5］魏國(guó)劍，侯志強(qiáng)，李武，等.融合顏色不變量的彩色圖像光流估計(jì)算法［J］.電子與信息學(xué)報(bào)，2013，35（5）:12.

［6］楊亞東.光流法在運(yùn)動(dòng)目標(biāo)識(shí)別領(lǐng)域的理論與應(yīng)用［J］.電子設(shè)計(jì)工程，2013，21（5）:24-26.

［7］Otsu N.A Threshold Selection Method from Gray-level Histograms［J］.Automatic，1975，11（285-296）:23-27.

Based on Optical Flow Method with Priori Information in the Application of Detecting Moving Target Tracking

LI Qian-qian，LIU Yan-long
（Communication and Embedded System Lab，Taiyuan University of Technology，Taiyuan 030024，China）

The paper proposes an improved method that based on optical flow algorithm in moving target tracking detection application.Firstly，it obtain the road priori information which use region growing method and range of moving target which through frame difference algorithm.Secondly，target moving objects is detected that through optical flow algorithm and morphological processing.Finally，through MATLAB platform simulation reveals that the new method overcomes interference problem in moving target detection that exist traditional optical flow method.Meanwhile it is provides the effective auxiliary for military.

moving target tracking，optical flow，priori information，region grow，MATLAB

TP391

A

1002-0640（2015）10-0156-05

2014-08-20

2014-10-10

李倩倩（1987- ），女，山東龍口人，碩士。研究方向：數(shù)字圖像處理。