魏 然，李 毅，李平凡，龔 標(biāo)，黃 鋼

（公安部交通管理科學(xué)研究所 道路交通安全重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫214151）

隨著數(shù)字媒體技術(shù)的快速發(fā)展，監(jiān)控視頻已經(jīng)在金融、教育、安防、道路交通等領(lǐng)域中得到了廣泛應(yīng)用。數(shù)字媒體取證（digital media forensics）正成為信息安全領(lǐng)域的新興研究熱點(diǎn)[1]。然而，由于監(jiān)控設(shè)備硬件條件、視頻傳輸/存儲(chǔ)/處理環(huán)境、人為篡改等諸多因素影響，監(jiān)控視頻缺幀、跳幀、重復(fù)幀、時(shí)間有誤等視頻時(shí)域不連續(xù)的現(xiàn)象廣泛存在，使得基于監(jiān)控視頻無(wú)法準(zhǔn)確計(jì)算視頻幀率、確定事件準(zhǔn)確時(shí)間、精確計(jì)算監(jiān)控目標(biāo)的運(yùn)動(dòng)速度，嚴(yán)重影響了數(shù)字媒體取證的可信度。盡管通過(guò)人工對(duì)視頻進(jìn)行逐幀分析可實(shí)現(xiàn)非連續(xù)時(shí)域視頻的辨識(shí)，但此類方法依賴經(jīng)驗(yàn)、效率較低，無(wú)法滿足當(dāng)前工作需求。因此，開(kāi)展非連續(xù)時(shí)域視頻自動(dòng)辨識(shí)方法的研究變得日益迫切和重要。

目前非連續(xù)時(shí)域視頻辨識(shí)方法可分為基于視頻屬性和視頻內(nèi)容兩類[2]，基于視頻屬性的辨識(shí)方法主要依據(jù)嵌入視頻的數(shù)字水印、簽名等特定信號(hào)與視頻碼流、碼率等視頻編碼信息進(jìn)行對(duì)比[3]；基于視頻內(nèi)容的方法無(wú)需嵌入特定信息，主要依據(jù)視頻中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)規(guī)律分析判斷視頻時(shí)域連續(xù)性，因此實(shí)用性更強(qiáng)?；谝曨l內(nèi)容的運(yùn)動(dòng)檢測(cè)算法的大量成果可應(yīng)用于非連續(xù)時(shí)域視頻的檢測(cè)，目前主流的運(yùn)動(dòng)檢測(cè)算法有粒子濾波（PF）、目標(biāo)匹配法、卡爾曼濾波（kalman）、及均值偏移（mean shift）[4-5]、光流周期[6-7]、背景差分[8]等，但基于視頻內(nèi)容的運(yùn)動(dòng)檢測(cè)算法對(duì)環(huán)境，場(chǎng)景中的遮擋、光線等背景變化和噪聲等影響很敏感[9]，提高運(yùn)動(dòng)檢測(cè)算法的精度與適用范圍是該領(lǐng)域的研究熱點(diǎn)[10-12]。如何利用運(yùn)動(dòng)檢測(cè)算法評(píng)價(jià)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)連續(xù)性，并選擇合適的評(píng)價(jià)指標(biāo)辨識(shí)非連續(xù)時(shí)域視頻仍是運(yùn)動(dòng)檢測(cè)應(yīng)用于數(shù)字媒體取證的難點(diǎn)。

本文針對(duì)非連續(xù)時(shí)域視頻，引入基于視頻內(nèi)容的運(yùn)動(dòng)檢測(cè)算法，提出非連續(xù)時(shí)域視頻的評(píng)價(jià)指標(biāo)，研究非連續(xù)時(shí)域視頻的辨識(shí)方法流程，并開(kāi)展不同算法對(duì)檢測(cè)結(jié)果的差異

1 基于視頻內(nèi)容的運(yùn)動(dòng)檢測(cè)算法

1.1 基于光流的運(yùn)動(dòng)檢測(cè)

“光流”（optical flow algorithm）指空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的速度[13]，基于光流的運(yùn)動(dòng)檢測(cè)算法的基本原理[14]是對(duì)圖像中的像素點(diǎn)賦予速度矢量，當(dāng)目標(biāo)運(yùn)動(dòng)時(shí)，其速度矢量必然強(qiáng)于背景的速度矢量，當(dāng)差異超過(guò)閾值時(shí)即可檢測(cè)出運(yùn)動(dòng)目標(biāo)的結(jié)構(gòu)與位置[15]。光流法需假設(shè)視頻圖像中的亮度恒定，此時(shí)像素點(diǎn)（x，y）在t時(shí)刻的灰度值I（x，y，t）滿足基本光流約束方程：

其泰勒級(jí)數(shù)展開(kāi)形式為：

根據(jù)公式（2）可得到光流的基本方程：

式中，u、v即是該像素點(diǎn)沿x、y方向的光流，通過(guò)公式（3）可計(jì)算視頻圖像中的像素點(diǎn)光流矢量IOF（i），實(shí)現(xiàn)對(duì)目標(biāo)的運(yùn)動(dòng)檢測(cè)。光流法要求視頻中亮度恒定[7]，但在實(shí)際應(yīng)用中，通常監(jiān)控視頻的亮度會(huì)因?yàn)閬?lái)往車(chē)輛發(fā)生變化，特別是夜晚或場(chǎng)景較大的路口監(jiān)控視頻中，環(huán)境光照的變化都不可避免，將影響光流法運(yùn)動(dòng)檢測(cè)的準(zhǔn)確性。

1.2 基于背景差分的運(yùn)動(dòng)檢測(cè)

背景差分法（background difference algorithm）適用于背景固定條件下監(jiān)控視頻中的運(yùn)動(dòng)檢測(cè)，由于其算法簡(jiǎn)單、無(wú)需事先獲取運(yùn)動(dòng)目標(biāo)結(jié)構(gòu)信息，在運(yùn)動(dòng)目標(biāo)檢測(cè)領(lǐng)域有廣泛應(yīng)用[16]。如圖1所示，背景差分法的原理是通過(guò)對(duì)待檢幀與背景幀之間的灰度值進(jìn)行差分，從而判斷運(yùn)動(dòng)目標(biāo)所在的區(qū)域[17]。

圖1 背景差分法原理示意圖

設(shè)待檢幀的灰度值為I（i），以視頻的N+1幀圖像灰度值的均值為背景模板[18]：

待檢幀與背景幀進(jìn)行差分時(shí)的閾值化處理，需滿足：

式中，T為檢測(cè)閾值，其取值由背景幀的灰度直方圖確定[19]。背景差分法能較好地避免環(huán)境光照對(duì)運(yùn)動(dòng)目標(biāo)的干擾，但該算法對(duì)距離較遠(yuǎn)的目標(biāo)或運(yùn)動(dòng)速度較低的目標(biāo)不敏感，在檢測(cè)宏觀或較大場(chǎng)景區(qū)域內(nèi)的運(yùn)動(dòng)物體時(shí)誤檢率高。

2 非連續(xù)時(shí)域視頻辨識(shí)方法研究

利用光流法、背景差分等運(yùn)動(dòng)檢測(cè)算法可獲得監(jiān)控視頻中目標(biāo)的運(yùn)動(dòng)軌跡和觀測(cè)成像面上的運(yùn)動(dòng)速率，根據(jù)檢測(cè)目標(biāo)運(yùn)動(dòng)軌跡或速率的連續(xù)與否，可判斷監(jiān)控視頻的時(shí)域連續(xù)性。本章將探討基于運(yùn)動(dòng)檢測(cè)算法的非連續(xù)時(shí)域視頻評(píng)價(jià)指標(biāo)與檢測(cè)方法。

2.1 基于運(yùn)動(dòng)檢測(cè)的非連續(xù)時(shí)域視頻評(píng)價(jià)指標(biāo)

為了研究基于運(yùn)動(dòng)檢測(cè)的非連續(xù)時(shí)域視頻評(píng)價(jià)指標(biāo)，選取2個(gè)路口監(jiān)控視頻進(jìn)行分析。以監(jiān)控畫(huà)面中由右向左移動(dòng)的小型轎車(chē)為運(yùn)動(dòng)檢測(cè)對(duì)象，其中案例1為非連續(xù)時(shí)域視頻，案例2為連續(xù)時(shí)域視頻，選擇的監(jiān)控視頻均為夜晚環(huán)境，可檢驗(yàn)各檢測(cè)算法對(duì)視頻中環(huán)境光照變化的適應(yīng)性。

對(duì)監(jiān)控視頻解幀后，以視頻畫(huà)面中小型轎車(chē)前大燈后角點(diǎn)為“特征點(diǎn)”，人工逐幀記錄特征點(diǎn)在畫(huà)面中的位置。如圖2A所示，案例1中小型轎車(chē)特征點(diǎn)的運(yùn)動(dòng)軌跡不連續(xù)，例如第3、4幀之間，第6、7幀之間，第12、13幀之間的運(yùn)動(dòng)軌跡間隔存在不均勻的現(xiàn)象；如圖2B所示，案列2中的小型轎車(chē)特征點(diǎn)的運(yùn)動(dòng)軌跡間隔均勻。通過(guò)對(duì)案例1與案例2中小型轎車(chē)特征點(diǎn)運(yùn)動(dòng)軌跡的對(duì)比，可判斷案例1中視頻存在缺幀、跳幀現(xiàn)象。為量化非連續(xù)時(shí)域視頻評(píng)價(jià)指標(biāo)，現(xiàn)對(duì)案例1與案例2中小型轎車(chē)特征點(diǎn)的運(yùn)動(dòng)軌跡進(jìn)一步分析。

圖2 連續(xù)時(shí)域視頻與非連續(xù)時(shí)域視頻對(duì)比

如圖3A所示，逐幀記錄兩段監(jiān)控視頻中小型轎車(chē)特征點(diǎn)運(yùn)動(dòng)軌跡的像素距離（相鄰幀中兩特征點(diǎn)間的像素?cái)?shù)量），案例1、案例2中幀間特征點(diǎn)像素距離均有階躍現(xiàn)象，且像素距離將受運(yùn)動(dòng)檢測(cè)目標(biāo)在視頻中的位置與運(yùn)動(dòng)方向的影響，當(dāng)運(yùn)動(dòng)檢測(cè)目標(biāo)遠(yuǎn)離視頻畫(huà)面時(shí)，其特征點(diǎn)軌跡的像素距離將逐漸變??；同時(shí)，當(dāng)運(yùn)動(dòng)目標(biāo)的速度發(fā)生變化后，其特征點(diǎn)軌跡的像素距離也會(huì)隨之改變。因此受到以上因素的干擾，通過(guò)像素距離無(wú)法判斷視頻時(shí)域連續(xù)性。

為了排除檢測(cè)目標(biāo)在視頻中的位置與運(yùn)動(dòng)方向的影響，使用像素距離變化率R（i）作為辨識(shí)非連續(xù)時(shí)域視頻的評(píng)價(jià)指標(biāo)，像素距離變化率R（i）表示為：

如圖3B所示，案例1監(jiān)控視頻的幀序列出現(xiàn)缺幀、跳幀現(xiàn)象時(shí)，像素距離的變化不均勻，此時(shí)小型轎車(chē)的特征點(diǎn)像素距離變化率大于1；案例2中的小型轎車(chē)的特征點(diǎn)像素距離變化率幅值較小，且R（i）均小于 0.1。

由于在連續(xù)時(shí)域視頻中，如檢測(cè)目標(biāo)的像素距離變化率大于1，其運(yùn)動(dòng)速度將呈指數(shù)級(jí)變化，此類物體在實(shí)際場(chǎng)景中很少出現(xiàn)。因此選擇特征點(diǎn)像素距離變化率閾值為1，當(dāng)視頻中的運(yùn)動(dòng)目標(biāo)特征點(diǎn)素距離變化率幅值大于1時(shí)，可判斷該視頻為非連續(xù)時(shí)域視頻。

圖3 非連續(xù)時(shí)域視頻評(píng)價(jià)指標(biāo)對(duì)比

綜上，以監(jiān)控視頻特征點(diǎn)像素距離變化率作為評(píng)價(jià)指標(biāo)（R（i）=1為閾值），能避免運(yùn)動(dòng)檢測(cè)目標(biāo)在視頻中的位置、運(yùn)動(dòng)速度與運(yùn)動(dòng)方向?qū)z測(cè)的影響，從而準(zhǔn)確判斷視頻的時(shí)域是否連續(xù)。

2.2 融合背景差分與光流法的非連續(xù)時(shí)域視頻檢測(cè)方法

通過(guò)人工逐幀記錄特征點(diǎn)的位置，并利用像素距離變化率評(píng)價(jià)視頻時(shí)域連續(xù)性具有較高的識(shí)別精度，但辨識(shí)效率不高。為了高效準(zhǔn)確地對(duì)非連續(xù)時(shí)域視頻進(jìn)行檢測(cè)，本節(jié)將探討融合背景差分與光流法的非連續(xù)時(shí)域視頻檢測(cè)方法（background difference and optical flow method， BDOF），如圖 4所示，主要步驟如下：

圖4 BDOF檢測(cè)方法流程圖

2.2.1 截取視頻的運(yùn)動(dòng)目標(biāo)檢測(cè)區(qū)域

根據(jù)待檢視頻特點(diǎn)，截取視頻畫(huà)面中運(yùn)動(dòng)目標(biāo)的檢測(cè)區(qū)域，避免有多個(gè)運(yùn)動(dòng)物體穿過(guò)檢測(cè)區(qū)域干擾檢測(cè)區(qū)域內(nèi)的光流場(chǎng)，同時(shí)也可以減少光流場(chǎng)的計(jì)算區(qū)域，提高BDOF方法的檢測(cè)效率。

2.2.2 背景差分法

對(duì)截取的視頻進(jìn)行逐幀分解，獲取背景幀與幀序列；根據(jù)視頻光照環(huán)境選擇合適的閾值TT，利用公式（2）、（3）分法別對(duì)第 i幀、第 i+1 幀和第 i+2 幀與背景幀進(jìn)行差分。

2.2.3 光流法

利用公式（1）、（2）、（3），對(duì)差分后的第 i幀 BD（i）、第 i+1 幀 BD（i+1）和第 i+2 幀 BD（i+2）進(jìn)行計(jì)算，獲取第 i幀光流 IOF（i）和第 i+1 幀光流 IOF（i+1）。

2.2.4 判斷視頻時(shí)域連續(xù)性

為了排除檢測(cè)目標(biāo)在視頻中的位置、運(yùn)動(dòng)方向和運(yùn)動(dòng)速度的影響，選擇光流變化率ROF作為視頻時(shí)域連續(xù)性的評(píng)價(jià)指標(biāo)，利用公式（6）計(jì)算視頻中相鄰幀的光流變化率，如幀序列中存在相鄰幀光流變化率大于1的現(xiàn)象，則可判斷該視頻時(shí)域不連續(xù)。

3 BDOF檢測(cè)方法結(jié)果驗(yàn)證分析

為了檢驗(yàn)BDOF方法的有效性，本章將針對(duì)實(shí)際案例，研究BDOF方法與光流法在辨識(shí)非連續(xù)時(shí)域視頻的差異性，并利用公開(kāi)視頻數(shù)據(jù)庫(kù)對(duì)檢驗(yàn)BDOF方法進(jìn)行試驗(yàn)，驗(yàn)證BDOF方法的監(jiān)測(cè)準(zhǔn)確性進(jìn)。

3.1 不同算法檢測(cè)結(jié)果對(duì)比分析

分別利用BDOF方法和光流法對(duì)案例1、案例2視頻的時(shí)域連續(xù)性進(jìn)行辨識(shí)，如圖5A所示，對(duì)視頻解幀后，由于場(chǎng)景內(nèi)光照的影響，使用光流法得到的光流場(chǎng)無(wú)法與目標(biāo)車(chē)輛的運(yùn)動(dòng)場(chǎng)有效區(qū)分；如圖5B所示，使用BDOF方法對(duì)案例1視頻進(jìn)行解幀和背景差分后，有效篩除了視頻圖像中的背景環(huán)境，僅顯示目標(biāo)車(chē)輛在運(yùn)動(dòng)中的特征點(diǎn)，在此基礎(chǔ)上得到的光流場(chǎng)能較好反應(yīng)車(chē)輛的運(yùn)動(dòng)屬性。

圖5 案例1視頻幀間光流場(chǎng)不同算法對(duì)比

由于視頻中光照變化的影響，直接使用光流法無(wú)法區(qū)分目標(biāo)車(chē)輛的運(yùn)動(dòng)場(chǎng)與光流法，光流法無(wú)法對(duì)視頻的時(shí)域連續(xù)性進(jìn)行有效辨識(shí)，如圖6A所示，案例1、案例2視頻的光流變化率均大于1，由于光流場(chǎng)受到嚴(yán)重影響，直接使用光流法，檢測(cè)結(jié)果無(wú)法準(zhǔn)確區(qū)分案例1和案例2的時(shí)域連續(xù)性。如圖6B所示，使用BDOF方法能有效辨識(shí)視頻時(shí)域的連續(xù)性，案例2視頻的光流變化率均小于1。

圖6 光流法與BDOF方法檢測(cè)結(jié)果對(duì)比

綜上，BDOF方法結(jié)合了背景差分法與光流法的優(yōu)勢(shì)，能有效避免視頻場(chǎng)景中光照對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的影響，并能高效地對(duì)視頻時(shí)域的連續(xù)性進(jìn)行自動(dòng)檢測(cè)。

3.2 BDOF檢測(cè)方法驗(yàn)證研究

為了驗(yàn)證BDOF方法對(duì)視頻時(shí)域連續(xù)性的檢測(cè)精度，如表1所示，選擇 LIMU、CDNET、AVSS和CVRR等公開(kāi)視頻數(shù)據(jù)庫(kù)中的6個(gè)典型交通路口監(jiān)控視頻對(duì)BDOF方法進(jìn)行檢驗(yàn)試驗(yàn)，選擇公交車(chē)站、交叉路口、高速公路等常見(jiàn)交通環(huán)境，考慮清晨、夜晚等光照較差的環(huán)境，同時(shí)視頻中的各類車(chē)輛運(yùn)動(dòng)方向、速度不同。

根據(jù)BDOF方法流程，截取視頻畫(huà)面中運(yùn)動(dòng)目標(biāo)的檢測(cè)區(qū)域（見(jiàn)圖7中黃色方框），計(jì)算檢測(cè)區(qū)域內(nèi)的光流變化率。經(jīng)檢驗(yàn)，序號(hào)1視頻和序號(hào)6視頻時(shí)域不連續(xù)。

圖7 典型路口監(jiān)控視頻及其運(yùn)動(dòng)檢測(cè)區(qū)域

表1 不同視頻時(shí)域連續(xù)性檢測(cè)結(jié)果統(tǒng)計(jì)

圖8 利用BDOF方法下不同視頻的光流變化率

如圖8A所示，序號(hào)1視頻的光流變化率曲線中有階躍現(xiàn)象，且其峰值大于100，遠(yuǎn)超過(guò)閾值1，經(jīng)人工復(fù)檢確認(rèn)，該視頻的1061幀與1062幀重復(fù)，因此這兩幀之間的光流為0，與其他相鄰幀的光流存在較大的區(qū)別，符合BDOF方法的檢測(cè)結(jié)果；如圖8F所示，序號(hào)6視頻的幀序列中光流變化率多處超過(guò)閾值1，經(jīng)人工復(fù)檢確認(rèn)，該視頻有丟幀現(xiàn)象。其余視頻的光流變化率曲線峰值均小于1，經(jīng)人工檢測(cè)，其余視頻的時(shí)域均連續(xù)，與BDOF方法的檢測(cè)結(jié)果相同。

通過(guò)公開(kāi)視頻數(shù)據(jù)庫(kù)的驗(yàn)證試驗(yàn)，BDOF方法有較為穩(wěn)定的檢測(cè)精度，通過(guò)輸出視頻幀序列的光流變化率曲線，能準(zhǔn)確辨識(shí)視頻時(shí)域連續(xù)性。但該方法因基于光流法，目前存在一定的局限性，如在限定的幀序列中有運(yùn)動(dòng)目標(biāo)穿過(guò)檢測(cè)區(qū)域，會(huì)造成檢測(cè)區(qū)域內(nèi)的光流場(chǎng)不穩(wěn)定，影響檢測(cè)精度；其次BDOF方法適用于交通、道路、機(jī)場(chǎng)、港口等較大場(chǎng)景監(jiān)控視頻的檢測(cè)，當(dāng)檢測(cè)區(qū)域內(nèi)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡過(guò)于復(fù)雜時(shí)，光流場(chǎng)也會(huì)變得不穩(wěn)定，影響該方法的檢測(cè)精度。在接下來(lái)的工作中應(yīng)繼續(xù)優(yōu)化提升BDOF方法的檢測(cè)精度和檢測(cè)效率。

4 結(jié)論

本文研究了基于視頻內(nèi)容的運(yùn)動(dòng)檢測(cè)算法在辨識(shí)非連續(xù)時(shí)域視頻中的應(yīng)用，提出了非連續(xù)時(shí)域視頻的評(píng)價(jià)指標(biāo)，探討了不同算法的檢測(cè)精度與效率，主要結(jié)論如下：

（1）以特征點(diǎn)像素距離變化率、光流變化率為視頻時(shí)域連續(xù)性的評(píng)價(jià)指標(biāo)能避免運(yùn)動(dòng)檢測(cè)目標(biāo)在視頻中的位置與運(yùn)動(dòng)方向?qū)z測(cè)的影響，從而準(zhǔn)確判斷視頻時(shí)域的連續(xù)性；

（2）本文提出的融合背景差分與光流法的非連續(xù)時(shí)域視頻檢測(cè)方法（BDOF）結(jié)合了背景差分法與光流法的優(yōu)點(diǎn)，能有效避免視頻場(chǎng)景光照變化的影響，實(shí)現(xiàn)對(duì)視頻時(shí)域連續(xù)性的高效辨識(shí)。

（3）本文提出非連續(xù)時(shí)域視頻的評(píng)價(jià)指標(biāo)與辨識(shí)方法可在視頻時(shí)域分析、視頻篡改檢測(cè)、數(shù)字媒體取證等技術(shù)領(lǐng)域推廣應(yīng)用。