孫 鵬 周純冰 楊洪臣 沈

（中國刑警學院 遼寧 沈陽 110035）

基于相鄰幀減算法的監(jiān)控視頻關(guān)鍵幀檢測技術(shù)

（中國刑警學院 遼寧 沈陽 110035）

針對目前視頻偵查工作中監(jiān)控視頻數(shù)據(jù)量大、常規(guī)的人工瀏覽監(jiān)控視頻獲取案件相關(guān)信息的方式實時性差，漏檢率與誤檢率較高的難題，提出了一種利用相鄰幀減算法檢測監(jiān)控視頻中關(guān)鍵幀的技術(shù)，該技術(shù)首先將連續(xù)的監(jiān)控視頻分解為離散的單幀圖像，然后利用相鄰幀減算法對相鄰的單幀圖像進行減法運算，最終實現(xiàn)了對監(jiān)控視頻中關(guān)鍵幀的檢測，仿真實驗表明，本文提出的方法能夠較好地檢測監(jiān)控視頻中的關(guān)鍵幀，提高關(guān)鍵幀檢測的準確性與效率。

視頻偵查 監(jiān)控視頻 關(guān)鍵幀 背景差分算法 動態(tài)背景更新

1 導(dǎo)言

隨著各類視頻監(jiān)控系統(tǒng)的快速發(fā)展與普及，越來越多的監(jiān)控視頻被用于重點區(qū)域的防控與刑事案件的偵破當中，視頻偵查作為一種重要的案件信息獲取手段成為刑事科學技術(shù)領(lǐng)域一個新的研究熱點，引起了相關(guān)領(lǐng)域?qū)W者的普遍關(guān)注。通常認為，視頻偵查就是指根據(jù)案件偵破的需要，通過對案發(fā)現(xiàn)場及周邊視頻監(jiān)控視頻的采集、回放、分析和研判，綜合運用視頻監(jiān)控技術(shù)、關(guān)鍵幀提取技術(shù)、圖像處理與內(nèi)容識別技術(shù)等多種現(xiàn)代信息技術(shù)手段與傳統(tǒng)偵查措施相結(jié)合，深入挖掘案件相關(guān)線索、追蹤犯罪嫌疑人體貌特征、行為特征與行動軌跡，形成一種空間綜合、時間綜合、信息綜合的以實現(xiàn)打擊和防控刑事犯罪為目的的方法體系。目前實施視頻偵查的主要方式是依賴案發(fā)后視頻偵查員采取人工瀏覽視頻監(jiān)控視頻的方式來找尋案件相關(guān)信息。由于監(jiān)控視頻數(shù)據(jù)量很大，導(dǎo)致這種基于人工處理的視頻偵查方式容易出現(xiàn)以下的一些問題：工作強度大，持續(xù)時間長，容易對視頻偵查員的健康情況造成影響；犯罪相關(guān)的關(guān)鍵信息獲取實時性差，犯罪分子具有充分的時間進行逃逸、甚至二次作案；容易出現(xiàn)重要信息的遺漏或誤判。

為了解決上述問題，本文提出了一類適合于視頻偵查應(yīng)用的基于相鄰幀減算法監(jiān)控視頻關(guān)鍵幀檢測技術(shù)。實驗表明，本文提出的基于相鄰幀減算法的監(jiān)控視頻關(guān)鍵幀檢測技術(shù)能夠準確的識別監(jiān)控視頻中的關(guān)鍵幀，避免了由于人工瀏覽方式所造成的誤檢率與漏檢率較高的問題，提高了視頻偵查的效率。

2 相鄰幀減算法

相鄰幀減算法是一種基于圖像對應(yīng)位置像素差值的關(guān)鍵幀檢測技術(shù)，也稱之為相鄰幀差法。如果令表示一段監(jiān)控視頻，f（St）表示視頻中的圖像幀，則存在下面的形式：

式中，T表示監(jiān)控視頻的最大幀數(shù)。

相鄰幀減算法的基本原理為：

式中，f（St+1）和f（St+1）分別表示監(jiān)控視頻；V中的兩個相鄰的圖像幀；f（St+1）表示t+1時刻相鄰圖像幀相減得到的差值圖像的絕對值。

相鄰幀減算法就是利用視頻序列中連續(xù)的兩幀或幾幀圖像對應(yīng)像素點在灰度值上的差異進行目標的檢測和提取。一般的做法是將視頻中兩幀圖像用差分相減得到差值圖像，由差值圖像得到二值圖像，在差值圖像中，如果差值大于給定的閾值，則認為該像素為前景像素，即認為該像素為目標上的一點，否則認為是背景像素。

在濾除噪聲影響后，利用相鄰幀減算法可以比較準確地檢測出鏡頭畫面中出現(xiàn)的運動對象，并確定目標對象在圖像中的大小和位置。相鄰幀減算法簡單快速，易于實時實現(xiàn)，能夠準確地檢測畫面中出現(xiàn)的運動物體。相對于背景差分算法，由于采用相鄰幀進行內(nèi)容的比較，對光線、天氣等場景變化的敏感性低，對動態(tài)變化的環(huán)境有較強的適應(yīng)性，算法具有較好的魯棒性與穩(wěn)定性。

3 利用相鄰幀減算法檢測關(guān)鍵幀

考慮到現(xiàn)階段監(jiān)控視頻圖像的特點，直接通過相鄰幀減算法從監(jiān)控視頻中提取運動對象具有較高的算法復(fù)雜度，算法的實時性與魯棒性都比較差，容易受到背景變化、光照條件變化等因素的影響，導(dǎo)致運動對象提取的結(jié)果難以達到視頻偵查應(yīng)用的實際要求。雖然常規(guī)的相鄰幀減算法不能很好地解決監(jiān)控視頻中運動對象提取的問題，但是通過對相鄰幀減算法運算結(jié)果的分析不難發(fā)現(xiàn)，相鄰幀減算法能夠較好地捕捉到監(jiān)控視頻中快速的內(nèi)容變化。因此，從視頻偵查的實際需要出發(fā)，去除監(jiān)控視頻中的冗余數(shù)據(jù)，提取包含有關(guān)鍵事件相關(guān)信息的圖像幀，可以大大地提高視頻偵查工作的效率。通常可以將監(jiān)控視頻中與案件密切相關(guān)，包含有犯罪嫌疑人、車輛等物品體貌特征、行為特征及行動軌跡的圖像幀定義為關(guān)鍵幀。如圖1所示為基于相鄰幀減算法的關(guān)鍵幀檢測技術(shù)的流程圖。

圖1 基于相鄰幀減算法的關(guān)鍵幀檢測技術(shù)流程圖

如圖1所示，基于相鄰幀減算法的關(guān)鍵幀檢測技術(shù)大致可以分為圖像預(yù)處理、幀減運算和閾值比對三個基本的操作流程。相鄰幀減算法中參與減法運算的視頻幀首先必須為以時間為坐標連續(xù)的兩幅視頻圖像幀；其次，除了視頻當中的首幀和尾幀以外，監(jiān)控視頻中的每一個視頻幀都應(yīng)該參與兩次幀減運算；并且上一次運算中作為待檢測幀的圖像幀在完成一次運算之后作為參考幀立即進入下一次運算。通過上面的比較可以看出，與背景差分算法相比，參與相鄰幀減算法的視頻幀中沒有相對固定的視頻幀，兩幅視頻幀在關(guān)鍵幀檢測過程中不斷的發(fā)生交替變換，計算過程對于視頻內(nèi)容的變化十分敏感，因此可以實時的反應(yīng)視頻內(nèi)容中可能存在的各種微小變化。

與一般的視頻資料不同，監(jiān)控視頻通常具有固定的監(jiān)控區(qū)域，視頻拍攝參數(shù)等特征也相對穩(wěn)定，比較容易對視頻內(nèi)容進行濾波處理，因此可以利用相鄰幀減算法來檢測監(jiān)控視頻中存在的內(nèi)容變化，實現(xiàn)對監(jiān)控視頻中關(guān)鍵幀的檢測與定位?？梢岳霉剑?）判斷當前幀是否為關(guān)鍵幀的重要依據(jù)：

式中，bin[…]表示對差值圖像進行二值化處理；Tdk表示相鄰幀減算法中判別當前的帶檢測幀是否關(guān)鍵幀時所使用的關(guān)鍵閾值；fk（si），i=1，2，…nk表示從監(jiān)控視頻中檢測得到的關(guān)鍵幀序列。

從技術(shù)流程圖的描述中可以看出，關(guān)鍵閾值Tdk的選取直接決定了相鄰幀減算法的準確度和執(zhí)行效率，也決定了關(guān)鍵幀提取的數(shù)量多少，這里用Tdk的變化來說明關(guān)鍵幀序列的變化?？梢愿鶕?jù)監(jiān)控區(qū)域的特點、要求靈活的選擇適合的背景幀和關(guān)鍵閾值。具體的關(guān)鍵幀判斷規(guī)則可以分別兩種，計算差值圖像亮度累加和或差值圖像二值化處理之后所有前景像素數(shù)目(二值圖像中取值為1的像素數(shù)目)，然后與設(shè)定的關(guān)鍵閾值進行比對，最后根據(jù)比對的結(jié)果判斷參與運算的當前圖像幀是否為關(guān)鍵幀。

令fr（x，y）表示差值圖像，可以利用下面的公式計算差值圖像fr（x，y）中像素亮度的累積和：

式中，Isum表示大小為M×N的差值圖像的亮度累加和。

令表示差值圖像二值化后得到的二值圖像，它滿足下面的公式:

4 仿真實驗

為了驗證本文提出的基于相鄰幀減算法的關(guān)鍵幀檢測技術(shù)的有效性，使用某段監(jiān)控視頻作為實驗數(shù)據(jù)，進行了算法的仿真實驗。仿真實驗采用Matlab7.9.0（R2009b）作為仿真實驗平臺。

首先看一下如圖2所示的從上述監(jiān)控視頻中截取的三幅連續(xù)的關(guān)鍵幀圖像。圖中的關(guān)鍵幀圖像分別包含了快速行駛的車輛和騎自行車的行人（紅色標注區(qū)域）。

圖2 監(jiān)控視頻中的關(guān)鍵幀

利用相鄰幀減算法進行計算，得到如圖3所示的相鄰幀差值圖像及其二值化后的圖像。

如圖3所示，利用相鄰幀減算法得到的差值圖像及其二值化圖像中能夠明顯地觀察到汽車的輪廓，可以用來作為判斷關(guān)鍵幀的一個標準。而視頻畫面中騎自行車的行人(紅色標準區(qū)域)則無法通過相鄰幀減算法的結(jié)果圖像進行檢測。上述實驗結(jié)果表明相鄰幀減算法適合于低速運動背景下高速運動物體的檢測，特別適合于道路監(jiān)控中對于包含有高速運動車輛的監(jiān)控視頻關(guān)鍵幀的檢測。

圖3 相鄰幀差值圖像及其二值化圖像

5 結(jié)論

本文提出了一種基于相鄰幀減算法的監(jiān)控視頻關(guān)鍵幀檢測技術(shù)，并給出了詳細的技術(shù)原理與實現(xiàn)步驟。實驗表明，本文提出的技術(shù)，能夠快速準確地檢測監(jiān)控視頻中的關(guān)鍵幀，豐富了現(xiàn)有的視頻偵查技術(shù)手段，同時也進一步提高了視頻偵查的實時性與準確性。

[1]陳剛，續(xù)磊.視頻監(jiān)控圖像偵查方法研究[J].中國人民公安大學學報（社會科學版），2012，28（3）.

[2]孫鵬，張洪君，楊洪臣.利用背景差分法檢測監(jiān)控視頻中的關(guān)鍵幀[J].警察技術(shù)，2013，（3）.

[3]孫鵬，周純冰，楊洪臣，等.監(jiān)控視頻關(guān)鍵幀動態(tài)背景差分檢測技術(shù)[J].警察技術(shù)，2013，（5）.

[4]李波，姚春蓮，李煒，等.利用相鄰幀和背景信息的運動對象檢測[J].電子學報，2008，36 (11).

（責任編輯：孟凡騫）

TP391.4

A

2014-4-23

公安部應(yīng)用創(chuàng)新計劃項目（編號：2012YYCXXJXY129）；公安部重點研究計劃項目（編號：012ZDYJ XJXY17）；國家級大學生創(chuàng)新訓練計劃項目（編號：201210175069）。

孫鵬（1978-），男，遼寧沈陽人，中國刑警學院聲像資料檢驗技術(shù)系副教授，博士，主要從事圖像取證、視頻偵查研究。