藍(lán)章禮，帥 丹，李益才

( 重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400047)

基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法

藍(lán)章禮，帥 丹，李益才

( 重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400047)

為從固定攝像頭的道路監(jiān)控視頻中有效地提取出關(guān)鍵幀，提出了基于相關(guān)系數(shù)的關(guān)鍵幀提取算法。算法將監(jiān)控視頻中圖像幀的RGB值處理為灰度值，結(jié)合滑動(dòng)窗口機(jī)制，通過當(dāng)前幀和當(dāng)前關(guān)鍵幀之間相關(guān)系數(shù)的絕對(duì)值與閾值比較判斷當(dāng)前幀是否為關(guān)鍵幀。實(shí)驗(yàn)結(jié)果表明：算法在有效提取關(guān)鍵幀的同時(shí)還具有流程清晰、避免了冗余關(guān)鍵幀的特性。最后利用基于歐式距離的幀間差異性對(duì)提取的關(guān)鍵幀進(jìn)行評(píng)價(jià)，驗(yàn)證了算法的有效性和合理性。

交通運(yùn)輸工程；關(guān)鍵幀；相關(guān)系數(shù)；滑動(dòng)窗口；道路監(jiān)控

隨著網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展，涌現(xiàn)出了大量多媒體信息。為方便管理和索引海量的視頻數(shù)據(jù)，視頻數(shù)據(jù)庫(kù)管理系統(tǒng)得到了廣泛應(yīng)用。視頻數(shù)據(jù)庫(kù)管理系統(tǒng)中需要有效地視頻摘要、視頻檢索技術(shù)，而這些技術(shù)的基礎(chǔ)和關(guān)鍵是如何有效地提取關(guān)鍵幀[1-5]。尤其在道路監(jiān)控中，存在大量的視頻數(shù)據(jù)需要存儲(chǔ)和分析、處理。

關(guān)鍵幀是鏡頭中最具有代表性、最重要的一幀或者多幀圖像。提取的關(guān)鍵幀一般滿足兩個(gè)基本原則：盡可能完整、準(zhǔn)確地反映鏡頭的主要內(nèi)容；數(shù)據(jù)量小，計(jì)算簡(jiǎn)潔。關(guān)鍵幀提取技術(shù)的使用，大大減少了視頻數(shù)據(jù)的處理量，為視頻摘要和檢索提供了組織框架。

1 典型的關(guān)鍵幀提取算法

關(guān)鍵幀提取技術(shù)因其在視頻摘要和視頻檢索中的重要地位，近幾年得到了廣大研究者的廣泛關(guān)注，同時(shí)也有一些重要的研究成果。關(guān)鍵幀的提取主要有以下幾種方法。

1.1 基于鏡頭邊界提取關(guān)鍵幀

當(dāng)一段視頻分割為鏡頭之后，將每個(gè)鏡頭的第一幀或者最后一幀作為該鏡頭的關(guān)鍵幀，如視頻鏡頭邊界檢測(cè)及關(guān)鍵幀提取算法[6]，及基于多種視頻特征的鏡頭邊界檢測(cè)算法[7]。此類方法實(shí)現(xiàn)簡(jiǎn)單，運(yùn)算量小，關(guān)鍵幀數(shù)目一般固定，但選取的關(guān)鍵幀多數(shù)情況下不能完整的反映一個(gè)鏡頭的信息，不具有代表性。

1.2 基于聚類提取關(guān)鍵幀

鏡頭聚類主要研究鏡頭之間的關(guān)系，即如何將內(nèi)容相近的鏡頭組合起來(lái)，先初始類中心，再將當(dāng)前幀的特征值與某個(gè)類的距離進(jìn)行比較，判斷當(dāng)前幀是歸于某個(gè)類還是作為一個(gè)新類，最后對(duì)鏡頭中的幀進(jìn)行聚類分析，關(guān)鍵幀為與類中心距離最小的幀，如改進(jìn)的蟻群算法與凝聚相結(jié)合的關(guān)鍵幀提取[2]，基于聚類的關(guān)鍵幀提取算法[8]。此類方法綜合考慮了鏡頭內(nèi)和鏡頭間的相關(guān)性，但不能有效地保存原鏡頭中圖像幀的動(dòng)態(tài)信息和時(shí)間順序，同時(shí)計(jì)算量很大。

1.3 基于運(yùn)動(dòng)分析提取關(guān)鍵幀

通過光流分析來(lái)計(jì)算鏡頭中的運(yùn)動(dòng)量，包括基于局部運(yùn)動(dòng)和基于全局運(yùn)動(dòng)的方法，如W0LF光流法，利用光流與熵統(tǒng)計(jì)法對(duì)花卉生長(zhǎng)視頻進(jìn)行關(guān)鍵幀提取[9]。此類方法能很好地表達(dá)視頻內(nèi)的全局性運(yùn)動(dòng)，但在分析運(yùn)動(dòng)時(shí)，所需要的計(jì)算量較大，且局部最小值也不一定準(zhǔn)確。

1.4 基于視覺內(nèi)容提取關(guān)鍵幀

通過每一幀圖像視覺內(nèi)容的變化程度提取關(guān)鍵幀，如圖像的紋理、顏色等視覺信息，當(dāng)圖像的這些信息有顯著變化時(shí)，當(dāng)前幀即為關(guān)鍵幀，如利用改進(jìn)的互信息量對(duì)關(guān)鍵幀提取的研究[10]，對(duì)基于鏡頭內(nèi)容的視頻檢索系統(tǒng)研究[11]。此類方法選取的關(guān)鍵幀數(shù)目由鏡頭變化程度決定，選取的關(guān)鍵幀能夠反映鏡頭內(nèi)圖像的變化，但選取的幀不一定具有代表意義，同時(shí)物體快速運(yùn)動(dòng)時(shí)，容易選取出過多連續(xù)的關(guān)鍵幀。筆者針對(duì)現(xiàn)有基于圖像信息提取關(guān)鍵幀存在的問題，結(jié)合滑動(dòng)窗口機(jī)制，提出了基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法。

2 基于相關(guān)系數(shù)的關(guān)鍵幀提取算法

2.1 算法提出

道路監(jiān)控中，主要關(guān)注車輛信息和異常信息，因此道路監(jiān)控視頻關(guān)鍵幀可以定義為有車輛運(yùn)行和出現(xiàn)異常信息的幀，即圖像幀間變化較大的圖像幀。在道路監(jiān)控中，攝像頭位置固定，監(jiān)控視頻鏡頭單一，不需要鏡頭分割，不能直接使用上述4種典型的關(guān)鍵幀提取算法，筆者結(jié)合滑動(dòng)窗口提出了基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法。

道路監(jiān)控視頻中，兩個(gè)圖像幀之間的相關(guān)系數(shù)絕對(duì)值越小，其圖像的變化越大；反之，圖像變化越小?；谙嚓P(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法是通過比較當(dāng)前幀與關(guān)鍵幀的相關(guān)系數(shù)絕對(duì)值與自定義閾值θ的大小判別當(dāng)前幀是否為關(guān)鍵幀。筆者將圖像幀的RGB值轉(zhuǎn)化為灰度值Y進(jìn)行處理和分析，降低了算法復(fù)雜度，減小了計(jì)算量；使用滑動(dòng)窗口，有效地防止提取過多連續(xù)重復(fù)關(guān)鍵幀，得到與前一關(guān)鍵幀相比差別更大、更具有代表性的關(guān)鍵幀。

2.2 算法流程

算法的基本過程描述為：

輸入：視頻文件自定義閾值θ，滑動(dòng)窗口寬度w。

輸出：視頻關(guān)鍵幀序列。

1)從視頻文件中分離視頻流，讀取圖像幀數(shù)目N；

2)初始化，定義關(guān)鍵幀F(xiàn)k=F0，從第1幀開始遍歷視頻幀序列，index=1；

3)判斷視頻中的所有圖像幀是否遍歷完成，即index

4)N幀內(nèi)，滑動(dòng)窗口(Findex,Findex+1,Findex+2,…,Findex+w-1)內(nèi)的幀與關(guān)鍵幀F(xiàn)k的相關(guān)系數(shù)絕對(duì)值最小值的第l幀F(xiàn)l，相關(guān)系數(shù)絕對(duì)值最小值記為|r(Fk，F(xiàn)l)|；

5)判別第l幀F(xiàn)l是否為關(guān)鍵幀，若g(Fk，F(xiàn)l)=|r(Fk，F(xiàn)l)|-θ>0，則Fl不是關(guān)鍵幀，轉(zhuǎn)至步驟7)；若g(Fk，F(xiàn)l)=|r(Fk，F(xiàn)l)|-θ<0，則Fl是關(guān)鍵幀，輸出關(guān)鍵幀信息，并轉(zhuǎn)向下一步；

6)重新定義當(dāng)前關(guān)鍵幀F(xiàn)k=Fl，更改遍歷序列下標(biāo)index=l+1，轉(zhuǎn)至步驟3)；

7)改變遍歷序列下標(biāo)index=index+w，轉(zhuǎn)至步驟3)。

2.3 圖像幀預(yù)處理

從道路監(jiān)控視頻流中獲取的圖像幀中，包含了圖像中像素點(diǎn)的RGB信息，筆者用相關(guān)系數(shù)分析圖像幀的差別，注重的是圖像的輪廓信息，灰度圖像是像素點(diǎn)之間只有亮度差別而沒有顏色差別的圖像，因此可以利用圖像的灰度值進(jìn)行分析[12]。彩色圖像灰度化公式為：

Y=0.299R+0.578G+0.114B

(1)

式中：Y是圖像的灰度值集合；R，G，B分別代表彩色圖像的紅、綠、藍(lán)三個(gè)顏色通道的數(shù)值集合，將第l幀圖像的灰度信息集合記為Fl，其表達(dá)式為：

Fl={Y(1,1),Y(1,2),…,Y(1,n),Y(2,1),Y(2,2),…,Y(m,n)}

(2)

式中：Y(i,j)為圖像第i行第j列像素點(diǎn)的灰度值；Y(1,1)為第l幀圖像第1行第1列像素點(diǎn)的灰度值；m為圖像的寬度；n為圖像的高度。

將原來(lái)圖像幀的RGB值轉(zhuǎn)化為圖像幀的灰度信息Fl進(jìn)行分析，可以有效降低算法復(fù)雜度，減小計(jì)算量。

2.4 關(guān)鍵幀判別

通過與當(dāng)前關(guān)鍵幀F(xiàn)k比較，判別第l幀F(xiàn)l是否為關(guān)鍵幀。關(guān)鍵幀判別函數(shù)g(Fk,Fl)的表達(dá)式為：

g(Fk，F(xiàn)l)=|r(Fk，F(xiàn)l)|-θ

(3)

式中：θ為自定義閾值；r(Fk，F(xiàn)l)為關(guān)鍵幀F(xiàn)k與第l幀F(xiàn)l的相關(guān)系數(shù)，其表達(dá)式為：

(4)

(5)

cov(Fk,Fl)=E[(Fk-E[Fk])(Fl-E[Fl])]=

(6)

(7)

關(guān)鍵幀F(xiàn)k與第l幀F(xiàn)l的相關(guān)系數(shù)r(Fk,Fl)為：

(8)

式中：m為圖像像素列數(shù)；n為圖像像素行數(shù)。

相關(guān)系數(shù)絕對(duì)值|r(Fk,Fl)|越大，表示關(guān)鍵幀F(xiàn)k與第l幀F(xiàn)l的相關(guān)性越小，變化越大；反之，變化越小。判別函數(shù)g(Fk，F(xiàn)l)<0時(shí)，判別第l幀F(xiàn)l相對(duì)于當(dāng)前關(guān)鍵幀F(xiàn)k為關(guān)鍵幀；反之，第l幀F(xiàn)l不是關(guān)鍵幀。

2.5 滑動(dòng)窗口

在關(guān)鍵幀的提取過程中，為了避免提取出連續(xù)重復(fù)的關(guān)鍵幀，采用滑動(dòng)窗口機(jī)制。滑動(dòng)窗口是將連續(xù)的w個(gè)圖像幀組成一個(gè)集合，用關(guān)鍵幀判別函數(shù)g(Fk，F(xiàn)l)判斷滑動(dòng)窗口中相關(guān)性絕對(duì)值最小的幀F(xiàn)l相對(duì)于當(dāng)前關(guān)鍵幀F(xiàn)k是否為關(guān)鍵幀，不存在關(guān)鍵幀，滑動(dòng)窗口移動(dòng)到窗口中最后一幀的下一幀；存在關(guān)鍵幀，滑動(dòng)窗口移動(dòng)到關(guān)鍵幀的后一幀。

關(guān)鍵幀的提取過程中，滑動(dòng)窗口機(jī)制描述為：

1) 依次計(jì)算當(dāng)前關(guān)鍵幀F(xiàn)k與滑動(dòng)窗口內(nèi)的圖像幀(Fi,Fi+1,Fi+2,…,Fi+w-1)相關(guān)系數(shù)的絕對(duì)值|r(Fk，F(xiàn)i)|，|r(Fk，F(xiàn)i+1)|，|r(Fk，F(xiàn)i+2)|,…,|r(Fk，F(xiàn)i+w-1)|；

2) 找出相關(guān)系數(shù)絕對(duì)值最小的第l幀F(xiàn)l，其最小的相關(guān)系數(shù)絕對(duì)值表示為|r(Fk，F(xiàn)l)|；

3) 利用關(guān)鍵幀判別函數(shù)g(Fk,Fl)判別第l幀F(xiàn)l是否為關(guān)鍵幀，是則轉(zhuǎn)至步驟5)，否則轉(zhuǎn)向下一步；

4) 將滑動(dòng)窗口移動(dòng)至第(i+w)幀，繼續(xù)查找下一個(gè)滑動(dòng)窗口(Fi+w,Fi+w+1,Fi+w+2,…,Fi+2w-1)中的關(guān)鍵幀；

5) 將滑動(dòng)窗口移動(dòng)至第(l+1)幀，繼續(xù)查找下一個(gè)滑動(dòng)窗口(Fl+1,Fl+2,Fl+3,…,Fl+w)中的關(guān)鍵幀。

其中，滑動(dòng)窗口大小的選取主要考慮2方面的因素：① 滑動(dòng)窗口不宜選取過大，防止漏選取關(guān)鍵幀；② 滑動(dòng)窗口不宜選取過小，防止提取過多的冗余關(guān)鍵幀。因此需要結(jié)合監(jiān)控區(qū)域大小、車速及車輛通過監(jiān)控區(qū)域的時(shí)間選取合適大小的滑動(dòng)窗口。

實(shí)驗(yàn)中，在車速正常的情況下，一般車輛通過監(jiān)控區(qū)域的時(shí)長(zhǎng)為1～2 s且分析的視頻為PAL制式、AVI格式，幀速率為25幀/s，因此滑動(dòng)窗口選取25～50幀之間均可，若滑動(dòng)窗口大小比25小很多，可能出現(xiàn)冗余幀；若滑動(dòng)窗口比50大，可能漏提取關(guān)鍵幀。文中滑動(dòng)窗口的大小w取25，以圖1說明滑動(dòng)窗口工作原理。

圖1 滑動(dòng)窗口(w=25)工作原理Fig.1 Working principle of sliding window

(w=25)

圖1(a)中，滑動(dòng)窗口含有圖像幀(F1,F2,F3,…,F25)，若滑動(dòng)窗口中無(wú)關(guān)鍵幀，滑動(dòng)窗口移動(dòng)至第26幀，包含圖像幀(F26,F27,F28,…,F50)；若滑動(dòng)窗口中有關(guān)鍵幀，如第2幀為關(guān)鍵幀，滑動(dòng)窗口移動(dòng)至第3幀，包含圖像幀(F3,F4,F5,…,F27)。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)結(jié)果

提出的基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法在VC++平臺(tái)實(shí)現(xiàn)。對(duì)學(xué)校車行道上一段60 s、1 500幀的監(jiān)控視頻進(jìn)行分析，視頻中有2輛車分別通過監(jiān)控區(qū)域，在閾值θ不同的情況下，使用滑動(dòng)窗口和不使用滑動(dòng)窗口提取的關(guān)鍵幀結(jié)果如表1。其中提取出的關(guān)鍵幀分為含有車輛和不含車輛，若關(guān)鍵幀中含有車輛，則提取的關(guān)鍵幀為符合需求的關(guān)鍵幀；若不含車輛的關(guān)鍵幀，則為誤檢關(guān)鍵幀；若提取的關(guān)鍵幀沒有包含2輛車，則存在漏檢關(guān)鍵幀。

從表1分析得出以下結(jié)論：

1)未使用滑動(dòng)窗口的情況下，當(dāng)閾值θ≤0.905，不能提取出關(guān)鍵幀；當(dāng)閾值θ為0.970，0.930時(shí)，誤提取出關(guān)鍵幀；在閾值θ≥0.910時(shí)，有效地提取出關(guān)鍵幀。

2)隨閾值θ的增加，關(guān)鍵幀冗余度明顯增加，當(dāng)閾值θ的增加到一定值時(shí)，存在誤檢驗(yàn)幀。

3)使用滑動(dòng)窗口的，提取有效關(guān)鍵幀的同時(shí)，冗余度明顯降低，冗余關(guān)鍵幀的數(shù)目明顯減少。

4)滑動(dòng)窗口拓寬了閾值θ的取值范圍，降低了閾值θ的選取難度。未使用滑動(dòng)窗口，閾值θ在0.910附近，提取關(guān)鍵幀效果最佳；使用滑動(dòng)窗口，在0.910≤θ≤0.925時(shí)，能提取出有效地關(guān)鍵幀。

表1 有無(wú)滑動(dòng)窗口實(shí)驗(yàn)結(jié)果對(duì)比

在使用滑動(dòng)窗口機(jī)制，閾值θ=0.910時(shí)，提取的關(guān)鍵幀序列如圖2。

圖2 閾值θ=0.910提取的幀序列(滑動(dòng)窗口)

由圖2可知，提取的關(guān)鍵幀分別為2輛車通過監(jiān)控區(qū)域，并可以清晰的看見車輛信息的圖像幀。實(shí)驗(yàn)結(jié)果表明：結(jié)合滑動(dòng)窗口，基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法可以提取包含清晰的車輛信息的關(guān)鍵幀，能夠?qū)④囕v進(jìn)入和離開監(jiān)控區(qū)域的信息很清晰的體現(xiàn)。

3.2 關(guān)鍵幀評(píng)價(jià)

利用本文算法提取的關(guān)鍵幀，符合道路監(jiān)控特點(diǎn)，包含了清晰的車輛信息，同時(shí)通過基于歐式距離的幀間差異性進(jìn)行評(píng)價(jià)。

為判斷提取出的關(guān)鍵幀是否為有效關(guān)鍵幀和最佳關(guān)鍵幀，筆者提出利用基于歐式距離的幀間差異性進(jìn)行評(píng)價(jià)。如果2個(gè)相連關(guān)鍵幀F(xiàn)k1，F(xiàn)k2之間的差異Dis(Fk1,Fk2)是關(guān)鍵幀F(xiàn)k1與幀F(xiàn)l之間的差異的最大值，其中k1≤l≤k2，那么選取的關(guān)鍵就是正確、有效地。實(shí)現(xiàn)的過程中，允許存在σ=0.001的誤差，即提取出的關(guān)鍵幀滿足式(9)，提取的關(guān)鍵幀為有效關(guān)鍵幀和最佳關(guān)鍵幀：

(9)

式中：Max[Dis(Fk1,Fl)]為關(guān)鍵幀F(xiàn)k1與幀F(xiàn)l之間的差異的最大值；Dis(Fk1,Fk2)為關(guān)鍵幀F(xiàn)k1,Fk2之間歐式距離；Dis(Fk1,Fl)為關(guān)鍵幀F(xiàn)k1與幀F(xiàn)l之間歐式距離。

兩幀之間的歐式距離越大，差異性越大，第k幀和l幀的歐式距離公式如式(10)：

(10)

式中：m為圖像像素點(diǎn)列數(shù)；n為圖像像素點(diǎn)行數(shù)。分析實(shí)驗(yàn)過程中的當(dāng)前幀和當(dāng)前關(guān)鍵幀之間的歐式距離，得關(guān)鍵幀之間的歐式距離是所在區(qū)間中最大的，證明了提取的關(guān)鍵幀的有效性和合理性。

在利用滑動(dòng)窗口機(jī)制，閾值取0.970和0.910時(shí)的幀序列和相關(guān)系數(shù)(圖中虛線)，歐式距離(圖中實(shí)現(xiàn))的曲線圖如圖3、圖4。為了圖像更加清晰，在圖3(a)、圖4(a)顯示1 500幀圖像序列的曲線圖的同時(shí)，還增加了圖3(b)、4(b)顯示前200幀圖像序列的曲線圖；將歐式距離線性的轉(zhuǎn)化到相關(guān)系數(shù)的區(qū)間，轉(zhuǎn)化后的距離d的公式如式(11)：

Min(R)

(11)

式中：d為顯示距離；Max，Min分別為求最大值、最小值函數(shù)；Dis為所有圖像幀的歐式距離的集合；R為所有圖像幀的相關(guān)系數(shù)的集合；dis為當(dāng)前需要轉(zhuǎn)化的原始?xì)W式距離。

圖3 閾值θ=0.970的幀序列——?dú)W式距離、相關(guān)系數(shù)Fig.3 Euclidean distance and correlation coefficient of frame sequence when threshold θ is 0.970

圖4 閾值θ=0.910的幀序列——?dú)W式距離、相關(guān)系數(shù)Fig.4 Euclidean distance and correlation coefficient of frame sequence when threshold θ is 0.910

4分析圖3、圖得出以下結(jié)論：

1)隨著幀間相關(guān)系數(shù)的增大，歐式距離減?。环粗?，歐式距離變大。

2)相關(guān)系數(shù)相應(yīng)區(qū)間極小值對(duì)應(yīng)歐式距離極大值。

3)相關(guān)系數(shù)減小速度加劇時(shí)，歐式距離增大速度也加劇，此時(shí)存在關(guān)鍵幀。

4)兩個(gè)關(guān)鍵幀的區(qū)間內(nèi)，關(guān)鍵幀之間的相關(guān)系數(shù)是第一個(gè)關(guān)鍵幀和任意幀相關(guān)系數(shù)的最小值；關(guān)鍵幀之間的歐式距離是第一個(gè)關(guān)鍵幀和任意幀歐式距離的最大值。

4 結(jié) 語(yǔ)

結(jié)合滑動(dòng)窗口機(jī)制，提出基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法，實(shí)驗(yàn)表明，在固定攝像頭的道路監(jiān)控中可以有效地提取出具有代表性的關(guān)鍵幀，同時(shí)通過基于歐式距離的幀間差異性驗(yàn)證得出提取的關(guān)鍵幀之間差異性是最大的。算法流程清晰，結(jié)合的滑動(dòng)窗口機(jī)制有效降低了關(guān)鍵幀的冗余度，使得關(guān)鍵幀更具有代表性，拓寬了閾值的取值范圍，降低了閾值選取難度。但是算法中閾值還是需要根據(jù)不同的應(yīng)用場(chǎng)景，憑經(jīng)驗(yàn)選取，有待進(jìn)一步研究、完善算法，使得閾值可以自動(dòng)選取。

[1] JADON R J,CHAUDHURY S,BISWAS K K.A fuzzy theoretic approach for video segmentation using syntactic features [J].PatternRecognitionletters,2001,22:1359-1369.

[2] 張建明,劉海燕,孫淑敏.改進(jìn)的蟻群算法與凝聚相結(jié)合的關(guān)鍵幀提取[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(3):222-225. ZHANG Jianming,LIU Haiyan,SUN Shumin.Key frame extraction based on improved ant algorithm and agglomerative [J].ComputerEngineeringandApplications,2013,49(3):222-225.

[3] 程照輝,毋立芳,劉健.基于運(yùn)動(dòng)特征的視頻檢索[J].信號(hào)處理,2011,27(5):765-770. CHENG Zhaohui,WU Lifang,LIU Jian.Motion feature based video retrieval [J].SignalProcessing,2011,27(5):765-770.

[4] 劉帷,賈克斌,王卓崢,等.融合視頻指紋和時(shí)空信息的視頻檢索算法[J].北京工業(yè)大學(xué)學(xué)報(bào),2014,40(2):200-205. LIU Wei,JIA Kebin,WANG Zhuozheng,et al.Video retrieval method based on video fingerprints and spatial-temporal information [J].JournalofBeijingUniversityofTechnology,2014,40(2):200-205.

[5] 陸燕,陳福生.基于內(nèi)容的視頻檢索技術(shù)[J].計(jì)算機(jī)應(yīng)用研究,2003,20(11):1-4. LU Yan,CHEN Fusheng.Content-based video retrieval techniques [J].ApplicationResearchofComputers,2003,20(11):1-4.

[6] 方勇,戚飛虎.一種新的視頻鏡頭邊界檢測(cè)及關(guān)鍵幀提取方法[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2004.32(增刊1):18-23. FANG Yong,QI Feihu.A new method of video shot boundary detection and key frame extraction [J].JournalofSouthChinaUniversityofTechnology(NaturalScience),2004.32(Sup1):18-23.

[7] 杜奎然,肖國(guó)強(qiáng),江健民.基于多種視頻特征的鏡頭邊界檢測(cè)算法[J].計(jì)算機(jī)工程,2009,35(11):243-245. DU Kuiran,XIAO Guoqiang,JIANG Jianmin.Shot boundary detection algorithm based on multiple video features [J].ComputerEngineering,2009,35(11):243-245.

[8] MOIR G L,GRAHAM B W,DAVIS S E,et al.An efficient method of key-frame extraction based on a cluster algorithm [J].JournalofHumanKinetics,2013,39(1):15-23.

[9] 王璐,高林,閆磊,等.基于光流與熵統(tǒng)計(jì)法的花卉生長(zhǎng)視頻關(guān)鍵幀提取算法[J].農(nóng)業(yè)工程學(xué)報(bào),2012,17(28):125-130. WANG Lu,GAO Lin,YAN Lei,et al.Key-frame retrieval method based on optical flow and entropy statistic for blooming video [J].TransactionsoftheChineseSocietyofAgriculturalEngineering,2012,17(28):125-130.

[10] 劉高軍,楊麗.改進(jìn)的互信息量相似度曲線關(guān)鍵幀提取研究[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(2):153-156. LIU Gaojun,YANG Li.On key frame extraction based on improved mutual information similarity survey [J].ComputerApplicationsandSoftware,2014,31(2):153-156.

[11] 姜靜,張棟梁.基于鏡頭內(nèi)容的視頻檢索系統(tǒng)[J].山東理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,27(3):21-24. JIANG Jing,ZHANG Dongliang.Video retrieval system based on shot contents [J].JournalofShandongUniversityofTechnology(NaturalScience),2013,27(3):21-24.

[12] 曹建秋,王華清,藍(lán)章禮.基于改進(jìn)YCrCb顏色空間的膚色分割[J].重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,29(3):488-492. CAO Jianqiu,WANG Huaqing,LAN Zhangli.Skin color division base on modified YCrCb color space [J].JournalofChongqingJiaotongUniversity(NaturalScience),2010,29(3):488-492.

An Algorithm of Key Frame Extraction in Road Monitoring VideoBased on Correlation Coefficient

LAN Zhangli, SHUAI Dan, LI Yicai

(School of Information Science & Engineering, Chongqing Jiaotong University, Chongqing 400074, P.R.China)

In order to effectively extract the key frame from the road monitoring video photographed by fixed cameras, the algorithm of extracting key frame based on correlation coefficient was proposed. Firstly, theRGBvalues of the video monitoring video were translated into gray values by the proposed algorithm. Secondly, combining with the sliding window, whether the current frame was the key frame was determined by comparing the threshold and absolute value between the correlation coefficient of the current frame and the current key frame. Experimental results show that the algorithm can not only extract the key frame effectively, but also has the clear process and can avoid redundant key frame. Finally, the extracted key frame was evaluated by the frame difference based on Euclidean distance, which verified the validity of the algorithm and the correctness of the key frame.

traffic and transportation engineering; key frame; correlation coefficient; sliding window; road monitoring

2014-08-06；

2014-10-27

重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ130421); 重慶市自然科學(xué)基金項(xiàng)目(CSTC2011jjA10054); 重慶市科技攻關(guān)項(xiàng)目(CSTC2011AC6102)

藍(lán)章禮(1973—)，男，重慶人，教授，主要從事數(shù)字圖像處理與模式識(shí)別、交通信息化、太陽(yáng)能光伏發(fā)電方面的研究。E-mail: 674437004@qq.com。

10.3969/j.issn.1674-0696.2016.01.25

U.491.1+16

A

1674-0696(2016)01-129-05