鄭慧君

基于MapReduce的抗閃光鏡頭邊界檢測

鄭慧君

（東莞職業(yè)技術學院計算機工程系，東莞 523808）

利用MapReduce編程模型并行計算的思想，將視頻數據切割成若干個視頻片段，分配給若干個任務節(jié)點主機進行視頻特征值的提取和鏡頭邊界檢測。考慮到新聞視頻中存在大量的閃光鏡頭，容易造成誤檢，用滑動窗口對幀間差異進行分析，修正幀間差值。實驗結果表明，改進的鏡頭算法不僅大大提高鏡頭檢測的效率，還可以有效地避免閃光鏡頭，取得較好的檢測精度。

鏡頭邊界檢測；MapReduce；直方圖；抗閃光

0 引言

隨著多媒體技術、智能手機的發(fā)展，視頻信息呈爆炸式增長。如何對海量的視頻信息進行基于內容的語義分析，實現基于視頻內容的查找、分類和檢索，提取視頻中有用的信息，成為目前學者研究的重點問題。視頻檢索必須對視頻內容進行結構化處理，也就是對視頻的幀按照不同的語義單元進行切塊，分成不同的語義單元，這些語義單元稱為鏡頭[1]。隨著數字視頻的使用越來越廣泛，自動視頻內容分析技術的需求也越來越大。作為視頻結構化處理的基本步驟——鏡頭檢測，它的工作性能與效果將直接影響后續(xù)的處理[2]。用傳統的手工方法來切割視頻非常耗時，對一小時的視頻有時需要十個小時的工作來切割，所以需要一種自動的方法來切割視頻鏡頭[3]。

在一些新聞視頻中，由于照相機的閃光，造成幀間差異曲線中會出現兩個相鄰的波峰，鏡頭算法通常會判斷為兩次突變，容易造成誤檢。針對這種情況，提出在鏡頭算法中先進行閃光過濾，再進一步進行檢測，考慮到視頻數據量大，算法執(zhí)行時間過長，采用MapReduce編程模型進行算法設計，在Hadoop環(huán)境下，選擇合適的節(jié)點數，通過實驗分析，算法能夠有效避免閃光鏡頭，算法執(zhí)行時間比單機算法大大減少，提高了算法的執(zhí)行效率。

1 相關工作

目前，國內外研究鏡頭檢測的學者很多，由于壓縮域的視頻檢測算法比較復雜，大多數研究的是非壓縮域的鏡頭檢測算法，但是還沒有形成穩(wěn)定的、成熟的算法。根據特征值的不同，比較典型的主要有以下幾類檢測算法：

（1）基于像素的鏡頭檢測

該方法簡單，但是容易受到物體運動、鏡頭運動、閃光燈因素的干擾。

（2）基于直方圖的鏡頭檢測

直方圖法通過統計幀的直方圖[4]，由于直方圖和位置信息無關，沒有圖像的局部信息，計算的是幀間全局的差值，也容易造成誤檢[5]。張晶[6]等使用了加權的分塊直方圖法，每塊使用不同的權值，有效避免兩幀具有相同的直方圖造成的誤檢。陳文飛等[7]使用了X2直方圖法，算法復雜度高。

（3）基于邊緣輪廓的鏡頭檢測

用Canny或其他算子提取像素輪廓作為特征值,然后計算相鄰幀間的輪廓差值[8]，該算法能夠有效地避免鏡頭內運動物體造成的誤檢，但是計算復雜度高。

根據對特種值進行不同處理方式，大量學者也提出了一些新的方法。J Yin等[9]提出了一種新的基于分塊顏色直方圖和亮度矩的鏡頭邊界檢測方法，為了提高鏡頭分割的魯棒性和有效性，提出了一種自適應閾值分割算法；Sinnu Susan Thomas等[10]根據同一鏡頭背景的時間連續(xù)性，提出了基于能量最小化的鏡頭檢測方法；

2 抗閃光的鏡頭檢測

2.1 鏡頭檢測模型

在鏡頭檢測算法中引入MapReduce模型，把鏡頭檢測任務分成若干個Map任務，由Master主機控制若干個節(jié)點進行視頻的解碼和特征的提取，然后進行閃光過濾，由若干個Reduce任務進行鏡頭邊界檢測，得出最終的突變鏡頭和漸變鏡頭數據，算法檢測模型如圖1所示。

（1）Input階段:利用程序把視頻文件分成若干個文件，生成＜編號，文件路徑＞的鍵值對，作為Map函數的參數。

（2）Map階段:對分割的視頻片段進行解碼，利用分塊的灰度直方圖進行特征提取，輸出＜編號，特征值文件＞鍵值對。

（3）Shuffle階段:利用時間序列分析法對特征值進行處理，修正閃光幀的特征值。

（4）Reduce階段:把前一階段的＜編號，特征值文件＞作為輸入，分別進行突變鏡頭的檢測和漸變鏡頭的檢測，最終得出鏡頭邊界集合。

2.2 特征值的提取

顏色直方圖通過統計圖像的顏色值而來，反映圖像的顏色分布，同一鏡頭內的幀間的直方圖具有連續(xù)性，若發(fā)生鏡頭切換，幀間顏色直方圖差值曲線就會形成一個大的波峰。

（1）圖像灰度化

彩色圖像有RGB三個分量，每個分量取值為0-255，顏色值有 1600 多萬（255×255×255）種，為了減少直方圖的統計工作量，利用公式（1）進行圖像的灰度化，利用公式（2）進行圖像的直方圖統計。

Gray(x,y)表示圖像中坐標為（x,y）點的灰度值，His(i)為顏色為i的顏色值個數。

（2）分塊直方圖計算

灰度直方圖和圖像并不是一一對應的關系，不同的圖像可能具有相同的直方圖分布，因為只反映全局的顏色分布，不反映顏色的空間位置，和鏡頭內對象及其位置無關，因此容易造成誤檢。采用如圖2所示的帶權值的分塊直方圖，對不同的區(qū)域使用不同的權值（w1＜w2＜w3），圖像邊緣位置權值較小，中間位置權值較大，分塊直方圖既反映了圖像的全局特征，又加入的圖像的局部特征，能夠有效的避免誤檢。

圖1 基于MapReduce的鏡頭邊界檢測模型

圖2 圖像分塊

利用公式（3）計算第n幀和第n+1幀第k塊的幀間直方圖差。

利用公式（4）對各塊進行加權運算，計算帶權值的直方圖特征值。

2.3 閃光過濾

在2.2小節(jié)利用分塊直方圖進行特征值提取后，對于新聞視頻閃光鏡頭，閃光通常會持續(xù)幾秒的時間，在閃光的起始位置和結束位置會出現較大的特征值，在幀間幀間差值曲線上會出現距離較近的兩個較大的波峰，如圖3所示。

從圖3可以看出，閃光幀的幀間差值的特點為連續(xù)兩個距離較近的波峰。利用公式（5）計算相特征值和其平均特征值的商。

τ為該視頻片段的幀間差的平均值，C為常量，經多次試驗得出取值為3，若滿足公式（5），則第n到m間的幀認為是一次閃光，因為通常閃光都在很短時間內完成，因此兩個波峰間的距離經常不超過30幀。利用τ更新第n到第m幀的特征值。

圖3 閃光幀的幀間差值曲線

2.4 突變檢測

突變鏡頭直接從上一個鏡頭切換到下一個鏡頭，中間沒有添加任何視頻特效，鏡頭切換的位置在幀間差的特征值曲線上會形成較大的波峰，如圖4所示。

圖4 突變鏡頭特征值曲線

2.3 小節(jié)已經進行了閃光的過濾，特征值為加權的直方圖，也不會收到鏡頭內物體運動或攝像機運動的影響。突變鏡頭檢測一般設置一個固定的閾值，但是視頻直方圖數據量大，采用固定的閾值容易造成誤檢，采用滑動窗口法計算窗口內的最大幀間差和最小幀間差，為減少計算復雜度窗口大小一般選擇10，利用公式（6）進行計算。

其中max1為窗口內的最大幀差，max2窗口內的第二大幀差，τ為視頻片段的特征值平均值，若是突變鏡頭幀，則特征值和平均值的差會很大，因此若滿足公式（6），則認為是一次突變，加入到突變鏡頭邊界集合中。

2.5 漸變鏡頭檢測

漸變鏡頭特征值曲線上表現為不太明顯的波峰，如圖5所示，給檢測帶來一定的困難，提出基于視頻片段的首尾幀差法進行檢測。

圖5 漸變鏡頭的相鄰幀間差值

（1）把視頻分為大小為40的視頻片段，分別計算第一幀和最后一幀的幀間差值，經過多次試驗，視頻大小為30比較合適，一般漸變鏡頭在30幀內完成。

（2）若滿足公式（7），則認為視頻片段內發(fā)生了漸變鏡頭切換，因為同一鏡頭內的幀存在一定的關聯性，若發(fā)生了漸變則分別進入了兩個不同的鏡頭，首尾幀差則較大。

D(30n,30(n+1))為第30n個視頻片段的首位幀間直方圖差，δ為所有視頻片段的首位幀差平均值，3為實驗得出的經驗值。

（3）對于滿足公式（7）的視頻片段，計算視頻片段內第一幀和后面幀的幀間差，差值最大的地方即為漸變的中心，加入到漸變鏡頭集合中。因為隨著鏡頭的漸變，第一幀和后面幀的差值越來越大，直到進入另外一個鏡頭，差值趨于穩(wěn)定，漸變鏡頭的首幀幀差曲線如圖6所示。

3 實驗與結果分析

3.1 實驗環(huán)境

由于實驗所采用的視頻數據量不大，采用1個主機（Master）加4個四個任務節(jié)點（Salve）,四個節(jié)點均安裝CentOS5.9系統，并且有一個相同的用戶Hadoop。Master機器主要配置NameNode和JobTracker的角色，負責總管分布式數據和分解任務的執(zhí)行；4個Salve機器配置DataNode和TaskTracker的角色，負責分布式視頻數據存儲、Map及Reduce任務的執(zhí)行。任務節(jié)點（Salve）的基本配置如表1所示。

圖6 漸變鏡頭首幀幀曲線

表1 Salve配置

3.2 實驗結果分析

（1）算法查全率、查準率分析

在3.1的Hadoop的分布式環(huán)境下，選用4段帶有閃光的新聞視頻，分別用灰度直方圖和加權的灰度直方圖作為特征值進行檢測，通過實驗檢測的數據和精確的鏡頭切換位置進行查全率和查準率的計算。

查準率=正確鏡頭數/(正確鏡頭數+誤檢數)

查全率=正確鏡頭數/實際鏡頭總數

利用灰度直方圖作為特征值，實驗結果如表2所示。

表2 灰度直方圖法檢測結果

從表2看出，利用灰度直方圖作為特征，沒有進行閃光過濾，算法的誤檢鏡頭比較高，所有的閃光幀都會認為是突變，并且算法容易受到鏡頭內移動物體的影響造成誤檢。

利用帶權值的灰度直方圖作為特征值，并且進行閃光過濾后，實驗結果如表3所示。

表3 帶權值的灰度直方圖法檢測結果

從表2和表3的對比可以看出，利用帶權值的直方圖作為特征值，并進行閃光過濾，能夠避免閃光和鏡頭內物體的移動造成的誤檢，大大提高了差全率和查準率。

4 算法并行能力分析

該算法采用MapReduce編程模型，利用同一段視頻作為實驗數據，選擇同一主機，任務節(jié)點（Salve）從1到 10 進行實驗，算法執(zhí)行時間為[95，60，41，25，19，17，15，14，10，8]，算法的執(zhí)行時間如圖 7 所示。

從算法執(zhí)行時間可以看出，算法執(zhí)行時間隨著節(jié)點的增加不斷減少，但是不是線性的，因此必須根據視頻的大小選擇合適的節(jié)點數，避免計算資源的浪費。

5 結語

隨著移動互聯網的不斷發(fā)展，視頻數據增長速度越來越快，如何從大量的視頻數據中找到有用的數據成為研究的一個熱點。和文本不同，視頻數據結構復雜，不能很好地進行檢索，目前互聯網上的大部分視頻檢索系統還處于視頻文件名稱的檢索，還不能進行基于視頻內容的檢索。鏡頭檢測是視頻檢索的基礎，引起了大量學者的關注。針對新聞視頻中的閃光，在算法的執(zhí)行階段利用滑動窗口進行閃光過濾，考慮到鏡頭檢測算法執(zhí)行時間長的問題，提出了基于MapReduce的編程模型。最后利用4段帶閃光鏡頭的視頻片段進行了實驗，通過和普通算法進行對比分析，改進的算法查準率和查全率大大提高；通過并行分析，選擇合適的節(jié)點，算法的執(zhí)行時間大大減少。

圖7 算法節(jié)點和執(zhí)行時間曲線

[1]鄭慧君,陳俞強.基于MapReduce的快速鏡頭邊界檢測算法[J].圖學學報.2017,1(38):76-81.

[2]A Sengupta，DM Thounaojam，K Manglem Singh，S Roy.Video Shot Boundary Detection:A Review[C].IEEE International Conference on Electrical,2015:1-6

[3]L Baraldi，C Grana，R Cucchiara.Shot and Scene Detection via Hierarchical Clustering for Re-using Broadcast Video[C].International Conference on Computer Analysis of Images&Patterns 2015,9256:801-811.

[4]P Poirson,P Ammirato.Fast Single Shot Detection and Pose Estimation[C].Fourth International Conference on 3d Vision,2016:676-684.

[5]魏瑋,劉靜,王丹丹.視頻鏡頭分割方法綜述.計算機系統應用.2013,1(22):5-7.

[6]張晶，王學軍，蔣恩源.基于顏色加權的新聞視頻鏡頭邊界檢測方法.吉林大學學報[J].2015,1(33):39-43.

[7]陳文飛,許雪峰.亮度自適應的保熵直方圖均衡化方法.計算機工程與應用.2012,48(16):157-161.

[8]張思俊.基于Canny算子的圖像邊緣檢測方法改進研究.計算機與數字工程,2016,8(44):1567-1570.

[9]J Yin，SL Wang，JH Li.Video Shot Segmentation by Adaptive Thresholding with Color and Spatial Information[C].Springer Berlin Heidelberg.2012,128:339-344.

[10]Sinnu Susan Thomas,Sumana Gupta,VenkateshK.S.An Energy Minimization Approach for Automatic Video Shot and Scene Boundary Detection[M].Tenth International Conference on Intelligent Information Hiding&Multimedia Signal Processing,2014:297-300.

Anti-Flash Shot Boundary Detection Based on MapReduce

ZHENG Hui-jun
（Department of Computer Engineering,Dongguan Polytechnic College,Dongguan 523808）

Using the distributed computing of MapReduce model,the video is splinted into several video clips,video feature extraction and shot boundary detection are assigned to several task node hosts.Considering the existence of a large number of flashes in the news video,it is easy to cause false detection,sliding window is used to analyze the differences between frames,then correcting the frame difference.Experi?mental results show that the improved shot detection algorithm is effective in accelerating the shot detection process,and it can also effec?tively avoid flash lens,achieve better detection accuracy.

Shot Boundary Detection;MapReduce;Histogram;Anti-Flash

廣東省省級科技計劃項目（No.2014A010103002）、2014年東莞市高等院校、科研機構科技計劃一般項目（No.2014106101035）

1007-1423（2017）24-0029-06

10.3969/j.issn.1007-1423.2017.24.007

鄭慧君（1985-），男，湖北孝感人，碩士研究生，講師，研究方向為智能算法、圖形圖像

2017-05-08

2017-07-20