李 沙， 謝曉明

（北京化工大學(xué) 信息技術(shù)與科學(xué)學(xué)院， 北京 100029）

隨著多媒體技術(shù)的快速發(fā)展， 攝像設(shè)備越來(lái)越普及，日常生活中，人們常常用手持?jǐn)z像設(shè)備記錄生活點(diǎn)滴。 但由于隨機(jī)振動(dòng)、鏡頭參數(shù)設(shè)置等會(huì)造成連續(xù)視頻序列間的隨機(jī)運(yùn)動(dòng)較大，從而得到畫(huà)面抖動(dòng)的視頻。 抖動(dòng)的視頻不僅會(huì)影響視頻的觀看，還會(huì)影響觀看者對(duì)視頻圖像信息的獲取。 視頻的穩(wěn)像過(guò)程正是去除這種不想要的運(yùn)動(dòng)。

視頻抖動(dòng)主要分為幀間抖動(dòng)和幀內(nèi)抖動(dòng)，視頻穩(wěn)像則主要處理幀間抖動(dòng)。 視頻穩(wěn)像系統(tǒng)主要由3 部分組成：運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和圖像復(fù)原。 運(yùn)動(dòng)估計(jì)部分又包括局部運(yùn)動(dòng)估計(jì)和全局運(yùn)動(dòng)估計(jì)。 由于視頻穩(wěn)像效果主要取決于全局運(yùn)動(dòng)估計(jì)的精度[1]，因此運(yùn)動(dòng)估計(jì)是視頻穩(wěn)像的關(guān)鍵。

傳統(tǒng)的估計(jì)全局運(yùn)動(dòng)的算法包括特征點(diǎn)法[2]、灰度投影法[3]、位平面法[4]、塊匹配法[5]。 其中，塊匹配算法適于視頻中的主要運(yùn)動(dòng)是靜止的情況，但會(huì)由于偶然的室外風(fēng)力等原因使視頻中的背景出現(xiàn)抖動(dòng)。

運(yùn)動(dòng)估計(jì)是在參考幀某一給定的搜索區(qū)域，根據(jù)一定的匹配準(zhǔn)則，找到與當(dāng)前幀的當(dāng)前區(qū)域的最佳匹配區(qū)域。 本文中采用的是塊匹配準(zhǔn)則，因此，最佳匹配區(qū)域被認(rèn)為是最佳匹配塊。 但如果所選的匹配塊特征不夠明顯，比如，邊緣角點(diǎn)、包含周期的紋理等，若所選的宏塊中包含這些元素，不僅會(huì)為運(yùn)動(dòng)估計(jì)提供錯(cuò)誤的信息，所估計(jì)的運(yùn)動(dòng)矢量可能不是當(dāng)前塊的真實(shí)運(yùn)動(dòng)，從而影響全局運(yùn)動(dòng)估計(jì)的準(zhǔn)確性以及視頻穩(wěn)像的性能，還會(huì)增加不必要的計(jì)算量。 因此，包括上述信息的宏塊需要預(yù)先剔除。

針對(duì)抖動(dòng)較小、前景較少的視頻序列，塊匹配具有精度高的特點(diǎn)，因此，本文將結(jié)合宏塊內(nèi)部的SAD 差異將視頻幀的宏塊劃分為有效宏塊和無(wú)效宏塊，利用塊匹配對(duì)有效宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，獲得準(zhǔn)確的全局運(yùn)動(dòng)矢量，提高視頻穩(wěn)像的性能。 通過(guò)跳過(guò)無(wú)效宏塊的運(yùn)動(dòng)估計(jì)，大大減少了計(jì)算量，并提高了運(yùn)動(dòng)矢量估計(jì)的精確度。

1 宏塊分類(lèi)算法

減少所搜點(diǎn)數(shù)是最直觀的快速算法的途徑[6]。 所提方法的主要思想是利用宏塊內(nèi)部相鄰小宏塊間的SAD 值對(duì)視頻幀中的宏塊進(jìn)行分類(lèi)。 若當(dāng)前宏塊的內(nèi)部相鄰小宏塊間的SAD 差異大于一定的閾值，那么認(rèn)為它是有效宏塊，反之，則無(wú)效宏塊，無(wú)需對(duì)它進(jìn)行運(yùn)動(dòng)估計(jì)。 其算法的主要流程如圖1 所示。

1.1 計(jì)算宏塊內(nèi)部的SAD 值

對(duì)所輸入的當(dāng)前幀， 將其劃分為大小為N*N 的宏塊，同時(shí)將宏塊劃分為4 個(gè)大小相同的小宏塊，如圖2 所示。

圖1 所提算法的流程圖Fig. 1 The proposed algorithm flow diagram

圖2 視頻幀的宏塊劃分示意圖Fig. 2 The partition of macroblocks in video frame schematic diagram

在塊匹配算法中， 匹配準(zhǔn)則主要有絕對(duì)誤差和SAD、平均絕對(duì)差值MAD、平均平方誤差MSD 等。本文采用絕對(duì)誤差和SAD 作為匹配準(zhǔn)則，其計(jì)算公式如下：

其中，Rr（i，j），fc（i+d x，j+d y）分別為參考幀在位置為（i，j）的像素值和當(dāng)前幀在位置為（i+d x，j+d y）的灰度值。 d x、d y 分別為運(yùn)動(dòng)矢量的水平坐標(biāo)和垂直坐標(biāo)。

設(shè)某一宏塊B，其大小為N*N，其等分的4 個(gè)大小相同的宏塊分別為B1，B2，B3，B4。 如圖2 所示。 為了計(jì)算宏塊內(nèi)部的SAD，需要計(jì)算兩兩相鄰的小宏塊間的絕對(duì)誤差和，即計(jì)算塊B1與B2間的絕對(duì)誤差和、塊B1與B3間的絕對(duì)誤差和、塊B2與B4間的絕對(duì)誤差和、塊B3與B4間的絕對(duì)誤差和。 計(jì)算公式如下：

那么，宏塊B 內(nèi)部的絕對(duì)誤差i 和SADSUM為

1.2 判斷當(dāng)前宏塊是否適于運(yùn)動(dòng)估計(jì)

一個(gè)宏塊是否適用于全局運(yùn)動(dòng)估計(jì)， 不僅要求它與背景具有相似的特征，還需要判斷它是否具有顯著的信息。本文判斷一個(gè)宏塊具有顯著信息是依據(jù)宏塊內(nèi)部的絕對(duì)誤差和之和SADSUM。 若該值大于所設(shè)閾值，那么說(shuō)明該宏塊具有顯著的特征，應(yīng)標(biāo)記為有效宏塊，用于運(yùn)動(dòng)估計(jì)，否則，該宏塊沒(méi)有顯著特征，應(yīng)提前剔除，以避免獲得錯(cuò)誤的運(yùn)動(dòng)矢量。

2 結(jié)果及分析

為了顯示所提算法的有效性， 對(duì)視頻測(cè)試序列在PC 機(jī)上進(jìn)行仿真實(shí)驗(yàn)， 比較篩選出有效宏塊與未進(jìn)行篩選的精確性以及運(yùn)算時(shí)間。 本實(shí)驗(yàn)采用的抖動(dòng)較小、前景較少的avi 視頻序列，每幀的大小為640*480，大宏塊為64*64，那么小宏塊大小為32*32，搜索范圍為[-16，16]。 剔除視頻幀的部分邊緣區(qū)域，本文將每幀圖像劃分為7*5（即35）個(gè)大宏塊。根據(jù)所選宏塊的尺寸和視頻圖像本身的特性，經(jīng)多次試驗(yàn)，本文將宏塊內(nèi)部SAD 差異閾值T 設(shè)為300 000。

2.1 主觀評(píng)價(jià)

本文選取兩幀視頻圖像及穩(wěn)像后的圖像作為實(shí)驗(yàn)數(shù)據(jù)，如圖3 所示，其中，圖（a）為參考幀，圖（b）為處理前的視頻中的某幀的效果圖，圖（c）為未經(jīng)宏塊篩選處理后的視頻中的某幀的效果圖，圖（d）為經(jīng)過(guò)宏塊篩選處理后的視頻中的某幀的效果圖。

圖3 視頻穩(wěn)像的處理結(jié)果Fig. 3 The processing results of video stabilization

2.2 客觀評(píng)價(jià)

本文從運(yùn)算時(shí)間和準(zhǔn)確性兩方面評(píng)價(jià)視頻穩(wěn)像的性能。運(yùn)算時(shí)間越少，表明計(jì)算量越小，視頻穩(wěn)像的效率越高。 視頻穩(wěn)像的準(zhǔn)確性采用峰值信噪比PSNR 作為衡量標(biāo)準(zhǔn)。PSNR 反映了當(dāng)前幀與參考幀間的峰值信噪比， 它對(duì)前景少的視頻序列具有很好的評(píng)價(jià)視頻穩(wěn)像的效果。 其計(jì)算公式如下：

其中，

式中，Ic（i，j），Ir（i，j）分別為當(dāng)前幀與參考幀在（i，j）處的灰度值。

PSNR 值越大，表明補(bǔ)償后的幀間的灰度差別越小，穩(wěn)像效果越好。

表1 改進(jìn)前后視頻穩(wěn)像中的圖像的PSNR 的對(duì)比Tab. 1 Image PSNR of video stabilization with improvements in comparison with that without improvements

表2 改進(jìn)前后處理每幀視頻圖像的時(shí)間Tab.2 Processing time per video image with improvements in comparison with that without improvements

由表1 可以看出， 通過(guò)特征宏塊的選擇的視頻穩(wěn)像中圖像的PSNR 值明顯高于未處理前的圖像的PSNR，也高于未經(jīng)過(guò)特征宏塊的選擇的視頻穩(wěn)像中圖像的PSNR 值。 相較于未經(jīng)過(guò)特征宏塊的選擇的視頻穩(wěn)像處理， 基于特征宏塊的選擇的視頻穩(wěn)像的PSNR 值提高了9.06%。

由表2 可以看出， 未對(duì)宏塊進(jìn)行分類(lèi)選擇的視頻穩(wěn)像每幀需對(duì)35 個(gè)大宏塊進(jìn)行運(yùn)動(dòng)估計(jì)， 每幀的處理時(shí)間約為3.78 s，而基于特征宏塊的選擇的視頻穩(wěn)像每幀大約只需對(duì)7個(gè)大宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，每幀的處理時(shí)間約為0.83 s。 由此可見(jiàn)，相較于未經(jīng)過(guò)特征宏塊的選擇的視頻穩(wěn)像處理，基于特征宏塊的選擇的視頻穩(wěn)像的計(jì)算量減少了78.04%。

3 結(jié) 論

本文針對(duì)抖動(dòng)較小、前景較少的視頻序列，提出了一種特征宏塊的選擇的視頻穩(wěn)像算法，采用精確度高的塊匹配算法，結(jié)合宏塊內(nèi)部的SAD 值的大小篩選出具有明顯特征的宏塊用于運(yùn)動(dòng)估計(jì)，通過(guò)實(shí)驗(yàn)驗(yàn)證，可看出該方法不僅大大減少了計(jì)算量，還具有較高的視頻穩(wěn)像精確性。

[1] Wang Tae-shick，Kang Seok-jae. Robust Global Motion Estimation for Video Stabilization [C]//In: Consumer Electronics（GCCE）， 2012 IEEE 1st Global Conference，2012:623-624.

[2] Kim Seung-kyun，Kang Seok-jae，Wang Tae-shick，et al.Feature point classification based global motion estimation for video stabilization[J]. Consumer Electronics，2013，59（1）:267-272.

[3] LIU Yang-ke，F(xiàn)U De-ji，LI Bo，et al. Real-time global motion vectors estimation based on phase correlation and gray projection algorithm[J]. Image and Signal Processing，2009:1-5.

[4] Shakoor M H，Moattari M. A fuzzy method based on bit-plane images for stabilizing digital images[J]. Electronics, Communications and Computer，2010:106-108.

[5] Immanuel Alex Pandiana S，Josemin Balaa n G，Anitha J. A pattern based PSO approach for block matching in motion estimation[J]. Engineering Applications of Artificial Intelligence，2013（26）:1811-1817.

[6] 裴琴，劉國(guó)繁，徐美清. 基于塊特征分類(lèi)的運(yùn)動(dòng)估計(jì)算法[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（6）:933-938.