吳 云，曹志民，馮亞麗

（1.東北石油大學(xué) 電子科學(xué)學(xué)院，黑龍江 大慶 163318；2.東北石油大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，黑龍江 大慶 163318）

引 言

近十幾年來，隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的飛速發(fā)展，使得互聯(lián)網(wǎng)上多媒體業(yè)務(wù)的需求越來越豐富多樣。但是，隨之而來的是網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)帶寬多樣化以及多媒體接收終端（臺(tái)式個(gè)人電腦、筆記本、PDA、手機(jī)等）顯示及存儲(chǔ)能力的多樣化等問題的出現(xiàn)［1］。雖然，MPEG－4和H.263等視頻編解碼標(biāo)準(zhǔn)提供了一定程度的分層可伸縮性視頻編碼技術(shù)，對(duì)網(wǎng)絡(luò)帶寬的變化有了一定適應(yīng)能力，MPEG－4標(biāo)準(zhǔn)還在其增補(bǔ)的視頻流應(yīng)用框架中提出了精細(xì)可伸縮的視頻編碼算法，可以在編碼速率、空間分辨力、編碼內(nèi)容及編解碼復(fù)雜度等方面提供較靈活的自適應(yīng)性，但是仍存在編碼效率低以及重構(gòu)視頻質(zhì)量不高等不足［2］。SVC編解碼技術(shù)就是為了解決以上問題提出的。目前，SVC編解碼技術(shù)已經(jīng)于2003年由ITU－T視頻編碼專家組（VCEG）和ISO／IEC運(yùn)動(dòng)視頻專家組（MPEG）組成的聯(lián)合視頻專家組JVT提出，成為新一代視頻編解碼標(biāo)準(zhǔn) H.264／AVC的擴(kuò)展部分［3－4］。

為了進(jìn)一步提高SVC編解碼系統(tǒng)的編碼效率，國內(nèi)外研究學(xué)者分別針對(duì)ME算法、MCTF結(jié)構(gòu)等提出了各種改進(jìn)算法。在快速運(yùn)動(dòng)估計(jì)算法方面［5－6］，以MVFAST、PMVFAST及其改進(jìn)算法等預(yù)測(cè)式運(yùn)動(dòng)估計(jì)算法為主，通過對(duì)編碼視頻本質(zhì)信息的學(xué)習(xí)，采用精準(zhǔn)的起始點(diǎn)預(yù)測(cè)技術(shù)和有效的提前推出準(zhǔn)則，以及高效的模板搜索技術(shù)，在算法計(jì)算速度及最終視頻重構(gòu)質(zhì)量方面都有很大提高。在MCTF結(jié)構(gòu)方面，通過利用各種信息，可以根據(jù)視頻內(nèi)容自適應(yīng)地調(diào)節(jié)MCTF編碼結(jié)構(gòu)，進(jìn)而提高整個(gè)編解碼器的性能［7］。

在趙志杰等人［3］提出的基于馬爾科夫鏈的快速運(yùn)動(dòng)估計(jì)方法的基礎(chǔ)上進(jìn)行改進(jìn)，結(jié)合快速運(yùn)動(dòng)估計(jì)和AGS技術(shù)，給出了一種提高可伸縮性視頻編解碼效率的有效方法。

1 可伸縮性視頻編解碼系統(tǒng)結(jié)構(gòu)

SVC編碼器結(jié)構(gòu)采用的是一種t＋2D的編碼結(jié)構(gòu)，如圖1所示。

由圖1可知，視頻序列準(zhǔn)備好以后，首先對(duì)輸入的視頻信號(hào)進(jìn)行分組并分別進(jìn)行相應(yīng)的運(yùn)動(dòng)估計(jì)，將得到的運(yùn)動(dòng)矢量陣列和原視頻信號(hào)一起送入MCTF模塊，用以生成時(shí)域低通幀和時(shí)域高通幀；然后，對(duì)MCTF模塊生成的所有低通幀和最底層高通幀進(jìn)行幀內(nèi)的二維離散小波變換；最后，對(duì)二維離散小波變換生成的一系列低頻子帶和高頻子帶的小波系數(shù)分別進(jìn)行峰值信噪比（peak signal to noise ratio，PSNR）伸縮性編碼以實(shí)現(xiàn)質(zhì)量可伸縮性。另一方面，為了回復(fù)原始視頻序列，還需要保存相應(yīng)的運(yùn)動(dòng)矢量，運(yùn)動(dòng)矢量編碼模塊對(duì)運(yùn)動(dòng)矢量進(jìn)行游程編碼。最后的數(shù)據(jù)流組織模塊用于將數(shù)據(jù)流中的可伸縮性分層次進(jìn)行存儲(chǔ)，為實(shí)現(xiàn)可伸縮提取解碼做準(zhǔn)備。

在這個(gè)編碼系統(tǒng)中，ME模塊是最耗時(shí)的部分，大概占到60%～70%，同時(shí)運(yùn)動(dòng)估計(jì)算法的準(zhǔn)確性也是影響編碼質(zhì)量的一個(gè)重要環(huán)節(jié)；另外，MCTF部分的結(jié)構(gòu)組織也是影響編碼系統(tǒng)編碼效率的一個(gè)重要因素。而且編碼過程中，二者是緊密相連的，因此，有必要綜合考慮二者的優(yōu)化問題，合理構(gòu)造視頻分組結(jié)構(gòu)及采用有效運(yùn)動(dòng)估計(jì)方法。

圖1 SVC系統(tǒng)的編碼器結(jié)構(gòu)Fig.1 Encoder structure of the SVC coding system

2 結(jié)合快速運(yùn)動(dòng)估計(jì)的自適應(yīng)AGS結(jié)構(gòu)設(shè)計(jì)

在SVC系統(tǒng)中，MCTF模塊在編碼端結(jié)合ME模塊實(shí)現(xiàn)了對(duì)視頻序列中存在的時(shí)間冗余信息的去除，并且為實(shí)現(xiàn)幀速率控制（時(shí)間可伸縮性）提供了準(zhǔn)備。然而，目前普遍采用基于Haar小波的固定GOP大小的MCTF結(jié)構(gòu)，如圖2所示。

為了進(jìn)一步實(shí)現(xiàn)編碼性能的提高，增強(qiáng)編碼系統(tǒng)對(duì)不同運(yùn)動(dòng)性質(zhì)視頻序列（片段）的適應(yīng)能力，有必要采用AGS技術(shù)對(duì)現(xiàn)有MCTF結(jié)構(gòu)加以改進(jìn)。AGS技術(shù)實(shí)現(xiàn)的關(guān)鍵是如何有效地判斷當(dāng)前編碼片段的運(yùn)動(dòng)性質(zhì)，對(duì)運(yùn)動(dòng)劇烈的視頻采用小尺寸的視頻組結(jié)構(gòu)，對(duì)運(yùn)動(dòng)平緩的視頻采用大尺寸的視頻組結(jié)構(gòu)。由于運(yùn)動(dòng)估計(jì)過程中能夠完全體現(xiàn)視頻序列的運(yùn)動(dòng)信息，因此可以用運(yùn)動(dòng)估計(jì)算法得到的運(yùn)動(dòng)信息指導(dǎo)MCTF的結(jié)構(gòu)安排，實(shí)現(xiàn)AGS技術(shù)。

文獻(xiàn)［3］提出的基于馬爾科夫鏈模型的運(yùn)動(dòng)估計(jì)方法不但能夠充分利用（提?。┮曨l序列的時(shí)間相關(guān)信息，而且是一種十分高效的運(yùn)動(dòng)估計(jì)算法。為此，利用該運(yùn)動(dòng)估計(jì)算法進(jìn)行改進(jìn)，實(shí)現(xiàn)對(duì)MCTF結(jié)構(gòu)的預(yù)測(cè)，即實(shí)現(xiàn)AGS技術(shù)，提高SVC系統(tǒng)的編碼效率。

上述快速運(yùn)動(dòng)估計(jì)算法中，首先進(jìn)行運(yùn)動(dòng)矢量的預(yù)測(cè)，采用了三種不同的預(yù)測(cè)模式構(gòu)成一個(gè)狀態(tài)空間：

式（1）中，S1表示預(yù)測(cè)運(yùn)動(dòng)矢量為前一矢量場(chǎng)同位置宏塊對(duì)應(yīng)運(yùn)動(dòng)矢量（稱為參考矢量）的狀態(tài)；S2表示預(yù)測(cè)運(yùn)動(dòng)矢量為（0，0）的狀態(tài)；S3表示預(yù)測(cè)運(yùn)動(dòng)矢量為空間相鄰矢量中值的狀態(tài)。

圖2 基于Haar小波的固定GOP大小（16）的MCTF結(jié)構(gòu)Fig.2 MCTF structure based on Haar wavelet basis with fixed GOP size（16）

當(dāng)前宏塊的具體狀態(tài)判定由如下準(zhǔn)則實(shí)現(xiàn)：

即三種預(yù)測(cè)矢量對(duì)應(yīng)的SAD準(zhǔn)則函數(shù)值最小的狀態(tài)為當(dāng)前狀態(tài)。

這樣，前后連續(xù)的運(yùn)動(dòng)矢量場(chǎng)就構(gòu)成了一個(gè)馬爾科夫鏈，從而利用狀態(tài)轉(zhuǎn)移矩陣可以精確地實(shí)現(xiàn)對(duì)初始運(yùn)動(dòng)矢量的預(yù)測(cè)，增加算法提前退出的幾率，提高算法運(yùn)算速度。

但是，該文獻(xiàn)并未給出轉(zhuǎn)移概率矩陣的計(jì)算方法。為此，在文中所提出的SVC系統(tǒng)中，通過MCTF結(jié)構(gòu)中運(yùn)動(dòng)估計(jì)的連續(xù)性，構(gòu)成一個(gè)利用上述基于馬爾科夫鏈的運(yùn)動(dòng)估計(jì)方法，并在MCTF結(jié)構(gòu)中，通過統(tǒng)計(jì)的方法得到轉(zhuǎn)移概率矩陣。需要說明的是，這里得到的轉(zhuǎn)移概率矩陣不僅可以實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)算法的改進(jìn)，而且可以用來實(shí)現(xiàn)MCTF結(jié)構(gòu)的預(yù)測(cè)，即AGS技術(shù)。為此，以G表示GOP的組數(shù)，文中采用G＝16和G＝8兩種結(jié)構(gòu)的AGS技術(shù)，如圖3所示，其中虛線框中為G＝8的結(jié)構(gòu)。

由圖3可知，每一個(gè)GOP組的前三次運(yùn)動(dòng)估計(jì)算法采用了全搜索算法（full search，F(xiàn)S）。在第一次FS過程中，只記錄運(yùn)動(dòng)矢量及對(duì)應(yīng)的SAD值就可以了。第二次FS過程中，除了記錄運(yùn)動(dòng)矢量和對(duì)應(yīng)的SAD值外，還要根據(jù)式（2）記 錄 每 個(gè) 宏 塊 的 預(yù) 測(cè) 狀 態(tài) M1（r，c）（M1（r，c）∈｛1，2，3｝），其中（r，c）表示宏塊的位置。第三次FS過程中，除了記錄第二次FS過程中需要記錄的內(nèi)容外，還需記錄每個(gè)宏塊對(duì)應(yīng)的狀態(tài)轉(zhuǎn)移關(guān)系 TF（r，c），其 中，TF（r，c）∈ ｛T11，T12，T13，T21，T22，T23，T31，T32，T33｝，Tij：i，j∈｛1，2，3｝表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j。因此在第三次FS算法結(jié)束前就可算出狀態(tài)轉(zhuǎn)移概率：

圖3 SVC系統(tǒng)中ME－MCTF結(jié)構(gòu)（AGS）Fig.3 ME－MCTF structure in the SVC system（AGS）

式（3）中，NTij表示由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的宏塊的數(shù)目，NMB表示每幀圖像的宏塊總數(shù)。

顯然，如果視頻序列的運(yùn)動(dòng)性質(zhì)比較平緩，則會(huì)出現(xiàn)大范圍的參考預(yù)測(cè)模式，反之亦然。而轉(zhuǎn)移概率P11為參考預(yù)測(cè)模式到參考預(yù)測(cè)模式的轉(zhuǎn)換，也就是P11的大小能夠較客觀地體現(xiàn)視頻序列的運(yùn)動(dòng)性質(zhì)。為此，可以利用P11的大小來實(shí)現(xiàn)視頻序列MCTF結(jié)構(gòu)G的預(yù)測(cè)：

式（4）中，τ為概率閾值，通?？稍O(shè)為0.5。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證文中方法的有效性，對(duì)大量具有不同運(yùn)動(dòng)性質(zhì)的視頻序列進(jìn)行了測(cè)試。測(cè)試結(jié)果表明，通過采用文中方法，SVC系統(tǒng)在時(shí)間、空間、質(zhì)量等多方面的可伸縮性能上都有了明顯提高，系統(tǒng)的編碼時(shí)間平均提高30%左右，Y分量重構(gòu)PSNR值平均提高1.6dB左右，U，V分量重構(gòu)PSNR值平均提高3dB左右。圖4給出了6級(jí)EZW編碼條件下Foreman.qcif和Bus.qcif序列的完全重構(gòu)測(cè)試結(jié)果圖。

圖4 完全重構(gòu)結(jié)果比較（EZW＝6）Fig.4 The comparison of full reconstruction results（EZW＝6）

4 結(jié) 論

通過分析SVC系統(tǒng)編碼器結(jié)構(gòu)，利用統(tǒng)計(jì)方法實(shí)現(xiàn)了一種基于馬爾科夫鏈模型的快速運(yùn)動(dòng)估計(jì)方法。并通過對(duì)運(yùn)動(dòng)估計(jì)模型中轉(zhuǎn)移概率矩陣，簡(jiǎn)便有效地實(shí)現(xiàn)了視頻序列運(yùn)動(dòng)性質(zhì)的判斷，進(jìn)而完成對(duì)視頻序列編碼MCTF結(jié)構(gòu)的有效預(yù)測(cè)，最終成功實(shí)現(xiàn)AGS技術(shù)并有效提高SVC系統(tǒng)的編碼效率。

［1］孫曉艷，高 文，吳 楓，等.基于宏塊的漸進(jìn)、精細(xì)可伸縮的視頻編碼［J］.軟件學(xué)報(bào)，2002，13（11）：2134－2141.

［2］ZHAO Z J，CAO Z M，LIN M L，et al.A motion estimation algorithm based on Markov chain model［C］∥Acoustics Speech and Signal Processing，Dallas：IEEE，2010：1174－1177.

［3］HOSUR P I，MA K K.Report on perfermance of fast motion estimation using motion vector field adaptive search technique［R］.Maui：ISO／IEC JTC1／SC29／WG11M5453，2000：1－40.

［4］TOURAPIS A M，AU O C，LIOU M L.Fast block－matching motion estimaiton using prediction motion vector field adaptive search technique［R］.Noordwijkerhout：ISO／IEC JTC1／SC29／WG11M5866，2000：1－38.

［5］WONG H M，AU O C，HO C W，et al.Enhanced predictive motion vector field adaptive search technique based on future MV prediction［C］∥International Conference on Multimedia and Expo，Amsterdam：ICME，2005：6－8.

［6］王員根，梁 凡，張秀麗，等.一種新的自適應(yīng)圖像組機(jī)構(gòu)算法［J］.中山大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，46（2）：20－22.

［7］CAO Z M，LI W G，ZHAO Z J.A fast adaptive GOP structure based on motion information［C］∥8th International Symposium on Test and Measurement，Beijing：International Academic Publishers，2009：738－741.