柴鑫剛，鄭冬冬

（中國移動通信集團(tuán)有限公司研究院 北京100053）

1 引言

基于無線視頻監(jiān)控技術(shù)，可以將各個監(jiān)控點(diǎn)的現(xiàn)場圖像信息實(shí)時地通過無線通信手段傳送到監(jiān)控中心。目前無線監(jiān)控系統(tǒng)主要應(yīng)用于不易、不便或無條件布設(shè)有線網(wǎng)絡(luò)的監(jiān)控場所，增強(qiáng)了監(jiān)控系統(tǒng)的靈活性、便利性和可擴(kuò)充性，所以現(xiàn)在市場對于無線視頻監(jiān)控有大量的需求。采用H.264/AVC高壓縮性能的編碼器，無線視頻監(jiān)控可滿足大部分用戶對視頻監(jiān)控的需要。但是無線信道屬于不可靠傳輸信道，具有時變、易受干擾等特點(diǎn)；無線信道的視頻數(shù)據(jù)容易受到干擾和破壞，導(dǎo)致數(shù)據(jù)包錯誤或者丟失，需要采取高效的容錯算法保證數(shù)據(jù)的有效傳輸。

SVC作為H.264/AVC的可分級擴(kuò)展，通過時域、空域和質(zhì)量的分層機(jī)制，分成基本層和若干增強(qiáng)層，具有很強(qiáng)的抗誤碼能力?；緦由系膱D像數(shù)據(jù)最重要，增強(qiáng)層的數(shù)據(jù)對圖像質(zhì)量起到增強(qiáng)作用，當(dāng)基本層和增強(qiáng)層的數(shù)據(jù)受到影響時很容易誤碼擴(kuò)散到其他層和下一幀數(shù)據(jù),并最終導(dǎo)致圖像錯誤累積，因此有必要在SVC中采用有效的抗誤碼方法保證可伸縮視頻流的魯棒性。目前視頻傳輸?shù)娜蒎e技術(shù)主要有以下幾種。

（1）自動重傳機(jī)制

屬于無失真的容錯技術(shù)，對丟失或錯誤數(shù)據(jù)包采用重傳方式，可以完好恢復(fù)圖像并保證圖像質(zhì)量不失真，自動重傳機(jī)制要額外占用網(wǎng)絡(luò)資源并且增加延時，特別是在低網(wǎng)絡(luò)帶寬時，雖然能完整恢復(fù)圖像質(zhì)量，但是占用的網(wǎng)絡(luò)資源會導(dǎo)致后面需要編碼的圖像可使用的網(wǎng)絡(luò)資源減少，使得視頻幀率降低或者圖像質(zhì)量下降。

（2）前向糾錯編碼方式

用來克服信道錯誤，當(dāng)信道出錯概率波動比較劇烈時，為了獲得一定的傳輸質(zhì)量，前向糾錯編碼必須根據(jù)當(dāng)前估計的最差情況增加冗余校驗(yàn)比特，這會導(dǎo)致帶寬資源的浪費(fèi)。對帶寬資源本來就有限的無線信道而言，顯然是不能滿足要求的；對于丟失的數(shù)據(jù)包無法恢復(fù)，且無法保證無失真的恢復(fù)。

（3）解碼端端圖像錯誤恢復(fù)技術(shù)

利用視頻的時間和空間相關(guān)性，恢復(fù)丟失或有誤碼的圖像，不會占用額外的網(wǎng)絡(luò)資源，但當(dāng)需要恢復(fù)的圖像之間的相關(guān)性不好時，恢復(fù)圖像的失真度非常大且圖像質(zhì)量差，進(jìn)而形成了錯誤累積，導(dǎo)致多幀圖像錯誤，圖像質(zhì)量下降，影響用戶使用。

本文在自動重傳、可伸縮視頻編碼和解碼端圖像錯誤恢復(fù)技術(shù)的基礎(chǔ)上，提出了一種基于B-D率失真代價函數(shù)的對增強(qiáng)層有選擇的重傳算法，增強(qiáng)層的視頻流重要性不如基本層，當(dāng)有些數(shù)據(jù)包對圖像質(zhì)量影響較小時，可以對丟失或有誤碼的增強(qiáng)層數(shù)據(jù)包采用基于B-D率失真代價函數(shù)判斷是否重發(fā)，失真代價函數(shù)充分考慮失真度、帶寬和延時信息，決定當(dāng)前的數(shù)據(jù)包是否需要重新傳送，當(dāng)接收端發(fā)現(xiàn)錯誤后，利用解碼端圖像錯誤恢復(fù)技術(shù)進(jìn)行圖像恢復(fù)，如果錯誤恢復(fù)得很好，恢復(fù)后圖像的失真度在人們?nèi)萑痰姆秶鷥?nèi)，則向發(fā)送端傳送當(dāng)前包接收成功的反饋信息，這樣可以有效避免信道帶寬的浪費(fèi)。反之，恢復(fù)后的失真度很高且在當(dāng)前帶寬允許的條件下，則要求編碼端重新發(fā)送，恢復(fù)出完好的重構(gòu)圖像，保證了圖像質(zhì)量，可以盡早防止圖像的錯誤擴(kuò)散，避免占用額外網(wǎng)絡(luò)帶寬，減少延時。

通過上面的分析可以看出，本文的方法充分克服了已有方法的缺點(diǎn)，能夠有效降低無線信道的丟包、誤碼等對視頻傳輸質(zhì)量的影響，同時大大提高了視頻碼流的抗誤碼能力，對推動無線視頻傳輸?shù)膹V泛應(yīng)用具有重大意義。

2 H.264/SVC介紹

H.264/SVC以先進(jìn)視頻編解碼器標(biāo)準(zhǔn)H.264 AVC為基礎(chǔ)，高度利用了運(yùn)動估計等各種工具及概念，結(jié)合了分層編碼 (layer coding)和精細(xì)度伸縮編碼 (fine granular scalability，F(xiàn)GS)，實(shí)現(xiàn)了空間、時間和質(zhì)量的完全伸縮?？臻g上是通過上/下采樣濾波器實(shí)現(xiàn)空間分辨率的變化，時間上是通過運(yùn)動補(bǔ)償預(yù)測的編碼結(jié)構(gòu)具有的內(nèi)在時間可伸縮性實(shí)現(xiàn)的，質(zhì)量可伸縮則采用基于嵌入式位平面的精細(xì)編碼實(shí)現(xiàn)。也就是說，能夠產(chǎn)生不同幀率、分辨率或質(zhì)量等級的解碼視頻。

（1）空間可伸縮性

空間可伸縮性采用分層編碼的方法，將原始空間分辨率的視頻序列分解生成多個不同空間分辨率的視頻子圖像序列，如 4CIF、CIF、QCIF，每個空間分辨率都是一個新的空間編碼層。為了去除各空間層之間的冗余信息，采用了層間預(yù)測（即幀內(nèi)預(yù)測和幀間預(yù)測），可以跨層進(jìn)行，對低空間層的紋理信息和運(yùn)動信息進(jìn)行插值。

（2）時間可伸縮性

每個空間層通過時間分解實(shí)現(xiàn)時間的可伸縮性，需要重建已編碼的幀作為下一步預(yù)測的參考幀，有些重建幀不作為下一幀的參考幀，就可以根據(jù)系統(tǒng)需要進(jìn)行取舍，實(shí)現(xiàn)時間軸播放幀率的可調(diào)性，也是時間的可伸縮性。

（3）質(zhì)量可伸縮性

質(zhì)量基本層采用了與H.264相同的變換、量化及編碼方法；而增強(qiáng)層則采用以較小的量化步長進(jìn)行重新量化的方法減小量化誤差，生成精細(xì)度由大到小的質(zhì)量層，這種質(zhì)量可伸縮的編碼方法也叫做漸進(jìn)精細(xì)化，實(shí)現(xiàn)了質(zhì)量可伸縮性。

3 基于B-D率失真代價函數(shù)的自動重傳機(jī)制

采用幀內(nèi)預(yù)測和運(yùn)動估計的幀間預(yù)測方法，可以有效去除圖像之間的空間和時間冗余信息，借鑒H.264/AVC的率失真算法，在編碼器中對運(yùn)動矢量、參考幀選擇和宏塊編碼模式的判決中都使用了率失真判決策略，有效抑制誤差擴(kuò)散。下面是H.264/AVC的率失真算法：

其中，C表示率失真代價，D表示失真度，R表示熵編碼后的碼率。

編碼器通過計算率失真判決函數(shù)，將最小的代價函數(shù)對應(yīng)的宏塊編碼模式確定為率失真最優(yōu)宏塊編碼模式：

由于信道的錯誤率和重傳次數(shù)有密切的關(guān)系，而每次重傳都要耗費(fèi)一定的帶寬，考慮到這個因素，利用帶寬失真代價函數(shù)的概念，在一定的丟包率、信道帶寬和傳輸延時限制的條件下，接收端接收質(zhì)量和傳輸中所用的帶寬不僅和視頻信源的率失真性能相關(guān)，而且和信道的錯誤率(丟包率)及終端錯誤恢復(fù)技術(shù)相關(guān)，將其作為衡量視頻包是否予以重傳的準(zhǔn)則。視頻數(shù)據(jù)流根據(jù)恢復(fù)后的失真度對圖像質(zhì)量的影響決定是否重發(fā)，這樣可以有效避免有限信道帶寬的浪費(fèi)，提高可伸縮視頻流的魯棒性。

綜合考慮失真度、帶寬和延時信息，下式為B-D率失真代價函數(shù)定義：

其中，Ro包含了重傳比特需要的總體帶寬資源；Dec為增強(qiáng)層數(shù)據(jù)的編碼失真度；Ddc為增強(qiáng)層數(shù)據(jù)錯誤恢復(fù)導(dǎo)致的失真度；ωec是權(quán)重系數(shù)，根據(jù)不同層的重要性進(jìn)行調(diào)節(jié)；Bs=TmaxBw，Bw是當(dāng)前層視頻流的有效帶寬，Tmax是當(dāng)前層的最大延時。

Dec可用圖像的均方誤差表示,是增強(qiáng)層編碼后重構(gòu)圖像與基本層重構(gòu)圖像的均方誤差。

Ddc可用圖像的均方誤差表示,是增強(qiáng)層錯誤恢復(fù)后重構(gòu)圖像與基本層重構(gòu)圖像的均方誤差。

當(dāng)有誤碼發(fā)生時，Ddc通過錯誤恢復(fù)的失真度及所消耗的帶寬值得到，如果大于某閾值，則表明此誤碼包需要重傳，否則不需要重傳。

通過網(wǎng)絡(luò)傳輸，最終耗用帶寬比特和失真分別為R、D,經(jīng)過丟失率為p的信道傳輸后，最后的閾值計算如下：

對于SVC的視頻數(shù)據(jù)流，通過無線信道傳輸，設(shè)其滿足Shannon率失真理論的比特和失真分別為R、D,經(jīng)過丟失率為p的信道傳輸后，其理論上最終耗用帶寬R0和對應(yīng)的接收端失真D0關(guān)系如下：

其中，γ、σ是與信源本身相關(guān)的統(tǒng)計量，對于特定的視頻圖像可以看作常量。

通過上面分析可知，率失真代價函數(shù)對丟失或有誤碼的增強(qiáng)層數(shù)據(jù)包，采用基于帶寬失真代價函數(shù)判斷是否重發(fā)，帶寬失真代價函數(shù)充分考慮失真度、帶寬和延時信息，決定當(dāng)前的數(shù)據(jù)包是否需要重新傳送，這樣可以有效避免浪費(fèi)有限的信道帶寬，錯誤恢復(fù)后的失真度很高且在當(dāng)前帶寬允許的條件下，則要求編碼端重新發(fā)送，恢復(fù)出完好的重構(gòu)圖像，保證了圖像質(zhì)量，可以盡早地防止圖像的錯誤擴(kuò)散，避免占用額外網(wǎng)絡(luò)帶寬，減少延時。

4 實(shí)驗(yàn)結(jié)果及仿真

為了驗(yàn)證本文算法的性能，選用foreman （YUV 4∶2∶0，30 f/s，逐行掃描）作為測試序列，實(shí)驗(yàn)仿真采用基于H.264/SVC的參考軟件JSVM作為對比，編碼結(jié)構(gòu)采用低延時應(yīng)用IPPP，每個序列編碼和解碼300幀，GOP是30，僅第1幀編碼為I幀，不使用FMO，錯誤恢復(fù)使用前幀拷貝，基本層是QCIF格式，增強(qiáng)層是CIF格式。亮度的信噪比隨著碼率和丟包率變化的曲線如圖1、圖2所示。

從圖1可以看出，對于foreman序列，丟包率相同時，本文算法結(jié)合率失真優(yōu)化并根據(jù)B-D代價函數(shù)決定自動重傳的機(jī)制，更好地考慮可恢復(fù)圖像的失真度和帶寬資源，誤碼擴(kuò)散得到有效的控制，得到較高的重建圖像的PSNR值。

從圖2可以看出，信道丟包率不同時，本文算法得到較好的PSNR值，丟包率較高時，應(yīng)該考慮在帶寬允許的情況下，采用B-D代價函數(shù)決定是否自動重傳的機(jī)制，對圖像失真度影響比較大的視頻數(shù)據(jù)包進(jìn)行重傳處理，有效地防止了誤碼擴(kuò)散。

5 結(jié)束語

本文結(jié)合率失真優(yōu)化算法以可伸縮編碼作為容錯工具，利用帶寬失真代價函數(shù)的概念，在一定的丟包率、信道帶寬和傳輸延時限制的條件下，同時考慮可伸縮視頻編碼的分層機(jī)制，不同層的視頻數(shù)據(jù)對圖像的失真度影響不一樣，接收端接收質(zhì)量和傳輸中所用的帶寬不僅和視頻信源的率失真性能相關(guān)，而且和信道的錯誤率(丟包率)及終端錯誤恢復(fù)技術(shù)相關(guān)，所以提出了一種基于B-D代價函數(shù)的對增強(qiáng)層有選擇的重傳算法，將其作為衡量視頻包是否予以重傳的準(zhǔn)則。仿真實(shí)驗(yàn)表明，其能有效抑制誤碼的擴(kuò)散，對圖像質(zhì)量影響較大的數(shù)據(jù)包進(jìn)行重傳，有效保證了圖像質(zhì)量，較少占用網(wǎng)絡(luò)帶寬，同時大大提高了視頻碼流的抗誤碼能力和魯棒性。

本文方法不足之處在于運(yùn)算量大，圖像的失真度Ddc是通過圖像的均方誤差得到的。本文目前只對增強(qiáng)層的數(shù)據(jù)采用B-D代價函數(shù)決定自動重傳的方法，如果對基本層圖像數(shù)據(jù)采用B-D方法代價函數(shù)決定自動重傳，可能會進(jìn)一步提高本文算法的效果，這是下一步的研究工作。

1 Schwarz H,Hinz T,Marpe D,et al.Constrained interlayer prediction for single-loop decoding in spatial scalability.In:Proc ICIP’05,Genova,Ital,Sep 2005

2 Kwok W,Sun Huifang．Multi-directional interpolation for spatial error concealment.IEEE Transactions on Consumer Electronics,1993,39(3):455～460

3 Schwarz H,Marpe D,Wiegand T.Overview of scalable video coding extension of H.264/AVC standard.IEEE Trans on Circuits Syst Video Technol,2007,17(9):1 103～1 120

4 Zhang Qian,Zhu Wenwu,Zhang Ya-Qin.Channel adaptive resource allocation for scalable video transmission over 3G network.IEEE Transactions on Circuits and Systems for Video Technology,2004,14(8):1 049～1 053

5 Lu J.Signal processing of Internet video streaming:a review proceedings of the SPIE image and video.In:Communications and Processing,San Jose,CA,USA,2000

6 Cheng H S,Fairhurst G,Samaraweera N.Efficient partial retransmission ARQ strategy with error detection codesby feedback channel.IEEE Proceedings on Communications,2000,147(5):263～268

7 ITU-T Rec.H.264.Advanced video coding generic audiovisual services,2005

8 Wang Y,Zhu Q.Error control and concealment for video communication.Proc IEEE,1998,86(5):974～997

9 Lam Wai-Man,Reibman A R,Liu Bede.Recovery of lost or erroneously received motion vect.In:IEEE Proceedings of InternationalConference on Acoustics,Speech and Signal Processing(1CASSP93),Minneapolis,USA,1993

10 ITU-T H.264.Wiegand T,Sullivan G,Reichel J,et al.Joint draft 11of SVC amendment.Joint Video Team,JVT-X201,2007

11 WangY,Ostermann J,ZhangY Q.Videoprocessand communication englewood cliffs.In:NJ,Prentice Hall,2002

12 Wenger S,Wang Y K,Schierl T.Transport and signaling of SVC in IP networks.IEEE Trans Circuits Syst Video Technol,2007,17(9):1 164～1 173

13 Kallel S,Haccoun D.Sequential decoding with an efficient partialrestransmission ARQ strategy.IEEE Transactions on Communications,1991,39(2):208～213

14 Sun Huifang,Kwok W.Concealment of damaged block transform coded images using projections onto convex sets.IEEE Transactions on Image Processing,1995,4(4):470～477

15 Tian D,Hannuksela M M,Wang Y K,et al.Error resilient video coding techniques using spare pictures.In:Proc Packet Video Workshop’03,Nantes,France,Apr 2003

16 Wang Y,Wenger S,Wen J,et al.Error resilient video coding techniques.IEEE Signal Process Mag,2000,17(4):61～82