張 義,趙 旭,涂 華,路 博,李陽陽
(1.中國信息通信研究院,北京 100191;2. 工業(yè)和信息化部信息通信管理局,北京 100804;3.中國電子科學(xué)研究院,北京 100041)
?
工程與應(yīng)用
無線局域網(wǎng)中增強3D視頻傳輸?shù)年犃泄芾頇C制
張 義1,趙 旭1,涂 華2,路 博1,李陽陽3
(1.中國信息通信研究院,北京 100191;2. 工業(yè)和信息化部信息通信管理局,北京 100804;3.中國電子科學(xué)研究院,北京 100041)
隨著智能終端、平板電腦的普及,用戶越來越多地通過Wi-Fi上網(wǎng)。與此同時,人們對視頻業(yè)務(wù)的要求也不斷提升,3D等技術(shù)給人們帶來全新的視覺體驗。相對于普通的2D視頻,3D視頻需要的傳輸帶寬更大,如何在無線網(wǎng)絡(luò)中提高3D視頻的傳輸質(zhì)量是一個值得研究的問題。我們提出了一種主動隊列管理機制來增強3D視頻在無線局域網(wǎng)中的傳輸質(zhì)量,在視頻業(yè)務(wù)層需要標識出視頻數(shù)據(jù)的重要性,并將其映射到無線局域網(wǎng)中優(yōu)先級不同的隊列中,保護關(guān)鍵視頻數(shù)據(jù)的傳輸,提高3D視頻的傳輸質(zhì)量。
無線局域網(wǎng);隊列管理; QoS; 多媒體應(yīng)用
隨著智能終端、平板電腦等設(shè)備的普及,人們采用無線上網(wǎng)方式觀看視頻節(jié)目。視頻業(yè)務(wù)對網(wǎng)絡(luò)的傳輸時延和誤碼率都有較高的要求。但是無線環(huán)境下,由于用戶運動、干擾等因素,無線帶寬和誤碼率都難以滿足視頻傳輸?shù)囊骩1]。無線傳輸中分組丟失將會對壓縮的視頻的播放有嚴重的影響。為了減少傳輸?shù)男畔⒘?,視頻編碼器一般采用運動補償算法壓縮視頻,視頻分組在網(wǎng)絡(luò)中的丟失和接收端視頻恢復(fù)質(zhì)量之間不是簡單的線性關(guān)系。視頻壓縮流中幀在接收端解碼時具有依賴關(guān)系,即使較少的網(wǎng)絡(luò)分組丟失也可能造成大量成功傳輸?shù)臄?shù)據(jù)實際上變得不可用。避免視頻關(guān)鍵分組的重傳是提高視頻傳輸質(zhì)量的有效手段[2]。
為了提供立體觀感,研究者提出了多視角視頻和交互式多視角視頻。前者為人的左眼和右眼提供不同的角度的視頻,通過相位視差帶來3D效果;后者則允許用戶實時切換觀看視角,通過運動視差獲得全方位“浸入式”立體效果。采用多視角編碼方式,利用多個視角的圖像相關(guān)性同時壓縮多個視角的信息以提高編碼效率,但是采用這種方式仍然需要傳輸多個視角的視頻。交互式多視角視頻則需要對每個視角分別編碼和存儲,在播放過程中根據(jù)用戶的需求請求不同的視角圖像即可,可以有效地降低傳輸帶寬,但是在傳輸過程中則可能存在交互延時。為了提供更多的視點,研究者提出采用深度圖像繪制技術(shù)(Depth Image Based Rendering, DIBR)借用攝像頭采集的真實視角圖像合成虛擬視角圖像。根據(jù)用戶與服務(wù)器之間的交互,交互式多視角視頻提供了全方位多視角的3D立體用戶體驗。
為了提高視頻傳輸?shù)姆?wù)質(zhì)量,主要有兩種解決方法[3],分別是以端系統(tǒng)和以網(wǎng)絡(luò)為中心的方法。以端系統(tǒng)為中心的方法,需要端系統(tǒng)估計網(wǎng)絡(luò)的帶寬,并實施的修改視頻的壓縮速率,這種方法已經(jīng)得到了廣泛的研究,但是端系統(tǒng)一般較為復(fù)雜。而以網(wǎng)絡(luò)為中心的方法,在網(wǎng)絡(luò)節(jié)點中通過修改傳輸?shù)年P(guān)鍵機制來改進視頻的傳輸質(zhì)量QoS。
隊列管理作為在路由器中支持擁塞控制提供服務(wù)質(zhì)量的機制,是網(wǎng)絡(luò)的研究熱點。早在1993年Sally Floyd等人[4]提出了隨機早期檢測(Random Early Detection, RED)算法,它能根據(jù)在網(wǎng)絡(luò)將發(fā)生擁塞的時候,主動丟棄隊列中緩沖區(qū)的數(shù)據(jù)避免隊列上溢出,這樣使得TCP的擁塞控制機制能夠及早發(fā)現(xiàn)網(wǎng)絡(luò)擁塞以進入擁塞避免狀態(tài),有效地減少網(wǎng)絡(luò)擁塞。但是在無線局域網(wǎng)中,為了提高網(wǎng)絡(luò)的服務(wù)質(zhì)量,研究者提出了增強分布式協(xié)調(diào)功能(Enhance Distributed Coordination Function, EDCF),它為不同的業(yè)務(wù)提供了差異性接入無線信道的機會,以保障實時業(yè)務(wù)的傳輸。但是上述機制仍然不能保障3D視頻的傳輸。為此,我們提出了一種隊列管理機制來提高無線局域網(wǎng)中視頻業(yè)務(wù)的傳輸質(zhì)量。
為了提高有線網(wǎng)絡(luò)中視頻流的傳輸質(zhì)量,文[5]中提出了基于速率的RIO(Rb-RIO)隊列管理算法。算法中將I幀、P幀和B幀分組映射到三個優(yōu)先級類,其中,I幀表示關(guān)鍵幀,I幀可以完整保留畫面,解碼時只需要本幀數(shù)據(jù)就可以完成;P幀表示前向預(yù)測編碼幀,P幀表示的是這一幀跟之前的一個關(guān)鍵幀(I幀)的差別,解碼時需要用之前緩存的畫面疊加上本幀定義的差別,生成最終畫面;B幀表示雙向預(yù)測內(nèi)插編碼幀。B幀是雙向差別幀,也就是B幀記錄的是本幀與前后幀的差別。根據(jù)分組優(yōu)先級的差別修改RIO算法的丟棄概率。文[6]提出分層編碼的視頻業(yè)務(wù),使用多等級RED(稱作REDN3),將不同幀分組映射到WRED算法的不同的丟棄優(yōu)先級中。這些區(qū)分視頻流分組重要性的隊列管理方法,根據(jù)視頻編碼中幀類型的不同,直接將視頻分組按照幀類型映射到不同的優(yōu)先級。
為了保障無線局域網(wǎng)不同業(yè)務(wù)的服務(wù)質(zhì)量,研究者提出了EDCF[7]。它將業(yè)務(wù)分成8個不同的優(yōu)先級(User Priorities, UP),它們被映射為4個用戶類別(Access Categories,AC):音頻業(yè)務(wù)(AC_VO),視頻業(yè)務(wù)(AC_VI),盡力而為業(yè)務(wù)(AC_BE)和背景業(yè)務(wù)(AC_BK)。不同的AC有不同的隊列和接入?yún)?shù)(AIFS[AC],CWmin[AC],CWmax[AC]和TXOP_limit[AC])。通過調(diào)節(jié)這些參數(shù),就可以改變不同業(yè)務(wù)接入無線信道的機會和時長,提供差異性的服務(wù)。
盡管上述的隊列管理機制可以應(yīng)用到無線局域網(wǎng)場景下,通過修改EDCF隊列的管理機制提高視頻的傳輸質(zhì)量,但是這種方案沒有充分發(fā)揮EDCF多隊列的性能。并且現(xiàn)有的研究沒有考慮交互式多視角3D視頻流的視角切換等特性。
圖1 無線局域網(wǎng)交互式多視角視頻傳輸框架
圖1描述了推薦的無線局域網(wǎng)中多視角視頻業(yè)務(wù)的傳輸模型。假定從不同視角的拍攝同一場景,并且每個視角都包括了平面和深度視頻信息。這些視頻數(shù)據(jù)都壓縮并存儲在服務(wù)器中。移動終端向服務(wù)器請求視頻業(yè)務(wù),相應(yīng)的視頻數(shù)據(jù)會從服務(wù)器通過互聯(lián)網(wǎng),無線接入點傳送到移動終端。在傳輸過程中,終端會周期性或者非周期性地反饋用戶的視角。當(dāng)用戶請求虛擬視角視頻的時候,可以先下載兩個相鄰真實視角的視頻,然后在客戶端通過DIBR技術(shù)合成虛擬視角視頻。
我們提出的隊列管理機制結(jié)合了EDCF多隊列的特征和自治的思想。自治機制的核心點是自治反饋控制環(huán)的形式。無線接入收集視頻業(yè)務(wù)的隊列的平均隊列長度,根據(jù)這些信息判斷網(wǎng)絡(luò)的擁塞狀況進行自適應(yīng)的決策。同時在應(yīng)用層標記視頻編碼的特征信息,包括幀類型,幀位置和幀大小等信息,需要在源端進行視頻壓縮編碼后,記錄到分組頭的字段中。無線接入點中的視頻隊列管理機制根據(jù)緩沖區(qū)的情況,當(dāng)網(wǎng)絡(luò)將要發(fā)生擁塞的時候?qū)⒉恢匾姆纸M塞入其它低優(yōu)先級的隊列中,避免關(guān)鍵視頻分組由于隊列溢出而被丟棄。如圖2所示,在無線接入點的隊列中,視頻業(yè)務(wù)的緩沖區(qū)可能發(fā)生溢出,我們可以將不重要的非關(guān)鍵分組(如承載P、B幀的分組)動態(tài)地映射到其他的AC_BE和AC_BK隊列中,最大限度地保護視頻關(guān)鍵分組(如承載I幀的分組)的傳輸。
圖2 隊列管理機制示意圖
在已有的RED、WRED[8]等隊列管理算法中,算法的參數(shù)都是靜態(tài)設(shè)置的。本算法則根據(jù)網(wǎng)絡(luò)的狀況動態(tài)調(diào)整視頻分組的映射策略。具體說來,如圖3所示:
圖3 隊列管理算法流程圖
當(dāng)任意視頻分組進入AC_VI隊列時,首先計算AC_VI和AV_BE隊列緩沖區(qū)的長度,然后根據(jù)AC_VI隊列緩沖長度和分組類型計算丟棄概率PV, 如果決定不丟棄分組,則將視頻分組塞入AC_VI隊列中。如果決定丟棄分組,則根據(jù)AV_BE隊列緩沖區(qū)長度和分組類型計算丟棄概率PB,再次決定是否丟棄分組,如果決定不丟棄分組,則將視頻分組塞入AV_BE隊列中,否則塞入隊列AC_BK中。 這種動態(tài)的隊列管理機制最大限度地利用了EDCF多緩沖區(qū)隊列的特征,充分地保護了關(guān)鍵分組的傳輸,同時并沒有影響高優(yōu)先級的音頻業(yè)務(wù)服務(wù)質(zhì)量,也盡量降低對BE和BK等業(yè)務(wù)的影響。
下面我們討論如何計算丟棄概率PV和PB。對于RED和WRED算法,最重要的參數(shù)是分組最大丟包率maxp。本算法為了減少重要視頻分組的丟失,根據(jù)分組的重要性來對最大丟包率進行調(diào)整。算法中初始設(shè)置的針對I幀分組、P幀分組和B幀分組的最大丟包率分別表示為maxp_i、maxp_p和maxp_b,而且三個數(shù)值依次增大已達到對重要分組的優(yōu)先保護。
如果有I幀分組到達, maxp設(shè)置為maxp_i。如果有P幀分組到達,將根據(jù)P幀編號來調(diào)整maxp_p的值。如果當(dāng)前分組是P幀分組,最大丟包率調(diào)整為maxp = maxp_i + (maxp_p - maxp_i) * a,a是一個常量。如果當(dāng)前分組是B幀分組,最大丟包率調(diào)整為maxp = maxp_p + (maxp_b - maxp_p) * b,其中b是一個常量。算法中使用的靜態(tài)參數(shù)包括:平均隊列長度qvi,隊列長度低門限th_min,隊列長度高門限th_max,最大丟包率maxp_i、maxp_p和maxp_b。而使用的業(yè)務(wù)上下文信息則從到達分組頭的相應(yīng)字段中直接收集獲取即可。當(dāng)AC_VI平均隊列長度qvi小于th_min時,直接使當(dāng)前分組進入隊列。當(dāng)平均隊列長度qvi大于th_max時,則選擇分組進入AV_BE或者AC_BK隊列。當(dāng)平均隊列長度在兩個門限之間時,根據(jù)分組類別信息調(diào)整最大丟包率參數(shù)PV。如果決定分組不進入AC_VI隊列中,則可以進入AC_BE或者AC_BK隊列中。計算過程與上述判斷分組是否進入AC_VI隊列相似,不同之處在于統(tǒng)計的是AC_BE的隊列長度qbe。
推薦的隊列管理機制機制偽代碼如表1所示。
表1 隊列管理算法的偽代碼
我們通過NS3的仿真驗證推薦方法性能。假設(shè)多個用戶同時請求多視角視頻業(yè)務(wù)。
采用H.264 JM編碼視頻序列“Kendo”和“Balloons”[9]。其中。所有視頻采用了前240幀并將視頻重復(fù)播放10遍,仿真實驗中涉及兩個參數(shù)GoP (Group of Picture 圖像組)和QP(Quality Parameters 量化參數(shù))。其中,GoP表示圖片組中幀的個數(shù),即I幀的間隔數(shù),一般為8-64,GoP設(shè)置過小,視頻壓縮比太小,GoP設(shè)置過大,I幀之間的預(yù)測幀補償還原效果太差;QP表示視頻壓縮的量化參數(shù),直接決定視頻的壓縮比,QP越大,視頻的壓縮比越大,生成視頻的碼率越低。根據(jù)實驗和經(jīng)驗值,我們設(shè)置GoP和QP為分別為16和32[10]。視頻Kendo的平均碼率值為820 Kbps,視頻Balloons的平均碼率值為840 Kbps。用JM將視頻的深度信息壓縮為100 Kbps。仿真中,MPEG虛擬視角合成軟件MPEG VSRS用來合成虛擬視角。在仿真過程中,視點1,3和5為真實視點,視點2和4為虛擬視點。該仿真采用了文獻[11]中的視點切換模型,該文獻中視角切換模型是相關(guān)作者在大量實驗數(shù)據(jù)基礎(chǔ)上,對人們進行視角切換規(guī)律的分析和總結(jié),即一般而言用戶會保持相同的視角切換軌道。這個視角模型假定用戶會保持相同的視角切換軌道。如圖4所示,如果用戶在第i-1個時刻觀看的視頻角度是1,在第i個時間分片觀看的角度為2,那么用戶在第i+1個時刻觀看視點1、2和3的概率分別為(1-P2-P3)、P3和P2。如果用戶在第i-1個時刻觀看的視頻角度是2,在第ii個時間分片觀看的角度為2,那么用戶在第i+1個時刻觀看視點1、2和3的概率分別為(1-P1)/2、P1和(1-P1)/2。
圖4 視角切換模型
我們使用NS3在WLAN場景下進行仿真,分析比較默認EDCF算法和推薦方法的性能。隊列管理算法部署在無線接入點隊列管理機制上。仿真拓撲中的10個無線終端在規(guī)定的1000×1000區(qū)域內(nèi)隨機移動。我們使用NS3提供的隨機路點移動模型(random waypoint mobility mode, RWP)。仿真場景中無線信道設(shè)置為雙徑路損模型和瑞麗衰退模型。
仿真中我們推薦的算法中maxp_i, maxp_p, maxp_分別設(shè)置為0,0.4和0.8,th_min和th_max分別設(shè)置為30和60。本文仿真實驗中 a b分別選取0.5 , 1,它們會對不同分組的丟棄概率產(chǎn)生影響。這兩個值越大,分組的丟棄概率越大,分組在網(wǎng)絡(luò)擁塞的時候被主動丟棄的概率越大。一般而言,b應(yīng)該取值比a大,這樣對承載關(guān)鍵幀的分組保護力度越大。
圖5展示了推薦算法的性能,采用EDCF方法和我們推薦的方法kendo視頻的平均PSNR為36.3和37.7 dB, Balloons視頻的平均PSNR為31.9和34.0 dB。我們可以看出推薦的方法能夠有效地提高交互式多視角視頻在無線局域網(wǎng)的傳輸質(zhì)量。
圖5 算法性能比較
本文中提出了一種隊列管理機制以提高交互式多視角3D視頻流傳輸質(zhì)量。能夠根據(jù)視頻流分組的編碼特征信息決定分組的重要性,自適應(yīng)地調(diào)整機制參數(shù),保護重要的視頻數(shù)據(jù)。最后使用NS3仿真比較了傳統(tǒng)的EDCF機制和我們推薦的隊列管理算法性能。仿真結(jié)果顯示推薦算法能夠獲取更優(yōu)的PSNR。
[1] 謝佳,徐山峰,王兆偉,史偉,石偉. 無線局域網(wǎng)視頻流傳輸中的圖像質(zhì)量性能仿真研究[J]. 中國電子科學(xué)研究院學(xué)報,2015,(04):395-400.
[2] Bai Y, Ito M R. Application-aware buffer management: new metrics and techniques[J]. IEEE Transactions on Broadcasting, 2005, 51(1):114-121.
[3] Vaz R N, Nunes M S. Selective frame discard for video streaming over ip networks[C]//Proceedings of the 7th Conference on Computer Networks (CRC2004), Leiria, Portugal. 2004.
[4] Floyd S, Jacobson V. Random early detection gateways for congestion avoidance[J]. IEEE/ACM Transactions on Networking (ToN), 1993, 1(4): 397-413.
[5] Chung J, Claypool M. Rate-based active queue management with priority classes for better video transmission[C]//Proceedings of the Seventh International Symposium on Computers and Communications, 2002: 99-105.
[6] Ziviani A, de Rezende J F, Duarte O. C. M. B, et al. Improving the delivery quality of MPEG video streams by using differentiated services[C]// Proceedings of the 2nd European Conference on Universal Multiservice Networks, 2002: 107-115.
[7] Standards Committee. Wireless LAN medium access control (MAC) and physical layer (PHY) specifications: Amendment 8: Medium Access Control (MAC) Quality of Service enhancements[J]. IEEE Computer Society, 2005.
[8] Floyd, Sally, and Van Jacobson. “Random early detection gateways for congestion avoidance.” IEEE/ACM Transactions on Networking (ToN) 1.4 (1993): 397-413.
[9] Saito T. Nagoya University Multi-view Sequences Download List[J]. Nagoya University, Fujii Laboratory,[Online]. Available: http://www. fujii. nuee. nagoya-u. ac. jp/multiview-data/.[Accessed 31 May 2017].
[10]Zhao M, Gong X, Liang J, et al. A cloud-assisted DASH-based scalable interactive multiview video streaming framework[C]//2015 Picture Coding Symposium (PCS), Cairns, QLD, 2015, pp. 221-226.
[11]Maugey T, Frossard P. Interactive multiview video system with low complexity 2D look around at decoder[J]. IEEE Transactions on Multimedia, 2013, 15(5): 1070-1082.
A Queue Management Mechanism to Improve 3D Video Transmission in WLAN
ZHANG Yi1, ZHAO Xu1, TU Hua2, LU Bo1, LI Yang-yang3*
(1. China Academy of Information and Communications Technology, Beijing;2. Ministry of Industry and Information Technology, Beijing;3. China Academy of Electronics and Information Technology, Beijing)
With the rapid development of intelligent terminals and tablets, more and more users take online through WLAN. The requirement for the video traffic is higher, and 3D technology could bring new visual experience. Compared with the traditional 2D video, it needs more transmission rate to download the 3D video, it's a challenge to improve the 3D video transmission in WLAN. In order to resolve this problem, we propose a queue management strategy to improve the 3D Video Transmission in WLAN: the importance of video data is identified, and the video data will be mapped to different queue based on its importance. It could make sure that the important video data is received successfully, and the performance will be enhanced.
WLAN; Queue management; QoS; Multimedia application
10.3969/j.issn.1673-5692.2017.03.005
2017-02-01
2017-05-31
裝備預(yù)研中國電科聯(lián)合基金項目(6141B08020101)
TP393.1
A
1673-5692(2017)03-246-06
張 義(1986—),男,湖北人,工程師,主要研究方向為互聯(lián)網(wǎng)網(wǎng)絡(luò)與架構(gòu)、互聯(lián)網(wǎng)質(zhì)量監(jiān)測分析、互聯(lián)網(wǎng)交換中心、國際通信等;
E-mail: zhangyi1@catr.cn
趙 旭(1983—),女,寧夏人,工程師,主要研究方向為互聯(lián)網(wǎng)治理、互聯(lián)網(wǎng)產(chǎn)業(yè);
涂 華(1978—),男,湖北人,工業(yè)和信息化部信息通信管理局副處長,主要研究方向為我國電信與互聯(lián)網(wǎng)研究與監(jiān)管工作;
路 博(1986—),男,北京人,工程師,主要研究方向為移動互聯(lián)網(wǎng)應(yīng)用相關(guān)領(lǐng)域;
李陽陽(1987—),男,江蘇人,博士,工程師,主要研究方向為網(wǎng)絡(luò)安全和云計算技術(shù)。