趙飛 仉樹(shù)軍 郭勝楠 洪波
摘要:為解決在復(fù)雜網(wǎng)絡(luò)環(huán)境下傳輸視頻流時(shí),因網(wǎng)絡(luò)可用帶寬的不穩(wěn)定造成的遠(yuǎn)端監(jiān)控視頻出現(xiàn)模糊、馬賽克及卡頓等問(wèn)題,在視頻處理系統(tǒng)中增加視頻流傳輸?shù)木W(wǎng)絡(luò)自適應(yīng)擁塞控制機(jī)制,以實(shí)現(xiàn)視頻流在復(fù)雜的網(wǎng)絡(luò)傳輸環(huán)境中高效、平滑、穩(wěn)定的傳輸。
關(guān)鍵詞:復(fù)雜網(wǎng)絡(luò)環(huán)境;視頻處理系統(tǒng);網(wǎng)絡(luò)自適應(yīng)擁塞控制機(jī)制
中圖分類號(hào):TP311文獻(xiàn)標(biāo)志碼:A文章編號(hào):1008-1739(2019)16-56-3
0引言
隨著電子技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展,視頻監(jiān)控技術(shù)被廣泛應(yīng)用于邊境監(jiān)視[1-2]、高速公路及自然保護(hù)區(qū)等領(lǐng)域[3-5],視頻處理系統(tǒng)設(shè)計(jì)組成一般為視頻采集服務(wù),負(fù)責(zé)從視頻源傳感器采集數(shù)據(jù);視頻處理中心負(fù)責(zé)視頻圖像的解碼顯示;視頻碼流從視頻采集服務(wù)通過(guò)通信網(wǎng)絡(luò)向視頻處理中心傳遞。視頻流數(shù)據(jù)的傳輸特點(diǎn)是實(shí)時(shí)性要求較高,但允許傳輸時(shí)有一定的失真,目前通常采用UDP這種輕型協(xié)議來(lái)傳輸視頻流數(shù)據(jù),但UDP協(xié)議不具備流量控制機(jī)制,在傳輸視頻流時(shí),不能自動(dòng)依據(jù)當(dāng)前傳輸網(wǎng)絡(luò)的可用帶寬、網(wǎng)絡(luò)延遲等參數(shù)信息實(shí)時(shí)調(diào)整其視頻流發(fā)送速率,加劇傳輸網(wǎng)絡(luò)過(guò)載,進(jìn)而導(dǎo)致視頻處理中心的視頻圖像出現(xiàn)模糊、馬賽克、卡頓等問(wèn)題。因此研究網(wǎng)絡(luò)自適應(yīng)擁塞控制技術(shù),實(shí)現(xiàn)視頻流在復(fù)雜網(wǎng)絡(luò)上的高效傳輸,提供平滑穩(wěn)定可靠的視頻質(zhì)量是非常必要的。
1網(wǎng)絡(luò)數(shù)據(jù)傳輸現(xiàn)狀分析
隨著網(wǎng)絡(luò)通信基礎(chǔ)設(shè)施的大規(guī)模建設(shè)以及網(wǎng)絡(luò)帶寬的不斷提高,基于UDP傳輸協(xié)議的視頻處理系統(tǒng)開(kāi)始大量普及,但由于UDP傳輸協(xié)議在設(shè)計(jì)時(shí),未考慮擁塞控制機(jī)制,當(dāng)TCP數(shù)據(jù)和UDP數(shù)據(jù)共享網(wǎng)絡(luò)傳輸環(huán)境時(shí),TCP會(huì)根據(jù)當(dāng)前檢測(cè)的網(wǎng)絡(luò)擁塞情況,實(shí)時(shí)降低其數(shù)據(jù)發(fā)送速率,而UDP則以恒定的速率發(fā)送數(shù)據(jù),加劇網(wǎng)絡(luò)擁塞,造成網(wǎng)絡(luò)的過(guò)載。
目前,研究人員主要從基于網(wǎng)絡(luò)和基于終端2個(gè)層面研究如何獲得相對(duì)穩(wěn)定的UDP數(shù)據(jù)發(fā)送速率以及如何做到復(fù)雜網(wǎng)絡(luò)環(huán)境下UDP數(shù)據(jù)與TCP數(shù)據(jù)的和平共處,試圖解決視頻流數(shù)據(jù)在網(wǎng)絡(luò)傳輸中出現(xiàn)的擁塞問(wèn)題?;诰W(wǎng)絡(luò)的方法主要由網(wǎng)絡(luò)中的路由器、交換機(jī)提供QoS支持;基于終端的方法,主要有基于窗口的擁塞控制機(jī)制和基于數(shù)據(jù)發(fā)送速率的擁塞控制機(jī)制2種。本文主要采用基于數(shù)據(jù)發(fā)送速率的擁塞控制策略,進(jìn)行視頻處理系統(tǒng)的設(shè)計(jì)。
2關(guān)鍵技術(shù)
本系統(tǒng)的實(shí)現(xiàn)涉及2種關(guān)鍵技術(shù)。
①網(wǎng)絡(luò)自適應(yīng)擁塞控制技術(shù):采用網(wǎng)絡(luò)帶寬動(dòng)態(tài)探測(cè)模型,實(shí)時(shí)獲取當(dāng)前網(wǎng)絡(luò)環(huán)境參數(shù),據(jù)此制定數(shù)據(jù)發(fā)送速率調(diào)整方案。
②視頻流自適應(yīng)控制技術(shù):根據(jù)數(shù)據(jù)發(fā)送速率調(diào)整方案自動(dòng)切換編碼方式和視頻流發(fā)送速率。在本系統(tǒng)設(shè)計(jì)時(shí),采用多種并行的壓縮方式編碼以及視頻流切換技術(shù),根據(jù)實(shí)時(shí)更新的網(wǎng)絡(luò)帶寬參數(shù)自動(dòng)優(yōu)選質(zhì)量最優(yōu)的視頻編碼方式,進(jìn)行視頻流的傳送。
3系統(tǒng)設(shè)計(jì)
本視頻處理系統(tǒng)由視頻采集服務(wù)和視頻顯示客戶端兩部分構(gòu)成。
3.1視頻采集服務(wù)
視頻采集服務(wù)主要負(fù)責(zé)完成視頻源數(shù)據(jù)采集、數(shù)據(jù)編碼和自適應(yīng)數(shù)據(jù)發(fā)送等,組成示意圖如圖1所示。
3.1.1視頻數(shù)據(jù)采集
針對(duì)不同視頻源傳感器,設(shè)計(jì)相應(yīng)的數(shù)據(jù)采集插件,采集插件將屏蔽不同視頻源的傳輸協(xié)議差異,按照統(tǒng)一的格式為每一幀視頻數(shù)據(jù)加入幀頭,幀頭包括能夠區(qū)分每路視頻數(shù)據(jù)的唯一標(biāo)識(shí)。數(shù)據(jù)發(fā)送模塊封裝多種壓縮方式的編碼單元,由其按照統(tǒng)一的傳輸協(xié)議(RTP)將統(tǒng)一封裝的視頻數(shù)據(jù)幀向后端轉(zhuǎn)發(fā)[1]。
3.1.2網(wǎng)絡(luò)自適應(yīng)擁塞控制
網(wǎng)絡(luò)自適應(yīng)擁塞控制模塊自動(dòng)接收顯示客戶端周期性回傳的包含包丟失率、網(wǎng)絡(luò)延時(shí)以及環(huán)路時(shí)間等信息的實(shí)時(shí)控制協(xié)議(RTCP)報(bào)文,根據(jù)實(shí)時(shí)獲取的當(dāng)前網(wǎng)絡(luò)環(huán)境參數(shù),制定視頻流數(shù)據(jù)發(fā)送速率調(diào)整方案,碼流自適應(yīng)控制模塊依據(jù)制定的視頻流數(shù)據(jù)發(fā)送速率調(diào)整方案,自動(dòng)選擇合適的視頻數(shù)據(jù)壓縮編碼單元對(duì)視頻數(shù)據(jù)進(jìn)行壓縮編碼,并自動(dòng)進(jìn)行視頻流發(fā)送速率的切換,從而實(shí)現(xiàn)視頻流自適應(yīng)網(wǎng)絡(luò)傳輸環(huán)境。
3.2視頻顯示客戶端
視頻顯示客戶端主要負(fù)責(zé)完成視頻數(shù)據(jù)的接收、解碼顯示、數(shù)據(jù)處理以及視頻質(zhì)量反饋等,組成示意圖如圖2所示。
(1)視頻數(shù)據(jù)接收、解碼和處理
使用統(tǒng)一的RTP數(shù)據(jù)接收接口,接收網(wǎng)絡(luò)上的視頻流數(shù)據(jù),針對(duì)多種視頻源不同的解碼協(xié)議,設(shè)計(jì)相應(yīng)的視頻解碼插件,根據(jù)每路視頻數(shù)據(jù)的唯一標(biāo)識(shí)選擇相應(yīng)的解碼插件對(duì)視頻流進(jìn)行解碼顯示;數(shù)據(jù)處理模塊主要完成關(guān)鍵幀提取、圖像拼接等相應(yīng)的業(yè)務(wù)操作[6]。
(2)視頻質(zhì)量反饋
能夠?qū)崟r(shí)監(jiān)控視頻的傳輸質(zhì)量,并獲取視頻碼流(RTP)數(shù)據(jù)中的網(wǎng)絡(luò)狀態(tài)參數(shù),并自動(dòng)計(jì)算當(dāng)前數(shù)據(jù)包丟失率、單位時(shí)間的包吞吐量等參數(shù)信息,并將上述信息按照實(shí)時(shí)控制協(xié)議(RTCP)格式打包回饋給視頻接入服務(wù)[7-8]。
4仿真試驗(yàn)
仿真試驗(yàn)中采用回訪傳感器存儲(chǔ)的歷史視頻數(shù)據(jù)來(lái)模擬前端傳感器視頻源,主要包括海康、科達(dá)、大華3類,3類傳感器的視頻數(shù)據(jù)幀定義不同,視頻流傳輸時(shí)統(tǒng)一封裝為RTP格式報(bào)文,如表1所示。
視頻采集服務(wù)封裝視頻數(shù)據(jù)采集插件部署在服務(wù)器上,視頻顯示客戶端封裝視頻解碼插件部署于客戶端席位計(jì)算機(jī)上,網(wǎng)絡(luò)參數(shù)干預(yù)席位用于控制網(wǎng)絡(luò)的擁塞情況,3類傳感器視頻源、服務(wù)器和客戶端席位計(jì)算機(jī)通過(guò)以太網(wǎng)相連。仿真環(huán)境的物理部署如圖3所示。
本系統(tǒng)使用視頻采集服務(wù)中封裝的視頻采集插件引接上述3種視頻源數(shù)據(jù),使用視頻顯示客戶端封裝的視頻解碼插件顯示視頻圖像信息,通過(guò)網(wǎng)絡(luò)參數(shù)干預(yù)計(jì)算機(jī),調(diào)節(jié)3個(gè)傳輸鏈路的網(wǎng)絡(luò)參數(shù),模擬復(fù)雜網(wǎng)絡(luò)傳輸環(huán)境下的網(wǎng)絡(luò)擁塞和過(guò)載情況。
視頻采集服務(wù)接收視頻流數(shù)據(jù),并通過(guò)網(wǎng)絡(luò)向視頻顯示客戶端推送視頻數(shù)據(jù),同時(shí)通過(guò)網(wǎng)絡(luò)自適應(yīng)擁塞控制模塊自動(dòng)接收顯示客戶端周期性回傳的RTCP報(bào)文,根據(jù)實(shí)時(shí)獲取的當(dāng)前網(wǎng)絡(luò)環(huán)境參數(shù),制定視頻流數(shù)據(jù)發(fā)送速率調(diào)整方案,碼流自適應(yīng)控制模塊依據(jù)制定的視頻流數(shù)據(jù)發(fā)送速率調(diào)整方案,自動(dòng)選擇合適的視頻數(shù)據(jù)壓縮編碼單元對(duì)視頻數(shù)據(jù)進(jìn)行壓縮編碼,并自動(dòng)進(jìn)行視頻流發(fā)送速率的切換。
視頻顯示客戶端依據(jù)不同視頻源的解碼協(xié)議封裝視頻源專用解碼插件,當(dāng)接收到視頻流時(shí),通過(guò)視頻數(shù)據(jù)幀頭中的視頻數(shù)據(jù)唯一標(biāo)識(shí)來(lái)選擇相應(yīng)的視頻解碼插件進(jìn)行數(shù)據(jù)的解碼顯示。
視頻顯示客戶端的反饋機(jī)制能夠?qū)崟r(shí)監(jiān)控視頻的傳輸質(zhì)量,并獲取視頻碼流(RTP)數(shù)據(jù)中的網(wǎng)絡(luò)狀態(tài)參數(shù),并自動(dòng)計(jì)算當(dāng)前數(shù)據(jù)包丟失率、單位時(shí)間的包吞吐量等參數(shù)信息,并將上述信息按照RTCP格式打包回饋給視頻接入服務(wù)[7-8]。
在視頻傳輸過(guò)程中,通過(guò)網(wǎng)絡(luò)參數(shù)干預(yù)計(jì)算機(jī)實(shí)時(shí)調(diào)節(jié)3個(gè)傳輸鏈路的網(wǎng)絡(luò)參數(shù),模擬復(fù)雜網(wǎng)絡(luò)傳輸環(huán)境下的擁塞情況。
試驗(yàn)結(jié)果表明,基于網(wǎng)絡(luò)自適應(yīng)擁塞控制技術(shù)的視頻處理系統(tǒng),在網(wǎng)絡(luò)傳輸環(huán)境出現(xiàn)波動(dòng)發(fā)生擁塞的情況下,視頻接入服務(wù)能夠根據(jù)視頻顯示處理客戶端周期回傳的反饋信息,動(dòng)態(tài)地調(diào)整視頻流的發(fā)送速率,使得視頻顯示處理客戶端軟件能夠獲得相對(duì)穩(wěn)定的視頻質(zhì)量。
5結(jié)束語(yǔ)
本文所述的視頻處理系統(tǒng)是在統(tǒng)一架構(gòu)的視頻處理系統(tǒng)之上,增加了視頻碼流在IP網(wǎng)絡(luò)傳輸時(shí)的基于RTP傳輸協(xié)議和RTCP控制協(xié)議的網(wǎng)絡(luò)自適應(yīng)擁塞控制機(jī)制,實(shí)現(xiàn)了根據(jù)探測(cè)到的網(wǎng)絡(luò)上的擁塞情況,自動(dòng)調(diào)整視頻碼流發(fā)送速率,有效緩解網(wǎng)絡(luò)擁塞,極大地提高了視頻傳輸質(zhì)量。
參考文獻(xiàn)
[1]鄭慶紅.基于H.264的視頻傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].無(wú)線電工程,2011,41(8):12-14,40.
[2]胡禮勇,李釗,李建軍,等.基于投影變換與軌跡關(guān)聯(lián)的目標(biāo)檢測(cè)算法[J].無(wú)線電工程,2011,41(6):29-31.
[3]張瑞.粒子濾波和均值漂移相結(jié)合目標(biāo)跟蹤算法[J].無(wú)線電通信技術(shù),2011,37(2):29-31.
[4]謝寶虹.基于GPRS和CDMA1X無(wú)線網(wǎng)絡(luò)高速公路監(jiān)控系統(tǒng)[J].可編程控制器與工廠自動(dòng)化,2005(5):85-88.
[5]白保良.自然保護(hù)區(qū)無(wú)線數(shù)字化監(jiān)控系統(tǒng)設(shè)計(jì)研究[J].現(xiàn)代商貿(mào)工業(yè),2012,24(12):159-160.
[6]趙飛,劉新.基于統(tǒng)一架構(gòu)的視頻處理系統(tǒng)[J].計(jì)算機(jī)與網(wǎng)絡(luò),2019,45(5):60-62.
[7]李志杰.IP組播技術(shù)在視頻信息傳輸中的應(yīng)用[J].中國(guó)科技信息,2005(9):58.
[8]洪波,趙鵬,沈永玲.基于流媒體技術(shù)的自適應(yīng)性視頻監(jiān)控系統(tǒng)[J].計(jì)算機(jī)與網(wǎng)絡(luò),2009,35(13):41-43.