常久慧
(遼寧廣播電視臺,遼寧沈陽110004)
媒資交互平臺服務(wù)質(zhì)量控制體系設(shè)計
常久慧
(遼寧廣播電視臺,遼寧沈陽110004)
結(jié)合遼寧廣播電視臺媒體資產(chǎn)管理與交互平臺設(shè)計及運行情況,從應(yīng)用環(huán)境、網(wǎng)絡(luò)環(huán)境、網(wǎng)絡(luò)帶寬需求等方面分析了媒資交互平臺在設(shè)計和使用過程中面臨的問題。在系統(tǒng)設(shè)計時,采用服務(wù)質(zhì)量控制體系設(shè)計的思路,為媒體資產(chǎn)管理與交互平臺提供更好的服務(wù)能力。著重介紹了媒資交互平臺服務(wù)質(zhì)量控制體系設(shè)計的各種策略,包括流程優(yōu)先級的設(shè)置、EMB傳輸服務(wù)器的任務(wù)分配、文件共享服務(wù)器負載分配,并重點闡述了使用服務(wù)器靈活指定技術(shù)實現(xiàn)對文件的轉(zhuǎn)碼控制。
服務(wù)質(zhì)量;ESB;EMB;媒資交互平臺;服務(wù)器靈活指定技術(shù);優(yōu)先級
【本文獻信息】常久慧.媒資交互平臺服務(wù)質(zhì)量控制體系設(shè)計[J].電視技術(shù),2015,39(10).
隨著電視制作系統(tǒng)數(shù)字化、網(wǎng)絡(luò)化的變革性發(fā)展,尤其是使用無帶化的生產(chǎn)流程之后,對于編輯記者來說,避免了使用磁帶介質(zhì)的諸多不便,但是對于磁帶送交的過程他們是可以控制的。在網(wǎng)絡(luò)化的交互平臺上,編輯記者提交的成片、素材等文件何時可以送交到目的地就難以控制了,這取決于媒資交互平臺的服務(wù)能力。為了提高系統(tǒng)的可用性,必須設(shè)置一整套服務(wù)質(zhì)量控制的解決方案。
服務(wù)質(zhì)量指一個網(wǎng)絡(luò)能夠利用各種基礎(chǔ)技術(shù),為指定的網(wǎng)絡(luò)通信提供更好的服務(wù)能力,是網(wǎng)絡(luò)的一種安全機制,是用來解決網(wǎng)絡(luò)延遲和阻塞等問題的一種技術(shù)。對于有多個傳輸流程和嚴(yán)格實時性要求的媒資交互平臺來說,服務(wù)質(zhì)量的控制十分必要。需為媒資交互平臺設(shè)置服務(wù)質(zhì)量策略,當(dāng)網(wǎng)絡(luò)過載或擁塞時,服務(wù)質(zhì)量能確保重要業(yè)務(wù)不受延遲或丟棄,同時保證網(wǎng)絡(luò)的高效運行[1-2]。
媒資交互平臺承擔(dān)著全臺所有節(jié)目生產(chǎn)網(wǎng)絡(luò)間的互聯(lián)互通工作,其主要任務(wù)是網(wǎng)絡(luò)傳輸,大部分電視臺使用IP協(xié)議,也有電視臺使用FC協(xié)議,但無論使用哪種協(xié)議和網(wǎng)絡(luò)架構(gòu),都面臨著相同的壓力和問題。
1)應(yīng)用環(huán)境復(fù)雜
系統(tǒng)中有不同的應(yīng)用,也對應(yīng)著不同的流程,本臺媒資交互平臺現(xiàn)在運行著19個流程,其中包括8個高清流程,所有的節(jié)目生產(chǎn)網(wǎng)絡(luò)都已經(jīng)實現(xiàn)了文件化的互聯(lián)互通,互聯(lián)結(jié)構(gòu)如圖1所示。
媒資交互平臺為多個系統(tǒng)提供互聯(lián)服務(wù),其流程從任務(wù)優(yōu)先級劃分可以分為播出流程、下載流程及歸檔流程,傳輸?shù)膬?nèi)容包括素材和播出文件,應(yīng)用環(huán)境非常復(fù)雜,需要根據(jù)節(jié)目生產(chǎn)的需求,定義每個流程的優(yōu)先級,分配網(wǎng)絡(luò)資源,保證關(guān)鍵業(yè)務(wù)的實時性。
2)網(wǎng)絡(luò)環(huán)境復(fù)雜
媒資交互平臺傳輸實質(zhì)上是將數(shù)據(jù)由一個存儲傳送到另一個存儲,這些存儲屬于不同的節(jié)目生產(chǎn)網(wǎng)絡(luò),并且根據(jù)網(wǎng)絡(luò)應(yīng)用的需求,采用不同的存儲接口和存儲訪問形式,包括以太接口和FC接口,SAN存儲訪問架構(gòu)和NAS存儲訪問架構(gòu)。
圖1 媒資交互平臺互聯(lián)示意圖
這些存儲并不是只為主干互聯(lián)服務(wù)的,還要優(yōu)先保證存儲所在生產(chǎn)網(wǎng)絡(luò)的應(yīng)用,比如播出的二級緩存除了接受主干送來的待播文件,還要及時地將待播文件遷往播出服務(wù)器備播,存儲的總帶寬有限,而存儲本身無法區(qū)分應(yīng)用,也缺乏服務(wù)質(zhì)量控制,這就需要媒資交互平臺來控制對存儲的訪問。
為了解決這些問題,采用整體的解決方案來應(yīng)對,包括流程的優(yōu)先級設(shè)置,EMB傳輸服務(wù)器的指定,負載均衡的文件共享策略。
3)網(wǎng)絡(luò)帶寬需求高
現(xiàn)在各省級電視臺基本都已實現(xiàn)高標(biāo)清同播,并且會在未來的幾年內(nèi)逐步實現(xiàn)全高清的制播,電視節(jié)目制播由標(biāo)清變?yōu)楦咔澹恢皇菍?jié)目編輯帶來影響,還大大提高了對網(wǎng)絡(luò)的帶寬需求,就本臺的應(yīng)用情況來說,素材文件的碼流由標(biāo)清的50 Mbit/s碼提升到高清的120 Mbit/s,播出文件的碼流由原來的15 Mbit/s提升到50 Mbit/s,總體帶寬需求提升將近3倍。
此外,媒資網(wǎng)絡(luò)的負載也不穩(wěn)定,傳輸任務(wù)和高峰期的公共交通擁堵一樣,媒資交互平臺的帶寬需求也總是在固定的時間集中爆發(fā)。
2.1流程優(yōu)先級的設(shè)置
現(xiàn)在各個廣電系統(tǒng)集成商的主干產(chǎn)品都支持對流程優(yōu)先級的設(shè)置,這是對任務(wù)處理順序的整體把握,本臺使用的是大洋公司的產(chǎn)品,為了保證關(guān)鍵的任務(wù)優(yōu)先執(zhí)行,本臺為流程設(shè)置不同的優(yōu)先級,優(yōu)先級分為1~5的5個級別,級別等級高的任務(wù)會得到優(yōu)先處理,設(shè)置所有送播流程的優(yōu)先級為4,媒資下載流程和收錄流程的優(yōu)先級為3,媒資歸檔的優(yōu)先級為2,優(yōu)先級1和5保留。
優(yōu)先級在ESB的流程定義中設(shè)置,根據(jù)ESB+EMB雙總線架構(gòu)的主干接口標(biāo)準(zhǔn),ESB使用xml格式在各節(jié)點中進行數(shù)據(jù)交互,以制作網(wǎng)送播流程舉例,該流程的優(yōu)先級為4,定義在以下字段:
<m0:AsynRequest>
<m0:SourceID>DYESB</m0:SourceID>
<m0:Priority>4</m0:Priority>
</m0:AsynRequest>
ESB在流程中的調(diào)用增加EMB服務(wù)時將優(yōu)先級傳遞給EMB調(diào)度服務(wù)。EMB接到ESB發(fā)來的任務(wù)后,會繼承任務(wù)的優(yōu)先級,并根據(jù)優(yōu)先級調(diào)整處理隊列中任務(wù)的順序。
保留優(yōu)先級別1和5,可以在EMB配置中,修改默認(rèn)優(yōu)先級一樣的任務(wù)的處理順序,比如同樣是傳送給播出任務(wù),默認(rèn)優(yōu)先級都為4,如果有任務(wù)需要立即執(zhí)行,可以在EMB任務(wù)隊列中手動調(diào)整優(yōu)先級,這兩種優(yōu)先級策略的組合控制,可以在最少人為干預(yù)的情況下,保證緊急任務(wù)得到優(yōu)先處理。
2.2EMB傳輸服務(wù)器的任務(wù)分配
主干的EMB傳輸服務(wù)器負責(zé)各網(wǎng)絡(luò)間的數(shù)據(jù)交互,這種交互簡單地說就是EMB傳輸服務(wù)器讀取一個網(wǎng)絡(luò)存儲的數(shù)據(jù)然后復(fù)制到另一個網(wǎng)絡(luò)存儲上,一般有UNC和FTP兩種實現(xiàn)方式,兩種方式的本質(zhì)是一樣的,采用UNC方式就是將各網(wǎng)絡(luò)的儲存訪問路徑映射成本地的邏輯盤符,主干的傳輸任務(wù)就變成EMB傳輸服務(wù)器本地兩個盤符之間的數(shù)據(jù)復(fù)制。如果目標(biāo)網(wǎng)絡(luò)使用NAS結(jié)構(gòu),網(wǎng)絡(luò)存儲的主機接口使用以太網(wǎng)接口,EMB傳輸服務(wù)器可以直接映射,如果目標(biāo)網(wǎng)絡(luò)使用FC SAN架構(gòu),EMB傳輸服務(wù)器就必須通過文件共享服務(wù)器來映射[3]。
本臺媒資交互平臺文件共享結(jié)構(gòu)如圖2所示。
現(xiàn)在各電視臺普遍采用的EMB傳輸服務(wù)器的分配模式有2種,分別是服務(wù)器共享和服務(wù)器分組,這2種模式都有各自的局限性。
1)服務(wù)器共享模式的局限性
各臺普遍常用服務(wù)器共享模式,在這種模式下,EMB傳輸服務(wù)器和各網(wǎng)絡(luò)傳輸設(shè)備并不是一一對應(yīng)的,在EMB任務(wù)調(diào)度時采用動態(tài)指定的方式,每個EMB服務(wù)器并不是單獨為一個網(wǎng)絡(luò)或一個流程服務(wù),而是被所有流程所共有。這是考慮到日常工作中基本不會出現(xiàn)在同一時刻所有的網(wǎng)絡(luò)都并發(fā)出現(xiàn)大量的傳輸需求的情況,為了節(jié)約成本,就像不能按照節(jié)假日高速公路的交通流量來設(shè)計公路的寬度一樣,網(wǎng)絡(luò)中設(shè)計的主干網(wǎng)的EMB傳輸服務(wù)器的傳輸能力要小于各網(wǎng)文件共享服務(wù)器傳輸能力及NAS存儲的總和。本臺網(wǎng)絡(luò)中配備有12臺EMB傳輸服務(wù)器,各網(wǎng)絡(luò)的文件共享服務(wù)器達到18臺,并且有2個存儲采用直連方式,這2個存儲都使用雙萬兆以太網(wǎng)主機接口。這種控制方式會帶來2個方面的問題。
圖2 媒資交互平臺文件共享結(jié)構(gòu)示意圖
(1)文件共享服務(wù)器能力不足
當(dāng)一個網(wǎng)絡(luò)同時出現(xiàn)大量傳輸請求時,所有的EMB同時接到這個網(wǎng)絡(luò)的任務(wù),在傳輸層面就會出現(xiàn)多個EMB服務(wù)器對少量的接口服務(wù)器的情況。例如高清新聞網(wǎng)同時提交多個媒資下載任務(wù),那么傳輸?shù)逆溌啡缦拢?/p>
媒資網(wǎng)存儲→4臺媒資網(wǎng)文件共享服務(wù)器服務(wù)器→12臺EMB傳輸服務(wù)器→2臺新聞網(wǎng)文件接口服務(wù)器→制作網(wǎng)存儲
顯然,新聞網(wǎng)文件接口服務(wù)器帶寬不足,成為整個鏈路的瓶頸,相當(dāng)于每6臺EMB服務(wù)器對應(yīng)于1臺新聞網(wǎng)文件共享服務(wù)器,造成EMB傳輸服務(wù)器傳輸效率低下,網(wǎng)絡(luò)擁堵,而隊列中的其他流程的任務(wù)因為沒有空閑的EMB傳輸服務(wù)器,只能長時間的等待。這種情況時需要有策略控制參與執(zhí)行傳輸任務(wù)的EMB傳輸服務(wù)器數(shù)量,釋放EMB資源。
(2)存儲能力不足
對于一臺存儲來說,除了提供主干的數(shù)據(jù)傳輸,還要保證本系統(tǒng)的應(yīng)用。比如圖中介紹過的播出緩存,它用2條萬兆鏈路和主干網(wǎng)直接連接,沒有文件共享服務(wù)器的限制,播出緩存可以提供的總帶寬為500 Mbit/s,如果多個EMB傳輸服務(wù)器同時接到傳輸播出的任務(wù),那么傳輸?shù)膸捑秃苋菀壮^這個限制,導(dǎo)致存儲工作在不穩(wěn)定的狀態(tài)下,并且導(dǎo)致存儲沒有帶寬資源提供播出網(wǎng)內(nèi)部的待播文件遷移到播出服務(wù)器的關(guān)鍵任務(wù)。這種情況也需要策略控制參與執(zhí)行任務(wù)的EMB傳輸服務(wù)器數(shù)量。
2)服務(wù)器分組模式的局限性
服務(wù)器分組的方法簡單說就是采用服務(wù)器專用,為每條流程指定專門的EMB傳輸服務(wù)器,相應(yīng)的服務(wù)器不能再處理其他流程的任務(wù)。就上面的例子來說,在EMB任務(wù)調(diào)度層面指定2臺EMB傳輸服務(wù)器專門處理媒資下載到新聞網(wǎng)這條流程,這樣就可以實現(xiàn)對參與任務(wù)服務(wù)器數(shù)量的精確控制,但采用這種模式需要配備更多的服務(wù)器,隨著媒資網(wǎng)絡(luò)規(guī)模的擴大,服務(wù)器數(shù)量會成幾何級數(shù)增加,導(dǎo)致成本增加,網(wǎng)絡(luò)也變得更加復(fù)雜。
3)解決方法:服務(wù)器靈活指定技術(shù)
為了解決以上2種模式的局限性,本臺設(shè)計并應(yīng)用了一種服務(wù)器靈活指定技術(shù),可以將每個流程限制在一個或一組服務(wù)器上執(zhí)行,但該服務(wù)器并不為這個流程所專用,還可以處理其他流程的任務(wù)。
EMB服務(wù)器除了執(zhí)行傳輸?shù)娜蝿?wù),還可以處理轉(zhuǎn)碼任務(wù),比如可以設(shè)置為制作網(wǎng)只需提交素材,由EMB傳輸服務(wù)器進行播出格式的轉(zhuǎn)碼,但考慮到事故責(zé)任的劃分,各電視臺現(xiàn)在都已經(jīng)不在媒資交互平臺進行轉(zhuǎn)碼,EMB傳輸服務(wù)器只做文件的復(fù)制工作。筆者利用EMB調(diào)度服務(wù)對EMB傳輸服務(wù)器轉(zhuǎn)碼能力的區(qū)分來實現(xiàn)控制,為每個流程設(shè)置一個單獨的轉(zhuǎn)碼位,這個轉(zhuǎn)碼位對應(yīng)一個轉(zhuǎn)碼能力,在EMB調(diào)度分配任務(wù)時,會根據(jù)流程的轉(zhuǎn)碼位來選擇具有轉(zhuǎn)碼能力的傳輸服務(wù)器來執(zhí)行任務(wù)。如果具有相應(yīng)轉(zhuǎn)碼能力的服務(wù)器都處于忙碌狀態(tài),那么任務(wù)會排隊等待。每個服務(wù)器可以配置多個轉(zhuǎn)碼能力。
以媒資下載到新聞網(wǎng)的流程來舉例。首先在EMB的配置中定義新的轉(zhuǎn)碼能力,在參數(shù)配置中增加新的外系統(tǒng)自定義的轉(zhuǎn)碼能力,名稱為mz,能力位為1。EMB配置示意圖如圖3所示。
圖3 EMB配置示意圖1(截圖)
然后指定2臺EMB傳輸服務(wù)器ACTOR1和ACTOR3可以處理mz任務(wù)。EMB配置示意圖如圖4所示。
圖4 EMB配置示意圖2(截圖)
此外,還需修改ESB的流程定義,使媒資下載到新聞網(wǎng)的流程在調(diào)用增加EMB任務(wù)時,將能力位1傳送給EMB調(diào)度,在ESB流程的調(diào)用增加EMB服務(wù)節(jié)點,增加以下字段和定義:
<m0:GlobalOption>
<m0:TCAbility>1</m0:TCAbility>
</m0:GlobalOption>
完成以上設(shè)置后,所有媒資下載到新聞網(wǎng)的流程都帶被定義為類別為1的轉(zhuǎn)碼任務(wù),EMB調(diào)度任務(wù)時,會分配給具有相應(yīng)能力的2臺傳輸服務(wù)器處理。
EMB共享模式結(jié)合服務(wù)器靈活指定技術(shù)可以實現(xiàn)對EMB傳輸任務(wù)細致有效的管理,根據(jù)系統(tǒng)的應(yīng)用情況來選擇如何分配傳輸服務(wù)器,需要注意的是,設(shè)置中的轉(zhuǎn)碼并不進行真的轉(zhuǎn)碼工作,只是用來做EMB調(diào)度分配任務(wù)的依據(jù)。
2.3文件共享服務(wù)器負載分配
最理想的情況下,與主干互聯(lián)的網(wǎng)絡(luò)的文件共享服務(wù)器使用集群策略,對主干提供一個統(tǒng)一的服務(wù)IP來做文件訪問,內(nèi)部根據(jù)各文件共享服務(wù)器的負載情況來分配任務(wù),但這種方式成本昂貴,技術(shù)復(fù)雜。所以,一般情況下,只能在EMB傳輸服務(wù)器的存儲映射策略上做合理的安排,實現(xiàn)存儲映射層面的平均分配,不能實現(xiàn)按流量的負載均衡。
在設(shè)計EMB服務(wù)器和文件共享服務(wù)器的對應(yīng)關(guān)系時盡量使每個文件共享服務(wù)器對應(yīng)的EMB服務(wù)器數(shù)量相等,此外,可以利用網(wǎng)絡(luò)文件系統(tǒng)提供的特性,實現(xiàn)服務(wù)器之間的高可用。
媒資交互平臺服務(wù)質(zhì)量控制是IT層面的課題,它和電視信號無關(guān),只關(guān)心文件如何在網(wǎng)絡(luò)上的傳輸。各臺在推進網(wǎng)絡(luò)化、無帶化的生產(chǎn)流程時都會遇到類似的問題,就文件送播流程來講,必須制定時長幾倍于磁帶送播的“關(guān)門時間”,這樣就壓縮了記者的編輯時間。媒資交互平臺的管理人員要根據(jù)應(yīng)用情況,合理應(yīng)用本文介紹的幾種策略,尋找投入成本、系統(tǒng)復(fù)雜性和人為干預(yù)程度等幾個要素中的平衡點,提高媒資交互平臺的可用性。
[1]IETF.Policy Quality of Service(QoS)Information Mode,IETF RFC3644[S].2003.
[2]張國清.QoS在IOS中的實現(xiàn)與應(yīng)用[M].北京:電子工業(yè)出版社,2010.
[3]電視臺數(shù)字化網(wǎng)絡(luò)化工作組.電視臺數(shù)字化網(wǎng)絡(luò)化建設(shè)白皮書2007[EB/OL].[2014-11-01].http://wenku.baidu.com/link?url=MpZ 7uVlY-7MK4ePriTksmFBTngkcZmZs4ZyXwDwTgk1ZUOJt0Tism TNkSzmKR4Oa6sLNb-3lr04lgVpcsozGXsKlK8dL3QDw3phPVkU gXoK.
TN948
B
10.16280/j.videoe.2015.10.023
閆雯雯
2014-12-01