■文/牛帆

國際互聯(lián)網(wǎng)視頻回傳加速技術(shù)在新華社的應(yīng)用

■文/牛帆

隨著數(shù)字化時代的到來，新華社每天在全球記者站有大量視頻資料回傳，而國際互聯(lián)網(wǎng)受限于基礎(chǔ)環(huán)境和各種技術(shù)問題無法保證視頻文件穩(wěn)定高效地傳輸，因此需要設(shè)計一套系統(tǒng)來解決此問題。本文分析了市場上成熟的傳輸加速技術(shù)，并做了測試驗證。結(jié)合測試結(jié)果設(shè)計了一套傳輸系統(tǒng)，對于有類似需求的項目有借鑒意義。

國際互聯(lián)網(wǎng)；傳輸加速；TCP；UDP；離線傳輸；節(jié)點轉(zhuǎn)發(fā)

隨著互聯(lián)網(wǎng)時代的到來，信息量呈爆炸式增長。人們已經(jīng)不滿足于僅僅獲得文字和圖片形式的資訊，視頻的需求量越來越大。而視頻拍攝設(shè)備也不再局限于專業(yè)攝像機，各種移動終端均可以作為突發(fā)新聞的采集端，記者可以隨時隨地發(fā)送視頻資料。視頻越來越多，文件越來越大，但是國際互聯(lián)網(wǎng)聯(lián)通性受限于各種問題并無法保證海量視頻文件的快速穩(wěn)定傳輸，本文旨在尋找此問題的解決方案。

1.新華社國際互聯(lián)網(wǎng)視頻回傳的現(xiàn)狀

新華社作為國家通訊社，是中國最大的新聞信息采集和發(fā)布中心。新華社記者遍布全球，目前主要利用互聯(lián)網(wǎng)、專線向國內(nèi)傳輸視頻文件。專線網(wǎng)絡(luò)狀況雖好，但成本高，架設(shè)難度大，無法在全球記者站點部署，遇到突發(fā)事件也難以使用，所以絕大多數(shù)記者還是通過互聯(lián)網(wǎng)的方式傳輸視頻文件。而目前的互聯(lián)網(wǎng)環(huán)境存在以下幾個問題：

1.1基礎(chǔ)網(wǎng)絡(luò)環(huán)境復(fù)雜，差異很大

通過第三方工具模擬測試世界各地傳輸視頻回北京的速率圖（使用FTP協(xié)議，不做任何加速）。

1.2個別地區(qū)國家禁止部分網(wǎng)絡(luò)協(xié)議

根據(jù)以往的傳輸經(jīng)驗發(fā)現(xiàn)個別地區(qū)國家會禁止部分網(wǎng)絡(luò)協(xié)議，例如：緬甸不支持FTP協(xié)議。

1.3采集終端的復(fù)雜性

新華社記者遍布全球200多個記者站點，有中國員工還有各國雇員。他們除了在記者站點發(fā)稿，也經(jīng)常奔赴重大、突發(fā)事件前方報道。手持設(shè)備各異，習(xí)慣的應(yīng)用軟件也五花八門：有使用電腦、也有移動終端的；有使用wifi，也有3/4G網(wǎng)絡(luò)的；有使用專用傳輸軟件，也有通過QQ或者微信傳輸?shù)模桓卣摳鞣N各樣的軟件、操作系統(tǒng)版本之分。

面對如此復(fù)雜的環(huán)境，需要找到一個穩(wěn)定而高效的傳輸方案才能解決新華社記者即時發(fā)稿的問題。

2.互聯(lián)網(wǎng)視頻回傳加速技術(shù)分析

眾所周知互聯(lián)網(wǎng)傳輸協(xié)議有TCP （FTP、HTTP）、UDP，本文不再做詳盡分析?；诖祟悅鹘y(tǒng)的協(xié)議，目前已有相對應(yīng)成熟的傳輸加速技術(shù)產(chǎn)生，并且在這些加速技術(shù)的基礎(chǔ)上還衍生出基于公有云資源的離線傳輸技術(shù)。

另外考慮部分地區(qū)互聯(lián)網(wǎng)狀況優(yōu)質(zhì)，還可以自行搭建節(jié)點轉(zhuǎn)發(fā)傳輸，以“另辟蹊徑”的方式實現(xiàn)視頻文件的快速傳輸。下面就這四類方式做詳細(xì)介紹：

2.1基于TCP的傳輸加速技術(shù)

諸多CDN公司在傳統(tǒng)的TCP （HTTP、FTP）傳輸技術(shù)上做了類似優(yōu)化工作：

◎增加加速節(jié)點

在傳輸加速需求量比較大的國家布設(shè)數(shù)據(jù)加速節(jié)點。

◎路由探測

通過探測互聯(lián)網(wǎng)線路，實時掌握網(wǎng)絡(luò)狀況，幫助用戶選擇最快的網(wǎng)絡(luò)訪問線路，提高訪問速度和體驗。

◎傳輸協(xié)議優(yōu)化

通過對傳輸協(xié)議的優(yōu)化，解決傳統(tǒng)協(xié)議在數(shù)據(jù)傳輸上存在的缺陷，提高傳輸效率，并且對用戶終端無任何感知和影響。

◎鏈路優(yōu)化技術(shù)

通過鏈路并行的方式提高數(shù)據(jù)傳輸速度和效率，增加穩(wěn)定性，增強抗抖動能力。

◎字節(jié)優(yōu)化

通過對傳輸字節(jié)流的簡化，在用戶無感知，內(nèi)容無損耗的情況下，大幅提升訪問速度，提升用戶體驗。

2.2基于UDP的fasp傳輸加速技術(shù)［1］

傳統(tǒng)的TCP協(xié)議存在一些僅僅通過優(yōu)化也不能解決的局限性。當(dāng)部署在低延遲和低數(shù)據(jù)包丟失的網(wǎng)絡(luò)上時，它可提供可靠的數(shù)據(jù)傳遞，但是，隨著數(shù)據(jù)包丟失和延遲的增加（通常出現(xiàn)在遠(yuǎn)距離WAN上），它很快就變得非常緩慢且不可靠。增加更多帶寬無法改變有效的吞吐量。文件傳輸速度無法提高，昂貴的帶寬未得到充分利用。

吞吐量瓶頸的根源在于TCP流速率控制機制，在該機制中，發(fā)送方需要確認(rèn)每一個發(fā)送至接收方的數(shù)據(jù)包。如果某一接收確認(rèn)因高網(wǎng)絡(luò)延遲或數(shù)據(jù)包丟失而未準(zhǔn)時返回，發(fā)送方即認(rèn)為相比接收方的處理能力其發(fā)送速率過快，因而大幅降低速率并緩慢恢復(fù)。結(jié)果，傳輸速率減慢到像是在爬行，而現(xiàn)代化的高帶寬WAN通道卻沒有得到充分利用。

與TCP形成鮮明對比的是，fasp的吞吐量不受洲際WAN和衛(wèi)星、Wi-Fi 或蜂窩連接上出現(xiàn)的網(wǎng)絡(luò)延遲和極端數(shù)據(jù)包丟失的影響。因而，其傳輸時間比標(biāo)準(zhǔn) FTP 快數(shù)百倍且可預(yù)測性強，不受網(wǎng)絡(luò)條件影響。

fasp 之所以能實現(xiàn)這一性能，是因為它摒棄了TCP對速度控制和可靠性的捆綁，采用獨特的專利方法使傳輸速度達(dá)到最大，且不影響對擁塞的回避，實現(xiàn)了理想高效和對帶寬的充分利用。不受網(wǎng)絡(luò)條件影響。最大傳輸速率僅受端點電腦資源的限制（通常為磁盤吞吐量）。

盡管 fasp 可填充任何可用帶寬，但它也包含一個智能自適應(yīng)傳輸速率控制機制，該機制可調(diào)節(jié)速率，精確控制與標(biāo)準(zhǔn) TCP 流量間的公平性，可自動蔓延，充分利用未使用的帶寬。這確保了關(guān)鍵業(yè)務(wù) TCP 流量可正常工作，如電子郵件、網(wǎng)絡(luò)和業(yè)務(wù)應(yīng)用，同時也允許 fasp 利用未使用的帶寬。

2.3離線傳輸

除了上述加速方式在傳輸協(xié)議上做文章，還有一些基于公有云資源的離線傳輸技術(shù)也可以使用。發(fā)起方先將文件傳輸?shù)骄徒脑乒?jié)點，文件在云內(nèi)的高速流轉(zhuǎn)交由云廠商自己解決，接收方就近提取文件即可。提供此類技術(shù)的公司主要工作就是如何提高數(shù)據(jù)文件在云內(nèi)的流轉(zhuǎn)速度。

2.4節(jié)點轉(zhuǎn)發(fā)加速

根據(jù)以往傳輸經(jīng)驗，考慮到各國防火墻等安全設(shè)備的限制，有時候從A節(jié)點傳輸文件到C節(jié)點不如從A節(jié)點經(jīng)過B節(jié)點再傳輸?shù)紺節(jié)點。特別是如果中轉(zhuǎn)線路是專線效果會更好，這樣可以利用少量專線實現(xiàn)更大范圍的快速傳輸。

3.技術(shù)方案驗證

3.1技術(shù)方案設(shè)計

針對上述各類傳輸技術(shù)，設(shè)計如下場景進(jìn)行驗證。驗證系統(tǒng)搭建在新華社云平臺上，測試用的服務(wù)器為虛擬機，在同一局域網(wǎng)中，所有服務(wù)器共享新華社互聯(lián)網(wǎng)接入。

其中TCP加速方式選擇了五家產(chǎn)品進(jìn)行驗證；UDP加速方式選擇了三家產(chǎn)品進(jìn)行驗證；節(jié)點轉(zhuǎn)發(fā)則在位于美國的虛擬機上部署轉(zhuǎn)發(fā)應(yīng)用進(jìn)行驗證，這里選擇了三家不同平臺的虛擬機，以驗證平臺的影響；離線傳輸選取兩家產(chǎn)品進(jìn)行驗證。

圖1　互聯(lián)網(wǎng)傳輸測試示意圖

3.2驗證方法與結(jié)果

本次驗證使用了自動工具測試和人工測試兩種方式，互為補充。

3.2.1自動工具測試

優(yōu)點：自動工具通過在海外的眾多注冊會員，可以真實PC發(fā)起視頻傳輸。本次測試點分布五大洲，共27個城市。測試過程穩(wěn)定可靠，報表數(shù)據(jù)詳盡。

缺點：目前只能針對TCP加速方式（HTTP、FTP）做測試。

結(jié)果如下圖所示：

圖2　各產(chǎn)品HTTP傳輸速率測試結(jié)果

各產(chǎn)品的HTTP傳輸速率：

圖中綠色是不做任何加速的原始效果，其他五種顏色表示五家產(chǎn)品，雖然加速效果各異。但可以看出加速效果好的能比源站提高3-4倍（詳細(xì)數(shù)據(jù)顯示，如果能在需要的傳輸點部署加速節(jié)點效果更佳）。

各產(chǎn)品的FTP傳輸速率：

圖3　各產(chǎn)品FTP傳輸速率測試結(jié)果

FTP加速效果與HTTP相仿，最佳效果能平均提高4倍左右。由于五家CDN廠商中只有兩家能做FTP加速，所以此處加上綠色未加速結(jié)果后只有三條曲線。

3.2.2人工測試——美國、肯尼亞

優(yōu)點：各種傳輸模式都能測試到。這里通過人工方式驗證UDP加速、離線傳輸和節(jié)點轉(zhuǎn)發(fā)加速。

缺點：人工的隨機性相對難以控制。測試點少，可測試的數(shù)據(jù)相對較少。

因為人工測試環(huán)境的不穩(wěn)定性，在選擇測試點的時候充分考慮網(wǎng)絡(luò)和地區(qū)因素，選擇具有代表性的地點。本次測試選擇了美國和肯尼亞。

測試安排2輪，每輪測試周期一天，一天選擇9：00和16：00兩個時間點，由于時差的原因，測試的時間點安排為當(dāng)?shù)貢r間。

前方測試人員在海外發(fā)送視頻文件，每次測試時，需要連續(xù)傳輸5次文件，求平均來避免偶然網(wǎng)絡(luò)波動。

表1　各產(chǎn)品UDP傳輸速率測試結(jié)果

由上表可見非洲地區(qū)網(wǎng)絡(luò)連通性較差，美國較好。但通過UDP加速方式均能提高2-3倍。其加速上限受限于用戶端帶寬。

表2　各產(chǎn)品節(jié)點轉(zhuǎn)發(fā)傳輸速率測試結(jié)果

由上表可見通過節(jié)點轉(zhuǎn)發(fā)部署在不同公有云平臺上效果各異，但總體來說都有提高，最高能到4-5倍。因為只是做方案驗證，本次測試的中轉(zhuǎn)線路線路仍然使用的是互聯(lián)網(wǎng)，如果能夠使用專線效果理應(yīng)更佳。

表3　各產(chǎn)品離線傳輸速率測試結(jié)果

由上表可見離線傳輸加速效果不明顯，使用A工具甚至有所下降。經(jīng)分析與離線傳輸?shù)脑破脚_自身內(nèi)部流轉(zhuǎn)效率有關(guān)，所以本文認(rèn)為，離線傳輸只能作為線路的備份，暫無法作為加速工具使用。

綜合以上測試結(jié)果，得出以下結(jié)論：

◎其一，使用TCP加速的方式全球五大洲測試平均能提高4倍左右。若在臨近區(qū)域有數(shù)據(jù)節(jié)點甚至可以取得10倍以上的提高效果。

◎其二，UDP傳輸由于其協(xié)議特點可以提高帶寬占用率，在網(wǎng)絡(luò)連通性好的地方（比如美國），效果更佳。在網(wǎng)絡(luò)連通性較差的地方（比如非洲），UDP提升空間有限，節(jié)點轉(zhuǎn)發(fā)效果更好。

◎其三，離線傳輸可以作為備份手段，加速效果并不明顯?！蚱渌?，互聯(lián)網(wǎng)環(huán)境千變?nèi)f化，實測多次不同時間，不同地區(qū)均有不小波動，也出現(xiàn)過瞬斷現(xiàn)象。為保證傳輸建議多種方式并用。

4.互聯(lián)網(wǎng)視頻回傳加速系統(tǒng)設(shè)計思路

基于上述驗證分析，在不考慮成本的基礎(chǔ)上，最好建立一個完備的技術(shù)系統(tǒng)集合上述方案，并且能夠自動探測效果最好的線路。這樣才能保證視頻文件穩(wěn)定而高效的回傳。

圖4　互聯(lián)網(wǎng)傳輸系統(tǒng)設(shè)計圖

因此設(shè)計了自動化控制的方式選擇最優(yōu)線路。

為了減少系統(tǒng)開銷，本方案在傳輸初始會查詢以前的傳輸記錄，如果曾經(jīng)高效傳輸過則默認(rèn)使用之前的通路。如果沒有傳輸過則發(fā)送測試包檢測網(wǎng)絡(luò)延遲和丟包率再做判斷。

記者如果定點辦公建議使用本方案，如果經(jīng)常移動辦公，方案可簡化為傳輸前必須探測線路。

通過此方案可以高效使用到各種傳輸加速技術(shù)，并保證鏈路的穩(wěn)定可靠。

5.結(jié)論

本文從新華社在國際互聯(lián)網(wǎng)條件下傳輸視頻遇到的困難入手，分析了目前市場上比較成熟的傳輸加速技術(shù)，并且分別做了實際測試驗證，最后提出穩(wěn)定高效傳輸系統(tǒng)設(shè)計思路，對于有類似需求的項目有推廣和借鑒意義。

［1］IBM-Aspera，http∶//asperasoft.com/ zh/site/technology/fasp-transporttechnology/

［2］網(wǎng)宿 -Appa，http∶//www. chinanetcenter.com/products/cdn/ appa/

［3］博睿-傳輸，http∶//www.bonree. com/439/2015-11-24/1684.htm

（作者單位：新華通訊社通信技術(shù)局）

TN919.85

A