国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

淺析內(nèi)容分發(fā)網(wǎng)絡關鍵技術與應用

2019-10-07 13:33朱夫明董彥祥
中華建設科技 2019年4期

朱夫明 董彥祥

【摘?要】目前,廣電網(wǎng)絡面臨最大的挑戰(zhàn)就是數(shù)據(jù)傳輸速度的提高以及對網(wǎng)絡擁塞問題的解決,這需要一種能夠滿足數(shù)據(jù)傳輸業(yè)務又能對高清時代加以支撐的可靠技術。CDN具有內(nèi)容分發(fā)、存儲、管理、負載均衡技術,能在傳輸速度提高的同時減少時延,是目前廣電網(wǎng)絡解決數(shù)據(jù)傳輸問題的主要途徑。本文對CDN的關鍵技術和其技術指標分析,并探討CDN在廣電中的應用。

【關鍵詞】CDN(內(nèi)容分發(fā)網(wǎng)絡,Content Delivery Network)、CDN關鍵技術、CDN技術應用

Analysis on Key Technologies and Applications of Content Distribution Network

Zhu Fu-ming,Dong Yan-xiang

(Tianyuan Ruixin Communication Technology Co., Ltd?Xi'an?Shanxi?710000)

【Abstract】At present, the biggest challenge for broadcasting and television networks is the improvement of data transmission speed and the solution to network congestion problems. This requires a reliable technology that can satisfy the data transmission service and support the high-definition era. CDN has content distribution, storage, management, load balancing technology, which can reduce the delay while increasing the transmission speed. It is the main way for the broadcasting and television network to solve the data transmission problem. This paper analyzes the key technologies of CDN and its technical indicators, and discusses the application of CDN in broadcasting and television.

【Key words】CDN (Content Delivery Network);CDN key technology;CDN technology application

1. 內(nèi)容分發(fā)網(wǎng)絡概述

內(nèi)容分發(fā)網(wǎng)絡(CDN,Content Delivery Network)伴隨著互聯(lián)網(wǎng)商業(yè)化發(fā)展而發(fā)展,是現(xiàn)代互聯(lián)網(wǎng)的重要支撐網(wǎng)絡,也是現(xiàn)代通信網(wǎng)的重要組成部分。伴隨著IPTV、網(wǎng)絡視頻、下載等業(yè)務的快速發(fā)展,及其對網(wǎng)絡傳輸帶寬和質(zhì)量需求的提升,重要性日益凸顯。內(nèi)容分發(fā)網(wǎng)絡(CDN)作為流媒體系統(tǒng)的一個重要核心組成部分,開始被運營商接受和廣泛部署。內(nèi)容分發(fā)網(wǎng)絡(CDN)進入了發(fā)展的快車道。從互聯(lián)網(wǎng)的發(fā)展來看,網(wǎng)絡流量的增長遠遠超出了人們的預期。寬帶網(wǎng)的快速發(fā)展,催生了許多新的互聯(lián)網(wǎng)業(yè)務,如IPTV業(yè)務、互聯(lián)網(wǎng)視頻、OTT等業(yè)務。為解決互聯(lián)網(wǎng)帶寬瓶頸,CDN營運而生,CDN的發(fā)展于寬帶互聯(lián)網(wǎng)架構緊密相連,它本質(zhì)上是通過一種分布式服務器構成的網(wǎng)絡,把熱點內(nèi)容存儲在網(wǎng)絡靠近接入層的服務器上,從而使用戶訪問熱點內(nèi)容時不再訪問骨干側(cè)的服務器,減小骨干網(wǎng)流量需求,并提高服務質(zhì)量。

2. CDN基本原理

2.1?CDN的基本原理為反向代理,反向代理(Reverse Proxy)方式是指以代理服務器來接受Internet上的連接請求,然后將請求轉(zhuǎn)發(fā)給內(nèi)部網(wǎng)絡上的服務器,并將從服務器上得到的結(jié)果返回給Internet上請求連接的客戶端,此時代理服務器對外就表現(xiàn)為一個節(jié)點服務器。通過部署更多的反向代理服務器,來達到實現(xiàn)多節(jié)點CDN的效果。

2.2?在描述CDN的實現(xiàn)原理,讓我們先看傳統(tǒng)的未加緩存服務的訪問過程,以便了解CDN緩存訪問方式與未加緩存訪問方式的差別:

2.2.1?用戶提交域名→瀏覽器對域名進行解析→得到目的主機的IP地址→根據(jù)IP地址訪問發(fā)出請求→得到請求數(shù)據(jù)并回復

2.2.2?由上可見,用戶訪問未使用CDN緩存網(wǎng)站的過程為:

(1)用戶向瀏覽器提供要訪問的域名;

(2)瀏覽器調(diào)用域名解析函數(shù)庫對域名進行解析,以得到此域名對應的IP地址;

(3)瀏覽器使用所得到的IP地址,向域名的服務主機發(fā)出數(shù)據(jù)訪問請求;

(4)瀏覽器根據(jù)域名主機返回的數(shù)據(jù)顯示網(wǎng)頁的內(nèi)容。

(5)通過以上四個步驟,瀏覽器完成從用戶處接收用戶要訪問的域名到從域名服務主機處獲取數(shù)據(jù)的整個過程。

3. CDN關鍵技術

CDN的關鍵技術主要有內(nèi)容路由技術、內(nèi)容分發(fā)技術、內(nèi)容存儲技術、內(nèi)容管理技術等。

3.1?內(nèi)容路由技術。

(1)CDN負載均衡系統(tǒng)實現(xiàn)CDN的內(nèi)容路由功能。它的作用是將用戶的請求導向整個CDN網(wǎng)絡中的最佳節(jié)點。最佳節(jié)點的選定可以根據(jù)多種策略,例如距離最近、節(jié)點負載最輕等。負載均衡系統(tǒng)是整個CDN的核心,負載均衡的準確性和效率直接決定了整個CDN的效率和性能 。

(2)通常負載均衡可以分為兩個層次:全局負載均衡(GSLB)和本地負載均衡(SLB)。全局負載均衡(GSLB)主要的目的是在整個網(wǎng)絡范圍內(nèi)將用戶的請求定向到最近的節(jié)點(或者區(qū)域)。因此,就近性判斷是全局負載均衡的主要功能。本地負載均衡一般局限于一定的區(qū)域范圍內(nèi),其目標是在特定的區(qū)域范圍內(nèi)尋找一臺最適合的節(jié)點提供服務,因此,CDN節(jié)點的健康性、負載情況、支持的媒體格式等運行狀態(tài)是本地負載均衡進行決策的主要依據(jù)。

(3)負載均衡可以通過多種方法實現(xiàn),主要的方法包括DNS、應用層重定向、傳輸層重定向等等。

(4)對于全局負載均衡而言,為了執(zhí)行就近性判斷,通常可以采用兩種方式,一種是靜態(tài)的配置,例如根據(jù)靜態(tài)的IP地址配置表進行IP地址到CDN節(jié)點的映射。另一種方式是動態(tài)的檢測,例如實時地讓CDN節(jié)點探測到目標IP的距離(可以采用RRT,Hops作為度量單位),然后比較探測結(jié)果進行負載均衡。當然,靜態(tài)和動態(tài)的方式也可以綜合起來使用。

(5)對于本地負載均衡而言,為了執(zhí)行有效的決策,需要實時地獲取Cache設備的運行狀態(tài)。獲取的方法一般有兩種,一種是主動探測,一種是協(xié)議交互。主動探測針對SLB設備和Cache設備沒有協(xié)議交互接口的情況,通過ping等命令 主動發(fā)起探測,根據(jù)返回結(jié)果分析狀態(tài)。另一種是協(xié)議交互,即SLB和 Cache根據(jù)事先定義好的協(xié)議實時交換運行狀態(tài)信息,以便進行負載均衡。比較而言,協(xié)議交互比探測方式要準確可靠。

3.2?內(nèi)容分發(fā)技術。

(1)內(nèi)容分發(fā)包含從內(nèi)容源到CDN邊緣的Cache的過程。從實現(xiàn)上看,有兩種主流的內(nèi)容分發(fā)技術:PUSH和PULL.

(2)PUSH是一種主動分發(fā)的技術。通常,PUSH由內(nèi)容管理系統(tǒng)發(fā)起,將內(nèi)容從源或者中心媒體資源庫分發(fā)到各邊緣的Cache節(jié)點。分發(fā)的協(xié)議可以采用 HTTP/FTP等。通過PUSH分發(fā)的內(nèi)容一般是比較熱點的內(nèi)容,這些內(nèi)容通過PUSH方式預分發(fā)(Preload)到邊緣Cache,可以實現(xiàn)有針對的內(nèi)容提供。對于PUSH分發(fā)需要考慮的主要問題是分發(fā)策略,即在什么時候分發(fā)什么內(nèi)容。一般來說,內(nèi)容分發(fā)可以由CP(內(nèi)容提供商)或者CDN內(nèi)容管理員人工確定,也可以通過智能的方式?jīng)Q定,即所謂的智能分發(fā)。它根據(jù)用戶訪問的統(tǒng)計信息,以及預定義的內(nèi)容分發(fā)的規(guī)則,確定內(nèi)容分發(fā)的過程。

(3)PULL是一種被動的分發(fā)技術,PULL分發(fā)通常由用戶請求驅(qū)動。當用戶請求的內(nèi)容在本地的邊緣Cache上不存在(未命中)時,Cache啟動PULL方法從內(nèi)容源或者其他CDN節(jié)點實時獲取內(nèi)容。在PULL方式下,內(nèi)容的分發(fā)是按需的。

(4)在實際的CDN系統(tǒng)中,一般兩種分發(fā)方式都支持,但是根據(jù)內(nèi)容的類型和業(yè)務模式的不同,在選擇主要的內(nèi)容分發(fā)方式時會有所不同。通常,PUSH的方式適合內(nèi)容訪問比較集中的情況,如熱點的影視流媒體內(nèi)容;PULL方式比較適合內(nèi)容訪問分散的情況。

(5)在內(nèi)容分發(fā)的過程中,對于Cache設備而言,關鍵的是需要建立內(nèi)容源URL、內(nèi)容發(fā)布的URL、用戶訪問的URL,以及內(nèi)容在Cache中存儲的位置之間的映射關系。

3.3?內(nèi)容存儲技術。

(1)對于CDN系統(tǒng)而言,需要考慮兩個方面的內(nèi)容存儲問題。一個是內(nèi)容源的存儲,一個是內(nèi)容在Cache節(jié)點中的存儲。

(2)對于內(nèi)容源的存儲,由于內(nèi)容的規(guī)模比較大(通??梢赃_到幾個甚至幾十個TB),而且內(nèi)容的吞吐量較大,因此,通常采用海量存儲架構。如NAS和SON。

(3)對于在Cache節(jié)點中的存儲,是Cache設計的一個關鍵問題。需要考慮的因素包括功能和性能兩個方面:在功能上包括對各種內(nèi)容格式的支持、對部分緩存的支持,在性能上包括支持的容量、多文件 吞吐率、可靠性、穩(wěn)定性。

(4)其中,多種內(nèi)容格式的支持要求存儲系統(tǒng)根據(jù)不同文件格式的讀寫特點進行優(yōu)化 ,以提高文件內(nèi)容讀寫的效率,特別是對流媒體文件的讀寫。

(5)部分緩存能力指流媒體內(nèi)容可以以不完整的方式存儲和讀取。部分緩存的需求來自用戶訪問行為的隨機性,因為許多用戶并不會完整地收看整個流媒體節(jié)目,事實上,許多用戶訪問單個流媒體節(jié)目的時間不超過10分鐘。因此,部分緩存能力能夠大大提高存儲空間的利用率,并有效地提高用戶請求的響應時間。但是部分緩存可能導致內(nèi)容出現(xiàn)碎片問題,需要進行良好的設計和控制。

(6)Cache存儲的另一個重要因素是存儲的可靠性,目前,多數(shù)存儲系統(tǒng)都采用了RAID技術進行可靠存儲。但是不同設備使用的RAID方式各有不同。

3.4?內(nèi)容管理技術。

(1)內(nèi)容管理在廣義上涵蓋了從內(nèi)容的發(fā)布、注入、分發(fā)、調(diào)整、傳遞等一系列過程。在這里,內(nèi)容管理重點強調(diào)內(nèi)容進入Cache點后的內(nèi)容管理,我們稱為本地內(nèi)容管理。

(2)本地內(nèi)容管理主要針對一個CDN節(jié)點(由多個CDN Cache設備和一個SLB設備構成)進行。本地內(nèi)容管理的主要目標是提高內(nèi)容服務的效率,提高本地節(jié)點的存儲利用率。通過本地內(nèi)容管理,可以在CDN節(jié)點實現(xiàn)基于內(nèi)容感知的調(diào)度,通過內(nèi)容感知的調(diào)度,可以避免將用戶重定向到?jīng)]有該內(nèi)容的Cache設備上,從而提高負載均衡的效率。通過本地內(nèi)容管理還可以有效地實現(xiàn)在CDN節(jié)點內(nèi)容的存儲共享,提高存儲空間的利用率。

4. CDN主要技術指標

運營商和服務提供商對CDN的服務指標有嚴格的要求,主要有以下幾個方面。

4.1?命中率。

CDN命中率是指用戶訪問網(wǎng)絡資源節(jié)點時,命中緩存的概率。用戶訪問一個使用了CDN的網(wǎng)站,請求會被解析到CDN節(jié)點。此時如果該CDN節(jié)點上已經(jīng)緩存了用戶要請求的內(nèi)容,則直接CDN節(jié)點直接返回,無需再去源站取數(shù)據(jù)(這樣就算命中緩存)。如果該CDN節(jié)點上沒有緩存相應的內(nèi)容,則會立即去源站獲取,然后再返回給訪問者,同時把內(nèi)容緩存在該節(jié)點上(這樣就沒有命中緩存)。緩存的命中率越高,就說明回源的次數(shù)越少,這樣,加速效果也就越好。

4.2?吞吐量。

CDN的吞吐量通常指的是單臺CDN服務器在單位時間內(nèi)(一般以秒計算)成功輸出的數(shù)據(jù)大?。ㄒ话阋詁it、kbit、Mbit、Gbit計算),是CDN服務器的重要性能指標之一。吞吐率描述了服務器在實際運行期間單位時間內(nèi)處理的請求數(shù),然而,我們更加關心的是服務器并發(fā)處理能力的上限,也就是單位時間內(nèi)服務器能夠處理的最大請求數(shù),即最大吞吐率。其吞吐能力通常決定于多方面因素,主要為硬件配置、軟件配置、網(wǎng)絡帶寬。

4.3?并發(fā)值。

從CDN服務類型來看,可分為兩類,分別是互聯(lián)網(wǎng)應用服務和流媒體服務。第一類服務通常傳輸數(shù)據(jù)量較小,單位時間內(nèi)頻繁發(fā)起TCP/UDP連接,對CDN的會話處理能力要求較高,對CDN服務器CPU、內(nèi)存、軟件要求很高;第二類服務通常要求較高的帶寬以保證視頻穩(wěn)定傳輸,TCP/UDP連接請求不如前者頻繁,但對CDN的吞吐能力要求很高,對CDN服務器存儲、網(wǎng)口、總線I/O要求很高。

4.4?響應時間。

響應時間是指用戶通過終端的瀏覽器或者客戶端發(fā)出的內(nèi)容訪問請求,到收到內(nèi)容第一個數(shù)據(jù)包的時間,也可稱為端到端響應時間。響應時間對用戶體驗有很大的影響,響應時間過長會造成用戶心理煩躁和不安,逐漸失去使用該業(yè)務的興趣,因此響應時間也是CDN最重要的服務指標之一。端到端響應時間通常由DNS地址解析、訪問CDN服務器、CDN內(nèi)部重定向、收到數(shù)據(jù)包幾個部分組成。

4.5?MDI。

MDI(Media Delivery Index,媒體傳輸質(zhì)量指標)用來測量和評估基于IP網(wǎng)絡的視頻流媒體的傳輸質(zhì)量,是媒體延遲和媒體丟失率的綜合評價指標,廣泛應用于IPTV、OTT、數(shù)字電視等基于IP網(wǎng)絡的流媒體領域。

4.6?MOS。

MOS(Mean Opinion Score,評價意見指標)主要用于評價通信系統(tǒng)中的語音質(zhì)量優(yōu)劣,在視頻通信等領域已廣泛使用,通常用來評價流媒體類型的CDN服務質(zhì)量。

5. CDN技術應用

5.1?IPTV CDN應用。

IPTV系統(tǒng)對于用戶的服務質(zhì)量有很高的要求,而且要保證播放的流暢。在廣域網(wǎng)內(nèi),從用戶的客戶端到流媒體服務器之間經(jīng)過了一個很復雜的路由以后,就很難保證播放的流暢了。為了克服網(wǎng)絡復雜路線帶來的制約,在IPTV中必須通過邊緣服務來實現(xiàn)最終用戶的點播服務,所以要把內(nèi)容從中心服務器有效地分發(fā)到邊緣服務器,就可以通過CDN把內(nèi)容從中心存儲服務器分發(fā)到邊緣服務器。通過CDN技術,可以將內(nèi)容分發(fā)從原來的單一中心結(jié)構變?yōu)榉植际降慕Y(jié)構,提高用戶訪問網(wǎng)站的響應速度。因而,CDN可以提高網(wǎng)絡中信息流動的效率,從技術上全面解決由于網(wǎng)絡帶寬小、用戶訪問量大、網(wǎng)點分布不均等問題,提高用戶訪問的響應速度。

5.2?OTT CDN應用。

OTT+CDN是OTT視頻處理技術與CDN結(jié)合的平臺。將視頻內(nèi)容經(jīng)過OTT技術處理,再通過CDN節(jié)點分發(fā)給各種終端的訪問用戶。無須安裝任何插件或APP即可訪問視頻內(nèi)容。網(wǎng)絡視頻已經(jīng)成為人們獲取電影、電視、資訊視頻等數(shù)字內(nèi)容的重要渠道。網(wǎng)絡視頻的市場價值快速增長,在互聯(lián)網(wǎng)行業(yè)中的地位不斷提升。移動互聯(lián)與視頻的結(jié)合必定是未來的發(fā)展趨勢,但移動終端的多樣化,導致視頻內(nèi)容傳播中出現(xiàn)的協(xié)議、格式等不同的多種瓶頸,使得OTT+CDN得到了廣泛的應用。

5.3?Web CDN應用。

Web CDN主要通過對Web網(wǎng)頁的緩存,為用戶提供Web加速服務,由于Web頁面由多種元素組成,如文本、圖片、動畫、音樂、視頻等,因此Web CDN通過對這些內(nèi)容進行緩存,不僅降低了通過WAN連接到服務器的帶寬消耗,而且降低了響應時間,提高用戶感知度。

5.4?CDN透明緩存應用。

目前以視頻服務、文件分享、移動應用為代表的互聯(lián)網(wǎng)應用占用了網(wǎng)絡的大部分帶寬,CDN網(wǎng)絡通過多級架構,將內(nèi)容優(yōu)先推送到邊緣節(jié)點,再根據(jù)節(jié)點負載情況、網(wǎng)絡流量、到用戶的距離和響應時間等綜合信息,將用戶的服務請求調(diào)度到離其最近的邊緣節(jié)點,由此節(jié)點為用戶提供服務,很好的解決了網(wǎng)絡擁擠、響應時間長、視頻播放不流暢等問題。

5.5?云CDN應用。

對于云存儲在CDN的部署,邊緣節(jié)點只需要部署服務能力即可,存儲能力則由云存儲提供,降低網(wǎng)絡建設成本,同時提高存儲系統(tǒng)效益,而CDN采用基于云計算的服務和管理結(jié)構,對資源和用戶進行集中管理,對業(yè)務進行統(tǒng)一的分發(fā)和調(diào)度,實現(xiàn)內(nèi)容的分發(fā)、傳輸和存儲,使整個CDN架構具有高度的可伸縮性和可用性,大大提高綜合應用能力。

6. 結(jié)束語

隨著寬帶網(wǎng)絡 和寬帶流媒體應用的興起,CDN 作為一種提高網(wǎng)絡內(nèi)容,特別是提高流媒體內(nèi)容傳輸?shù)姆召|(zhì)量、節(jié)省骨干網(wǎng)絡帶寬的技術 ,在國內(nèi)外得到越來越廣泛的應用。通過CDN技術,能夠?qū)崟r的根據(jù)網(wǎng)絡流量和各節(jié)點的連接、負載狀況以及用戶的距離和響應時間等綜合信息將用戶的請求重新導向離用戶最近的服務器節(jié)點上,解決Internet網(wǎng)絡擁擠的問題,提高用戶訪問的響應速度,其意義重大。

參考文獻

[1]?梁潔,等.內(nèi)容分發(fā)網(wǎng)絡(CDN)關鍵技術、架構與應用.北京:人民郵電出版社,2013.

[2]?徐嵐,等.負載均衡技術研究.農(nóng)業(yè)與技術,2009.

[3]?陳戈,等.CDN互聯(lián)互通架構與關鍵技術研究.現(xiàn)代電信科技.2012.

[4]?熊明.CDN技術研究及其在寬帶中的應用.天津大學,2015.

[5]?熊明,等.城域網(wǎng)上CDN技術的應用.計算機應用,2005.