互聯(lián)網(wǎng)流量監(jiān)控疏堵技術(shù)的研究與應(yīng)用

2010-08-09 08:07:58蓋玲

電信科學(xué) 2010年11期

蓋玲

(江漢大學(xué)政法學(xué)院公共管理系武漢430056)

1 引言

海量數(shù)字內(nèi)容已經(jīng)引發(fā)互聯(lián)網(wǎng)流量出現(xiàn)10倍甚至百倍的急速增長——互聯(lián)網(wǎng)數(shù)字洪水時(shí)代正式來臨！

未來5年，互聯(lián)網(wǎng)每年的流量增速將高達(dá)56%～80%，即相當(dāng)5年的帶寬需求將增加10～20倍，通過對流量增長原因進(jìn)行深入分析發(fā)現(xiàn)，P2P是占主導(dǎo)地位的增長因素，網(wǎng)絡(luò)視頻類業(yè)務(wù)也正在成為另一個(gè)非常重要的增長因素，而網(wǎng)絡(luò)視頻類業(yè)務(wù)又多是基于P2P及相關(guān)技術(shù)進(jìn)行提供的，因此，深入剖析P2P相關(guān)技術(shù)及管控手段是解決數(shù)字洪水挑戰(zhàn)的關(guān)鍵。

P2P具有去中心化、疊加式網(wǎng)絡(luò)模型和對等性功能模型的特點(diǎn)，這使得P2P技術(shù)與傳統(tǒng)的C/S模式之間有本質(zhì)的區(qū)別，也正是在這些優(yōu)點(diǎn)讓P2P應(yīng)用迅速普及，應(yīng)用涉及的領(lǐng)域越來越廣，已經(jīng)從單一的大文件下載轉(zhuǎn)變?yōu)楦嗟男滦投嗝襟w應(yīng)用，例如P2P直播和P2P語音通信。但是，P2P快速發(fā)展所帶來的負(fù)面效應(yīng)也正在顯現(xiàn)，最突出的矛盾就是對網(wǎng)絡(luò)資源的濫用。不管運(yùn)營商的網(wǎng)絡(luò)帶寬如何增加，P2P應(yīng)用總是會(huì)盡力搶占所有可用的帶寬，這種“黑洞效應(yīng)”直接影響到運(yùn)營商網(wǎng)絡(luò)建設(shè)的投資積極性，同時(shí)也會(huì)導(dǎo)致其他用戶滿意度下降，引起用戶投訴或轉(zhuǎn)網(wǎng)，進(jìn)而間接導(dǎo)致運(yùn)營商的商業(yè)利益受損。

對P2P進(jìn)行控制和管理已經(jīng)變得非常必要和緊迫，目前主要采用的手段是部署流量分析及控制設(shè)備，通過對P2P應(yīng)用進(jìn)行分析和識(shí)別，采取阻斷或限速等措施。這種方案優(yōu)點(diǎn)是可以控制、管理、識(shí)別P2P應(yīng)用，以此來保證帶寬和其他業(yè)務(wù)的QoS；局限性也十分明顯，通過阻止用戶使用來緩解帶寬的擁擠，會(huì)導(dǎo)致用戶的使用體驗(yàn)和滿意度下降。顯而易見，這種采取簡單“封堵”思路的解決方案并不是最佳選擇。

“疏堵結(jié)合，為我所用，一方面對非法的能夠想辦法疏堵的還是要堵一堵，否則電信的投資都白投了，另一方面爭取化害為利，為我們所用。”這是中國電信集團(tuán)的總工程師韋樂平先生對于管理P2P所給出的策略和建議?！笆瓒陆Y(jié)合”符合運(yùn)營商、內(nèi)容提供商和最終用戶三方利益的“3Win”原則，是目前緩解數(shù)字洪水的最適合手段?！笆琛笔侵笇?shí)現(xiàn)流量的高度本地化，減輕骨干網(wǎng)絡(luò)的壓力和提升用戶使用體驗(yàn)；“堵”是指對帶寬進(jìn)行必要限制，保護(hù)運(yùn)營商網(wǎng)絡(luò)投資的商業(yè)價(jià)值。

2 互聯(lián)網(wǎng)流量監(jiān)控疏堵技術(shù)的研究

2.1 互聯(lián)網(wǎng)流量監(jiān)控

對互聯(lián)網(wǎng)流量進(jìn)行疏導(dǎo)或者封堵，首先需要對互聯(lián)網(wǎng)流量進(jìn)行分析和識(shí)別，目前主流方式為采用DPI＋DFI檢測技術(shù)，通過7層特征檢測結(jié)合行為特征檢測技術(shù)保證流量識(shí)別的準(zhǔn)確性，主要涉及的檢測方式包括端口檢測、應(yīng)用層特征分析、高速協(xié)議解析、關(guān)聯(lián)識(shí)別和基于行為特征的檢測。

（1）特征識(shí)別

特征識(shí)別可以分為單包匹配、多包匹配、多流匹配以及動(dòng)態(tài)解密。

·單包匹配：對于大部分協(xié)議，通過一個(gè)報(bào)文的特征就能識(shí)別出該流協(xié)議類型。傳統(tǒng)方法需要在構(gòu)建完協(xié)議識(shí)別規(guī)則樹后，遍歷規(guī)則樹，將報(bào)文與每個(gè)規(guī)則進(jìn)行逐一匹配。通過建立多模式匹配狀態(tài)機(jī)，對單個(gè)報(bào)文的一次掃描即可找到報(bào)文中的所有特征，大大提高了協(xié)議識(shí)別的性能。另外，華為公司通過專利技術(shù)對普通多模式匹配算法進(jìn)行了優(yōu)化，進(jìn)一步提高了協(xié)議識(shí)別的性能。

·多包匹配：對部分協(xié)議僅靠檢測單個(gè)報(bào)文無法準(zhǔn)確識(shí)別該流的協(xié)議類型，這時(shí)需要分析一條流的多個(gè)報(bào)文才能準(zhǔn)確識(shí)別出其協(xié)議類型。通過建立多包匹配規(guī)則，根據(jù)多個(gè)報(bào)文中的特征來綜合判斷某條流的協(xié)議類型。例如，對某VoIP軟件，如果符合連續(xù)3個(gè)包在幾個(gè)相應(yīng)位置的值滿足等差關(guān)系，即可識(shí)別該流的協(xié)議類型。

·多流匹配：對部分協(xié)議僅靠檢測單個(gè)流的特征無法準(zhǔn)確識(shí)別該流的協(xié)議類型，這時(shí)需要分析多條流的多個(gè)報(bào)文才能準(zhǔn)確識(shí)別出其協(xié)議類型。通過建立多流匹配規(guī)則，根據(jù)多個(gè)流中多個(gè)報(bào)文中的特征來綜合判斷多條流的協(xié)議類型。

·動(dòng)態(tài)解密：對一些采用簡單加密技術(shù)的協(xié)議不能通過常規(guī)特征識(shí)別方式檢測出其協(xié)議類型，此時(shí)便可以采用動(dòng)態(tài)解密技術(shù)幫助進(jìn)行識(shí)別。例如，對于某網(wǎng)絡(luò)電視軟件的檢測，通過在報(bào)文中用動(dòng)態(tài)解密算法取出一個(gè)字段用作動(dòng)態(tài)密鑰，然后用此密鑰與該報(bào)文中的另一字段進(jìn)行解密運(yùn)算，根據(jù)運(yùn)算結(jié)果便

可知道該流是否符合相關(guān)的協(xié)議類型。

（2）關(guān)聯(lián)識(shí)別

對部分協(xié)議，在信令流中動(dòng)態(tài)協(xié)商其數(shù)據(jù)流通道，先通過特征識(shí)別識(shí)別出其信令流，然后通過解析其信令流得到其數(shù)據(jù)流的五元組信息。通過對數(shù)據(jù)流的關(guān)聯(lián)識(shí)別可準(zhǔn)確地識(shí)別出該協(xié)議的數(shù)據(jù)流。例如，通過特征識(shí)別識(shí)別出FTP的信令流并加以解析，得到該FTP數(shù)據(jù)流的五元組信息，這樣就可以直接根據(jù)該流的五元組信息準(zhǔn)確識(shí)別出該FTP的數(shù)據(jù)流。

（3）行為識(shí)別

對某些采用加密技術(shù)的協(xié)議，無法解密檢測其報(bào)文內(nèi)容，采用別的識(shí)別技術(shù)也無法識(shí)別其協(xié)議類型，這時(shí)可以根據(jù)流的行為特征識(shí)別其協(xié)議類型。例如，在一定的時(shí)間段，可以根據(jù)一條流的若干報(bào)文長度和發(fā)報(bào)頻率是否滿足一定規(guī)律來識(shí)別“電驢”協(xié)議。

由于互聯(lián)網(wǎng)發(fā)展日新月異，對互聯(lián)網(wǎng)應(yīng)用協(xié)議特征字的分析需要大量的人力投入和不斷的技術(shù)跟蹤，才能保證互聯(lián)網(wǎng)流量檢測的有效性和高效性。

2.2 互聯(lián)網(wǎng)流量緩存技術(shù)

互聯(lián)網(wǎng)緩存系統(tǒng)是“疏堵結(jié)合”中的“疏”，是對HTTP、P2P、在線視頻等主要流量進(jìn)行網(wǎng)內(nèi)緩存。

互聯(lián)網(wǎng)緩存系統(tǒng)的基本工作原理是用戶請求進(jìn)行過濾與分析，通過重定向、策略路由等方式將用戶的請求轉(zhuǎn)移到緩存系統(tǒng)。如果用戶請求的內(nèi)容屬于已經(jīng)緩存的熱點(diǎn)內(nèi)容，通過調(diào)度和緩存模塊的協(xié)同工作為用戶提供對應(yīng)資源。熱點(diǎn)內(nèi)容的生成基于對用戶行為的實(shí)時(shí)統(tǒng)計(jì)，相關(guān)判斷條件可以自定義。如果用戶的訪問請求無法由現(xiàn)有熱點(diǎn)內(nèi)容滿足，且訪問請求已累計(jì)至可緩存的閾值，則可以獲取、緩存相應(yīng)的熱點(diǎn)內(nèi)容，并為后續(xù)的用戶請求提供服務(wù)，最終達(dá)到將熱點(diǎn)內(nèi)容流量留在運(yùn)營商網(wǎng)內(nèi)，消除相同熱點(diǎn)重復(fù)下載的目的。

該系統(tǒng)針對當(dāng)前運(yùn)營商優(yōu)化網(wǎng)絡(luò)流量、緩解出口帶寬壓力和提高用戶體驗(yàn)的需求而設(shè)計(jì)，通常部署在運(yùn)營商網(wǎng)絡(luò)出口處。互聯(lián)網(wǎng)緩存系統(tǒng)通常采用了以下技術(shù)。

（1）內(nèi)網(wǎng)P4P調(diào)度

以BT協(xié)議為例，BT協(xié)議的Tracker服務(wù)器在返回Peerlist時(shí)，并不能判斷哪些peer屬于內(nèi)網(wǎng)應(yīng)該優(yōu)先互相傳輸，而是隨機(jī)地將列表發(fā)送給客戶端，列表中既包含外網(wǎng)的用戶，也包含內(nèi)網(wǎng)的用戶。

部署采用P4P技術(shù)的緩存系統(tǒng)后，系統(tǒng)就會(huì)將內(nèi)網(wǎng)中保存有相同內(nèi)容的peer地址優(yōu)先傳輸給請求用戶，而不需要向外網(wǎng)peer進(jìn)行請求。通過優(yōu)先調(diào)度內(nèi)網(wǎng)用戶之間進(jìn)行數(shù)據(jù)傳輸，可以降低骨干網(wǎng)的傳輸壓力，提高改良文件傳輸?shù)男阅堋?/p>

（2）動(dòng)態(tài)URL解析

基于安全性等因素的考慮，目前大部分在線視頻網(wǎng)站采用了動(dòng)態(tài)URL技術(shù)，一些網(wǎng)站使用了一次性或者具有時(shí)間限制的URL，另外一些網(wǎng)站甚至把用戶的IP地址作為URL的一部分，所以不同用戶或者同一用戶在不同的時(shí)間訪問同一個(gè)資源，看到的URL是不一樣的。傳統(tǒng)的基于URL的緩存技術(shù)將無法正常地發(fā)揮作用，互聯(lián)網(wǎng)緩存系統(tǒng)采用智能緩存技術(shù)，通過分析資源的內(nèi)容或者特定網(wǎng)站的URL變化規(guī)律，采用正則表達(dá)式進(jìn)行匹配，實(shí)現(xiàn)精確的緩存能力。

（3）緩存內(nèi)容防重復(fù)緩存

互聯(lián)網(wǎng)上內(nèi)容相同的資源經(jīng)常會(huì)出現(xiàn)在不同的網(wǎng)站上，而且文件名也不一樣。如果按照文件名和URL等信息來定位資源，將會(huì)造成內(nèi)容相同資源的重復(fù)下載，浪費(fèi)寶貴的互聯(lián)網(wǎng)出口帶寬?；ヂ?lián)網(wǎng)緩存系統(tǒng)能夠準(zhǔn)確地判斷互聯(lián)網(wǎng)資源的惟一性，避免重復(fù)緩存帶來的帶寬和緩存空間的浪費(fèi)，其實(shí)現(xiàn)原理如圖1所示。系統(tǒng)自動(dòng)將文件進(jìn)行分片并預(yù)讀取每片的前面幾個(gè)字節(jié)，然后用Hash算法獲得一個(gè)惟一標(biāo)識(shí)該資源的Hash值，確保緩存資源的惟一性，舉例如圖2所示。

（4）緩存內(nèi)容快速檢索

緩存系統(tǒng)運(yùn)行一定的時(shí)間后，系統(tǒng)中會(huì)保存大量的緩存文件，對文件查找速度造成影響。緩存系統(tǒng)使用文件HASH值惟一地標(biāo)識(shí)某一緩存文件，并根據(jù)該HASH值建立對應(yīng)的目錄結(jié)構(gòu)來存放緩存文件。

另外，緩存系統(tǒng)通過數(shù)據(jù)表映射、內(nèi)存查找等方式，進(jìn)一步提高緩存文件的查找速度，加快緩存系統(tǒng)的響應(yīng)時(shí)間，更快捷地為用戶提供緩存服務(wù)。

（5）緩存內(nèi)容過期探測

在互聯(lián)網(wǎng)中，被緩存對象一段時(shí)間后會(huì)發(fā)生變化(如刪除、修改等)，緩存設(shè)備必須在它發(fā)生變化時(shí)更換過時(shí)的對象。緩存系統(tǒng)通過對不同類型的文件設(shè)定過期探測時(shí)間，超過此時(shí)間用戶再次訪問資源時(shí)，系統(tǒng)會(huì)啟動(dòng)對發(fā)生變化資源的探測，如果發(fā)現(xiàn)資源變化，立即刪除過期資源并等待用戶再次訪問新資源，觸發(fā)緩存系統(tǒng)進(jìn)行緩存。

2.3 互聯(lián)網(wǎng)流量干擾技術(shù)

互聯(lián)網(wǎng)流量干擾技術(shù)是“疏堵結(jié)合”中的“堵”，可以根據(jù)策略對某些特定流量進(jìn)行靈活控制，如限速或者阻斷等。此功能通常集成在DPI設(shè)備上。

HTTP流量是與客戶感知度最密切的流量，通常被認(rèn)為是被保護(hù)的流量，無需進(jìn)行流量控制。對于P2P流量的控制通常采用發(fā)送控制報(bào)文的方式實(shí)現(xiàn)。實(shí)際P2P流量閾值超過策略設(shè)定的流量閾值時(shí)，即啟動(dòng)P2P控制。當(dāng)有新的P2P應(yīng)用建立時(shí)，DPI設(shè)備模擬P2P會(huì)話鏈路報(bào)文，向會(huì)話中插入模擬報(bào)文來達(dá)到拆除會(huì)話或降低會(huì)話帶寬的目的；同時(shí)對于已經(jīng)建立的P2P會(huì)話，DPI設(shè)備也會(huì)選擇性地插入控制報(bào)文進(jìn)行控制，直到P2P流量低于控制閾值為止。

目前，P2P應(yīng)用的流量傳輸基本上分為兩類會(huì)話：控制會(huì)話和數(shù)據(jù)會(huì)話?？刂茣?huì)話完成相互認(rèn)證以及數(shù)據(jù)會(huì)話的建立和維持；數(shù)據(jù)會(huì)話完成真正的數(shù)據(jù)傳輸。P2P應(yīng)用的傳輸采用TCP協(xié)議或UDP協(xié)議作為載體。

對于采用TCP方式傳輸?shù)腜2P應(yīng)用，系統(tǒng)可以通過拆TCP連接達(dá)到控制P2P流量的目的，當(dāng)需要進(jìn)行控制時(shí)，SPS模擬P2P會(huì)話鏈路報(bào)文，向P2P會(huì)話兩端發(fā)送有RST標(biāo)志的TCP報(bào)文來拆除TCP連接。

對于采用UDP方式傳輸?shù)腜2P應(yīng)用，系統(tǒng)將根據(jù)具體的P2P協(xié)議構(gòu)造報(bào)文達(dá)到減緩或終止P2P會(huì)話的目的。系統(tǒng)采用分析P2P控制會(huì)話的方法，模擬諸如終止、取消、降低速率等關(guān)鍵字來干擾數(shù)據(jù)會(huì)話的正常通信，從而達(dá)到控制P2P流量的目的。例如對于BT的控制，系統(tǒng)通過在控制會(huì)話中插入Chock消息限制流量，插入Cancel消息限制連接數(shù)。

3 互聯(lián)網(wǎng)流量監(jiān)控與疏堵技術(shù)應(yīng)用

3.1 應(yīng)用情況簡介

國內(nèi)某運(yùn)營商面臨互聯(lián)網(wǎng)數(shù)字洪水時(shí)代所帶來問題，而且由于歷史原因，網(wǎng)間互聯(lián)的問題制約著用戶體驗(yàn)：其網(wǎng)內(nèi)資源較少，需要通過其他運(yùn)營商網(wǎng)絡(luò)獲取資源，網(wǎng)間結(jié)算費(fèi)用很高；出口帶寬出現(xiàn)瓶頸，且關(guān)口局的擴(kuò)容是短期內(nèi)無法解決的問題。因此，即使用戶接入帶寬充足，用戶也不能得到很好的上網(wǎng)體驗(yàn)，造成用戶下載文件慢、頁面打開緩慢或失敗、視頻播放卡等現(xiàn)象。

面對這樣的現(xiàn)狀，運(yùn)營商部署了互聯(lián)網(wǎng)緩存系統(tǒng)以及專門面向電信級(jí)運(yùn)營商和寬帶運(yùn)營商的流量緩存加速解決方案，用于對P2P、HTTP、在線視頻等大流量應(yīng)用的網(wǎng)內(nèi)緩存，大幅提高了用戶上網(wǎng)體驗(yàn)，并減少了出口流量。

3.2 系統(tǒng)架構(gòu)

互聯(lián)網(wǎng)緩存系統(tǒng)包含以下幾個(gè)模塊：流量監(jiān)控模塊、重定向子模塊、調(diào)度模塊、緩存模塊、管理模塊。

（1）流量監(jiān)控模塊

流量監(jiān)控模塊能支持主流的120多種協(xié)議的分析和識(shí)別。全網(wǎng)流量流向分析采用多種檢測分析技術(shù)對IP網(wǎng)絡(luò)的流量判定其數(shù)據(jù)包的協(xié)議類型、流向、流速和占用帶寬，能夠提供字節(jié)數(shù)、當(dāng)前帶寬、峰值流量、新增連接數(shù)、最大并發(fā)連接數(shù)、當(dāng)前并發(fā)連接數(shù)等一系列網(wǎng)絡(luò)流量實(shí)際測量的參數(shù)，并將其記錄到數(shù)據(jù)庫中。

（2）重定向模塊

采用分析重定向技術(shù)，完成內(nèi)網(wǎng)用戶HTTP下載、P2P下載、在線視頻播放請求的本地化。分析重定向技術(shù)是通過深度分析用戶行為和對用戶所請求的內(nèi)容進(jìn)行解析，得出用戶行為分析結(jié)果，從而將用戶的請求定向控制在指定范圍內(nèi)，實(shí)現(xiàn)對流量的管理和控制。

該模塊包含流量采集分析模塊和重定向模塊兩個(gè)子模塊：流量采集分析模塊采集互聯(lián)網(wǎng)出口的流量，從中解析出用戶請求(P2P、HTTP、FLV等)，為重定向提供數(shù)據(jù)支持；重定向模塊進(jìn)行用戶下載請求的重定向處理，引導(dǎo)用戶優(yōu)先獲得本地流量。

（3）調(diào)度模塊

調(diào)度模塊運(yùn)用了負(fù)載均衡、緩存記錄搜索、熱點(diǎn)內(nèi)容管理調(diào)度等技術(shù)。作為整個(gè)緩存系統(tǒng)的調(diào)度控制中心，實(shí)現(xiàn)了標(biāo)準(zhǔn)BTTracker服務(wù)器的功能，接收內(nèi)網(wǎng)用戶所有的Get Announce的請求，調(diào)度模塊獲得用戶請求后，將含有內(nèi)網(wǎng)用戶IP和緩存模塊IP的地址列表返回給用戶。

除此之外，調(diào)度模塊還對部署的多臺(tái)緩存設(shè)備進(jìn)行有效的負(fù)載管理，引導(dǎo)用戶和已經(jīng)存在緩存數(shù)據(jù)的緩存設(shè)備進(jìn)行數(shù)據(jù)交互，增加緩存設(shè)備的命中率。調(diào)度模塊在向用戶發(fā)送peerlist時(shí)，優(yōu)先分發(fā)內(nèi)網(wǎng)的其他用戶節(jié)點(diǎn)，引導(dǎo)內(nèi)網(wǎng)用戶之間互連，降低網(wǎng)絡(luò)資源占用率，提高內(nèi)網(wǎng)資源的利用率。

（4）緩存模塊

緩存模塊是整個(gè)系統(tǒng)的重要部分，運(yùn)用智能緩存技術(shù)，將互聯(lián)網(wǎng)熱點(diǎn)資源緩存下來，其具體功能如下：調(diào)度系統(tǒng)將用戶需要的BT、eMule/eDonkey、HTTP、在線視頻等資源請求送到緩存模塊，用戶在下載時(shí)可優(yōu)先從緩存模塊里獲取想要的資源，而不用連接到外部網(wǎng)絡(luò)。緩存模塊最大限度地節(jié)省了出口流量，讓內(nèi)網(wǎng)用戶在本地下載資源，極大地減少了網(wǎng)絡(luò)之間的流量，為運(yùn)營商節(jié)約了帶寬，減少了網(wǎng)間結(jié)算費(fèi)用。

（5）管理模塊

通過設(shè)置各種參數(shù)，提供多種管理策略，保證系統(tǒng)按照既定策略工作，同時(shí)可對運(yùn)行狀態(tài)和各種數(shù)據(jù)進(jìn)行監(jiān)控。當(dāng)與流控設(shè)備進(jìn)行對接時(shí)，實(shí)現(xiàn)統(tǒng)一入口、集中管理功能。管理模塊具體功能如下。

·狀態(tài)監(jiān)控：對調(diào)度模塊、緩存模塊、重定向模塊提供全面監(jiān)控，實(shí)時(shí)監(jiān)測各個(gè)系統(tǒng)的健康狀態(tài)，保障整個(gè)系統(tǒng)能處在一個(gè)正常的運(yùn)行環(huán)境中。

·統(tǒng)計(jì)報(bào)表：管理模塊能夠記錄和分析系統(tǒng)產(chǎn)生的各種數(shù)據(jù)，生成日報(bào)、周報(bào)、季報(bào)等常規(guī)報(bào)表，支持?jǐn)?shù)據(jù)的統(tǒng)計(jì)分析并生成曲線圖，能夠形象、真實(shí)地分析整個(gè)互聯(lián)網(wǎng)緩存系統(tǒng)的運(yùn)營狀況，滿足管理的需要。

·告警管理：對系統(tǒng)中產(chǎn)生的告警進(jìn)行統(tǒng)一收集、統(tǒng)計(jì)，根據(jù)告警的級(jí)別調(diào)用相應(yīng)的策略進(jìn)行處理。