文/江魁

使用緩存技術(shù)后，下載同一資源的速度從部署前的約112KB/s最大提升到11.3MB/s，提升了約103倍。觀看在線視頻的速度從部署前的約56KB/s提升到約1MB/s, 提升了約18倍。

校園網(wǎng)出口帶寬的提升速度遠(yuǎn)遠(yuǎn)比不上出口帶寬需求的增長速度，并且由于校園網(wǎng)運(yùn)行經(jīng)費有限，出口帶寬也不能無限制地進(jìn)行擴(kuò)容。因此，如何管理和優(yōu)化現(xiàn)有的網(wǎng)絡(luò)出口帶寬，成為各學(xué)校亟待解決的問題。本文結(jié)合我們在校園網(wǎng)中的實踐，對校園網(wǎng)出口帶寬的管理和優(yōu)化進(jìn)行探討。

出口帶寬的現(xiàn)狀

早期深圳大學(xué)的校園網(wǎng)僅有CERNET一個出口，由于不同運(yùn)營商之間的互聯(lián)互通存在一定瓶頸，我校根據(jù)實際情況，先后引入了中國電信和中國聯(lián)通兩家運(yùn)營商的互聯(lián)網(wǎng)出口。當(dāng)前，CERNET、中國電信和中國聯(lián)通的出口帶寬分別為800Mbps、800Mbps和600Mbps。

我們采取了多種優(yōu)化措施，對校園網(wǎng)的三個網(wǎng)絡(luò)出口進(jìn)行合理的分配和使用。首先，在出口路由設(shè)備H3C 9512上通過策略路由配置，保證訪問各運(yùn)營商資源時從對應(yīng)的網(wǎng)絡(luò)出口出去。其次，在出口路由設(shè)備上部署了4塊H3C鏈路負(fù)載均衡LB板卡，如圖1所示。缺省流量通過動態(tài)負(fù)載均衡算法分配至最佳的出口鏈路，當(dāng)某一出口中斷時，鏈路負(fù)載均衡板卡還能將該出口的流量自動切換到工作正常的出口，鏈路負(fù)載均衡板卡極大地提升了用戶上網(wǎng)效率和可靠性。此外，通過流量監(jiān)控軟件Cacti對網(wǎng)絡(luò)出口的分析，我們發(fā)現(xiàn)網(wǎng)絡(luò)運(yùn)行高峰期三個網(wǎng)絡(luò)出口的使用仍然有不平衡情況。最后，我們在出口路由設(shè)備上采用基于流量的路由策略，將網(wǎng)絡(luò)視頻流量引入到利用率相對較低的出口，達(dá)到緩解利用率較高出口負(fù)載的效果。

帶寬管理

常用的網(wǎng)絡(luò)流量監(jiān)控工具如Cacti、MRTG等，只能看到網(wǎng)絡(luò)出口的整體流量情況，并不能做到對出口流量的精細(xì)化管理，需要在網(wǎng)絡(luò)出口處部署流控設(shè)備，才能對應(yīng)用層流量進(jìn)行統(tǒng)計分析和帶寬限制，實現(xiàn)對校園網(wǎng)出口流量的有效管理。

常見的流控設(shè)備廠商有Packeteer、H3C、Panabit等。我們在出口位置部署了H3C的應(yīng)用控制網(wǎng)關(guān)SecPath ACG 8800，ACG 8800采用了全分布式處理架構(gòu)與多核、多線程技術(shù)，擁有突出的性能和更高的可靠性，放在網(wǎng)絡(luò)出口處不會引起新的網(wǎng)絡(luò)瓶頸。通過該設(shè)備對出口流量中的各種應(yīng)用、協(xié)議和端口組成進(jìn)行檢測識別與控制，全面了解網(wǎng)絡(luò)應(yīng)用構(gòu)成和流量趨勢，在此基礎(chǔ)上進(jìn)一步基于不同的分段、不同的用戶/用戶組、不同的時間、不同的區(qū)域等組合，應(yīng)用不同的帶寬策略，對網(wǎng)絡(luò)內(nèi)用戶的流量與應(yīng)用進(jìn)行精細(xì)化控制和審計。

圖1 多出口鏈路負(fù)載均衡示意

在應(yīng)用ACG 8800之前，網(wǎng)絡(luò)出口的帶寬主要是BitTorrent、Thunder(迅雷)等P2P應(yīng)用和優(yōu)酷、快播等流媒體占用，如圖2所示。這兩類流量占據(jù)網(wǎng)絡(luò)總體出口帶寬的70%以上。網(wǎng)絡(luò)高峰期，我校的出口帶寬達(dá)到了2.1Gbps，各出口線路基本處于飽和狀態(tài)，網(wǎng)絡(luò)設(shè)備負(fù)荷非常大，經(jīng)常出現(xiàn)不穩(wěn)定等問題，嚴(yán)重影響了正常應(yīng)用。

為合理利用網(wǎng)絡(luò)資源，通過應(yīng)用H3C SecPath ACG 8800，我們對網(wǎng)絡(luò)流量采取了以下控制策略：

1. 12:00～14:00、20:00-24:00（網(wǎng)絡(luò)使用高峰期）：禁止P2P和流媒體（但教育網(wǎng)出口放行土豆和優(yōu)酷視頻）；

2. 凌晨1:00～7:00：P2P和流媒體帶寬分別為600Mbps；

3.其他時段：P2P帶寬限制為300Mbps，流媒體帶寬仍維持600Mbps；

4. 對網(wǎng)內(nèi)占用帶寬多的用戶分時段限制帶寬。

由于流控設(shè)備是通過數(shù)據(jù)包深層掃描的技術(shù)對報文所屬的應(yīng)用協(xié)議進(jìn)行檢測，但實際網(wǎng)絡(luò)上的TCP/UDP應(yīng)用層協(xié)議繁多，即使是最優(yōu)秀的流控設(shè)備也難免會有無法識別的應(yīng)用。例如圖2中占全部帶寬10.55%的TCP/UDP應(yīng)用中就存在某些未能識別的TCP/UDP應(yīng)用。對于這類應(yīng)用，無法通過流控設(shè)備對其進(jìn)行控制。因此，我們在網(wǎng)絡(luò)出口處的四臺認(rèn)證計費網(wǎng)關(guān)上將用戶上網(wǎng)的下行帶寬限制為1.5Mbps，上行帶寬限制為768Kbps，實現(xiàn)了對這部分應(yīng)用的總體限制。

通過以上多層次、精細(xì)化的帶寬控制策略，我們有效解決了網(wǎng)絡(luò)出口帶寬濫用的情形，出口峰值降低到了1.6Gbps，下降了25%，騰出了更多的帶寬給http、郵件等正常的教學(xué)和科研應(yīng)用。此外，我們還通過安全管理平臺ACG Manager，對應(yīng)用控制網(wǎng)關(guān)檢測出的網(wǎng)絡(luò)出口流量進(jìn)行深入分析，更全面地了解用戶行為和流量趨勢。

基于緩存的優(yōu)化

雖然使用流控設(shè)備能夠?qū)φ加贸隹趲捿^多的P2P和流媒體等應(yīng)用進(jìn)行控制，解決了出口帶寬被無限制占用的問題，但在某種程度上也會降低用戶使用網(wǎng)絡(luò)的質(zhì)量和體驗，而引入緩存技術(shù)則能圓滿解決這一問題。

緩存的工作原理是將校園網(wǎng)用戶訪問或下載的熱點內(nèi)容緩存到本地的存儲上，當(dāng)其他用戶訪問相同資源時，會從本地緩存上直接獲取資源，不需要再次從互聯(lián)網(wǎng)中獲取資源，從而節(jié)約網(wǎng)絡(luò)出口帶寬，緩解了網(wǎng)絡(luò)出口的壓力。由于緩存的內(nèi)容是在本地提供給用戶的，用戶的訪問和下載的速度也能得到大幅提升，用戶的上網(wǎng)體驗也會隨之改善。

緩存其實不是一種新的技術(shù)，早期在校園網(wǎng)中普遍使用的代理服務(wù)器（如Linux平臺上的Squid)也能向用戶提供基本的緩存功能，只是現(xiàn)在的緩存產(chǎn)品功能更為強(qiáng)大，緩存的對象不僅包括http網(wǎng)頁，還包括流媒體、P2P等下載內(nèi)容。近年來，中國移動、中國電信等各大運(yùn)營商開始在自己的網(wǎng)絡(luò)中部署緩存服務(wù)器，并進(jìn)一步基于緩存技術(shù)構(gòu)建CDN（Content Delivery Network，內(nèi)容分發(fā)網(wǎng)絡(luò)）。CDN是由分布在不同區(qū)域的緩存服務(wù)器群組成的分布式網(wǎng)絡(luò)，由GSLB（Global Server Load Balancing）進(jìn)行負(fù)載均衡，在其統(tǒng)一調(diào)配下，用戶的請求會導(dǎo)向到CDN網(wǎng)絡(luò)中的最佳節(jié)點，就近取得所需資源，提高了用戶訪問資源的速度，減少了互聯(lián)網(wǎng)上的擁塞。目前國內(nèi)市場上主流的CDN廠商有藍(lán)訊的ChinaCache和網(wǎng)宿的CDN平臺。隨著校園網(wǎng)出口流量的增長，緩存技術(shù)也逐漸開始在校園中應(yīng)用。當(dāng)前常見的緩存廠家有銳捷、華為、MARA SYSTEM、廣信友聯(lián)等。同時網(wǎng)宿等老牌CDN平臺也開始與高校進(jìn)行合作。

緩存產(chǎn)品有硬件和軟件兩種。硬件即由廠家提供軟硬一體的設(shè)備，軟件則需要用戶自己提供服務(wù)器安裝。須要注意的是，除了對服務(wù)器性能有較高要求，對存儲也有更高的要求。其部署方式主要有以下三種：

WCCP方式：通過在三層設(shè)備上啟用WCCP（ Web Cache Communication Protocol，網(wǎng)頁緩存通信協(xié)議)或策略路由，將http端口的數(shù)據(jù)重定向到緩存服務(wù)器。如果緩存服務(wù)上存在用戶需要的資源會直接提供給用戶。如果不存在則由緩存服務(wù)器從外網(wǎng)下載后再提供給用戶。這種方式會給三層設(shè)備帶來一定的負(fù)荷。采用該方式部署的緩存設(shè)備廠家有Cisco、Bluecoat、MARA System等。值得一提的是，MARA System公司創(chuàng)始人就是被學(xué)校廣泛用于代理軟件Squid的原創(chuàng)作者。

圖3 WCCP方式部署的緩存運(yùn)行情況

圖4 緩存部署前后文件下載速度對比

鏡像或分光方式：以旁路的方式部署在校園網(wǎng)核心交換機(jī)或出口路由器上，主要是將用戶上行的流量鏡像到緩存設(shè)備，緩存設(shè)備會利用DNS 重定向技術(shù)直接將緩存設(shè)備的IP地址返回給用戶。如果緩存命中則直接回應(yīng)客戶，不命中則從互聯(lián)網(wǎng)上取回數(shù)據(jù)回應(yīng)客戶，同時將數(shù)據(jù)保存在緩存上以備下次使用。這種部署方式對現(xiàn)有網(wǎng)絡(luò)沒有影響，也不存在單點故障。采用該方式部署的緩存設(shè)備廠家有銳捷、廣信友聯(lián)等。

透明方式：緩存設(shè)備串接在核心交換機(jī)和出口路由器之間，透明地提供緩存服務(wù)。這種方式無須改變原有網(wǎng)絡(luò)結(jié)構(gòu)，但容易引入新的故障點，并且對緩存設(shè)備的性能要求很高，對于網(wǎng)絡(luò)出口流量較大的學(xué)校不宜使用。采用該方式部署的緩存設(shè)備廠家主要有深信服等。

考慮到我校出口帶寬的流量較大，我們主要對采用第一和第二種方式部署的緩存設(shè)備進(jìn)行了試用。在第一種方式下部署了MARA SYSTEM的CACHEMARA 2000C/M-500，為http訪問和下載提供緩存。由于試用產(chǎn)品的性能限制，我們暫時只將網(wǎng)絡(luò)出口的三分之一流量定向到該設(shè)備緩存，該緩存設(shè)備平均從互聯(lián)網(wǎng)下載400Mbps數(shù)據(jù)帶寬的同時，向校內(nèi)用戶提供約700Mbps數(shù)據(jù)帶寬。如圖3所示，設(shè)備上線期間，我們監(jiān)測到網(wǎng)絡(luò)出口帶寬與沒部署該設(shè)備前相比下降了100多Mbps。

第二種方式下部署了PowerCache X10。該設(shè)備旁掛在核心交換機(jī)H3C 9508上，通過端口鏡像將到出口路由設(shè)備的兩條千兆鏈路上行流量鏡像到該設(shè)備上，同時為http、流媒體和P2P下載提供緩存。該設(shè)備上線，使用緩存技術(shù)后，下載同一資源的速度從部署前的約112KB/s最大提升到11.3MB/s，提升了約103倍，如圖4所示。觀看在線視頻的速度從部署前的約56KB/s提升到約1MB/s, 提升了約18倍。部署該設(shè)備當(dāng)月，高峰期回吐帶寬與吸入帶寬差值為300Mbps，下載流量約8T，提供給內(nèi)網(wǎng)用戶流量約38T，約為獲取資源的4.75倍。須要說明的是，由于該設(shè)備剛上線時我們只將一半的流量鏡像到該設(shè)備，同時P2P緩存功能有半月左右處于關(guān)閉狀態(tài)，當(dāng)前測試結(jié)果還有進(jìn)一步提升的空間。

由此可見，部署緩存產(chǎn)品確實能夠降低學(xué)校出口帶寬，改善用戶上網(wǎng)體驗，提升用戶滿意度，各學(xué)?？梢愿鶕?jù)自身的實際情況進(jìn)行選擇。

建設(shè)校內(nèi)資源平臺

部署緩存的另一個好處是可以通過對緩存內(nèi)容的統(tǒng)計分析，了解用戶感興趣的內(nèi)容，隨后在校內(nèi)主動向用戶提供相關(guān)資源，減少用戶訪問外網(wǎng)資源的需求。通過對緩存的統(tǒng)計，我們發(fā)現(xiàn)用戶訪問的大部分是熱門的電影、音樂和電視節(jié)目。這一結(jié)果也與出口應(yīng)用網(wǎng)關(guān)的統(tǒng)計結(jié)果相同。于是，我們在校園內(nèi)開設(shè)了視頻點播平臺和網(wǎng)上電視平臺，視頻點播平臺包含大約16000多個節(jié)目，容量近4TB，分為教學(xué)、新聞、講座、培訓(xùn)以及綜合等幾大類。每天新增十多個節(jié)目，網(wǎng)上電視平臺提供多達(dá)20套的電視節(jié)目，覆蓋新聞、娛樂、英語學(xué)習(xí)、地理旅游等各種類別。另外，還由學(xué)生社團(tuán)架設(shè)了基于校園網(wǎng)的P2P在線視頻點播及下載平臺，為校園網(wǎng)用戶提供免費的高清電影、熱門美劇、日劇、科教片、音樂的在線點播及高速分享服務(wù)。

通過架設(shè)以上平臺，我們將用戶對外網(wǎng)資源的需求逐漸轉(zhuǎn)移到校內(nèi)資源平臺，節(jié)約了寶貴的出口帶寬，對緩解校園網(wǎng)出口壓力起到了一定作用。

當(dāng)前，越來越多學(xué)校的網(wǎng)絡(luò)出口帶寬面臨著資源不足的問題，僅僅依靠傳統(tǒng)的以堵為主的管理模式已經(jīng)不能適應(yīng)新環(huán)境下的用戶需求。我們需要從整體考慮，結(jié)合多種出口帶寬管理和優(yōu)化方法，疏堵結(jié)合，既要開源又要節(jié)流，盡可能達(dá)到用戶上網(wǎng)體驗與網(wǎng)絡(luò)出口帶寬消耗的平衡。