文/李鎖鋼 孫富

CERNOC主要負責(zé)CERNET主干網(wǎng)線路和設(shè)備的正常運行。主干網(wǎng)線路的流量擁堵情況通常使用帶寬利用率來衡量。CERNET主干網(wǎng)各條線路帶寬利用率不均衡，并且一些線路的帶寬利用率比較高。一般情況下，我們通過線路擴容改善線路的擁堵情況，但是線路擴容受限于經(jīng)費等客觀條件，同時也不能充分利用線路資源，不夠綠色節(jié)約。因此我們需要通過流量優(yōu)化的技術(shù)方式降低帶寬利用率，提高網(wǎng)絡(luò)性能質(zhì)量。

我們的目標是探索低成本、高效率的流量優(yōu)化方法，調(diào)整不同線路間的流量，使得線路的容量和實際的需求相符合。

CERNET是一個比較純的，基于IP的主干傳輸網(wǎng)絡(luò)。CERNET主干網(wǎng)路由策略如下：全網(wǎng)啟用了OSPF協(xié)議，同時啟用了BGP協(xié)議；骨干網(wǎng)與地區(qū)網(wǎng)的路由使用靜態(tài)路由協(xié)議，并將靜態(tài)路由重發(fā)布到BGP中；用戶路由需要遞歸路由查找；在接入用戶的所有設(shè)備上啟動NetFlow。

流量優(yōu)化方法

主干網(wǎng)流量優(yōu)化的難點有兩個，一是需要在主干線路上進行調(diào)整，二是要在運行著的網(wǎng)絡(luò)中進行操作。這意味著一些微小的調(diào)整都可能產(chǎn)生巨大影響，甚至稍有疏忽就會導(dǎo)致線路流量銳減或瞬間擁塞，以至于設(shè)備遠程訪問中斷。

我們首先通過網(wǎng)絡(luò)拓撲分析出相關(guān)流量的大小，或者根據(jù)每個地區(qū)IP地址分配準確測量出該地區(qū)的流量分布，然后根據(jù)主干線路的流量負載情況進行流量調(diào)整，如圖1所示。流量調(diào)整的方法依照客觀情況，包括修改OSPF鏈路成本、路由協(xié)議疊加和其他可行的方法。我們在以前的工作中總結(jié)了前兩種方法，本文著重介紹其他的思路。

流量優(yōu)化實例

2012年上半年，我們對主干線路進行了一些擴容，總帶寬比上一年有了顯著增長，緩解了部分節(jié)點的擁堵情況。但是用戶訪問網(wǎng)絡(luò)需求在不斷增加，同時受限于經(jīng)費和物理線路的客觀條件，我們需要通過流量優(yōu)化來充分利用帶寬利用率低的線路資源，改善帶寬利用率高的線路問題。青島新開線路的流量調(diào)整

長期以來，青島節(jié)點上聯(lián)線路接到濟南節(jié)點，為1條2.5G線路，濟南上聯(lián)至北京有3條2.5G線路。濟南至青島的2.5G線路最近幾個月線路利用率一直在90%左右。

1. 新線路開通

為了解決青島節(jié)點流量擁堵情況，在2012年6月7日，開通一條北京至青島2.5G線路。按照一般的連接習(xí)慣，新開線路與北京至濟南的線路都接在北京1設(shè)備上，同時設(shè)置線路的OSPF，使得北京和青島之間的線路都為負載均衡，參見圖2左圖中線路旁邊標注的數(shù)字。

從圖3可以看出，新開通的北京至青島2.5G線路達到了400M，同時濟南至青島的流量降低了400M。

圖2 青島節(jié)點線路拓撲

圖3 青島節(jié)點流量變化情況

但是這個流量分擔得比我們期望的要少很多。由于OSPF在選路過程中是負載均衡的，從北京方面看，去青島方向有4條（3條經(jīng)過濟南到青島，1條北京直接到青島），所以新開通的北京至青島2.5G只分擔了1/4北京到青島流量，而濟南至青島2.5G卻分擔了3/4的北京到青島流量。照此推算，當青島流量需求達到3.2G的時候，濟南至青島線路流量將達到2.4G。

2. 第一次優(yōu)化

鑒于以上情況，我們需要摒棄傳統(tǒng)的接入方法，探索新的接入方式。首先，我們發(fā)現(xiàn)北京節(jié)點有兩個主干設(shè)備：北京1為主用，連接了大部分節(jié)點；北京2連接了少部分節(jié)點，如清華和石家莊等節(jié)點。

圖4 CERNET主干網(wǎng)拓撲

我們嘗試將北京至青島2.5G的北京端從北京1切換到北京2的路由器上，并設(shè)置OSPF成本，參見圖2右圖。這樣北京互聯(lián)、清華、石家莊等節(jié)點到青島的流量就會從北京至青島2.5G走。圖3的流量顯示，這次調(diào)整使得北京至青島線路的流量增加了接近200M。不過此時正值青島節(jié)點一個接入用戶擴容，濟南至青島線路流量不僅沒有降低，還增加了一些。

3. 第二次優(yōu)化

第一次優(yōu)化效果不明顯的根本原因在于北京至濟南3條2.5G和北京至青島2.5G線路的流量分配問題。于是我們從兩方面考慮，第一種方案是將北京至濟南3條2.5G做一個Bundle-POS，捆綁成一條線路；另一種方案是將北京至青島2.5G通過子接口變?yōu)?個接口?？墒墙?jīng)過試驗，濟南的2.5G POS板卡不支持接口綁定，而北京1設(shè)備的POS接口也不支持劃分子接口。這些客觀的實際情況增加了我們流量優(yōu)化工作的難度。

雖然第一優(yōu)化效果不明顯，但是卻給后面的優(yōu)化打下了基礎(chǔ)。因為我們可以充分利用北京2設(shè)備，等到6月23日北京至武漢2.5G×2線路開通時，將其也接在北京2設(shè)備上，使得武漢到達青島的流量跑在北京至青島線路上。從圖3可見，第二次優(yōu)化使得濟南至青島流量明顯降低，降到1G，同時北京至青島的流量增加到1.2G。

經(jīng)過以上調(diào)整，青島上聯(lián)兩個方向線路的流量得到合理分配，改善了青島地區(qū)用戶的訪問質(zhì)量，提高了青島節(jié)點的接入能力。北京至武漢2.5G線路的使用

北京至武漢的主干線路是10G×2線路，隨著用戶訪問需求的增加，這兩條線路的帶寬利用率連續(xù)幾個月超過90%。但是我們短期沒有10G傳輸線路的資源，只有兩條2.5G線路的資源可供開通。如何利用好這兩條2.5G線路是一個難點。這2條2.5G線路與已有的10G線路在OSPF協(xié)議內(nèi)不能做負載均衡，因為OSPF不支持非等價負載均衡。我們考慮過在OSPF協(xié)議之上啟用一個新的路由協(xié)議來控制流量，但這樣增加了全網(wǎng)協(xié)議的復(fù)雜度，先將該方案作為候選。

1. 結(jié)合青島新開線路優(yōu)化流量

北京至武漢10G線路接在北京1路由器上，我們考慮把這兩條2.5G線路接到北京2路由器上，這樣可以分擔一部分北京互聯(lián)的流量（包括北京互聯(lián)部分去武漢和南京的流量），參見圖4所示。

我們需要設(shè)置線路的OSPF成本來控制流量。首先我們將這兩條2.5G的OSPF成本值設(shè)為7，這樣可以全部承擔北京互聯(lián)去往武漢、廣州、南京、上海的全部流量，測試發(fā)現(xiàn)兩條2.5G承載不了這些流量。然后我們將北京至武漢2.5G的OSPF成本值改為8，這樣可以分擔北京互聯(lián)去往武漢、南京和上海的1/3流量。測試發(fā)現(xiàn)這些流量將近2個G。進而，我們設(shè)想把北京1上的節(jié)點線路遷移一些到北京2上，這樣既可以降低北京1設(shè)備的CPU負載，同時也將北京至武漢的部分流量轉(zhuǎn)移到2.5G線路上。青島節(jié)點就是直接受益者，如前所述。

測試發(fā)現(xiàn)，挪動前濟南至青島2.5G的進出方向流量分別是450M和2G，而挪動之后的進出方向流量是300M和1.2G；北京至青島2.5G的進出方向流量分別是450M和500M，而挪動之后的進出方向流量是600M和1.3G。北京至武漢2.5G×2的出流量也從2G漲到2.4G左右，北京至武漢10G×2線路流量也得到了緩解。由原來的18.4G降到15.4G左右。見表1所示。

表1

圖5 杭州流量優(yōu)化前后流量變化情況

2. 優(yōu)化北京至廣州流量

為了進一步利用北京至武漢2.5G×2線路資源，緩解北京至廣州10G×2的流量壓力，我們將北京至廣州10G×2的OSPF成本值由17改為18，這樣北京至廣州的流量就可以和北京-武漢-廣州負載均衡，而且北京互聯(lián)到廣州的1/3流量也可以分到北京至武漢2.5G×2上。這樣修改后，北京至武漢2.5G×2線路的進、出方向流量由漲到進一步增加。相關(guān)線路流量變化參見表2。

表2

3. 優(yōu)化杭州節(jié)點流量

改動了北京至廣州線路的OSPF成本后，也影響到了杭州節(jié)點。杭州到北京的流量原本是“杭州-上海-南京（武漢）-北京”和“杭州-廣州-北京”兩個路徑上負載均衡。為了恢復(fù)平衡，我們將廣州（gz2）至杭州（hzh1）的OSPF成本值改為39。

而杭州至武漢的流量原來為杭州-上海-南京-武漢，現(xiàn)在變?yōu)楹贾?廣州-武漢。這樣的變化既減輕了上海至南京10G×2線路壓力，也增加了武漢至廣州10G和廣州至杭州2.5G線路的利用率。增加線路并經(jīng)過調(diào)整之后，各個線路流量對比情況如圖5所示。

經(jīng)過調(diào)整，我們充分利用新開的北京至武漢2.5G×2線路和北京至青島2.5G線路，降低了北京至武漢10G×2、北京至廣州10G×2、北京至南京2.5G×5線路的帶寬利用率，同時提高了武漢至廣州10G線路的帶寬利用率。青島和杭州的雙方向上聯(lián)流量都得到了均衡。

這個方法還便于擴展，如果北京至武漢10G×2線路的流量還比較擁堵的話，我們可以再將北京1上的一些節(jié)點線路挪到北京2上，來緩解北京1線路的壓力。