金巨亮

（中國聯合網絡通信有限公司遼寧省分公司 沈陽110041）

1 項目實施背景和目標

1.1 項目實施背景

隨著寬帶業(yè)務的發(fā)展和用戶數的增加，電信運營商正面臨著一場廣泛而且影響深遠的業(yè)務變革浪潮。在業(yè)務需求發(fā)生變化且運營商正在積極探索新盈利模式的前提下，IP網絡的優(yōu)化和改造具有深遠的意義。

網絡扁平化是電信網絡發(fā)展的必然趨勢，整個網絡建設模式將從以前的“骨干網+省網+城域網”的多層次結構向“骨干網+城域網”的扁平化網絡結構發(fā)展。

早期建設的互聯網因為歷史的原因，常常在同一地點設置兩套路由設備，進行背靠背的連接，以劃分管理界面。一個運營商或公司內部如果存在過多這樣的連接，不但增加了投資，而且使網絡質量下降，故障點增多。

網絡扁平化的源動力就是節(jié)約投資、降低維護成本、提升網絡競爭力，而高端路由器功能和性能的不斷增強則為網絡扁平化提供了推動力。

1.2 項目實施目標

（1）結構扁平化

城域網直接與骨干網互連，從而降低設備跳數，減少網絡瓶頸和網絡延時。

（2）層次清晰化

使互聯網形成全網統(tǒng)一的“骨干網+城域網”兩級網絡結構，形成統(tǒng)一、清晰的網絡層次。

（3）路由合理化

城域網與骨干網BGP互連，縮小OSPF區(qū)域，降低IGP路由表條目，減少OSPF路由震蕩，實現高效路由。

（4）管理標準化

促進網絡維護管理模式和維護管理手段的集中化、標準化，實現全網在網絡的技術實現、路由策略、網絡管理等方面的統(tǒng)一。

（5）運營高效化

大幅節(jié)省投資，充分發(fā)揮網絡資源效能，從而降低企業(yè)運營成本，提高企業(yè)的市場競爭力。

2 扁平化實施過程

2.1 扁平化前網絡結構

遼寧聯通互聯網采用雙星型結構，17個節(jié)點（14地市城域網、沈大IDC及省中心）分別通過N×10 Gbit/s鏈路，使用EBGP分別上聯至沈陽、大連省核心路由器，城域網內主要使用OSPF和靜態(tài)路由協(xié)議。

沈陽、大連核心路由器分別通過N×10 Gbit/s鏈路使用EBGP分別上聯至中國聯通集團沈陽、大連A1核心路由器。扁平化前網絡拓撲如圖1所示。

2.2 扁平化后網絡結構

15個節(jié)點（城域網+省中心）通過N×10 Gbit/s鏈路分別上聯至省網沈陽、大連核心路由器，承載認證計費、網管、MPLS VPN、IPTV、DNS及DHCP等省內業(yè)務流量。

14個地市城域網分別通過 N×40 Gbit/s/N×10 Gbit/s鏈路上聯至中國聯通集團骨干網沈陽、大連A1核心路由器，承載出省和除省內業(yè)務外的互訪流量。扁平化后網絡拓撲如圖2所示。

圖1 扁平化前網絡拓撲

圖2 扁平化后網絡拓撲結構

2.3 扁平化路由策略及實施

2.3.1 路由整體策略

城域網核心路由器與骨干網A1路由器間啟用EBGP協(xié)議，骨干網A1路由器向城域網廣播國內詳細路由及缺省路由，將ISIS Metric轉化為BGP MED，引導城域網出流量，城域網向骨干網A1路由器和省網核心路由器廣播本城域網路由，使用不同的MED值引導回流量；城域網核心路由器與省網核心路由器建立BGP鄰居關系時引入AS過濾策略，城域網不接收來自其他城域網的路由通告，城域網互訪流量通過骨干A1路由器轉發(fā)。城域網核心路由器與省網核心路由器間啟用EBGP協(xié)議，省網核心路由器僅向城域網廣播省內AS64920域內路由，省內訪問流量（DNS、RADIUS、跨城域網 MPLS VPN業(yè)務流量等）通過城域網核心路由器至省網核心路由器的電路實現。城域網內兩臺出口路由器之間運行IBGP路由協(xié)議，城域網自治域內的IGP協(xié)議（OSPF）保持不變。

2.3.2 路由策略部署方案

（1）出省出流量

骨干網同時向省網和城域網下發(fā)國內詳細路由及缺省路由，城域會收到來自省網和骨干網的相同路由，但由于來自省網的路由AS-Path較長，城域會自動優(yōu)選來自骨干網的路由。

城域網出口路由器從骨干接收聯通全網國內路由和默認BGP路由，同時不對接收路由條目的屬性進行修改，使城域網的出流量在城域網出口進行路由優(yōu)選，城域網出口路由器的互聯電路有流量互穿，可以使互穿的流量保持在城域網之內，減輕了中國聯通集團骨干網在核心節(jié)點的互穿壓力。

城域網內路由策略保持不變，城域網兩臺出口路由器下發(fā)默認路由，城域網內BAS/SR設備出流量通過上聯鏈路設置相同的Cost值達到流量負載均衡，如圖3所示。

（2）出省入流量

城域同時向省網和骨干網發(fā)布城域內路由，根據AS-Path的長短，骨干網會優(yōu)選來自直連的城域的路由。城域網宣告BGP路由時將城域網內地址經過匯聚，并在城域網出口路由器上配置路由控制策略，針對不同的IP段賦予不同的MED值引導回流量，保證城域網入流量的負載均衡。

回流量不會在兩個城域網出口路由器間穿越，而是通過下聯BAS/SR的接口設置相同的OSPF Cost值保障下聯鏈路流量負載均衡，如圖4所示。

（3）互訪流量

對于省內互訪流量，城域網應優(yōu)選骨干網的路由。城域網會同時接收來自省網和骨干網的其他城域網路由，并且AS-Path長度相同。為了優(yōu)選來自骨干網的路由，城域網在與省網建立BGP鄰居關系時，應加路由策略，使城域網不接收來自其他城域網的路由通告，這樣城域網不會從省網學到其他城域網的路由，流量會選擇骨干網進行中轉，如圖5所示。

2.4 扁平化具體實施步驟

·確保城域網上聯骨干網及核心間新開電路正常，無丟包。

圖3 出省出流量示意

圖4 出省入流量示意

圖5 互訪流量示意

·建立城域網一側核心路由器與骨干網A路由器間的EBGP鄰接關系。由于骨干網將國內詳細路由廣播給該城域網核心，因此城域網全部出省流量都將通過此核心與骨干網互聯電路出省。城域網在與省網建立BGP鄰居關系時，應加路由策略，使城域網不接收來自其他城域網的路由通告，這樣城域網不會從省網學到其他城域網的路由，流量會選擇骨干網進行中轉。

·建立城域網另一側核心路由器與骨干網A路由器間的EBGP鄰接關系。城域網出省流量通過兩核心與骨干網互聯電路出省。城域網在與省網建立BGP鄰居關系時，加入路由策略，使用流量選擇骨干網進行中轉。

以朝陽城域網為例，具體割接步驟如下。

·所有新購板卡到位，加電運行無問題。光纖布放完畢測試無問題。開通朝陽至中國聯通集團A1的40 Gbit/s出口電路。省網到沈陽、大連A1設備的跳纖布放完畢后測試無問題。

·開通R1-A-CY與中國聯通集團大連A1的BGP PEER，同時對A1發(fā)布城域網路由時加入正則表達式，只發(fā)布城域網本地路由，并加入MED的路由策略，控制回流量。

·將R1-A-CY至省網R1-C-DL的10 Gbit/s電路斷開，割接至大連A1。

·在省網核心R1-C-DL建立AS過濾策略，并引入到R1-C-DL與朝陽城域網R1-A-CY的BGP鄰居關系中，使得R1-C-DL拒絕轉發(fā)來自正則表達式列表中的城域網AS的路由通告。

·開通R2-A-CY與中國聯通集團沈陽A1的BGP PEER，同時對A1發(fā)布城域網路由時加入正則表達式，只發(fā)布城域網本地路由，并加入MED的路由策略，控制回流量。

·將R2-A-CY至省網R1-C-SY的10 Gbit/s電路斷開，割接到沈陽A1。

·在省網核心R1-C-SY建立AS過濾策略，并引入到R1-C-SY與朝陽城域網R2-A-CY的BGP鄰居關系中，使得R1-C-SY拒絕轉發(fā)來自正則表達式列表中的城域網AS的路由通告。

·業(yè)務測試。

2.5 扁平化后的應急預案

遼寧聯通城域網扁平化之后，城域網與省網之間的大部分鏈路將遷移至城域網與骨干網之間，城域網與省網間將保留很小的帶寬用于MPLS VPN、組播、計費認證等省內業(yè)務，省內IDC將割接到沈大城域網上。但是，目前省內IDC上聯省網，IDC到城域網的流量完全承載在城域網與省網之間的鏈路上，該流量很大，但城域網與省網間的鏈路帶寬有限并且承載著關鍵業(yè)務，如果出現擁塞將直接影響到認證計費等關鍵業(yè)務，所以需要將這部分流量暫時性引導到城域網與骨干之間的鏈路上。扁平化后的應急預案示意如圖6所示。

沈大IDC上聯到省網，IDC到城域網的流量必然要經過省網轉發(fā)，IDC發(fā)出的IP包在省網上進行IP路由表查詢后必然直接轉發(fā)到城域網，本應急預案是利用MPLS Label，在IDC與骨干之間搭建MPLS隧道，將從IDC發(fā)出的流量打上MPLS Label，在省網上作標簽轉發(fā)，不作IP轉發(fā)，從而避免流量到達省網后直接轉發(fā)到城域網。

圖6 應急預案示意

實現方法如圖7所示。

（1）省網節(jié)點10、11分別配置指向骨干節(jié)點7、8的Loopback0的靜態(tài)路由，下一跳均為直連接口，IDC節(jié)點18、19分別配置指向骨干節(jié)點7、8的Loopback0的靜態(tài)路由，下一跳分別為省網節(jié)點10、11。

（2）省網節(jié)點10、11分別與IDC節(jié)點18、19之間運行MPLS IDP。

（3）省網節(jié)點10、11上配置到IDC出方向的BGP策略，將需要調整的城域網路由的下一跳分別修改為骨干節(jié)點7、8的 Loopback0地址。

3 網絡扁平化的實施經驗

在扁平化實施中總結了以下幾條經驗。

·當城域網核心設備與省網核心設備采用單鏈路連接時，應使用接口地址建立BGP鄰居關系，以便在鏈路變化時加快BGP的收斂。

·省IP網向各地市城域網通告缺省路由，各地市城域網接收省IP網的缺省路由，同時也接收由省IP網通告的細化路由。城域網核心路由器應采用強制下發(fā)方式將默認路由發(fā)送給本地城域網，同時保證城域網核心直連電路的Cost值小于所有其他城域網核心之間可能存在路徑的Cost值。

·業(yè)務閑時實施割接，保證城域網單核心上聯骨干網及省網電路能夠承載全部業(yè)務。

·調整城域網路由策略，防止城域網將省內詳細路由廣播給骨干網，導致全部出省流量穿行扁平化城域網。

·優(yōu)化BRAS地址池，盡量采用多段地址，避免連續(xù)大段地址作為單臺BRAS地址池，防止業(yè)務忙時上聯電路因回程流量不均衡出現擁塞。

圖7 應急預案實現方法

4 結束語

在全省14個地市成功地實施了扁平化改造，遼寧聯通互聯網的結構更加清晰，路由策略更加科學合理；在減少網絡層次、優(yōu)化網絡性能的同時，節(jié)約了大量的設備投資。