文｜黃從治 金海嘯

一、引言

隨著國家“一帶一路”戰(zhàn)略的深入推進，大型建筑央企全球業(yè)務規(guī)模日益壯大，分支機構、項目部數量隨之增加，各種業(yè)務對網絡的需求與依賴也隨之增加,傳統(tǒng)的互聯(lián)網和企業(yè)點對點專線組網方式難以應對分布于非洲、南美洲、中東、南亞等基礎設施欠發(fā)達地區(qū)項目分支的數據交互。在對建筑央企2000多名海外從業(yè)人員的問卷調研中，有90%的人員反應網絡速度慢、穩(wěn)定性差，很難與國內辦公、財務和生產業(yè)務系統(tǒng)進行高效通訊，且多數項目分支均無網絡安全防控措施，存在一定的信息安全風險。因此通過研究Overlay組網、廣域網優(yōu)化、網絡虛擬化和軟件定義網絡等技術，與企業(yè)WAN深度融合，修建基于SD-WAN的全球化高品質數據傳輸鏈路，解決“最后一公里”的網絡通達問題，為企業(yè)海外業(yè)務開展、員工日常辦公提供穩(wěn)定、高效的信息化支撐，提升海外人員業(yè)務訪問體驗和辦公效率，保障數據傳輸安全具有十分必要和急迫的現實意義。

二、整體架構設計

基于SD-WAN的全球廣域網絡建設的整體思路是通過將SDN、NFV技術與MSTP、MPLS、Internet等WAN鏈路融合，以服務企業(yè)數字化轉型為目標，支撐各類生產、辦公數據高效、穩(wěn)定、安全傳輸，解決大型建筑企業(yè)項目分散、流動性強、生命周期較短、所處地區(qū)基礎設施欠發(fā)達而造成的互聯(lián)成本高，網絡部署效率低、業(yè)務應用時間長的問題。

整體架構如圖1所示，由上至下為管理平面、控制平面和網絡平面。

圖1 SD-WAN整體架構

管理平面包含配置管理層和業(yè)務編排層兩部分，配置管理層實現統(tǒng)一對全網進行集中管理和快速變更配置，包含全網分支設備配置管理、策略模版管理、Auto VPN、SD-WAN智能選路模版管理、分支設備批量升級管理等；業(yè)務編排層實現對全網質量監(jiān)控數據的狀態(tài)展示和實時告警，并同步提供定制化API接口對接第三方網管平臺。

控制平面具有貫通南北向的作用，包含管理隧道、配置下發(fā)、狀態(tài)上報等功能，分支設備要接受管理平臺的集中管控，首先需要同管理平臺創(chuàng)建管理隧道。分支CPE和管理平面之間創(chuàng)建完管理隧道后，管理平臺即可向全網的分支下發(fā)配置。分支設備也可利用管理隧道定期上報設備狀態(tài)信息和告警信息給集中管理平臺做業(yè)務數據編排。

網絡平面是整體架構的軀干，包含各種常見的網絡設備和WAN鏈路，具體可分為物理網絡和虛擬網絡。物理網絡即Underlay網絡，主要指運營商提供的SDH、MSTP專線及Internet互聯(lián)網等WAN。虛擬網絡即Overlay網絡，通過引入Overlay虛擬化技術，SD-WAN在物理網絡上構建一張或者多張?zhí)摂M的Overlay網絡，業(yè)務策略部署在虛擬網絡上，與物理網絡脫離，從而將業(yè)務的復雜度和WAN互聯(lián)的復雜度解耦，服務于不同用戶或業(yè)務，是網絡平面的核心組網技術。

三、關鍵技術研究

搭建高效、穩(wěn)定、安全、靈活的廣域網絡平臺，需綜合研究運用SD-WAN的重點關鍵技術包括：

（一）SDN軟件定義網絡和Overlay技術融合

依托SDN控制器與傳統(tǒng)企業(yè)WAN技術結合，融入路由、QOS、安全、業(yè)務編排等技術，實現WAN自動化配置、集中控制管理，提高網絡健壯性、靈活性，提升鏈路利用率，降低整體成本。

傳統(tǒng)的網絡架構采用分布式控制、系統(tǒng)封閉，其控制功能和數據轉發(fā)功能緊耦合。這種網絡架構靈活性差，對網絡設備商的依賴性非常強，運維和管理復雜。SDN讓代表業(yè)務的應用可以參與對網絡的控制管理，增強業(yè)務的敏捷性，同時提升網絡運維效率，分為應用層、控制層和基礎設施層。應用層包含組織使用的典型網絡應用或功能；控制層代表集中式SDN控制器軟件，充當軟件定義網絡的大腦，在服務器上管理整個網絡的策略和流量；基礎設施層由網絡中的物理交換機、路由器等設備組成，執(zhí)行網絡流量轉發(fā)，這三層使用各自的北向和南向API進行通信。SDN在企業(yè)云數據中心網絡（LAN）中應用較成熟，但企業(yè)廣域網（WAN）應用場景較少。企業(yè)應積極應用SDWan技術，在試用MSTP、MPLS專線外，因特網上實現軟件定義企業(yè)廣域網絡，通過Overlay和VPN技術實現混合WAN互聯(lián)（如圖2），以有效降低署成本并改善使用效率。

圖2 混合WAN架構

Overlay技術是一種物理網絡架構上疊加的虛擬化技術模式，借助IP隧道封裝技術，使業(yè)務流量被封裝在隧道內，以實現流量在不同WAN鏈路的透明穿越，其具有獨立的控制和轉發(fā)平面。VPN技術一般是通過在IP報文中增加額外的VPN字段來實現不同網絡域的標識，最終達到企業(yè)私有化網絡和運營商公共網絡。本次研究的融合VPN技術使用隧道加密技術（DES、3DES、AES128、AES256等）對數據包進行加密傳輸，構建的Overlay隧道支持采用網絡編輯技術Auto VPN實現隧道的自動化構建，并通過隧道監(jiān)測和智能選路實現對物理線路被挖斷、廣域網網絡傳輸故障等網絡中斷情況進行秒級切換，實現網絡高可靠。

（二）在N F V網絡功能虛擬化基礎上豐富站點CPE綜合能力

在SD-WAN網絡中，各個分支機構將作為站點被SDN控制器納管并進行業(yè)務編排，為了實現各站點之間的網絡通信，需要部署實際的邊緣網絡設備（CPE）。傳統(tǒng)CPE通常包含主板、接口卡、多核CPU以及各種硬件組件，提供二層交換和三層路由功能。隨著企業(yè)業(yè)務類型的增加，基本的路由轉發(fā)功能已經不能滿足企業(yè)的業(yè)務需求，企業(yè)需要部署網絡安全、行為管理、流量加速、負載均衡等業(yè)務，然后這些業(yè)務的使用均需要購買相應的專有硬件設備，從而導致在全球范圍內部署變得異常復雜，也不便于整體維護。隨著云計算和NVF技術的發(fā)展，傳統(tǒng)的專有硬件設備都已經具有了軟件化的形態(tài)，將網絡設備、計算、存儲等資源作為基本組成元素，通過一體機的方式承載分支機構的IT網絡建設，降低設備的成本和能耗，實現靈活快速的業(yè)務發(fā)放。具體架構如圖3。

圖3 CPE架構

CPE設備軟件架構主要包含計算虛擬化、網絡設備虛擬化和存儲虛擬化三大組件，同時通過SDN控制器南向接口被整體納管，是SD-WAN網絡中的核心組成部分。

在CPE設備上實現計算資源虛擬化，使CPE設備具備抽象解耦和分區(qū)隔離的優(yōu)勢。給每一臺虛擬機分配適量的內存、CPU、網絡和磁盤，并加載所有虛擬機的客戶操作系統(tǒng)。常見的Hypervisor分兩類，本方案主要采取裸金屬型。

在CPE設備中通過NFV技術，將網絡資源統(tǒng)一池化，最終希望實現超融合架構中網絡資源的靈活定義、按需分配、隨需調整。NFV與SDN有很強的互補性，NFV增加了功能部署的靈活性，SDN可進一步推動NFV功能部署的靈活性和方便性。

存儲虛擬化基于分布式文件系統(tǒng)Glusterfs進行定制研發(fā)，并作為CPE架構中的重要組成部分，融合了分布式緩存、SSD讀寫緩存加速、多副本機制保障、故障自動重構機制等諸多存儲技術，能夠滿足關鍵業(yè)務的存儲需求，保證業(yè)務高效穩(wěn)定可靠的運行。

（三）廣域網優(yōu)化技術

大型建筑企業(yè)的應用種類繁多，包括視頻會議、OA辦公、電子郵件、財務共享、一體化平臺、項目綜合管理系統(tǒng)等。不同類型的應用對帶寬和鏈路質量的要求各不相同，例如視頻會議對鏈路的丟包率、時延、抖動容忍度非常低，一旦出現丟包就會導致卡頓花屏；而電子郵件對丟包率相對不敏感。通過應用識別、選路、QOS方案等可以實現不同價值應用運行在不同鏈路上，解決鏈路質量下降時的動態(tài)選路和鏈路優(yōu)化問題。

抗丟包技術包括單路徑FEC、單路徑A-FEC（自適應向前糾錯）、多路徑包復制和多路徑FEC等。通過代理攔截指定的數據流，按照一定的算法編碼生產冗余校驗包，CPE把VoIP報文的原始包和冗余校驗包發(fā)送到對端，由接收端CPE進行校驗，通過校驗包還原丟失的原始包，并結合智能選路技術，選擇最合適的鏈路進行傳輸。

數據去重技術要最大化利用現有帶寬資源，可基于緩存技術，通過在兩端站點部署數據去重功能，對傳輸數據進行緩存、分塊并建立索引，繼而優(yōu)化下一次傳輸內容（相同數據只傳輸索引即可找到數據緩存），減少傳輸數據量，提升帶寬利用率。

通過緩存和合并技術可以加速網頁訪問速度。緩存技術在本地用戶第一次訪問網站時就將文本、圖片等文件下載到本地CPE設備，后續(xù)本地用戶訪問時可以直接從本地調取。通過合并技術實現對網頁上的文件批量獲取，通過一次HTTP請求即可獲取所有文件，減少HTTP交互時延。

四、廣域網平臺功能

根據SD-WAN網絡設計理念，結合大型建筑企業(yè)業(yè)務特點和全球分支機構分布情況，廣域網絡設計。

整體網絡基于分層拓撲模型設計，結合企業(yè)分支機構分布情況，在總部數據中心部署SDN控制（SD-WAN集中管理平臺），在歐洲、非洲和南美洲建立網絡匯聚中心，通過MPLS專線實現與數據中心的網狀互聯(lián)（Fullmesh）。根據業(yè)務情況和分支機構需求，在各區(qū)域內采用星型組網拓撲（Hub-spoke），同時在各分支部署具備防火墻、路由器、交換機、廣域網加速、北斗定位等功能的組網一體機設備（CPE），基于因特網和4G、5G移動互聯(lián)網的Underlay網絡，構建Ipsec vpn隧道的Overlay網絡，通過應用智能選路、QOS方案、廣域網加速等技術實現數據高效、穩(wěn)定、安全傳輸。具體有如下功能：

（一） 融合多種WAN鏈路，實現集中管控

SD-WAN組網支持包括所有IP三層可達的物理網絡，包含MPLS VPN、MSTP專線、Internet、LTE等類型的網絡或者混合網絡。CPE設備支持以網關模式或者旁路模式部署在分支原有的網絡當中，統(tǒng)一通過部署在總部或者數據中心的SD-WAN控制器進行網絡編排和策略管理，并可集中和分級顯示全球一張網的狀態(tài)。

（二）設備快速開局、靈活部署

SD-WAN組網支持“零接觸”部署，也就是設備即插即用的易部署，即不需要IT人士現場支持，只需部署邊緣設備，插上通信鏈路，接入電源，設備即可通過集中管理設備自動下載指定配置和策略，實現簡化靈活部署。

（三）智能應用選路和廣域網優(yōu)化

基于SD-WAN的全球廣域網絡具有VPN通道和默認通道雙通道能力，可分別承載VPN應用流量、上網應用流量。同時，通過廣域網優(yōu)化技術提升網絡容錯性，以保障數據傳輸的質量，提升應用訪問體驗。

（四）全網設備和鏈路統(tǒng)一管理，簡單易運維

SD-WAN集中管理平臺可實現全網的集中管理和可視化呈現，全網質量監(jiān)控模塊包含Underlay監(jiān)控中心、Overlay監(jiān)控中心和故障告警中心三大核心模塊。Underlay監(jiān)控包含針對分支的硬件使用狀態(tài)展示與部署位置分布；Overlay監(jiān)控包含隧道的質量狀態(tài)監(jiān)控（連通性狀態(tài)和QOE狀態(tài)等信息）；故障告警中心可對分支站點設備進行設備狀態(tài)和隧道狀態(tài)的告警設置，當分支出現故障異常，分支通過管理隧道主動上報告警信息到SD-WAN集中管理平臺，再由工單系統(tǒng)通知運維管理員進行故障處理。

五、試點應用和成效

基于SD-WAN的廣域網絡平臺綜合應用于某建筑行業(yè)大型央企，在全球范圍內建設了網絡匯聚中心，在分支機構部署了邊緣CPE設備，實現了網絡高效、穩(wěn)定、安全的傳輸。典型應用場景如下：

在歐洲某地建立了海外網絡匯聚中心，開展了網絡設備的上架、安裝、調試，并拉通了回國的MPLS專線，并將相應設備統(tǒng)一納管至總部SD-WAN集中管理平臺。

建設初期，某海外網絡匯聚中心SD-WAN接入流量匯聚情況統(tǒng)計，數據顯示流量上升趨勢，如圖5所示。

在某海外分支機構部署了C P E設備，通過S DWAN廣域網絡訪問總部數據中心系統(tǒng)效果明顯優(yōu)于以往網絡模式，連續(xù)ping1000個數據包顯示延時從371ms下降到257ms，丟包率從2.6%下降到0.8%。

六、結語

依托SDN、NFV和廣域網加速技術，研究設計基于SD-WAN的大型建筑企業(yè)全球廣域網絡，解決了建筑企業(yè)全球分支機構系統(tǒng)使用需求，將網絡延伸至了最后一公里，打通了數據回國鏈路，提升了視頻會議、OA辦公和財務共享等應用訪問體驗，實現了全球業(yè)務數據高效、穩(wěn)定、安全傳輸，主要解決了三個問題。

圖4 某海外網絡匯聚中心SD-WAN接入流量統(tǒng)計圖

第一，融合專線、因特網等多種WAN鏈路，降低企業(yè)網絡互聯(lián)成本。大型建筑企業(yè)海外分支機構數量眾多，國際專線租賃費用昂貴，如采用傳統(tǒng)專線方式覆蓋各分支機構將付出巨大的帶寬租賃成本，而單純采用成本較低的因特網訪問國內業(yè)務延遲高、效果差。通過Overlay技術，結合SDN控制器和智能選路技術，不同場景使用不同WAN鏈路，可以矩陣式降低綜合鏈路租賃成本。

第二，通過NFV和廣域網加速技術，降低設備投入成本，解決分支機構網絡部署難問題，提升應用訪問體驗。大型建筑企業(yè)海外分支機構數量多、分布廣、所處地區(qū)基礎設施欠發(fā)達，如果采用傳統(tǒng)模式，部署防火墻、路由器、交換機、廣域網加速等設備，將大幅提升設備投入成本和實施部署難度。通過NFV和廣域網加速技術，將防火墻、路由器、抗丟包等功能的專業(yè)設備集成為一臺組網一體機，并通過SD-WAN集中管理平臺進行策略下發(fā)和統(tǒng)一開局，可以大幅降低分支機構組網難度和投入成本，提升各類應用訪問體驗。

第三，通過SDN控制器集中管理多種WAN鏈路和CPE設備，解決全網運維問題，提升運維和管理效率。上千的海外分支機構缺少統(tǒng)一的集中運維手段，需要大量的本地網絡運維人員，并且傳統(tǒng)的網絡問題越來越不可預測，網絡質量難以保障。通過SD-WAN集中管理平臺南北向接口對業(yè)務、設備和鏈路進行統(tǒng)一管理、網絡編排、策略下發(fā)和預警監(jiān)控，能夠有效減少運維人員，提高運維效率，保障全網運行質量。