牛佳，顏永明，林志華

（中國(guó)電信股份有限公司上海分公司，上海 200085）

1 引言

隨著互聯(lián)網(wǎng)數(shù)據(jù)中心業(yè)務(wù)和云業(yè)務(wù)的高速發(fā)展，越來(lái)越多的企業(yè)開始不滿足于基本的網(wǎng)絡(luò)解決方案，SD-WAN（software-defined wide area network，軟件定義廣域網(wǎng)）是軟件定義網(wǎng)絡(luò)（SDN）技術(shù)進(jìn)一步在廣域網(wǎng)中的應(yīng)用，近年逐漸進(jìn)入人們的視線。在其出現(xiàn)之前，傳統(tǒng)企業(yè)多使用Internet 加密或者專線，搭建總部與分支機(jī)構(gòu)的互聯(lián)互通網(wǎng)絡(luò)實(shí)現(xiàn)內(nèi)部數(shù)據(jù)的同步與共享，對(duì)網(wǎng)絡(luò)層與應(yīng)用層的交互聯(lián)系沒有那么密切的高要求。

2 SD-WAN 現(xiàn)狀

2.1 SD-WAN 與傳統(tǒng)專線的比較

2.1.1 傳統(tǒng)專線特點(diǎn)

如今，越來(lái)越多的用戶選擇最新的SD-WAN作為網(wǎng)絡(luò)組網(wǎng)方案首選。因?yàn)榕c傳統(tǒng)MPLS-VPN專線相比，SD-WAN 兼顧了企業(yè)用戶對(duì)于成本低廉、組網(wǎng)靈活、質(zhì)量?jī)?yōu)質(zhì)的訴求。

傳統(tǒng)的MPLS-VPN 專線難以在網(wǎng)管系統(tǒng)/平臺(tái)上實(shí)現(xiàn)集中配置下發(fā)，缺乏對(duì)大規(guī)模設(shè)備進(jìn)行遠(yuǎn)程管理的手段。其中，MPLS-VPN 專線必須在局端開通配置，必須由運(yùn)營(yíng)商分配RT（route target，路由目標(biāo)）、RD（route distinguisher，路由區(qū)分符）的值，用戶的配置必須和運(yùn)營(yíng)商PE（provider edge，邊緣路由器）的參數(shù)匹配，運(yùn)營(yíng)商轉(zhuǎn)發(fā)設(shè)備需全程支持MPLS 標(biāo)簽化，業(yè)務(wù)實(shí)現(xiàn)必須完全依賴運(yùn)營(yíng)商資源。

2.1.2 SD-WAN 與傳統(tǒng)專線相比的優(yōu)勢(shì)

諸多限制因素，導(dǎo)致MPLS-VPN 沒有辦法滿足配置簡(jiǎn)化、靈活性的需求。而SD-WAN 能實(shí)現(xiàn)命令的集中下發(fā)，采用網(wǎng)管側(cè)預(yù)配置、終端側(cè)零接觸配置，可免去對(duì)各分部終端的煩瑣配置。在新增功能時(shí)，迭代開發(fā)簡(jiǎn)單，能在配置后臺(tái)管理界面中集中查看設(shè)備的告警信息以及各個(gè)鏈路的狀態(tài)。

同時(shí)，SD-WAN 可實(shí)現(xiàn)隨選路由加載選擇最優(yōu)的分發(fā)路徑。通過多網(wǎng)絡(luò)隨選和傳送質(zhì)量加強(qiáng)等功能，解決了傳統(tǒng)Internet 傳輸不穩(wěn)定，時(shí)常出現(xiàn)的時(shí)延丟包、質(zhì)量劣化等問題。另一方面，SD-WAN繼承了Internet 組網(wǎng)的優(yōu)勢(shì)，克服了專線租用獨(dú)用通道成本高昂、配置開通時(shí)間周期較長(zhǎng)等問題。

此外，SD-WAN 提供了對(duì)網(wǎng)絡(luò)進(jìn)行軟件編程，完整地實(shí)現(xiàn)了網(wǎng)絡(luò)端到端、CPE 到CPE 側(cè)的實(shí)時(shí)監(jiān)控、調(diào)整能力，可實(shí)現(xiàn)網(wǎng)絡(luò)和相關(guān)業(yè)務(wù)的快速部署和運(yùn)維，為用戶提供高效快速的業(yè)務(wù)配置開通和配置變更能力。

2.2 運(yùn)營(yíng)商SD-WAN 組網(wǎng)優(yōu)勢(shì)

2.2.1 運(yùn)營(yíng)商的運(yùn)維優(yōu)勢(shì)

理想化的SD-WAN 運(yùn)維方式是實(shí)現(xiàn)一體化開通，只需上門一次，就能同時(shí)完成Internet underlay網(wǎng)絡(luò)以及SD-WAN 設(shè)備和overlay 的線路開通。

在運(yùn)維方面，SD-WAN 運(yùn)維需要具有全局各層級(jí)的視角，能實(shí)現(xiàn)overlay 和underlay 網(wǎng)絡(luò)的一體化監(jiān)控維護(hù)，可以同步檢測(cè)underlay、overlay網(wǎng)絡(luò)，準(zhǔn)確判斷故障點(diǎn)及劣化點(diǎn)，縮短故障處理時(shí)間，確保用戶網(wǎng)絡(luò)始終處于高可用、高質(zhì)量的水平。

2.2.2 運(yùn)營(yíng)商的網(wǎng)絡(luò)覆蓋優(yōu)勢(shì)

在網(wǎng)絡(luò)覆蓋范圍方面，使用遍布全國(guó)的云計(jì)算服務(wù)，能快速實(shí)現(xiàn)全國(guó)幾十個(gè)SD-WAN POP 點(diǎn)的云化組網(wǎng)，充分利用SD-WAN 中的軟件定義的控制器（controller）實(shí)現(xiàn)對(duì)控制和管理平面的統(tǒng)一編排，并作為第一認(rèn)證和注冊(cè)點(diǎn)，對(duì)SD-WAN的配置進(jìn)行管理，集中管理配置策略模板。全國(guó)組網(wǎng)的POP 點(diǎn)能實(shí)現(xiàn)對(duì)各地的全覆蓋。部署上線順利運(yùn)行后，一支遍布全國(guó)的高水準(zhǔn)、規(guī)范化、高效率的7×24 h 數(shù)據(jù)網(wǎng)絡(luò)維護(hù)團(tuán)隊(duì)也是SD-WAN穩(wěn)定運(yùn)維的基礎(chǔ)。

在用戶越來(lái)越關(guān)注網(wǎng)絡(luò)組網(wǎng)高性價(jià)比的趨勢(shì)下，傳統(tǒng)的Internet 和網(wǎng)絡(luò)專線已無(wú)法滿足用戶專網(wǎng)組網(wǎng)的需求。隨著越來(lái)越多的用戶優(yōu)先選擇SD-WAN 組建專網(wǎng)，電信運(yùn)營(yíng)商的傳統(tǒng)專線業(yè)務(wù)也受到?jīng)_擊。在此背景下，各大電信運(yùn)營(yíng)商開始著手構(gòu)建自己的SD-WAN，通過對(duì)SD-WAN 技術(shù)深入研究，對(duì)相關(guān)廠商設(shè)備開展測(cè)試，形成自己的組網(wǎng)方案，搭建體現(xiàn)電信運(yùn)營(yíng)商優(yōu)勢(shì)的SD-WAN，實(shí)現(xiàn)規(guī)模商用運(yùn)營(yíng)，很好地滿足了不同層次的用戶需求。

2.3 SD-WAN 的技術(shù)特征

2.3.1 軟件定義網(wǎng)絡(luò)控制器

SD-WAN 最基本的技術(shù)特征在于軟件定義、軟件控制，可以通過可視化的Web 界面實(shí)現(xiàn)企業(yè)WAN 的網(wǎng)絡(luò)狀態(tài)可視化，提供頁(yè)面進(jìn)行智能自動(dòng)化的能力，對(duì)用戶端CPE 網(wǎng)絡(luò)設(shè)備的性能狀態(tài)做到實(shí)時(shí)性能監(jiān)控。過去，傳統(tǒng)的網(wǎng)絡(luò)部署架構(gòu)比較依賴網(wǎng)絡(luò)工程師對(duì)于網(wǎng)絡(luò)知識(shí)的深度理解和對(duì)整體網(wǎng)絡(luò)架構(gòu)的規(guī)劃，網(wǎng)絡(luò)配置也需要人工維護(hù)，后期運(yùn)維也需要人主動(dòng)去判別故障處理，對(duì)于每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)都需要逐條命令行去配置下發(fā)。然而，通過軟件定義下發(fā)完全可以取代煩瑣的預(yù)配置云維護(hù)，網(wǎng)絡(luò)控制器可實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)抽象化，網(wǎng)絡(luò)配置模板可實(shí)現(xiàn)配置下發(fā)自動(dòng)化，對(duì)復(fù)雜的命令行進(jìn)行封裝不對(duì)外開放，對(duì)外屏蔽了具體的網(wǎng)絡(luò)技術(shù)細(xì)節(jié)，僅提供RESTful API 和網(wǎng)絡(luò)參數(shù)，方便用戶根據(jù)實(shí)際網(wǎng)絡(luò)需求進(jìn)行具體的網(wǎng)絡(luò)業(yè)務(wù)編排、網(wǎng)絡(luò)控制二次化開發(fā)、自動(dòng)化智能化運(yùn)維以及集中網(wǎng)絡(luò)控制器配置下發(fā)。

2.3.2 安全加密與租戶隔離

為了確保用戶傳輸數(shù)據(jù)的可靠性和安全性，SD-WAN 的overlay 網(wǎng)絡(luò)需要對(duì)用戶的數(shù)據(jù)報(bào)文進(jìn)行加密，滿足了有安全性需求的企業(yè)用戶，同時(shí)保障了每個(gè)用戶的安全隱私以防止數(shù)據(jù)泄露。通過加VPN 租戶標(biāo)志的方式，也滿足了企業(yè)多租戶的需求，支持同一租戶下多個(gè)部門的邏輯隔離。由于CPE 是暴露在互聯(lián)網(wǎng)上的，SD-WAN 也需要提供基本的安全策略保證（如防攻擊、基本的防火墻訪問限制功能），在用戶內(nèi)網(wǎng)與公網(wǎng)之間也需要提供不同的訪問策略，通過ACL 保證訪問控制。

2.3.3 SD-WAN 標(biāo)準(zhǔn)

根據(jù)ONUG、Gartner、MEC 等組織定義的SD-WAN 基本特征，共性的看法有：SD-WAN 能實(shí)現(xiàn)用戶分支的快速部署、快速上線，部署效率大大提高；SD-WAN 能動(dòng)態(tài)調(diào)整用戶應(yīng)用的流量路徑，實(shí)現(xiàn)靈活智能化、便捷自動(dòng)化的流量調(diào)度；SD-WAN 能集中管控，通過可視化界面實(shí)現(xiàn)網(wǎng)絡(luò)的編排運(yùn)維功能；SD-WAN 提供網(wǎng)絡(luò)安全、網(wǎng)絡(luò)優(yōu)化、業(yè)務(wù)快速發(fā)放等增值業(yè)務(wù)。

3 主流隧道/加密技術(shù)

SD-WAN 轉(zhuǎn)發(fā)層面使用了隧道、加密技術(shù)。隧道技術(shù)是為了解決租戶隔離甚至每個(gè)租戶中各個(gè)部門的隔離問題，實(shí)現(xiàn)能在underlay 網(wǎng)絡(luò)上區(qū)分用戶。加密技術(shù)則是為了完成傳輸數(shù)據(jù)的加密，在開放的Internet 環(huán)境下保證用戶業(yè)務(wù)數(shù)據(jù)的傳輸安全性。SD-WAN 隧道技術(shù)不依賴具體的IP overlay 技術(shù)、運(yùn)營(yíng)商WAN 組網(wǎng)技術(shù)，可以通過現(xiàn)有的IPSec、VxLAN、NvGRE 隧道技術(shù)進(jìn)行組合搭建可用可擴(kuò)展的隧道技術(shù)。下面將對(duì)傳統(tǒng)隧道/加密技術(shù)進(jìn)行分析。

3.1 IPSec

IPSec 是一個(gè)公開的網(wǎng)絡(luò)層安全性框架協(xié)議。它不是一個(gè)簡(jiǎn)單孤立的協(xié)議，而是由多個(gè)IP 網(wǎng)絡(luò)協(xié)議和安全服務(wù)組成的集合。IPSec 主要包括安全協(xié)議驗(yàn)證頭部和封裝安全載荷、密鑰管理協(xié)議、Internet 密鑰交換協(xié)議以及其他用于網(wǎng)絡(luò)安全認(rèn)證及加密的算法等。傳統(tǒng)的IPSec 隧道技術(shù)分為隧道（tunnel）封裝模式和傳送（transport）封裝模式：tunnel 封裝模式在頭部封裝了一個(gè)外網(wǎng)的IP地址，實(shí)現(xiàn)對(duì)LAN 側(cè)的IP 地址封裝，transport封裝模式僅利用了AH 協(xié)議和ESP，實(shí)現(xiàn)認(rèn)證和加密。IPSec tunnel 模式可在overlay 網(wǎng)絡(luò)實(shí)現(xiàn)租戶隔離，并完成數(shù)據(jù)加密，但在單獨(dú)使用時(shí)需要建立較多tunnel 實(shí)現(xiàn)租戶級(jí)甚至部門級(jí)的隔離，每個(gè)租戶各使用一條隧道，每條隧道都需要分配密鑰、實(shí)現(xiàn)加密，傳統(tǒng)方式下，密鑰可以通過預(yù)分配或者電子證書的形式在每臺(tái)終端上配置，由于每個(gè)租戶的密鑰不同，在租戶較多的情況下，會(huì)導(dǎo)致加密/解密的資源大量消耗。IPSec 報(bào)文封裝如圖1 所示。

圖1 IPSec 報(bào)文封裝

3.2 VxLAN

國(guó)外專業(yè)機(jī)構(gòu)定義了 VLAN 擴(kuò)展方案——VxLAN（虛擬擴(kuò)展局域網(wǎng)）。VxLAN 使用設(shè)備物理地址封裝在用戶數(shù)據(jù)報(bào)協(xié)議中的封裝方式，是NVO3（在第三層網(wǎng)絡(luò)虛擬化）中的一種虛擬化網(wǎng)絡(luò)技術(shù)。VxLAN 特性在本質(zhì)上屬于一種VPN 技術(shù)，能在任意路由可達(dá)的網(wǎng)絡(luò)上疊加二層虛擬網(wǎng)絡(luò)，通過VxLAN 網(wǎng)關(guān)實(shí)現(xiàn)VxLAN 內(nèi)部的互通，同時(shí)，也可以實(shí)現(xiàn)與傳統(tǒng)的非VxLAN 網(wǎng)絡(luò)的互通。VxLAN 通過采用MAC 地址封裝在UDP 中的形式擴(kuò)展二層網(wǎng)絡(luò)，將Ethernet 報(bào)文封裝在IP 報(bào)文之上，通過路由協(xié)議在網(wǎng)絡(luò)中進(jìn)行傳輸，無(wú)須關(guān)注虛擬機(jī)的MAC 地址。由于對(duì)路由的網(wǎng)絡(luò)并無(wú)結(jié)構(gòu)限制，因此具備了大規(guī)模的延伸能力。通過路由網(wǎng)絡(luò)，虛擬機(jī)遷移不受原來(lái)運(yùn)營(yíng)商網(wǎng)絡(luò)架構(gòu)的制約。VxLAN 可以通過靜態(tài)和動(dòng)態(tài)的兩種方式建立隧道，動(dòng)態(tài)使用EVPN/BGP 建立鄰居關(guān)系。VxLAN 只具有隧道功能，不具備加密功能。VxLAN 報(bào)文封裝如圖2 所示。

3.3 GRE

GRE 隧道是一種邏輯接口，通過GRE 隧道可以將承載要發(fā)送的數(shù)據(jù)包整體封裝在協(xié)議中傳輸。為GRE 隧道設(shè)計(jì)的網(wǎng)絡(luò)體系結(jié)構(gòu)是為了構(gòu)成點(diǎn)對(duì)點(diǎn)的傳輸封裝服務(wù)。另外，GRE 隧道技術(shù)是一種完全無(wú)狀態(tài)記錄的設(shè)計(jì)，這表示每個(gè)GRE 隧道的傳輸結(jié)束點(diǎn)從不記錄關(guān)于其他GRE隧道結(jié)束點(diǎn)的信息狀態(tài)。如果GRE隧道的結(jié)束對(duì)端不可達(dá)，在這樣的設(shè)計(jì)之下，本地GRE 隧道數(shù)量不會(huì)因?yàn)閷?duì)端結(jié)束點(diǎn)狀態(tài)變化而減少。也就是說，GRE 不具備在鏈路對(duì)端不可達(dá)時(shí)將對(duì)端的接口記錄為down，進(jìn)而刪除在路由表記錄中所有使用這個(gè)接口節(jié)點(diǎn)作為對(duì)外轉(zhuǎn)發(fā)接口的靜態(tài)路由，為備選靜態(tài)路由的安裝或是為了基于策略的路由選擇一個(gè)備選下一跳或接口做準(zhǔn)備的功能。同時(shí)，GRE 不具備加密功能。

圖2 VxLAN 報(bào)文封裝

GRE 是一種VPN 的第三層隧道協(xié)議。GRE隧道是一種虛擬的點(diǎn)對(duì)點(diǎn)的連接，為需要在其他網(wǎng)絡(luò)層協(xié)議傳輸?shù)膮f(xié)議報(bào)文進(jìn)行封裝，被封裝的協(xié)議報(bào)文可以在其他網(wǎng)絡(luò)協(xié)議中傳輸。GRE 隧道接收?qǐng)?bào)文后，對(duì)報(bào)文進(jìn)行封裝，在報(bào)文之前加入GRE 頭部，再將封裝完成后的初始報(bào)文和GRE頭部根據(jù)初始報(bào)文的IP 報(bào)文通過傳輸協(xié)議進(jìn)行轉(zhuǎn)發(fā)。在解封裝時(shí)，網(wǎng)絡(luò)層發(fā)現(xiàn)外層頭部報(bào)文協(xié)議號(hào)為47，將GRE 外層頭部進(jìn)行剝離，將剩下的IP 報(bào)文和數(shù)據(jù)報(bào)文進(jìn)行處理傳輸。GRE 報(bào)文封裝如圖3 所示。

圖3 GRE 報(bào)文封裝

3.4 NvGRE

NvGRE 是由微軟公司提出，在GRE 的基礎(chǔ)上發(fā)展出來(lái)的。NvGRE 和GRE 的封裝包頭格式基本一致，區(qū)別是在NvGRE 的包頭的S 位和C 位置零，所以NvGRE 包頭不含檢驗(yàn)和與序列號(hào)。與VxLAN 比較而言，NvGRE 并沒有使用標(biāo)準(zhǔn)的傳輸協(xié)議，而是用通用的路由封裝協(xié)議。NvGRE 使用GRE 報(bào)文頭部的前24 bit 作為租戶隔離的網(wǎng)絡(luò)標(biāo)識(shí)位，可以總共支持224個(gè)VPN，這一點(diǎn)與VxLAN 相同。NvGRE 傳輸網(wǎng)絡(luò)使用了GRE 報(bào)文頭提供承載帶寬利用率顆粒度的數(shù)據(jù)流，但是這樣的設(shè)計(jì)使NvGRE 不能提供傳統(tǒng)的負(fù)載均衡，相對(duì)VxLAN 而言，這是NvGRE 的不足之處，也是和VxLAN 有所區(qū)別的地方。 NvGRE 報(bào)文封裝如圖4 所示。

圖4 NvGRE 報(bào)文封裝

3.5 SSL

SSL（安全套接層）隧道技術(shù)是一種網(wǎng)絡(luò)安全加密協(xié)議。它是一種通過TCP/IP 通信傳輸協(xié)議實(shí)現(xiàn)的安全加密協(xié)議，并且使用公開的密鑰技術(shù)。SSL 廣泛支持各種類型的網(wǎng)絡(luò)協(xié)議，同時(shí)提供3 種基本的網(wǎng)絡(luò)安全服務(wù)，這些服務(wù)都使用公開密鑰技術(shù)。SSL 支持的服務(wù)通過網(wǎng)絡(luò)進(jìn)行通信卻不損害安全性。它能在用戶分支結(jié)構(gòu)和總部之間創(chuàng)建一個(gè)安全連接，然后通過該SSL 連接安全地發(fā)送任意數(shù)據(jù)量。

SSL 的初始目標(biāo)是為兩個(gè)傳輸應(yīng)用之間提供私有的可靠連接。SSL 協(xié)議包括兩層，在某些可靠傳輸協(xié)議的頂層是SSL 記錄層，SSL 記錄層是用來(lái)封裝其他更高層的協(xié)議。SSL 握手協(xié)議也是一種封裝協(xié)議，允許服務(wù)器和客戶端互相認(rèn)證，在應(yīng)用協(xié)議發(fā)送接收第一個(gè)數(shù)據(jù)前協(xié)商加密算法和密碼。應(yīng)用協(xié)議的獨(dú)立性是SSL 的優(yōu)點(diǎn)之一，更高層次的協(xié)議顯然可以使用在SSL 協(xié)議之中。

4 隧道加密技術(shù)在SD-WAN 的應(yīng)用

對(duì)5 家主流廠商的隧道加密技術(shù)進(jìn)行了測(cè)試比較。SD-WAN 主流廠商中，C 廠商用了私有的IPSec 隧道技術(shù)，H 廠商用了NvGRE over IPSec隧道技術(shù)和VxLAN，V 廠商使用了VxLAN over IPSec，D 廠商用了SSL 技術(shù)，S 廠商用了IPSec隧道技術(shù)。

4.1 私有IPSec

標(biāo)準(zhǔn)的IPSec 隧道技術(shù)為了區(qū)分不同的租戶，每個(gè)租戶使用一個(gè)tunnel，每個(gè)tunnel 獨(dú)立實(shí)現(xiàn)數(shù)據(jù)流的加密，在加密/解密的過程中，加密/解密的進(jìn)程較多，將消耗大量計(jì)算資源。為解決這一問題，C 廠商在標(biāo)準(zhǔn)的IPSec 隧道技術(shù)中引入私有字段，通過對(duì)IPSec 報(bào)文中加一個(gè)LBL 字段記錄租戶信息減少tunnel 數(shù)量，以降低計(jì)算資源的消耗。私有IPSec 封裝格式如圖5 所示，格式中包含了源/目的IP 地址、用戶數(shù)據(jù)報(bào)協(xié)議、傳輸?shù)脑磾?shù)據(jù)包，在加密的數(shù)據(jù)包外部加入了新的IP 包頭，與傳統(tǒng)的公有IPSec 相比，通過加入新的字段滿足SD-WAN 對(duì)于多租戶下的隔離問題，LBL 多占用4 bit。

圖5 私有IPSec 封裝

4.2 VxLAN over IPSec

單獨(dú)的VxLAN 只能解決租戶隔離的問題，無(wú)法實(shí)現(xiàn)加密傳輸，為了解決單一隧道無(wú)法加密的問題，V 廠商使用了VxLAN over IPSec 技術(shù)，將VxLAN 的報(bào)文封裝在 IPSec 報(bào)文中。VxLAN是明文報(bào)文在網(wǎng)絡(luò)傳輸不安全，通過 IPSec transport 模式，可以實(shí)現(xiàn)安全傳輸。使用該技術(shù)，VxLAN 的外層IP 地址暴露在外，IPSec 只對(duì)VxLAN 數(shù)據(jù)包進(jìn)行加密。因而，無(wú)須使用多個(gè)IPSec tunnel，既減少了加密/解密資源開銷，同時(shí)也解決了租戶隔離，甚至租戶內(nèi)部跨部門隔離的問題。通過圖6 的抓包信息可以看到，VxLAN 協(xié)議中存在Flags、Reserved、VNI 等字段信息，VxLAN Network Identifier 信息是為了給不同租戶分配標(biāo)識(shí)做到租戶隔離，每個(gè)租戶的標(biāo)識(shí)都是唯一的，F(xiàn)lags 為VxLAN 的標(biāo)志位，第一個(gè)Reserved 為保留位，后一個(gè)Reserved 為保留字段。

圖6 V 廠商隧道技術(shù)抓包信息

4.3 NvGRE over IPSec

NvGRE 只實(shí)現(xiàn)了租戶隔離的隧道化功能，沒有解決加密問題。H 廠商主推NvGRE over IPSec方案，就是將NvGRE 的報(bào)文封裝在 IPSec 報(bào)文中。由于NvGRE 是明文報(bào)文，在網(wǎng)絡(luò)傳輸不安全，通過IPSec transport 模式，可以實(shí)現(xiàn)加密傳輸，保證私密性。使用NvGRE 的原因和VxLAN 大致相同，也是為了解決IPSec tunnel 模式下，實(shí)現(xiàn)租戶隔離需消耗大量計(jì)算資源的問題，同時(shí)，也解決了單NvGRE 隧道下無(wú)法做到安全加密的問題。但NvGRE 相與VxLAN 相比存在一點(diǎn)不足，NvGRE封裝包頭采用的是GRE 協(xié)議，許多網(wǎng)絡(luò)設(shè)備和防火墻無(wú)法對(duì)GRE 頭部進(jìn)行處理，所以NvGRE 協(xié)議不支持負(fù)載均衡功能，而VxLAN 使用的協(xié)議是UDP，天然地支持網(wǎng)絡(luò)負(fù)載均衡。H 廠商隧道技術(shù)抓包信息如圖7 所示，在NvGRE over IPSec協(xié)議中，IPSec 隧道使用了協(xié)議ESP，包含ESP SPI、ESP Sequence（ESP 序列），SPI 是用來(lái)確定唯一的安全聯(lián)盟、Sequence 是為了保護(hù)接收側(cè)防止受到攻擊。ESP 的尾部字段padding 用來(lái)隱藏加密數(shù)據(jù)的真實(shí)長(zhǎng)度，padlength 代表需要填充的字節(jié)數(shù)，Next Header 表示下一個(gè)被加密的頭部數(shù)據(jù)類型。NvGRE 中的Checksum 表示GRE 報(bào)文中所有數(shù)據(jù)的校驗(yàn)和通常置零不用，Sequence Number表示數(shù)據(jù)包的序號(hào)也在NvGRE 報(bào)文中置零不用，Key 表示密鑰信息，一般置1 表示包含VSID，另外還包括版本號(hào)、數(shù)據(jù)協(xié)議類型，再使用24 bit的虛擬子網(wǎng)標(biāo)識(shí)符來(lái)標(biāo)記NvGRE 網(wǎng)絡(luò)。

圖7 H 廠商隧道技術(shù)抓包信息

4.4 SSL

D 廠商采用SSL 技術(shù)實(shí)現(xiàn)SD-WAN。但是SSL主要在網(wǎng)頁(yè)的應(yīng)用上使用得較多，功能和多租戶隔離方面的能力較弱，能否完美支持未來(lái)SD-WAN的POP 點(diǎn)組網(wǎng)模式，值得商榷。SSL 不支持多VPN業(yè)務(wù)隔離，只具備加密功能，如果需要多租戶，必須使用SSL 多進(jìn)程，對(duì)租戶隔離的支持能力較弱。D 廠商隧道技術(shù)抓包信息如圖8 所示，從圖8 的抓包信息可以看到，SSL 協(xié)議內(nèi)部使用了TLS 協(xié)議，消息兩端的加密通過非對(duì)稱或公鑰加密算法，協(xié)商過程非常安全，無(wú)法被監(jiān)聽者觀察。

圖8 D 廠商隧道技術(shù)抓包信息

4.5 方案比較

SD-WAN 各廠商使用的隧道及加密技術(shù)比較見表1。

對(duì)于SD-WAN 場(chǎng)景下的隧道/加密技術(shù)，目前主流廠商采用的技術(shù)中最優(yōu)的方案是C 廠商的私有化IPSec 技術(shù)，私有的IPSec 技術(shù)滿足隧道、加密支持業(yè)務(wù)隔離，配置復(fù)雜性低、報(bào)文開銷小，支持負(fù)載均衡，但是由于C 廠商為私有協(xié)議，無(wú)法全面地在其他廠商中全面兼容使用，希望C 廠商私有IPSec 技術(shù)能成為國(guó)際標(biāo)準(zhǔn)組織的標(biāo)準(zhǔn)，實(shí)現(xiàn)大規(guī)模推廣。退而求其次，V 廠商的VxLAN over IPSec 技術(shù)是隧道技術(shù)的次優(yōu)方案，由于采用了標(biāo)準(zhǔn)技術(shù)，它能在所有的廠商中進(jìn)行推廣，既滿足了數(shù)據(jù)加密和租戶隔離的功能，也能解決NvGRE 隧道存在的負(fù)載均衡問題，但封裝機(jī)制較為復(fù)雜，相較于C 廠商的私有IPSec 技術(shù)，VxLAN over IPSec 技術(shù)配置復(fù)雜性較高，報(bào)文開銷一般但比私有IPSec 技術(shù)開銷要大，多出20 bit 的開銷。與VxLAN over IPSec 技術(shù)相比，由于NvGRE over IPSec 技術(shù)的NvGRE 特性不支持負(fù)載均衡，為了實(shí)現(xiàn)負(fù)載均衡需要使用多個(gè)IP 地址，增加了網(wǎng)絡(luò)地址的額外開銷。SSL 隧道技術(shù)不支持業(yè)務(wù)隔離，需要通過開啟多進(jìn)程手段實(shí)現(xiàn)業(yè)務(wù)隔離，并且SSL 隧道技術(shù)更適用于Web 應(yīng)用，所以也不建議推廣適用。

表1 SD-WAN 各廠商使用的隧道及加密技術(shù)比較

5 SD-WAN 組網(wǎng)模式

目前，上海電信SD-WAN 組網(wǎng)包括POP 點(diǎn)組網(wǎng)和點(diǎn)對(duì)點(diǎn)直接組網(wǎng)兩種方式。主流廠商中的H廠商、V 廠商、C 廠商是主推互聯(lián)網(wǎng)點(diǎn)對(duì)點(diǎn)組網(wǎng)，由于市場(chǎng)選擇改進(jìn)使用POP 點(diǎn)的組網(wǎng)方式，而D廠商和S 廠商主要使用POP 點(diǎn)的組網(wǎng)。

5.1 SD-WAN POP 點(diǎn)組網(wǎng)方式

POP 點(diǎn)組網(wǎng)示意圖如圖9 所示。POP 點(diǎn)組網(wǎng)方式采用分段隧道化，POP 點(diǎn)與POP 點(diǎn)之間由MPLS-VPN 建立專用通道，底層使用的是覆蓋范圍、網(wǎng)絡(luò)容量、業(yè)務(wù)能力各項(xiàng)指標(biāo)最強(qiáng)的網(wǎng)絡(luò)——中國(guó)電信CN2 骨干網(wǎng)。

POP 點(diǎn)的組網(wǎng)過程中，在POP 點(diǎn)與POP 點(diǎn)之間使用MPLS 進(jìn)行傳送，由于MPLS-VPN 通道的封閉性，使傳輸過程中不需要使用額外的加密技術(shù)。此外，POP 點(diǎn)之間的MPLS 使用Full-Mesh 的結(jié)構(gòu)，資源消耗較少，F(xiàn)ull-Mesh結(jié)構(gòu)只需要配置一次RT 值就可以實(shí)現(xiàn)導(dǎo)入導(dǎo)出、配置簡(jiǎn)化，每增加/減少一個(gè)用戶不需改變underlay 網(wǎng)絡(luò)的配置，underlay 網(wǎng)絡(luò)只需初始配置，能減少配置量。

DCI 網(wǎng)絡(luò)中采用MPLS-VPN 建立的專用封閉大通道，沒有必要做加密處理，可以去掉IPSec封裝，使用的MPLS 標(biāo)簽，網(wǎng)絡(luò)資源開銷較小，無(wú)須額外的資源來(lái)對(duì)tunnel 進(jìn)行加密/解密，計(jì)算量大幅減少。

與SD-WAN 互聯(lián)網(wǎng)廠商的DCI 網(wǎng)絡(luò)相比，跨地域SD-WAN 線路的質(zhì)量?jī)?yōu)勢(shì)明顯。POP 點(diǎn)的組網(wǎng)可以使用POP 點(diǎn)雙掛方案，通過雙上聯(lián)解決設(shè)備冗余性問題。

圖9 POP 點(diǎn)組網(wǎng)示意圖

5.2 SD-WAN Internet 點(diǎn)對(duì)點(diǎn)方式

點(diǎn)對(duì)點(diǎn)技術(shù)直接在兩個(gè)終端之間進(jìn)行加密實(shí)現(xiàn)內(nèi)部傳輸，缺點(diǎn)是在underlay 網(wǎng)絡(luò)上，基于Internet 跨地址的傳輸質(zhì)量無(wú)法保證，點(diǎn)對(duì)點(diǎn)技術(shù)適合用戶節(jié)點(diǎn)較少、網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的場(chǎng)景，在多終端場(chǎng)景下配置較復(fù)雜。點(diǎn)對(duì)點(diǎn)組網(wǎng)方式示意圖如圖10 所示。

圖10 點(diǎn)對(duì)點(diǎn)組網(wǎng)方式示意圖

5.3 SD-WAN 引流技術(shù)

目前可實(shí)現(xiàn)的POP 點(diǎn)方案解決了點(diǎn)對(duì)點(diǎn)方案中Internet 跨地域網(wǎng)絡(luò)質(zhì)量無(wú)法保證的問題，缺點(diǎn)在于需分段配置，用戶側(cè)和POP 點(diǎn)之間、POP 點(diǎn)與POP 點(diǎn)之間需要兩次3 段配置，單獨(dú)配3 段overlay 工作量較大。為了將這3 段配置簡(jiǎn)化為1 次配置，建議進(jìn)一步開發(fā)引入定向引流技術(shù)，實(shí)現(xiàn)一次性配置能跨越POP 點(diǎn)全程開通的功能，保留POP 點(diǎn)DCI MPLS VPN 通道的同時(shí)，使用IPSec或者NvGRE 隧道完成端到端配置的下發(fā)。引流技術(shù)可以使用多層頭部，即多層隧道、多次封裝實(shí)現(xiàn)。

首先，在隧道外層封裝到POP 點(diǎn)的IP 地址，在第二層內(nèi)部封裝租戶的信息，實(shí)現(xiàn)租戶隔離。通過識(shí)別外層的頭部IP 信息從用戶側(cè)到達(dá)第一個(gè)POP 點(diǎn)之后，替換外部隧道頭部IP 地址內(nèi)容，內(nèi)層內(nèi)容保持不變，仍舊能實(shí)現(xiàn)租戶隔離，將外層頭部IP 地址替換為下一個(gè)POP 點(diǎn)的地址，用來(lái)實(shí)現(xiàn)到下一個(gè)POP 點(diǎn)的尋址轉(zhuǎn)發(fā)，到達(dá)最后一個(gè)與用戶目的地址直連的POP 點(diǎn)后，通過內(nèi)層的IP地址，找到用戶目的設(shè)備。通過引流技術(shù)可以簡(jiǎn)化多個(gè)POP 點(diǎn)之間的配置，大大減少了配置的工作量。也可以使用segment routing（分段路由）、flowspec 等技術(shù)解決接入側(cè)的引流問題。

6 結(jié)束語(yǔ)

就目前網(wǎng)絡(luò)組網(wǎng)方案的發(fā)展現(xiàn)狀來(lái)說，SD-WAN 已形成了替代中低端專線業(yè)務(wù)的趨勢(shì)。從2019 年起，上海電信在SD-WAN 相關(guān)領(lǐng)域技術(shù)進(jìn)行了研究和探索，并實(shí)現(xiàn)了規(guī)?；逃媒M網(wǎng)。通過比較發(fā)現(xiàn)，在SD-WAN 隧道技術(shù)方面C 廠商的私有化IPSec 技術(shù)具有優(yōu)勢(shì)，但在還未實(shí)現(xiàn)標(biāo)準(zhǔn)化的前提下，現(xiàn)階段無(wú)法跨廠商推廣，其他廠商可優(yōu)先選擇VxLAN over IPSec 技術(shù)。SD-WAN POP 點(diǎn)組網(wǎng)方式中，現(xiàn)有的解決方案中配置量和工作量較大，可以結(jié)合引流方案通過多層頭部、多次封裝來(lái)進(jìn)行優(yōu)化，端到端的一次配置經(jīng)由POP 點(diǎn)轉(zhuǎn)發(fā)。與互聯(lián)網(wǎng)廠商相比，電信運(yùn)營(yíng)商具有overlay 和underlay 兼顧的監(jiān)控維護(hù)優(yōu)勢(shì)。相信在不久的將來(lái)，在運(yùn)營(yíng)商和廠商的實(shí)踐努力下，SD-WAN 的相關(guān)標(biāo)準(zhǔn)會(huì)更加完善，為用戶打造更好的服務(wù)。由于多云融合的推進(jìn)，公有云、私有云、混合云的開放接入，SD-WAN 可以有更多與云服務(wù)對(duì)接的機(jī)會(huì)，相信云計(jì)算和IDC 網(wǎng)絡(luò)之間會(huì)有更深入的融合。在面對(duì)企業(yè)用戶日益增長(zhǎng)的新需求（如視頻會(huì)議優(yōu)化、國(guó)際加速業(yè)務(wù)、網(wǎng)絡(luò)直播視頻等），SD-WAN 會(huì)有更加精準(zhǔn)的網(wǎng)絡(luò)服務(wù)解決方案。