鄭堅(jiān)

摘要：隨著互聯(lián)網(wǎng)DDOS安全問題的日益突出，運(yùn)營商以城域網(wǎng)為載體的安全清洗服務(wù)受到歡迎。由于傳統(tǒng)串接模式存在較多弊端，運(yùn)營商希望構(gòu)架集中部署的旁路安全平臺，但旁路對引回流技術(shù)要求很高實(shí)現(xiàn)困難。本文詳細(xì)介紹了一種特定策略組合的引回流方案，綜合BGP、路由表多實(shí)例、PBR等技術(shù)，具備實(shí)施成本低、自動化程度高且易于實(shí)現(xiàn)的特點(diǎn)，為運(yùn)營商構(gòu)建安全平臺提供了很好的技術(shù)思路。

關(guān)鍵詞：DDOS；引回流；PBR；多實(shí)例化

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）24-0251-03

分布式拒絕服務(wù)型攻擊（Distributed Denial of Services，簡稱DDoS攻擊）、應(yīng)用層攻擊、滲透和入侵、病毒等是目前互聯(lián)網(wǎng)中存在的最常見、危害性最大的攻擊形式。網(wǎng)絡(luò)攻擊不但會給各類互聯(lián)網(wǎng)用戶和服務(wù)提供商帶來業(yè)務(wù)中斷、系統(tǒng)癱瘓、企業(yè)機(jī)密外泄等嚴(yán)重后果，攻擊也嚴(yán)重威脅到電信運(yùn)營商基礎(chǔ)設(shè)施的安全，造成網(wǎng)絡(luò)擁塞，使客戶服務(wù)質(zhì)量下降。

近年來，隨著互聯(lián)網(wǎng)應(yīng)用的不斷增加，各類網(wǎng)絡(luò)攻擊事件的頻發(fā)，用戶對互聯(lián)網(wǎng)安全開始逐漸重視，面向互聯(lián)網(wǎng)產(chǎn)品提供安全防護(hù)業(yè)務(wù)的需求與日俱增。據(jù)市場研究公司Gartner最新發(fā)表的研究報(bào)告稱，2013年全球基于云的安全服務(wù)市場規(guī)模已達(dá)到21億美元，預(yù)計(jì)到2016年將增長到42億美元。

主流DDOS攻擊特征為大流量的帶寬沖擊，黑客調(diào)用的攻擊流量甚至高達(dá)幾百Gbps/s，對此企業(yè)網(wǎng)自身防護(hù)能力有限，需要依托于電信運(yùn)營商骨干網(wǎng)、城域網(wǎng)的超大網(wǎng)絡(luò)吞吐能力，給政企用戶提供DDOS流量的封堵、清洗服務(wù)。

本文以上海電信旁路安全平臺為例，剖析城域網(wǎng)安全平臺集中部署中最關(guān)鍵引回流技術(shù)的實(shí)現(xiàn)。

1 安全平臺部署模式分析

1.1 傳統(tǒng)串接模式的弊端

傳統(tǒng)部署模式在政企專線中串接專用的DDOS清洗設(shè)備或者防火墻等設(shè)備，對于企業(yè)網(wǎng)的內(nèi)外部流量進(jìn)行流特征分析、速率限制、端口限制、異常報(bào)文控制等管控策略，以實(shí)現(xiàn)內(nèi)部安全防護(hù)功能。由于串接設(shè)備無法清洗上層攻擊流量，接入帶寬仍會產(chǎn)生擁塞并影響使用，因此該類模式較適用于安全邊界的內(nèi)容風(fēng)險(xiǎn)管控，但不適用于DDOS大流量攻擊防護(hù)。

對運(yùn)營商構(gòu)建安全產(chǎn)品而言，串接模式同樣弊端較多：

1） 單點(diǎn)故障 由于防護(hù)設(shè)備串接在電信設(shè)備和客戶設(shè)備之間的鏈路上，增加了故障點(diǎn)，如果防護(hù)設(shè)備出現(xiàn)故障，則會影響客戶業(yè)務(wù)

2） 成本高昂 由于防護(hù)設(shè)備串接在客戶鏈路中，因此只能為單個(gè)客戶使用，不具備擴(kuò)展性，造成部署成本高昂

3） 升級平滑性差 一旦安全設(shè)備無法滿足用戶新需求，需要新增、替換設(shè)備或者版本變更，則需要大量用戶端設(shè)備割接，對用戶影響大。

1.2 上海電信旁路安全平臺介紹

業(yè)界主流思路是運(yùn)營商以城域網(wǎng)或者骨干網(wǎng)為單位部署統(tǒng)一的旁路安全平臺，覆蓋本地網(wǎng)所有Internet用戶，集中提供流量分析、安全預(yù)警、黑洞路由封堵、DDOS流量清洗等安全服務(wù)，用戶共享安全池能力。

旁路模式基于城域網(wǎng)核心層提供大帶寬流量清洗能力，建設(shè)成本低，管理維護(hù)方便，易于后期能力擴(kuò)充和功能延伸。平時(shí)客戶流量并不經(jīng)過該平臺，待有攻擊時(shí)再通過引流的方式將客戶流量引入防護(hù)平臺，清洗完成后再通過回流方式將客戶流量導(dǎo)回至客戶網(wǎng)絡(luò)，完成整個(gè)清洗過程。

上海電信旁路安全平臺利用BGP引流、PBR回流模式搭建的DDOS防護(hù)平臺。在管理維護(hù)上實(shí)現(xiàn)了網(wǎng)管統(tǒng)一開通、統(tǒng)一配置、統(tǒng)一維護(hù)的界面管理，并針對客戶需求開發(fā)了客戶自服務(wù)、黑洞路由API接口等創(chuàng)新功能。

如圖1所示，目前上海電信DDOS防護(hù)平臺共部署三臺Cisco 7609設(shè)備，定義為引流路由器角色。下掛C公司Guard和A公司 TMS防護(hù)設(shè)備。每臺7609分別通過4條10GE鏈路與4臺上海電信城域網(wǎng)核心出口路由器相連。

清洗系統(tǒng)總能力達(dá)到96G，后續(xù)基于該平臺可以持續(xù)擴(kuò)容。

2 引回流技術(shù)介紹

旁路模式關(guān)鍵就是用戶入流量的引回流技術(shù)，作用為將攻擊用戶的異常流量引導(dǎo)到旁路平臺，完成安全清洗后重新送回到用戶側(cè)。

2.1 基于BGP的引流技術(shù)

引流一般是采用BGP路由的方式，由防護(hù)平臺廣播/32的引流路由給核心路由器，將流量引導(dǎo)至防護(hù)平臺。

如圖2所示，安全平臺中CISCO 7609路由器作為引流路由器，與城域網(wǎng)核心路由器之間建立EBGP鄰居關(guān)系，一旦被防護(hù)用戶被DDOS流量攻擊需要開啟防護(hù)功能，首先通過netflow流分析系統(tǒng)定位用戶被攻擊IP地址，由引流路由器向核心路由器發(fā)布一條/32的被攻擊地址路由信息，核心路由器會同時(shí)學(xué)習(xí)到用戶正常的專線路由和該/32引導(dǎo)路由，基于明細(xì)路由原則將攻擊流量從核心路由器側(cè)引導(dǎo)到安全平臺。

由于DDOS攻擊流量大部分來自于城域網(wǎng)外部，因此核心路由器為引回流的主要實(shí)施點(diǎn)，為避免下聯(lián)匯聚層、業(yè)務(wù)層設(shè)備受/32路由影響引起路由環(huán)路，該/32 BGP路由需要疊加No_Advertise屬性及一個(gè)專用的community（比如設(shè)定為A），確保只在核心路由器生效，不下發(fā)給匯聚層、業(yè)務(wù)層等設(shè)備。

2.2 回流技術(shù)的選擇與創(chuàng)新

回流技術(shù)主要就是解決核心路由器的環(huán)路問題：引流需要DDOS防護(hù)平臺產(chǎn)生/32引流路由，清洗后的流量由防護(hù)平臺導(dǎo)回核心路由器后，如果不做任何處理，則會被/32引流路由再吸回防護(hù)平臺，形成路由環(huán)路。

傳統(tǒng)模式為了避免路由環(huán)路，就需要采用GRE Tunnel、PBR策略路由等方式，將流量引導(dǎo)回用戶網(wǎng)絡(luò)。但這些方式往往配置過于復(fù)雜，維護(hù)不便，擴(kuò)展性也不佳，弊端較多：

1） 物理線路的回流方式：被保護(hù)的用戶網(wǎng)絡(luò)和清洗平臺之間用物理線路（如光纖）進(jìn)行連接，發(fā)生攻擊時(shí)，將攻擊流量引到防火墻系統(tǒng)內(nèi)進(jìn)行清洗，清洗后的干凈流量再通過互連線路回注到用戶網(wǎng)絡(luò)。該方式的主要弊端是需要大量物理光纖資源，資源消耗較大、成本高昂。

2）GRE Tunnel回流方式：被保護(hù)的用戶網(wǎng)絡(luò)和清洗平臺之間建立GRE Tunnel，清洗后的干凈流量通過隧道回注到用戶網(wǎng)絡(luò)。該方式的主要弊端是配置復(fù)雜，每個(gè)客戶都需要開通一條隧道，對設(shè)備的性能影響也較大。

3） 傳統(tǒng)PBR策略路由回流方式：該方式是將清洗后的干凈流量再回到核心路由器，然后在核心路由器上通過PBR策略路由的方式，將流量引導(dǎo)回被保護(hù)的用戶網(wǎng)絡(luò)。該方式的主要弊端也是配置復(fù)雜，每個(gè)客戶都需要配置相應(yīng)的策略路由，后期的維護(hù)極為不易。

上海電信為了解決路由環(huán)路的問題，經(jīng)過對城域網(wǎng)結(jié)構(gòu)的廣泛研究和設(shè)備特性的深入了解，基于Juniper路由器平臺創(chuàng)新使用了一套特殊策略，該方案投入成本低，自動化程度高，解決了傳統(tǒng)模式存在的缺點(diǎn)，基本原理如下：

1） 引流路由器VRF化：

引流路由器不僅承擔(dān)核心路由器流量的引導(dǎo)作用，同時(shí)負(fù)責(zé)將異常流量推送給DDOS清洗設(shè)備，引流路由器和DDOS清洗設(shè)備之間建立IBGP關(guān)系，同樣通過BGP路由將流量送至清洗設(shè)備予以處理，因此清洗設(shè)備是實(shí)際/32 BGP路由的發(fā)起者，流量清洗完成將清潔流量再次回送給引流路由器。

引流路由器為此需要建立兩張local VRF轉(zhuǎn)發(fā)表，分別對應(yīng)引流和回流實(shí)現(xiàn)轉(zhuǎn)發(fā)隔離，確保回流流量不再受引流路由影響。

2） 核心路由器的路由表多實(shí)例化

Juniper路由器采用JUNOS軟件系統(tǒng)，該平臺非常優(yōu)秀的一個(gè)特性就是支持routing instance多實(shí)例化。每個(gè)routing instance代表一套獨(dú)立的路由表集、接口和路由協(xié)議參數(shù)。缺省情況下JUNOS具有默認(rèn)路由instance，按照協(xié)議棧屬性分別inet.0（ipv4）、inet.6（ipv6）等路由表。用戶可以自行定義新instance實(shí)例用于路由轉(zhuǎn)發(fā)、VRF、L2vpn、VPLS等各類應(yīng)用。

首先在Juniper核心路由器上新建clean-instance為回流路由實(shí)例，該實(shí)例會自動生成clean-instance.inet.0（ipv4路由表）。

然后利用rib-group功能實(shí)現(xiàn)各類路由協(xié)議到默認(rèn)路由實(shí)例inet.0路由表和回流實(shí)例clean-instance.inet.0路由表的的輸入功能。JunOS的Rib-group功能可以定義一個(gè)路由表組，該路由組可以包含多個(gè)不同實(shí)例的路由表，凡是關(guān)聯(lián)在該路由組的路由協(xié)議可以與該組中的路由表相互進(jìn)行輸入輸出操作，可以配置police策略控制輸入輸出實(shí)現(xiàn)用戶自定義路由選路的目的（路由協(xié)議關(guān)聯(lián)中ISIS＼OSPF等IGP協(xié)議為整體關(guān)聯(lián)，BGP協(xié)議支持鄰居adj下關(guān)聯(lián)學(xué)習(xí)）。

默認(rèn)實(shí)例inet.0由于是基礎(chǔ)轉(zhuǎn)發(fā)表，作為核心路由器主要的轉(zhuǎn)發(fā)尋址表，無需控制采用全路由協(xié)議輸入。而clean-instance.inet.0路由表最為關(guān)鍵，需配置police策略匹配BGP路由，拒絕輸入帶有專用community A的路由，從而生成無/32引流路由的clean-instance.inet.0路由表，提供回流接口的PBR策略使用。

最后在回流接口上應(yīng)用input-list的重定向策略，將該端口收到的用戶流量全部定向到clean-instance.inet.0路由表，由于該路由表沒有/32引流路由，因此會按照正常用戶路由轉(zhuǎn)發(fā)到用戶側(cè)，從而解決核心路由器的路由環(huán)路問題。

3） 引流路由器自動化回流

以上技術(shù)可以實(shí)現(xiàn)安全平臺對用戶DDOS流量的引導(dǎo)和回送，在多核心路由器環(huán)境下，引流路由器中回流VRF中缺乏用戶路由信息以實(shí)現(xiàn)就近的核心回送，采用靜態(tài)路由的方式又增加人工配置量，且無法與用戶路由變動進(jìn)行關(guān)聯(lián)。

為解決這個(gè)問題，在引流路由器回流VRF中建立與核心路由器的EBGP關(guān)系，核心路由器發(fā)送clean-instance.inet.0路由信息從而讓回流VRF中生成用戶路由信息，為確保最近回流，核心路由器需在BGP路由中疊加IGP cost路徑權(quán)重，引流路由器通過多核心發(fā)送的用戶路由擇優(yōu)出用戶回程路由。

以上引回流技術(shù)為上海電信依托于現(xiàn)網(wǎng)架構(gòu)和核心路由器設(shè)備能力所設(shè)計(jì)出一套自動化方案，應(yīng)該說對于旁路平臺建設(shè)和DDOS業(yè)務(wù)全網(wǎng)實(shí)現(xiàn)提供了網(wǎng)絡(luò)基礎(chǔ)。該技術(shù)應(yīng)用已經(jīng)非常成熟，對于城域網(wǎng)防御DDOS類攻擊，滿足用戶安全接入要求發(fā)揮了重要作用。

2.3 引回流技術(shù)的多廠商實(shí)現(xiàn)

多實(shí)例路由表方式與設(shè)備廠商密切相關(guān)，對于非Juniper品牌的核心路由器則無法使用，而主流廠商也逐漸在自身路由系統(tǒng)上開發(fā)了”BGPDynamicVRFRouteLeaking”增強(qiáng)技術(shù)，通過業(yè)務(wù)改造也可以提供引回流能力。

BGP VRF leaking基于local-VRF技術(shù)，構(gòu)建類似于多實(shí)例路由表的專用回程VRF，leaking技術(shù)則可以將默認(rèn)路由表中的BGP路由泄露到該VRF中，泄露中通過控制策略將專用community的/32引流路由拒絕輸入VRF，最后將回流端口綁定到該VRF中替代JunOS的PBR重定向方式。

該技術(shù)在上海電信城域網(wǎng)也已經(jīng)完整應(yīng)用，實(shí)現(xiàn)了與Juniper設(shè)備一致的回流能力，主流廠商如思科、華為公司的核心路由器都已經(jīng)支持該技術(shù)。

3 結(jié)束語

隨著互聯(lián)網(wǎng)安全服務(wù)型產(chǎn)品的發(fā)展，運(yùn)營商希望能夠在DDOS清洗產(chǎn)品基礎(chǔ)上，在旁路安全平臺上疊加更豐富的服務(wù)類型，尤其是防火墻內(nèi)容檢測、應(yīng)用防護(hù)等功能，而這些服務(wù)能力需要用戶出入流量的雙向引導(dǎo)才能實(shí)現(xiàn)?，F(xiàn)有引回流技術(shù)只能實(shí)現(xiàn)用戶入流量的單向引導(dǎo)，不能提供用戶出流量的引導(dǎo)能力，安全服務(wù)產(chǎn)品的發(fā)展受到制約。

這方面業(yè)界也在研究基于用戶源地址的引流方案，尤其是QPPB技術(shù)和flowspec技術(shù)，這兩類技術(shù)都可以通過BGP路由識別用戶源地址并實(shí)施重定向等操作，flowspec更具備類SDN理念能提供板卡級別的flow流操作能力，亦是今后的引回流技術(shù)的發(fā)展方向，當(dāng)前受制于技術(shù)成熟度和廠商兼容性，應(yīng)考慮實(shí)驗(yàn)室測試和局部試點(diǎn)來摸索應(yīng)用模式。

參考文獻(xiàn)：

[1] Zhang R，Bartell M.BGP設(shè)計(jì)與實(shí)現(xiàn)[M].黃博，葛建立，譯.北京：人民郵電出版社，2008

[2] DDoS分散式阻斷服務(wù)攻擊深度解析[M].碁峰資訊股份有限公司

[3] RIB Group White Paper[M].Juniper公司