宗序梅 劉懷彥 巫俊峰 黃鐘 王濟晟 施益峰 唐凱

中國移動通信集團江蘇分公司

0 引言

DNS是互聯(lián)網(wǎng)世界的資源導航系統(tǒng)，ICP（Internet Content Provider、內(nèi)容提供商）內(nèi)容資源、CDN（Content Delivery Network，內(nèi)容分發(fā)網(wǎng)絡）網(wǎng)絡加速都依賴于DNS的正確調(diào)度才能將用戶流量引導到最合適的資源節(jié)點。運營商通常以省為單位部署DNS，代理用戶請求向權(quán)威DNS發(fā)起查詢并獲取結(jié)果，這個原因?qū)е铝爽F(xiàn)網(wǎng)DNS的調(diào)度精度只能局限到省。隨著CDN網(wǎng)絡加速市場的激烈競爭和高密度視頻業(yè)務的蓬勃發(fā)展，以省為單位的DNS調(diào)度顆粒度已難以適應互聯(lián)網(wǎng)業(yè)務精細化運營管理要求。如何能讓DNS具有一次性調(diào)度到地市精度的能力，讓互聯(lián)網(wǎng)內(nèi)容更加貼近用戶，是對運營商內(nèi)容資源調(diào)度能力的巨大挑戰(zhàn)。

1 DNS先天不足難于精細調(diào)度

域名解析系統(tǒng)從職能上看，可分為權(quán)威服務節(jié)點和遞歸服務節(jié)點。

權(quán)威服務節(jié)點一般由ICP或CDN服務提供商負責維護，權(quán)威服務器擁有某個區(qū)的域名信息，并為該區(qū)提供域名解析的服務，通常面向的不是終端用戶。

遞歸服務節(jié)點則相反，它不針對某個區(qū)提供域名解析服務，而是直接面向終端用戶，為終端用戶提供遞歸的域名解析服務。一般由網(wǎng)絡運營商、互聯(lián)網(wǎng)服務提供商ISP架設，服務于自己的用戶，有時被稱為Local DNS（簡稱LDNS）。遞歸服務節(jié)點內(nèi)部又分為緩存查詢模塊和遞歸解析模塊，鑒于提高性能和安全考慮，LDNS的緩存服務器與遞歸服務器通常分開設置。

當用戶向LDNS發(fā)起域名查詢請求時，首先由DNS緩存服務器接收用戶的查詢請求，如果存在緩存記錄，則直接返回用戶查詢結(jié)果；如果不存在緩存記錄，交由DNS遞歸服務器處理；DNS遞歸服務器向外界的根DNS發(fā)起迭代查詢，依次循環(huán)直到從權(quán)威服務器獲取解析結(jié)果并返回給DNS緩存服務器。

權(quán)威服務器是根據(jù)收到的DNS查詢請求中的來源地址來識別用戶網(wǎng)絡拓撲位置，實際上權(quán)威服務器收到的DNS查詢請求中的來源地址并不是原始用戶的地址，而是用戶使用的LDNS的遞歸服務器地址。由于運營商LDNS通常以省或區(qū)域為單位集中部署，導致DNS調(diào)度精度最多只能區(qū)分到省，不能進一步精確到市。

互聯(lián)網(wǎng)業(yè)務的復雜化和多樣化不會因DNS的先天不足而停滯，為了滿足精細調(diào)度的需求，現(xiàn)網(wǎng)只能通過HTTP302重定向的二次調(diào)度來補充實現(xiàn)，但HTTP重定向存在種種問題：增加了調(diào)度次數(shù)和用戶時延；HTTP重定向服務器自身容易成為性能瓶頸；最嚴重的缺陷是只支持基于HTTP的協(xié)議，而無法調(diào)度其它應用層協(xié)議。

2 ECS助力DNS實現(xiàn)精細調(diào)度

2.1 ECS的技術(shù)原理

為了完善DNS功能，RFC2671 中提出了一種擴展DNS機制Extension Mechanisms for DNS （EDNS0），它擴展了原有DNS協(xié)議的數(shù)據(jù)包長度和字段內(nèi)容，EDNS0協(xié)議支持在RR中使用TYPE=41的RDDATA存放網(wǎng)絡信息。

在此基礎(chǔ)上，谷歌等公司提出了DNS擴展協(xié)議EDNS Client Subnet（簡稱ECS），可在DNS報文的擴展報頭中增加一種新的選項，用來攜帶發(fā)起DNS請求的原始用戶的地址，這個DNS選項內(nèi)容可以被中間遞歸服務器接力傳遞到權(quán)威服務器，權(quán)威服務器由此獲得原始用戶的地址，進而根據(jù)用戶地址準確識別該用戶的網(wǎng)絡拓撲位置。圖1展示了EDNS Client Subnet的報文格式。

圖1 EDNS Client Subnet報文格式圖

2016年5月公布的RFC7871描述了ECS的技術(shù)原理，定義了如下主要術(shù)語

客戶端（Client）：末端解析器、轉(zhuǎn)發(fā)解析器或者遞歸解析器之一。遞歸解析器或者轉(zhuǎn)發(fā)解析器的客戶端。

末端解析器（Stub Resolver）: 在客戶端的一個簡單DNS協(xié)議實現(xiàn)。作為轉(zhuǎn)發(fā)解析器或遞歸解析器的客戶端。

權(quán)威服務器（Authoritative Nameserver）：一個或多個DNS區(qū)的權(quán)威名字服務器。 權(quán)威服務器一般不會直接和末端解析器或終端用戶通信，而是和遞歸解析器通信。

遞歸解析器（Recursive Resolver）:沿著域授權(quán)鏈為客戶端進行域名解析的名字服務器。遞歸解析器經(jīng)常使用緩存來加快對客戶端查詢的應答速度。

轉(zhuǎn)發(fā)解析器（Forwarding Resolver）:不自己進行迭代解析，而是將請求轉(zhuǎn)發(fā)給其他遞歸解析器進行迭代解析的名字服務器。

在實際運用中，LOCAL DNS內(nèi)部的緩存服務器承擔上述轉(zhuǎn)發(fā)解析器功能，遞歸服務器承擔遞歸解析器功能。

2.2 ECS的工作流程

末端解析器向轉(zhuǎn)發(fā)解析器發(fā)送DNS查詢請求，末端解析器一般不需要支持ECS。

如果轉(zhuǎn)發(fā)解析器支持ECS功能，轉(zhuǎn)發(fā)末端解析器的查詢請求給遞歸解析器，在轉(zhuǎn)發(fā)請求報文中加入ECS信息。ECS信息包含2個字段描述末端解析器的網(wǎng)絡信息，字段1是末端解析器地址前綴長度（SOURCE PREFIX-LENGTH），字段2是末端解析器地址前綴（ADDRESS）。

如果遞歸解析器支持ECS功能，遞歸解析器進行迭代解析，在迭代解析的請求報文中加入轉(zhuǎn)發(fā)解析器請求中的ECS信息并最終發(fā)送給所查詢域名的權(quán)威服務器。

如果權(quán)威服務器支持ECS功能，權(quán)威服務器取出遞歸解析器請求報文中的ECS信息并由此獲得原始用戶的地址信息，進而根據(jù)該地址信息準確識別該用戶的網(wǎng)絡拓撲位置，然后計算出該用戶優(yōu)化的解析地址。權(quán)威服務器還同時計算出能夠使用該解析地址的最短用戶源地址段前綴長度SCOPE PREFIXLENGTH。權(quán)威服務器構(gòu)造應答報文，報文包含了優(yōu)化的解析地址和請求中ECS信息，再加上SCOPE PREFIX-LENGTH緩存生效地址段前綴，返回給遞歸解析器。

遞歸解析器接收應答報文后需要進行緩存。傳統(tǒng)DNS緩存按照＜name，class，type＞三元組唯一索引，對于支持ECS的中間服務器進行緩存時需要加入緩存生效地址段前綴這個新的維度。遞歸解析器緩存后將應答返回轉(zhuǎn)發(fā)解析器。

轉(zhuǎn)發(fā)解析器和遞歸解析器實現(xiàn)相同的緩存算法，然后轉(zhuǎn)發(fā)解析器將應答返回末端解析器，但是去除應答報文中的ECS信息。

末端解析器最終收到優(yōu)化的解析結(jié)果，但是不需要感知任何ECS信息。

另外一個末端解析器查詢相同域名，如果源地址被前面的緩存生效地址段包含在內(nèi)，轉(zhuǎn)發(fā)解析器查詢緩存內(nèi)容匹配，如果緩存沒有過期，可以直接使用緩存應答。但是如果末端解析器的源地址沒有被前面的緩存生效地址段包含在內(nèi)，則需要將前面的ECS遞歸流程重新完整執(zhí)行一遍。

3 運營商部署ECS關(guān)鍵技術(shù)

3.1 運營商部署ECS面臨的技術(shù)難題

EDNS Client Subnet僅描述了DNS攜帶原始用戶IP地址的技術(shù)原理，并沒有給出技術(shù)落地的實施方案，導致運營商LOCAL DNS在部署ECS功能時面臨多種現(xiàn)實問題。

（1）緩存條目膨脹

按照ECS協(xié)議，權(quán)威服務器通過應答報文中的ECS信息指定該應答生效的用戶源地址段，每個應答報文只能含有一個緩存生效地址段。對于一個省級ISP，匯聚后的用戶IPv4地址條目數(shù)接近百條，拆分到各個地市后的路由條目數(shù)可能多達數(shù)百條，這樣同一個域名在DNS緩存中的條目數(shù)量大量膨脹。

（2）遞歸開銷巨大，容易遭受DDoS攻擊

根據(jù)ECS遞歸算法，來自不同用戶地址段的同一個域名查詢請求都需要進行遞歸查詢，帶動緩存、遞歸、權(quán)威資源消耗大幅上升。DDoS攻擊者可以通過變化域名前綴及變化ECS地址段兩個維度對DNS系統(tǒng)發(fā)起DDoS攻擊，提升了DNS系統(tǒng)防御DDoS攻擊的難度。

（3）私網(wǎng)調(diào)度失準

目前中國ISP普遍存在IPv4地址不足，大量使用私有地址+NAT的用戶地址分配策略，可能會讓用戶私有地址直接訪問LDNS。按照ECS規(guī)范，權(quán)威服務器如果在ECS地址中收到私有地址，會使用遞歸解析器源地址返回應答。

（4）ISP地址調(diào)整時，權(quán)威DNS同步更新難

在ECS協(xié)議中，根據(jù)原始用戶地址返回解析地址的策略是由權(quán)威服務器控制并通過緩存機制傳導到遞歸解析器和轉(zhuǎn)發(fā)解析器并影響全網(wǎng)，域名調(diào)度權(quán)完全受控于ICP或CDN方。

終端用戶的網(wǎng)絡地址及網(wǎng)絡拓撲位置是由ISP控制及變更，ISP比ICP更準確、更及時的了解用戶的網(wǎng)絡地址和網(wǎng)絡拓撲屬性，不過在ECS協(xié)議中并沒有機制能夠讓ISP將用戶網(wǎng)絡變更信息同步給權(quán)威服務器。

3.2 ECS部署優(yōu)化方案探討

ECS核心思想是通過在DNS報文中攜帶原始請求者IP地址信息，使得權(quán)威服務器能夠精細調(diào)度，但ECS協(xié)議提出者明顯站在ICP或CDN一方考慮問題，忽視了網(wǎng)絡運營商、ISP另一方的利益訴求。站在ISP角度，讓DNS具有更為精細的業(yè)務調(diào)度能力固然是理想目標，但爭取調(diào)度話語權(quán)，降低LDNS資源消耗和安全風險，同樣是ISP必須考慮的核心因素。只有ICP/CDN與ISP共同參與，雙方在ECS協(xié)議基礎(chǔ)上對部署方案做改進優(yōu)化，才能實現(xiàn)互利共贏。

ISP可根據(jù)業(yè)務模型，合理規(guī)劃分區(qū)（調(diào)度單元）將用戶歸類，每個分區(qū)里包含多條網(wǎng)絡拓撲位置相同的地址段，每個分區(qū)使用唯一映射地址進行指代，DNS載源查詢時使用恒定的映射地址來代替分區(qū)內(nèi)多變的用戶源地址。通過將分區(qū)內(nèi)所有網(wǎng)絡拓撲位置相同的地址段靜態(tài)映射到分區(qū)映射地址，同一個分區(qū)中同一個域名只需要使用一條緩存條目，一舉克服和減緩原來方案中面臨的4個問題。

運營商部署ECS的關(guān)鍵技術(shù)如下

（1）分區(qū)規(guī)劃

根據(jù)業(yè)務模型來規(guī)劃分區(qū)（調(diào)度顆粒度）將用戶歸類，在每個分區(qū)里包含多條網(wǎng)絡拓撲位置相同的地址段，即將所有網(wǎng)絡拓撲位置相同的地址段歸并到同一個分區(qū)的地址段集合中。根據(jù)目前的業(yè)務需求，以一個地市劃為一個分區(qū)比較合適。

如圖2所示，一個省級ISP的每個地市的地址段集合就對應一個分區(qū)。每個分區(qū)及對應IP地址段信息可以人工靜態(tài)配置到轉(zhuǎn)發(fā)解析器或遞歸解析器中。經(jīng)過改造后支持分區(qū)結(jié)構(gòu)的轉(zhuǎn)發(fā)解析器或遞歸解析器稱為分區(qū)轉(zhuǎn)發(fā)解析器或分區(qū)遞歸解析器。

圖2 EDNS 分區(qū)規(guī)劃示意圖

（2）分區(qū)映射和ECS源地址變換

每個分區(qū)使用唯一映射地址進行指代，映射地址一般取該分區(qū)地址段中一個合法公網(wǎng)IP地址。LDNS運營方將全國各市對應的映射地址列表通過公開發(fā)布、友好協(xié)商等途徑，讓各大ICP，CDN廠商廣泛獲知，從而使權(quán)威服務器能夠正確識別映射地址代表的分區(qū)用戶。

如果用戶源地址為私有地址，隨著分區(qū)映射為公網(wǎng)地址，后續(xù)的DNS請求會在ECS中使用映射后公網(wǎng)地址，原來私網(wǎng)調(diào)度失準問題迎刃而解。

改進的方案中ECS報文不再傳遞真實的用戶源地址，用戶隱私得到了有效保障。

（3）分區(qū)緩存

分區(qū)轉(zhuǎn)發(fā)解析器或分區(qū)遞歸解析器的緩存經(jīng)過了改造，同一個域名同一個類型的應答在同一個分區(qū)只有一份緩存，也就是緩存內(nèi)容是按照＜name，class，type，分區(qū)＞進行唯一索引，比改造前按照同一域名每個地址段進行索引大大壓縮了緩存條目數(shù)量。

因為分區(qū)的粒度遠遠大于單個地址段粒度，所以改造后的分區(qū)轉(zhuǎn)發(fā)解析器或分區(qū)遞歸解析器產(chǎn)生的遞歸流量要遠遠小于改造前的流量，大幅減少了轉(zhuǎn)發(fā)解析器、遞歸解析器、權(quán)威服務器資源消耗。

（4）分區(qū)遞歸

如果分區(qū)轉(zhuǎn)發(fā)解析器或分區(qū)遞歸解析器收到一個DNS查詢請求，假設該查詢請求的域名為第一次請求，分區(qū)轉(zhuǎn)發(fā)解析器或分區(qū)遞歸解析器需要構(gòu)造一個新的ECS查詢進行遞歸查詢，此時使用恒定的映射地址來代替原來分區(qū)內(nèi)的真實用戶源地址。最終權(quán)威服務器收到ECS查詢請求，不再需要了解分區(qū)原先對應的眾多路由網(wǎng)段信息，只需要能夠正確給每個分區(qū)映射地址返回對應的解析地址就可以。

（5）ISP地址調(diào)整更新處理

當ISP變更了終端用戶的網(wǎng)絡地址及網(wǎng)絡拓撲位置，只需要ISP管理人員需要及時調(diào)整分區(qū)轉(zhuǎn)發(fā)解析器或分區(qū)遞歸解析器上的分區(qū)地址段配置，權(quán)威服務器不需要進行任何調(diào)整。

4 江蘇移動LDNS部署ECS實踐

2017年江蘇移動按照如上優(yōu)化思路對現(xiàn)網(wǎng)寬帶DNS進行ECS功能部署，在此基礎(chǔ)上分別對接集團內(nèi)容網(wǎng)絡GSLB完成ECS遞歸流程驗證，對接省內(nèi)CDN平臺、IMS DNS系統(tǒng)完成ECS轉(zhuǎn)發(fā)流程驗證，均達到預期的地市級精細調(diào)度目標，為后續(xù)互聯(lián)網(wǎng)內(nèi)容資源從省中心下沉到地市邊緣節(jié)點奠定了基礎(chǔ)。

ECS部署實施模型如圖3所示，涉及緩存服務器，遞歸服務器，網(wǎng)管服務器三大網(wǎng)元的改造。

圖3 ECS部署實施模型圖

4.1 緩存服務器改造

緩存服務器由原來的單個分區(qū)改造為多個分區(qū)，每一個EDNS0分區(qū)結(jié)合地址映射技術(shù)歸并一個地市所有用戶的解析緩存。普通域名使用的公共分區(qū)緩存和EDNS0域名使用的EDNS0分區(qū)緩存并存。通過緩存分區(qū)可大幅度提升緩存命中率，減少載源遞歸流量。江蘇移動寬帶LDNS規(guī)劃的各地市ECS分區(qū)映射地址表參考表1。

使用分區(qū)映射后，對于轉(zhuǎn)發(fā)解析器和遞歸解析器ECS請求報文將不再攜帶原始用戶的真實網(wǎng)絡地址信息，而是使用原始用戶所在分區(qū)的唯一映射地址。新的查詢請求ECS信息中地址前綴長度（SOURCE PREFIX-LENGTH）填寫32，解析器地址前綴（ADDRESS）填寫32位的分區(qū)映射地址。

表1 江蘇移動省內(nèi)地市ECS分區(qū)映射地址規(guī)劃表

4.2 遞歸服務器改造

雖然ECS遞歸可以兼容普通遞歸 ，但ECS遞歸比普通遞歸更加消耗資源，由于現(xiàn)網(wǎng)EDNS0域名數(shù)量很少，改造時新增了EDNS遞歸服務器來避免升級原有普通遞歸，從而使得遞歸服務器由原來的一組變成了普通遞歸和EDNS遞歸兩個分組。EDNS遞歸服務器內(nèi)部也要劃分區(qū)域以提升遞歸性能。

4.3 DNS網(wǎng)管改造

DNS網(wǎng)管基于精確域名來標識是否屬于EDNS域名，確保域名調(diào)度的主動權(quán)掌握在運營商ISP手上。如果是EDNS域名，DNS網(wǎng)管上還需要繼續(xù)標識策略，如forward轉(zhuǎn)發(fā)或迭代查詢。

前端緩存服務器根據(jù)網(wǎng)管標識的EDNS域名列表實施分流，EDNS域名轉(zhuǎn)發(fā)到專用EDNS遞歸服務器，普通域名轉(zhuǎn)發(fā)普通遞歸服務器。

4.4 EDNS域名解析流程

DNS前端緩存收到用戶請求后，依據(jù)DNS網(wǎng)管里的域名標記判斷其是否屬于EDNS域名；如果非EDNS域名，進入公共緩存空間，依據(jù)DNS網(wǎng)管策略選擇普通遞歸或普通轉(zhuǎn)發(fā)；如果網(wǎng)管標記為EDNS域名，則根據(jù)用戶源IP對應的映射表，進入相應地市EDNS緩存分區(qū)；將映射公網(wǎng)IP添加進擴展字段構(gòu)造出新的EDNS請求轉(zhuǎn)發(fā)給EDNS遞歸服務器；EDNS遞歸服務器根據(jù)ECS里的映射公網(wǎng)IP，進入相應遞歸分區(qū)后執(zhí)行DNS網(wǎng)管策略，如選擇EDNS遞歸或EDNS轉(zhuǎn)發(fā)。

5 總結(jié)

針對現(xiàn)網(wǎng)DNS調(diào)度不夠精細的問題，谷歌、Akamai等互聯(lián)網(wǎng)公司從ICP、CDN廠商角度出發(fā)提出了EDNS Client Subnet解決方案，得到了ICP、CDN乃至公眾DNS服務提供商的廣泛支持，但由于缺乏對ISP權(quán)益的關(guān)注，在運營商網(wǎng)絡中部署時面臨著緩存條目膨脹、遞歸開銷巨大、私網(wǎng)調(diào)度失準等問題。本文探討了運營商采用地址映射技術(shù)優(yōu)化部署ECS的演進方案，通過將用戶歸類，為每一個類別的用戶只向權(quán)威服務器發(fā)送一次攜帶映射地址的遞歸請求，提高了DNS緩存的命中率，不但從技術(shù)上解決了ECS落地難題，而且在業(yè)務上提升了運營商參與內(nèi)容調(diào)度的話語權(quán)，對寬帶運營商具有普遍適用性和推廣價值。