■ 北京云杉世紀(jì)網(wǎng)絡(luò)有限公司 來源

在混合云環(huán)境，企業(yè)的業(yè)務(wù)運行在邏輯網(wǎng)絡(luò)中，同樣面臨網(wǎng)絡(luò)性能分析、網(wǎng)絡(luò)問題定位及排障、網(wǎng)絡(luò)安全管理、合規(guī)審計、網(wǎng)絡(luò)擴展等問題。在解決以上問題時，有能力獲取完整的網(wǎng)絡(luò)流量，是一個前提。

為什么混合云需要全網(wǎng)流量

網(wǎng)絡(luò)的保障涉及到配置、日志及現(xiàn)網(wǎng)流量或流數(shù)據(jù)等元素。在混合云環(huán)境中獲取并管理好現(xiàn)網(wǎng)監(jiān)控流量并不是一件輕松的事情。在云環(huán)境下，選擇網(wǎng)絡(luò)流量采集方案需要考慮流量獲取的方式、環(huán)境中的流量模型、規(guī)模及可管理性、對現(xiàn)網(wǎng)環(huán)境的影響、平臺開放性。

1.流量獲取的方式

在云環(huán)境中，影響獲取虛擬交換機流量的因素首先是對現(xiàn)有生產(chǎn)環(huán)境的侵入性，其次是性能。目前獲取虛擬交換機流量的技術(shù)方案有以下幾種，企業(yè)可根據(jù)自身IT環(huán)境的實際情況進行選擇：

（1）在虛擬機或工作負(fù)載（Workload）中安裝采集探針，從操作系統(tǒng)層抓取流量信息。此方案探針部署規(guī)模大，且需要獲取虛擬機根（Root）權(quán)限。

（2）通過在虛擬交換機（OVS：Open vSwitch、VDS：vSphere Distributed Switch、VSS：Virtual Stand ard Switch）上配置鏡像或廣播策略，將所需流量引出。該方案需要對生產(chǎn)平面的虛擬交換機進行配置。

（3）在宿主機Hyperviso r（如Openstack Hyperviso r）上安裝采集探針，以用戶態(tài)進程形式獨立獲取虛擬交換機上的流量。該方案無需對生產(chǎn)平面的虛擬交換機進行配置。

2.環(huán)境中的流量模型

規(guī)劃網(wǎng)絡(luò)流量采集方案時，現(xiàn)網(wǎng)中的流量模型、主要業(yè)務(wù)的流量特征是方案選擇的重要依據(jù)，基礎(chǔ)特征包括IP分配、流量、包長、協(xié)議、端口、TCP、HTTP信息等，同時也需要考慮組合特征，尤其是可能出現(xiàn)的滲透、異常等因素。

3.規(guī)模及可管理性

混合云環(huán)境中，網(wǎng)絡(luò)規(guī)模宏大且資源池類型繁多，虛擬交換機采集點數(shù)量相比傳統(tǒng)監(jiān)控規(guī)模有幾個數(shù)量級的增長。此外，虛擬化及容器資源池動態(tài)性很強，流量采集和分發(fā)策略也要隨著資源變化進行實時跟隨或釋放。

在構(gòu)建整體采集方案時，企業(yè)應(yīng)考慮IT資源的多樣性，采集平臺應(yīng)分階段進行建設(shè)，尤其要注意確保方案具備擴展和統(tǒng)一管理能力。

4.對現(xiàn)網(wǎng)環(huán)境的影響

單一的生產(chǎn)環(huán)境在企業(yè)中并不多見。在進行流量采集部署時，需滿足平滑部署且保證業(yè)務(wù)不間斷，同時確保對計算資源和網(wǎng)絡(luò)帶寬的消耗限制。此外，流量采集系統(tǒng)的部署要兼容傳統(tǒng)監(jiān)控方案或支持其無縫切換，并可對接企業(yè)的分析工具。

5.平臺開放性

采集平臺本身應(yīng)具備開放性，避免采集端與消費端綁定，導(dǎo)致在現(xiàn)網(wǎng)中不斷部署垂直豎井式的流量采集系統(tǒng)，對于流量數(shù)據(jù)應(yīng)具備一次采集，可按需多處進行分析消費的能力。此外，還考慮具備數(shù)據(jù)開放性，針對原始流量數(shù)據(jù)進行處理，得到流日志、統(tǒng)計、特征等數(shù)據(jù)，有能力提供高性能存儲寫入、檢索查詢、API輸出等數(shù)據(jù)服務(wù)。

全網(wǎng)流量采集與分發(fā)方案

目前多數(shù)大型企業(yè)都存在多數(shù)據(jù)中心、混合云架構(gòu)的IT資源，從網(wǎng)絡(luò)的角度看如下圖所示。自有的數(shù)據(jù)中心劃分為不同業(yè)務(wù)區(qū)并通過專有網(wǎng)絡(luò)互聯(lián)，且可能存在多個分支機構(gòu)。為保障資源彈性，企業(yè)不同程度地使用公有云資源和選擇多個云服務(wù)商。企業(yè)從運維排障、運營管理、業(yè)務(wù)監(jiān)控等方面都需要對網(wǎng)絡(luò)有全面清晰的畫像，如圖1所示。

本方案的目標(biāo)是為企業(yè)混合云IT建立統(tǒng)一高效的網(wǎng)絡(luò)流量采集和處理平臺。針對異構(gòu)資源池實現(xiàn)統(tǒng)一的流量采集抽象層，可對流量實現(xiàn)過濾、去重、壓縮、截短等處理，支持IPv4、IPv6協(xié)議，能為網(wǎng)絡(luò)運營中心（NOC：Network Operation Center）、安全運營中心（SOC：Security Operation Center）、大數(shù)據(jù)分析平臺等不同的流量消費端提供數(shù)據(jù)供給服務(wù)。

在混合云環(huán)境中，方案的挑戰(zhàn)在于資源池內(nèi)的網(wǎng)絡(luò)邊界——各類虛機交換機數(shù)量多、波動大、技術(shù)新。實現(xiàn)全網(wǎng)流量采集及處理，可以從業(yè)務(wù)或者網(wǎng)絡(luò)區(qū)域以及資源池來規(guī)劃，本文基于DeepFlow?設(shè)計，分別從數(shù)據(jù)中心側(cè)、公有云側(cè)及整體控制管理側(cè)詳細(xì)闡述。

1.數(shù)據(jù)中心側(cè)

按網(wǎng)絡(luò)功能將數(shù)據(jù)中心按區(qū)域（Region）來定義，區(qū)域內(nèi)可包含多個可用區(qū)（AZ：Available Zone），區(qū)域內(nèi)的網(wǎng)絡(luò)流量包含可用區(qū)內(nèi)的物理網(wǎng)絡(luò)和資源池內(nèi)的虛擬網(wǎng)絡(luò)數(shù)據(jù)流量。

（1）物理網(wǎng)絡(luò)流量采集

在物理網(wǎng)絡(luò)涉及的范圍，除可用區(qū)內(nèi)部網(wǎng)絡(luò)外，還包括各類鏈路；流量采集可通過傳統(tǒng)監(jiān)控方式如分光、鏡像等獲取。在物理網(wǎng)絡(luò)中，采集點主要有互聯(lián)網(wǎng)業(yè)務(wù)區(qū)中的ISP線路、外聯(lián)區(qū)域的專線線路、各區(qū)出口線路以及防火墻、負(fù)載均衡設(shè)備前后線路；通常由設(shè)備廠商的監(jiān)控方案實現(xiàn)，DeepFlow?采集器通過對接設(shè)備廠商方案的標(biāo)準(zhǔn)數(shù)據(jù)輸出實現(xiàn)物理網(wǎng)絡(luò)流量的采集。

圖1 多數(shù)據(jù)中心的混合云架構(gòu)拓?fù)浣Y(jié)構(gòu)

（2）資源池內(nèi)網(wǎng)絡(luò)流量采集

各類型號的DeepFlow?采集器為全網(wǎng)流量采集方案提供數(shù)據(jù)包捕獲能力；按部署方式分為VMware ESXi采集器、KVM采集器、KVM-DPDK采集器、HyperV采集器、容器OnVM采集器、容器OnHost采集器。對于裸金屬設(shè)備資源池，可將網(wǎng)絡(luò)設(shè)備的端口鏡像至專屬采集服務(wù)器完成對數(shù)據(jù)包的處理；亦可將采集器安裝在每一臺需要采集的裸金屬設(shè)備系統(tǒng)上。

（3）DPDK環(huán)境下的支持

在采用了DPDK (Data Plane Development Kit)的運營商CT（Communications Technology）網(wǎng)和企業(yè)網(wǎng)環(huán)境中，可采用DeepFlow?KVM-DPDK采集器進行資源池內(nèi)流量采集。

（4）多區(qū)域支持

多數(shù)考慮統(tǒng)一監(jiān)控流量采集平臺的企業(yè)，IT資源都存在于多個數(shù)據(jù)中心，而且存在眾多分支機構(gòu)。各地數(shù)據(jù)中心區(qū)域、各類資源池，網(wǎng)絡(luò)流量采集需求都由相應(yīng)型號的采集器完成。

2.公有云側(cè)

公有云為租戶提供VPC網(wǎng)絡(luò)，Workload采集器以用戶態(tài)的軟件形式部署在虛擬機、容器、裸金屬設(shè)備等Workload上，支持Linux、Windows等主流操作系統(tǒng)，實現(xiàn)VPC內(nèi)各類資源的網(wǎng)絡(luò)流量采集。由于部署安裝在Workload操作系統(tǒng)上，采集器數(shù)量多，可以通過鏡像進行預(yù)裝。

3.控制管理側(cè)

由于采集器數(shù)量大、策略多，波動強，需從控制面的設(shè)計入手，解決大規(guī)模及可管理性的問題。在多點的部署環(huán)境中，首先指定主區(qū)域（Region），主控制器存在于主區(qū)域中，當(dāng)啟動主控制器高可用功能，主區(qū)域內(nèi)應(yīng)部署多臺控制器，通過心跳保證控制器間的狀態(tài)同步，及時啟動主、備控制器選舉。選舉產(chǎn)生主控制器后，為整體流量管理平臺提供控制入口。除主區(qū)域外的其他區(qū)域控制器為從控制器，不參與主控制器選舉。

在云環(huán)境、容器環(huán)境中，控制器通過對接虛擬化資源池、配置管理數(shù)據(jù)庫（CMDB：Configuration Management Data Base）、公有云開放API等，可實現(xiàn)多粒度下發(fā)采集、分發(fā)策略，更靈活、更貼近業(yè)務(wù)應(yīng)用。

各類型的采集器可能處于自檢、運行、停止、異常、保護等幾種狀中，其中保護狀態(tài)，是確保采集器工作時，平臺能對其使用CPU、內(nèi)存資源使用上限的限定。當(dāng)采集器壓力過大時，采集器狀態(tài)將由“運行”切換至“保護”狀態(tài)，以確保不對生產(chǎn)環(huán)境產(chǎn)生影響，直至重新調(diào)整資源配置或處理壓力下降，切回至“運行”狀態(tài)。

單一DeepFlow?控制器可管理2000個采集器，通常能夠滿足一個可用區(qū)；控制器最大支持50臺的規(guī)模，方案整體可滿足10萬臺采集器統(tǒng)一管理，足以應(yīng)對大型企業(yè)私有IT、公有云、容器等網(wǎng)絡(luò)流量采集需求。

基于分布式的監(jiān)控流量處理

不同于集中式后處理的方案，DeepFlow?采集器具備專利算法的前置計算能力可在采集點對流量進行直接處理。眾多采集器和控制器共同構(gòu)建成一個與云網(wǎng)規(guī)模一致的分布式流量處理系統(tǒng)，大幅減少了分發(fā)數(shù)據(jù)對監(jiān)控網(wǎng)絡(luò)和后端分析工具的壓力。

1.流量預(yù)處理

流量采集過程中的過濾策略支持更豐富的維度，除了五元組還包括業(yè)務(wù)、主機、服務(wù)、POD等條件。此外DeepFlow? 采集器還具備去重、截短、流日志、壓縮、標(biāo)記等能力，以最小資源消耗實現(xiàn)流量全局的精準(zhǔn)采集。

2.包分發(fā)

包分發(fā)功能通過三層隧道實現(xiàn)，控制器統(tǒng)一下發(fā)分發(fā)策略后由采集器端直接進行數(shù)據(jù)包封裝和發(fā)送，支持單一數(shù)據(jù)包多目的端發(fā)送。同時針對分發(fā)目的端是否具備解封裝能力可靈活定制隧道卸載方案。

在混合云數(shù)據(jù)包分發(fā)方案中，需要考慮分發(fā)的網(wǎng)絡(luò)平面，如果分發(fā)流量較大，建議預(yù)留獨立的網(wǎng)絡(luò)監(jiān)控平面；如果僅針對少量核心業(yè)務(wù)，可復(fù)用已有的物理網(wǎng)絡(luò)。在混合云環(huán)境中，資源池數(shù)量多、種類不同，應(yīng)以分布式部署避免單點瓶頸，并適配邏輯網(wǎng)絡(luò)跨多資源池場景。

3.數(shù)據(jù)服務(wù)

在每個區(qū)域、可用區(qū)都可配置高性能時序數(shù)據(jù)庫，通常在分支機構(gòu)環(huán)境下，不需要部署時序數(shù)據(jù)庫，其數(shù)據(jù)通過壓縮后寫入納管區(qū)域內(nèi)的數(shù)據(jù)庫。對于非原始數(shù)據(jù)包的數(shù)據(jù)消費需求，平臺提供開放的數(shù)據(jù)訂閱服務(wù)，用戶可通過API、消息隊列調(diào)用。數(shù)據(jù)訂閱可通過ZeroMQ等消息隊列提供，由數(shù)據(jù)需求平臺向數(shù)據(jù)庫發(fā)起消息隊列請求后，就可執(zhí)行訂閱服務(wù)。

部署

整體方案主要涉及采集器、控制器、高性能時序數(shù)據(jù)庫三部分，在完成規(guī)劃整體方案后，可分區(qū)域、分資源池按階段投入建設(shè)，最終為企業(yè)混合云環(huán)境構(gòu)建統(tǒng)一的流量監(jiān)控管理平臺。

1.第一步：解決虛擬網(wǎng)絡(luò)環(huán)境流量“黑盒”不可見的問題，滿足對虛擬網(wǎng)絡(luò)流量合規(guī)審計的要求；采集流量對接已存在的監(jiān)控分析工具，閉合私有云、容器環(huán)境中的運維、業(yè)務(wù)分析工具鏈。

2.第二步：納入更多資源池，與新建擴容的資源池同步部署，接入物理網(wǎng)絡(luò)中交換機sFlow數(shù)據(jù)，接入專線等分光流量數(shù)據(jù)，實現(xiàn)對整體數(shù)據(jù)中心的監(jiān)控流量采集能力；對接網(wǎng)絡(luò)中心、安全中心、智能運維等平臺，提供數(shù)據(jù)包、流數(shù)據(jù)服務(wù)，滿足各平臺對現(xiàn)網(wǎng)流量數(shù)據(jù)的展示、分析需求。

3.第三步：對存在公有云上所運行的Workload或?qū)嵗髁窟M行采集，完成對混合云IT環(huán)境整體監(jiān)控流量管理，具備整體網(wǎng)絡(luò)畫像、流量分發(fā)、支持對多平臺流量數(shù)據(jù)分發(fā)服務(wù)能力。

對于已經(jīng)運行的混合云環(huán)境，可以在不影響生產(chǎn)環(huán)境運行的情況下部署實施，網(wǎng)絡(luò)規(guī)劃上將DeepFlow? 平臺所涉及的管理、監(jiān)控分發(fā)平面復(fù)用在已有的網(wǎng)絡(luò)平面中，通?？梢詮?fù)用已經(jīng)存在的網(wǎng)絡(luò)管理平面。對于整體規(guī)劃的方案，建議對整體混合云規(guī)劃獨立的網(wǎng)絡(luò)監(jiān)控平面，對于混合云的監(jiān)管流量統(tǒng)一、獨立地進行管理。

方案優(yōu)勢

流量采集先進：全網(wǎng)采集方案主要圍繞DeepFlow?采集器技術(shù)實現(xiàn)，采集器以進程形態(tài)部署，最大程度上避免對現(xiàn)網(wǎng)的影響，同時在操作系統(tǒng)上繼承進程級保護優(yōu)勢，整體更穩(wěn)定。

分布式處理系統(tǒng)：采集到數(shù)據(jù)包后避免集中處理，采用分布式架構(gòu)，采集點分布處理控制器集中管理。

場景全規(guī)模大：方案基于云原生設(shè)計，涵蓋裸金屬、虛擬機、容器、公有云資源池等多種異構(gòu)系統(tǒng)場景，整體系統(tǒng)可滿足10萬臺節(jié)點的需求。

可管理性：平臺主控制器具備對所有采集器的監(jiān)控和管理能力。通過對接云平臺使得操作貼近資源池特性，針對云資源移、回收、重新部署等場景做到了實時策略跟隨，保障采集能力在動態(tài)環(huán)境下的持續(xù)執(zhí)行。

數(shù)據(jù)包、流數(shù)據(jù)服務(wù)：數(shù)據(jù)服務(wù)是將流量采集與后端平臺對接的重要環(huán)節(jié)，完整流量數(shù)據(jù)包多目的地分發(fā)，高性能網(wǎng)絡(luò)時序數(shù)據(jù)庫通過API、ZeroMQ、Kafka等消息隊列提供流數(shù)據(jù)服務(wù)。同時也將采集與后端各類分析工具解耦，避免流量采集器局限在僅為單一工具服務(wù)的豎井中。

總結(jié)

DeepFlow?混合云全網(wǎng)流監(jiān)控量采集與分發(fā)解決方案為企業(yè)提供完整的、可持續(xù)的平臺級監(jiān)控流量管理，為企業(yè)規(guī)劃整體運維。本方案已應(yīng)用于金融、運營商等客戶IT環(huán)境中。