張永彬

（中國(guó)電信股份有限公司邢臺(tái)分公司，河北 邢臺(tái) 054000）

0 引 言

云計(jì)算系統(tǒng)利用互聯(lián)網(wǎng)實(shí)現(xiàn)信息技術(shù)（Information Technology，IT）資源的彈性擴(kuò)展和按需服務(wù)，數(shù)據(jù)通信技術(shù)在其中起著十分關(guān)鍵的作用。文章主要研究基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)的設(shè)計(jì)與優(yōu)化方法，并通過(guò)仿真實(shí)驗(yàn)評(píng)估系統(tǒng)性能，旨在為構(gòu)建高效、安全的云計(jì)算系統(tǒng)提供理論支撐和技術(shù)指導(dǎo)。

1 數(shù)據(jù)通信在云計(jì)算架構(gòu)中的作用機(jī)制

云計(jì)算系統(tǒng)基于分布式計(jì)算架構(gòu)構(gòu)建，要求大量服務(wù)器之間進(jìn)行信息交換與協(xié)調(diào)，因此高速穩(wěn)定的網(wǎng)絡(luò)互聯(lián)成為支撐云計(jì)算的關(guān)鍵基礎(chǔ)設(shè)施[1]。在云計(jì)算體系結(jié)構(gòu)中，數(shù)據(jù)中心網(wǎng)絡(luò)承載著服務(wù)請(qǐng)求與云服務(wù)響應(yīng)之間海量的通信數(shù)據(jù)。存儲(chǔ)區(qū)域網(wǎng)絡(luò)（Storage Area Network，SAN）與服務(wù)器集群間的通信和不同數(shù)據(jù)中心間的廣域網(wǎng)通信對(duì)云計(jì)算系統(tǒng)性能也有著重要影響。

2 基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)設(shè)計(jì)

2.1 基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)網(wǎng)絡(luò)架構(gòu)與通信協(xié)議

文章設(shè)計(jì)的基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)采用3層網(wǎng)絡(luò)架構(gòu)，即底層、中間層以及頂層[2]。

底層為服務(wù)器互聯(lián)網(wǎng)絡(luò)，連接數(shù)萬(wàn)臺(tái)服務(wù)器，需要提供超高數(shù)據(jù)速率、低時(shí)延、高可擴(kuò)展性?？紤]成本和性能因素，選擇基于Fat-Tree 拓?fù)涞? 層數(shù)據(jù)中心網(wǎng)絡(luò)，核心交換機(jī)采用32×100 GE 端口設(shè)備，匯聚交換機(jī)采用48×25 GE 端口設(shè)備，服務(wù)器采用2×25 GE 網(wǎng)絡(luò)接口卡，理論帶寬達(dá)100 Tb/s。

中間層為城域網(wǎng)，通過(guò)高速光纖或微波鏈路實(shí)現(xiàn)不同數(shù)據(jù)中心間的連接。網(wǎng)絡(luò)設(shè)備選用帶有大容量交換矩陣的路由器，支持Segment Routing 等彈性組網(wǎng)技術(shù)?？紤]網(wǎng)絡(luò)可靠性，建立冗余的城域網(wǎng)環(huán)，并配套互聯(lián)網(wǎng)組管理協(xié)議（Internet Group Management Protocol，IGMP）雙活技術(shù)實(shí)現(xiàn)快速重路由。

頂層為廣域網(wǎng)，主要用于連接用戶與云計(jì)算系統(tǒng)。采用軟件定義廣域網(wǎng)（Software-Defined Wide Area Network，SD-WAN）架構(gòu)，通過(guò)云管理平臺(tái)實(shí)現(xiàn)統(tǒng)一控制網(wǎng)絡(luò)設(shè)備，進(jìn)行業(yè)務(wù)識(shí)別和策略配置，并與底層網(wǎng)絡(luò)打通控制平面，實(shí)現(xiàn)全局路由和負(fù)載優(yōu)化[3]。

基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)網(wǎng)絡(luò)同時(shí)支持多種標(biāo)準(zhǔn)通信協(xié)議，如支持遠(yuǎn)程登錄的安全外殼（Secure Shell，SSH）協(xié)議、文件傳輸協(xié)議（File Transfer Protocol，F(xiàn)TP）、簡(jiǎn)單郵件傳輸協(xié)議（Simple Mail Transfer Protocol，SMTP）等。同時(shí)，自定義高效的協(xié)議連接服務(wù)器集群與存儲(chǔ)系統(tǒng)，通過(guò)遠(yuǎn)程直接內(nèi)存訪問(wèn)（Remote Direct Memory Access，RDMA）技術(shù)實(shí)現(xiàn)低延遲和高帶寬的數(shù)據(jù)交換。

2.2 數(shù)據(jù)存儲(chǔ)與處理

基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)基于分布式文件系統(tǒng)構(gòu)建。文件存儲(chǔ)系統(tǒng)采用Ceph 集群來(lái)提供強(qiáng)大的數(shù)據(jù)冗余和高可靠性。Ceph集群部署超過(guò)1 000 個(gè)存儲(chǔ)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配備36 塊10 TB 串行連接的小型計(jì)算機(jī)系統(tǒng)接口（Serial Attached Small Computer System Interface，SAS）磁盤(pán)，組成RAID-6 的數(shù)據(jù)保護(hù)，單機(jī)最大容量超過(guò)300 TB。數(shù)據(jù)切分為眾多小對(duì)象后，利用CRUSH 算法隨機(jī)分布于不同的存儲(chǔ)節(jié)點(diǎn)，實(shí)現(xiàn)高度均衡。同時(shí)，系統(tǒng)引入Erasure Code 糾刪碼機(jī)制，以兼顧存儲(chǔ)效率。元數(shù)據(jù)管理采用分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)，防止成為系統(tǒng)瓶頸。

在存儲(chǔ)上搭建云計(jì)算框架，可以高效分析海量數(shù)據(jù)。如構(gòu)建基于Hadoop/Spark 的分布式計(jì)算集群，根據(jù)MapReduce 理論部署大量計(jì)算節(jié)點(diǎn)并行處理數(shù)據(jù)[4]。主控節(jié)點(diǎn)可動(dòng)態(tài)管理數(shù)萬(wàn)個(gè)計(jì)算節(jié)點(diǎn)，Server節(jié)點(diǎn)采用最新服務(wù)器配備高核顯卡內(nèi)存中央處理器（Central Processing Unit，CPU）和超寬內(nèi)存總線，實(shí)現(xiàn)每秒處理TB 級(jí)數(shù)據(jù)。計(jì)算框架與存儲(chǔ)系統(tǒng)交互的數(shù)據(jù)傳輸直接利用RDMA 和數(shù)據(jù)通信傳輸（Data Communication Transport，DCT）協(xié)議完成，以達(dá)到最低延遲和最高吞吐量。

2.3 安全性與隱私保護(hù)

云計(jì)算系統(tǒng)處理和存儲(chǔ)的數(shù)據(jù)通常與業(yè)務(wù)敏感度和隱私相關(guān)，因此云計(jì)算系統(tǒng)需要具備極高的安全性和隱私保護(hù)能力。基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)從數(shù)據(jù)存儲(chǔ)、網(wǎng)絡(luò)傳輸及訪問(wèn)控制等多個(gè)層面實(shí)施安全防護(hù)措施。在數(shù)據(jù)存儲(chǔ)層面，除Ceph 分布式存儲(chǔ)系統(tǒng)本身的高可靠性和容錯(cuò)性，還額外引入全盤(pán)加密機(jī)制，對(duì)數(shù)據(jù)塊在寫(xiě)盤(pán)前進(jìn)行加密。存儲(chǔ)的物理塊全部為密文狀態(tài)。加密算法采用AES-256 算法，密鑰長(zhǎng)度為256 bits，理論窮舉攻擊復(fù)雜度超過(guò)2200。同時(shí)，數(shù)據(jù)采用版本控制和多副本冗余機(jī)制，防止誤操作和硬件故障導(dǎo)致數(shù)據(jù)丟失[5]。

在網(wǎng)絡(luò)傳輸層面，系統(tǒng)對(duì)所有交換網(wǎng)絡(luò)設(shè)備實(shí)施流量識(shí)別和隔離，服務(wù)器集群、存儲(chǔ)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)等采用虛擬局域網(wǎng)（Virtual Local Area Network，VLAN）邏輯隔離，防止安全域間非法通信。僅通過(guò)指定的安全網(wǎng)與外部域間交換控制流量關(guān)，并在網(wǎng)關(guān)上部署入侵防御系統(tǒng)（Intrusion Prevention System，IPS）或入侵檢測(cè)系統(tǒng)（Intrusion Detection System，IDS）設(shè)備進(jìn)行深度包檢測(cè)，屏蔽木馬病毒和網(wǎng)絡(luò)攻擊流量。與用戶接入網(wǎng)之間實(shí)現(xiàn)軟件定義邊緣安全體系架構(gòu)，通過(guò)云管控系統(tǒng)下發(fā)優(yōu)化網(wǎng)絡(luò)訪問(wèn)策略。在訪問(wèn)控制層面，本系統(tǒng)提供基于角色的訪問(wèn)控制（Role Based Access Control，RBAC）機(jī)制綁定用戶身份和數(shù)據(jù)權(quán)限。身份驗(yàn)證模塊采用零知識(shí)證明協(xié)議，證明訪問(wèn)者身份合法性而不泄露真實(shí)身份。該協(xié)議的安全性公式為

式中：PK(·)表示一個(gè)基于指數(shù)函數(shù)的某種加密或編碼方案；x表示待處理的數(shù)據(jù)；a表示一個(gè)固定的基。授權(quán)系統(tǒng)與存儲(chǔ)系統(tǒng)對(duì)接，存儲(chǔ)權(quán)限標(biāo)簽與加密密鑰同步更新。此外，設(shè)置系統(tǒng)白名單和異常行為檢測(cè)，進(jìn)行實(shí)時(shí)監(jiān)控和風(fēng)險(xiǎn)評(píng)估。

2.4 系統(tǒng)監(jiān)控與故障恢復(fù)

為保證云計(jì)算系統(tǒng)的高可用性，需要實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行狀態(tài)和性能指標(biāo)，盡早發(fā)現(xiàn)潛在故障并快速響應(yīng)與恢復(fù)。本系統(tǒng)構(gòu)建基礎(chǔ)設(shè)施層、虛擬化層、應(yīng)用層3 個(gè)層次的監(jiān)控體系。

在基礎(chǔ)設(shè)施層面，服務(wù)器、網(wǎng)絡(luò)及存儲(chǔ)設(shè)備均統(tǒng)一納入監(jiān)控范圍。采集性能指標(biāo)包括CPU 和內(nèi)存利用率、輸入輸出（Input/Output，I/O）負(fù)載、網(wǎng)絡(luò)流量以及接口狀態(tài)等。此外，部署各類探針和日志記錄，跟蹤系統(tǒng)調(diào)用過(guò)程，形成運(yùn)行軌跡?；跁r(shí)間序列預(yù)測(cè)和關(guān)聯(lián)分析，識(shí)別異常特征事件。一旦發(fā)現(xiàn)瓶頸指標(biāo)異常提高或跌落，就會(huì)及時(shí)上報(bào)和生成故障票。

在虛擬化層面，檢查云平臺(tái)和虛擬機(jī)運(yùn)行狀況。通過(guò)云管理接口采集虛擬機(jī)生命周期和資源占用數(shù)據(jù)，檢測(cè)虛擬機(jī)實(shí)例狀態(tài)、主機(jī)負(fù)載等。虛擬機(jī)內(nèi)安裝監(jiān)控代理，獲取應(yīng)用程序和操作系統(tǒng)內(nèi)核信息。同時(shí)，結(jié)合下層監(jiān)控?cái)?shù)據(jù)，隔離硬件故障和軟件故障。

在應(yīng)用層面，對(duì)各類云應(yīng)用和服務(wù)設(shè)置服務(wù)水位線，證明其性能指標(biāo)符合預(yù)期。關(guān)鍵業(yè)務(wù)還建立冗余機(jī)制和容災(zāi)備份，在發(fā)生異常時(shí)自動(dòng)進(jìn)行故障轉(zhuǎn)移，保證業(yè)務(wù)連續(xù)性。

多層次監(jiān)控?cái)?shù)據(jù)匯總進(jìn)入集群共享卷（Cluster Shared Volumes，CSF）分布式故障自愈框架，根據(jù)狀態(tài)評(píng)估和資源優(yōu)化模型，做出智能決策和故障響應(yīng)，盡量實(shí)現(xiàn)無(wú)人值守自動(dòng)化運(yùn)維。該框架運(yùn)用的模型為

式中：R(t)表示在時(shí)間t時(shí)的可靠性；λ(x)表示一個(gè)與時(shí)間x相關(guān)的故障率函數(shù)。

3 系統(tǒng)仿真與優(yōu)化

3.1 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)在計(jì)算機(jī)集群上模擬構(gòu)建云平臺(tái)，主要測(cè)量網(wǎng)絡(luò)通信性能指標(biāo)，包括吞吐量、延遲、丟包率等。每臺(tái)服務(wù)器上用于生成網(wǎng)絡(luò)流量的負(fù)載機(jī)部署4個(gè)Docker 容器，代表4 個(gè)虛擬機(jī)實(shí)例。服務(wù)器之間使用Arista 7050X 交換機(jī)組成二層交互網(wǎng)絡(luò)，可擴(kuò)展連接數(shù)百臺(tái)服務(wù)器，形成數(shù)據(jù)中心規(guī)模環(huán)境。網(wǎng)絡(luò)測(cè)試工具選用專業(yè)性能評(píng)測(cè)平臺(tái)Spirent TestCenter。測(cè)試協(xié)議包含傳輸控制協(xié)議/網(wǎng)際協(xié)議（Transmission Control Protocol/Internet Protocol，TCP/IP）、用戶數(shù)據(jù)報(bào)協(xié)議/網(wǎng)際協(xié)議（User Datagram Protocol/Internet Protocol，UDP/IP）、因特網(wǎng)控制消息協(xié)議（Internet Control Message Protocol，ICMP）等。

實(shí)驗(yàn)包含3 個(gè)階段：第一階段，測(cè)試底層服務(wù)器互聯(lián)網(wǎng)絡(luò)性能；第二階段，測(cè)試加入應(yīng)用負(fù)載后的系統(tǒng)性能；第三階段，測(cè)試網(wǎng)絡(luò)功能與安全機(jī)制的性能影響。每個(gè)階段均系統(tǒng)性地配置不同參數(shù)，如網(wǎng)絡(luò)帶寬、數(shù)據(jù)包大小、協(xié)議類型及端口數(shù)量等，測(cè)量結(jié)果包括總吞吐量、分流量延遲、丟包率等。然后對(duì)比不同參數(shù)配置下的測(cè)試指標(biāo)，分析系統(tǒng)瓶頸所在。在功能測(cè)試方面，模擬增加數(shù)據(jù)加密傳輸、身份驗(yàn)證等安全機(jī)制，測(cè)試其對(duì)網(wǎng)絡(luò)性能的影響。同時(shí)，配置不同的負(fù)載均衡策略，評(píng)估其應(yīng)對(duì)突發(fā)流量的效果。收集大量性能數(shù)據(jù)后，采用回歸分析確定各機(jī)制對(duì)吞吐量和延遲的影響程度，為后續(xù)的參數(shù)優(yōu)化提供依據(jù)。

3.2 結(jié)果與討論

文章設(shè)計(jì)的基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)進(jìn)行仿真實(shí)驗(yàn)。基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)網(wǎng)絡(luò)性能測(cè)試結(jié)果如表1 所示，云計(jì)算系統(tǒng)應(yīng)用負(fù)載與安全機(jī)制性能影響如表2 所示。

表1 云計(jì)算系統(tǒng)網(wǎng)絡(luò)性能測(cè)試結(jié)果

表2 云計(jì)算系統(tǒng)應(yīng)用負(fù)載與安全機(jī)制性能影響

由表1 可知，在底層網(wǎng)絡(luò)測(cè)試階段，系統(tǒng)在不同帶寬、數(shù)據(jù)包大小、協(xié)議類型以及端口數(shù)量配置下均達(dá)到接近線速的吞吐量，如在100 Gb/s 帶寬、1 024 Bytes 數(shù)據(jù)包、ICMP 協(xié)議以及500 個(gè)端口的測(cè)試場(chǎng)景中，系統(tǒng)吞吐量高達(dá)98.7 Gb/s，接近理論帶寬上限，平均時(shí)延為51.8 μs，丟包率僅為0.03%，網(wǎng)絡(luò)性能表現(xiàn)優(yōu)異。其原因是Fat-Tree 拓?fù)浣Y(jié)構(gòu)可以提供大量冗余鏈路，并應(yīng)用RDMA 和DCT 等高速傳輸機(jī)制。

由表2 可以看出，在引入安全套接字協(xié)議（Secure Sockets Layer，SSL）加密、用戶身份驗(yàn)證、完整性校驗(yàn)等安全機(jī)制后，系統(tǒng)的吞吐量有所下降，平均時(shí)延略有增加，但幅度均在10%以內(nèi)。同時(shí)，采用加權(quán)輪詢和一致性哈希等智能負(fù)載均衡策略，可以在一定程度上緩解安全開(kāi)銷，將丟包率控制在0.1%以下。綜合來(lái)看，基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)在提供高強(qiáng)度安全保障的同時(shí)，仍然兼顧高吞吐低時(shí)延的通信需求，實(shí)現(xiàn)性能與安全的平衡。

4 結(jié) 論

文章主要研究基于數(shù)據(jù)通信的云計(jì)算系統(tǒng)的設(shè)計(jì)與優(yōu)化方法。其中網(wǎng)絡(luò)方面采用高速低延遲的3 層體系結(jié)構(gòu)，存儲(chǔ)系統(tǒng)構(gòu)建分布式文件系統(tǒng)，安全機(jī)制融合加密、訪問(wèn)控制及風(fēng)險(xiǎn)評(píng)估模塊。在仿真測(cè)試中，對(duì)系統(tǒng)的通信帶寬、吞吐延遲、可擴(kuò)展性及容錯(cuò)性能進(jìn)行評(píng)測(cè)，結(jié)果表明系統(tǒng)指標(biāo)突破現(xiàn)有水平，滿足大數(shù)據(jù)處理和高并發(fā)服務(wù)的需求。