張可涵,李紅艷,劉文慧,王 鵬

(1.西安電子科技大學(xué) 綜合業(yè)務(wù)網(wǎng)絡(luò)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710071;2.淘寶(中國(guó))軟件有限公司,浙江 杭州 311100)

1 引 言

在全球數(shù)字經(jīng)濟(jì)快速發(fā)展的變局下,數(shù)字技術(shù)已經(jīng)成為了各國(guó)基礎(chǔ)建設(shè)的重要發(fā)展目標(biāo)之一。2022年我國(guó)大力推行了“東數(shù)西算”工程,通過(guò)構(gòu)建數(shù)據(jù)中心、云計(jì)算、大數(shù)據(jù)一體化的新型算力網(wǎng)絡(luò)體系,優(yōu)化數(shù)據(jù)中心建設(shè)布局,促進(jìn)東西部協(xié)同聯(lián)動(dòng)[1]。由此可見(jiàn)數(shù)據(jù)中心網(wǎng)絡(luò)作為數(shù)據(jù)傳輸、計(jì)算和存儲(chǔ)的中心[2],是數(shù)字經(jīng)濟(jì)時(shí)代最重要的基礎(chǔ)設(shè)施之一。據(jù)統(tǒng)計(jì),全球超大規(guī)模數(shù)據(jù)中心數(shù)量已增至659個(gè),而我國(guó)政府、企業(yè)、教育機(jī)構(gòu)等擁有各類數(shù)據(jù)中心機(jī)房約7.4萬(wàn)個(gè),約占全球數(shù)據(jù)中心總量的23%[3]。隨著數(shù)字經(jīng)濟(jì)的快速發(fā)展,數(shù)據(jù)中心市場(chǎng)高速增長(zhǎng)。

數(shù)據(jù)中心網(wǎng)絡(luò)中核心業(yè)務(wù)場(chǎng)景為計(jì)算任務(wù)。該類任務(wù)請(qǐng)求多以虛擬網(wǎng)絡(luò)形式存在,即通過(guò)將數(shù)據(jù)中心網(wǎng)絡(luò)中的計(jì)算任務(wù)拆分成多個(gè)子計(jì)算任務(wù),支持將不同計(jì)算子任務(wù)部署在不同的服務(wù)器節(jié)點(diǎn)執(zhí)行分布式并行計(jì)算[4-5]。相比于將全部任務(wù)部署于同一個(gè)節(jié)點(diǎn)進(jìn)行計(jì)算,分布式并行計(jì)算可大大壓縮任務(wù)的計(jì)算時(shí)延,提升用戶的體驗(yàn)。此外,虛擬網(wǎng)絡(luò)技術(shù)[6-9]支持?jǐn)?shù)據(jù)中心計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源的共享[10],可有效提升數(shù)據(jù)中心資源利用率和網(wǎng)絡(luò)吞吐量,降低網(wǎng)絡(luò)運(yùn)營(yíng)成本。具體地,數(shù)據(jù)中心虛擬網(wǎng)絡(luò)由節(jié)點(diǎn)和鏈路構(gòu)成,節(jié)點(diǎn)代表計(jì)算子任務(wù),每個(gè)子任務(wù)對(duì)所部署的服務(wù)器節(jié)點(diǎn)有計(jì)算能力要求,用Flops衡量[11];鏈路代表子任務(wù)間的通信需求,可用鏈路通信速率衡量。進(jìn)而,數(shù)據(jù)中心網(wǎng)絡(luò)部署計(jì)算任務(wù)的過(guò)程稱為虛擬網(wǎng)絡(luò)映射,即將虛擬網(wǎng)絡(luò)中節(jié)點(diǎn)部署于滿足其計(jì)算能力需求的服務(wù)器容器中,不同節(jié)點(diǎn)所部署容器之間連接的網(wǎng)絡(luò)容量(即端到端帶寬)需滿足該子任務(wù)間的通信需求。在虛擬網(wǎng)絡(luò)中,每個(gè)子任務(wù)會(huì)處在不同服務(wù)器的虛擬機(jī)中,根據(jù)虛擬機(jī)編號(hào)可以查找出一個(gè)業(yè)務(wù)下的所有子任務(wù),據(jù)此構(gòu)建一張業(yè)務(wù)虛擬網(wǎng)絡(luò)拓?fù)鋱D。如圖1所示,一個(gè)計(jì)算任務(wù)下涵蓋5個(gè)子任務(wù),將計(jì)算任務(wù)映射于數(shù)據(jù)中心的服務(wù)器中,虛線代表該子任務(wù)映射于所指向服務(wù)器的容器中,最終這些子任務(wù)按序或并發(fā)執(zhí)行。事實(shí)上,由于虛擬網(wǎng)絡(luò)流量預(yù)測(cè)精度欠佳,虛擬網(wǎng)絡(luò)映射多依據(jù)業(yè)務(wù)需求的峰值進(jìn)行資源分配,制約了數(shù)據(jù)中心資源利用率[12-15],阿里巴巴集團(tuán)控股有限公司中數(shù)據(jù)中心計(jì)算資源利用率僅約為39.28%[16],亟需提出高效精準(zhǔn)的虛擬網(wǎng)絡(luò)業(yè)務(wù)預(yù)測(cè)模型,支撐數(shù)據(jù)中心網(wǎng)絡(luò)資源的高效分配,提升數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率。

圖1 業(yè)務(wù)虛擬網(wǎng)絡(luò)拓?fù)鋱D

目前,大部分?jǐn)?shù)據(jù)中心網(wǎng)絡(luò)流量預(yù)測(cè)工作集中在單鏈路流量預(yù)測(cè)領(lǐng)域,但由于鏈路之間的通信帶寬需求會(huì)相互影響,單鏈路預(yù)測(cè)難以捕獲不同鏈路間的關(guān)聯(lián)關(guān)系,導(dǎo)致預(yù)測(cè)精度難提升。文獻(xiàn)[17]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的網(wǎng)絡(luò)流量預(yù)測(cè)方法,將網(wǎng)絡(luò)流量的時(shí)間序列轉(zhuǎn)換為圖像,用卷積核來(lái)捕獲流量特征。由于卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小有限,難以捕獲長(zhǎng)周期序列的相關(guān)特征[18]?；诖?文獻(xiàn)[19]提出了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)模型,在隱藏層的神經(jīng)元之間建立連接,表征了神經(jīng)元的當(dāng)前狀態(tài)與歷史狀態(tài)之間的關(guān)系,易于捕捉較長(zhǎng)周期序列的相關(guān)特征,由于神經(jīng)網(wǎng)絡(luò)固有的梯度消失的問(wèn)題,RNN神經(jīng)網(wǎng)絡(luò)仍然無(wú)法精準(zhǔn)預(yù)測(cè)長(zhǎng)周期序列。文獻(xiàn)[20]等提出了基于長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)流量預(yù)測(cè)方法。與RNN網(wǎng)絡(luò)相比,LSTM網(wǎng)絡(luò)中的神經(jīng)元增加了3個(gè)門結(jié)構(gòu),用于控制歷史信息在隱藏層中的傳播方式,在一定程度上避免了梯度消失問(wèn)題。

虛擬網(wǎng)絡(luò)環(huán)境中,由于任務(wù)之間的相關(guān)性,鏈路流量不僅與本鏈路的歷史信息相關(guān),還與網(wǎng)絡(luò)中的其他鏈路流量相關(guān)。圖2刻畫(huà)了不同鏈路上的通信流量大小隨時(shí)間變化的曲線,如圖2(a)和圖2(b)所示,容易發(fā)現(xiàn)兩條鏈路的流量趨勢(shì)呈現(xiàn)明顯的相關(guān)性,即當(dāng)圖2(a)中的曲線在20～30時(shí)刻上升時(shí),圖2(b)中的曲線也在30～40時(shí)刻內(nèi)出現(xiàn)上升趨勢(shì)。因此,充分挖掘鏈路流量之間的空間相關(guān)性和時(shí)間相關(guān)性信息,是提升數(shù)據(jù)中心網(wǎng)絡(luò)流量的預(yù)測(cè)精度的關(guān)鍵。

事實(shí)上,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)[21]具備從圖中提取節(jié)點(diǎn)間相關(guān)關(guān)系的能力。當(dāng)前用于預(yù)測(cè)的兩種熱門圖神經(jīng)網(wǎng)絡(luò):圖注意力網(wǎng)絡(luò)(Graph Attention neural Network,GAN)[22]和圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)[23-24],兩者都能夠挖掘并利用不同鏈路之間的空間相關(guān)性。其中,GAN網(wǎng)絡(luò)是在GCN網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)所提出的模型,適用于動(dòng)態(tài)圖的建模,但在虛擬網(wǎng)絡(luò)中一個(gè)業(yè)務(wù)下分割的子任務(wù)數(shù)往往是固定的,即網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)是不變的,且所構(gòu)成的網(wǎng)絡(luò)規(guī)模較小,而GAN網(wǎng)絡(luò)參數(shù)比GNN網(wǎng)絡(luò)和GCN網(wǎng)絡(luò)更多,計(jì)算復(fù)雜度更高,并不適用于小型網(wǎng)絡(luò)的建模。而對(duì)于傳統(tǒng)的GCN網(wǎng)絡(luò),由于其難以學(xué)習(xí)節(jié)點(diǎn)的時(shí)間特征,往往需要和其它時(shí)序模型進(jìn)行結(jié)合。文獻(xiàn)[25]提出了時(shí)間圖卷積網(wǎng)絡(luò),利用圖卷積神經(jīng)網(wǎng)絡(luò)GCN捕獲道路間的流量關(guān)系,利用門控循環(huán)神經(jīng)網(wǎng)絡(luò)(Gated Recurrent Unit,GRU)[26]提取道路流量的時(shí)間序列特征。然而,時(shí)間圖卷積網(wǎng)絡(luò)只能提取某一時(shí)刻下鏈路間的時(shí)間特征,難以表征鏈路之間的異步關(guān)系,即鏈路之間在一定時(shí)差下的相關(guān)性。因此,盡管GCN網(wǎng)絡(luò)以及基于時(shí)間的GCN網(wǎng)絡(luò)可有效挖掘網(wǎng)絡(luò)中不同鏈路的相關(guān)性,將傳統(tǒng)GCN網(wǎng)絡(luò)以及基于改進(jìn)的CCN網(wǎng)絡(luò)應(yīng)用于虛擬網(wǎng)絡(luò)流量預(yù)測(cè),仍面臨如下挑戰(zhàn):①虛擬網(wǎng)路各任務(wù)的啟動(dòng)可能存在先后順序,而GCN網(wǎng)絡(luò)假定圖中各節(jié)點(diǎn)同步,忽略了虛擬鏈路之間的異步特征,導(dǎo)致預(yù)測(cè)模型精度低;②GCN固定長(zhǎng)度的卷積核難以捕獲不同時(shí)段的流量特征,如圖2(a)所示,0～80時(shí)刻內(nèi),流量隨時(shí)間上升且波動(dòng)較小;80～240時(shí)刻內(nèi),流量隨時(shí)間劇烈抖動(dòng),若采用相同長(zhǎng)度的卷積核,難以匹配該流量的實(shí)時(shí)變化情況,使得不同時(shí)段預(yù)測(cè)精度差距較大。

(b) 任務(wù)1與任務(wù)3之間的通信流量

針對(duì)上述問(wèn)題,筆者提出了一種時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò)(Temporal Correlation Graph Convolutional Network,TC-GCN),通過(guò)充分挖掘虛擬網(wǎng)絡(luò)各鏈路間的時(shí)間和空間相關(guān)性,以及利用不同時(shí)間窗口長(zhǎng)度的GCN網(wǎng)絡(luò)進(jìn)行聯(lián)合學(xué)習(xí),精準(zhǔn)預(yù)測(cè)了虛擬網(wǎng)絡(luò)各鏈路的流量。首先,利用皮爾遜相關(guān)系數(shù)的流量相關(guān)性分析方法,分析虛擬網(wǎng)絡(luò)各鏈路流量之間的時(shí)間關(guān)系,解決了虛擬網(wǎng)絡(luò)鏈路間由于流量異步性導(dǎo)致的預(yù)測(cè)偏差,據(jù)此提出了具有時(shí)間屬性的GCN網(wǎng)絡(luò)鄰接矩陣,并設(shè)計(jì)了時(shí)間相關(guān)GCN神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)鏈路相關(guān)性的精準(zhǔn)表征;其次,分別構(gòu)建長(zhǎng)窗口/短窗口時(shí)間相關(guān)GCN神經(jīng)網(wǎng)絡(luò),作為序列特征的訓(xùn)練模型,用于學(xué)習(xí)流量序列平滑段和波動(dòng)段,以此匹配流量在不同時(shí)段的特征,有效避免了神經(jīng)網(wǎng)絡(luò)對(duì)于長(zhǎng)序列學(xué)習(xí)后的梯度消失問(wèn)題;最后,設(shè)計(jì)了一個(gè)誤差加權(quán)單元(Error Weighted Unit,EWU),依據(jù)長(zhǎng)窗口、短窗口GCN網(wǎng)絡(luò)模型的預(yù)測(cè)精度,構(gòu)建長(zhǎng)短窗口GCN網(wǎng)絡(luò)輸出值的加權(quán)系數(shù),提升虛擬網(wǎng)絡(luò)的流量預(yù)測(cè)精度;利用反向傳播算法學(xué)習(xí)時(shí)間GCN網(wǎng)絡(luò)、誤差加權(quán)單元的參數(shù),構(gòu)成虛擬網(wǎng)絡(luò)流量預(yù)測(cè)模型TC-GCN。在數(shù)據(jù)中心所產(chǎn)生的真實(shí)數(shù)據(jù)集上,設(shè)計(jì)了數(shù)值仿真實(shí)驗(yàn),驗(yàn)證了TC-GCN模型的流量預(yù)測(cè)精度高于傳統(tǒng)GCN網(wǎng)絡(luò)。文章最后總結(jié)了文中工作,討論了后續(xù)的研究工作。

2 虛擬網(wǎng)絡(luò)鏈路相關(guān)性分析

如圖3(a)所示,虛擬網(wǎng)絡(luò)可以用圖F進(jìn)行表征,圖中的節(jié)點(diǎn)為計(jì)算任務(wù)節(jié)點(diǎn),節(jié)點(diǎn)間的鏈路為虛擬鏈路,僅承載任務(wù)節(jié)點(diǎn)之間的流量。為方便GCN網(wǎng)絡(luò)進(jìn)行計(jì)算,這里將圖F映射為鏈路流量關(guān)系圖G,如圖3(b)所示,圖中的節(jié)點(diǎn)vi對(duì)應(yīng)虛擬網(wǎng)絡(luò)中的鏈路li,若虛擬網(wǎng)絡(luò)中的兩條邊為鄰接關(guān)系,如邊l1和邊l2,則在鏈路流量關(guān)系圖中v1與v2亦為鄰接關(guān)系。

圖3 虛擬網(wǎng)絡(luò)與鏈路流量映射關(guān)系

(1)

節(jié)點(diǎn)v1與v2,v3與v4的皮爾遜相關(guān)系數(shù)分別如圖4(a)和4(b)所示。在圖4(a)中,可以觀察出v1與v2這兩個(gè)節(jié)點(diǎn)的相對(duì)時(shí)刻為5時(shí),虛擬網(wǎng)絡(luò)兩條鏈路的相關(guān)性最大。鏈路流量相關(guān)性隨著相對(duì)時(shí)刻的增加而降低,各鏈路之間的相關(guān)性存在差異。圖卷積神經(jīng)網(wǎng)絡(luò)依據(jù)鏈路之間的相關(guān)性預(yù)測(cè)鏈路流量,若鏈路流量相關(guān)性與序列的相差時(shí)刻有關(guān),圖卷積神經(jīng)網(wǎng)絡(luò)的鄰接矩陣需考慮序列的時(shí)間因素。

(a) 圖3(b)中節(jié)點(diǎn)v1與節(jié)點(diǎn)v2之間的相關(guān)系數(shù)

(b) 圖3(b)中節(jié)點(diǎn)v3與節(jié)點(diǎn)v4之間的相關(guān)系數(shù)

3 時(shí)間相關(guān)圖卷積網(wǎng)絡(luò)流量預(yù)測(cè)方法

3.1 時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò)流量預(yù)測(cè)

這里提出了時(shí)間相關(guān)圖卷積網(wǎng)絡(luò)架構(gòu)。如圖5所示,TC-GCN由兩個(gè)時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò)和一個(gè)誤差加權(quán)單元構(gòu)成。設(shè)計(jì)了兩個(gè)時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò)TC-GCNl和TC-GCNs,其中TC-GCNl將包含較長(zhǎng)時(shí)刻l的節(jié)點(diǎn)特征矩陣輸入TC-GCN進(jìn)行圖卷積運(yùn)算,TC-GCNs將包含較少時(shí)刻s的節(jié)點(diǎn)特征輸入TC-GCN進(jìn)行圖卷積計(jì)算。兩者分別表征業(yè)務(wù)流量不同時(shí)段的緩變與劇烈波動(dòng)特征。TC-GCNl用于匹配流量的緩變特征,TC-GCNs用于匹配流量的劇烈波動(dòng)特征。誤差加權(quán)單元對(duì)兩個(gè)圖卷積神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行加權(quán)求和,旨在提升預(yù)測(cè)精度。與傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡(luò)相比,時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò)中的鄰接矩陣引入了鏈路流量的時(shí)間相關(guān)性,精準(zhǔn)表征了鏈路流量之間的關(guān)聯(lián)關(guān)系。

圖5 TC-GCN網(wǎng)絡(luò)結(jié)構(gòu)

3.2 時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò)

虛擬網(wǎng)絡(luò)中各計(jì)算節(jié)點(diǎn)聯(lián)合承擔(dān)大型計(jì)算任務(wù),各計(jì)算節(jié)點(diǎn)所承載子任務(wù)不同,導(dǎo)致各鏈路流量存在時(shí)間偏差和特征偏差,基于此,文中提出了時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò),如式(2)所示。其中,Xt∈RN×M表示t時(shí)刻上N條鏈路流量的特征矩陣,每條鏈路的流量窗口長(zhǎng)度為M個(gè)時(shí)刻。參數(shù)矩陣W用于提取鏈路流量序列的特征,W∈RL×M,W由M個(gè)卷積核構(gòu)成,L為卷積核長(zhǎng)度,通過(guò)訓(xùn)練W提取鏈路流量的序列特征。

Y=ReLU(ADRXtW) 。

(2)

ADR∈RN×N表示N條鏈路流量之間的時(shí)間相關(guān)矩陣,用于替代傳統(tǒng)的圖鄰接矩陣。按照式(1)計(jì)算出每條鏈路之間的最大時(shí)間相關(guān)系數(shù),采用softmax激活函數(shù)對(duì)所得相關(guān)系數(shù)進(jìn)行歸一化處理,旨在對(duì)每條鏈路流量與其他所有鏈路流量之間的相關(guān)系數(shù)按照總和為1分配權(quán)重,如式(3)、(4)所示。歸一化后所得即為時(shí)間相關(guān)矩陣ADR的參數(shù)。

(3)

(4)

為了學(xué)習(xí)流量的不同局部時(shí)間特征,TC-GCN由兩個(gè)不同輸入窗口長(zhǎng)度的GCN組成:長(zhǎng)窗口圖卷積網(wǎng)絡(luò)TC-GCNl捕捉流量曲線中變化相對(duì)平緩的時(shí)間特征,短窗口圖卷積網(wǎng)絡(luò)TC-GCNs捕捉流量曲線中變化相對(duì)劇烈的時(shí)間特征,兩者都可以學(xué)習(xí)到流量的空間相關(guān)性。計(jì)算公式如下所示:

(5)

(6)

3.3 誤差加權(quán)單元

(7)

(8)

(9)

圖6 誤差加權(quán)單元結(jié)構(gòu)

其中,Wl和bl代表TC-GCNl預(yù)測(cè)誤差的參數(shù)和偏置量,Ws和bs代表TC-GCNs預(yù)測(cè)誤差的參數(shù)和偏置量,xi為誤差大小。另外,激活函數(shù)NegR將各模塊預(yù)測(cè)值的輸出權(quán)重定義為一種與誤差負(fù)相關(guān)的關(guān)系,即誤差越大則為相應(yīng)預(yù)測(cè)結(jié)果分配的權(quán)重越小,誤差越小則為相應(yīng)預(yù)測(cè)結(jié)果分配的權(quán)重越大,且兩個(gè)輸出權(quán)重之和為1。這樣做的目的是盡可能使得誤差小的預(yù)測(cè)結(jié)果成為決定最終預(yù)測(cè)值的主導(dǎo)方,使得誤差大的預(yù)測(cè)結(jié)果對(duì)最終預(yù)測(cè)值的影響盡可能小。

最后,將兩個(gè)模塊的預(yù)測(cè)值按照輸出權(quán)重進(jìn)行加權(quán)求和,得到最終結(jié)果Yt+1輸出,計(jì)算公式如下所示:

(10)

其中,ol和os分別代表TC-GCNl和TC-GCNs的輸出門權(quán)重系數(shù)。誤差加權(quán)單元EWU通過(guò)對(duì)TC-GCNl和TC-GCNs兩個(gè)模塊的預(yù)測(cè)值加權(quán)求和,生成時(shí)間相關(guān)圖卷積網(wǎng)絡(luò)TC-GCN的預(yù)測(cè)值,如此構(gòu)成時(shí)間相關(guān)圖卷積網(wǎng)絡(luò)TC-GCN。

3.4 損失函數(shù)

(11)

4 仿真實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集為2021年9月從3所大學(xué)的數(shù)據(jù)中心采集,其中包括1 980臺(tái)服務(wù)器,這些服務(wù)器部署于北京,每5 min采集一次,采集時(shí)長(zhǎng)為8 d。收集的數(shù)據(jù)中包括時(shí)間戳、流量?jī)?yōu)先級(jí)、到達(dá)和處理時(shí)間、容器Pod編號(hào)與源端口和目的端口。數(shù)據(jù)文件內(nèi)包含1 040 000多條流量累計(jì)數(shù)據(jù),總大小為2.7 GB。根據(jù)任務(wù)編號(hào)和執(zhí)行時(shí)間可分析出虛擬網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),從而構(gòu)建出相應(yīng)的圖結(jié)構(gòu)。實(shí)驗(yàn)選取前80%的流量序列作為訓(xùn)練集,剩下20%的流量序列作為測(cè)試集。

4.2 實(shí)驗(yàn)設(shè)置

4.2.1 基線模型

文中選擇以下5種對(duì)比模型。

差分整合移動(dòng)平均自回歸模型(Auto Regressive Integrated Moving Average model,ARIMA)[27]:為線性預(yù)測(cè)模型。

長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM):通過(guò)3個(gè)門結(jié)構(gòu)控制信息的更新與傳播,適用于時(shí)間序列預(yù)測(cè)。

圖卷積神經(jīng)網(wǎng)絡(luò)(GCN):對(duì)圖數(shù)據(jù)進(jìn)行操作的神經(jīng)網(wǎng)絡(luò)架構(gòu),適用于存在空間特征的序列預(yù)測(cè)。

時(shí)間圖卷積神經(jīng)網(wǎng)絡(luò)(T-GCN):通過(guò)GCN提取時(shí)間特征,通過(guò)GRU提取空間特征。

時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)(STGCN)[28]:通過(guò)多個(gè)時(shí)空卷積模塊進(jìn)行特征提取,其中,時(shí)間模塊由一個(gè)一維卷積核與一個(gè)GLU組成,空間特征由圖卷積神經(jīng)網(wǎng)絡(luò)提取。

4.2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用Python3.7基于Pytorch1.0.1實(shí)現(xiàn),實(shí)驗(yàn)的編譯和測(cè)試均在Windows10系統(tǒng)下,使用CPU Inter(R)Core i3-7100 @ 3.90 GHz,GPU的型號(hào)是NVIDIA GeForce GTX 1050,內(nèi)存8 GB。在實(shí)驗(yàn)中使用了Facebook公司的Pythorch框架對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行編寫,相比于TensorFlow,PyTorch網(wǎng)絡(luò)定義方便,更有利于研究小規(guī)模項(xiàng)目快速做出原型。實(shí)驗(yàn)中,設(shè)置學(xué)習(xí)率learning rate=0.001,batch_size參數(shù)m=64,訓(xùn)練次數(shù)epoch=50。

4.2.3 評(píng)價(jià)指標(biāo)

準(zhǔn)確率RAccuracy

(12)

平均絕對(duì)誤差RMAE

(13)

均方根誤差RRMSE

(14)

其中,RAccuracy值越大,預(yù)測(cè)性能越好;RMAE和RRMSE值越小,預(yù)測(cè)性能越好。

4.3 實(shí)驗(yàn)結(jié)果分析

表1 不同模型預(yù)測(cè)虛擬網(wǎng)絡(luò)流量的性能

如表1中的結(jié)果所示,文中提出的時(shí)間相關(guān)圖卷積網(wǎng)絡(luò)TC-GCN性能較其它4個(gè)基線模型有較明顯提升,證明文中模型更加適用于數(shù)據(jù)中心虛擬網(wǎng)絡(luò)流量預(yù)測(cè)。

通過(guò)指標(biāo)數(shù)據(jù)很容易觀察到不同基線模型在預(yù)測(cè)虛擬網(wǎng)絡(luò)流量時(shí)的性能差異;結(jié)合真實(shí)數(shù)據(jù),根據(jù)各個(gè)模型的預(yù)測(cè)結(jié)果分別繪制相應(yīng)的曲線圖,如圖7(a)所示。可見(jiàn),傳統(tǒng)的統(tǒng)計(jì)方法ARIMA表現(xiàn)不佳,預(yù)測(cè)值在數(shù)據(jù)上升階段容易超出峰值,在數(shù)據(jù)下降階段容易低于峰谷,主要是由于線性方法很難處理復(fù)雜的、非平穩(wěn)數(shù)據(jù)。GCN在對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí),可以大致學(xué)習(xí)出數(shù)據(jù)的變化趨勢(shì),但很難準(zhǔn)確擬合真實(shí)曲線,極有可能的原因是其難以學(xué)習(xí)數(shù)據(jù)復(fù)雜的時(shí)間特性,以及相鄰鏈路流量時(shí)間相關(guān)性。LSTM的預(yù)測(cè)性能優(yōu)于ARIMA和GCN,但相較組合模型STGCN和T-GCN顯現(xiàn)出較大的劣勢(shì),這主要是因?yàn)閷?shí)驗(yàn)數(shù)據(jù)采集于數(shù)據(jù)中心網(wǎng)絡(luò),受到網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的影響較大,相鄰鏈路的流量數(shù)據(jù)會(huì)直接影響預(yù)測(cè)結(jié)果,而LSTM無(wú)法明確捕捉并利用到這些空間特征進(jìn)行有效預(yù)測(cè)。STGCN也是基于迭代預(yù)測(cè)機(jī)制的組合模型,但是更多的網(wǎng)絡(luò)結(jié)構(gòu)層導(dǎo)致其比TC-GCN引起更多的誤差累積,其使用一階門控卷積單元學(xué)習(xí)數(shù)據(jù)的時(shí)間特征,也遠(yuǎn)不及T-GCN的時(shí)間特征學(xué)習(xí)能力,同時(shí)也未考慮相鄰鏈路數(shù)據(jù)的時(shí)間相關(guān)性,對(duì)于流量峰值的預(yù)測(cè)還不夠準(zhǔn)確。而T-GCN也因?yàn)獒槍?duì)的是同一時(shí)刻的流量數(shù)據(jù),忽略了不同時(shí)刻的時(shí)間關(guān)系,存在一定的時(shí)刻偏差,所以對(duì)于虛擬網(wǎng)絡(luò)的流量預(yù)測(cè)不精確。因此STGCN和T-GCN的預(yù)測(cè)性能相對(duì)遜色于TC-GCN的預(yù)測(cè)性能,如圖7(e)和圖7(f)所示。

(a) Arima預(yù)測(cè)結(jié)果圖

(b) GCN預(yù)測(cè)結(jié)果圖

(c) LSTM預(yù)測(cè)結(jié)果圖

(d) STGCN預(yù)測(cè)結(jié)果圖

(e) T-GCN預(yù)測(cè)結(jié)果圖

(f) TC-GCN預(yù)測(cè)結(jié)果圖

時(shí)間相關(guān)圖卷積網(wǎng)絡(luò)TC-GCN中添加了基于皮爾遜相關(guān)系數(shù)的相關(guān)性分析方法,不僅通過(guò)GCN計(jì)算相鄰鏈路在相同時(shí)刻的空間相關(guān)性,也能計(jì)算相鄰鏈路在不同時(shí)刻或時(shí)間段的時(shí)間相關(guān)性,充分捕捉了時(shí)空相關(guān)性對(duì)流量曲線波動(dòng)的影響;另外,TC-GCN分別使用兩種GCN模塊捕捉流量的時(shí)間特性,通過(guò)輸入不同時(shí)間窗口的節(jié)點(diǎn)特征矩陣,訓(xùn)練模型提取流量的長(zhǎng)期特性和短期特性,其中短期特性對(duì)應(yīng)著業(yè)務(wù)虛擬網(wǎng)絡(luò)流量值變化相對(duì)劇烈的時(shí)段,這樣也可以使得模型對(duì)于峰值的預(yù)測(cè)更加精準(zhǔn),并且能夠擬合流量曲線的包絡(luò)。這樣的預(yù)測(cè)結(jié)果對(duì)于數(shù)據(jù)中心資源分配工作具有更加重要的現(xiàn)實(shí)意義,當(dāng)分配的資源能夠滿足需求最大值時(shí),也就能保障業(yè)務(wù)整體的QoS。

5 結(jié)束語(yǔ)

筆者提出了時(shí)間相關(guān)圖卷積神經(jīng)網(wǎng)絡(luò),利用皮爾遜相關(guān)系數(shù),構(gòu)建了具有時(shí)間屬性的GCN網(wǎng)絡(luò)鄰接矩陣,精準(zhǔn)表征了鏈路之間的相關(guān)性;設(shè)計(jì)了長(zhǎng)/短窗口GCN加權(quán)的流量預(yù)測(cè)機(jī)制,利用不同的窗口長(zhǎng)度匹配流量序列在不同時(shí)段的緩變與波動(dòng)特征,提升了虛擬網(wǎng)絡(luò)的流量預(yù)測(cè)精度。利用數(shù)據(jù)中心所生產(chǎn)的真實(shí)數(shù)據(jù)驗(yàn)證了所提模型的有效性?？梢?jiàn)依據(jù)流量特征對(duì)GCN網(wǎng)絡(luò)進(jìn)行改進(jìn),有助于提升神經(jīng)網(wǎng)絡(luò)的可解釋性,降低神經(jīng)網(wǎng)絡(luò)的規(guī)模,提升神經(jīng)網(wǎng)絡(luò)在在線流量預(yù)測(cè)中的適用性。在下一步工作中,將進(jìn)一步改善GCN網(wǎng)絡(luò)的鄰接矩陣,并考慮動(dòng)態(tài)圖建模的情況,結(jié)合圖注意力網(wǎng)絡(luò),嵌入式圖卷積網(wǎng)絡(luò)等結(jié)構(gòu),以提升流量預(yù)測(cè)的精度。