劉景林，郝嘉鈺

（1.泉州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院 信息技術(shù)系，福建 泉州 362000；2.泉州華光職業(yè)學(xué)院 公共基礎(chǔ)部，福建 泉州 362000）

近年來(lái)，隨著電子商務(wù)、車(chē)聯(lián)網(wǎng)與衛(wèi)星網(wǎng)絡(luò)等新興網(wǎng)絡(luò)業(yè)務(wù)的快速發(fā)展，全球信息量迅速增加，有傳輸優(yōu)勢(shì)的云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)也發(fā)展迅速，規(guī)模不斷擴(kuò)大，部署種類(lèi)日漸增多，而其核心技術(shù)在高并發(fā)下的路徑選擇及路由轉(zhuǎn)發(fā)造成的負(fù)載不均衡，已成為制約云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)行的首要因素[1].因此，研究更適合云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)大規(guī)模訪(fǎng)問(wèn)下的智能路由算法很有必要.云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)主要有服務(wù)器、應(yīng)用軟件、交換機(jī)等組網(wǎng)通信，其中路由在整個(gè)通信過(guò)程中起關(guān)鍵作用.路由由多條被選擇的路徑組成，當(dāng)前絕大部分路由模式是實(shí)現(xiàn)服務(wù)器間的網(wǎng)絡(luò)互通，在一般的訪(fǎng)問(wèn)規(guī)模下，云計(jì)算數(shù)據(jù)中心只需要提供最短路徑的路由方案即可.最短路徑路由指被選擇路徑數(shù)量最少的路由方案，適用于整體傳輸性能較好的情況，并非所有情況下都是最優(yōu)路由方案[2].當(dāng)存在大規(guī)模訪(fǎng)問(wèn)云應(yīng)用時(shí)（如電子商務(wù)中的秒殺業(yè)務(wù)、衛(wèi)星網(wǎng)絡(luò)中的高并發(fā)海量數(shù)據(jù)下載），會(huì)出現(xiàn)最優(yōu)路由選擇難造成的系統(tǒng)負(fù)載不均衡問(wèn)題.

周學(xué)兵等[3]針對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)中大規(guī)模訪(fǎng)問(wèn)時(shí)能耗過(guò)高展開(kāi)研究，將減少電力消耗作為優(yōu)化目標(biāo)，并指出這是一個(gè)NP 難題，提出了可提前預(yù)測(cè)能量消耗的路由算法，此算法以交換機(jī)上最短路徑為比較對(duì)象，按用戶(hù)訪(fǎng)問(wèn)的路由可能路徑為對(duì)比對(duì)象，用遍歷所有可能路由路徑的方法找出最優(yōu)路由方案，但此方案只能在減少能量消耗上占優(yōu)勢(shì)，并未討論資源加載是否過(guò)載、大規(guī)模訪(fǎng)問(wèn)等影響負(fù)載不均衡的其他關(guān)鍵因素，也無(wú)法實(shí)現(xiàn)人工智能路由.與此同時(shí)，路由算法的優(yōu)劣也可通過(guò)路徑是否擁塞進(jìn)行評(píng)價(jià)，也有學(xué)者針對(duì)大規(guī)模訪(fǎng)問(wèn)時(shí)，能否影響網(wǎng)絡(luò)傳輸、網(wǎng)絡(luò)是否擁塞等展開(kāi)研究.原迪等[4]從大規(guī)模訪(fǎng)問(wèn)時(shí)對(duì)交換機(jī)的影響入手，重點(diǎn)分析了訪(fǎng)問(wèn)數(shù)據(jù)流中存在大流、小流，而小流即時(shí)性強(qiáng)，大流傳輸時(shí)間長(zhǎng)，建立適應(yīng)多流傳輸路由模型，可以為小流建立冗余路徑，以保證大流、小流的高效傳輸，此方法保障了數(shù)據(jù)流的按時(shí)到達(dá)，減少了網(wǎng)絡(luò)擁塞，但加劇了某一條路徑的負(fù)擔(dān)，仍可造成負(fù)載不均衡.也有學(xué)者用多目標(biāo)優(yōu)化QoS方法提高系統(tǒng)負(fù)載均衡，如段晨等[5]提出衛(wèi)星網(wǎng)絡(luò)中高負(fù)載多QoS目標(biāo)優(yōu)化算法，但只適用于動(dòng)態(tài)時(shí)變衛(wèi)星網(wǎng)絡(luò)，并不適用于云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò).鐘思等[6]針對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)中視頻流直播導(dǎo)致的負(fù)載不均衡影響傳輸問(wèn)題，利用神經(jīng)網(wǎng)絡(luò)感知主機(jī)負(fù)載狀態(tài)與網(wǎng)絡(luò)實(shí)時(shí)負(fù)載情況，分析了高負(fù)載下的路由特點(diǎn)，并提出基于深度強(qiáng)化學(xué)習(xí)的避免擁塞算法，證明了人工智能算法在此方面的優(yōu)勢(shì)，但此方案只適用多即時(shí)強(qiáng)的直播流，未全面考慮所有的傳輸數(shù)據(jù)流，也不適合應(yīng)用于云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò).

文中對(duì)云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)路由的關(guān)鍵技術(shù)進(jìn)行分析，提出人工智能強(qiáng)化學(xué)習(xí)的智能路由策略，以整個(gè)網(wǎng)絡(luò)用戶(hù)吞吐量最大化與數(shù)據(jù)中心網(wǎng)絡(luò)傳輸成本最小化為優(yōu)化目標(biāo)，設(shè)計(jì)實(shí)時(shí)最優(yōu)智能路由方案.

1 云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)常用路由算法

當(dāng)前，云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)常用的路由算法主要有以下幾種.

1）迪杰斯特拉（Dijkstra）算法.該算法是數(shù)據(jù)中心網(wǎng)絡(luò)中常用的路由算法，通過(guò)存儲(chǔ)所有頂點(diǎn)計(jì)算邊值，當(dāng)再次使用時(shí)直接查詢(xún)即可，需要維護(hù)最短路徑表，當(dāng)訪(fǎng)問(wèn)規(guī)模較大時(shí)，從路徑表中查找效率低，無(wú)法較好實(shí)現(xiàn)負(fù)載均衡.

2）等價(jià)路由算法（equal-cost multipath path,ECMP）.該算法存儲(chǔ)所有dest IP 及相同cost值的路徑，當(dāng)再次使用時(shí)直接查詢(xún)，優(yōu)點(diǎn)是易部署、負(fù)載較其他算法均衡，缺點(diǎn)是所有路由等份分配，無(wú)法滿(mǎn)足即時(shí)性要求高的業(yè)務(wù).

3）K最短路徑算法（K-shortest path,KSP）.該算法是Dijkstra 算法的擴(kuò)展，排除相交路徑及可能形成回路的路徑，同樣需要維護(hù)最短路徑表，對(duì)硬件的要求高，不易部署，不易實(shí)現(xiàn)負(fù)載均衡.

4）動(dòng)態(tài)調(diào)度負(fù)載均衡算法（dynamic scheduling load balancing,DSLB）.該算法原理是貪心地查找最大可用帶寬，與輪詢(xún)路由類(lèi)似，保障帶寬最大的情況下輪詢(xún)使用可用路徑，但沒(méi)有對(duì)時(shí)延、可用帶寬等其他性能指標(biāo)的判斷，有局限性.

除此之外，也有其他學(xué)者開(kāi)展云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)路由研究，云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)的路由實(shí)現(xiàn)方法有很多，文中主要討論大規(guī)模訪(fǎng)問(wèn)下可保障系統(tǒng)負(fù)載均衡的路由解決方案.當(dāng)大規(guī)模訪(fǎng)問(wèn)云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)時(shí)，為防止負(fù)載不均衡，需要整體考慮所有關(guān)鍵因素，而人工智能強(qiáng)化學(xué)習(xí)算法在此方面有較大優(yōu)勢(shì).

2 強(qiáng)化學(xué)習(xí)Q-learning算法及其應(yīng)用

2.1 強(qiáng)化學(xué)習(xí)Q-learning算法

Q-learning 算法原理是與現(xiàn)實(shí)環(huán)境不斷迭代并計(jì)算Q-value 表的值，收斂后取得最優(yōu)解，推算得出結(jié)論.目前該算法已廣泛應(yīng)用于國(guó)際象棋、自動(dòng)駕駛、交互博弈等場(chǎng)景，其實(shí)現(xiàn)過(guò)程如圖1.

算法由4 部分組成.S為環(huán)境狀態(tài)集合，A是對(duì)應(yīng)S下的每個(gè)狀態(tài)中可能的動(dòng)作集合.設(shè)在狀態(tài)s中采取一個(gè)行動(dòng)a，則新?tīng)顟B(tài)s'的概率是P(s'|s,a)，并設(shè)此次采取行動(dòng)所獲取的獎(jiǎng)勵(lì)（當(dāng)獎(jiǎng)勵(lì)為負(fù)值時(shí)，表明動(dòng)作不利于向好的結(jié)果發(fā)展）是R(s,a,s')，以上組成Q-learning 算法模型的四元組即為(S,A,P,R)，整個(gè)算法的求解過(guò)程就是找到最優(yōu)策略π:S->A.為使結(jié)論盡可能接近真實(shí)值，引入折扣率γ，其中γ∈[0,1]，當(dāng)γ≈1 時(shí)，表示注重長(zhǎng)期回報(bào)，也可理解成采用Q-learning 結(jié)論的概率大；當(dāng)γ≈0 時(shí)，表示注重短期回報(bào)，即不采用Q-learning 的結(jié)論.

強(qiáng)化學(xué)習(xí)中的模型很多，比如：Q-learning、確定性策略算法等，基本思想皆是馬爾可夫決策過(guò)程（markov decision process,MDP）.文中選用易部署、決策快的Q-learning算法，實(shí)現(xiàn)過(guò)程見(jiàn)表1.

首先創(chuàng)建一個(gè)二維表格，然后不斷循環(huán)遍歷所有目標(biāo)，第06行是獎(jiǎng)勵(lì)函數(shù)，第07～08行是存入二維表格，智能體不斷探索，當(dāng)?shù)竭_(dá)目標(biāo)后，便會(huì)繼續(xù)下一次探索，達(dá)到收斂并輸出最終動(dòng)作為止.強(qiáng)化學(xué)習(xí)可以解決網(wǎng)絡(luò)中的實(shí)際問(wèn)題，在多個(gè)研究方向有優(yōu)勢(shì)，已被廣泛應(yīng)用.王艷芳等[7]針對(duì)低軌衛(wèi)星網(wǎng)絡(luò)在高并發(fā)負(fù)載下路徑選擇難問(wèn)題，提出強(qiáng)化學(xué)習(xí)所有傳輸成本并迭代選擇最優(yōu)解的人工智能路由算法，比傳統(tǒng)路由算法有很大的優(yōu)勢(shì).陳前斌等[8]利用強(qiáng)化學(xué)習(xí)解決高負(fù)載條件下無(wú)線(xiàn)網(wǎng)絡(luò)資源分配問(wèn)題，可以明顯降低時(shí)延、能耗.

2.2 強(qiáng)化學(xué)習(xí)求解多目標(biāo)優(yōu)化

使用人工智能強(qiáng)化學(xué)習(xí)求解有很多優(yōu)點(diǎn)，例如傳統(tǒng)NP問(wèn)題有很大求解難度，不易建模，或建模不能完全覆蓋整體問(wèn)題本等，而強(qiáng)化學(xué)習(xí)的本質(zhì)是智能體與環(huán)境的不斷迭代，并不斷調(diào)整原始值，類(lèi)似“進(jìn)化”的過(guò)程，整個(gè)過(guò)程是尋找最佳策略的過(guò)程，因此較傳統(tǒng)求解機(jī)制有明顯的優(yōu)勢(shì)[9].文中高負(fù)載下影響網(wǎng)絡(luò)智能路由的因素有很多且具有不確定性，因此相對(duì)于使用傳統(tǒng)方式求解，應(yīng)用強(qiáng)化學(xué)習(xí)方法求解更優(yōu).此外，強(qiáng)化學(xué)習(xí)求解還在以下幾個(gè)方面占有優(yōu)勢(shì).

1）有較高的泛化能力.指機(jī)器學(xué)習(xí)算法學(xué)習(xí)能力，從已知（已有）的算法中泛化出新的算法，可替代人的算法學(xué)習(xí)能力，以實(shí)現(xiàn)無(wú)人值守、自動(dòng)完成的功能[10].

2）解決問(wèn)題高效.強(qiáng)化學(xué)習(xí)求解不需要將所有輸入全部解出答案，只需要把有代表性的、有影響策略的值求解出來(lái)，再找到最優(yōu)的策略即可.與傳統(tǒng)模型求解相比較，其迭代速度和結(jié)果質(zhì)量均有極大提高.對(duì)于特別復(fù)雜的問(wèn)題，可用神經(jīng)網(wǎng)絡(luò)即深度Q 網(wǎng)絡(luò)（DQN），一般問(wèn)題求解可應(yīng)用Q-learning 或Sarsa[11].

3）初始輸入要求低.在其他機(jī)器學(xué)習(xí)方案中，輸入值的量直接決定生成標(biāo)簽的優(yōu)劣，從而可影響最終結(jié)果，而強(qiáng)化學(xué)習(xí)在初始輸入要求較低，生成的訓(xùn)練模型更具有通用性，可減少其他應(yīng)用環(huán)境的再次輸入、再次訓(xùn)練，實(shí)現(xiàn)“一次輸入，多次應(yīng)用”[12].

4）搜索速度快.解決網(wǎng)絡(luò)路由問(wèn)題需要用到路徑搜索功能，傳統(tǒng)解決方案是尋找最小跳數(shù)或基于Dijkstra 算法，必須掌握整個(gè)網(wǎng)絡(luò)的基本信息（如Dijkstra 算法中邊值信息），且搜索過(guò)程中對(duì)計(jì)算、存儲(chǔ)能力有一定要求.而強(qiáng)化學(xué)習(xí)不必掌握整個(gè)網(wǎng)絡(luò)的基本信息，是尋找最優(yōu)解的過(guò)程，只需從一點(diǎn)開(kāi)始迭代即可，當(dāng)?shù)绞諗繒r(shí)，便得出需要搜索的路徑，處理問(wèn)題的本質(zhì)完全不同[13].

當(dāng)前，隨著計(jì)算機(jī)性能的不斷提高，各種框架的不斷完善，強(qiáng)化學(xué)習(xí)解決優(yōu)化問(wèn)題的案例有很多.為提出高效、通用的解決方案，文中應(yīng)用強(qiáng)化學(xué)習(xí)解決智能路由問(wèn)題.

3 智能路由算法

3.1 多目標(biāo)優(yōu)化模型

智能路由體現(xiàn)在每次路由決策均選擇最佳路徑實(shí)現(xiàn)，此目標(biāo)對(duì)云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)起到關(guān)鍵作用.智能路由一方面兼顧整個(gè)網(wǎng)絡(luò)的負(fù)載均衡，另一方面盡最大限度利用可用的傳輸路徑（帶寬與數(shù)量）.由于云計(jì)算數(shù)據(jù)中心具有并非最短路徑是最優(yōu)傳輸路徑且實(shí)時(shí)傳輸路徑多變的特點(diǎn)，因此文中基于路徑的傳輸性能與有效帶寬，設(shè)計(jì)了基于強(qiáng)化學(xué)習(xí)的多目標(biāo)優(yōu)化智能路由算法.

在云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)中，設(shè)G=(V,E)，其中G為整個(gè)網(wǎng)絡(luò)的拓?fù)浼?；V是其組成拓?fù)涞乃许旤c(diǎn)集合，有n=|V|且n>0；E是網(wǎng)絡(luò)中所有的邊集合，有，并排除i與j相等的情況，且vi、vj均屬于V集合，而表示云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)中的網(wǎng)絡(luò)鏈接，也就是現(xiàn)實(shí)中的傳播時(shí)延計(jì)算的基礎(chǔ).在整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)中可用帶寬集合設(shè)為Wb，傳播時(shí)延集合設(shè)為De.

根據(jù)上述內(nèi)容，可定義pst為從起始點(diǎn)到傳輸終止點(diǎn)的所有邊，即

其中，式（1）中的排隊(duì)兩端點(diǎn)，即vs≠v1及vm≠vt.假設(shè)其中任意的值j與k都有vj≠vk（是不相交鏈路），而在所有不相交的鏈路集合，則有

其中：式（2）中任意的值j與k都有pst(j)∩pst(k)=φ.

在整個(gè)網(wǎng)絡(luò)中，傳輸帶寬的最小值對(duì)路由的選擇起關(guān)鍵作用.因此，根據(jù)最初的帶寬集合定義，可得知一條路徑中最小帶寬為

另外在pst中同一鏈接源點(diǎn)，有多條鏈路相互鏈接，某一條最大的帶寬為

根據(jù)通信理論可知，網(wǎng)絡(luò)傳輸時(shí)延=傳輸時(shí)延+處理時(shí)延+排隊(duì)時(shí)延+傳播時(shí)延.在云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)中，處理時(shí)延、排隊(duì)時(shí)延與傳播時(shí)延可忽略，因此起關(guān)鍵作用的是傳輸時(shí)延.即

為了獲取高效的路徑，需要求出最小傳輸時(shí)延，即有

根據(jù)最開(kāi)始的研究，智能路由的目標(biāo)是盡可能選擇時(shí)延低、帶寬高的路徑為傳輸路徑，實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)的吞吐量轉(zhuǎn)化成多目標(biāo)模型.即

下一步將求解多目標(biāo)優(yōu)化模型（7）.求解的思路是首先按目標(biāo)條件求出路徑集合，然后再計(jì)算出k條不相交路徑，并輸出最優(yōu)路由.

3.2 算法實(shí)現(xiàn)

文中多目標(biāo)優(yōu)化模型的實(shí)現(xiàn)過(guò)程是在文獻(xiàn)[14，15]的基礎(chǔ)上改進(jìn)而來(lái).整個(gè)算法實(shí)現(xiàn)過(guò)程的偽代碼見(jiàn)表2.前一部分是按目標(biāo)條件找出所有的路徑集合，后一部分再?gòu)穆窂郊现姓页龇蠗l件的k條不相交路徑.

表2 生成路徑集合并查找k條不相交路徑

假定優(yōu)化目標(biāo)個(gè)數(shù)是m，模型（7）中的優(yōu)化目標(biāo)是相互獨(dú)立的.為應(yīng)用強(qiáng)化學(xué)習(xí)求解，也可表示為

其中：X是生成獎(jiǎng)勵(lì)的向量.整個(gè)多目標(biāo)優(yōu)化的目標(biāo)是求解X?，即f(X?)在滿(mǎn)足X約束下的最優(yōu)解，其子目標(biāo)的最大化，可表示為

算法時(shí)間復(fù)雜度不高，可從整體上實(shí)現(xiàn)多個(gè)目標(biāo)的統(tǒng)一處理.下文將驗(yàn)證算法的有效性，并評(píng)估其性能.

4 實(shí)驗(yàn)仿真與結(jié)果分析

通過(guò)構(gòu)建云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)，并模擬高負(fù)載下訪(fǎng)問(wèn)情況以驗(yàn)證所提出解決方案的有效性.依據(jù)參考文獻(xiàn)[16]的仿真參數(shù)，搭建如下仿真平臺(tái).硬件環(huán)境：Intel(R)Core(TM)i5 12400F CPU@2.50 GHz×6，32 GB 內(nèi)存.Python 版本號(hào)：Python 3.7.操作系統(tǒng)：Ubuntu 22.04.網(wǎng)絡(luò)路由分析與調(diào)試工具：Wireshark v3.6.3版，用于分析網(wǎng)絡(luò)路由.網(wǎng)絡(luò)模擬工具：Mahimahi，用于模擬仿真實(shí)驗(yàn)中的網(wǎng)絡(luò)參數(shù).

數(shù)據(jù)中心網(wǎng)絡(luò)選用Fat-tree，其中k=2，搭建云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)如圖2 所示.鏈路最大帶寬為10 Mbps，時(shí)延為5 ms.

圖2 基于Fat-tree的數(shù)據(jù)中心網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)參數(shù)見(jiàn)表3所示.

表3 強(qiáng)化學(xué)習(xí)參數(shù)

根據(jù)Fat-tree 的特點(diǎn)，隨著網(wǎng)絡(luò)規(guī)模的增加，各分帶寬也會(huì)擴(kuò)大，能夠?yàn)閿?shù)據(jù)中心網(wǎng)絡(luò)提供高吞吐量的傳輸能力，有利于緩解高負(fù)載的壓力.不同Pod 間的云服務(wù)器可相互通信，能應(yīng)對(duì)一定的出錯(cuò)概率[17].當(dāng)然，F(xiàn)at-tree 也有一定的缺陷，如整個(gè)網(wǎng)絡(luò)的規(guī)模取決于最頂層的核心交換機(jī)，不論是核心交換機(jī)還是邊緣交換機(jī)，只要出現(xiàn)故障，即對(duì)整個(gè)網(wǎng)絡(luò)路由有較大的影響[18-21].

仿真對(duì)比對(duì)象分別為Dijkstra、ECMP、文獻(xiàn)[13]、文獻(xiàn)[14]、智能路由算法（即文中算法）.通過(guò)仿真對(duì)比以下指標(biāo)分析各算法的綜合性能.

1）吞吐量.吞吐量用于衡量網(wǎng)絡(luò)傳輸能力，其計(jì)算方法是單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù)量.吞吐量計(jì)算式為

式中：G是吞吐量；t是傳輸時(shí)間；d是此段時(shí)間內(nèi)傳輸數(shù)據(jù)的總字節(jié)數(shù).

吞吐量反映整個(gè)網(wǎng)絡(luò)的傳輸能力，傳輸結(jié)果如圖3 所示.當(dāng)訪(fǎng)問(wèn)量一般時(shí)，幾種算法的吞吐量相差不大，隨著訪(fǎng)問(wèn)次數(shù)的增加，文中算法吞吐量最高；文獻(xiàn)[13]中強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)是固定的，不適合數(shù)據(jù)中心情景使用；文獻(xiàn)[14]中多目標(biāo)優(yōu)化方法不適合負(fù)載過(guò)高時(shí)的應(yīng)用，性能最差，無(wú)法應(yīng)對(duì)高訪(fǎng)問(wèn)、高負(fù)載；ECMP 表現(xiàn)也較一般.文中算法以最大化吞吐量為優(yōu)化目標(biāo)之一，且能實(shí)時(shí)調(diào)整最優(yōu)路由方案，當(dāng)load=70時(shí)，實(shí)現(xiàn)了避免擁塞，未造成吞吐量明顯下降，整體傳輸能力優(yōu)于其他算法.

圖3 吞吐量與負(fù)載關(guān)系圖

2）負(fù)載與平均帶寬利用率.負(fù)載并發(fā)生成所使用的軟件為Webbench 5.0.平均帶寬利用率的計(jì)算式為

式中：Bu是平均帶寬利用率；對(duì)于云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)中的某一條流，Bs是發(fā)送前帶寬；Br是實(shí)時(shí)帶寬；x是統(tǒng)計(jì)的流總數(shù)量.

負(fù)載與平均帶寬利用率間的關(guān)系可以直接反映出大規(guī)模訪(fǎng)問(wèn)時(shí)的性能，如是否擁塞、能否滿(mǎn)足高負(fù)載傳輸?shù)?平均帶寬利用率與負(fù)載比較結(jié)果如圖4所示.

圖4 平均帶寬利用率與負(fù)載關(guān)系圖

從圖4中可以得出：當(dāng)一般規(guī)模訪(fǎng)問(wèn)時(shí)，所有算法的平均帶寬利用率都是1，但是隨著訪(fǎng)問(wèn)規(guī)模的增加，Dijkstra算法平均帶寬利用率最先下降，且下降速度快于其他算法，最終在0.17處停止；文獻(xiàn)[13]方案不適合數(shù)據(jù)中心中應(yīng)用，與Dijkstra 算法有相似的結(jié)果；文獻(xiàn)[14]方案未考慮負(fù)載，出現(xiàn)不穩(wěn)定，波動(dòng)較大；ECMP 有平分帶寬的能力，平均帶寬利用率優(yōu)于Dijkstra 算法；智能路由算法根據(jù)實(shí)時(shí)的網(wǎng)絡(luò)狀況選擇最優(yōu)路由，較好地應(yīng)對(duì)了高負(fù)載、大規(guī)模訪(fǎng)問(wèn)，有較高的平均帶寬利用率，傳輸性能最佳.

從圖4的試驗(yàn)數(shù)據(jù)分析可知，不足之處是訓(xùn)練過(guò)程可能會(huì)出現(xiàn)零星的低估問(wèn)題，影響強(qiáng)化學(xué)習(xí)的決策，解決方案是應(yīng)用多個(gè)不同的神經(jīng)網(wǎng)絡(luò)，盡可能縮小由于值的低估對(duì)算法核心的影響.如Bootstrapping法，將有限的樣本數(shù)據(jù)通過(guò)重新設(shè)計(jì)抽樣規(guī)則生成新的、有代表性的父本數(shù)據(jù)，從而擴(kuò)充訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)需要的信息訓(xùn)練數(shù).再者，強(qiáng)化學(xué)習(xí)求解需要進(jìn)行大量的試錯(cuò)和迭代，文中研究可能會(huì)導(dǎo)致求解效果不佳或出現(xiàn)過(guò)擬合的問(wèn)題.

5 結(jié)語(yǔ)

文中研究了在云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)大規(guī)模訪(fǎng)問(wèn)時(shí)，路由實(shí)現(xiàn)難而造成的負(fù)載不均衡問(wèn)題，提出基于強(qiáng)化學(xué)習(xí)云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)智能路由算法，實(shí)現(xiàn)了根據(jù)實(shí)時(shí)路徑傳輸能力選擇最優(yōu)路由方案.通過(guò)仿真試驗(yàn)可知，智能路由占用計(jì)算資源少，吞吐量高于普通路由方案，該算法綜合考慮了高負(fù)載環(huán)境下對(duì)網(wǎng)絡(luò)的影響，能及時(shí)地選擇合適的傳輸路徑，可實(shí)現(xiàn)集中式訓(xùn)練一次，分布式執(zhí)行多次的協(xié)作模式，相比其他機(jī)器學(xué)習(xí)模型，可快速找出最優(yōu)解，響應(yīng)速度快.但智能路由系統(tǒng)每次只選擇最佳路徑進(jìn)行路由決策，當(dāng)訪(fǎng)問(wèn)規(guī)模較小時(shí)，默認(rèn)路由方案會(huì)被應(yīng)用.未來(lái)工作中，將繼續(xù)研究復(fù)雜情況下，如何降低模型的復(fù)雜度并減少訓(xùn)練時(shí)間與計(jì)算資源，進(jìn)一步研究深度強(qiáng)化學(xué)習(xí)（如強(qiáng)化學(xué)習(xí)確定性策略梯度DPG、近端策略?xún)?yōu)化PPO等）及多智能體強(qiáng)化學(xué)習(xí)在云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)中的路由解決方案.