彭開(kāi)來(lái)/PENG Kailai，王旭/WANG Xu，唐琴琴/TANG Qinqin

（1. 網(wǎng)絡(luò)通信與安全紫金山實(shí)驗(yàn)室，中國(guó) 南京 211111；2. 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室，中國(guó) 北京 100876 ）

5G、物聯(lián)網(wǎng)等新型網(wǎng)絡(luò)技術(shù)的發(fā)展帶來(lái)了數(shù)字經(jīng)濟(jì)的高速發(fā)展和數(shù)字應(yīng)用場(chǎng)景的爆發(fā)式增加，隨之而來(lái)的是數(shù)據(jù)的海量增長(zhǎng)與算力的高度需求。根據(jù)華為發(fā)布的《計(jì)算2030》預(yù)測(cè)，2030 年人類(lèi)將進(jìn)入堯字節(jié)（YB）數(shù)據(jù)時(shí)代，通用算力將是現(xiàn)有算力的10 倍。在全球數(shù)字經(jīng)濟(jì)時(shí)代大背景下，算力相關(guān)技術(shù)及產(chǎn)業(yè)正成為國(guó)家推動(dòng)經(jīng)濟(jì)發(fā)展的強(qiáng)大動(dòng)力。2021 年5 月，國(guó)家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國(guó)家能源局聯(lián)合印發(fā)了《全國(guó)一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》，實(shí)施推進(jìn)“東數(shù)西算”工程，進(jìn)一步推進(jìn)中國(guó)數(shù)字經(jīng)濟(jì)的發(fā)展。這對(duì)于搶占數(shù)字產(chǎn)業(yè)鏈制高點(diǎn)，推動(dòng)建設(shè)數(shù)字強(qiáng)國(guó)有著極其重要的戰(zhàn)略意義[1]。在此背景下，本文對(duì)算力網(wǎng)絡(luò)的資源協(xié)同調(diào)度展開(kāi)研究。

物聯(lián)網(wǎng)時(shí)代下，網(wǎng)絡(luò)中數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)，傳統(tǒng)的云計(jì)算模式在處理海量的數(shù)據(jù)和應(yīng)對(duì)實(shí)時(shí)業(yè)務(wù)需求方面存在不少弊端。在云計(jì)算模式下，所有數(shù)據(jù)需要上傳到云計(jì)算中心進(jìn)行處理，現(xiàn)有的云計(jì)算平臺(tái)的計(jì)算能力難以滿足日益增長(zhǎng)的數(shù)據(jù)需求。同時(shí)，這種計(jì)算模式對(duì)終端的需求有一定的響應(yīng)時(shí)間，難以滿足如無(wú)人駕駛等新型業(yè)務(wù)場(chǎng)景下實(shí)時(shí)性較強(qiáng)的業(yè)務(wù)需求[2]。因此，僅靠單一云端算力難以滿足所有業(yè)務(wù)需求。在此背景下，邊緣計(jì)算應(yīng)運(yùn)而生。邊緣計(jì)算通過(guò)引入邊緣側(cè)算力，使得網(wǎng)絡(luò)中的部分?jǐn)?shù)據(jù)無(wú)須上傳至云計(jì)算中心，在網(wǎng)絡(luò)邊緣側(cè)就能完成數(shù)據(jù)的分析與計(jì)算。這不僅可以高效快速地反饋需求，還分擔(dān)了云計(jì)算中心的部分?jǐn)?shù)據(jù)請(qǐng)求任務(wù)[3]。此外，隨著無(wú)線接入側(cè)能力的大幅提升，大量的終端設(shè)備逐漸接入網(wǎng)絡(luò)中，提供了大量的端側(cè)算力。因此，目前算力資源不再集中分布在云數(shù)據(jù)中心，而是廣泛分布在大量的邊緣節(jié)點(diǎn)及海量的終端設(shè)備上。算力資源正由集中式云計(jì)算轉(zhuǎn)向云邊端泛在分布，算力架構(gòu)逐漸演變?yōu)樵啤⑦?、端三?jí)架構(gòu)形式[4]。

在這種演進(jìn)的趨勢(shì)下，算力資源的協(xié)同是關(guān)鍵。這種情況下算力網(wǎng)絡(luò)應(yīng)運(yùn)而生。算力網(wǎng)絡(luò)能夠根據(jù)業(yè)務(wù)需求，在云、網(wǎng)、邊、端之間按需調(diào)度計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源（包括但不限于節(jié)點(diǎn)的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)等），旨在實(shí)現(xiàn)分布式計(jì)算節(jié)點(diǎn)的互聯(lián)互通和統(tǒng)籌調(diào)度，通過(guò)對(duì)網(wǎng)絡(luò)架構(gòu)和協(xié)議的改進(jìn)，進(jìn)而實(shí)現(xiàn)網(wǎng)絡(luò)和計(jì)算資源的優(yōu)化和高效利用[5]。通過(guò)無(wú)處不在的網(wǎng)絡(luò)連接，算力網(wǎng)絡(luò)整合多級(jí)算力、存儲(chǔ)等，將地理位置較為分散的算力資源連接起來(lái)，統(tǒng)籌分配和調(diào)度計(jì)算任務(wù)，針對(duì)不同的業(yè)務(wù)需求，為行業(yè)提供最佳的資源分配方案，進(jìn)而實(shí)現(xiàn)整網(wǎng)資源的按需最優(yōu)分配使用。

1 算力網(wǎng)絡(luò)資源協(xié)同調(diào)度平臺(tái)

算力網(wǎng)絡(luò)融合了多區(qū)域、多層級(jí)的算力資源。面向用戶差異化需求，如何實(shí)現(xiàn)全域大范圍多層次算力資源的彈性靈活調(diào)度，是算力網(wǎng)絡(luò)亟需解決的難點(diǎn)[6]。針對(duì)這一挑戰(zhàn)，本文設(shè)計(jì)了一個(gè)算力網(wǎng)絡(luò)資源協(xié)同調(diào)度平臺(tái)，對(duì)算力資源的協(xié)同調(diào)度開(kāi)展了一些探索和實(shí)踐研究。

算力網(wǎng)絡(luò)資源協(xié)同調(diào)度平臺(tái)的總體技術(shù)架構(gòu)如圖1 所示。該架構(gòu)分為算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)和算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)兩個(gè)子系統(tǒng)。其中，算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)由初始化模塊、應(yīng)用需求匹配模塊、歷史策略匹配模塊、資源調(diào)度策略部署模塊組成，支持算網(wǎng)資源的統(tǒng)一調(diào)度：基于各種業(yè)務(wù)場(chǎng)景的關(guān)鍵需求指標(biāo)（如網(wǎng)絡(luò)成本、能耗、帶寬等），依據(jù)云平臺(tái)所納管的云資源和網(wǎng)絡(luò)資源情況，形成滿足應(yīng)用需求的多公有云與私有云之間的算力資源調(diào)度策略和算網(wǎng)資源協(xié)同調(diào)度策略，實(shí)現(xiàn)相應(yīng)資源的自動(dòng)化最優(yōu)分配。算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)由監(jiān)控采集模塊、指標(biāo)預(yù)測(cè)模塊、擴(kuò)縮規(guī)劃模塊組成，實(shí)現(xiàn)對(duì)資源自動(dòng)發(fā)現(xiàn)及自動(dòng)納管，并基于新的資源池情況實(shí)現(xiàn)分配策略的自動(dòng)調(diào)整和用戶無(wú)感業(yè)務(wù)擴(kuò)縮容。

▲圖1 算網(wǎng)一體化調(diào)度平臺(tái)技術(shù)架構(gòu)

2 算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)

2.1 算力網(wǎng)絡(luò)資源調(diào)度策略研究

算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)的核心是資源調(diào)度策略。系統(tǒng)根據(jù)不同的優(yōu)化指標(biāo)提供4種算力資源調(diào)度策略：成本感知調(diào)度策略、負(fù)載感知調(diào)度策略、能效感知調(diào)度策略以及服務(wù)層協(xié)議（SLA）感知調(diào)度策略。

1）成本感知調(diào)度策略。不同云商針對(duì)計(jì)算資源、網(wǎng)絡(luò)資源、內(nèi)存資源等算力資源進(jìn)行不同的定價(jià)。不同的業(yè)務(wù)場(chǎng)景在計(jì)算、網(wǎng)絡(luò)、內(nèi)存、存儲(chǔ)等方面存在相應(yīng)的算力需求。根據(jù)部署方式以及部署節(jié)點(diǎn)的不同，部署成本存在著很大的區(qū)別。成本感知調(diào)度策略以最優(yōu)部署成本為優(yōu)化目標(biāo)，能夠完成網(wǎng)絡(luò)資源定價(jià)，借助算網(wǎng)資源池成本定價(jià)模式，設(shè)計(jì)綜合成本評(píng)估算網(wǎng)資源調(diào)度算法。

2）負(fù)載感知調(diào)度策略。負(fù)載感知調(diào)度策略以負(fù)載最優(yōu)為優(yōu)化目標(biāo)，通過(guò)對(duì)算網(wǎng)資源池負(fù)載定義和計(jì)算方法進(jìn)行研究，設(shè)計(jì)綜合負(fù)載評(píng)估算網(wǎng)資源調(diào)度算法。

3）能效感知調(diào)度策略。能效感知調(diào)度策略以實(shí)現(xiàn)業(yè)務(wù)所需能量代價(jià)最小為優(yōu)化目標(biāo)，通過(guò)對(duì)各云商算網(wǎng)力資源池能效進(jìn)行調(diào)研，對(duì)算網(wǎng)資源調(diào)度方案能效計(jì)算模型進(jìn)行研究，設(shè)計(jì)綜合能效評(píng)估算網(wǎng)資源調(diào)度算法。調(diào)度引擎依照能效感知調(diào)度策略將部署的容器集調(diào)度到物理機(jī)上運(yùn)行，使容器可以與程序所需資源一起配置，在滿足資源需求的前提下，盡量降低數(shù)據(jù)中心能耗。

4）SLA 感知調(diào)度策略。SLA[7]是指提供服務(wù)的企業(yè)與客戶之間就服務(wù)的品質(zhì)、水準(zhǔn)等方面所達(dá)成的雙方共同認(rèn)可的協(xié)議或契約，是解決Web 服務(wù)中這些問(wèn)題的基石。SLA 有助于在網(wǎng)絡(luò)服務(wù)之間劃分責(zé)任和風(fēng)險(xiǎn)，從而使網(wǎng)絡(luò)服務(wù)更加有序。SLA 感知調(diào)度策略能夠?qū)λ憔W(wǎng)資源調(diào)度方案的網(wǎng)絡(luò)SLA的關(guān)鍵特征指標(biāo)進(jìn)行研究，感知并學(xué)習(xí)相關(guān)SLA計(jì)算模型，進(jìn)而設(shè)計(jì)出綜合網(wǎng)絡(luò)SLA評(píng)估算網(wǎng)資源調(diào)度算法。

2.2 系統(tǒng)架構(gòu)

算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)根據(jù)算力和網(wǎng)絡(luò)的抽象資源指標(biāo)特征，對(duì)本文提出的負(fù)載、成本、能效、SLA 4種調(diào)度策略進(jìn)行模塊化組合使用，實(shí)現(xiàn)多目標(biāo)優(yōu)化。為了實(shí)現(xiàn)滿足大量差異化需求業(yè)務(wù)的調(diào)度策略，多目標(biāo)優(yōu)化的算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)提出了應(yīng)用需求匹配算法和歷史策略匹配算法。系統(tǒng)能夠在請(qǐng)求到來(lái)時(shí)選擇最優(yōu)的資源調(diào)度策略，滿足不同業(yè)務(wù)的應(yīng)用需求，充分利用集群資源。圖2為算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)的架構(gòu)圖。該系統(tǒng)分為微服務(wù)部署和用戶請(qǐng)求調(diào)度兩個(gè)部分。微服務(wù)是小規(guī)模、松散耦合的云應(yīng)用程序，是系統(tǒng)部署和請(qǐng)求調(diào)度的獨(dú)立單元。云計(jì)算業(yè)務(wù)承載于微服務(wù)中[8]。

▲圖2 多目標(biāo)優(yōu)化算力資源調(diào)度系統(tǒng)架構(gòu)圖

2.3 初始化模塊

在用戶使用算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)部署微服務(wù)時(shí)，調(diào)度系統(tǒng)首先將用戶選擇的應(yīng)用類(lèi)型標(biāo)簽與一段時(shí)間內(nèi)已部署過(guò)并具有相同標(biāo)簽的微服務(wù)進(jìn)行匹配，之后將篩選與待部署微服務(wù)的算網(wǎng)需求相似的一個(gè)時(shí)間最近的微服務(wù)，并查詢(xún)此微服務(wù)在部署時(shí)使用的部署策略。資源調(diào)度系統(tǒng)將為待部署微服務(wù)調(diào)用與此微服務(wù)相同的部署算法。

在進(jìn)行初始化部署時(shí)，多目標(biāo)優(yōu)化資源調(diào)度系統(tǒng)主要使用業(yè)務(wù)應(yīng)用標(biāo)簽匹配的方法。用戶在上傳應(yīng)用時(shí)需要選擇應(yīng)用標(biāo)簽。標(biāo)簽包括應(yīng)用的類(lèi)型和使用的開(kāi)發(fā)技術(shù)。在本系統(tǒng)中，將根據(jù)應(yīng)用類(lèi)型標(biāo)簽進(jìn)行相似應(yīng)用的匹配并決定部署算法調(diào)用的具體策略。系統(tǒng)可以按需靈活設(shè)置應(yīng)用標(biāo)簽種類(lèi)。設(shè)置的標(biāo)簽有電商大數(shù)據(jù)應(yīng)用、交通大數(shù)據(jù)應(yīng)用、AI 工地上崗應(yīng)用等。

2.4 應(yīng)用需求匹配模塊

初始化完成后，應(yīng)用需求匹配模塊將待部署的應(yīng)用記為S0，并將選取的應(yīng)用類(lèi)型標(biāo)簽記為L(zhǎng)，以檢測(cè)該應(yīng)用和其他應(yīng)用的相似性，實(shí)現(xiàn)應(yīng)用的匹配。具體做法是：對(duì)于待部署的應(yīng)用S0，選取一段時(shí)間內(nèi)（例如1d）已部署過(guò)且具有相同標(biāo)簽L的應(yīng)用，并按時(shí)間由近到遠(yuǎn)的順序?qū)⑵溆洖榧蟂={S1,S2,…,Sn}，若S為空，則直接采取隨機(jī)策略進(jìn)行部署；若S非空，則進(jìn)行資源需求的匹配，以進(jìn)一步實(shí)現(xiàn)部署策略的匹配。

集合S中的應(yīng)用依次與S0進(jìn)行算力資源需求和網(wǎng)絡(luò)資源需求的相似度分析。該過(guò)程僅選取關(guān)鍵算力指標(biāo)和網(wǎng)絡(luò)指標(biāo)進(jìn)行匹配，而不必使用全部指標(biāo)。

算力資源需求相似度α的計(jì)算公式為：

其中，第4項(xiàng)顯存容量的比較僅針對(duì)AI類(lèi)業(yè)務(wù)。

實(shí)際上，上述公式中的具體指標(biāo)可以根據(jù)應(yīng)用類(lèi)型的實(shí)際情況進(jìn)行設(shè)計(jì)。比如，如果S0或S中參與對(duì)比的應(yīng)用沒(méi)有對(duì)其中某項(xiàng)指標(biāo)提出需求，則不進(jìn)行該項(xiàng)指標(biāo)的比較，也不計(jì)入總公式。另外，算力需求相似度計(jì)算指標(biāo)可以根據(jù)具體需求擴(kuò)展增加。在公式（1）—（4）中，若任何有效的αi值均在0.85～1.15 內(nèi)，則判斷S0與Si算力資源需求相似。

與算力資源需求相似度α類(lèi)似，網(wǎng)絡(luò)資源需求相似度β的計(jì)算公式為：

其中，如果S0或S中參與對(duì)比的應(yīng)用沒(méi)有對(duì)其中某項(xiàng)指標(biāo)提出需求，則不進(jìn)行該項(xiàng)的比較，也不計(jì)入總公式。另外，網(wǎng)絡(luò)相似度計(jì)算指標(biāo)可以根據(jù)應(yīng)用類(lèi)型的實(shí)際情況進(jìn)行不同的選取和設(shè)計(jì)。在本公式中，若任何有效的βi值均在0.85～1.15內(nèi)，則判斷S0與Si網(wǎng)絡(luò)資源需求相似。當(dāng)S0與Si的算力資源需求和網(wǎng)絡(luò)資源需求都相似時(shí)，系統(tǒng)則認(rèn)定S0與Si為相似業(yè)務(wù)。此時(shí)，對(duì)S中其他應(yīng)用/請(qǐng)求的繼續(xù)比較將停止。

系統(tǒng)在日志/數(shù)據(jù)庫(kù)中查詢(xún)已部署過(guò)的Si部署策略，并統(tǒng)計(jì)用戶通過(guò)手動(dòng)選擇的4種調(diào)度策略各自的總次數(shù)，之后為待部署微服務(wù)調(diào)用選擇次數(shù)最多的策略。對(duì)S0進(jìn)行部署后，系統(tǒng)會(huì)調(diào)用相關(guān)算法輸出相應(yīng)的部署參數(shù)（云、集群、副本數(shù)）。如果在標(biāo)簽匹配步驟中沒(méi)有匹配到與待部署微服務(wù)具有相同標(biāo)簽的已部署微服務(wù)，則直接隨機(jī)為待部署微服務(wù)調(diào)用一種部署策略。

2.5 歷史策略匹配模塊

若對(duì)S中的所有應(yīng)用進(jìn)行標(biāo)簽匹配后，均未發(fā)現(xiàn)與S0的相似應(yīng)用，則使用歷史策略匹配模塊進(jìn)行調(diào)度。

對(duì)于集合S={S1,S2,…,Sn}中的所有應(yīng)用，統(tǒng)計(jì)用戶通過(guò)手動(dòng)選擇4種調(diào)度策略各自的次數(shù)（從日志/數(shù)據(jù)庫(kù)中獲知相應(yīng)信息），之后使用選擇次數(shù)最多的策略對(duì)S0進(jìn)行部署，并調(diào)用相關(guān)算法輸出相應(yīng)的部署結(jié)果（云、集群、副本數(shù)）。如果未能確定調(diào)度策略，則隨機(jī)采取一種感知調(diào)度策略進(jìn)行部署，并輸出部署結(jié)果。

歷史策略匹配模塊首先需要輸入集群對(duì)象列表、候選集群名稱(chēng)列表、微服務(wù)對(duì)象、微服務(wù)標(biāo)簽信息以及歷史微服務(wù)數(shù)據(jù)文件地址，然后再進(jìn)行初始化操作，遍歷N個(gè)歷史微服務(wù)，初始化微服務(wù)的對(duì)象、場(chǎng)景標(biāo)簽矩陣、開(kāi)發(fā)技術(shù)標(biāo)簽矩陣以及資源需求參數(shù)矩陣。遍歷操作會(huì)生成N個(gè)歷史微服務(wù)的對(duì)象、場(chǎng)景標(biāo)簽向量、開(kāi)發(fā)技術(shù)標(biāo)簽向量以及資源需求參數(shù)向量，使待部署微服務(wù)也有3個(gè)向量。為了計(jì)算微服務(wù)之間的相似度，流程中使用了協(xié)同過(guò)濾算法。協(xié)同過(guò)濾算法的核心思想是：通過(guò)用戶的交互反饋行為，計(jì)算用戶或者物品之間的相似性。公式（9）可計(jì)算對(duì)應(yīng)向量的相似度，公式（10）用于計(jì)算兩個(gè)微服務(wù)之間的相似度。若歷史微服務(wù)綜合相似度序列標(biāo)準(zhǔn)差小于1×10-4且相似度均小于0.5，則表面歷史微服務(wù)均不與待部署微服務(wù)相似。這時(shí)系統(tǒng)可隨機(jī)選擇成本、SLA、負(fù)載、能效感知等資源調(diào)度策略，否則選擇與待部署微服務(wù)綜合相似度最高的歷史微服務(wù)的部署算法。

2.6 資源調(diào)度策略部署模塊

微服務(wù)匹配篩選過(guò)程完成后，若找到了相似度較高的微服務(wù)，則按照匹配微服務(wù)使用的資源調(diào)度策略進(jìn)行部署，否則隨機(jī)選擇一種資源調(diào)度策略部署。多目標(biāo)優(yōu)化的算力資源調(diào)度系統(tǒng)能夠組合多種不同的資源調(diào)度策略。多種策略算法可以描述為公式（11）：

其中，rssi表示第i種資源調(diào)度策略，可以用一個(gè)函數(shù)來(lái)表示；server表示集群參數(shù)信息；service表示微服務(wù)請(qǐng)求信息，如SLA的請(qǐng)求參數(shù)、成本請(qǐng)求參數(shù)等；request為其他請(qǐng)求參數(shù)如輸出的集群數(shù)量等。

進(jìn)行第i種資源調(diào)度策略下的部署時(shí)，系統(tǒng)首先輸入微服務(wù)信息（包括微服務(wù)請(qǐng)求的各項(xiàng)指標(biāo)參數(shù)），輸入集群信息（包括集群靜態(tài)參數(shù)和不斷變化的實(shí)時(shí)參數(shù)）；然后以第i種策略計(jì)算最優(yōu)的集群如計(jì)算成本最優(yōu)的集群、SLA最優(yōu)的集群等策略；最后輸出部署結(jié)果。

在處理請(qǐng)求消息緩存隊(duì)列中的用戶請(qǐng)求時(shí)，算力網(wǎng)絡(luò)資源調(diào)度系統(tǒng)使用微服務(wù)部署時(shí)的算法類(lèi)型為這些請(qǐng)求進(jìn)行調(diào)度。系統(tǒng)調(diào)度算法輸出的調(diào)度結(jié)果有：云、集群、每個(gè)集群接收的請(qǐng)求。

資源策略部署模塊首先需要輸入應(yīng)用請(qǐng)求信息及微服務(wù)歷史數(shù)據(jù)，根據(jù)微服務(wù)請(qǐng)求信息，構(gòu)建應(yīng)用請(qǐng)求模型；然后查找應(yīng)用請(qǐng)求的微服務(wù)部署信息，根據(jù)微服務(wù)部署時(shí)使用的感知算法執(zhí)行相同種類(lèi)的應(yīng)用請(qǐng)求調(diào)度算法。得到的輸出結(jié)果包括集群名稱(chēng)、副本數(shù)。

使用的相同種類(lèi)應(yīng)用感知的應(yīng)用請(qǐng)求調(diào)度算法過(guò)程與部署算法相似。不同的是，其輸出為集群調(diào)度的概率分布。系統(tǒng)依據(jù)概率選擇請(qǐng)求調(diào)度的集群。公式（12）表示：資源調(diào)度到集群1 的概率為0.3，調(diào)度到集群2 的概率為0.3，調(diào)度到集群3的概率為0.4。

3 算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)

算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)是算力網(wǎng)絡(luò)協(xié)同調(diào)度中的核心模塊之一，對(duì)于算網(wǎng)應(yīng)用的運(yùn)行以及用戶服務(wù)的處理起著至關(guān)重要的作用[9]。如圖3 所示，平臺(tái)設(shè)計(jì)的動(dòng)態(tài)擴(kuò)縮容系統(tǒng)由監(jiān)控采集模塊、指標(biāo)預(yù)測(cè)模塊和擴(kuò)縮規(guī)劃模塊3 部分組成。動(dòng)態(tài)擴(kuò)縮容系統(tǒng)依托這些組件通過(guò)異步工作的方式實(shí)現(xiàn)微服務(wù)的動(dòng)態(tài)擴(kuò)縮容過(guò)程（增加/減少微服務(wù)實(shí)例），以實(shí)現(xiàn)算力資源的彈性靈活調(diào)度。

▲圖3 算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)總體架構(gòu)圖

3.1 監(jiān)控采集模塊

算網(wǎng)應(yīng)用進(jìn)行動(dòng)態(tài)擴(kuò)縮容操作時(shí)，需要綜合考慮內(nèi)存使用、CPU使用情況、系統(tǒng)的磁盤(pán)利用率、系統(tǒng)網(wǎng)絡(luò)帶寬利用率等負(fù)載指標(biāo)。這些負(fù)載指標(biāo)所占的權(quán)重（權(quán)重的和是1）根據(jù)具體情況而定。定義系統(tǒng)的綜合負(fù)載為L(zhǎng)，從算網(wǎng)資源狀況中獲取CPU的使用情況為C，內(nèi)存使用情況為M，磁盤(pán)使用情況為D，網(wǎng)絡(luò)帶寬使用情況為B，它們的權(quán)重分別定義為ωC、ωM、ωD、ωB，其中C,M,D,B∈[0,1]，則系統(tǒng)的綜合負(fù)載情況為：

監(jiān)控采集模塊負(fù)責(zé)對(duì)整個(gè)算力網(wǎng)絡(luò)的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控。本算法主要考慮兩類(lèi)資源指標(biāo)：一類(lèi)是系統(tǒng)資源級(jí)別指標(biāo)，另一類(lèi)是自定義資源指標(biāo)。其中，自定義指標(biāo)是指引入三方監(jiān)控提供“業(yè)務(wù)”指標(biāo)類(lèi)型。目前，三方監(jiān)控主要有Prometheus、Microsoft Azure 和Datadog Cluster 等。指標(biāo)適配器將指標(biāo)聚合到Aggregator，由 Aggregator向指標(biāo)預(yù)測(cè)模塊以及擴(kuò)縮規(guī)劃模塊提供所需指標(biāo)。

3.2 指標(biāo)預(yù)測(cè)模塊

指標(biāo)預(yù)測(cè)模塊一方面抓取上述監(jiān)控采集模塊監(jiān)控到的微服務(wù)副本集的歷史資源負(fù)載指標(biāo)數(shù)據(jù)，并通過(guò)這些歷史監(jiān)控?cái)?shù)據(jù)和預(yù)測(cè)模型來(lái)對(duì)下一時(shí)刻的微服務(wù)副本集的資源負(fù)載值進(jìn)行預(yù)測(cè)；另一方面將資源負(fù)載預(yù)測(cè)值輸出到擴(kuò)縮規(guī)劃模塊，以指導(dǎo)后續(xù)微服務(wù)的彈性擴(kuò)縮容工作。

隨著系統(tǒng)的運(yùn)行，時(shí)序性的負(fù)載指標(biāo)也就產(chǎn)生了。這些負(fù)載指標(biāo)由當(dāng)前運(yùn)行的CPU、內(nèi)存、磁盤(pán)利用率和帶寬占用情況共同組成?；谶@些負(fù)載指標(biāo)數(shù)據(jù)，系統(tǒng)可以預(yù)測(cè)出未來(lái)某段時(shí)間的系統(tǒng)負(fù)載情況，并根據(jù)預(yù)測(cè)的未來(lái)負(fù)載來(lái)進(jìn)行資源的彈性伸縮。該問(wèn)題可以看作一個(gè)時(shí)序預(yù)測(cè)問(wèn)題。預(yù)測(cè)模塊的輸入為之前一段時(shí)間（擴(kuò)縮容周期或自定義）綜合負(fù)載率組成的一組時(shí)序數(shù)據(jù)；預(yù)測(cè)模塊的輸出為短期的未來(lái)時(shí)序數(shù)據(jù)。

當(dāng)采用灰色預(yù)測(cè)模型對(duì)算網(wǎng)應(yīng)用微服務(wù)的系統(tǒng)負(fù)載進(jìn)行預(yù)測(cè)時(shí)，指標(biāo)預(yù)測(cè)模塊得到的結(jié)果為一個(gè)時(shí)序序列，它表示未來(lái)一段時(shí)間可能的資源使用量。預(yù)測(cè)序列中的最大值表示未來(lái)n秒內(nèi)微服務(wù)可能達(dá)到的資源使用量的最大值，作為主要指標(biāo)傳遞給擴(kuò)縮規(guī)劃模塊，從而進(jìn)行下一步規(guī)劃。

3.3 擴(kuò)縮規(guī)劃模塊

在算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)中，擴(kuò)縮規(guī)劃模塊擬采用階梯擴(kuò)縮容的方式進(jìn)行擴(kuò)縮操作。該擴(kuò)縮規(guī)劃模塊通過(guò)指標(biāo)預(yù)測(cè)模塊對(duì)資源負(fù)載未來(lái)的趨勢(shì)進(jìn)行分析，輸出系統(tǒng)綜合負(fù)載率預(yù)測(cè)序列最大值。如果該值大于擴(kuò)容閾值，則擴(kuò)縮規(guī)劃模塊計(jì)算副本數(shù)×擴(kuò)容步長(zhǎng)，并選取副本數(shù)×擴(kuò)容步長(zhǎng)與副本數(shù)最大值之間的較大值，執(zhí)行擴(kuò)容命令，使資源的副本數(shù)變多；如果小于縮容閾值，則計(jì)算副本數(shù)×縮容步長(zhǎng)，選取副本數(shù)×縮容步長(zhǎng)與副本數(shù)最小值之間的較小值，執(zhí)行縮容命令，使資源的副本數(shù)變少。因此，算力網(wǎng)絡(luò)動(dòng)態(tài)擴(kuò)縮容系統(tǒng)可以提前做出擴(kuò)容或縮容操作，以實(shí)現(xiàn)算力資源的彈性擴(kuò)縮，便于算力網(wǎng)絡(luò)對(duì)算力資源進(jìn)行靈活調(diào)度。

4 結(jié)束語(yǔ)

隨著算力網(wǎng)絡(luò)相關(guān)技術(shù)的發(fā)展，全國(guó)甚至全世界范圍內(nèi)的云計(jì)算資源、邊緣計(jì)算資源以及終端設(shè)備計(jì)算資源將組成一張龐大的算力網(wǎng)絡(luò)。針對(duì)不同的業(yè)務(wù)需求，人們將隨時(shí)隨地享受到超大帶寬、超低時(shí)延、海量連接、多業(yè)務(wù)承載的高品質(zhì)網(wǎng)絡(luò)服務(wù)。