周旭/ZHOU Xu，李琢/LI Zhuo

（中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心，中國 北京 100190）

數(shù)字化時代帶來海量數(shù)據(jù)的增長。這種趨勢推動了大量計算資源的需求增長，諸如數(shù)據(jù)中心、邊緣計算節(jié)點和各種終端設(shè)備等構(gòu)成了一個龐大且復(fù)雜的分布式計算資源網(wǎng)絡(luò)。在這個網(wǎng)絡(luò)中，有效地管理和調(diào)度各個節(jié)點的計算資源，以提供高效、穩(wěn)定的服務(wù)，是一大挑戰(zhàn)。傳統(tǒng)的調(diào)度技術(shù)往往針對特定的場景和需求，無法滿足多樣化、動態(tài)變化的計算需求。此外，由于云端和邊緣端的資源異構(gòu)性、地理分布的廣泛性以及網(wǎng)絡(luò)環(huán)境復(fù)雜性等，資源的管理和調(diào)度更加困難。

為了解決這一問題，云邊端協(xié)同調(diào)度技術(shù)應(yīng)運而生。通過整合云、邊和端的資源，實現(xiàn)對資源的統(tǒng)一管理和動態(tài)調(diào)度，以最大化資源的利用率，保障用戶的服務(wù)質(zhì)量。在算力網(wǎng)絡(luò)的背景下，云邊端協(xié)同調(diào)度技術(shù)的研究尤為必要[1]。算力網(wǎng)絡(luò)將分布在各地的云端、邊緣端和終端設(shè)備的計算資源通過網(wǎng)絡(luò)連接起來，形成一個分布式的、動態(tài)的計算資源池。這個資源池可以實現(xiàn)對所有計算資源的統(tǒng)一管理和調(diào)度，從而提高資源的利用率，降低運營成本，提高服務(wù)質(zhì)量[2]。在算力網(wǎng)絡(luò)中使用云邊端協(xié)同調(diào)度技術(shù)，可以充分利用網(wǎng)絡(luò)的優(yōu)勢，有效滿足復(fù)雜的網(wǎng)絡(luò)環(huán)境和多樣化的計算需求。因此，本文將重點闡述面向算力網(wǎng)絡(luò)的云邊端協(xié)同調(diào)度技術(shù)，探討其在實際應(yīng)用中的效果和關(guān)鍵技術(shù)[3-4]。

1 分布式的云邊端算力

大數(shù)據(jù)和物聯(lián)網(wǎng)等場景需要使用云計算和邊緣計算技術(shù)，這樣可以在全網(wǎng)廣泛分布的設(shè)備上提供計算服務(wù)，將計算能力廣泛分布到需要的地方，從而提高數(shù)據(jù)處理的效率，減少延遲，并提供更個性化、地域化的服務(wù)。

1.1 云邊端算力概述

為了提供更加高效、靈活和可靠的計算服務(wù)，我們提出集云計算與邊緣計算于一體的計算模式——云邊端算力模式。該模式綜合了云計算中心的大規(guī)模存儲和處理能力，以及邊緣計算對于接近數(shù)據(jù)源的處理能力。在該模式中，云端負(fù)責(zé)處理大規(guī)模、復(fù)雜的計算任務(wù)，而邊緣端則負(fù)責(zé)處理那些需要低延遲、快速響應(yīng)的任務(wù)。通過這種方式，云邊端算力能夠在滿足不同任務(wù)需求的同時，提高整體的計算效率。

在云邊端算力模式中，數(shù)據(jù)首先會在傳感器、移動設(shè)備等地方產(chǎn)生，再被邊緣設(shè)備接收并進(jìn)行初步處理。這些處理通常包括數(shù)據(jù)清理、預(yù)處理和部分分析等。隨后，數(shù)據(jù)和任務(wù)會根據(jù)性質(zhì)和需求，分配給云端或邊端進(jìn)行進(jìn)一步處理。具體來講，那些需要快速反饋的任務(wù)，通常會被留在邊緣端；而那些需要大規(guī)模數(shù)據(jù)分析和深度處理的任務(wù)，則會被發(fā)送至云端。通過這種方式，云邊端算力能夠提供更加高效、靈活的計算服務(wù)。

1.2 分布式算力的優(yōu)勢和挑戰(zhàn)

在分布式的云邊端算力架構(gòu)中，全網(wǎng)范圍內(nèi)的計算資源配置使得各種類型的計算任務(wù)處理更加靈活和高效。設(shè)備的資源可以根據(jù)任務(wù)需求進(jìn)行動態(tài)調(diào)整，從而在維持高效運算的同時，提供穩(wěn)定且高質(zhì)量的服務(wù)。此外，這種配置方式還能應(yīng)對各種突發(fā)的計算需求，快速進(jìn)行資源調(diào)配，以滿足不斷變化的計算需求。

然而，分布式的云邊端算力也面臨著諸多挑戰(zhàn)。在全網(wǎng)范圍內(nèi)進(jìn)行高效的資源調(diào)度，需要考慮到設(shè)備狀態(tài)、任務(wù)需求、網(wǎng)絡(luò)狀況等多個因素，這使得調(diào)度過程變得復(fù)雜。一方面，計算需求和設(shè)備狀態(tài)可能會快速變化，因此如何在短時間內(nèi)做出決策，保證服務(wù)的質(zhì)量和效率，是一大挑戰(zhàn)；另一方面，由于設(shè)備是分布式的，那么如何進(jìn)行有效的分布式協(xié)調(diào)、收集設(shè)備狀態(tài)信息、在設(shè)備間同步任務(wù)狀態(tài)等問題也需要被解決。

1.3 分布式算力的應(yīng)用和未來趨勢

隨著5G和6G網(wǎng)絡(luò)技術(shù)的發(fā)展，更高的網(wǎng)絡(luò)速度和更低的延遲推動了分布式云邊端算力在更多領(lǐng)域中的應(yīng)用，如無人駕駛、遠(yuǎn)程醫(yī)療、工業(yè)自動化等。同時，隨著任務(wù)復(fù)雜性的增加，例如高精度的物理模擬、大規(guī)模的社會科學(xué)模型等，分布式計算資源的需求也將增多。此外，在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域，分布式的云邊端算力發(fā)揮著重要作用。通過利用分布式算力資源，機(jī)器學(xué)習(xí)模型能在更短的時間內(nèi)進(jìn)行訓(xùn)練和優(yōu)化。

2 融合云邊端的協(xié)同網(wǎng)絡(luò)

2.1 融合云邊端的網(wǎng)絡(luò)架構(gòu)

新型應(yīng)用如移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的普及以及新型網(wǎng)絡(luò)技術(shù)的發(fā)展，使得傳統(tǒng)的集中式云計算模式遇到了挑戰(zhàn)[5]。為了應(yīng)對這些挑戰(zhàn)，我們提出融合云邊端的網(wǎng)絡(luò)架構(gòu)，具體如圖1所示。該架構(gòu)發(fā)揮了云計算強(qiáng)大的計算能力和邊緣計算的低延遲優(yōu)勢，旨在提供更高效、更靈活的計算服務(wù)，以滿足不斷增長的計算需求和多樣化的業(yè)務(wù)需求。融合云邊端的網(wǎng)絡(luò)架構(gòu)將云端的大規(guī)模數(shù)據(jù)處理能力與邊緣端的實時處理能力相結(jié)合，優(yōu)化了網(wǎng)絡(luò)資源的利用，提高了網(wǎng)絡(luò)服務(wù)的質(zhì)量。

▲圖1 融合云邊端的網(wǎng)絡(luò)架構(gòu)示意圖

在這種融合云邊端的網(wǎng)絡(luò)結(jié)構(gòu)下，資源可以被更加高效地利用，網(wǎng)絡(luò)的可靠性和安全性得到了提高。在該網(wǎng)絡(luò)中，云計算作為物聯(lián)網(wǎng)的中樞，通過將大量終端或邊緣無法處理的數(shù)據(jù)進(jìn)行存儲、整理和分析，為云邊端協(xié)同網(wǎng)絡(luò)提供強(qiáng)大的計算能力支持。同時，部分任務(wù)可直接在終端設(shè)備或邊緣服務(wù)器中進(jìn)行處理，在減少數(shù)據(jù)傳輸延時的同時也緩解了云數(shù)據(jù)中心的壓力。

2.2 協(xié)同網(wǎng)絡(luò)的優(yōu)化與調(diào)度策略

在融合云邊端的網(wǎng)絡(luò)架構(gòu)中，協(xié)同工作非常重要。這需要云計算和邊緣計算緊密協(xié)作，共同完成計算任務(wù)[6]。為了實現(xiàn)這一目標(biāo)，需要設(shè)計并實施有效的協(xié)同網(wǎng)絡(luò)優(yōu)化與調(diào)度策略。優(yōu)化與調(diào)度策略的主要目標(biāo)都是在滿足任務(wù)需求的同時，最大程度地利用云邊端的計算資源。協(xié)同網(wǎng)絡(luò)的優(yōu)化工作主要研究的是如何合理地分配任務(wù)和資源，如何實現(xiàn)高效的數(shù)據(jù)傳輸，以及如何維護(hù)網(wǎng)絡(luò)的穩(wěn)定性和可靠性等問題。而在調(diào)度策略方面，考慮的因素更為復(fù)雜，包括但不限于計算任務(wù)的性質(zhì)、網(wǎng)絡(luò)狀況、設(shè)備能力、能耗和特定的應(yīng)用需求等。

協(xié)同調(diào)度策略則需要將計算任務(wù)按照某種方式分配給云端或邊緣設(shè)備，同時還需要考慮任務(wù)的執(zhí)行順序和資源的分配情況。在這個過程中，要盡可能地減少任務(wù)的執(zhí)行時間，降低網(wǎng)絡(luò)的傳輸延時，從而提升系統(tǒng)的整體性能。綜上所述，優(yōu)化與調(diào)度策略是實現(xiàn)云邊端協(xié)同工作的關(guān)鍵，通過這些策略，可以更好地管理和調(diào)度網(wǎng)絡(luò)中的資源，從而提升云邊端協(xié)同網(wǎng)絡(luò)的性能，滿足多變和復(fù)雜的應(yīng)用需求。

3 云邊端協(xié)同調(diào)度關(guān)鍵技術(shù)

分布式的云邊端算力提供了廣闊的計算平臺。融合云邊端的協(xié)同網(wǎng)絡(luò)構(gòu)建了高效、靈活的計算資源調(diào)度模型[7]。然而，為了挖掘這一模型的最大潛力，還需要更多的支撐技術(shù)，如云邊端協(xié)同調(diào)度關(guān)鍵技術(shù)等（具體如圖2 所示）。協(xié)同網(wǎng)絡(luò)的優(yōu)化與調(diào)度策略可以最大化地利用和分配云邊端的計算資源，而這一過程需要精細(xì)化的管理和調(diào)度。精細(xì)化管理和調(diào)度的實現(xiàn)需要云邊端協(xié)同調(diào)度關(guān)鍵技術(shù)做支撐，具體包括跨云邊端協(xié)同計算方法、端到端跨域保障機(jī)制和資源管理和任務(wù)調(diào)度策略等。在這些技術(shù)的支持下，云邊端協(xié)同網(wǎng)絡(luò)能夠在滿足各種復(fù)雜、變化需求的同時，解決協(xié)同網(wǎng)絡(luò)的優(yōu)化與調(diào)度策略的問題，優(yōu)化網(wǎng)絡(luò)資源配置，進(jìn)一步提升網(wǎng)絡(luò)性能[8]。

▲圖2 云邊端協(xié)同調(diào)度關(guān)鍵技術(shù)

3.1 跨云邊端協(xié)同計算方法

在多終端、多任務(wù)的復(fù)雜場景下，卸載決策的制定需要綜合任務(wù)計算量、數(shù)據(jù)傳輸量、云邊端各節(jié)點計算能力和資源利用率等諸多因素?；谝延械脑朴嬎慊蜻吘売嬎阍O(shè)計的協(xié)同計算方法不完全適用于云邊端協(xié)同場景。另外，云邊端設(shè)備的異構(gòu)性強(qiáng)，這些方法也不適用于多種設(shè)備的需求。計算方法的不統(tǒng)一降低了處理效率，無法充分發(fā)揮協(xié)同的優(yōu)勢。因此，設(shè)計跨云邊端的協(xié)同計算方法有很大的必要性。

為了應(yīng)對云邊端設(shè)備的異構(gòu)性，跨云邊端協(xié)同計算的方法需要考慮不同的設(shè)備需求。一種方法是根據(jù)設(shè)備的計算能力和資源利用率來分配任務(wù)，將計算密集型任務(wù)分配給計算能力較強(qiáng)的云端節(jié)點，而將數(shù)據(jù)密集型任務(wù)分配給邊緣節(jié)點，以充分利用各節(jié)點的資源；另一種方法是利用任務(wù)切分和協(xié)同執(zhí)行，將一個任務(wù)切分成多個子任務(wù)，并將這些子任務(wù)分配給不同的設(shè)備，最后將它們的結(jié)果合并得到最終結(jié)果。

3.2 端到端跨域保障機(jī)制

在云邊端協(xié)同調(diào)度中，端到端跨域保障機(jī)制主要是指延遲優(yōu)化和服務(wù)質(zhì)量保證。二者緊密結(jié)合，共同支撐云邊端協(xié)同調(diào)度的高效運行。有效的延遲優(yōu)化，可以提升系統(tǒng)性能；有效的服務(wù)質(zhì)量保證，可以確保系統(tǒng)始終處于高效穩(wěn)定的狀態(tài)，從而進(jìn)一步降低延遲。

延遲優(yōu)化是指減少任務(wù)執(zhí)行和數(shù)據(jù)傳輸?shù)臅r間延遲，尤其是在需要實時反饋或高速處理的應(yīng)用中。延遲優(yōu)化涉及的技術(shù)包括：1）有效的任務(wù)調(diào)度，確保任務(wù)在最佳位置執(zhí)行，減少數(shù)據(jù)傳輸和處理時間，優(yōu)化網(wǎng)絡(luò)路由和傳輸協(xié)議，減少網(wǎng)絡(luò)傳輸延遲；2）利用邊緣計算的特性，將計算任務(wù)靠近數(shù)據(jù)源，減少數(shù)據(jù)傳輸?shù)臅r間和距離。服務(wù)質(zhì)量保證則是確保系統(tǒng)能提供用戶所需的服務(wù)，這包括滿足如執(zhí)行速度、響應(yīng)時間、數(shù)據(jù)準(zhǔn)確性等的各種性能要求，以及滿足特定的服務(wù)等級協(xié)議。服務(wù)質(zhì)量保證涉及的技術(shù)包括資源和任務(wù)調(diào)度，以及各種容錯和恢復(fù)機(jī)制，以保證系統(tǒng)有足夠的資源來滿足服務(wù)需求，應(yīng)對可能的錯誤和故障。

3.3 資源管理和任務(wù)調(diào)度策略

在云邊端協(xié)同網(wǎng)絡(luò)中，資源管理和任務(wù)調(diào)度是兩項關(guān)鍵技術(shù)。這兩項技術(shù)的主要目標(biāo)是優(yōu)化系統(tǒng)性能，提升服務(wù)質(zhì)量，從而實現(xiàn)協(xié)同網(wǎng)絡(luò)的優(yōu)化與調(diào)度策略[9]。資源管理的核心是實現(xiàn)資源的高效利用，這包括了對云服務(wù)器、邊緣設(shè)備和網(wǎng)絡(luò)帶寬等資源的合理分配和調(diào)度。具體來說，資源管理需要考慮系統(tǒng)的總體需求，以及各類資源的性能和狀態(tài)，從而決定如何分配和調(diào)度這些資源。通過有效的資源管理，我們可以使系統(tǒng)在滿足各種需求的同時，最大化地利用資源，提升系統(tǒng)性能。

任務(wù)調(diào)度則主要關(guān)注如何合理地分配和調(diào)度計算任務(wù)。任務(wù)調(diào)度需要考慮任務(wù)的特性，如任務(wù)的類型、大小、優(yōu)先級，以及任務(wù)的執(zhí)行環(huán)境等?；谶@些信息，任務(wù)調(diào)度制定合適的策略，決定如何將任務(wù)分配給云服務(wù)器或邊緣設(shè)備，以及如何安排任務(wù)的執(zhí)行順序[10]。

4 面向算力網(wǎng)絡(luò)的典型應(yīng)用場景

云邊端協(xié)同調(diào)度技術(shù)已廣泛應(yīng)用于物聯(lián)網(wǎng)與智慧城市、自動駕駛與無人機(jī)、遠(yuǎn)程醫(yī)療與虛擬現(xiàn)實等領(lǐng)域。本章節(jié)中，基于算力網(wǎng)絡(luò)的典型應(yīng)用場景，我們詳細(xì)闡述了協(xié)同調(diào)度技術(shù)是如何在實際應(yīng)用中發(fā)揮關(guān)鍵作用，優(yōu)化性能并提升用戶體驗的。

4.1 物聯(lián)網(wǎng)和智慧城市

在物聯(lián)網(wǎng)環(huán)境中，大量的設(shè)備和傳感器被用于收集各種類型的數(shù)據(jù)，如溫度、濕度、位置等。然而，這些設(shè)備的計算能力和儲存空間都非常有限。因此，分布式的云邊端算力可以提供必要的計算資源，支持在邊緣設(shè)備上進(jìn)行數(shù)據(jù)預(yù)處理和實時分析。這大大減少了數(shù)據(jù)傳輸?shù)难舆t和網(wǎng)絡(luò)帶寬的需求。

智慧城市是物聯(lián)網(wǎng)在更大規(guī)模下的應(yīng)用。在智慧城市中，各種設(shè)備和系統(tǒng)都可以通過互聯(lián)網(wǎng)進(jìn)行連接，形成一個大型的、互相協(xié)作的網(wǎng)絡(luò)。面向算力網(wǎng)絡(luò)的云邊端協(xié)同調(diào)度技術(shù)可以實現(xiàn)各種復(fù)雜的功能，如實時交通管理、能源優(yōu)化、公共安全管理等。從隱私保護(hù)的角度來講，通過在邊緣設(shè)備上進(jìn)行數(shù)據(jù)處理，可以確保數(shù)據(jù)的隱私和安全，同時提高服務(wù)的響應(yīng)速度。

4.2 自動駕駛和無人機(jī)

對于自動駕駛來說，安全和實時性至關(guān)重要。車輛必須能夠快速且準(zhǔn)確地響應(yīng)周圍環(huán)境的變化，例如其他車輛的動態(tài)、行人甚至是天氣狀況。由于云端處理可能會引入無法接受的延遲，因此在車輛本地進(jìn)行數(shù)據(jù)處理非常必要。然而，車載計算資源有限，無法處理大量的輸入數(shù)據(jù)和復(fù)雜的算法。因此，云邊端協(xié)同調(diào)度技術(shù)成為了一個理想的解決方案，它能夠在保證實時性的同時，通過邊緣計算節(jié)點的協(xié)同工作，提高數(shù)據(jù)處理能力。

無人機(jī)也有類似的需求。無人機(jī)通常需要實時的視頻流處理，以進(jìn)行物體檢測、追蹤等。這需要大量的計算資源，但無人機(jī)的載荷有限，難以滿足這種需求。云邊端協(xié)同調(diào)度技術(shù)可以將計算任務(wù)分配到無人機(jī)附近的邊緣計算節(jié)點，從而實現(xiàn)實時的視頻流處理。無論是自動駕駛還是無人機(jī)，云邊端協(xié)同調(diào)度技術(shù)都能有效地解決有限的設(shè)備計算能力和嚴(yán)格的實時性要求之間的矛盾。

4.3 遠(yuǎn)程醫(yī)療和虛擬現(xiàn)實

遠(yuǎn)程醫(yī)療技術(shù)使醫(yī)生可以在任何地方都能為患者提供服務(wù)。然而，這種類型的服務(wù)對網(wǎng)絡(luò)的穩(wěn)定性和時延有非常高的要求。面向算力網(wǎng)絡(luò)的云邊端協(xié)同調(diào)度技術(shù)可以確保數(shù)據(jù)在云端和邊緣設(shè)備之間快速、準(zhǔn)確傳輸，盡可能降低延遲，滿足遠(yuǎn)程醫(yī)療應(yīng)用的需求。虛擬現(xiàn)實是一個對延遲和數(shù)據(jù)處理能力要求非常高的領(lǐng)域，任何微小的延遲都可能導(dǎo)致用戶體驗下降，甚至引發(fā)眩暈感。同時，虛擬現(xiàn)實應(yīng)用通常需要處理大量的圖形數(shù)據(jù)和用戶交互信息，這超出了大多數(shù)個人設(shè)備的計算能力。因此，利用云邊端協(xié)同調(diào)度技術(shù)，可以將部分計算任務(wù)卸載到邊緣設(shè)備，如附近的邊緣服務(wù)器，從而降低延遲，提高數(shù)據(jù)處理能力，實現(xiàn)更好的體驗。

5 基于云邊端協(xié)同的流量調(diào)度

在云邊端協(xié)同網(wǎng)絡(luò)中，傳統(tǒng)的網(wǎng)絡(luò)流量調(diào)度往往采用集中式的調(diào)度算法，由中心節(jié)點對整個網(wǎng)絡(luò)的流量進(jìn)行統(tǒng)一管理和調(diào)度。中心節(jié)點的調(diào)度算法效率低下，對網(wǎng)絡(luò)性能也有很大的影響。為了能夠根據(jù)實時的網(wǎng)絡(luò)狀態(tài)選擇流量最佳轉(zhuǎn)發(fā)路徑，針對云邊端分布式網(wǎng)絡(luò)中的流量調(diào)度，我們提出基于云邊端協(xié)同的流量調(diào)度，由云邊端各節(jié)點共同協(xié)作完成網(wǎng)絡(luò)流量的調(diào)度，避免單一鏈路出現(xiàn)擁塞而其他鏈路可能有剩余帶寬未被充分利用的情況。同時，通過將不同類別的流量調(diào)度到滿足傳輸性能的鏈路上，降低多流并發(fā)情況下的端到端時延，提升平均吞吐率。

5.1 云邊端協(xié)同流量調(diào)度模型

流量調(diào)度中最重要的指標(biāo)是流完成時間和吞吐率。當(dāng)網(wǎng)絡(luò)中的流量達(dá)到一定的程度時，網(wǎng)絡(luò)中的擁塞會增加，從而導(dǎo)致流的完成時間增加，吞吐率下降。因此，流完成時間和吞吐率之間存在著一種權(quán)衡關(guān)系。如果僅僅關(guān)注流的完成時間，可能會導(dǎo)致網(wǎng)絡(luò)的擁塞程度加劇，從而使得網(wǎng)絡(luò)的吞吐率下降。相反，如果僅僅關(guān)注網(wǎng)絡(luò)的吞吐率，可能會導(dǎo)致一些流的完成時間變得非常長，從而影響服務(wù)質(zhì)量。因此，本文定義了包含以下內(nèi)容的云邊端協(xié)同流量調(diào)度模型。

1）對于每個流，需要在規(guī)定的時間內(nèi)完成傳輸，通過設(shè)置流量保障的重要程度以保證服務(wù)質(zhì)量和用戶體驗。

2）在滿足流完成時間的基礎(chǔ)上，需要保持一定的吞吐率水平，以充分利用云邊端分布式網(wǎng)絡(luò)中的帶寬資源。

將端到端流量保障模型中的優(yōu)化目標(biāo)設(shè)置為同時最小化流平均完成時間和最大化吞吐率，以實現(xiàn)流量保障和網(wǎng)絡(luò)性能的平衡，相應(yīng)的優(yōu)化問題可定義如下：

其中，1/η是所有流的總吞吐率的倒數(shù)，ωi是流i的權(quán)重，表示該流對端到端流量保障的重要程度，τi是流i的流完成時間，λ是用來平衡完成時間和吞吐率之間的關(guān)系的系數(shù)。該優(yōu)化問題的含義是：將流的平均完成時間最小化，同時通過對所有流的完成時間進(jìn)行加權(quán)平均，實現(xiàn)網(wǎng)絡(luò)的總體吞吐率最大化。對流進(jìn)行加權(quán)的目的是為了保障重要流的服務(wù)質(zhì)量，滿足端到端流量保障的需求，同時適當(dāng)犧牲不重要的流，以提高整體吞吐率。另外，還可以通過調(diào)整λ的值來控制吞吐率和流完成時間之間的權(quán)衡關(guān)系。

5.2 分布式強(qiáng)化學(xué)習(xí)算法

為求解上述協(xié)同流量調(diào)度優(yōu)化問題，本小節(jié)在軟策略演員-評論員（SAC）算法的基礎(chǔ)上，設(shè)計基于SAC 的分布式強(qiáng)化學(xué)習(xí)（DSAC）算法，具體如下：

具體來講，DSAC算法是SAC算法在分布式系統(tǒng)中的拓展。該算法可以將策略優(yōu)化和Q值函數(shù)優(yōu)化分配到多個智能體上來提高算法的效率。通過將強(qiáng)化學(xué)習(xí)算法中的演員-評論員架構(gòu)與軟策略優(yōu)化相結(jié)合，實現(xiàn)高效的流量調(diào)度。在每個時刻，演員通過觀察當(dāng)前網(wǎng)絡(luò)狀態(tài)和歷史流量數(shù)據(jù)來選擇一個最優(yōu)的流量調(diào)度決策。評論員則根據(jù)演員的決策和真實流量數(shù)據(jù)來評估演員的決策，并將其反饋給演員進(jìn)行策略優(yōu)化。算法可以在分布式環(huán)境中運行著多個演員-評論員框架同時協(xié)作以進(jìn)行流量調(diào)度，通過軟策略優(yōu)化來避免對策略進(jìn)行硬約束，從而使得云邊端流量調(diào)度決策更加靈活。

5.3 性能仿真驗證

為了評估所提協(xié)同流量調(diào)度方案的有效性，我們將所提的基于分布式深度強(qiáng)化學(xué)習(xí)的協(xié)同流量調(diào)度方案與以下幾種典型的流量調(diào)度方案進(jìn)行性能比較。

1）AuTo：一種使用深度強(qiáng)化學(xué)習(xí)解決流量調(diào)度問題的方法。該方法根據(jù)網(wǎng)絡(luò)中的流量負(fù)載自動地調(diào)整資源的使用，以實現(xiàn)更好的網(wǎng)絡(luò)流量管理，并在保證服務(wù)質(zhì)量的同時提高系統(tǒng)的效率[11]。

2）PIAS：一種信息不可知的流量調(diào)度算法。該算法能夠動態(tài)地調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)中的流量，以確保高效的網(wǎng)絡(luò)運行。該算法基于實用性和信息不可知性的設(shè)計原則，通過計算流的權(quán)重和調(diào)度流來實現(xiàn)最佳性能和高網(wǎng)絡(luò)利用率[12]。

3）Hedera：一種數(shù)據(jù)中心網(wǎng)絡(luò)流調(diào)度方法。該方法使用了一種基于高負(fù)載優(yōu)先的動態(tài)調(diào)度策略，即優(yōu)先處理那些負(fù)載更高的網(wǎng)絡(luò)流量，以避免網(wǎng)絡(luò)擁塞和延遲，實現(xiàn)更高的網(wǎng)絡(luò)吞吐量和更低的延遲[13]。

為了驗證所提云邊端協(xié)同調(diào)度方案的有效性，我們分析了不同流量調(diào)度方案在多流并發(fā)下的流量調(diào)度效果。在端到端時延方面，如圖3 所示，隨著并發(fā)流的增加，Hedera 和PIAS的端到端時延快速增加。基于深度強(qiáng)化學(xué)習(xí)的AuTo和本文所提的DSAC 都能夠提供較低的端到端時延。但DSAC比AuTo 的時延更低。這是由于DSAC 將強(qiáng)化學(xué)習(xí)算法中的演員-評論員架構(gòu)與軟策略優(yōu)化算法相結(jié)合。這樣一來，演員通過觀察當(dāng)前網(wǎng)絡(luò)狀態(tài)和歷史流量數(shù)據(jù)來選擇一個最優(yōu)的流量調(diào)度決策，評論員則根據(jù)演員的決策和真實流量數(shù)據(jù)來評估演員的決策，再反饋給演員進(jìn)行策略優(yōu)化?；贒SAC算法的協(xié)同流量調(diào)度有效降低了端到端時延。

如圖4所示，在平均吞吐率方面，隨著并發(fā)流量數(shù)目的增多，各個算法的平均吞吐率都在增加。當(dāng)并發(fā)流數(shù)量小于80 時，相比于Hedera 和PIAS，AuTo 和DSAC 獲得的平均吞吐率有著明顯的優(yōu)勢。這是由于AuTo和DRL為每個子網(wǎng)絡(luò)分配一個深度強(qiáng)化學(xué)習(xí)智能體。這些智能體可以通過學(xué)習(xí)從其他子網(wǎng)絡(luò)到自身的流量路由，實現(xiàn)全局流量優(yōu)化，從而能夠在減少端到端時延的同時提高平均吞吐率。這進(jìn)一步表明了在多流并發(fā)情況下，算法的端到端時延和平均吞吐率都有著更好的表現(xiàn)。

▲圖4 多流并發(fā)下的平均吞吐率

6 結(jié)束語

本文首先介紹了分布式云邊端算力的未來發(fā)展趨勢，探討了融合云邊端的協(xié)同網(wǎng)絡(luò)架構(gòu)，分析了云邊端協(xié)同調(diào)度的關(guān)鍵技術(shù)，明確了其在解決實時性和高性能計算問題上的重要作用；其次，結(jié)合具體的應(yīng)用場景如物聯(lián)網(wǎng)、自動駕駛、遠(yuǎn)程醫(yī)療和虛擬現(xiàn)實等，展示了云邊端協(xié)同調(diào)度技術(shù)的實際影響和潛力；最后，以云邊端協(xié)同網(wǎng)絡(luò)中的流量調(diào)度為例，從多流并發(fā)情況下的端到端時延和平均吞吐率需求出發(fā)，提出了基于分布式強(qiáng)化學(xué)習(xí)的協(xié)同流量調(diào)度算法，并通過實驗驗證了所提協(xié)同流量調(diào)度方案的有效性。本研究推動了云邊端協(xié)同調(diào)度技術(shù)在分布式的云邊端算力場景中的應(yīng)用。