黃子祥 張新有 邢煥來(lái) 馮力

摘 要：當(dāng)今全球頻繁出現(xiàn)自然災(zāi)害，針對(duì)一種無(wú)人機(jī)協(xié)同下的應(yīng)急救災(zāi)計(jì)算卸載場(chǎng)景，提出一種帶有協(xié)調(diào)器的邊-端架構(gòu)。綜合考慮場(chǎng)景中的時(shí)延、能耗與無(wú)人機(jī)之間的負(fù)載均衡作為系統(tǒng)總代價(jià)，采用改進(jìn)的深度強(qiáng)化學(xué)習(xí)算法APPO（advanced proximal policy optimization），以最小化系統(tǒng)總代價(jià)為目標(biāo)進(jìn)行卸載優(yōu)化。任務(wù)的部分卸載相比二進(jìn)制卸載可以更大程度上降低系統(tǒng)的總代價(jià)，APPO算法針對(duì)不同的任務(wù)情況可以找到合適的卸載比例與無(wú)人機(jī)進(jìn)行卸載。仿真與實(shí)驗(yàn)結(jié)果表明，該算法與全本地處理相比，系統(tǒng)總代價(jià)降低了約50%，與較先進(jìn)的A2C相比，系統(tǒng)總代價(jià)降低了約14%。展現(xiàn)了所提策略在該場(chǎng)景下的優(yōu)越性。

關(guān)鍵詞：邊緣計(jì)算； 深度強(qiáng)化學(xué)習(xí)； 邊端協(xié)同； 無(wú)人機(jī)協(xié)同； 計(jì)算卸載

中圖分類(lèi)號(hào)：TP311 文獻(xiàn)標(biāo)志碼：A?文章編號(hào)：1001-3695（2024）05-033-1515-06

doi：10.19734/j.issn.1001-3695.2023.08.0418

Research on edge to end collaborative computing offloading technology

in unmanned aircraft cluster scenarios

Abstract：This paper proposed a coordinated edge-to-edge architecture for an emergency response scenario assisted by unmanned aerial vehicles（UAVs）， taking into consideration the frequent occurrence of natural disasters globally. The architecture incorporated a coordinator and aimed to minimize the overall system cost by considering factors such as latency， energy consumption， and loaded balancing among UAVs. And it utilized an improved deep reinforcement learning algorithm called advanced proximal policy optimization（APPO） to optimize the offloading process. Compared to binary offloading， partial offloading of tasks could effectively reduce the overall system cost. The APPO algorithm enabled users to determine suitable offloading ratios and allocate tasks to UAVs based on different task scenarios. Simulation and experimental results demonstrate a reduction of approximately 50% in the overall system cost compared to full local processing， and about 14% compared to the advanced A2C algorithm， showing the superiority of the proposed strategy in this specific scenario.

Key words：edge computing; deep reinforcement learning; edge to end collaboration; UAV collaboration; calculate uninstallation

0 引言

隨著AI應(yīng)用場(chǎng)景的不斷普及，計(jì)算密集型任務(wù)逐漸增長(zhǎng)，這些對(duì)計(jì)算能力有著高要求的新興應(yīng)用只能依賴(lài)于高級(jí)的計(jì)算卸載和改進(jìn)的基礎(chǔ)設(shè)施［1］。MCC（mobile cloud computing）擁有豐富的資源以及龐大的計(jì)算能力，以往用戶(hù)通常將某些計(jì)算密集型任務(wù)傳輸給云端進(jìn)行處理，但會(huì)導(dǎo)致傳輸?shù)倪^(guò)程中時(shí)延較大且不穩(wěn)定，所以云計(jì)算的適用場(chǎng)景有限。對(duì)于實(shí)時(shí)性要求較高的任務(wù)，如輔助/自動(dòng)駕駛、應(yīng)急救災(zāi)、戰(zhàn)場(chǎng)通信與偵察、人臉識(shí)別等，而單純的MCC已經(jīng)難以應(yīng)對(duì)這種新的挑戰(zhàn)。

隨著MEC這一新范式的出現(xiàn)［2］，不僅彌補(bǔ)了終端計(jì)算能力不足的問(wèn)題，與云計(jì)算相比還擁有較低的延遲以滿(mǎn)足時(shí)延敏感型任務(wù)的計(jì)算需求。MEC在靠近用戶(hù)端部署大量的邊緣服務(wù)器，將任務(wù)下沉到網(wǎng)絡(luò)邊緣側(cè)的邊緣服務(wù)器進(jìn)行處理。與MCC相比，MEC服務(wù)器距離用戶(hù)更近，使得傳輸?shù)某杀窘档?，其?qiáng)大的計(jì)算能力能滿(mǎn)足大多數(shù)應(yīng)用場(chǎng)景。計(jì)算卸載是MEC的關(guān)鍵技術(shù)，如何綜合考慮任務(wù)復(fù)雜性、能耗、距離等因素設(shè)計(jì)出高效可靠的卸載方案是非常重要的。

由于無(wú)人機(jī)群具有靈活性更高、覆蓋面更廣、實(shí)時(shí)性更好等優(yōu)點(diǎn)，其可被用于日益復(fù)雜的戰(zhàn)場(chǎng)環(huán)境與當(dāng)今全球頻繁出現(xiàn)的自然災(zāi)害中。無(wú)人機(jī)可以輕松進(jìn)入原本難以到達(dá)的受災(zāi)地區(qū)以及危險(xiǎn)的軍事區(qū)域，攜帶MEC服務(wù)器的無(wú)人機(jī)可提供通信及信息處理功能，為幸存用戶(hù)或救災(zāi)人員提供計(jì)算服務(wù)。由于災(zāi)害場(chǎng)景的復(fù)雜性、信息的多樣性以及信息處理的實(shí)時(shí)性要求，對(duì)MEC之間的協(xié)同處理能力提出了更高的要求。

在人工智能技術(shù)發(fā)展過(guò)程中，強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）方法也開(kāi)始應(yīng)用到計(jì)算卸載中來(lái)解決實(shí)際問(wèn)題，并取得了較大的成功。近年來(lái)OpenAI公司公布的PPO（proximal policy optimization）算法在自動(dòng)駕駛、機(jī)器人控制等領(lǐng)域取得了非凡的成就，該算法高效穩(wěn)定、適用范圍廣泛并可用于處理連續(xù)動(dòng)作空間，因此本文將多因素優(yōu)化及改進(jìn)的PPO算法應(yīng)用于本文的計(jì)算卸載模型中。本文的主要工作包括：

a）提出一種帶有協(xié)調(diào)器的邊-端架構(gòu)，根據(jù)實(shí)際需求建立了災(zāi)害場(chǎng)景下的無(wú)人機(jī)協(xié)同計(jì)算任務(wù)卸載模型。

b）采用改進(jìn)的深度強(qiáng)化學(xué)習(xí)方法APPO以最小化延遲、能耗與負(fù)載均衡值的加權(quán)和為目標(biāo)來(lái)優(yōu)化卸載決策。卸載不再是簡(jiǎn)單的二進(jìn)制卸載，而是可以進(jìn)行部分卸載。并根據(jù)場(chǎng)景與需求詳細(xì)定義了狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)。

c）進(jìn)行了實(shí)驗(yàn)驗(yàn)證。仿真結(jié)果表明，這種計(jì)算卸載方案不僅可以在實(shí)現(xiàn)負(fù)載均衡的前提下有效地降低此場(chǎng)景下的時(shí)延與能耗，還擁有較高的平均任務(wù)成功率。

1 相關(guān)工作

當(dāng)前計(jì)算卸載技術(shù)的研究已經(jīng)成為邊緣計(jì)算中的熱點(diǎn)問(wèn)題，但是不同的場(chǎng)景對(duì)于不同的計(jì)算卸載方案產(chǎn)生的效果不同，要根據(jù)實(shí)際情況選擇不同的卸載方案。在第六代（6G）網(wǎng)絡(luò)的背景下，無(wú)人機(jī)輔助卸載逐漸進(jìn)入研究人員的視野。其中大部分研究?jī)?yōu)化的內(nèi)容與時(shí)延、能耗或者無(wú)人機(jī)軌跡有關(guān)。

在有關(guān)無(wú)人機(jī)場(chǎng)景中針對(duì)時(shí)延這一問(wèn)題，文獻(xiàn)［3］提出了一種新型的無(wú)人機(jī)輔助邊緣計(jì)算框架HOTSPOT，根據(jù)用戶(hù)分布的時(shí)變熱點(diǎn)將無(wú)人機(jī)定位在三維空間中，并提供相應(yīng)的邊緣計(jì)算卸載輔助以達(dá)到低延遲的要求，最后仿真證明了可行性。為了解決在沒(méi)有無(wú)人機(jī)的地區(qū)快速調(diào)度其他地區(qū)的無(wú)人機(jī)為物聯(lián)網(wǎng)設(shè)備提供卸載這一問(wèn)題，文獻(xiàn)［4］提出了一種在無(wú)人機(jī)輔助下的空中計(jì)算系統(tǒng)中基于信任的主動(dòng)通知任務(wù)卸載（TANTO）方案，但是該方案只考慮了單無(wú)人機(jī)的卸載問(wèn)題。

由于當(dāng)今社會(huì)低碳節(jié)能的倡導(dǎo)以及物聯(lián)網(wǎng)設(shè)備的電池容量有限，能耗也開(kāi)始成為衡量系統(tǒng)優(yōu)劣的重要指標(biāo)。文獻(xiàn)［5］提出了一種無(wú)人機(jī)計(jì)算通信智能卸載方案以降低能耗。首先選擇一些數(shù)據(jù)量較大的節(jié)點(diǎn)作為任務(wù)收集節(jié)點(diǎn)（TGN），TGN收集左側(cè)節(jié)點(diǎn)的所有任務(wù)。這樣無(wú)人機(jī)只飛行TGN進(jìn)行卸載就可以節(jié)省能源。但該方案同樣沒(méi)有考慮多無(wú)人機(jī)協(xié)同問(wèn)題。文獻(xiàn)［6］通過(guò)一種基于多智能體軟行為者-批評(píng)者（MASAC）優(yōu)化無(wú)人機(jī)群的任務(wù)劃分和功率分配策略，最后通過(guò)大量的實(shí)驗(yàn)證明其降低了無(wú)人機(jī)群任務(wù)執(zhí)行的能量消耗。但此方案未考慮無(wú)人機(jī)之間的負(fù)載均衡。

部分研究人員還對(duì)無(wú)人機(jī)運(yùn)動(dòng)軌跡進(jìn)行了優(yōu)化，以便快速響應(yīng)用戶(hù)請(qǐng)求與避障。例如，文獻(xiàn)［7］以最小化時(shí)延為目標(biāo)，提出了一種潛在的博弈組合多智能體深度確定性策略梯度（MADDPG）方法來(lái)優(yōu)化無(wú)人機(jī)群的軌跡進(jìn)行避障。但其沒(méi)有考慮系統(tǒng)的節(jié)能問(wèn)題。文獻(xiàn)［8］研究了支持無(wú)人機(jī)的MEC網(wǎng)絡(luò)，使用基于塊坐標(biāo)下降法的迭代算法共同優(yōu)化無(wú)人機(jī)的軌跡、通信和計(jì)算資源分配以及物聯(lián)網(wǎng)設(shè)備的任務(wù)卸載決策。經(jīng)過(guò)測(cè)試，該方法有效降低了物聯(lián)網(wǎng)設(shè)備的總能耗，但此場(chǎng)景下未考慮時(shí)延與負(fù)載均衡并且也只有一架無(wú)人機(jī)進(jìn)行工作。

此外，文獻(xiàn)［9］以最小化時(shí)延與無(wú)人機(jī)利用率為目標(biāo)，使用無(wú)人機(jī)群進(jìn)行災(zāi)后救援，具體來(lái)說(shuō)是將計(jì)算任務(wù)卸載問(wèn)題轉(zhuǎn)換為雙邊匹配問(wèn)題，然后開(kāi)發(fā)了一種迭代算法，將每架無(wú)人機(jī)與最適合卸載的地面車(chē)輛相匹配。大量的仿真表明該方案可以有效地提高無(wú)人機(jī)的利用率，降低平均時(shí)延。但是該方案未考慮災(zāi)區(qū)地面用戶(hù)能耗有限，也未考慮無(wú)人機(jī)之間的負(fù)載均衡問(wèn)題，且任務(wù)只能進(jìn)行二進(jìn)制卸載。

總的來(lái)說(shuō)，以往的大部分研究都是單無(wú)人機(jī)在城市小區(qū)、校園、智慧交通方面的卸載方案優(yōu)化，很少在救災(zāi)應(yīng)急場(chǎng)景下開(kāi)展研究，而快速有效的災(zāi)后救援對(duì)災(zāi)后恢復(fù)非常重要。并且在選擇卸載的方式時(shí)，往往選擇二進(jìn)制卸載，即全在本地執(zhí)行或者全部卸載到無(wú)人機(jī)的MEC服務(wù)器執(zhí)行，這對(duì)于性能的提升有很大的局限性［10］。綜合上述問(wèn)題，本文考慮構(gòu)建地震災(zāi)區(qū)下無(wú)人機(jī)群相互協(xié)同的計(jì)算卸載模型，其中任務(wù)的部分卸載如圖1所示，并借鑒以往的研究將時(shí)延與能耗作為考慮因素，最后結(jié)合無(wú)人機(jī)的負(fù)載均衡進(jìn)行優(yōu)化。

2 系統(tǒng)模型

2.1 網(wǎng)絡(luò)模型

如圖2所示，本文假設(shè)某地區(qū)發(fā)生地質(zhì)災(zāi)害，地面通信設(shè)備、基站均受到不同程度的損壞，有關(guān)部門(mén)第一時(shí)間采用應(yīng)急方案。指揮中心通過(guò)一臺(tái)具有大運(yùn)載能力和計(jì)算能力的母無(wú)人機(jī)，攜帶M個(gè)帶有MEC與邊緣協(xié)調(diào)器的子無(wú)人機(jī){1，2，…，M}飛往災(zāi)區(qū)，無(wú)人機(jī)群在災(zāi)區(qū)上空放飛，為地面N個(gè)用戶(hù)設(shè)備{1，2，…，N}提供通信及計(jì)算服務(wù)。

假設(shè)子無(wú)人機(jī)均飛行在某高度下的多個(gè)最優(yōu)位置，而母無(wú)人機(jī)距離災(zāi)區(qū)較遠(yuǎn)，極端情況下當(dāng)所有子無(wú)人機(jī)均出現(xiàn)故障時(shí)，所有任務(wù)將傳輸至母無(wú)人機(jī)處理。用戶(hù)設(shè)備則隨機(jī)分布在地面。本文不考慮上述極端情況與無(wú)人機(jī)群的最優(yōu)路徑問(wèn)題。用戶(hù)把任務(wù)傳輸至無(wú)人機(jī)，協(xié)調(diào)器通過(guò)智能算法將每個(gè)需要卸載的任務(wù)合適地分配到無(wú)人機(jī)的MEC服務(wù)器上執(zhí)行，每個(gè)MEC服務(wù)器擁有一個(gè)隊(duì)列，按照先來(lái)先服務(wù)進(jìn)行卸載處理。假設(shè)時(shí)間τ被分為若干個(gè)時(shí)隙{t1，t2，…，tn}。用戶(hù)設(shè)備UE在每個(gè)時(shí)隙均會(huì)產(chǎn)生一個(gè)計(jì)算密集型任務(wù)。每個(gè)任務(wù)可以用一個(gè)三元組Rn={Dn，Cn，Tn}表示。其中：Dn表示該任務(wù)數(shù)據(jù)量的大?。籆n表示完成該任務(wù)所需要的CPU周期數(shù)；Tn表示該任務(wù)的最大容忍延遲。

地面用戶(hù)N的位置可以用（xi，yi，0）表示，帶有MEC服務(wù)器的無(wú)人機(jī)的位置則可以用（Xu，Yu，H）表示。本文考慮每個(gè)時(shí)隙中用戶(hù)設(shè)備與無(wú)人機(jī)進(jìn)行數(shù)據(jù)傳輸時(shí)的相對(duì)位置不變，用戶(hù)設(shè)備與無(wú)人機(jī)之間的信道增益gn可以表示為

其中：β0表示參考距離為1 m時(shí)的信道功率增益；dk表示用戶(hù)設(shè)備與無(wú)人機(jī)之間的距離。

由于用戶(hù)設(shè)備的計(jì)算能力有限，某些計(jì)算密集型任務(wù)需要卸載到無(wú)人機(jī)上的MEC服務(wù)器上執(zhí)行，這樣就產(chǎn)生了數(shù)據(jù)的上傳與下載。根據(jù)香農(nóng)公式并結(jié)合該場(chǎng)景下［10］，用戶(hù)設(shè)備與無(wú)人機(jī)之間通信速率為

其中：W表示用戶(hù)設(shè)備與無(wú)人機(jī)之間的通信帶寬；pn為傳輸功率；N0是噪聲功率；gn表示上文中用戶(hù)設(shè)備與無(wú)人機(jī)之間的信道增益。

2.2 計(jì)算模型

2.2.1 時(shí)延模型

當(dāng)任務(wù)需要卸載執(zhí)行時(shí)，系統(tǒng)會(huì)選擇將任務(wù)卸載到當(dāng)前最優(yōu)的無(wú)人機(jī)上進(jìn)行處理。任務(wù)卸載到無(wú)人機(jī)上時(shí)，需要考慮數(shù)據(jù)傳輸?shù)拇鷥r(jià)。詳細(xì)來(lái)說(shuō)，計(jì)算卸載要考慮圖3中任務(wù)的上傳、排隊(duì)、卸載及返回時(shí)延。根據(jù)文獻(xiàn)［11］，由于無(wú)人機(jī)的MEC服務(wù)器處理完返回的數(shù)據(jù)通常非常小，所以本文忽略其下載數(shù)據(jù)的時(shí)延。而數(shù)據(jù)把任務(wù)傳輸至無(wú)人機(jī)所需要的時(shí)間成本為

其中：p為卸載到某無(wú)人機(jī)的比例。而該卸載部分在無(wú)人機(jī)上的處理時(shí)延為

其中：frn為該無(wú)人機(jī)攜帶的MEC的計(jì)算能力。本文考慮的是一個(gè)任意比例卸載的模型，即有1-p比例仍在本地執(zhí)行，則其未卸載部分的本地執(zhí)行時(shí)間為

可以得出，在任意比例卸載時(shí)，總時(shí)延為

Trn=max{（Ttra+Texe），Trln}（6）

而某些數(shù)據(jù)量較小的任務(wù)可以直接被分配到本地設(shè)備執(zhí)行而不用上傳至無(wú)人機(jī)進(jìn)行處理，所以?xún)H本地處理只有處理任務(wù)的時(shí)間，用Tln表示：

其中：fln表示用戶(hù)設(shè)備UE的CPU頻率。一般來(lái)說(shuō)其計(jì)算能力越強(qiáng)，fln越大，所處理任務(wù)的時(shí)間就越短。

2.2.2 能耗模型

在傳輸任務(wù)的過(guò)程中不僅消耗時(shí)間，還會(huì)產(chǎn)生能耗［12］。在部分卸載模型中，僅有部分任務(wù)上傳至無(wú)人機(jī)，另一部分則留在本地執(zhí)行。在本地部分任務(wù)卸載所產(chǎn)生的能耗為

Erln=k（1-p）Cn（8）

其中：k為CPU每輪所需要消耗的能量，通常k取

k=10-27（fln）2（9）

而另一部分在無(wú)人機(jī)邊緣側(cè)執(zhí)行卸載，所產(chǎn)生的能耗有一部分是傳輸數(shù)據(jù)時(shí)產(chǎn)生的，可以表示為

Erpn=PnTtra（10）

其中：Pn為用戶(hù)設(shè)備的發(fā)射功率。特殊地，當(dāng)p=0時(shí)為僅在本地處理，能耗記為Eln。

Eln=kCn（11）

即可得出部分卸載時(shí)，用戶(hù)設(shè)備總的能量消耗為

Ern=Erln+Erpn（12）

2.2.3 負(fù)載均衡模型

一般情況下，任務(wù)傾向于卸載到計(jì)算能力最大的服務(wù)器上執(zhí)行。這將導(dǎo)致眾多任務(wù)向某一資源較為豐富的無(wú)人機(jī)發(fā)出卸載請(qǐng)求，而資源相對(duì)較少的無(wú)人機(jī)經(jīng)常處于空閑狀態(tài)，不利于無(wú)人機(jī)之間進(jìn)行協(xié)同工作。而負(fù)載均衡通過(guò)最佳化資源使用、最大化吞吐率等方法，可以很好地解決這一問(wèn)題。

2.3 問(wèn)題模型

為了使系統(tǒng)的總時(shí)延、總能耗與無(wú)人機(jī)負(fù)載均衡值的加權(quán)最小，本文參考文獻(xiàn)［13］，將三者加權(quán)為Wn表示系統(tǒng)總代價(jià)。

Wn=λ×Trn+β×Ern+γLB（16）

其中：λ與β為權(quán)重因子，兩者之和為1。通常情況下，負(fù)載均衡值LB相對(duì)較小，為了平衡三者之間的大小關(guān)系，可把γ設(shè)置在（1，2）。在本文中，救災(zāi)應(yīng)急場(chǎng)景下時(shí)延是重中之重，即可將λ設(shè)置的值大于β。因此，問(wèn)題P可以表示為

并且需要滿(mǎn)足

s.t． C1：frn≤F

C2：Trn≤Tn

C3：p∈［0，1］（18）

對(duì)于C1，式中F表示無(wú)人機(jī)的最大CPU頻率，含義為無(wú)人機(jī)分配給任務(wù)的CPU頻率不超過(guò)該無(wú)人機(jī)的最大CPU頻率。在C2中，體現(xiàn)了每個(gè)任務(wù)執(zhí)行時(shí)間不能超過(guò)其最大容忍時(shí)延。C3說(shuō)明卸載的比例范圍應(yīng)該處于0～1。上述求解問(wèn)題實(shí)際上是一個(gè)NP-hard問(wèn)題，并且本文考慮的卸載與以往的二進(jìn)制卸載不同，這使得求解變得更加復(fù)雜。本文考慮引入強(qiáng)化學(xué)習(xí)來(lái)求解該問(wèn)題，得到該問(wèn)題的一個(gè)近似最優(yōu)解。

3 改進(jìn)APPO的計(jì)算卸載算法

3.1 MDP設(shè)計(jì)

用戶(hù)設(shè)備將任務(wù)卸載到無(wú)人機(jī)的這一過(guò)程可以理解為一個(gè)馬爾可夫決策過(guò)程（Markov decision process，MDP），MDP的目標(biāo)是最大化智能體agent在整個(gè)序列中所獲得的獎(jiǎng)勵(lì)總和。在下文中，闡述了針對(duì)上述問(wèn)題最重要的三個(gè)元素，即狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)。

a）狀態(tài)空間。狀態(tài)空間中描述了agent所處的狀態(tài)，結(jié)合MEC環(huán)境，本文考慮的狀態(tài)如下：定義在時(shí)隙t的狀態(tài)s（t）={Dn，Cn，Tn，frn，rn，Loadn}，狀態(tài)中Dn、Cn、Tn、frn、rn均已經(jīng)在上文中解釋?zhuān)颂幉辉儋樖?，Loadn則表示無(wú)人機(jī)的MEC當(dāng)前的工作負(fù)載。

b）動(dòng)作空間。在計(jì)算卸載中，動(dòng)作對(duì)應(yīng)相應(yīng)的卸載決策，本文的動(dòng)作需要描述卸載的比例與目標(biāo)無(wú)人機(jī)，可將動(dòng)作空間定義為A={p1，…，pN，G1，…，GN}。其中：pi代表第i個(gè)用戶(hù)卸載的比例；Gi表示第i個(gè)用戶(hù)卸載的無(wú)人機(jī)對(duì)象。

c）獎(jiǎng)勵(lì)函數(shù)。在強(qiáng)化學(xué)習(xí)中，agent執(zhí)行某個(gè)動(dòng)作后，環(huán)境會(huì)給出相應(yīng)的獎(jiǎng)勵(lì)reward。一般來(lái)說(shuō)，獎(jiǎng)勵(lì)函數(shù)與目標(biāo)函數(shù)關(guān)系緊密，在文獻(xiàn)［14，15］中直接把時(shí)延能耗作為獎(jiǎng)勵(lì)函數(shù)。本文需要最小化系統(tǒng)總代價(jià)，因此得出獎(jiǎng)勵(lì)函數(shù)應(yīng)該與目標(biāo)函數(shù)呈負(fù)相關(guān)。

在實(shí)際卸載中，agent根據(jù)當(dāng)前的狀態(tài)選擇相應(yīng)的動(dòng)作即卸載比例，得到下一個(gè)狀態(tài)，此時(shí)環(huán)境給出進(jìn)行此動(dòng)作對(duì)應(yīng)的獎(jiǎng)勵(lì)，在進(jìn)行上述訓(xùn)練后最終得到一個(gè)最優(yōu)策略。針對(duì)本文地面用戶(hù)進(jìn)行卸載所選擇的子無(wú)人機(jī){1，2，…，M}對(duì)象是離散的，而任務(wù)的卸載比例p∈［0，1］，其動(dòng)作空間是連續(xù)的問(wèn)題?？紤]到PPO算法在無(wú)須任何環(huán)境的先驗(yàn)知識(shí)前提下，也能學(xué)習(xí)到較好的卸載策略，且該算法既適用于離散動(dòng)作空間又可以處理連續(xù)動(dòng)作。因此使用改進(jìn)的APPO算法來(lái)解決本文問(wèn)題。

3.2 APPO算法設(shè)計(jì)

傳統(tǒng)PPO算法使用策略梯度方法進(jìn)行訓(xùn)練，其關(guān)鍵思想是通過(guò)觀察遵循策略獲得的執(zhí)行軌跡來(lái)估計(jì)期望總獎(jiǎng)勵(lì)的梯度。策略梯度的計(jì)算如下：

其中：Aπθ（st，at）為優(yōu)勢(shì)函數(shù)，其計(jì)算為

Aπθ（st，at）=Q（s，a）-V（s）（21）

其中：Q（s，a）表示在狀態(tài)s下采取動(dòng)作a的價(jià)值；V（s）表示在狀態(tài)s下所有動(dòng)作的平均價(jià)值。優(yōu)勢(shì)函數(shù)用于評(píng)估在某個(gè)狀態(tài)下采取某個(gè)動(dòng)作相對(duì)于平均回報(bào)的優(yōu)劣程度。優(yōu)勢(shì)函數(shù)的值越大，表示采取該動(dòng)作的優(yōu)勢(shì)越大。傳統(tǒng)PPO算法還加入了重要性采樣，其策略梯度略有不同。

本文將πθ（at|st）/πθ′（at|st）記為r（θ），其含義為當(dāng)前策略的行動(dòng)概率πθ（at|st）與上一個(gè)策略的行動(dòng)概率πθ′（at|st）的比值。在PPO中，要求新舊兩個(gè)策略不能相差太大，是為了保證策略更新的安全性和穩(wěn)定性［16］。

針對(duì)本文所提出的邊端卸載場(chǎng)景，將PPO算法改進(jìn)為APPO算法以便適用于當(dāng)前工作需要。

a）如若某無(wú)人機(jī)的綜合負(fù)載頻繁變化且幅度較大，則不利于實(shí)現(xiàn)多無(wú)人機(jī)之間的負(fù)載均衡。通過(guò)使用剪切函數(shù)來(lái)限制策略更新的幅度，其目標(biāo)函數(shù)表示如下：

當(dāng)優(yōu)勢(shì)函數(shù)Aπθ（st，at）＞0時(shí)，要增加該動(dòng)作出現(xiàn)的概率；當(dāng)優(yōu)勢(shì)函數(shù)Aπθ（st，at）＜0時(shí)，要減小該動(dòng)作出現(xiàn)的概率，并把r（θ）控制在（1-ε，1+ε）。此舉可以避免策略更新過(guò)于激進(jìn)，利于實(shí)現(xiàn)多無(wú)人機(jī)的負(fù)載均衡。

b）本文采取線(xiàn)性衰減的方式處理學(xué)習(xí)率α，可以加速模型的收斂速度。在訓(xùn)練初期，較大的學(xué)習(xí)率可以幫助模型快速收斂，而在訓(xùn)練后期，較小的學(xué)習(xí)率可以避免過(guò)擬合，從而提高模型的泛化能力。并在動(dòng)作輸出時(shí)采用Beta分布采樣，將動(dòng)作控制在［0，1］，避免了Gaussian分布的無(wú)界性。

c）本文在計(jì)算狀態(tài)值函數(shù)時(shí)采用V-trace方法，可以更加準(zhǔn)確地估計(jì)其值并作為critic網(wǎng)絡(luò)的更新目標(biāo)。

APPO算法架構(gòu)如圖4所示，包括actor網(wǎng)絡(luò)與critic網(wǎng)絡(luò)。actor網(wǎng)絡(luò)的輸入為狀態(tài)，輸出為動(dòng)作概率分布參數(shù)（對(duì)于連續(xù)動(dòng)作空間而言）。在critic網(wǎng)絡(luò)中，輸入為狀態(tài)st，輸出為狀態(tài)的價(jià)值。首先將當(dāng)前的狀態(tài)st輸入到actor網(wǎng)絡(luò)得到均值mu與方差sigma，將構(gòu)建的正態(tài)分布隨機(jī)抽樣一個(gè)動(dòng)作at，執(zhí)行動(dòng)作at后得到一個(gè)環(huán)境給的獎(jiǎng)勵(lì)reward，狀態(tài)更新為s′t。得到一批數(shù)據(jù)后用critic網(wǎng)絡(luò)計(jì)算每個(gè)動(dòng)作的價(jià)值V（e）、優(yōu)勢(shì)函數(shù)Aπθ（st，at）、策略損失函數(shù)（actor損失函數(shù)）。critic網(wǎng)絡(luò)的損失函數(shù)為

loss=（V（e）-vtrace） 2（25）

其中：V（e）是critic網(wǎng)絡(luò)估計(jì)的回報(bào)；vtrace是真實(shí)回報(bào)。再采用梯度下降法更新critic網(wǎng)絡(luò)。更新網(wǎng)絡(luò)時(shí)要避免新舊網(wǎng)絡(luò)差距太大。重復(fù)以上步驟，直到策略收斂或達(dá)到一定的迭代次數(shù)，最終，輸出最優(yōu)的策略。

算法1 APPO算法

4 仿真與結(jié)果分析

4.1 仿真場(chǎng)景

為驗(yàn)證本文算法在上述建立的邊-端架構(gòu)場(chǎng)景下的時(shí)延、能耗與負(fù)載均衡值的優(yōu)越性，進(jìn)行仿真實(shí)驗(yàn)。本場(chǎng)景中假設(shè)地面用戶(hù)設(shè)備隨機(jī)分布在200×200 m2的正方形區(qū)域，無(wú)人機(jī)的飛行高度固定為30 m。實(shí)驗(yàn)結(jié)果均為重復(fù)多次實(shí)驗(yàn)的均值。MEC環(huán)境部分參數(shù)配置如表1所示。

選擇以下幾種算法與本文算法進(jìn)行結(jié)果對(duì)比分析：

a）DQN。基于Q-learning算法的DQN是強(qiáng)化學(xué)習(xí)中最經(jīng)典的算法之一，DQN算法使用神經(jīng)網(wǎng)絡(luò)來(lái)近似Q值函數(shù)，以解決狀態(tài)空間過(guò)大的強(qiáng)化學(xué)習(xí)問(wèn)題。

b）A2C算法。A2C算法是一種基于策略的強(qiáng)化學(xué)習(xí)算法。它結(jié)合了演員評(píng)論算法和優(yōu)勢(shì)函數(shù)，用于學(xué)習(xí)策略以最大化預(yù)期獎(jiǎng)勵(lì)。

c）隨機(jī)卸載執(zhí)行。對(duì)任務(wù)隨機(jī)選擇本地處理或卸載到無(wú)人機(jī)進(jìn)行處理。

d）全部本地執(zhí)行。任務(wù)全部留在用戶(hù)本地處理，不進(jìn)行卸載。由于該算法不涉及無(wú)人機(jī)，實(shí)驗(yàn)中負(fù)載均衡值取0。

4.2 仿真結(jié)果及分析

強(qiáng)化學(xué)習(xí)中需要考慮的是如何使獎(jiǎng)勵(lì)最大化，圖5為本文算法在20個(gè)設(shè)備下進(jìn)行900余回合迭代的結(jié)果。該結(jié)果表明，在訓(xùn)練200回合時(shí)，該模型已經(jīng)趨于收斂，獎(jiǎng)勵(lì)值在-11上下波動(dòng)。在與環(huán)境的交互中，agent通過(guò)不斷地學(xué)習(xí)來(lái)調(diào)整策略，該策略能夠使得在當(dāng)前的狀態(tài)下作出動(dòng)作得到最大化的累計(jì)獎(jiǎng)勵(lì)。加入探索可以幫助算法更好地學(xué)習(xí)到環(huán)境的動(dòng)態(tài)變化，從而提高算法的適應(yīng)性和泛化能力。

圖6展示了在不同數(shù)量的用戶(hù)設(shè)備下，各類(lèi)算法的系統(tǒng)總代價(jià)變化情況。由于設(shè)備數(shù)量增加，所有算法的總代價(jià)均有不用程度的上升。本地處理的總代價(jià)增加最多，這是因?yàn)楸镜靥幚淼哪芎南妮^高，導(dǎo)致總代價(jià)上升迅速。其他涉及MEC的算法總代價(jià)增加主要因?yàn)闊o(wú)人機(jī)的MEC服務(wù)器數(shù)量與處理能力有限，隨著設(shè)備的不斷接入，MEC服務(wù)器平均分配給每個(gè)設(shè)備的資源減少，導(dǎo)致了處理時(shí)間的增加。在地面用戶(hù)數(shù)量相對(duì)較多，如35時(shí)，APPO算法的系統(tǒng)總代價(jià)相比其他算法優(yōu)勢(shì)顯著，與全本地處理相比降低了約50%，與DQN算法相比降低了約17%，與較為高效的A2C算法相比降低了約14%。

帶寬對(duì)計(jì)算卸載也有著一定的影響。在地面設(shè)備數(shù)量為20時(shí)，隨著帶寬的增加，四類(lèi)算法的總能耗（焦耳）變化如圖7所示。在帶寬的增加過(guò)程中，本地處理的能耗保持穩(wěn)定，這是因?yàn)楸镜靥幚頉](méi)有涉及到任務(wù)的傳輸與下載。帶寬增加后任務(wù)卸載時(shí)的傳輸時(shí)間減小，任務(wù)的傳輸能耗也隨之減小。由于除本地處理外的其他算法傳輸任務(wù)成本減小，越來(lái)越多的任務(wù)選擇傳輸?shù)綗o(wú)人機(jī)進(jìn)行卸載，所以總能耗有所降低。

圖8研究了任務(wù)所需CPU周期數(shù)對(duì)系統(tǒng)總代價(jià)的影響。在任務(wù)所需CPU周期數(shù)Cn的增加過(guò)程中，四類(lèi)算法的總代價(jià)都變化明顯。當(dāng)任務(wù)復(fù)雜度較小時(shí)，本地處理的負(fù)擔(dān)較小。但當(dāng)任務(wù)復(fù)雜度增加時(shí)，本地處理難以應(yīng)對(duì)龐大的計(jì)算量，從而使得系統(tǒng)總代價(jià)迅速上升。APPO算法雖然波動(dòng)明顯，但也是符合理論依據(jù)的，其他因素不變的情況下，Cn的增加無(wú)疑會(huì)直接影響到任務(wù)的執(zhí)行時(shí)間。在上述仿真中，當(dāng)Cn=4 GHz時(shí)，APPO仍能保持最低的總代價(jià)，與全本地處理相比降低了約60%，與DQN相比降低了約13%，與A2C相比降低了約9%。

無(wú)人機(jī)中的MEC服務(wù)器的相關(guān)性能指標(biāo)對(duì)于計(jì)算卸載效率有著重要的影響。本文主要考慮無(wú)人機(jī)的處理能力，無(wú)人機(jī)處理能力直接影響到處理任務(wù)的時(shí)延。當(dāng)Cn=2.4 GHz時(shí)，根據(jù)圖9，在無(wú)人機(jī)的MEC處理能力提高的過(guò)程中，A2C、DQN、RAMEC、APPO的總時(shí)延逐漸減小，本地處理與無(wú)人機(jī)無(wú)關(guān)所以時(shí)延保持不變。在MEC服務(wù)器的處理能力變化過(guò)程中，APPO對(duì)比其他算法始終保持優(yōu)勢(shì)。

實(shí)現(xiàn)無(wú)人機(jī)之間的負(fù)載均衡是本文的目標(biāo)之一，負(fù)載均衡使得各個(gè)無(wú)人機(jī)在處理任務(wù)時(shí)相對(duì)公平，提高了無(wú)人機(jī)之間的協(xié)同處理能力。本文使用負(fù)載均衡值LB來(lái)衡量負(fù)載均衡情況，其值越小代表負(fù)載均衡效果越好。在圖10中，Cn不斷增加導(dǎo)致各無(wú)人機(jī)中的負(fù)載增加，該場(chǎng)景下迫切需要一個(gè)高效的算法來(lái)解決負(fù)載均衡問(wèn)題。A2C算法沒(méi)有APPO算法中的重要性采樣，導(dǎo)致其動(dòng)作的隨機(jī)性相對(duì)增大而不利于各個(gè)無(wú)人機(jī)的負(fù)載均衡。APPO算法在各個(gè)任務(wù)復(fù)雜度下的LB均小于0.2，不僅驗(yàn)證了γ取值范圍的可行性，也證明了APPO算法在負(fù)載均衡方面的有效性。

救災(zāi)場(chǎng)景下，在截止時(shí)間內(nèi)完成任務(wù)直接關(guān)系著待救援人民的生命安全。表2中，給出Cn=1.3 GHz時(shí)，各算法在不同地面用戶(hù)數(shù)量下的平均任務(wù)成功率。如表2所示，三類(lèi)強(qiáng)化學(xué)習(xí)算法的平均任務(wù)成功率均在90%以上，展現(xiàn)了強(qiáng)化學(xué)習(xí)處理卸載請(qǐng)求的高性能。隨著用戶(hù)數(shù)量增多，APPO算法始終能作出良好的卸載決策，其任務(wù)完成的比例均保持在97%以上，可以較好地處理應(yīng)急卸載請(qǐng)求。

5 結(jié)束語(yǔ)

本文以地震救災(zāi)場(chǎng)景下的無(wú)人機(jī)協(xié)同輔助卸載為背景，創(chuàng)新地提出了一種帶有邊緣協(xié)調(diào)器的邊-端架構(gòu)，以最小化系統(tǒng)總代價(jià)為目標(biāo)，并采用改進(jìn)深度強(qiáng)化學(xué)習(xí)算法進(jìn)行任務(wù)的部分卸載。最后進(jìn)行大量的仿真實(shí)驗(yàn)，結(jié)果表明，與其他四類(lèi)算法比較，本文算法在多種場(chǎng)景中表現(xiàn)最優(yōu)，有效降低了系統(tǒng)總代價(jià)，從而驗(yàn)證了本文算法的可行性與優(yōu)越性。在下一步工作中，將著重對(duì)于無(wú)人機(jī)協(xié)同的最優(yōu)路徑規(guī)劃的卸載問(wèn)題進(jìn)行研究。

參考文獻(xiàn)：

［1］Chen Min， Hao Yixue. Task offloading for mobile edge computing in software defined ultra-dense network［J］. IEEE Journal On Selec-ted Areas In Communications， 2018，36（3）： 587-597.

［2］Pavel M， Zdenek B. Mobile edge computing： a survey on architecture and computation offloading［J］. IEEE Communications Surveys and Tutorials， 2017，19（3）： 1628-1656.

［3］Liao Zhuofan， Ma Yinbao， Huang Jiawei， et al. HOTSPOT： a UAV-assisted dynamic mobility-aware offloading for mobile-edge computing in 3D space［J］. IEEE Trans On Vehicular Technology， 2021，8（13）： 10940-10952.

［4］Jing Bai， Zeng Zhiwen， Wang Tian， et al. TANTO： an effective trust-based unmanned aerial vehicle computing system for the Internet of Things［J］. IEEE Internet of Things Journal， 2023，10（7）： 5644-5661.

［5］Liu Run， Liu Anfeng， Qu Zhenzhe， et al. An UAV-enabled intel-ligent connected transportation system with 6G communications for Internet of Vehicles［J］. IEEE Trans on Intelligent Transportation Systems， 2023， 24（2）： 2045-2059.

［6］Cheng Zhipeng， Liwang Minghui， Ning Chen， et al. Deep reinforcement learning-based joint task and energy offloading in UAV-aided 6G intelligent edge networks［J］. Computer Communications， 2022，192： 234-244.

［7］Gao Ang， Qi Qang， Wei Liang， et al. Game combined multi-agent reinforcement learning approach for UAV assisted offloading［J］. IEEE Trans on Vehicular Technology， 2021， 70（12）： 12888-12901.

［8］Li Wentao， Zhao Mingxiong， Wu Yuhui， et al. Collaborative offloa-ding for UAV-enabled time-sensitive MEC networks［J］. EURASIP Journal on Wireless Communications and Networking， 2021， 2021（1）： article No.1.

［9］Wang Yutao， Chen Weiwei， Luan T H， et al. Task offloading for post-disaster rescue in unmanned aerial vehicles networks［J］. IEEE/ACM Trans On Networking， 2022，30：1525-1539.

［10］王錦， 張新有. 基于DQN的無(wú)人駕駛?cè)蝿?wù)卸載策略［J］. 計(jì)算機(jī)應(yīng)用研究， 2022，39（9）： 2738-2744. （Wang Jin， Zhang Xinyou. DQN based unmanned driving task offloading strategy［J］. Application Research of Computers， 2022，39（9）： 2738-2744.）

［11］Mao Yuyi， Zhang Jun， Letaief K B. Dynamic computation offloading for mobile-edge computing with energy harvesting devices［J］. IEEE Journal on Selected Areas in Communications， 2016，34（12）： 3590-3605.

［12］姚維， 黃俊. 移動(dòng)邊緣計(jì)算中的無(wú)人機(jī)群協(xié)同任務(wù)卸載策略研究［J］. 重慶郵電大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2022，34（3）： 507-514. （Yao Wei， Huang Jun. Research on the cooperative task unloading strategy of UAV clusters in mobile edge computing［J］. Journal of Chongqing University of Posts and Telecommunications： Natural Science Edition， 2022，34（3）： 507-514.）

［13］盧海峰， 顧春華， 羅飛， 等. 基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載研究［J］. 計(jì)算機(jī)研究與發(fā)展， 2020，57（7）： 1539-1554. （Lu Haifeng， Gu Chunhua， Luo Fei， et al. Research on task unloading of mobile edge computing based on deep reinforcement learning［J］. Computer Research and Development， 2020，57（7）： 1539-1554.）

［14］Huang Liang， Feng Xu， Zhang Cheng， et al. Deep reinforcement learning-based joint task offloading and bandwidth allocation for multi-user mobile edge computing［J］. Digital Communications & Networks， 2018， 251： 33-42.

［15］Abegaz M S， Gordon O B， Stephen A， et al. Collaborative computation offloading and resource allocation in multi-UAV-assisted IoT networks： a deep reinforcement learning approach［J］. IEEE Internet of Things Journal， 2021，8（15）： 12203-12218.

［16］Watkins C J C H. Learning from delayed rewards［J］. Robotics & Autonomous Systems， 1995，15（4）： 233-235.

［17］Espeholt L， Soyer H， Munos R， et al. IMPALA： scalable distributed Deep-RL with importance weighted actor-learner architectures［C］//Proc of the 35th International Conference on Machine Learning. ［S.l.］： PMLR， 2018： 1407-1416.

［18］Li Ji， Gao Hui， Lyu Tiejun， et al. Deep reinforcement learning based computation offloading and resource allocation for MEC［C］//Proc of IEEE Wireless Communications and Networking Conference. Pisca-taway， NJ： IEEE Press， 2018.

［19］Schulman J， Wolski F， Dhariwal P， et al. Proximal policy optimization algorithms［EB/OL］. （2017-07-20）. https：//arxiv.org/abs/1707.06347.

［20］Zhu Xiaoyu， Luo Yueyi， Liu Anfeng， et al. A deep reinforcement learning-based resource management game in vehicular edge computing［J］. IEEE Trans on Intelligent Transportation Systems， 2022， 23（3）： 2422-2433.

［21］袁昕旺， 謝智東， 譚信. 無(wú)人機(jī)邊緣計(jì)算中的資源管理優(yōu)化研究綜述［J］. 計(jì)算機(jī)科學(xué)， 2022，49（11）： 234-241. （Yuan Xinwang， Xie Zhidong， Tan Xin. Overview of research on resource management optimization in UAV edge computing［J］. Computer Science， 2022， 49（11）： 234-241.）

［22］楊天， 田霖， 孫茜， 等. 移動(dòng)邊緣計(jì)算中基于用戶(hù)體驗(yàn)的計(jì)算卸載方案［J］. 計(jì)算機(jī)工程， 2020，46（10）： 33-40. （Yang Tian， Tian Lin， Sun Qian， et al. User experience based computing unloading scheme in mobile edge computing［J］. Computer Enginee-ring， 2020， 46（10）： 33-40.）

［23］Wang Heng， Zhang Haijun， Liu Xiangnan， et al. Joint UAV placement optimization， resource allocation， and computation offloading for THz band： a DRL approach［J］. IEEE Trans on Wireless Communications， 2023， 22（7）： 4890-4900.

［24］陳玉平， 劉波， 林偉偉， 等. 云邊協(xié)同綜述［J］. 計(jì)算機(jī)科學(xué)， 2021，48（3）： 259-268. （Chen Yuping， Liu Bo， Lin Weiwei， et al. Overview of cloud edge collaboration［J］. Computer Science， 2021， 48（3）： 259-268.）

［25］Gong Xiaoyu， Yu Jiayu， Lu Shuai， et al. Actor-critic with familiarity-based trajectory experience replay［J］. Information Sciences， 2022， 582： 633-647.

［26］于晶， 魯凌云， 李翔. 車(chē)聯(lián)網(wǎng)中基于DDQN的邊云協(xié)作任務(wù)卸載機(jī)制［J］. 計(jì)算機(jī)工程， 2022，48（12）： 156-164. （Yu Jing， Lu Lingyun， Li Xiang. DDQN based edge cloud collaborative task offloading mechanism in the Internet of Vehicles［J］. Computer Engineering， 2022，48（12）： 156-164.）

［27］Ning Zhaolong， Dong Peiran， Kong Xiangjie， et al. A cooperative partial computation offloading scheme for mobile edge computing enabled Internet of Things［J］. IEEE Internet of Things Journal， 2019， 6（3）： 4804-4814.

［28］Qin Langtian， Lu Hancheng， Wu Feng. When the user-centric network meets mobile edge computing： challenges and optimization［J］. IEEE Communications Magazine， 2023，61（1）： 114-120.

［29］王凌， 吳楚格， 范文慧. 邊緣計(jì)算資源分配與任務(wù)調(diào)度優(yōu)化綜述［J］. 系統(tǒng)仿真學(xué)報(bào)， 2021，33（3）： 509-520. （Wang Ling， Wu Chuge， Fan Wenhui. Overview of edge computing resource allocation and task scheduling optimization［J］. Journal of System Simulation， 2021，33（3）： 509-520.）

［30］盛津芳， 滕瀟雨， 李偉民， 等. 移動(dòng)邊緣計(jì)算中基于改進(jìn)拍賣(mài)模型的計(jì)算卸載策略［J］. 計(jì)算機(jī)應(yīng)用研究， 2020，37（6）： 1688-1692. （Sheng Jinfang， Teng Xiaoyu， Li Weimin， et al. Computing unloading strategy based on improved auction model in mobile edge computing［J］. Application Research of Computers， 2020， 37（6）： 1688-1692.）

［31］賈覲， 暴占彪. 改進(jìn)GA的邊緣計(jì)算任務(wù)卸載與資源分配策略［J］. 計(jì)算機(jī)工程與設(shè)計(jì)， 2021，42（11）： 3009-3017. （Jia Jin， Bao Zhanbiao. Task unloading and resource allocation strategy of improved GA for edge computing［J］. Computer Engineering and Design， 2021， 42（11）： 3009-3017.）