王姍姍，羅志勇

(中山大學(xué) 電子與通信工程學(xué)院，廣東 深圳 518107)

0 引言

車載邊緣計算(Vehicular Edge Computirg, VEC)網(wǎng)絡(luò)因其廣泛的應(yīng)用而備受關(guān)注[1]。然而，有限的車載設(shè)備資源無法支持越來越多對低延遲和高性能服務(wù)需求的新應(yīng)用，如信息服務(wù)、路徑導(dǎo)航、娛樂應(yīng)用等。為了應(yīng)對這一挑戰(zhàn)，基于云邊端一體化與智能協(xié)同等算力網(wǎng)絡(luò)技術(shù)的車載邊緣計算作為一種新型計算范式。VEC網(wǎng)絡(luò)將分布式的計算節(jié)點連接起來，動態(tài)實時感知計算與通信資源，進而實時統(tǒng)籌分配和調(diào)度計算任務(wù)，形成了一張計算資源可感知、可分配、可調(diào)度的網(wǎng)絡(luò)，滿足了用戶車輛任務(wù)對算力的要求，也是邊緣計算向泛在算力網(wǎng)絡(luò)融合演進的新階段[2-3]。對于用戶車輛與邊緣服務(wù)器之間進行通信時，計算任務(wù)可被卸載到邊緣服務(wù)器上，在這個過程中VEC網(wǎng)絡(luò)會產(chǎn)生時延與能耗等方面的開銷。為了滿足VEC網(wǎng)絡(luò)中大量用戶的多樣化業(yè)務(wù)需求，基于云邊協(xié)同、多點算力均衡等算力網(wǎng)絡(luò)技術(shù)，設(shè)計高效的計算卸載策略來實現(xiàn)對計算和網(wǎng)絡(luò)資源狀態(tài)的感知，進而實現(xiàn)資源的按需調(diào)配與調(diào)度,從而在算力網(wǎng)絡(luò)中實現(xiàn)更快通信、更高感知、更準(zhǔn)計算。

1 背景介紹

近年來，一些專家對VEC網(wǎng)絡(luò)的計算卸載策略開展了研究。Yang等人[4]研究了面向智能物聯(lián)網(wǎng)的多層算力網(wǎng)絡(luò)，通過考慮海量計算之間的交互與算力資源協(xié)同，實現(xiàn)了算力的智能分發(fā)。Luo等人[5]為提高VEC網(wǎng)絡(luò)的任務(wù)卸載率，提出了一種基于貪心匹配的動態(tài)任務(wù)卸載算法。澳大利亞悉尼大學(xué)計算機學(xué)院[6]提出了基于聯(lián)邦學(xué)習(xí)的無線網(wǎng)絡(luò)聯(lián)合優(yōu)化模型，通過建立節(jié)點間分布式算力分配，為解決通感算一體化系統(tǒng)中節(jié)點算力不足與不均衡的問題提供了解決思路。然而，這些研究僅從移動終端架構(gòu)的角度分別優(yōu)化了卸載決策或資源配置，并沒有充分利用云中心和MEC服務(wù)器的異構(gòu)計算能力，導(dǎo)致算力網(wǎng)絡(luò)中仍然存在算力分配不充分和不均衡的問題。

與此同時，鑒于VEC網(wǎng)絡(luò)的動態(tài)性和隨機性，現(xiàn)有的計算卸載策略大多需要引入更加智能的算法來應(yīng)對傳統(tǒng)數(shù)學(xué)方法的不足, 并實現(xiàn)網(wǎng)絡(luò)的通信、計算和存儲資源的智能管理[7-9]。美國康奈爾大學(xué)的學(xué)者[10]采用在線優(yōu)化方法實時學(xué)習(xí)并更新系統(tǒng)參數(shù)來優(yōu)化網(wǎng)絡(luò)吞吐量。Leng等人[11]提出了一種基于云計算的智能車聯(lián)網(wǎng)管理系統(tǒng)，增強了車輛的實時感知功能。但這些研究僅適用于靜態(tài)網(wǎng)絡(luò)環(huán)境，即在執(zhí)行卸載決策后不再同步更新資源的分配。

由以上的分析可知，目前VEC網(wǎng)絡(luò)中基于云邊協(xié)同的任務(wù)卸載與資源分配策略存在以下不足：① 大多沒有考慮同時利用云中心、邊緣服務(wù)器的異構(gòu)計算能力，且集中在單一邊緣節(jié)點的通感、通算、感算等雙邊能力的一體化方面；② 雖然計算資源呈現(xiàn)出泛在部署的趨勢，但是邊緣節(jié)點與云計算節(jié)點之間缺失有效的算力協(xié)同機制；③ 聯(lián)合任務(wù)卸載決策與資源分配的研究大多是針對靜態(tài)的，執(zhí)行卸載決策后未同步更新資源分配。

基于此，為了更加高效利用網(wǎng)絡(luò)邊緣側(cè)的海量分布式算力資源，本文針對6G通感算融合網(wǎng)絡(luò)中邊緣節(jié)點缺失智能化處理的問題，將算力與網(wǎng)絡(luò)深度融合，基于協(xié)同分布式計算資源提出了一種云邊協(xié)同智能驅(qū)動車載邊緣算力網(wǎng)絡(luò)架構(gòu)，其中車輛可以將計算密集型和時延敏感型任務(wù)分別卸載到MEC服務(wù)器、聚合服務(wù)器和云中心三個層次上，實現(xiàn)業(yè)務(wù)在各級節(jié)點的算力最優(yōu)。 通過結(jié)合實時計算負載與網(wǎng)絡(luò)狀態(tài)條件，動態(tài)地將計算任務(wù)卸載到最佳的邊緣節(jié)點上權(quán)衡用戶任務(wù)卸載策略，實現(xiàn)多點算力的最優(yōu)均衡?？紤]以最小化系統(tǒng)長期總成本為目標(biāo)，聯(lián)合任務(wù)分配和資源分配策略建模為優(yōu)化問題，并將該優(yōu)化問題轉(zhuǎn)化為馬爾可夫決策過程(Markov Decision Process, MDP)。最后，利用云邊協(xié)同的深度Q網(wǎng)絡(luò)(Cloud-Edge Collaborative Deep Q-Network,CEC-DQN)算法解決MDP問題，實現(xiàn)了任務(wù)的靈活分配和資源的智能管理。仿真結(jié)果表明，所提出的計算卸載策略優(yōu)于基準(zhǔn)策略，能夠有效降低系統(tǒng)的總長期開銷，最終實現(xiàn)單點算力的有效利用與多點算力的最優(yōu)均衡調(diào)度。

2 系統(tǒng)模型

2.1 VEC 網(wǎng)絡(luò)架構(gòu)

本文針對VEC網(wǎng)絡(luò)中邊緣節(jié)點缺失智能化處理的問題，基于云邊端協(xié)同與分布式算力調(diào)度等技術(shù)提出了一種分層協(xié)同智能驅(qū)動VEC網(wǎng)絡(luò)架構(gòu)，如圖1所示。任務(wù)模型為整體任務(wù)卸載模型，IoV用戶可以將任務(wù)整體卸載到 MEC服務(wù)器、聚合服務(wù)器和云中心三個層次上權(quán)衡卸載策略。IoV用戶層包括行駛在道路上的I類車輛，車上配備了多種傳感器，可以用于感知物體的距離、角度等環(huán)境狀態(tài)信息，便于車輛做出可靠的研判。在VEC系統(tǒng)中，考慮的場景是一條雙向的車道，在車道一側(cè)部署了配有邊緣服務(wù)的路邊單元(Roadside Unit,RSU)構(gòu)成邊緣層。每個RSU優(yōu)先與通信范圍內(nèi)的用戶通信，每個用戶在t時隙只能與一個RSU關(guān)聯(lián)。為了簡化模型，重點考慮單個RSU的模型，該解決方案可以拓展到多個RSU的情況。聚合服務(wù)器層比MEC服務(wù)器具有更好的計算資源，可以通過有線連接與多個RSU通信。此外，計算任務(wù)還可通過MEC服務(wù)器使用有線方式轉(zhuǎn)發(fā)到云服務(wù)層進行卸載。聚合服務(wù)器與云服務(wù)器作為MEC服務(wù)器的補充方案，可以滿足大量用戶的計算卸載需求，但是會消耗更多的時延與能耗。

圖1 云邊協(xié)同智能驅(qū)動VEC算力網(wǎng)絡(luò)架構(gòu)

2.2 任務(wù)模型

在云邊協(xié)同VEC網(wǎng)絡(luò)中，用戶采用正交頻分多址接入技術(shù)(Orthogonal Frequency Division Multiple Access,OFDMA)與邊緣節(jié)點進行通信。不同的用戶車輛占用不同的信道進行雙向傳輸，每一個子信道的帶寬為b。假設(shè)在某一道路段內(nèi)，各個用戶車輛與邊緣節(jié)點之間的通信干擾可以忽略不計，則根據(jù)香農(nóng)定理，計算任務(wù)n與邊緣服務(wù)器之間的最大數(shù)據(jù)傳輸速率為：

(1)

(2)

若任務(wù)n需要通過有線連接卸載到聚合服務(wù)器上，則傳輸時延定義為：

(3)

式中，Ras為聚合服務(wù)器上的數(shù)據(jù)傳輸速率。若任務(wù)n需要通過有線連接方式將計算任務(wù)卸載到云服務(wù)器上，則將Ras替換為云服務(wù)器上的數(shù)據(jù)傳輸速率Rcs。

(4)

當(dāng)計算任務(wù)n執(zhí)行計算卸載時，一般經(jīng)歷以下三個階段：任務(wù)上傳、任務(wù)執(zhí)行與結(jié)果反饋。因為結(jié)果反饋階段的數(shù)據(jù)一般要比上傳的數(shù)據(jù)小很多，所以本文忽略結(jié)果反饋的時延。

因此，計算密集型任務(wù)n的處理總時延Tn可以根據(jù)通信與計算模型得到：

(5)

計算密集型任務(wù)n總能耗可以表示為：

(6)

為了考慮用戶針對不同的計算卸載場景對時延與能耗的偏好，考慮增加權(quán)重因子θ∈[0,1]，來權(quán)衡時延與能耗的重要性。構(gòu)建系統(tǒng)成本函數(shù)如下：

Gn(t)=θTn(t)+(1-θ)En(t)。

(7)

3 問題形成

本研究旨在動態(tài)、隨機的VEC系統(tǒng)中，針對有限的網(wǎng)絡(luò)資源與大量車載用戶需求之間的矛盾，通過基于云邊端一體化與分布式算力調(diào)度技術(shù)聯(lián)合優(yōu)化設(shè)計任務(wù)卸載與資源分配策略，來最小化VEC系統(tǒng)在長期一段時間內(nèi)的總成本函數(shù)，并解決通感算網(wǎng)絡(luò)中邊緣節(jié)點算力不足與分布不均衡的問題。因此目標(biāo)函數(shù)如下：

(8)

C6:Tn≤τ, ?n∈N。

(9)

4 基于CEC-DQN的計算卸載策略

4.1 MDP 定義問題

由于P1屬于混合整數(shù)非線性規(guī)劃(MINP)問題，為了保證問題的長期隨機優(yōu)化特性，本文將P1轉(zhuǎn)換為MDP[12-13]。MDP一般是由三個關(guān)鍵要素組成，即M= {State,Action,Reward}。其中，State為一個有限的狀態(tài)集合，Action為一個有限的動作集合，Reward為即時獎勵函數(shù)。通過結(jié)合具體的優(yōu)化P1，給出了三個關(guān)鍵要素具體化的定義。

(1)State

在t時隙時，系統(tǒng)狀態(tài)包括所有車輛任務(wù)卸載的卸載請求、MEC服務(wù)器、聚合服務(wù)器和云服務(wù)器的計算資源、系統(tǒng)帶寬。因此系統(tǒng)狀態(tài)空間可以定義為s(t) = (at,bt,fk=1(t),fk=2(t),fk=3(t),B(t))，其中，at為待卸載任務(wù)數(shù)據(jù)量大小，bt為待卸載任務(wù)所需要的計算量，fk=1(t),fk=2(t),fk=3(t)分別為MEC、聚合服務(wù)器和云服務(wù)器的計算資源，B(t)為在時隙t時的帶寬資源。

(2)Action

(3)Reward

由于優(yōu)化問題P1的目標(biāo)是最小化系統(tǒng)長期總成本，所以將t時隙的即時回報獎勵函數(shù)設(shè)計如下:

(10)

式中，G(MEC)表示所有任務(wù)在MEC服務(wù)器上執(zhí)行卸載時系統(tǒng)的總成本，G(s,a)表示基于當(dāng)前狀態(tài)和動作執(zhí)行后的系統(tǒng)總成本。

4.2 CEC-DQN 方法

隨著狀態(tài)空間和動作空間的增加，傳統(tǒng)Q-learning算法會產(chǎn)生巨大的時間開銷[14]。為避免這一問題，本文采用了一種基于CEC-DQN的高效計算卸載策略[15-16]。CEC-DQN算法的核心思想是將Q網(wǎng)絡(luò)作為VEC網(wǎng)絡(luò)中的策略評價準(zhǔn)則[17]，利用神經(jīng)網(wǎng)絡(luò)對不同狀態(tài)的動作組合下的Q值進行近似估計，將Q表的更新轉(zhuǎn)化為函數(shù)擬合問題[18]，即

Q(s,a;θ)≈Q(s,a)。

(11)

為了打破數(shù)據(jù)的相關(guān)性和保證訓(xùn)練的穩(wěn)定性，DQN算法引入經(jīng)驗重放與雙網(wǎng)絡(luò)(預(yù)測網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò))機制，大大提高訓(xùn)練的效率。神經(jīng)網(wǎng)絡(luò)的更新是通過最小化損失函數(shù)獲得的。損失函數(shù)采用均方誤差函數(shù)，表示如下：

Loss(θ)=E[(y-Q(s,a;θ)2]，

(12)

式中，y通過目標(biāo)網(wǎng)絡(luò)生成，其計算公式為：

y=r+maxQ(s′,a′;θ′)。

(13)

VEC網(wǎng)絡(luò)中基于CEC-DQN的計算卸載策略如圖2所示。CEC-DQN的訓(xùn)練偽碼由算法1給出。

圖2 基于DQN的任務(wù)卸載和資源分配算法

算法1 DQN計算卸載策略1: 初始化經(jīng)驗池R的大小為N2: 初始化預(yù)測Q網(wǎng)絡(luò)以及隨機權(quán)重參數(shù)θ3: 初始化目標(biāo)網(wǎng)絡(luò)Qtarget以及隨機權(quán)重參數(shù)θ'=θ4: for episode=1 to M do5: 初始化狀態(tài) so6: for step =1 to T do7: ActionSelectionat=Random a,p=1-∈argmax(Q(st,a;θ)),p=∈ 8: 執(zhí)行at, 計算 rt,并觀察下一個狀態(tài)st+19: 將經(jīng)驗et=(st,at,rt,st+1)存儲到經(jīng)驗池R10: 從經(jīng)驗池R中隨機抽取minibatch經(jīng)驗為Rτ11: 計算目標(biāo)Q值y = r + max(s',a';θ')12: 計算損失函數(shù),并通過最小化損失函數(shù)來更新預(yù)測網(wǎng)絡(luò)的參數(shù)θ13: Y輪迭代以后復(fù)制參數(shù)θ來更新目標(biāo)網(wǎng)絡(luò)參數(shù)即Qtarget=Q14: end for15: end for16: 保存訓(xùn)練的目標(biāo)網(wǎng)絡(luò)參數(shù)

5 性能評估

在VEC網(wǎng)絡(luò)中，考慮了一個RSU和多個IoV用戶的場景，其中RSU通信距離為500 m。MEC服務(wù)器、聚合服務(wù)器和云服務(wù)器的計算能力分別設(shè)置為F1=1×109Hz，F(xiàn)2=2×1010Hz，F(xiàn)3=1×1011Hz。發(fā)射功率為p1= 2 W，有線數(shù)據(jù)傳輸速率為Ras=2Rcs=10 Mbit/s，高斯噪聲功率譜密度為N0=-174 dBm/Hz,信道增益為hi=127+30lgd。系統(tǒng)總帶寬為20 MHz，每個子通道的帶寬為1 MHz。

首先分析了不同折扣因子對收斂性的影響，如圖3所示。將折扣因子分別設(shè)置為0.9、0.7和0.1。由圖3可知，隨著折扣因子的增大，訓(xùn)練損失收斂的速度越快。這是因為如果折扣因子設(shè)置過小，系統(tǒng)只能在短期內(nèi)降低系統(tǒng)的總長期成本。若增大折扣因子，系統(tǒng)對未來獎勵的重視越高，在長期獎勵上就越有保證。

圖3 折扣因子對收斂性的影響

圖4分析了學(xué)習(xí)率對訓(xùn)練損失的影響，從圖4可以看出，隨著訓(xùn)練步數(shù)的增加，DQN算法可以有效地收斂。將學(xué)習(xí)率分別設(shè)置為0.01、0.001、0.000 1，可以得到，當(dāng)學(xué)習(xí)率為0.001時，訓(xùn)練損失收斂速度最快。這是因為學(xué)習(xí)率決定了權(quán)重在梯度方向變化的步長。學(xué)習(xí)率越大，權(quán)重變化越大容易導(dǎo)致跳過全局最優(yōu)值而陷入局部最優(yōu)值；若學(xué)習(xí)率設(shè)置較小，則每一步的損失函數(shù)最小值的方向都比較小，會浪費更多的時間來優(yōu)化。

圖4 學(xué)習(xí)率對收斂性的影響

為了驗證CEC-DQN算法的性能，本文選擇了MEC Offloading (MO)、Cloud Offloading (CO)和Random Offloading (RO)三種計算方法與CEC-DQN算法進行比較。圖5顯示了不同算法下任務(wù)數(shù)據(jù)大小對系統(tǒng)總成本的影響，其中每個任務(wù)的數(shù)據(jù)大小設(shè)置為2～10 MB不等。從圖5可以看出，隨著任務(wù)數(shù)據(jù)大小的增加，系統(tǒng)總成本也會增加。與CO、RO和MO算法相比，CEC-DQN算法的系統(tǒng)總成本平均分別降低了7%、13%和22%。這表明，CEC-DQN算法可以整合系統(tǒng)當(dāng)前和未來的狀態(tài)，可以更一致地優(yōu)化系統(tǒng)總成本。

圖5 任務(wù)數(shù)據(jù)量對成本G的影響

圖6分析了不同算法下MEC服務(wù)器計算能力對系統(tǒng)總成本的影響，其中服務(wù)器的計算能力設(shè)置為2～8 GHz不等。在圖6中，隨著MEC服務(wù)器計算能力的增加，系統(tǒng)總成本呈下降趨勢。與CO、RO和MO算法相比，CEC-DQN算法的系統(tǒng)總成本平均分別降低了5%、15%和23%。這表明，任務(wù)的計算量與邊緣服務(wù)器的計算能力呈正相關(guān)，且CEC-DQN方法在VEC網(wǎng)絡(luò)中的能耗、時延控制和可靠性方面優(yōu)于基準(zhǔn)策略。

圖6 MEC服務(wù)器計算能力對成本G的影響

6 結(jié)束語

面對車載邊緣計算網(wǎng)絡(luò)中高性能需求，為解決通感算融合網(wǎng)絡(luò)中邊緣節(jié)點缺失智能化處理現(xiàn)狀，本文基于分布式計算與云邊端一體化技術(shù)，提出一種高效的車載邊緣計算卸載策略來最小化系統(tǒng)的長期總成本，實現(xiàn)VEC網(wǎng)絡(luò)通感算資源調(diào)度優(yōu)化。首先將算力與網(wǎng)絡(luò)深度融合，協(xié)同分布式計算資源提出了一種適用于多用戶的協(xié)同分層智能驅(qū)動VEC算力網(wǎng)絡(luò)體系架構(gòu)，利用云中心、聚合服務(wù)器和MEC服務(wù)器的異構(gòu)計算能力，有效應(yīng)對邊緣節(jié)點在多層算力網(wǎng)絡(luò)中實現(xiàn)算力均衡。在此基礎(chǔ)上，聯(lián)合優(yōu)化卸載決策與資源配置機制，將其轉(zhuǎn)化為MDP問題。最后，提出了一種基于CEC-DQN的算法來解決MDP問題，為提高通感算融合系統(tǒng)的網(wǎng)絡(luò)容量、計算效率提供了支持。仿真結(jié)果表明，與CO、RO和MO算法相比，CEC-DQN算法在優(yōu)化系統(tǒng)長期總成本方面的平均性能優(yōu)勢分別約為6%、14%和22.5%。在未來的研究中，將面向車載邊緣計算中通感算融合系統(tǒng)中實時邊緣智能難題進行更深入的探討，為后續(xù)課題奠定研究基礎(chǔ)。