耿 蓉, 王宏艷, 劉 暢, 徐 賽

(1. 東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 遼寧 沈陽(yáng) 110169; 2. 東軟集團(tuán)股份有限公司, 遼寧 沈陽(yáng) 110179)

天地一體化網(wǎng)絡(luò)[1-2]由天基骨干網(wǎng)、天基邊緣接入網(wǎng)以及地基節(jié)點(diǎn)網(wǎng)(地基骨干網(wǎng))[3-4]三部分組成.由于目前衛(wèi)星數(shù)量不足、衛(wèi)星類(lèi)型單一、在軌升級(jí)困難帶來(lái)的計(jì)算資源受限問(wèn)題使得天基信息系統(tǒng)的綜合效能受到阻礙,并且在空、天、地維度上也不能很好地配合.因此,本文將計(jì)算卸載[5]技術(shù)結(jié)合到天地一體化網(wǎng)絡(luò)中,以緩解天地一體化網(wǎng)絡(luò)存在的問(wèn)題.針對(duì)由于衛(wèi)星數(shù)量不足、類(lèi)型單一、再組升級(jí)困難帶來(lái)的計(jì)算資源受限和“天弱地強(qiáng)”等問(wèn)題,給出了相應(yīng)的最優(yōu)卸載算法,將任務(wù)卸載到合適的卸載站點(diǎn)進(jìn)行計(jì)算,降低網(wǎng)絡(luò)時(shí)延和能耗,以便高效地完成任務(wù).本文旨在利用計(jì)算卸載技術(shù)均衡天地一體化網(wǎng)絡(luò)的負(fù)載,在低時(shí)延、低能耗的情況下完成任務(wù),為未來(lái)新型網(wǎng)絡(luò)處理復(fù)雜的密集計(jì)算型任務(wù)提供理論基礎(chǔ).

目前,國(guó)內(nèi)外學(xué)者對(duì)一般移動(dòng)云計(jì)算系統(tǒng)中的計(jì)算卸載問(wèn)題進(jìn)行了廣泛的研究[6-8].文獻(xiàn)[9-10]給出了計(jì)算卸載的經(jīng)典模型.然而在面對(duì)終端計(jì)算能力不足的問(wèn)題時(shí),文獻(xiàn)[11]提出了基于Cloud-RAN的移動(dòng)云計(jì)算系統(tǒng)中近乎最優(yōu)的能效方案；文獻(xiàn)[12]表征了計(jì)算和通信負(fù)載之間的基本權(quán)衡；文獻(xiàn)[5]提出了通信和計(jì)算功耗之間的最佳權(quán)衡；文獻(xiàn) [13]提出了一種基于MDP的卸載算法,該算法可以幫助用戶決定是否將多階段移動(dòng)應(yīng)用程序中相同應(yīng)用階段的計(jì)算任務(wù)卸載給附近的所有cloudlet(移動(dòng)設(shè)備或者是計(jì)算機(jī),提供附近移動(dòng)設(shè)備使用的計(jì)算能力,用戶可直接訪問(wèn)附近移動(dòng)設(shè)備的資源).此外,文獻(xiàn)[14]給出用戶的一組任務(wù),此任務(wù)可以在用戶和cloudlet上并行執(zhí)行,用戶的目標(biāo)是向每個(gè)cloudlet分配最優(yōu)數(shù)量的任務(wù),使任務(wù)執(zhí)行獎(jiǎng)勵(lì)最大化,而處理成本最小化.可見(jiàn),目前的研究都是基于傳統(tǒng)的本地策略來(lái)減輕移動(dòng)系統(tǒng)中有限資源的限制,而面對(duì)天地一體化這種復(fù)雜的網(wǎng)絡(luò)以上解決方法是遠(yuǎn)遠(yuǎn)不夠的.

因此,為了解決天地一體化網(wǎng)絡(luò)中的終端設(shè)備在存儲(chǔ)、計(jì)算和能耗方面的資源需求與運(yùn)行越來(lái)越復(fù)雜的移動(dòng)應(yīng)用程序之間的矛盾日益突出的問(wèn)題,本文突破傳統(tǒng)的本地執(zhí)行策略,為在高軌骨干節(jié)點(diǎn)、地基骨干節(jié)點(diǎn)和邊緣接入節(jié)點(diǎn)服務(wù)器上執(zhí)行任務(wù)卸載提供了新的理論和方法,提出天地一體化網(wǎng)絡(luò)的本地-骨干-邊緣接入節(jié)點(diǎn)的三層計(jì)算卸載模型,此模型應(yīng)用每一層的全部卸載站點(diǎn)數(shù),使卸載的性能和可伸縮性得到提高,解決了計(jì)算資源受限的難題;同時(shí)通過(guò)此模型所給出的各項(xiàng)指標(biāo)以及約束條件,本文提出基于DQN算法來(lái)制定出最優(yōu)的卸載策略,使任務(wù)在低時(shí)延、低能耗的情況下高效完成,更加體現(xiàn)了此模型的應(yīng)用價(jià)值.

1 天地一體化網(wǎng)絡(luò)中的計(jì)算卸載模型設(shè)計(jì)

1.1 卸載模型的建立

1) 卸載站點(diǎn)模型建立.卸載站點(diǎn)(offloadee)模型的建立需要考慮天地一體化網(wǎng)絡(luò)的結(jié)構(gòu)與特點(diǎn),建立與之相對(duì)應(yīng)的模型.卸載站點(diǎn)用一個(gè)五元組Oon(con,fon,don,von,non)來(lái)表示,其中o是卸載站點(diǎn)數(shù),n是終端設(shè)備數(shù),con為卸載站點(diǎn)的終端設(shè)備總計(jì)算能力(本文用CPU來(lái)體現(xiàn))，fon為剩余計(jì)算能力(本文用當(dāng)前時(shí)刻所能提供的CPU來(lái)表示)，don為距離(卸載站點(diǎn)與卸載任務(wù)所在移動(dòng)端的距離)，von為速度矢量(卸載站點(diǎn)的運(yùn)動(dòng)速度大小與方向)，non為網(wǎng)絡(luò)(當(dāng)前站點(diǎn)的網(wǎng)絡(luò)連接狀況).

2) 任務(wù)模型建立. 每個(gè)任務(wù)都可以用一個(gè)四元組Vin(win,ain,bin,vin)來(lái)描述,其中,i是任務(wù),win為終端設(shè)備n的第i個(gè)任務(wù)的計(jì)算量，ain為任務(wù)i卸載的輸入數(shù)據(jù)，bin為卸載任務(wù)i執(zhí)行完畢返回?cái)?shù)據(jù),vin為任務(wù)i所在終端設(shè)備n的速度矢量(包括速度大小和速度的方向).得到任務(wù)特性的參數(shù)后,在1.2節(jié)建立任務(wù)卸載的開(kāi)銷(xiāo)模型.

3) 通信模型建立.當(dāng)?shù)趎個(gè)終端設(shè)備的第i個(gè)計(jì)算任務(wù)需要執(zhí)行時(shí),當(dāng)前終端就會(huì)發(fā)送任務(wù)卸載請(qǐng)求,其他的計(jì)算節(jié)點(diǎn)就會(huì)給出響應(yīng),終端根據(jù)響應(yīng)來(lái)決定是直接卸載還是劃分后卸載,以及是本地執(zhí)行還是卸載到其他站點(diǎn)上.在這里,din=0表示終端設(shè)備n的任務(wù)i在本地執(zhí)行,不進(jìn)行卸載.din>0表示任務(wù)被卸載到其他卸載站點(diǎn)來(lái)執(zhí)行.另外,在卸載過(guò)程中,用式(1)所示的信道速率來(lái)選擇合適的信道進(jìn)行數(shù)據(jù)傳輸,

(1)

同時(shí),本文也將采用馬爾可夫信道模型來(lái)估計(jì)任務(wù)卸載過(guò)程中的信道狀況.下面給出有限狀態(tài)馬爾可夫信道模型.

本文使用Gilbert-Elliott通道建立通信鏈路,該信道模型是具有兩種狀態(tài)的馬爾可夫鏈:良好(用0表示)或壞(用1表示).如果信道處于良好狀態(tài),則以高速率(v0)傳輸數(shù)據(jù),如果信道處于壞的狀態(tài),則以低速率(v1)傳輸數(shù)據(jù).如果第n個(gè)時(shí)間單位期間信道狀態(tài)φn良好,則記φn=0,否則φn=1.因此,通道狀態(tài)φ的狀態(tài)轉(zhuǎn)移矩陣P由式(2)給出:

(2)

式中：p00是表示信道由良好狀態(tài)轉(zhuǎn)化為良好狀態(tài)的概率；p01是由良好狀態(tài)轉(zhuǎn)化為壞狀態(tài)概率；p10是壞狀態(tài)轉(zhuǎn)化為良好狀態(tài)的概率；p11是壞狀態(tài)轉(zhuǎn)化為壞狀態(tài)概率.

穩(wěn)態(tài)分布表示為μ=(μ0,μ1),其中μ0,μ1分別表示信道處于良好或壞狀態(tài)的穩(wěn)態(tài)概率.兩種狀態(tài)的穩(wěn)態(tài)概率計(jì)算公式為μ0=p10/(p10+p01),μ1=p01/(p10+p01). 因此,如果假設(shè)終端設(shè)備的傳輸功率是靜態(tài)的,則預(yù)期的穩(wěn)態(tài)傳輸速率vμ可表示為vμ=μ0v0+μ1v1.

1.2 任務(wù)卸載開(kāi)銷(xiāo)計(jì)算

根據(jù)上面所給出的任務(wù)和卸載站點(diǎn)的簡(jiǎn)單模型,可以得到任務(wù)在不同卸載情況下的卸載開(kāi)銷(xiāo)模型.下面給出任務(wù)卸載到天地一體化網(wǎng)絡(luò)中不同站點(diǎn)的卸載開(kāi)銷(xiāo)模型,分別是本地執(zhí)行建模、骨干節(jié)點(diǎn)執(zhí)行建模以及邊緣接入節(jié)點(diǎn)執(zhí)行建模.

(3)

本地執(zhí)行的能耗為

(4)

其中δin代表終端設(shè)備執(zhí)行計(jì)算的能耗系數(shù).

一個(gè)任務(wù)被執(zhí)行前,要求其所有直接先驅(qū)任務(wù)必須已經(jīng)完成.下面給出任務(wù)就位時(shí)間的概念.

定義1就位時(shí)間是當(dāng)前執(zhí)行任務(wù)的所有先驅(qū)任務(wù)完成的最早時(shí)間,對(duì)于本地執(zhí)行的就位時(shí)間表示為

(5)

綜上,終端設(shè)備n的任務(wù)i在本地執(zhí)行時(shí)的完成時(shí)間為本地執(zhí)行時(shí)間與本地計(jì)算時(shí)的就位時(shí)間之和,即

(6)

根據(jù)式(4)和式(6),可以給出任務(wù)本地執(zhí)行的開(kāi)銷(xiāo)表達(dá)式,本文將其定義為本地執(zhí)行的計(jì)算能耗代價(jià).

定義2能耗代價(jià)EEC(energy efficiency commitment)是任務(wù)執(zhí)行的能源消耗與所需計(jì)算完成時(shí)間的權(quán)重之和.下面給出任務(wù)在本地執(zhí)行時(shí)的EEC表達(dá)式:

(7)

(8)

(9)

由式(8)和式(9)可知卸載到骨干節(jié)點(diǎn)執(zhí)行的時(shí)間總開(kāi)銷(xiāo)Tb為

(10)

考慮任務(wù)間通常具有依賴(lài)性,任務(wù)i在骨干節(jié)點(diǎn)的就位時(shí)間定義為

(11)

(12)

由于骨干節(jié)點(diǎn)有較強(qiáng)的計(jì)算能力,因此,對(duì)任務(wù)在骨干節(jié)點(diǎn)的計(jì)算能耗忽略不計(jì).用Es,Er分別代表任務(wù)發(fā)送時(shí)的能量消耗以及任務(wù)接收時(shí)的能量消耗,則骨干節(jié)點(diǎn)總的能量開(kāi)銷(xiāo)Eb為

(13)

根據(jù)式(12)和式(13),可以計(jì)算出任務(wù)卸載到骨干節(jié)點(diǎn)的能耗代價(jià)EEC:

(14)

由式(14)可以看出,終端設(shè)備n的數(shù)據(jù)傳輸速率越高,則計(jì)算任務(wù)卸載過(guò)程的時(shí)延和能耗越低.

(15)

(16)

由式(15)和式(16)可知卸載到邊緣計(jì)算節(jié)點(diǎn)的總時(shí)間開(kāi)銷(xiāo)Th為

(17)

在建立上述模型之前,還需要具體分析一下邊緣接入節(jié)點(diǎn)卸載的延遲表達(dá)式.下面是邊緣計(jì)算卸載的時(shí)延分析.

如果計(jì)算延遲很大,則總延遲主要取決于計(jì)算延遲.此時(shí)延遲由發(fā)送時(shí)間、卸載時(shí)間以及接收時(shí)間三部分組成,其表達(dá)式為

(18)

其中，m代表邊緣計(jì)算節(jié)點(diǎn)的個(gè)數(shù).

如果計(jì)算延遲很短,則總延遲主要取決于通信延遲,即發(fā)送時(shí)間和接收時(shí)間,其延遲表達(dá)式為

(19)

從式(18)和式(19)的延遲表達(dá)式可以得到邊緣計(jì)算延遲表達(dá)式為

(20)

用Ec,Es,Er分別代表任務(wù)本身執(zhí)行計(jì)算卸載(computation)時(shí)的能耗開(kāi)銷(xiāo)、數(shù)據(jù)發(fā)送到卸載站點(diǎn)時(shí)的能耗開(kāi)銷(xiāo)以及卸載終端進(jìn)行數(shù)據(jù)接收時(shí)的能耗開(kāi)銷(xiāo),則邊緣接入節(jié)點(diǎn)總的能量開(kāi)銷(xiāo)表示為Eh:

(21)

考慮任務(wù)間通常具有依賴(lài)性,在邊緣接入節(jié)點(diǎn)的就位時(shí)間定義為

(22)

(23)

由于邊緣接入節(jié)點(diǎn)通常具有分布廣泛的特點(diǎn),因此,任務(wù)在邊緣接入節(jié)點(diǎn)執(zhí)行完成后計(jì)算結(jié)果返回的能耗忽略不計(jì).則總的能量開(kāi)銷(xiāo)表示為Eh:

(24)

根據(jù)式(23)和式(24),可以計(jì)算出任務(wù)卸載到邊緣接入節(jié)點(diǎn)的能耗代價(jià):

(25)

2 基于DQN的計(jì)算卸載算法設(shè)計(jì)

通過(guò)對(duì)任務(wù)、卸載站點(diǎn)的建模以及對(duì)開(kāi)銷(xiāo)模型的設(shè)計(jì),已經(jīng)得到了任務(wù)執(zhí)行卸載的各項(xiàng)需求與指標(biāo),將其與任務(wù)卸載執(zhí)行模型、信道模型的特點(diǎn)進(jìn)行綜合考慮,并在本文有限狀態(tài)的馬爾可夫鏈的計(jì)算卸載環(huán)境下,本文提出了基于DQN(deep Q-learning network)的卸載算法以得到更優(yōu)的卸載策略,高效地完成低時(shí)延、低損耗卸載.

2.1 傳統(tǒng)的Q學(xué)習(xí)(Q-learning)算法

Q學(xué)習(xí)算法是利用動(dòng)作值函數(shù)尋找最優(yōu)的策略,尋找到對(duì)于每個(gè)狀態(tài)來(lái)說(shuō)的最佳動(dòng)作,完成任務(wù)最優(yōu)卸載.具體的一些過(guò)程如下所述.

Q學(xué)習(xí)算法中智能體通過(guò)即時(shí)動(dòng)作值和累積獎(jiǎng)勵(lì)值進(jìn)行狀態(tài)的轉(zhuǎn)移決策,針對(duì)計(jì)算卸載的馬爾可夫模型,當(dāng)智能終端任務(wù)進(jìn)行卸載時(shí),對(duì)周?chē)男诺罓顟B(tài)進(jìn)行估計(jì),對(duì)計(jì)算能力進(jìn)行監(jiān)測(cè),以(Oi,wtotal)為任務(wù)的處理狀態(tài),其中Oi代表當(dāng)前處理任務(wù)的卸載站點(diǎn)(offloadee)的編號(hào),wtotal表示截止到當(dāng)前狀態(tài),處理的任務(wù)數(shù)據(jù)總量;以(Oi,wi)為任務(wù)下一步要進(jìn)行的動(dòng)作,其中wi表示下一步動(dòng)作時(shí)要卸載的數(shù)據(jù)量大小,智能終端卸載任務(wù)每一步的即時(shí)回報(bào)(獎(jiǎng)勵(lì))函數(shù)用總時(shí)延和總能耗線性表達(dá)式的倒數(shù)來(lái)計(jì)算.在Q學(xué)習(xí)算法中,每個(gè)狀態(tài)-動(dòng)作組都需要計(jì)算并將其對(duì)應(yīng)的Q值存儲(chǔ)在一個(gè)表中,然后通過(guò)優(yōu)化可迭代計(jì)算得到Q(s,a)的值來(lái)逼近最優(yōu)值函數(shù),進(jìn)而得到最優(yōu)卸載策略.

2.2 基于DQN的計(jì)算卸載算法設(shè)計(jì)

通過(guò)上面對(duì)于Q學(xué)習(xí)算法的描述可以看出,Q學(xué)習(xí)雖然可以通過(guò)獲得最大的獎(jiǎng)勵(lì)來(lái)解決問(wèn)題,但并不理想.并且在實(shí)際問(wèn)題中,天地一體化網(wǎng)絡(luò)卸載環(huán)境復(fù)雜多變,可能的狀態(tài)會(huì)超過(guò) 1萬(wàn).在 Q 表中存儲(chǔ)所有的Q值,會(huì)導(dǎo)致Q(s,a)非常大,這樣就很難得到足夠的樣本來(lái)遍歷每個(gè)狀態(tài),從而導(dǎo)致算法的失敗.因此,提出使用深度神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)Q(s,a),而不是計(jì)算每個(gè)狀態(tài)動(dòng)作對(duì)的Q值,這就是DQN的基本思想.

DQN算法就是基于傳統(tǒng)Q學(xué)習(xí)算法基礎(chǔ)上利用深度卷積神經(jīng)網(wǎng)絡(luò)CNN來(lái)加快Q學(xué)習(xí)算法中卸載過(guò)程的收斂速度.在本研究中設(shè)置初始的回報(bào)函數(shù)為0,回報(bào)函數(shù)用總時(shí)延和總能耗線性表達(dá)式的倒數(shù)來(lái)計(jì)算,因此將1.2小節(jié)開(kāi)銷(xiāo)模型進(jìn)行整合,首先給出t時(shí)刻第i個(gè)任務(wù)的時(shí)延Tti和能耗Eti的表達(dá)式:

(26)

(27)

因?yàn)楸疚牡男遁d任務(wù)處于天地一體化網(wǎng)絡(luò)中,所以offloadee有邊緣接入節(jié)點(diǎn)、天基骨干節(jié)點(diǎn)和地基骨干節(jié)點(diǎn),對(duì)于不同offloadee的時(shí)延和能耗的計(jì)算方式也不同,計(jì)算方式如式(26)和式(27)所示,回報(bào)函數(shù)如式(28)所示:

rt=1/[αTti+βEti].

(28)

式中,α和β分別代表時(shí)延和能耗的權(quán)重,其最大值為1.

設(shè)在t時(shí)刻,智能終端選取動(dòng)作at環(huán)境從狀態(tài)st轉(zhuǎn)移到st+1所給出的獎(jiǎng)例為rt，則rt=r(st,at,st+1);st和rt是決定st+1與rt的概率分布的因素,且Qt為t時(shí)刻開(kāi)始時(shí)狀態(tài)動(dòng)作對(duì)的動(dòng)作估計(jì)值.在整個(gè)過(guò)程中動(dòng)作的更新迭代規(guī)則如式(29)所示:

(29)

其中,η為學(xué)習(xí)率,代表學(xué)習(xí)速度,其值越大代表收斂速度越快,但值如果過(guò)大則可能造成不穩(wěn)定的收斂,影響最優(yōu)的結(jié)果.

在DQN算法中利用深度CNN壓縮狀態(tài)空間并加快Q學(xué)習(xí)算法中卸載過(guò)程的收斂速度,神經(jīng)網(wǎng)絡(luò)將每一個(gè)動(dòng)作的Q(s,a)值轉(zhuǎn)換成Q網(wǎng)絡(luò),然后利用反向傳播和梯度下降方法使得損失函數(shù)最小化.損失函數(shù)如式(30)所示:

(30)

其中,γ是折扣因子,決定智能體對(duì)于長(zhǎng)遠(yuǎn)回報(bào)的觀望程度,值越接近1表明越關(guān)注長(zhǎng)遠(yuǎn)回報(bào),越接近0表明越關(guān)注當(dāng)即回報(bào).

對(duì)于每個(gè)卸載策略,深度CNN都是Q值的非線性近似值,這樣就加快了Q學(xué)習(xí)方案的收斂速度.下面給出DQN原理示意圖,見(jiàn)圖1.

通過(guò)以上分析,基于DQN的計(jì)算卸載策略算法如表1所示.

圖1 DQN原理示意圖

表1 基于DQN的計(jì)算卸載算法

其中第9步實(shí)現(xiàn)了將經(jīng)驗(yàn)值存儲(chǔ)到記憶庫(kù)中,然后對(duì)Q網(wǎng)絡(luò)進(jìn)行訓(xùn)練.DQN中存在1個(gè)記憶庫(kù),它能夠?qū)W習(xí)現(xiàn)在正在經(jīng)歷著的, 也可以學(xué)習(xí)從前經(jīng)歷過(guò)的, 甚至是學(xué)習(xí)別人的經(jīng)歷.所以每一次基于 DQN算法變更的期間,都能夠隨機(jī)抽取一些以往的經(jīng)歷來(lái)進(jìn)行學(xué)習(xí).正是因?yàn)椴捎昧穗S機(jī)抽取這種做法,才能夠達(dá)到打亂經(jīng)歷之間相關(guān)性的目的,使得神經(jīng)網(wǎng)絡(luò)能夠更有效率地進(jìn)行更新.

3 算法仿真與性能分析

本文的卸載仿真是利用Python+NS網(wǎng)絡(luò)仿真軟件進(jìn)行的.假設(shè)一個(gè)場(chǎng)景:在一定范圍內(nèi)模擬天地一體化網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn),考慮到天地一體化網(wǎng)絡(luò)結(jié)構(gòu)特征,擬選取2個(gè)天基骨干節(jié)點(diǎn)、2個(gè)地基骨干節(jié)點(diǎn)、6個(gè)邊緣接入節(jié)點(diǎn)的模式進(jìn)行仿真.即1個(gè)卸載終端(offloader),10個(gè)計(jì)算卸載站點(diǎn)(offloadee),其中4個(gè)用來(lái)模仿天基或者地基骨干節(jié)點(diǎn)的計(jì)算卸載站點(diǎn)(B_offloadee),剩下的均為邊緣接入節(jié)點(diǎn)的計(jì)算卸載站點(diǎn)(E_offloadee),它們?cè)诓煌暥壬铣尸F(xiàn)隨機(jī)分布.所有的卸載站點(diǎn)(offloadees)之間通過(guò)無(wú)線網(wǎng)絡(luò)連接.offloadee為offloader提供任務(wù)計(jì)算卸載服務(wù).由上述分析,采用時(shí)延和能耗為指標(biāo),選擇經(jīng)典計(jì)算卸載算法[15](基于Lyapunov優(yōu)化的卸載算法:此算法在計(jì)算卸載技術(shù)中應(yīng)用最為廣泛)和基于DQN的計(jì)算卸載算法與Q學(xué)習(xí)算法進(jìn)行仿真并對(duì)比分析評(píng)價(jià)算法性能.

在進(jìn)行算法性能分析之前,利用Python散點(diǎn)圖模擬天地一體化網(wǎng)絡(luò)中計(jì)算節(jié)點(diǎn)結(jié)構(gòu)的分布和散點(diǎn)分布圖,如圖2所示.其中紅色散點(diǎn)代表骨干節(jié)點(diǎn),最上邊的6個(gè)紅色散點(diǎn)代表天地一體化網(wǎng)絡(luò)中最上層,處于最高位置,擁有強(qiáng)大計(jì)算能力的6顆高軌衛(wèi)星,具有在固定軌道上移動(dòng)的特點(diǎn).最下面的5個(gè)紅色散點(diǎn)代表的是地基骨干節(jié)點(diǎn),其分布在地面,位置固定,計(jì)算能力在理論上最強(qiáng).處于中間位置的藍(lán)色散點(diǎn)是邊緣接入網(wǎng)絡(luò)的計(jì)算節(jié)點(diǎn),其數(shù)量不固定,具有移動(dòng)性,以分布式方式呈現(xiàn),計(jì)算能力要遠(yuǎn)小于其他兩種計(jì)算節(jié)點(diǎn),正是由于其分布式特點(diǎn),使其在與卸載終端距離方面更具優(yōu)勢(shì).

圖2 計(jì)算節(jié)點(diǎn)分布圖

基于以上模擬天地一體化網(wǎng)絡(luò)的計(jì)算節(jié)點(diǎn)進(jìn)行仿真,來(lái)分析Lyapunov算法(經(jīng)典計(jì)算卸載算法)、Q學(xué)習(xí)算法、DQN算法在時(shí)延、能耗指標(biāo)下的性能對(duì)比.

卸載過(guò)程中的時(shí)延對(duì)比結(jié)果如圖3所示,基于Lyapunov優(yōu)化的卸載算法最大,通過(guò)DQN算法的計(jì)算卸載策略在時(shí)延的花費(fèi)上要低于其他算法.

能耗對(duì)比結(jié)果如圖4所示.對(duì)于某些能耗不充足的卸載終端offloader來(lái)說(shuō),其對(duì)降低能耗的需求要強(qiáng)于對(duì)降低時(shí)延的需求,即用時(shí)延來(lái)?yè)Q取能耗,因此在天地一體化網(wǎng)絡(luò)任務(wù)計(jì)算卸載中能耗也顯得至關(guān)重要.

由圖3和圖4可知,采取不同卸載算法,時(shí)延開(kāi)銷(xiāo)、能耗開(kāi)銷(xiāo)的整體趨勢(shì)是一樣的,即采取DQN算法可以同時(shí)在時(shí)延和能耗開(kāi)銷(xiāo)上進(jìn)行優(yōu)化.

圖3 時(shí)延對(duì)比分析圖

圖4 能耗對(duì)比分析圖

在1.2節(jié)對(duì)卸載開(kāi)銷(xiāo)進(jìn)行建模的過(guò)程中,就提到權(quán)重的問(wèn)題,而上述對(duì)于時(shí)延和能耗的分析是沒(méi)有設(shè)置時(shí)延和能耗各自所占的權(quán)重進(jìn)行分析的.下文給出不同權(quán)重設(shè)置時(shí),采用不同卸載算法情況下時(shí)延和能耗的總開(kāi)銷(xiāo)對(duì)比.

由圖5和圖6可知,當(dāng)時(shí)延和能耗權(quán)重采用

不同的占比時(shí),DQN算法的卸載策略總開(kāi)銷(xiāo)都是更小的,再一次證明本文算法的有效性.

4 結(jié) 語(yǔ)

針對(duì)天地一體化網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn),結(jié)合分析計(jì)算卸載技術(shù)的特點(diǎn)和應(yīng)用場(chǎng)景,本文提出將計(jì)算卸載技術(shù)應(yīng)用到網(wǎng)絡(luò)中,在理論上可以對(duì)任務(wù)處理的高效性起到極大的推動(dòng)作用.同時(shí)為了解決計(jì)算資源受限問(wèn)題,建立了與天地一體化網(wǎng)絡(luò)體系結(jié)構(gòu)一一對(duì)應(yīng)的卸載模型,不同卸載站點(diǎn)在時(shí)延上的開(kāi)銷(xiāo)比例各不相同.在建立時(shí)延和能耗的總開(kāi)銷(xiāo)模型中,提出了設(shè)置權(quán)重的思想,可以讓卸載端有所取舍.最后對(duì)本文提出的DQN計(jì)算卸載算法進(jìn)行仿真,從時(shí)延開(kāi)銷(xiāo)、能耗開(kāi)銷(xiāo)等方面驗(yàn)證算法的有效性.仿真結(jié)果表明,采取DQN計(jì)算卸載算法可以同時(shí)在時(shí)延和能耗開(kāi)銷(xiāo)上進(jìn)行優(yōu)化,高效地完成卸載過(guò)程.