摘 要：針對低地球軌道（Ｌｏｗ Ｅａｒｔｈ Ｏｒｂｉｔ，ＬＥＯ）衛(wèi)星網(wǎng)絡具有拓撲變化快、網(wǎng)絡節(jié)點多和節(jié)點資源狀態(tài)變化等特點，提出了一種用于計算和傳輸?shù)男情g路由策略。該策略使用改進的圖卷積網(wǎng)絡（ＥｎｈａｎｃｅｄＧｒａｐｈ ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ，ＥＧＣＮ）提取衛(wèi)星網(wǎng)絡的時空特征并生成節(jié)點的隱藏狀態(tài)。將其作為深度強化學習（Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ，ＤＲＬ）模型的輸入，ＤＲＬ 智能體感知下一跳節(jié)點的關鍵信息，從而更好地做出決策。仿真結果表明，與以前的方法相比，提出的方法提高了網(wǎng)絡的總吞吐量，降低了端到端傳輸延遲。

關鍵詞：星間路由策略；動態(tài)衛(wèi)星網(wǎng)絡；深度強化學習；圖卷積神經(jīng)網(wǎng)絡

中圖分類號：ＴＮ９１９． ２３ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０６－１１５３－０７

０ 引言

目前，多個國家正在部署低地球軌道（ＬｏｗＥａｒｔｈ Ｏｒｂｉｔ，ＬＥＯ）衛(wèi)星巨型星座，即擁有數(shù)百到數(shù)萬顆ＬＥＯ 衛(wèi)星以提供全球低時延高帶寬互聯(lián)網(wǎng)。隨著星上技術的飛速發(fā)展，衛(wèi)星將擁有更強大的計算資源來支持在軌數(shù)據(jù)處理，以在軌道上提供公共云服務。

衛(wèi)星計算的概念是計算資源部署在衛(wèi)星上以實現(xiàn)在軌自主、遙感、邊緣計算等新范式，因此具備計算資源的衛(wèi)星組成的網(wǎng)絡又稱為星云算網(wǎng)。首先，星云算網(wǎng)中具有計算能力的衛(wèi)星能夠實現(xiàn)在軌自主操作，減少對地面段的依賴。其次，隨著星座規(guī)模的增大，太空原始數(shù)據(jù)呈爆炸式增長，又因為星地鏈路帶寬有限而導致數(shù)據(jù)無法及時下載。具有計算能力的衛(wèi)星可以對原始數(shù)據(jù)進行處理，識別并傳輸感興趣的特征，從而提高傳輸效率并降低星地鏈路的帶寬利用率。最后，先進的星載計算平臺將衛(wèi)星轉化為復雜的數(shù)據(jù)處理基礎設施，并使太空中的公共云服務能夠像在地面上一樣提供服務。

ＬＥＯ 衛(wèi)星巨型星座是一種新型的基礎設施，由數(shù)千顆衛(wèi)星組成，每顆衛(wèi)星相對于地球和其他衛(wèi)星都以高速移動。例如，在５５０ ｋｍ 高度的衛(wèi)星必須保持２７ ０００ ｋｍ／ ｈ 的速度才能維持其軌道。然而，星云算網(wǎng)仍面臨以下挑戰(zhàn)：① 受發(fā)射因素和體積限制，單顆衛(wèi)星的計算資源存在上限；② 由于地表用戶分布存在差異，業(yè)務請求分布不均勻；③ ＬＥＯ 衛(wèi)星相對地面高速移動，因此其網(wǎng)絡拓撲結構具有快速變化的特點；④ 星地和星間傳播時延較大，如何降低業(yè)務延遲引起了網(wǎng)絡研究者的極大興趣。

基于上述挑戰(zhàn)分析，考慮可能存在業(yè)務分布不均、單顆衛(wèi)星算力較低導致時延過大甚至擁塞的情況，學術界對此提出了用于計算和傳輸?shù)膭討B(tài)星間路由機制［１］，通過星間鏈路將業(yè)務從資源緊張的衛(wèi)星轉移到其他衛(wèi)星來輔助計算。由于衛(wèi)星網(wǎng)絡快速變化的拓撲結構和星間傳播時延不可忽略，星間傳輸計算業(yè)務要考慮動態(tài)拓撲和時延以及星上算力對業(yè)務性能的影響［２］。如何在高動態(tài)的星云算網(wǎng)中高效地處理計算業(yè)務，是實現(xiàn)大規(guī)模星上計算和多星協(xié)作需要解決的重要問題之一，具有較高的研究價值。

１ 相關工作

面對星云算網(wǎng)，如何基于計算和傳輸對業(yè)務性能進行優(yōu)化，學術界展開了廣泛研究。文獻［３－５］利用了啟發(fā)式解決方案。張茜［３］考慮動態(tài)時變衛(wèi)星網(wǎng)絡的資源約束和可見時間窗約束等，并提出基于遺傳算法的星間計算任務卸載算法，以提高計算效能。呼延？等［４］將傳統(tǒng)的衛(wèi)星數(shù)據(jù)傳輸系統(tǒng)與星上智能處理相結合，提出一種遙感衛(wèi)星高速數(shù)據(jù)傳輸框架。馬步云等［５］針對當前星地數(shù)據(jù)處理模式中存在的高傳輸時延問題，提出將基于算力路由的低時延在軌協(xié)同計算問題轉化為業(yè)務圖到網(wǎng)絡圖的映射問題。然而，這些基于規(guī)則的啟發(fā)式方法無法捕捉到網(wǎng)絡環(huán)境的復雜特征，因此難以進一步改進［６］。為突破上述局限，深度強化學習（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）得到了廣泛應用，并對其展開了越來越多的研究［７－１０］。曹素芝等［１１］針對星地融合網(wǎng)絡面臨的復雜路由問題，提出了基于ＤＲＬ 的星上路由機制訓練與部署方案。唐斯琪等［１２］針對強化學習方法在星云算網(wǎng)領域的局限性和面臨的挑戰(zhàn)，提出了一種基于微調(diào)的模型遷移機制。汪昊等［１３］考慮衛(wèi)星網(wǎng)絡拓撲和星間鏈路的可用帶寬、傳播時延等約束，構建衛(wèi)星網(wǎng)絡狀態(tài)用于基于強化學習的ＬＥＯ 衛(wèi)星網(wǎng)絡動態(tài)路由算法。由于ＤＲＬ 是一種通過與環(huán)境（如動態(tài)衛(wèi)星網(wǎng)絡）交互來優(yōu)化策略（如星間路由策略）［１４］的工具，與基于規(guī)則的啟發(fā)式相比，它應該能夠捕獲更多的環(huán)境特征［１５］，從而輔助ＤＲＬ 智能體做出更好的決策。

２ ＬＥＯ 衛(wèi)星網(wǎng)絡系統(tǒng)

ＬＥＯ 星座坐標如圖１ 所示?？紤]到動態(tài)衛(wèi)星網(wǎng)絡場景，ＬＥＯ 衛(wèi)星網(wǎng)絡（ＬＥＯ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋ，ＬＳＮ）系統(tǒng)的網(wǎng)絡拓撲用有向圖Ｇ（Ｖ，Ｅ）表示，Ｖ 和Ｅ 分別表示衛(wèi)星和星間鏈路的集合。整個衛(wèi)星網(wǎng)絡由Ｎ 個圓形軌道組成，每個軌道上有Ｍ 顆衛(wèi)星。軌道上的ＬＥＯ 衛(wèi)星以及同一軌道上的衛(wèi)星均勻分布。在該系統(tǒng)中，每顆ＬＥＯ 衛(wèi)星通過星內(nèi)鏈路連接同一軌道的前一顆和后一顆衛(wèi)星，通過星間鏈路連接相鄰軌道的衛(wèi)星。星座兩側的衛(wèi)星運動方向相反，導致星間鏈路連接的兩顆衛(wèi)星之間的距離變化迅速，星間鏈路的連接斷斷續(xù)續(xù)。

２． １ 流量模型

ＬＳＮ 系統(tǒng)中存在隨機加入的計算請求［１６］，并且每個請求的到達滿足參數(shù)為λ 的泊松過程［１７］。將第ｉ 個請求定義為元組ＴＲ（ｓｒｃ，ｃｉ，ｄｉ），其中ｓｒｃ 表示源節(jié)點；ｃｉ 表示計算能力，即計算１ ｂｉｔ 所需要的計算資源，單位為周期／ 比特；ｄｉ 表示請求的數(shù)據(jù)大小，單位為ｂｉｔ。計算請求被定義為傳輸和計算的最小單元，并被路由到計算節(jié)點進行處理，因此每條路徑上只有一個計算節(jié)點。另外，計算請求必須在一定時間內(nèi)被處理，然后離開網(wǎng)絡；否則，該請求被視為拒絕處理。

２． ２ 時延模型

星間鏈路的傳輸延遲由傳輸時延、傳播時延和計算時延組成。在動態(tài)ＬＳＮ 系統(tǒng)中，如果兩兩衛(wèi)星，即｛ｕ，ｖ｜ ｕ，ｖ∈Ｖ｝滿足建立星間鏈路的條件，則該衛(wèi)星對之間的歐幾里得距離表示為：

式中：（ｘｕ，ｙｕ，ｚｕ）表示節(jié)點ｕ 的空間位置。

由于衛(wèi)星間通信主要受自由空間路徑損耗和加性高斯白噪聲的影響，兩兩衛(wèi)星之間的載噪比可表示為：

式中：Ｐｔ 為發(fā)射功率，Ｇｔ 和Ｇｒ 分別為發(fā)射天線增益和接收天線增益，ｋ 為玻爾茲曼常數(shù)，τ 為熱噪聲，單位Ｋ；Ｂ 為信道帶寬，單位Ｈｚ；ｆ 為載波頻率，ｃ 為光速。因此，計算請求無干擾環(huán)境的星間鏈路上的傳輸時延定義為：

忽略傳輸過程中較小的距離變化，計算請求在星間鏈路上的傳播時延定義為：

Ｔｐｒｏｐ ＝ｄｕｖ／ｃ 。（４）

計算節(jié)點處的計算時延定義為：

Ｔｃｏｍ ＝ ｃｉ／Ｃｎ， （５）

式中：Ｃｎ 為計算節(jié)點為每個請求提供的最大計算能力。

２． ３ 優(yōu)化問題

動態(tài)星間路由策略的目的在于找到從源節(jié)點ｕ到計算節(jié)點ｖ 的最優(yōu)路徑，從而降低計算請求的平均傳輸延遲并提高總吞吐量。整個過程［１８］可以劃分為：① 尋找從源節(jié)點到下一跳節(jié)點的傳輸邊，用于傳輸計算請求的數(shù)據(jù)；② 如果下一跳節(jié)點的計算資源滿足請求需要，則將該節(jié)點視為計算節(jié)點并處理數(shù)據(jù)，否則重復過程①。這樣，動態(tài)星間路由策略的優(yōu)化過程就是找到與特定計算節(jié)點相關聯(lián)的最短傳輸路徑，并找到與該優(yōu)化傳輸路徑相對應的最優(yōu)計算節(jié)點。

動態(tài)星間路由策略對于ＬＳＮ 系統(tǒng)來說是一項具有挑戰(zhàn)的任務。有效的路由策略不僅要識別受時變傳輸延遲和計算資源波動影響的衛(wèi)星網(wǎng)絡上的關鍵資源，還要處理未來請求生成中的不確定性?；趶娀瘜W習的方法適合處理這種復雜狀態(tài)，并考慮潛在的未來影響。故在ＤＲＬ 框架中，有一個智能體，其目標是為每個計算請求實時選擇最優(yōu)的下一跳節(jié)點。而智能體的學習過程是由一個目標函數(shù)控制的，該目標函數(shù)的目的是最小化傳輸延遲、最大化總吞吐量。

對于基于機器學習的問題，數(shù)據(jù)和特征決定性能上限，而模型和算法只能接近這個極限。因此，在基于強化學習的框架中，輸入狀態(tài)表示和特征提取必不可少，但在文獻中并沒有得到很好的研究。前文介紹了一些工作的簡單狀態(tài)表示和特征提取，然而，由于時變的ＬＳＮ 拓撲結構和波動變化的星上計算資源，上述文獻的特征提取可能不足以用于ＤＲＬ智能體的學習。因此，本文提出了一種基于改進的圖卷積網(wǎng)絡（ＥｎｈａｎｃｅｄＧｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ，ＥＧＣＮ）的感知狀態(tài)表示，通過捕捉衛(wèi)星網(wǎng)絡結構的動態(tài)演變和計算資源波動的規(guī)律，從而確保ＤＲＬ 智能體依據(jù)這些實時且精確的信息做出更加準確的決策。下面通過考慮星間路由問題的具體特征，設計動態(tài)衛(wèi)星網(wǎng)絡的特征提取和強化學習框架的狀態(tài)表示。

３ 基于ＤＲＬ 的下一跳節(jié)點的選擇機制

本節(jié)詳細描述強化學習模型的關鍵元素（狀態(tài)、動作和獎勵）。由于神經(jīng)網(wǎng)絡參數(shù)化的智能體被訓練來完成狀態(tài)到動作的映射。因此，狀態(tài)應該攜帶足夠的信息來學習這種映射。為了獲取足夠的信息，提出使用ＥＧＣＮ 來提取動態(tài)衛(wèi)星網(wǎng)絡的特征。

３． １ 基于ＥＧＣＮ 的狀態(tài)表示

動態(tài)衛(wèi)星網(wǎng)絡的狀態(tài)表示應該由星上鏈路的傳輸時延、節(jié)點的算力資源以及節(jié)點的發(fā)送容量和承載容量來定義。由于衛(wèi)星網(wǎng)絡是一種拓撲結構，因此其節(jié)點和鏈路上的特征不能直接用向量或矩陣表示。

３． １． １ 圖卷積網(wǎng)絡模型

衛(wèi)星網(wǎng)絡通常被建模為圖形，節(jié)點表示衛(wèi)星，邊表示衛(wèi)星之間的連接。鄰接矩陣為Ａ，特征矩陣為Ｘ。一層圖卷積網(wǎng)絡（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ，ＧＣＮ）卷積操作如圖２ 所示，ＧＣＮ 通過一階鄰域捕獲節(jié)點的空間特征，然后通過多個卷積層累加高階空間特征，可以表示為：

式中：Ａ ～ ＝ Ａ＋ＩＮ 表示加了自連接的鄰接矩陣，Ｄ ～ 為度矩陣，Ｄ ～ｉｉ ＝ ΣＮｊ ＝ １Ａ ～ｉｊ ，Ｄ ～ － １２ ～Ａ ～ ～Ｄ ～ － １２ 表示預處理，Ｗ（ｌ）為權重矩陣，σ 為激活函數(shù)，Ｈ（ｌ）為第ｌ 層的特征矩陣。

由式（６）可知，ＧＣＮ 模型可以從網(wǎng)絡拓撲結構中學習空間特征。當前節(jié)點作為中心，一層的ＧＣＮ卷積操作能夠獲取周圍鄰居節(jié)點的特征，ＧＣＮ 可以通過疊加多個卷積層來捕獲多跳節(jié)點的空間特征。

３． １． ２ 改進方法

對于下一跳節(jié)點的選擇問題，星間鏈路上的傳輸時延與路由性能密切相關。而ＧＣＮ 模型只能處理節(jié)點的特征信息、鏈路的連接關系以及鏈路的單一權重信息，無法對衛(wèi)星網(wǎng)絡中鏈路的多屬性參數(shù)（即計算請求在不同時刻的同一衛(wèi)星對之間的星間鏈路上的傳輸時延不同）進行分析。為了具體描述鏈路信息，本文根據(jù)節(jié)點間的關系增加“虛”節(jié)點來表示鏈路特征，通過聚合“虛”節(jié)點特征并合并到下一跳節(jié)點特征中。這樣，鏈路信息就成為節(jié)點特征向量的一部分。為了捕捉衛(wèi)星網(wǎng)絡上節(jié)點和鏈路信息的時間特征，提出先在特征矩陣Ｘ 上使用遞歸神經(jīng)網(wǎng)絡（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）來有效學習星上資源以及星間鏈路傳輸時延的動態(tài)變化規(guī)律。ＲＮＮ 通過考慮時間ｔ－１ 的隱藏狀態(tài)ｚｔ－１ 和當前信息作為輸入ｘｔ 來計算時間ｔ 的狀態(tài)并作為輸出ｏｔ，即：

ｚｔ ＝ｇ１（Ｕ×ｘｔ ＋Ｙ×ｚｔ－１）， （７）

ｏｔ ＝ｇ２（Ｖ×ｚｔ）， （８）

式中：Ｕ、Ｖ、Ｙ 為可訓練矩陣，ｇ１、ｇ２ 為激活函數(shù)。

通過這種方式，模型能夠保留歷史信息并捕捉時間依賴性，同時仍結合當前時刻的信息。ＲＮＮ 提取時間特征如圖３ 所示。

３． ２ 動作空間和獎勵函數(shù)

當計算請求到達當前節(jié)點時，智能體將根據(jù)Ｋ 個候選相鄰節(jié)點選擇下一跳節(jié)點。因此，動作被定義為ａｔ∈Ａ＝｛１，２，…，Ｋ｝，Ａ 為候選相鄰節(jié)點的集合。即使在小型網(wǎng)絡中，候選節(jié)點的數(shù)量也會導致高維的動作空間。相關研究表明［１５］，Ｋ 個候選節(jié)點與性能的關系更大，所以Ｋ 的數(shù)量不需要很大。因此，每個當前節(jié)點從 Ｋo Ｋ＝５p 個最近的節(jié)點中選擇下一跳節(jié)點（按每跳距離長度衡量）。

智能體根據(jù)從外部環(huán)境接收的獎勵不斷更新參數(shù)來提高性能。通常，一個成功的動作被認為是好的，因此環(huán)境返回一個正的即時獎勵，以加強當前動作被選擇的概率。并且，為了盡量減少失敗動作出現(xiàn)的概率，環(huán)境會返回一個負獎勵并讓智能體探索替代動作。然而，獎勵函數(shù)并不是“正確”行為的明確指標，而是向智能體反饋當前動作很好。智能體的目標是最大化長期獎勵，比如，折扣累積獎勵。為了實現(xiàn)這一點，智能體可能會放棄具有最佳瞬時獎勵的行為以獲得更好的長期績效，因此獎勵函數(shù)可以指導動態(tài)星間路由策略的優(yōu)化方向。為了研究特征提取的重要性，將獎勵函數(shù)定義為一個二元變量ｒｔ∈｛－１，１｝，本文提出的方法期望最小化傳輸延遲、最大化總吞吐量。

３． ３ 基于Ａ３Ｃ 的訓練過程

異步優(yōu)勢動作評價（Ａｓｙｎｃｈｒｏｎｏｕｓ ＡｄｖａｎｔａｇｅＡｃｔｏｒＣｒｉｔｉｃ，Ａ３Ｃ）算法屬于典型的ＤＲＬ 算法，它有許多并行運行的局部學習者，如圖４ 所示。其中，策略函數(shù)和值函數(shù)分別采用兩個神經(jīng)網(wǎng)絡，即策略網(wǎng)絡π（ａｔ ｜ｓｔ；θ）和價值網(wǎng)絡Ｖ（ｓｔ；θｖ）。對每個學習者的策略網(wǎng)絡和價值網(wǎng)絡設置了特定的參數(shù)，分別為θ′和θ′ｖ 。

策略函數(shù)和價值函數(shù)由每個學習者以異步方式更新。對于每個學習者，每集都進行更新，包括Ｔ 個連續(xù)動作（時間步長ｔ０ ～ ｔ０ ＋Ｔ－１）。局部學習者的參數(shù)首先由θ′←θ、θ′ｖ ←θｖ 進行刷新。經(jīng)過一集的訓練后，全局參數(shù)由式（１０）給出的最小批量（批量大小為Ｔ）梯度上升或下降更新，即：

４ 性能分析

本文通過在ＳＮＥＴ９９ 和ＳＮＥＴ１９８ 兩個衛(wèi)星網(wǎng)絡上仿真對提出的方法進行評估，衛(wèi)星網(wǎng)絡參數(shù)如表１ 所示。

４． １ 仿真參數(shù)

關鍵參數(shù)如表２ 所示。計算請求根據(jù)泊松過程生成，源節(jié)點是從均勻分布的所有衛(wèi)星節(jié)點中隨機選擇。

策略網(wǎng)絡使用ｓｏｆｔｍａｘ 輸出，價值網(wǎng)絡使用線性輸出，所有非輸出層都由ＲｅＬＵ 激活。在訓練過程中使用小批量梯度下降和Ａｄａｍ 優(yōu)化器。

本文提出的方法被命名為“ＥＧＣＮ＋ＤＲＬ”。可比較的方法包括隨機路徑路由“ＲＰ”（即從鄰居節(jié)點集中隨機選擇下一跳）、最短路徑路由“ＳＰ”（即選擇最近的鄰居節(jié)點作為下一跳）和基于圖卷積神經(jīng)網(wǎng)絡和強化學習模型的方法“ＧＣＮ＋ＤＲＬ”。

４． ２ 不同拓撲下的網(wǎng)絡吞吐量結果

在兩個衛(wèi)星網(wǎng)絡上進行仿真實驗，以驗證提出的方法在不同拓撲結果中的適用性。訓練過程中不同網(wǎng)絡負載下ＬＥＯ 衛(wèi)星網(wǎng)絡的總體吞吐量如圖５所示。

隨著網(wǎng)絡負載的增加，各種算法的總吞吐量也在增加?？梢钥闯觯谢冢模遥?的方法都優(yōu)于基于啟發(fā)式的方法，顯示了基于強化學習方法的有效性。此外，“ＥＧＣＮ＋ＤＲＬ”在提高網(wǎng)絡吞吐量方面的性能優(yōu)于其他３ 種方法。將“ＥＧＣＮ＋ＤＲＬ”相對于比較方法的總吞吐量提升定義為：

Ｐ＝ＳＥＧＣＮ＋ＤＲＬ －Ｓ比較方法／Ｓ比較方法， （１２）

式中：Ｐ 為一段時間內(nèi)網(wǎng)絡的總吞吐量提升百分比。與圖５ （ａ）中的“ＲＰ”“ＳＰ”和“ＧＣＮ ＋ＤＲＬ”相比，“ＥＧＣＮ＋ＤＲＬ”的網(wǎng)絡吞吐量分別提高了１３． ４８％ ，１２． ２７％ 和１． ４４％ 。在圖５ （ｂ）中進行了類似的觀察。

４． ３ 不同拓撲下的平均傳輸延遲結果

在不同拓撲下，不同ＤＲＬ 方法的平均傳遞延遲結果如圖６ 所示。

由圖６ 可以看出，在訓練開始時，總體吞吐量較小，計算請求的平均傳輸延遲較小。隨著訓練的進行，總體吞吐量逐漸增加，請求的平均傳輸延遲先增大后減小。不同拓撲下的仿真結果相似，提出的方法達到了最佳性能。

此外，“ＥＧＣＮ＋ＤＲＬ”在網(wǎng)絡ＳＮＥＴ９９ 中平均傳輸延遲降低幅度較小，在網(wǎng)絡ＳＮＥＴ１９８ 中平均傳輸延遲降低幅度較大。結合表１ 的ＬＳＮ 系統(tǒng)參數(shù)配置，總結可能的原因是網(wǎng)絡越發(fā)散和分布均勻，其傳輸延遲性能優(yōu)化越好。

５ 結束語

ＤＲＬ 智能體需要經(jīng)過長期的訓練才能達到可接受的性能，因此將算法直接應用于真實的衛(wèi)星網(wǎng)絡環(huán)境不合理。就顯示情況而言，ＤＲＬ 框架最好是在虛擬環(huán)境（比如數(shù)字孿生）中訓練，當性能變得可接受后再部署到現(xiàn)實環(huán)境中。因此，如何構建一個虛擬環(huán)境以盡量減少與現(xiàn)實環(huán)境的差異，如何設計一種在虛擬環(huán)境與真實環(huán)境具有差異的情況下仍可得到可接受性能的強化學習方法，這兩個問題值得探究。

本文研究了用于計算和傳輸?shù)膭討B(tài)星間路由策略，提出利用改進的ＧＣＮ 進行ＬＳＮ 系統(tǒng)的環(huán)境狀態(tài)特征提取，將連接當前節(jié)點和下一跳節(jié)點的星間鏈路信息聚合到下一跳節(jié)點中，對ＧＣＮ 模型的特征矩陣使用ＲＮＮ 來有效學習星上資源波動和星間鏈路傳輸延遲的變化規(guī)律，由此捕捉衛(wèi)星網(wǎng)絡上節(jié)點和鏈路信息的時間特征。又因為ＧＣＮ 模型通過多層卷積操作可以得到當前節(jié)點與多跳節(jié)點的空間特征，通過二者結合，ＤＲＬ 智能體可以感知與計算路由策略相關的關鍵信息，從而做出更好的決策。仿真結果驗證了該方法的有效性。

參考文獻

［１］ ＺＨＡＮＧ Ｃ，ＣＨＥＮ Ｑ，ＴＡＮＧ Ｚ Ｐ，ｅｔ ａｌ． Ｐｒｅｃｏｄｅｄ ＩｎｔｅｒＳａｔｅｌｌｉｔｅ Ｒｏｕｔｉｎｇ Ａｌｇｏｒｉｔｈｍ ｗｉｔｈ Ｌｏａｄ Ｂａｌａｎｃｉｎｇ ｆｏｒ ＭｅｇａＣｏｎｓｔｅｌｌａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｓｐａｃｅ：Ｓｃｉｅｎｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ，２０２４，４：０１０３．

［２］ ＤＩＮＧ Ｃ Ｆ，ＷＡＮＧ Ｊ Ｂ，ＺＨＡＮＧ Ｈ，ｅｔ ａｌ． Ｊｏｉｎｔ Ｏｐｔｉｍｉｚａｔｉｏｎｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎ Ｒｅｓｏｕｒｃｅｓ ｆｏｒ Ｓａｔｅｌｌｉｔｅａｎｄ Ｈｉｇｈ Ａｌｔｉｔｕｄｅ Ｐｌａｔｆｏｒｍ Ａｓｓｉｓｔｅｄ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２２，２１（２）：１３６２－１３７７．

［３］ 張茜． 時變網(wǎng)絡下的多星協(xié)同計算方法［Ｄ］． 長沙：中南大學，２０２３．

［４］ 呼延？，李映，周詮，等． 遙感衛(wèi)星計算傳輸及其關鍵技術［Ｊ］． 天地一體化信息網(wǎng)絡，２０２２，３（２）：６３－７１．

［５］ 馬步云，任智源，郭凱，等． 基于算力路由的空間信息網(wǎng)絡低時延在軌協(xié)同計算策略［Ｊ］． 遙測遙控，２０２３，４４（５）：８－１５．

［６］ ＦＥＮＧ Ｃ，ＳＨＥＮ Ｙ，ＣＡＯ Ｇ，ｅｔ ａｌ． Ａ Ｒｅｓｏｕｒｃｅ ＡｌｌｏｃａｔｉｏｎＡｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ ＧＥＯ／ ＬＥＯ Ｈｉｅｒａｒｃｈｉｃａｌ ＣｌｕｓｔｅｒｉｎｇＮｅｔｗｏｒｋ［Ｃ］∥Ｓｅｖｅｎｔｈ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｎｏｖｅｌ ＰｈｏｔｏｅｌｅｃｔｒｏｎｉｃＤｅｔｅｃｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ． Ｋｕｎｍｉｎｇ：ＳＰＩＥ，２０２１：１２６８－１２７２．

［７］ 李京陽． 基于深度強化學習的衛(wèi)星路由方法研究［Ｄ］．石家莊：河北科技大學，２０２３．

［８］ ＺＨＡＮＧ Ｓ Ｂ，ＬＩＵ Ａ Ｊ，ＨＡＮ Ｃ，ｅｔ ａｌ． Ｇｒａｐｈ ＮｅｕｒａｌＮｅｔｗｏｒｋ ａｎｄ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｒｏｕｔｉｎｇ ｆｏｒＭｅｇａ ＬＥＯ Ｓａｔｅｌｌｉｔｅ Ｃｏｎｓｔｅｌｌａｔｉｏｎｓ［Ｃ］∥２０２３ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣＣ）． Ｃｈｅｎｇｄｕ：ＩＥＥＥ，２０２３：１－６．

［９］ ＷＡＮＧ Ｈ，ＲＡＮ Ｙ Ｙ，ＺＨＡＯ Ｌ，ｅｔ ａｌ． ＧＲｏｕｔｉｎｇ：ＤｙｎａｍｉｃＲｏｕｔｉｎｇ ｆｏｒ ＬＥＯ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ ＧｒａｐｈｂａｓｅｄＤｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｃ］∥２０２１ ４ｔｈ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｏｔ ＩｎｆｏｒｍａｔｉｏｎＣｅｎｔｒｉｃ Ｎｅｔｗｏｒｋｉｎｇ（ＨｏｔＩＣＮ）． Ｎａｎｊｉｎｇ：ＩＥＥＥ，２０２１：１２３－１２８．

［１０］ＳＨＩ Ｙ Ｊ，ＷＡＮＧ Ｗ Ａ，ＺＨＵ Ｘ Ｒ，ｅｔ ａｌ． Ｌｏｗ Ｅａｒｔｈ ＯｒｂｉｔＳａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋ Ｒｏｕｔｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ ＧｒａｐｈＮｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｄｅｅｐ ＱＮｅｔｗｏｒｋ［Ｊ］． Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，２０２４，１４（９）：３８４０．

［１１］曹素芝，孫雪，王厚鵬，等． 星地融合網(wǎng)絡智能路由技術綜述［Ｊ］． 天地一體化信息網(wǎng)絡，２０２１，２（２）：１１－１９．

［１２］唐斯琪，潘志松，胡谷雨，等． 深度強化學習在天基信息網(wǎng)絡中的應用———現(xiàn)狀與前景［Ｊ］． 系統(tǒng)工程與電子技術，２０２３，４５（３）：８８６－９０１．

［１３］汪昊，冉泳屹，趙雷，等． 基于深度圖強化學習的低軌衛(wèi)星網(wǎng)絡動態(tài)路由算法［Ｊ］． 重慶郵電大學學報（自然科學版），２０２３，３５（４）：５９６－６０５．

［１４］ＰＩ Ｊ Ｈ，ＲＡＮ Ｙ Ｙ，ＷＡＮＧ Ｈ，ｅｔ ａｌ． Ｄｙｎａｍｉｃ Ｐｌａｎｎｉｎｇ ｏｆＩｎｔｅｒｐｌａｎｅ Ｉｎｔｅｒｓａｔｅｌｌｉｔｅ Ｌｉｎｋｓ ｉｎ ＬＥＯ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋｓ［Ｃ］∥ＩＣＣ ２０２２ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ． Ｓｅｏｕｌ：ＩＥＥＥ，２０２２：３０７０－３０７５．

［１５］ＳＯＲＥＴ Ｂ，ＲＡＶＩＫＡＮＴＩ Ｓ，ＰＯＰＯＶＳＫＩ Ｐ，ｅｔ ａｌ． Ｌａｔｅｎｃｙａｎｄ Ｔｉｍｅｌｉｎｅｓｓ ｉｎ Ｍｕｌｔｉｈｏｐ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋｓ［Ｃ］∥ＩＣＣ２０２０－２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （ＩＣＣ）． Ｄｕｂｌｉｎ：ＩＥＥＥ，２０２０：１－６．

［１６］ＷＡＮＧ Ｃ，ＲＥＮ Ｚ Ｙ，ＣＨＥＮＧ Ｗ Ｃ，ｅｔ ａｌ． ＴｉｍｅｅｘｐａｎｄｅｄＧｒａｐｈｂａｓｅｄ Ｄｉｓｐｅｒｓｅｄ Ｃｏｍｐｕｔｉｎｇ Ｐｏｌｉｃｙ ｆｏｒ ＬＥＯ ＳｐａｃｅＳａｔｅｌｌｉｔｅ Ｃｏｍｐｕｔｉｎｇ［Ｃ］∥２０２１ ＩＥＥＥ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ （ＷＣＮＣ）． Ｎａｎｊｉｎｇ：ＩＥＥＥ，２０２１：１－６．

［１７］ＲＯＳＳ Ｓ Ｍ． 應用隨機過程概率模型導論：第１１ 版［Ｍ］．龔光魯，譯． 北京：人民郵電出版社，２０１６．

［１８］ＴＡＯ Ｊ Ｈ，ＮＡ Ｚ Ｙ，ＬＩＮ Ｂ，ｅｔ ａｌ． Ａ Ｊｏｉｎｔ Ｍｉｎｉｍｕｍ Ｈｏｐａｎｄ Ｅａｒｌｉｅｓｔ Ａｒｒｉｖａｌ Ｒｏｕｔｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ＬＥＯ ＳａｔｅｌｌｉｔｅＮｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０２３，７２（１２）：１６３８２－１６３９４．

作者簡介：

許柳飛 女，（１９９６—），博士研究生。主要研究方向：算力路由。

（*通信作者）羅志勇 男，（１９７３—），博士，教授，博士生導師。主要研究方向：衛(wèi)星互聯(lián)網(wǎng)一體化融合、無線通感算融合賦能技術、通信人工智能應用。

基金項目：國家重點研發(fā)計劃（２０２３ＹＦＢ２９０４７０１）；廣東省重點研發(fā)計劃（２０２４Ｂ０１０１０２０００６）；廣東省區(qū)域聯(lián)合基金重點項目（２０２３Ｂ１５１５１２００９３）；深圳市自然科學基金重點項目（ＪＣＹＪ２０２２０８１８１０２２０９０２０）