摘 要：為無人機提供網(wǎng)絡連接是未來蜂窩網(wǎng)絡系統(tǒng)的一個主要應用，無人機在蜂窩網(wǎng)絡中作為移動基站或移動用戶設備時，需要在不同的基站之間切換，以保持高速可靠的網(wǎng)絡連接。針對無人機移動性強、飛行環(huán)境復雜造成無人機在蜂窩基站間發(fā)生頻繁切換、切換失敗等問題，提出了一種基于深度強化學習的無人機連接蜂窩網(wǎng)絡切換優(yōu)化方法?；谏疃葟娀瘜W習框架，實現(xiàn)無人機自適應基站切換的在線學習和決策，克服了以往算法中當狀態(tài)空間過大而導致訓練時間長、泛化能力差的缺點；融合參考信號接收功率和切換次數(shù)兩項指標作為聯(lián)合獎勵函數(shù)，保證無人機在穩(wěn)定蜂窩網(wǎng)絡連接的前提下，減少了無人機在蜂窩基站間的無效切換次數(shù)。實驗結(jié)果表明，所提出的算法經(jīng)過１ ０００ 輪訓練，無人機的平均切換次數(shù)顯著降低，有效避免了不必要的切換，降低了切換失敗的概率，提升了無人機連接蜂窩網(wǎng)絡時的信號接收功率。

關鍵詞：無人機通信；蜂窩網(wǎng)絡；參考信號接收功率；深度強化學習

中圖分類號：ＴＰ１８ 文獻標志碼：Ａ

文章編號：１００３－３１１４（２０２４）０５－０９４９－０９

０ 引言

近年來，無人機在許多應用中的使用大幅增加，例如空中監(jiān)視、包裹遞送、災區(qū)救援以及軍事打擊等［１］。無人機在飛行時需要無處不在的高速網(wǎng)絡連接，才能實現(xiàn)精準控制以及大量數(shù)據(jù)的穩(wěn)定傳輸［２］。然而無人機在執(zhí)行許多任務時，由于飛行距離較遠且飛行環(huán)境復雜，需要超視距通信鏈路連接，傳統(tǒng)的點對點網(wǎng)絡連接技術已經(jīng)不能滿足無人機超遠距離通信的需求。

蜂窩網(wǎng)絡旨在成為能夠為空中、地面和水下應用提供無處不在連接的全覆蓋網(wǎng)絡，因?qū)崿F(xiàn)成本低、覆蓋范圍廣、通信帶寬高等特點，可以為無人機提供廣域、高速的無線連接，增強無人機操作的控制和安全，實現(xiàn)穩(wěn)定的超視距通信［３］，無人機連接地面蜂窩基站將在未來無人機通信中發(fā)揮關鍵作用。為實現(xiàn)對無人機的低時延精準控制和數(shù)據(jù)的高速傳輸，對于數(shù)據(jù)速率和延遲都有很高的要求，需要在執(zhí)行任務的過程中始終保持穩(wěn)定、高速的蜂窩網(wǎng)絡連接。

目前的蜂窩網(wǎng)絡主要針對地面通信用戶，因此蜂窩基站天線的主瓣波束信號指向地面用戶，而為無人機提供網(wǎng)絡覆蓋的旁瓣波束信號微弱且不連續(xù)。無人機在三維空間中高速運動，信號特征會不斷變化。同時，隨著飛行高度和速度的增加，導致無人機連接蜂窩網(wǎng)絡時的通信時延越來越高。如今高密集部署的地面蜂窩基站會使空中的無人機暴漏在更多的基站覆蓋范圍中，也會造成不同基站間的信號相互干擾，影響地面移動用戶和空中無人機的通信性能［４］。諸多因素都會影響無人機在蜂窩基站間的切換過程，在常規(guī)的蜂窩基站間切換機制下會造成無人機在基站間頻繁切換，導致信令開銷增加，增大切換失敗的風險［５］。一旦切換失敗，會對無人機連接蜂窩網(wǎng)絡的通信造成巨大影響，整體網(wǎng)絡服務質(zhì)量將顯著降低，可能直接導致任務失敗甚至無人機發(fā)生碰撞、墜毀等情況［６］。因此，如何保持無人機在與地面蜂窩基站高速穩(wěn)定連接的前提下，盡量減少切換次數(shù)是一個難題。

１ 相關工作

針對無人機高速飛行和頻繁的信號強度變化而造成的切換管理問題，前人已經(jīng)進行了許多研究。文獻［７］最早分析了蜂窩網(wǎng)絡連接無人機的切換評估問題，由于底層網(wǎng)絡基礎設施不是為空中無人機設計的，因此蜂窩技術無法在保持無人機連接期間可靠性和安全性的同時，支持所有網(wǎng)絡服務，而且容易出現(xiàn)高干擾和覆蓋不足的問題。文獻［８］測量了在郊區(qū)環(huán)境中連接到蜂窩網(wǎng)絡的空中無人機切換次數(shù)。結(jié)果表明，隨著飛行高度的增加，切換頻率開始迅速增加，在此基礎上，提出需要增強切換技術來更好地支持無人機的連接，以便無人機使用現(xiàn)有的蜂窩網(wǎng)絡系統(tǒng)。文獻［９］從無線鏈路故障和切換數(shù)量兩方面分析了蜂窩連接無人機網(wǎng)絡的性能，證明了無人機高速運動和高度對切換的影響，并提出了調(diào)整切換參數(shù)來保證無縫連接的想法。文獻［１０］提出了一種ＱＬｅａｒｎｉｎｇ 的切換決策算法，以克服無人機大規(guī)模小型蜂窩異構(gòu)網(wǎng)絡中不必要的切換和信令開銷，但其基于無人機與基站間的距離信息做出切換決策，效果不夠理想。文獻［１１］通過使用無模型強化學習算法動態(tài)調(diào)整下傾角的角度，確保蜂窩連接無人機的魯棒連接和移動支持，最大限度地提高無人機的接收信號質(zhì)量，同時保持地面用戶的良好吞吐量性能。所提出的算法可以在保持性能的同時減少切換次數(shù)，但是改變蜂窩網(wǎng)絡下傾角的做法實現(xiàn)較難。文獻［１２］提出了一種基于ＱＬｅａｒｎｉｎｇ 的地面用戶５Ｇ 網(wǎng)絡切換算法，將網(wǎng)絡切換問題轉(zhuǎn)化為一個強化學習問題，智能體通過觀察當前網(wǎng)絡狀態(tài)和可選的切換目標，不斷地學習最優(yōu)的網(wǎng)絡切換策略，從而實現(xiàn)更加高效和可靠的網(wǎng)絡切換。但是該方法是針對地面用戶提出的，適用于無人機有一定困難。文獻［１３］提出了基于雙Ｑ 網(wǎng)絡（ＤｏｕｂｌｅＤｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＤＤＱＮ）的無人機移動性管理方案，該方案允許在城市區(qū)域中移動的無人機智能地選擇蜂窩基站進行切換，最大化無人機總體數(shù)據(jù)吞吐量，同時保持切換管理速率。文獻［１４］分析無人機連接蜂窩網(wǎng)絡模型的關鍵性能指標，包括通信延遲和干擾蜂窩網(wǎng)絡，并針對切換和無線資源管理優(yōu)化問題，提出了一種深度強化學習解決方案，仿真結(jié)果表明，提出的策略可以在引起的干擾和延時方面顯著優(yōu)于基準方案。文獻［１５］考慮了兩個深度強化學習的方法深度Ｑ 網(wǎng)絡（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＤＱＮ）和Ａ２Ｃ，實現(xiàn)無人機在線快速決策，在不同的網(wǎng)絡運營商之間進行切換，為每個無人機選擇合適的網(wǎng)絡運營商，以提高無人機連接蜂窩網(wǎng)絡ＱｏＳ，降低斷連概率。

雖然之前的工作已經(jīng)研究了無人機連接蜂窩網(wǎng)絡時切換面臨的挑戰(zhàn)并提出了許多解決方案，但只考慮了無人機與蜂窩基站間的距離、角度、通信時延或干擾等信息，沒有考慮到無人機在蜂窩網(wǎng)絡間的切換次數(shù)對通信質(zhì)量造成的影響，例如頻繁切換、切換決策時機不佳、切換失敗等。因此，關于無人機高效切換管理仍需要進一步研究。