摘 要：為解決自然災(zāi)害引發(fā)的“斷電、斷網(wǎng)、斷路”所導(dǎo)致的通信指揮難題，提出了一種無人機(jī)輔助網(wǎng)絡(luò)系統(tǒng)，通過機(jī)載邊緣服務(wù)器裝載地面用戶熱門訪問內(nèi)容并發(fā)布應(yīng)急通知消息。無人機(jī)基于地面服務(wù)需求，引入了Ｑ-Ｌｅａｒｎｉｎｇ強(qiáng)化學(xué)習(xí)算法進(jìn)行軌跡規(guī)劃并將整個(gè)系統(tǒng)分為無人機(jī)探索子系統(tǒng)和無人機(jī)服務(wù)子系統(tǒng)。無人機(jī)探索子系統(tǒng)針對(duì)單個(gè)無人機(jī)信號(hào)覆蓋面積有限無法采集到區(qū)域內(nèi)所有移動(dòng)設(shè)備位置的問題，創(chuàng)建邊界探索方式來確定無人機(jī)群的最優(yōu)數(shù)量。無人機(jī)服務(wù)子系統(tǒng)通過分別對(duì)移動(dòng)設(shè)備進(jìn)行Ｋｍｅａｎｓ、Ｋ-ｍｅｄｏｉｄｓ、ＡＧＮＥＳ 聚類選取最優(yōu)聚類方式確定聚類中心，以聚類中心為導(dǎo)向進(jìn)行軌跡規(guī)劃從而盡最大可能為移動(dòng)設(shè)備服務(wù)。仿真結(jié)果表明，所提無人機(jī)輔助系統(tǒng)具有設(shè)計(jì)可行性，確定了無人機(jī)群信號(hào)全覆蓋的最小配置數(shù)量，同時(shí)得出不同聚類算法的無人機(jī)群適用場景。研究結(jié)果可用于評(píng)估地面用戶的保障服務(wù)體驗(yàn)，為無人機(jī)輔助通信網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)與控制優(yōu)化提供依據(jù)。

關(guān)鍵詞：無人機(jī)；強(qiáng)化學(xué)習(xí)；Ｋ-ｍｅａｎｓ；Ｋｍｅｄｏｉｄｓ；ＡＧＮＥＳ

中圖分類號(hào)：ＴＮ９１９． ２３ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１１４（２０２４）０３－０５２８－０７

０ 引言

在颶風(fēng)“卡特里娜”、南亞大地震、澳大利亞洪災(zāi)等超大型自然災(zāi)害發(fā)生后，世界人民已經(jīng)將目光轉(zhuǎn)移到如何進(jìn)行有效的防險(xiǎn)救災(zāi)［１］。大型自然災(zāi)害的發(fā)生導(dǎo)致關(guān)鍵基礎(chǔ)設(shè)施被大規(guī)模破壞，使得高度依賴基礎(chǔ)設(shè)施訪問核心網(wǎng)的網(wǎng)絡(luò)體系嚴(yán)重受損，對(duì)于災(zāi)難發(fā)生后的區(qū)域人員及時(shí)搜救與網(wǎng)絡(luò)訪問極為不利。面對(duì)關(guān)鍵基礎(chǔ)設(shè)施的破壞，目前所采用的解決策略是派遣工作人員人工修理基站和使用生命探測儀來尋找受災(zāi)人員。伴隨著無人機(jī)的發(fā)展，其易部署、靈活性強(qiáng)的特點(diǎn)逐漸顯現(xiàn)，通過使用無人機(jī)進(jìn)行網(wǎng)絡(luò)系統(tǒng)搭建，可以避免維護(hù)基站時(shí)人員部署、搜救定位困難等問題［２］。

針對(duì)復(fù)雜的災(zāi)后環(huán)境，單個(gè)無人機(jī)無法滿足多個(gè)用戶數(shù)據(jù)傳輸與信號(hào)覆蓋要求，因此需要多架無人機(jī)協(xié)同進(jìn)行用戶信息采集與服務(wù)［３］。在以往研究中，對(duì)于無人機(jī)的路徑規(guī)劃往往集中于深度學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方式，邊緣卸載方式以及數(shù)理邏輯處理方式。對(duì)于第一種方式，文獻(xiàn)［４］提出一種基于無人機(jī)控制器的深度強(qiáng)化學(xué)習(xí)（ＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＤＲＬ）方法，通過存儲(chǔ)深度學(xué)習(xí)后的雙目視覺信息來進(jìn)行無人機(jī)通信調(diào)度。文獻(xiàn)［５］采用基于ＤＲＬ 的覆蓋和連通性節(jié)能控制（ＤＲＬｂａｓｅｄ Ｅｎｅｒｇｙｅｆｆｉｃｉｅｎｔ Ｃｏｎｔｒｏｌ ｆｏｒ Ｃｏｖｅｒａｇｅ ａｎｄＣｏｎｎｅｃｔｉｖｉｔｙ，ＤＲＬＥＣ３）方式來進(jìn)行數(shù)據(jù)處理，通過兩個(gè)神經(jīng)卷積網(wǎng)絡(luò)的指導(dǎo)進(jìn)行精確移動(dòng)。文獻(xiàn)［４－５］都是通過深度學(xué)習(xí)方式，針對(duì)采集到的信息進(jìn)行處理，對(duì)于采集一定時(shí)間的靜態(tài)數(shù)據(jù)處理較為優(yōu)秀。對(duì)于第二種方式，文獻(xiàn)［６］提出了一種互聯(lián)網(wǎng)連接無人機(jī)的計(jì)算卸載系統(tǒng)架構(gòu)，將無人機(jī)需要的計(jì)算力分布于網(wǎng)絡(luò)，盡管時(shí)延有所增長，但大幅度地提高了無人機(jī)的處理能力。文獻(xiàn)［７］提出了一種無人機(jī)輔助的二級(jí)多接入邊緣計(jì)算（Ｍｕｌｔｉａｃｃｅｓｓ ＥｄｇｅＣｏｍｐｕｔｉｎｇ，ＭＥＣ）系統(tǒng)，使得移動(dòng)設(shè)備的低時(shí)延數(shù)據(jù)在無人機(jī)與基站上協(xié)同進(jìn)行。文獻(xiàn)［８］提出了一種無人機(jī)輔助邊緣計(jì)算中基于Ａｇｅｎｔ 的任務(wù)卸載框架，以幫助用戶、無人機(jī)和邊緣云執(zhí)行計(jì)算任務(wù)的卸載。文獻(xiàn)［６－８］將無人機(jī)需要轉(zhuǎn)發(fā)和處理的數(shù)據(jù)通過邊緣設(shè)備進(jìn)行多級(jí)分化，從而達(dá)到降低能耗的作用。對(duì)于第三種方式，文獻(xiàn)［９］考慮無人機(jī)飛行能耗和吞吐量限制，采用變量離散化方法將問題轉(zhuǎn)化為離散等價(jià)問題。然后將該問題轉(zhuǎn)化為凸優(yōu)化問題。通過解決該凸優(yōu)化問題，可以獲得收集和處理數(shù)據(jù)的最佳軌跡。文獻(xiàn)［１０］針對(duì)應(yīng)急場景無人機(jī)群與用戶的通信持續(xù)性問題，通過采用基于地理節(jié)點(diǎn)的無人機(jī)路由規(guī)劃算法跟蹤用戶移動(dòng)并分配合適路由，進(jìn)而到達(dá)高連接穩(wěn)定性。文獻(xiàn)［１１］針對(duì)災(zāi)后無人機(jī)服務(wù)時(shí)飛行能耗與接入用戶數(shù)量聯(lián)合優(yōu)化問題，采用離散時(shí)間平均場博弈（Ｍｅａｎ Ｆｉｅｌｄ Ｇａｍｅ，ＭＦＧ）框架，不斷調(diào)整飛行速度，從而達(dá)到無人機(jī)自適應(yīng)覆蓋用戶服務(wù)區(qū)域。文獻(xiàn)［９－１１］依據(jù)無人機(jī)吞吐量、飛行能耗等參量建立優(yōu)化問題，并采用凸優(yōu)化、地理跟蹤等方式對(duì)問題進(jìn)行建模求解。

無人機(jī)在執(zhí)行空地協(xié)同應(yīng)急服務(wù)時(shí)，由于無法事先獲知地面用戶的服務(wù)需求，造成空地協(xié)同服務(wù)效率不高的問題，為此，部分文獻(xiàn)考慮采用無人機(jī)群進(jìn)行空地協(xié)同服務(wù)的研究方案。文獻(xiàn)［１２］提出了Ｋｍｅａｎｓ［１３］與模擬退火算法相結(jié)合的策略，以獲得復(fù)雜場景下多無人機(jī)多任務(wù)的路徑規(guī)劃方法。為了解決無人機(jī)由于續(xù)航問題導(dǎo)致的故障，文獻(xiàn)［１４］為無人機(jī)群設(shè)計(jì)了分布式服務(wù)算法，讓無人機(jī)群與地面服務(wù)需求之間達(dá)成平衡。文獻(xiàn)［１５］綜合考慮了地面用戶的位置以及移動(dòng)性，通過對(duì)地面用戶位置進(jìn)行實(shí)時(shí)聚類處理，從而優(yōu)化了無人機(jī)網(wǎng)絡(luò)對(duì)地服務(wù)過程中的能量消耗。

基于上述分析，針對(duì)無人機(jī)最大范圍覆蓋用戶的要求，本文將無人機(jī)應(yīng)急輔助網(wǎng)絡(luò)系統(tǒng)分為無人機(jī)探索子系統(tǒng)和無人機(jī)服務(wù)子系統(tǒng)兩部分，前者用于生成避障策略，收集地面用戶的位置分布與服務(wù)需求，后者利用地面用戶聚類中心，引導(dǎo)自身的飛行服務(wù)的路徑規(guī)劃，從而在滿足地面用戶服務(wù)的前提下，實(shí)現(xiàn)無人機(jī)群的優(yōu)化部署和飛行能效性能提升。

１ 系統(tǒng)模型與主要方法

１． １ 系統(tǒng)模型

１． １． １ 無人機(jī)探索子系統(tǒng)

無人機(jī)群應(yīng)急輔助網(wǎng)絡(luò)系統(tǒng)模型如圖１ 所示，從邏輯層面分為用戶服務(wù)層和無人機(jī)飛行層，其中無人機(jī)飛行層與用戶服務(wù)層之間相距Ｈ，即無人機(jī)群在高度為Ｈ 的空間域進(jìn)行避障飛行，且執(zhí)行面向地面用戶的服務(wù)任務(wù)。