孫恩昌，張 卉，何若蘭，張冬英，張延華,3

(1.北京工業(yè)大學(xué)信息學(xué)部，北京 100124；2.北京工業(yè)大學(xué)信息化建設(shè)與管理中心，北京 100124；3.先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室，北京 100124)

隨著數(shù)字化進(jìn)入高速發(fā)展時(shí)期，大數(shù)據(jù)和人工智能(artificial intelligence,AI)等技術(shù)迎來(lái)爆發(fā)式增長(zhǎng)的同時(shí)移動(dòng)網(wǎng)絡(luò)也更加自主化、異構(gòu)化和動(dòng)態(tài)化，這使得網(wǎng)絡(luò)資源的有效分配愈加復(fù)雜和困難.因此，快捷且高效地分配和管理通信網(wǎng)絡(luò)資源愈發(fā)迫切.另外，加之人們信息保護(hù)意識(shí)的增強(qiáng)以及數(shù)據(jù)傳輸效率要求的提高，聯(lián)邦學(xué)習(xí)(federated learning,FL)[1]成為解決上述問(wèn)題的有效技術(shù)之一.

FL于2016年由谷歌提出，已經(jīng)成為AI研究與應(yīng)用領(lǐng)域的焦點(diǎn)，有望成為下一代AI協(xié)作網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)[2].它作為一個(gè)較新的機(jī)器學(xué)習(xí)范例，一經(jīng)推出便受到了廣泛的關(guān)注.與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，F(xiàn)L能夠提高學(xué)習(xí)效率，保護(hù)數(shù)據(jù)隱私，并且解決數(shù)據(jù)孤島問(wèn)題.國(guó)內(nèi)外FL的相關(guān)研究主要針對(duì)學(xué)習(xí)算法設(shè)計(jì)、激勵(lì)機(jī)制設(shè)計(jì)與安全算法和計(jì)算與通信資源優(yōu)化等.目前，F(xiàn)L在移動(dòng)通信領(lǐng)域的研究進(jìn)展主要側(cè)重于在保護(hù)數(shù)據(jù)安全與隱私的同時(shí)對(duì)移動(dòng)通信資源進(jìn)行智能和有效的管理.

在移動(dòng)通信中引入FL，帶來(lái)諸多便利的同時(shí)也面臨著挑戰(zhàn)，例如能量分配、功率控制、計(jì)算與通信開(kāi)銷(xiāo)的優(yōu)化等.與已有的FL資源管理方法綜述不同，本文首先重點(diǎn)介紹了FL在不同網(wǎng)絡(luò)場(chǎng)景，如分布式無(wú)線網(wǎng)絡(luò)、移動(dòng)邊緣網(wǎng)絡(luò)、車(chē)聯(lián)網(wǎng)、霧無(wú)線接入網(wǎng)絡(luò)(fog radio access network,F-RAN)和超密集網(wǎng)絡(luò)等場(chǎng)景中的資源管理方法，縱向總結(jié)和橫向比較各種方法的性能與不足；然后，給出了FL資源管理相關(guān)研究的主要挑戰(zhàn)；最后，對(duì)FL資源管理未來(lái)潛在的研究方向進(jìn)行了展望.

1 FL基礎(chǔ)知識(shí)

1.1 FL概念

目前，對(duì)于FL概念有諸多描述，具有代表性的有：FL是一種在不共享數(shù)據(jù)的情況下完成聯(lián)合建模的技術(shù)[1]；FL是一種用加密機(jī)制完成數(shù)據(jù)傳輸從而在客戶端建立高質(zhì)量模型的框架[2]；FL是設(shè)備與中央服務(wù)器協(xié)作以進(jìn)行分布式機(jī)器學(xué)習(xí)設(shè)置的方法[3]；等等.綜上分析，本文認(rèn)為FL是一種分布式機(jī)器學(xué)習(xí)方法，用于建立終端設(shè)備與服務(wù)器之間的共享模型，即各個(gè)參與者利用本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練并將獲得的模型訓(xùn)練參數(shù)上傳至服務(wù)器，再由服務(wù)器進(jìn)行聚合，更新得到總體參數(shù)，然后不斷迭代直至達(dá)到給定精度的學(xué)習(xí)方法.

1.2 FL分類(lèi)

根據(jù)數(shù)據(jù)集分布情況的不同，F(xiàn)L一般分為橫向FL(horizontal federated learning,HFL)、縱向FL(vertical federated learning,VFL)和聯(lián)邦遷移學(xué)習(xí)(federated transfer learning,FTL)[1].

1) HFL：在數(shù)據(jù)集間不同用戶具有相同業(yè)務(wù)需求的情況下引入，將數(shù)據(jù)集按照橫向(用戶維度)劃分(見(jiàn)圖1)，取出具有相同業(yè)務(wù)需求的用戶數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練以擴(kuò)大訓(xùn)練的樣本空間.由于數(shù)據(jù)集間具有相同業(yè)務(wù)需求的用戶是不完全相同的，故數(shù)據(jù)集間用戶相似度少，用戶業(yè)務(wù)需求相似度多.

2) VFL：在數(shù)據(jù)集間相同用戶具有不同業(yè)務(wù)需求的情況下引入，將數(shù)據(jù)集按照縱向(用戶業(yè)務(wù)需求維度)劃分(見(jiàn)圖2)，取出具有不同業(yè)務(wù)需求的用戶數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練以增強(qiáng)用戶訓(xùn)練模型的效果.由于數(shù)據(jù)集間相同用戶分別有不完全相同的業(yè)務(wù)需求，故數(shù)據(jù)集間用戶相似度多，用戶業(yè)務(wù)需求相似度少.

圖2 縱向聯(lián)邦學(xué)習(xí)[1]Fig.2 Vertical federated learning[1]

3) FTL：在數(shù)據(jù)集間不同用戶具有不同業(yè)務(wù)需求的情況下引入，不對(duì)數(shù)據(jù)集進(jìn)行切分，如圖3所示.因數(shù)據(jù)集間不同用戶具有不同的業(yè)務(wù)需求，故數(shù)據(jù)集間用戶和用戶業(yè)務(wù)需求相似度都較少，利用遷移學(xué)習(xí)輔助FL訓(xùn)練以克服數(shù)據(jù)集間用戶和用戶業(yè)務(wù)需求相似度少引起的訓(xùn)練數(shù)據(jù)不足的問(wèn)題[4].

圖3 聯(lián)邦遷移學(xué)習(xí)[1]Fig.3 Federated transfer learning[1]

本文對(duì)比了3類(lèi)FL的主要特征，如表1所示.HFL、VFL和FTL三者的本質(zhì)區(qū)別在于不同數(shù)據(jù)集之間用戶和用戶業(yè)務(wù)需求的相似度.

表1 3類(lèi)FL對(duì)比Table 1 Comparison of three types of FL

1.3 FL主要特點(diǎn)

與其他機(jī)器學(xué)習(xí)相比，F(xiàn)L主要具有如下特點(diǎn)：

1) 保護(hù)用戶隱私.數(shù)據(jù)存儲(chǔ)在本地，各個(gè)參與方數(shù)據(jù)不共享，保證了用戶數(shù)據(jù)隱私[1].

2) 參與方享有平等地位.各參與方享有對(duì)等地位，實(shí)現(xiàn)共同繁榮[2].

3) 保證訓(xùn)練出的模型效果無(wú)損.FL模型訓(xùn)練過(guò)程中不會(huì)出現(xiàn)負(fù)遷移，保證聯(lián)邦模型比獨(dú)立模型效果好[5].

4) 低延遲.僅將模型更新參數(shù)上傳至服務(wù)器進(jìn)行全局聚合[6].

本文對(duì)FL與傳統(tǒng)分布式機(jī)器學(xué)習(xí)[7]進(jìn)行了對(duì)比，如表2所示.FL相較于傳統(tǒng)分布式機(jī)器學(xué)習(xí)最大的優(yōu)點(diǎn)是FL在保護(hù)用戶隱私的同時(shí)，還可以完成數(shù)據(jù)參數(shù)的高效傳輸.

表2 FL與傳統(tǒng)分布式機(jī)器學(xué)習(xí)對(duì)比Table 2 Comparison between FL and traditional distributed machine learning

2 基于FL的通信資源管理方法

FL主要包括2個(gè)核心過(guò)程(見(jiàn)圖4)：1) 設(shè)備在本地訓(xùn)練完成后，將模型訓(xùn)練參數(shù)上傳至服務(wù)器；2) 服務(wù)器對(duì)各個(gè)設(shè)備的模型訓(xùn)練參數(shù)進(jìn)行聚合和更新.為了提高移動(dòng)通信資源管理的效率，一些研究已經(jīng)在相關(guān)領(lǐng)域場(chǎng)景中探索將FL與其他算法或技術(shù)相結(jié)合.本節(jié)詳細(xì)介紹FL在分布式無(wú)線網(wǎng)絡(luò)、移動(dòng)邊緣網(wǎng)絡(luò)、車(chē)聯(lián)網(wǎng)、F-RAN和超密集網(wǎng)絡(luò)場(chǎng)景中資源管理方法的研究進(jìn)展.

圖4 FL工作過(guò)程Fig.4 Working process of FL

2.1 FL與分布式無(wú)線網(wǎng)絡(luò)

分布式無(wú)線網(wǎng)絡(luò)是由分布在不同地點(diǎn)的終端節(jié)點(diǎn)互聯(lián)而成的網(wǎng)狀結(jié)構(gòu).隨著網(wǎng)絡(luò)中新興應(yīng)用的增加，設(shè)備在進(jìn)行數(shù)據(jù)處理時(shí)容易受到能量有限的制約.為此，有學(xué)者利用FL以分布式方式訓(xùn)練模型的特點(diǎn)將上述問(wèn)題優(yōu)化為FL訓(xùn)練時(shí)間和設(shè)備能耗最小化問(wèn)題[8-9].在能量有限情況下，文獻(xiàn)[8]以FL模型訓(xùn)練時(shí)間最小化為目標(biāo)，利用在線逐次凸逼近方法來(lái)解決FL訓(xùn)練時(shí)間與計(jì)算之間的隨機(jī)非凸優(yōu)化問(wèn)題.在每次FL迭代過(guò)程中，利用網(wǎng)絡(luò)接入點(diǎn)作為設(shè)備和中心服務(wù)器的中繼點(diǎn)以提高系統(tǒng)更新參數(shù)的性能，根據(jù)設(shè)備能耗和信道估計(jì)不完全的實(shí)際條件與網(wǎng)絡(luò)接入點(diǎn)和服務(wù)器之間實(shí)際能耗需求進(jìn)行功率分配，在減少FL訓(xùn)練時(shí)間的同時(shí)，優(yōu)化服務(wù)器聚合參數(shù)的頻率.受此啟發(fā)，文獻(xiàn)[9]提出低復(fù)雜度的迭代算法，利用FL低延遲的特點(diǎn)，在每一次迭代時(shí)實(shí)時(shí)推導(dǎo)出新的功率分配和帶寬分配的封閉解，根據(jù)每一次迭代過(guò)程的封閉解調(diào)整和優(yōu)化下一迭代過(guò)程中模型的參數(shù)，達(dá)到了消耗總能量少、資源利用率高的目標(biāo).當(dāng)參與設(shè)備較多時(shí)，能量利用率會(huì)急劇下降.針對(duì)這一缺陷，文獻(xiàn)[10]考慮到在無(wú)線網(wǎng)絡(luò)中執(zhí)行FL有時(shí)會(huì)受到能量限制，提出光波傳輸功率方案，每個(gè)設(shè)備通過(guò)紅外光和可見(jiàn)光收集能量，利用所收集的能量執(zhí)行計(jì)算和參數(shù)傳輸任務(wù).因?yàn)樵O(shè)備進(jìn)行計(jì)算時(shí)比參數(shù)傳輸時(shí)消耗的能量多，所以Tran等[10]指出應(yīng)盡可能地為計(jì)算過(guò)程分配更多的能量.為了進(jìn)一步優(yōu)化傳輸功率，文獻(xiàn)[11]提出度量參數(shù)更新時(shí)效性(age of update,AoU)算法，首先將需要向中心服務(wù)器發(fā)送的訓(xùn)練數(shù)據(jù)分離，使其保留在本地設(shè)備訓(xùn)練，然后將模型訓(xùn)練參數(shù)上傳至服務(wù)器，服務(wù)器根據(jù)設(shè)備更新參數(shù)快慢進(jìn)行功率分配，得到了在給定資源塊約束下的最佳傳輸功率，但是該方法延遲較大.對(duì)此不足，文獻(xiàn)[12-13]做出改進(jìn).與文獻(xiàn)[11]相比，文獻(xiàn)[12]同時(shí)考慮了資源塊和設(shè)備能量的約束，提出一種啟發(fā)式算法，利用FL支持服務(wù)器與設(shè)備共享模型參數(shù)的特點(diǎn)，研究了優(yōu)化資源塊分配和設(shè)備功率選擇問(wèn)題，相較于AoU算法，該算法有效降低了延遲.文獻(xiàn)[13]基于FL提出數(shù)字孿生(digital twin,DT)算法并將其應(yīng)用于分布式無(wú)線網(wǎng)絡(luò)，設(shè)備通過(guò)DT將局部模型參數(shù)直接映射到服務(wù)器，實(shí)現(xiàn)設(shè)備與服務(wù)器之間幾乎實(shí)時(shí)的連接.

特別地，利用FL還可以實(shí)現(xiàn)分布式無(wú)線網(wǎng)絡(luò)中帶寬和功率的有效管理.在帶寬有限的條件下，文獻(xiàn)[14]發(fā)現(xiàn)在不同的信噪比閾值下FL達(dá)到給定收斂域的速度不同，根據(jù)FL不同的收斂速度自適應(yīng)調(diào)整用戶設(shè)備的調(diào)度策略，然后利用最優(yōu)化理論和隨機(jī)幾何推導(dǎo)分析得出用戶設(shè)備數(shù)量和信道帶寬之間的權(quán)衡.進(jìn)一步，文獻(xiàn)[15]提出設(shè)備調(diào)度和帶寬分配的具體策略，首先FL系統(tǒng)地協(xié)調(diào)服務(wù)器和設(shè)備上的模型訓(xùn)練以更快適應(yīng)設(shè)備的計(jì)算能力和狀態(tài)，從而保證設(shè)備的學(xué)習(xí)性能，然后根據(jù)上述狀態(tài)優(yōu)先調(diào)度計(jì)算能力或信道優(yōu)先級(jí)高的用戶設(shè)備，對(duì)于計(jì)算能力較差或信道較弱的設(shè)備，分配給其更多的帶寬，這樣可以在避免帶寬浪費(fèi)的同時(shí)降低能量消耗，但其受到延遲制約.為了盡可能降低延遲，Shi等[16]同樣從用戶設(shè)備調(diào)度和帶寬分配問(wèn)題出發(fā)進(jìn)行研究，帶寬分配同樣采用文獻(xiàn)[15]的策略，而設(shè)備調(diào)度則采用貪婪策略.服務(wù)器根據(jù)各網(wǎng)絡(luò)節(jié)點(diǎn)中分布的數(shù)據(jù)，快速地選擇模型更新中消耗資源最少的用戶設(shè)備執(zhí)行任務(wù)，直到每輪學(xué)習(xí)效率和延遲之間取得較好的平衡.與文獻(xiàn)[14-16]所述不同的是，文獻(xiàn)[17]提出自適應(yīng)壓縮FL共享參數(shù)算法，該算法在服務(wù)器獲取各設(shè)備共享參數(shù)的基礎(chǔ)之上，根據(jù)設(shè)備數(shù)量自適應(yīng)調(diào)整FL共享參數(shù)信息的壓縮率來(lái)適應(yīng)動(dòng)態(tài)帶寬，但參數(shù)壓縮率較低時(shí)，其在不可靠的網(wǎng)絡(luò)條件下表現(xiàn)不佳.針對(duì)此不足，文獻(xiàn)[18]提出基于FL的動(dòng)態(tài)緩存分配(federated learning-based dynamic cache allocation,FedCache)方案.FedCache使用FL學(xué)習(xí)低通信開(kāi)銷(xiāo)的緩存分配，使邊緣節(jié)點(diǎn)在本地學(xué)習(xí)以適應(yīng)不同的網(wǎng)絡(luò)條件并協(xié)作共享這些信息，服務(wù)器根據(jù)網(wǎng)絡(luò)中設(shè)備的緩存效率，將帶寬公平地分配給這些相互競(jìng)爭(zhēng)的設(shè)備.關(guān)于功率的有效分配，文獻(xiàn)[19]提出基于支持向量機(jī)(support vector machine,SVM)的FL，該方案使服務(wù)器和用戶設(shè)備關(guān)聯(lián)并建立全局SVM模型，服務(wù)器收集關(guān)聯(lián)用戶設(shè)備的相關(guān)任務(wù)信息，而SVM模型則用來(lái)分析未來(lái)關(guān)聯(lián)設(shè)備與當(dāng)前時(shí)隙中每個(gè)設(shè)備要處理的任務(wù)，然后結(jié)合梯度下降方法優(yōu)化每個(gè)設(shè)備的功率和任務(wù)分配，使任務(wù)計(jì)算和參數(shù)傳輸時(shí)消耗能量最小.文獻(xiàn)[20]優(yōu)先考慮設(shè)備服務(wù)質(zhì)量(quality of service,QoS)要求，提出采用動(dòng)作評(píng)價(jià)(actor-critic,AC)算法.FL將AC模型作為局部訓(xùn)練模型，每個(gè)設(shè)備通過(guò)FL訓(xùn)練本地AC模型，將產(chǎn)生的梯度和權(quán)重上傳到服務(wù)器聚合，實(shí)現(xiàn)邊緣用戶協(xié)作的同時(shí)獲得功率分配策略.相較于基于FL的SVM算法，該算法具有較好的收斂性、魯棒性和更高的功率分配精度.

綜上所述，基于FL的分布式無(wú)線網(wǎng)絡(luò)資源管理方法，實(shí)現(xiàn)了能量、帶寬和功率的有效管理.其不需要將原始模型數(shù)據(jù)上傳至服務(wù)器，僅將模型訓(xùn)練參數(shù)上傳，為設(shè)備的訓(xùn)練過(guò)程提供了安全可靠的訓(xùn)練機(jī)制，有效地代替了傳統(tǒng)分布式機(jī)器學(xué)習(xí)訓(xùn)練模型的方法，大大降低了系統(tǒng)的能耗，避免了資源浪費(fèi)，提升了分布式無(wú)線網(wǎng)絡(luò)的安全隱私性.

本文總結(jié)了基于FL的分布式無(wú)線網(wǎng)絡(luò)資源管理方法，如表3所示.上述方法在FL的輔助下，為分布式無(wú)線網(wǎng)絡(luò)提供了動(dòng)態(tài)的資源管理方案，使能量管理、帶寬分配和功率分配等的效率有所提升.然而，如何利用FL的分布式架構(gòu)在保證收斂性和低延遲的前提下解決更為復(fù)雜的分布式無(wú)線網(wǎng)絡(luò)資源管理問(wèn)題，同樣值得深入研究.

表3 基于FL的分布式無(wú)線網(wǎng)絡(luò)資源管理方法Table 3 Distributed wireless network resource management methods based on FL

2.2 FL與移動(dòng)邊緣網(wǎng)絡(luò)

移動(dòng)邊緣網(wǎng)絡(luò)是采用分布式移動(dòng)邊緣計(jì)算(mobile edge computing,MEC)[21]的邊緣接入網(wǎng)絡(luò)，具有低延遲和高帶寬等優(yōu)勢(shì).但是隨著移動(dòng)邊緣網(wǎng)絡(luò)復(fù)雜性的提高，當(dāng)面臨的數(shù)據(jù)量很大時(shí)，移動(dòng)邊緣網(wǎng)絡(luò)的資源管理效率不佳.為此，有學(xué)者基于FL研究了移動(dòng)邊緣網(wǎng)絡(luò)計(jì)算和通信的聯(lián)合優(yōu)化問(wèn)題[22-25].Wang等[22]為了兼顧計(jì)算與通信開(kāi)銷(xiāo)之間的權(quán)衡提出“In-Edge AI”框架，該框架利用FL認(rèn)知性、魯棒性和靈活性的特點(diǎn)，在FL優(yōu)化移動(dòng)邊緣網(wǎng)絡(luò)計(jì)算和通信的同時(shí)，使設(shè)備和邊緣節(jié)點(diǎn)協(xié)作來(lái)交換學(xué)習(xí)參數(shù)，智能部署資源，而當(dāng)其業(yè)務(wù)種類(lèi)較多時(shí)，業(yè)務(wù)處理效率下降.針對(duì)這一不足，文獻(xiàn)[23-24]以細(xì)粒度方式對(duì)業(yè)務(wù)進(jìn)行精細(xì)劃分.文獻(xiàn)[23]根據(jù)邊緣網(wǎng)絡(luò)上FL的非凸性，將移動(dòng)邊緣網(wǎng)絡(luò)中的業(yè)務(wù)以細(xì)粒度方式分解為共享資源分配、局部模型精度調(diào)整和中央處理器(central processing unit,CPU)頻率調(diào)整3個(gè)子業(yè)務(wù)來(lái)尋找最佳學(xué)習(xí)精度，然后FL系統(tǒng)將這些業(yè)務(wù)根據(jù)輕重緩急分時(shí)更新參數(shù)傳輸，提高了業(yè)務(wù)處理效率，實(shí)現(xiàn)了計(jì)算與通信開(kāi)銷(xiāo)之間的平衡.文獻(xiàn)[24]則根據(jù)FL處理數(shù)據(jù)的靈活性和精度可調(diào)的優(yōu)勢(shì)，利用李雅普諾夫理論設(shè)計(jì)了具有成本效益的跨邊緣節(jié)點(diǎn)的FL框架，它可以靈活擴(kuò)展，簡(jiǎn)化業(yè)務(wù)處理方式，實(shí)現(xiàn)在資源分配、模型精度調(diào)整、負(fù)載均衡等業(yè)務(wù)中做出接近最優(yōu)的決策.但上述研究都未考慮業(yè)務(wù)量和用戶終端電池狀態(tài)的關(guān)聯(lián)問(wèn)題，對(duì)此文獻(xiàn)[25]將FL和MEC聯(lián)合構(gòu)成移動(dòng)邊緣系統(tǒng)，該系統(tǒng)一方面使服務(wù)器從相關(guān)邊緣設(shè)備收集模型參數(shù)，降低延遲，另一方面用以緩解邊緣用戶設(shè)備的電池消耗和計(jì)算資源異構(gòu)問(wèn)題，然后根據(jù)設(shè)備的業(yè)務(wù)量、通信質(zhì)量和剩余電池電量選擇系統(tǒng)要處理的業(yè)務(wù)，提高了業(yè)務(wù)的處理效率和用戶設(shè)備之間的公平性.

FL還可以實(shí)現(xiàn)移動(dòng)邊緣網(wǎng)絡(luò)中設(shè)備頻率的有效管理[26-29].文獻(xiàn)[26]提出自適應(yīng)同步算法，使每個(gè)參與設(shè)備同時(shí)進(jìn)入FL迭代過(guò)程執(zhí)行局部模型更新，服務(wù)器定期對(duì)設(shè)備迭代過(guò)程快慢進(jìn)行評(píng)估，為速度慢的設(shè)備增加通信頻率，使整個(gè)FL系統(tǒng)趨近于平衡.但是，同步算法中快速完成訓(xùn)練的設(shè)備必須等待其他速度較慢的設(shè)備完成訓(xùn)練后才能進(jìn)入下一迭代過(guò)程，這會(huì)增加迭代過(guò)程的時(shí)間，引起資源浪費(fèi).針對(duì)這一不足，文獻(xiàn)[27]基于FL提出了異步頻率聚合算法，在初期FL進(jìn)行局部模型訓(xùn)練獲得共享參數(shù)信息，服務(wù)器根據(jù)共享參數(shù)信息推斷出設(shè)備的訓(xùn)練速度，然后根據(jù)不同的訓(xùn)練速度為設(shè)備分配不同的頻率以實(shí)現(xiàn)異步聚合，在減少FL迭代過(guò)程收斂時(shí)間的同時(shí)，保護(hù)了各個(gè)用戶設(shè)備的隱私.但文獻(xiàn)[26-27]都未考慮全局聚合頻率的適應(yīng)性，文獻(xiàn)[28]提出確定全局聚合頻率的算法，通過(guò)服務(wù)器在不同的邊緣節(jié)點(diǎn)獲得模型參數(shù)，從而確定FL訓(xùn)練過(guò)程局部更新參數(shù)和全局參數(shù)聚合之間的最佳折中，實(shí)時(shí)動(dòng)態(tài)自適應(yīng)設(shè)備全局聚合的頻率以最大程度地減少固定資源下的學(xué)習(xí)損失預(yù)算，不幸的是其在異構(gòu)場(chǎng)景中效果較差.針對(duì)這一缺陷，Zhan等[29]從實(shí)際出發(fā)考慮了移動(dòng)設(shè)備和網(wǎng)絡(luò)連接的異構(gòu)性提出基于深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning,DRL)的經(jīng)驗(yàn)驅(qū)動(dòng)算法，使其更適于異構(gòu)場(chǎng)景.該方法采用AC訓(xùn)練DRL代理，然后代理根據(jù)設(shè)備的工作狀態(tài)為其分配合適的CPU頻率.此外，DRL代理通過(guò)適當(dāng)降低參與設(shè)備中數(shù)據(jù)處理速度快的設(shè)備的CPU頻率來(lái)提高系統(tǒng)的能量利用率.

Mills等[30]、Sattler等[31]對(duì)移動(dòng)邊緣網(wǎng)絡(luò)的鏈路參數(shù)傳輸進(jìn)行了研究.文獻(xiàn)[30]提出高效聯(lián)邦聚合算法(communication-efficient federated averaging,CE-FedAvg).該算法由分布式優(yōu)化和上傳模型壓縮算法兩部分構(gòu)成：分布式優(yōu)化算法可以使FL以較少的迭代過(guò)程達(dá)到學(xué)習(xí)精度，降低通信開(kāi)銷(xiāo)；上傳模型壓縮算法通過(guò)適當(dāng)壓縮FL系統(tǒng)中設(shè)備的模型參數(shù)減少上行鏈路參數(shù)傳輸?shù)拇笮?文獻(xiàn)[31]指出僅對(duì)上行鏈路參數(shù)傳輸進(jìn)行調(diào)整存在著一定的局限性，針對(duì)此不足，提出稀疏三進(jìn)制壓縮(sparse ternary compression,STC)算法.STC算法擴(kuò)展了Top-k梯度稀疏化，通過(guò)分散分層的方法壓縮上行鏈路和下行鏈路共享模型參數(shù)以及權(quán)重更新，實(shí)現(xiàn)向高頻低帶寬通信模式的轉(zhuǎn)變.與CE-FedAvg算法相比，該算法更適用于帶寬受限的環(huán)境，同時(shí)以更少的迭代次數(shù)達(dá)到FL的學(xué)習(xí)精度.

綜上所述，基于FL的移動(dòng)邊緣網(wǎng)絡(luò)資源管理方法，實(shí)現(xiàn)了移動(dòng)邊緣網(wǎng)絡(luò)中資源管理的優(yōu)化，使FL成為移動(dòng)邊緣網(wǎng)絡(luò)資源管理的使能技術(shù).因?yàn)樗粌H可以實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型的協(xié)同訓(xùn)練，也可以利用邊緣鄰近的中心服務(wù)器進(jìn)行全局參數(shù)聚合更新，減輕遠(yuǎn)程云服務(wù)器的負(fù)擔(dān).

本文總結(jié)了基于FL的移動(dòng)邊緣網(wǎng)絡(luò)資源管理方法，如表4所示.FL與移動(dòng)邊緣網(wǎng)絡(luò)資源管理的相關(guān)研究進(jìn)展主要集中于計(jì)算與通信開(kāi)銷(xiāo)聯(lián)合優(yōu)化、頻率管理和鏈路資源管理.雖然FL的快速發(fā)展與廣泛運(yùn)用為移動(dòng)邊緣網(wǎng)絡(luò)的資源管理提供了新思路，但是如何在移動(dòng)邊緣網(wǎng)絡(luò)中深度融合FL來(lái)實(shí)現(xiàn)高穩(wěn)定性、低成本的保障隱私安全的資源管理方案，仍然是值得思考的問(wèn)題.

表4 基于FL的移動(dòng)邊緣網(wǎng)絡(luò)資源管理方法Table 4 Mobile edge network resource management methods based on FL

2.3 FL與其他新興網(wǎng)絡(luò)

FL不僅可以在分布式無(wú)線網(wǎng)絡(luò)和移動(dòng)邊緣網(wǎng)絡(luò)中進(jìn)行高效的資源管理，它還廣泛應(yīng)用于各類(lèi)動(dòng)態(tài)且復(fù)雜的網(wǎng)絡(luò)場(chǎng)景.本節(jié)以FL在車(chē)聯(lián)網(wǎng)、F-RAN和超密集網(wǎng)絡(luò)中資源管理方法的研究進(jìn)展為例進(jìn)行介紹.

在車(chē)聯(lián)網(wǎng)中，文獻(xiàn)[32]將聯(lián)合功率控制和資源分配表述為全網(wǎng)功率最小化問(wèn)題，結(jié)合FL和極限值理論，提出基于李雅普諾夫的車(chē)輛用戶分布式發(fā)射功率和資源分配算法.FL不依賴(lài)于車(chē)載用戶之間實(shí)際隊(duì)列長(zhǎng)度樣本的信息同步，便可學(xué)習(xí)網(wǎng)絡(luò)范圍隊(duì)列的統(tǒng)計(jì)信息，而李雅普諾夫優(yōu)化算法利用統(tǒng)計(jì)信息得出車(chē)輛用戶的隊(duì)列長(zhǎng)度，然后根據(jù)隊(duì)列長(zhǎng)度進(jìn)行合理的功率和資源分配.與集中式解決方案相比，該方案能耗低、效率高，但是該方案無(wú)法適應(yīng)具有多種潛在車(chē)輛用戶的場(chǎng)景.為了彌補(bǔ)文獻(xiàn)[32]的不足，文獻(xiàn)[33]提出車(chē)聯(lián)網(wǎng)MEC方案，該方案自適應(yīng)地將車(chē)輛用戶和路邊單元作為代理，利用FL優(yōu)化參數(shù)集成來(lái)提高數(shù)據(jù)處理效率和降低延遲，使其適用于復(fù)雜的車(chē)輛用戶場(chǎng)景，但是當(dāng)車(chē)輛用戶較多時(shí)，代理可信度驟降.文獻(xiàn)[34]提出異步FL，將FL與DRL相結(jié)合，利用DRL對(duì)可信度高的代理進(jìn)行選擇.同時(shí)，為了保證車(chē)輛用戶間共享數(shù)據(jù)的可靠性，又提出將FL與區(qū)塊鏈集成到車(chē)聯(lián)網(wǎng)中，開(kāi)發(fā)了混合區(qū)塊鏈算法，F(xiàn)L用于保護(hù)車(chē)輛用戶的隱私，區(qū)塊鏈為不可信車(chē)輛用戶提供有保證的協(xié)作方案，從而實(shí)現(xiàn)信息的高效、安全、共享.

在F-RAN中，文獻(xiàn)[35]基于FL提出交替方向算法(alternative direction algorithm,ALTD)，研究了設(shè)備的CPU頻率和無(wú)線傳輸功率控制問(wèn)題，將控制問(wèn)題聯(lián)合優(yōu)化為非線性規(guī)劃問(wèn)題來(lái)平衡F-RAN中設(shè)備能耗與FL計(jì)算和通信延遲之間的權(quán)衡.在該研究中利用FL在物聯(lián)網(wǎng)設(shè)備中進(jìn)行局部模型訓(xùn)練，僅在F-RAN節(jié)點(diǎn)中共享模型參數(shù)信息，以減少網(wǎng)絡(luò)流量的使用，而ALTD算法則根據(jù)網(wǎng)絡(luò)帶寬適當(dāng)調(diào)整設(shè)備無(wú)線傳輸功率，通過(guò)動(dòng)態(tài)電壓控制CPU工作頻率，實(shí)現(xiàn)FL在時(shí)間約束下設(shè)備能耗最小的目標(biāo).文獻(xiàn)[36-37]均采用自適應(yīng)智能聯(lián)合算法來(lái)提高資源利用率.具體來(lái)講，文獻(xiàn)[36]基于FL提出上下文感知流行度預(yù)測(cè)策略，運(yùn)用FL分布式訓(xùn)練模型的特點(diǎn)來(lái)構(gòu)建全局預(yù)測(cè)模型以降低計(jì)算復(fù)雜度，節(jié)省傳輸本地?cái)?shù)據(jù)參數(shù)的帶寬.預(yù)測(cè)模型的輸入是集群用戶內(nèi)容的平均受歡迎程度參數(shù)，該參數(shù)通過(guò)用戶偏好學(xué)習(xí)和自適應(yīng)上下文空間劃分進(jìn)行預(yù)處理，準(zhǔn)確地預(yù)測(cè)內(nèi)容(受歡迎程度)可以有效地降低通信開(kāi)銷(xiāo).為了進(jìn)一步提高用戶QoS，文獻(xiàn)[37]基于FL提出采用遺傳算法來(lái)解決由于本地過(guò)載而導(dǎo)致的QoS下降的問(wèn)題，該方法允許FL在共享資源的多個(gè)霧程序之間分配負(fù)載，使設(shè)備用戶享受無(wú)延遲體驗(yàn)的同時(shí)，F(xiàn)L保證了用戶的隱私安全.

此外，在超密集網(wǎng)絡(luò)中，Yu等[38]聯(lián)合FL和DRL提出兩時(shí)標(biāo)DRL算法，實(shí)現(xiàn)了低開(kāi)銷(xiāo)的資源分配.該研究包括2個(gè)過(guò)程，分別是快速時(shí)間尺度和慢速時(shí)間尺度學(xué)習(xí)過(guò)程，參與這2個(gè)過(guò)程的設(shè)備都進(jìn)行FL訓(xùn)練，以保護(hù)邊緣用戶的敏感服務(wù)請(qǐng)求信息.其中：快速時(shí)間過(guò)程用來(lái)處理對(duì)延遲敏感的任務(wù)，如計(jì)算卸載和資源分配策略；慢速時(shí)間過(guò)程用來(lái)處理對(duì)延遲不敏感的任務(wù)，即服務(wù)緩存.通過(guò)2個(gè)過(guò)程的聯(lián)合來(lái)最小化總卸載延遲和節(jié)省網(wǎng)絡(luò)資源.

綜上所述，F(xiàn)L在車(chē)聯(lián)網(wǎng)、F-RAN和超密集網(wǎng)絡(luò)中的資源管理方案，大都以FL分布式訓(xùn)練模型的特點(diǎn)為出發(fā)點(diǎn)展開(kāi)研究，也即FL機(jī)器學(xué)習(xí)模型分布在不同的本地設(shè)備進(jìn)行訓(xùn)練，將模型參數(shù)上傳至中心服務(wù)器進(jìn)行共享，然后聚合生成魯棒性強(qiáng)的學(xué)習(xí)模型參數(shù)，達(dá)到一方面降低中心服務(wù)器的壓力，提高數(shù)據(jù)處理效率，另一方面保證通信效率和數(shù)據(jù)隱私性.

本文總結(jié)了基于FL的其他新興網(wǎng)絡(luò)場(chǎng)景中的資源管理方法，如表5所示.FL與MEC、DRL和區(qū)塊鏈等方法進(jìn)行融合，獲得了可靠性高、延遲小的車(chē)聯(lián)網(wǎng)信息共享方案.此外，基于FL的F-RAN資源管理方案在能耗低、收斂快等方面取得創(chuàng)新性進(jìn)展，基于FL的超密集網(wǎng)絡(luò)資源管理方案在開(kāi)銷(xiāo)低和可靠性高方面表現(xiàn)優(yōu)異，這些成果均體現(xiàn)了FL的可擴(kuò)展性與靈活性.同時(shí)將FL與區(qū)塊鏈等技術(shù)進(jìn)行協(xié)作與配合實(shí)現(xiàn)更為完備與可靠的資源管理方案，可能成為未來(lái)通信網(wǎng)絡(luò)的重要發(fā)展方向.

表5 基于FL的其他新興網(wǎng)絡(luò)資源管理方法Table 5 Other emerging network resource management methods based on FL

綜上，F(xiàn)L憑借其自適應(yīng)性和可靠性，實(shí)現(xiàn)了分布式無(wú)線網(wǎng)絡(luò)、移動(dòng)邊緣網(wǎng)絡(luò)、車(chē)聯(lián)網(wǎng)和F-RAN等場(chǎng)景中有效的資源管理，同時(shí)也存在著不足，如魯棒性差，存在過(guò)擬合等問(wèn)題.因此，如何在網(wǎng)絡(luò)環(huán)境中自適應(yīng)地調(diào)整不同資源管理方法的學(xué)習(xí)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)來(lái)優(yōu)化FL的網(wǎng)絡(luò)架構(gòu)與訓(xùn)練過(guò)程，進(jìn)而提高算法在復(fù)雜度與計(jì)算量方面的性能，使其更適于多用戶和異構(gòu)網(wǎng)絡(luò)場(chǎng)景是解決高維且動(dòng)態(tài)資源管理問(wèn)題的關(guān)鍵任務(wù)，因此，還需進(jìn)一步研究，從而為上述網(wǎng)絡(luò)場(chǎng)景提供性能最優(yōu)的資源管理方案.

3 挑戰(zhàn)與展望

下面對(duì)基于FL的移動(dòng)通信資源管理方法存在的挑戰(zhàn)以及可行的解決方案進(jìn)行探討，并進(jìn)一步展望FL與移動(dòng)通信資源管理的未來(lái)研究方向.

3.1 挑戰(zhàn)

基于FL的資源管理方法雖有其獨(dú)特優(yōu)勢(shì)，但是仍然存在如下問(wèn)題：

1) 多個(gè)性能指標(biāo)協(xié)同優(yōu)化效率低的問(wèn)題.當(dāng)前基于FL移動(dòng)通信資源管理的研究，只針對(duì)能量、帶寬、功率和頻率等其中一個(gè)性能指標(biāo)進(jìn)行優(yōu)化，以分布式無(wú)線網(wǎng)絡(luò)中的迭代算法與AoU算法、移動(dòng)邊緣網(wǎng)絡(luò)中的自適應(yīng)同步算法與STC算法、車(chē)聯(lián)網(wǎng)中基于FL和極值理論的資源分配算法和F-RAN中的ALTD算法為例，上述算法只針對(duì)能量、帶寬、功率和頻率等其中一個(gè)指標(biāo)進(jìn)行優(yōu)化時(shí)效率較高，而當(dāng)同時(shí)兼顧這其中多個(gè)性能指標(biāo)時(shí)，很難確定算法的最優(yōu)解.

針對(duì)不同系統(tǒng)性能提出的解決方案可以相互結(jié)合，實(shí)現(xiàn)多個(gè)系統(tǒng)性能協(xié)同優(yōu)化的目標(biāo)，如多任務(wù)學(xué)習(xí)便運(yùn)用了該思想.具體來(lái)講，可以在系統(tǒng)的預(yù)訓(xùn)練過(guò)程中，同時(shí)訓(xùn)練多個(gè)學(xué)習(xí)任務(wù).例如，在上述任一網(wǎng)絡(luò)場(chǎng)景中，同時(shí)進(jìn)行能量、帶寬、功率和頻率分配的訓(xùn)練學(xué)習(xí).在同一個(gè)訓(xùn)練過(guò)程中，多個(gè)任務(wù)間共享的模型結(jié)構(gòu)和參數(shù)信息是相同的，通過(guò)共同訓(xùn)練實(shí)現(xiàn)參數(shù)信息共享，與分別優(yōu)化單個(gè)性能指標(biāo)相比，這不僅可以加速模型收斂速度、減少模型訓(xùn)練次數(shù)，還可以實(shí)現(xiàn)對(duì)能量、帶寬、功率和頻率進(jìn)行同步管理，有效提升算法性能.

2) 設(shè)備的有效連接問(wèn)題.FL參與的網(wǎng)絡(luò)場(chǎng)景由大量的設(shè)備互聯(lián)而成，它們需要占用一定的帶寬頻繁地與中心服務(wù)器交互以在網(wǎng)絡(luò)環(huán)境中保持最佳工作狀態(tài).由于設(shè)備的電源電量有限以及網(wǎng)絡(luò)連接等不穩(wěn)定性因素，會(huì)使設(shè)備從FL系統(tǒng)中脫離，這在一定程度上會(huì)減弱FL算法的泛化能力、降低系統(tǒng)訓(xùn)練模型的精度等.以車(chē)聯(lián)網(wǎng)為例，由于車(chē)輛高度動(dòng)態(tài)、電源電量有限及網(wǎng)絡(luò)連接不穩(wěn)定等因素，車(chē)輛可能會(huì)從FL系統(tǒng)脫離，導(dǎo)致FL系統(tǒng)處理數(shù)據(jù)能力下降、增加系統(tǒng)模型訓(xùn)練時(shí)間.

因此，在未來(lái)研究中可考慮采用AI算法輔助的有源設(shè)備采樣技術(shù)[39]或提高現(xiàn)有基于FL研究算法的魯棒性，保障部分設(shè)備退出時(shí)，F(xiàn)L系統(tǒng)仍能維持其原有精度和收斂能力.用AI算法輔助有源設(shè)備采樣可以通過(guò)AI算法使設(shè)備與環(huán)境不斷交互，例如，將電量充足和網(wǎng)絡(luò)連接狀態(tài)好的設(shè)備選擇出來(lái)，以供FL系統(tǒng)進(jìn)行有效訓(xùn)練.

3) 安全與隱私問(wèn)題.當(dāng)前多數(shù)相關(guān)文獻(xiàn)的研究假設(shè)FL的參與者和服務(wù)器是安全和可信任的，然而在實(shí)際應(yīng)用中，由于場(chǎng)景的復(fù)雜性和動(dòng)態(tài)性，存在著將訓(xùn)練過(guò)程中獲得具有用戶敏感的模型參數(shù)信息暴露給服務(wù)器或第三方的可能，而且惡意的參與者可以從共享的參數(shù)中推斷出其他參與方的敏感信息，這會(huì)造成隱私泄露，降低FL系統(tǒng)的安全性.

關(guān)于安全與隱私問(wèn)題可以考慮采用安全聚合算法或合適的檢測(cè)機(jī)制來(lái)改善.安全聚合算法一方面在參數(shù)聚合前先加密單個(gè)設(shè)備的參數(shù)信息，這有效降低了數(shù)據(jù)隱私泄露的風(fēng)險(xiǎn)；另一方面還可以防止不明身份的參與者訪問(wèn)服務(wù)器.同時(shí)，未來(lái)研究中需要一種合適的檢測(cè)機(jī)制來(lái)檢測(cè)FL系統(tǒng)中惡意竊取敏感信息的參與者.例如，采用區(qū)塊鏈、智能合約和差分隱私相結(jié)合的技術(shù)，由區(qū)塊鏈構(gòu)建可靠平臺(tái)提供安全的環(huán)境，在智能合約中加入準(zhǔn)確度檢測(cè)算法來(lái)識(shí)別惡意和不可靠的參與者，以防范投毒攻擊[40]，而差分隱私技術(shù)則用來(lái)防止參與者推理攻擊[41].

3.2 展望

鑒于此，本文根據(jù)FL與移動(dòng)通信資源管理方法的進(jìn)展，對(duì)未來(lái)FL與移動(dòng)通信資源管理潛在的研究方向進(jìn)行展望.

1) 邊緣智能技術(shù).邊緣智能技術(shù)與FL架構(gòu)類(lèi)似，都是計(jì)算資源與服務(wù)的下沉和分散化.然而，F(xiàn)L系統(tǒng)需要不斷地進(jìn)行迭代訓(xùn)練以達(dá)到給定的模型訓(xùn)練精度，這可能會(huì)導(dǎo)致訓(xùn)練時(shí)間增加.邊緣智能技術(shù)通過(guò)融合計(jì)算和存儲(chǔ)，使邊緣設(shè)備執(zhí)行智能算法，從而為系統(tǒng)提供智能服務(wù)并滿足時(shí)延率低、能耗量小、精確度高和安全可靠的要求[42].融合AI算法的邊緣智能技術(shù)可以快速分析和訓(xùn)練網(wǎng)絡(luò)邊緣產(chǎn)生的大量數(shù)據(jù).若將邊緣智能技術(shù)融合至FL，能夠做到對(duì)數(shù)據(jù)實(shí)時(shí)訓(xùn)練和控制，快速完成給定精度下的迭代訓(xùn)練，使整個(gè)系統(tǒng)具有較高的泛化能力.因此，將邊緣智能技術(shù)應(yīng)用于FL是移動(dòng)通信資源管理領(lǐng)域極具前景的研究方向.

2) FL與區(qū)塊鏈協(xié)同.數(shù)據(jù)隱私性的保證是FL的關(guān)鍵理念之一.區(qū)塊鏈?zhǔn)且环N分散的、分布式的和公共的數(shù)字分類(lèi)賬本，用于在各個(gè)節(jié)點(diǎn)中保存事務(wù)，具有安全性、公開(kāi)透明性和不可篡改性等優(yōu)點(diǎn).FL與區(qū)塊鏈具有天然契合的優(yōu)勢(shì)，通過(guò)FL與區(qū)塊鏈的融合，可以提供安全可靠的資源管理方案.例如，設(shè)備在本地完成訓(xùn)練后借助區(qū)塊鏈中的智能合約執(zhí)行FL更新步驟，通過(guò)共識(shí)驗(yàn)證分批次地將參數(shù)信息保存在區(qū)塊鏈中，保證所有上鏈的模型參數(shù)都有據(jù)可查，從而構(gòu)建高效智慧的移動(dòng)通信資源管理方案.

3) FL賦能第6代移動(dòng)通信網(wǎng)絡(luò)(6th generation mobile networks,6G).隨著無(wú)線通信技術(shù)的迅速發(fā)展，6G等未來(lái)通信網(wǎng)絡(luò)技術(shù)被相繼提出.6G旨在實(shí)現(xiàn)空天地海一體化和全球無(wú)縫覆蓋連接[43]，其應(yīng)用場(chǎng)景的多樣性及網(wǎng)絡(luò)的開(kāi)放性，使用戶的敏感隱私信息從相對(duì)封閉安全的平臺(tái)轉(zhuǎn)移到開(kāi)放的平臺(tái)，這可能會(huì)造成隱私泄露.因此，需要FL這樣的技術(shù)對(duì)與用戶行為相關(guān)的數(shù)據(jù)進(jìn)行加密處理，F(xiàn)L基于對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和訓(xùn)練，僅將模型訓(xùn)練參數(shù)上傳至中心服務(wù)器的特點(diǎn)，可以很大程度上減少隱私泄露的風(fēng)險(xiǎn).若將FL獨(dú)特的數(shù)據(jù)處理方式應(yīng)用于6G及未來(lái)通信網(wǎng)絡(luò)，一方面可以為6G及未來(lái)通信網(wǎng)絡(luò)提供安全可靠的數(shù)據(jù)處理方式，另一方面可以加強(qiáng)6G及未來(lái)通信網(wǎng)絡(luò)的安全性和可信度，為基于FL的移動(dòng)通信資源管理研究的發(fā)展帶來(lái)新機(jī)遇.