張雪晴 劉延偉 劉金霞 韓言妮

1 （中國科學(xué)院信息工程研究所 北京 100093）

2 （中國科學(xué)院大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 北京 100049）

3 （浙江萬里學(xué)院 浙江 寧波 315100）

隨著移動通信技術(shù)的快速發(fā)展和智能終端的普及，連接到網(wǎng)絡(luò)的邊緣設(shè)備數(shù)量和智能應(yīng)用持續(xù)增長，人類將迎來邊緣智能[1]時代.邊緣智能應(yīng)用大多基于機器學(xué)習(xí)技術(shù),例如視頻推薦[2]、人臉識別[3]、自動駕駛[4]與無人機[5]等.像自動駕駛和增強現(xiàn)實這樣的智能應(yīng)用需要更多的計算和數(shù)據(jù)資源以及更短的處理時延需求.傳統(tǒng)的機器學(xué)習(xí)基于云計算平臺對數(shù)據(jù)進行集中處理訓(xùn)練.由于邊緣智能終端產(chǎn)生的數(shù)據(jù)量大、計算任務(wù)分散以及數(shù)據(jù)的隱私保護需求，將所有數(shù)據(jù)發(fā)送到云端進行處理是不切實際的.近年來，5G 系統(tǒng)中引入了移動邊緣計算（mobile edge computing，MEC）[6]架構(gòu)，將計算、存儲和網(wǎng)絡(luò)資源與基站集成，將計算能力從云端下沉到網(wǎng)絡(luò)邊緣，縮短了數(shù)據(jù)處理計算節(jié)點與用戶之間的距離，能夠滿足用戶低時延的需求.

MEC 是一項快速發(fā)展的技術(shù)，旨在通過利用邊緣設(shè)備未充分利用的計算和通信資源，在無線網(wǎng)絡(luò)邊緣部署移動應(yīng)用.作為傳統(tǒng)集中式云計算的補充，MEC 在降低核心網(wǎng)絡(luò)流量負(fù)載、緩解中央服務(wù)器處理壓力、縮短端到端操作響應(yīng)延遲以及提高無線網(wǎng)絡(luò)整體系統(tǒng)性能方面表現(xiàn)出巨大潛力.MEC 提供了分布式計算環(huán)境，可用于部署應(yīng)用程序和服務(wù).但是，多個終端想彼此分享各自的數(shù)據(jù)集和學(xué)到的知識，面臨著監(jiān)管約束、隱私以及安全問題.而且，相比于使用所有終端數(shù)據(jù)進行訓(xùn)練，只使用一個終端的數(shù)據(jù)訓(xùn)練獲得的模型不夠精確.面對這樣的形勢，F(xiàn)L（federated learning, FL）[7-8]技術(shù)應(yīng)運而生.由于不需要共享和傳輸原始數(shù)據(jù)，采用類似集群的通信結(jié)構(gòu)，F(xiàn)L 更適合于移動終端等大規(guī)模、廣分布的部署環(huán)境，得到了廣泛認(rèn)可.

FL 采用分布式學(xué)習(xí)架構(gòu)，使得神經(jīng)網(wǎng)絡(luò)模型在MEC 架構(gòu)下可以進行分布式訓(xùn)練，參與學(xué)習(xí)的客戶端無需上傳本地數(shù)據(jù)，只需將訓(xùn)練后的模型參數(shù)更新上傳，再由邊緣服務(wù)器節(jié)點聚合、更新參數(shù)并下發(fā)給參與學(xué)習(xí)的客戶端.圖1 給出了面向無人機和車聯(lián)網(wǎng)邊緣智能應(yīng)用環(huán)境下FL 的經(jīng)典部署架構(gòu).由于邊緣智能應(yīng)用獨特的環(huán)境特性，包括其動態(tài)的無線信道狀態(tài)、廣泛變化的本地數(shù)據(jù)集大小、設(shè)備處理能力和設(shè)備電量有限等，邊緣智能環(huán)境下的FL 面臨著諸多挑戰(zhàn).首先，在邊緣智能應(yīng)用中，F(xiàn)L 能夠從每個終端的本地數(shù)據(jù)集中提取有用的信息，而不需要將數(shù)據(jù)傳送到一個中心位置，在本地設(shè)備保留原始數(shù)據(jù)的同時，訓(xùn)練多個終端共享的神經(jīng)網(wǎng)絡(luò)模型，解決了以往智能網(wǎng)絡(luò)模型只能通過云端下發(fā)，而無法在本地訓(xùn)練的問題[9].但挑戰(zhàn)在于，對于MEC 來說，F(xiàn)L相當(dāng)耗費資源.盡管原始數(shù)據(jù)不再需要發(fā)送到中心服務(wù)器，但由于高維度的模型訓(xùn)練需要大量的計算資源，因此優(yōu)化模型也是FL 需要考慮的問題之一.其次，F(xiàn)L 通過平均局部隨機梯度下降（stochastic gradient descent，SGD）[10]來更新模型，參與學(xué)習(xí)的終端設(shè)備與中央?yún)?shù)服務(wù)器之間需要頻繁地進行參數(shù)交換，高頻次的模型更新過程必然會占用相當(dāng)多的帶寬資源，較高的通信成本是FL 在實際應(yīng)用中面臨的另一個關(guān)鍵問題.再次，在無線資源受限的邊緣網(wǎng)絡(luò)下，由于參與設(shè)備在數(shù)據(jù)質(zhì)量、通信網(wǎng)路、計算能力和參與意愿等方面的異構(gòu)性，訓(xùn)練跨終端數(shù)據(jù)的共享模型是一個具有挑戰(zhàn)性的任務(wù).

Fig.1 Edge intelligent federated learning architecture圖1 邊緣智能聯(lián)邦學(xué)習(xí)架構(gòu)

針對這些挑戰(zhàn)，研究人員進行了深入研究，并取得了一定的進展，但還存在一些值得深入的剖析的問題.經(jīng)過文獻調(diào)研分析表明，如表1 所示，以往的FL 綜述缺少對上述問題的深入討論.基于這一點，本文從FL 如何應(yīng)對邊緣智能應(yīng)用環(huán)境挑戰(zhàn)為主線，首先簡要概括FL 基本原理，然后從客戶端選擇方法、模型訓(xùn)練優(yōu)化技術(shù)、模型更新技術(shù)幾個方面詳細(xì)綜述現(xiàn)有的邊緣智能FL 關(guān)鍵技術(shù)，并討論了未來邊緣智能系統(tǒng)下FL 的研究趨勢.

Table 1 Comparison of Studies on Existing Federated Learning Reviews表1 現(xiàn)有聯(lián)邦學(xué)習(xí)綜述研究對比

1 FL 基本原理

FL 是一種使用分布式機器學(xué)習(xí)方法來保護多方合作數(shù)據(jù)隱私的技術(shù).FL 的中心節(jié)點負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)模型參數(shù)聚合與參數(shù)配置功能.每個終端根據(jù)自己的數(shù)據(jù)進行模型訓(xùn)練.每個客戶端模型都有在每個數(shù)據(jù)樣本j的參數(shù)向量w上定義的損失函數(shù).損失函數(shù)捕獲訓(xùn)練中模型的誤差，并且模型學(xué)習(xí)過程是將訓(xùn)練數(shù)據(jù)樣本集合上的損失函數(shù)最小化.樣本j的損失函數(shù)定義為f(w,xj,yj),其中，向量xj和標(biāo)量yj是1個訓(xùn)練數(shù)據(jù)樣本j的2 個組成部分.xj被視為學(xué)習(xí)模型的輸入，yj是模型的期望輸出.

假設(shè)有K個終端，它們的本地數(shù)據(jù)分別表示為D1,D2,···,Di,···,DK.對于每個終端K的數(shù)據(jù)集Dk，收集的損失函數(shù)為

其中fj(w)是f(w,xj,yj)的簡寫，因此在所有分布式數(shù)據(jù)集上定義的損失函數(shù)為

其中|Dk|表示客戶端k在Dk里的元素數(shù)量，D=該模型被訓(xùn)練成最小化損失函數(shù)，例如使用梯度下降法，以找到最佳參數(shù)集學(xué)習(xí)的目標(biāo)最小化損失函數(shù)F(w)：

由于原始數(shù)據(jù)分布在不同的客戶端，F(xiàn)L 不能像集中式機器學(xué)習(xí)一樣在中央服務(wù)器上直接找到梯度.如果使用梯度下降法來最小化全局損失函數(shù)，即

其中 μ是一個小的正數(shù)，即學(xué)習(xí)率.?F(·)是損失函數(shù)局部梯度.w(t)是中央服務(wù)器在時間t的全局聚集參數(shù)集，wk(t)是客戶端k在時間t的本地參數(shù)集，可以表示為

之后，只要獲得局部梯度?Fk(w(t-1))，中央服務(wù)器就可以計算w(t).因此，只需要將本地梯度發(fā)送到中央服務(wù)器，就可以節(jié)省通信資源，特別是當(dāng)使用梯度壓縮時，能夠一定程度地減少傳輸?shù)奶荻葦?shù)據(jù)量.

2 FL 客戶端選擇技術(shù)

在邊緣智能應(yīng)用中，移動設(shè)備并不總是用于訓(xùn)練數(shù)據(jù).一方面，邊緣設(shè)備的存儲和計算資源有限，網(wǎng)絡(luò)中的邊緣設(shè)備并不能都用于參加每一輪FL 訓(xùn)練.此外，邊緣設(shè)備采集的實際數(shù)據(jù)往往是非獨立同分布的，這也會影響訓(xùn)練效率.另一方面，參與學(xué)習(xí)的設(shè)備將模型狀態(tài)信息更新并上傳到邊緣服務(wù)器的能力高度依賴于各自的無線信道狀態(tài).當(dāng)邊緣設(shè)備處于糟糕的無線信道條件下或邊緣設(shè)備掉隊[16]時，將導(dǎo)致更長的模型更新時間，進而耽誤后續(xù)訓(xùn)練.由于邊緣智能這種獨特的環(huán)境特性，在資源限制下為FL 每輪訓(xùn)練選擇合適的參與者就變得尤為重要[12].

過度的訓(xùn)練迭代和模型轉(zhuǎn)換會占用大量的計算和通信資源.一些研究人員提出通過優(yōu)化資源使用的方式來選擇參與學(xué)習(xí)的客戶端.Jin 等人[17]提出選擇適當(dāng)?shù)目蛻舳嗽O(shè)備并排除不必要的模型更新以幫助節(jié)省資源，并設(shè)計了一個在線學(xué)習(xí)算法，以在線方式共同控制參與者的選擇.但是該算法不同于常用的FedAvg[7]算法，不能體現(xiàn)出部分客戶端參與訓(xùn)練從而對模型更新產(chǎn)生的影響.Chai 等人[18]根據(jù)客戶端的訓(xùn)練性能將客戶端劃分為不同的層，并在每輪訓(xùn)練中從同一層中選擇客戶端，以緩解由于資源和數(shù)據(jù)量的異質(zhì)性而導(dǎo)致的模型偏離問題.Chai 等人[18]提出的TiFL 是一種同步FL 方法.這種方法的一個明顯的缺點是：在每次全局迭代時，當(dāng)1 個或多個客戶端遭受較高的網(wǎng)絡(luò)延遲，或者客戶端有更多的數(shù)據(jù)，需要更長的訓(xùn)練時間時，其他客戶端必須等待模型更新.由于參數(shù)服務(wù)器通常在所有客戶端完成1 次迭代訓(xùn)練后進行聚合，同步優(yōu)化協(xié)議中延長的等待時間會導(dǎo)致計算資源的浪費.文獻[19]提出了一種用于FL 的分級在線速度控制框架，它通過一種節(jié)能的方式來平衡訓(xùn)練時間和模型精度.文獻[20]提出一種基于社交知識的聚類算法.首先，通過考慮社會關(guān)系和計算能力，將一組密集的設(shè)備組成一個集群，然后選擇簇頭（中央設(shè)備），簇頭節(jié)點執(zhí)行與傳統(tǒng)FL 中的參數(shù)服務(wù)器相同的功能，實現(xiàn)自組織FL.該學(xué)習(xí)算法利用較長的電池壽命、與其他設(shè)備較好的連接性能，以及更多的計算資源等關(guān)鍵參數(shù)來選擇簇頭.在無線FL 網(wǎng)絡(luò)中，學(xué)習(xí)性能取決于在每一輪迭代訓(xùn)練中如何選擇客戶端以及如何在選定的客戶端之間進行帶寬分配.以往的研究方法試圖通過分配有限的無線資源來優(yōu)化FL，但它們關(guān)注的是單次學(xué)習(xí)迭代的問題.Xu 等人[21]從一個新的視角來看待無線FL 網(wǎng)絡(luò)中的資源配置，認(rèn)識到迭代學(xué)習(xí)不僅在時間上相互依賴，而且對最終的學(xué)習(xí)結(jié)果有著不同的意義，并針對長期能量約束下的聯(lián)合客戶選擇和帶寬分配的隨機優(yōu)化問題，提出利用當(dāng)前可用的無線信道信息來獲得長期的性能保證.因為有些客戶端比其他客戶端慢，所以提供異步[22-23]和半同步[24]學(xué)習(xí)機制.

在客戶端選擇協(xié)議方面，如圖2 所示.Nishio 等人[25]提出了一個FL 客戶端選擇協(xié)議，即FedCS.FedCS為客戶端在FL 協(xié)議中下載、更新和上傳機器學(xué)習(xí)模型設(shè)置了一個期限，以保證中央?yún)?shù)服務(wù)器在該期限內(nèi)聚合盡可能多的客戶端更新，從而使整個訓(xùn)練過程高效，減少了訓(xùn)練所需要的時間.FedCS 解決了FL 參與者之間資源異構(gòu)的問題，但忽略了數(shù)據(jù)分布異構(gòu)的特性.為了解決這個問題，Yoshida 等人[26]將FedCS 擴展成處理參與者之間數(shù)據(jù)分布差異的混合FL（hybrid federated learning，Hybrid-FL）協(xié)議.Hybrid-FL 協(xié)議中，中央?yún)?shù)服務(wù)器在資源請求階段詢問隨機參與者是否允許上傳數(shù)據(jù).在參與者選擇階段，除了考察其計算能力外，還要考察其上傳的數(shù)據(jù)是否可以在中央?yún)?shù)服務(wù)器中形成一個近似獨立同分布的數(shù)據(jù)集.實驗結(jié)果表明，與FedCS 相比，即使只有1%的參與者共享它們的數(shù)據(jù)，Hybrid-FL 的分類精度也有顯著的提高.然而，Hybrid-FL 要上傳客戶端的數(shù)據(jù)分布信息，可能會侵犯用戶的隱私和安全，特別是如果參與者是惡意的，將引入嚴(yán)重的安全問題.

Fig.2 FedCS protocol overview圖2 FedCS 協(xié)議概述

顯而易見，具有大量數(shù)據(jù)樣本的設(shè)備對全局訓(xùn)練的貢獻更大.在不提供補償?shù)那闆r下，這種設(shè)備不太愿意與擁有少量數(shù)據(jù)樣本的其他設(shè)備聯(lián)合.因此，除了資源與數(shù)據(jù)方面的考量，客戶端選擇也需要通過激勵機制鼓勵參與者對FL 做出貢獻[27].Kang 等人[28]考慮了高質(zhì)量移動設(shè)備的選拔和可靠模型訓(xùn)練的激勵問題.為了提高FL 任務(wù)的性能，每個任務(wù)發(fā)布者都選擇具有高精度和可靠本地數(shù)據(jù)的高信譽客戶端候選者作為參與者.每個任務(wù)發(fā)布者通過主觀邏輯模型計算參與交互的客戶端的信譽分?jǐn)?shù)，將以往交互產(chǎn)生的直接信譽分?jǐn)?shù)和來自其他任務(wù)發(fā)布者的間接信譽分?jǐn)?shù)集成到一個綜合信譽中進行評價.這些客戶端信譽分?jǐn)?shù)由第三方區(qū)塊鏈維護，并在任務(wù)發(fā)布者之間共享，信譽越高的客戶端可以從任務(wù)發(fā)布者那里獲得更多的獎勵.而且，邊緣智能設(shè)備可能會參與并中斷訓(xùn)練過程；惡意設(shè)備可能對本地訓(xùn)練過程沒有貢獻，而只接收其他設(shè)備計算的全局訓(xùn)練結(jié)果.使用分布式分類賬技術(shù)（distributed ledger technology，DLT）記錄訓(xùn)練過程有助于緩解這些問題.例如，當(dāng)交換本地模型狀態(tài)信息時，每個設(shè)備交叉驗證模型狀態(tài)信息，并將接受的模型狀態(tài)信息存儲在其本地分布式分類賬中.本地分布的分類賬通過DLT 與其他設(shè)備的分類賬同步，例如借助于區(qū)塊鏈技術(shù)，訓(xùn)練過程提高了對惡意的、有故障的設(shè)備的魯棒性[29].考慮到數(shù)據(jù)分布對FL 性能的影響，Li 等人[30]提出一個類似的加權(quán)激勵方法來選擇客戶端，即q-FedAvg.q-FedAvg通過為性能較差的終端設(shè)備分配比性能較好的終端設(shè)備更高的權(quán)重來修改FedAvg 的目標(biāo)函數(shù)，將損失函數(shù)中的更高權(quán)重分配給損耗更高的設(shè)備，鼓勵在聯(lián)邦訓(xùn)練上下文中跨設(shè)備的更公平的準(zhǔn)確性分布.文獻[31]提出一個眾包框架，以一種通信高效的方式支持無線物聯(lián)網(wǎng)環(huán)境中的FL，并引入了一種基于Stackelberg博弈模型的激勵機制，以吸引客戶參與FL.

客戶端之間的通信，尤其是通過無線信道的通信，可能是不對稱、緩慢和不穩(wěn)定的.而假設(shè)具有高信息傳輸速率和可忽略的數(shù)據(jù)包丟失的通信環(huán)境是不現(xiàn)實的.例如，移動互聯(lián)網(wǎng)的上傳速度通常比下載速度慢得多.一些參與者可能會因為與互聯(lián)網(wǎng)斷開連接而退出，尤其是在擁擠的無線通信的場景下使用手機[15].此外，本地實際數(shù)據(jù)往往是非獨立同分布的，會顯著影響學(xué)習(xí)效率.而且，大量參與訓(xùn)練的客戶端可能會加劇通信擁塞，因此需要合理分配有限的無線頻譜資源.文獻[32]提出了一個在蜂窩連接無線系統(tǒng)中進行FL 的通信和計算模型.考慮到上行帶寬的限制，基站需要選擇合適的客戶端來執(zhí)行FL算法，以最小化成本.在給定預(yù)定義的子信道束和本地精度的情況下，客戶端優(yōu)化傳輸功率和CPU 周期頻率，以在滿足FL 延遲要求的同時最小化能耗.不同于文獻[32]僅僅考慮了無線信道需求，文獻[33]還考慮了每個客戶的數(shù)據(jù)大小、數(shù)據(jù)分布，重點研究了在無線通信場景中的FL，并提出了一種基于深度RL 的拍賣機制，以鼓勵和選擇數(shù)據(jù)所有者參與FL.與上文提到的Stackelberg 博弈和契約理論不同，拍賣機制允許客戶端主動報告其類型，并已應(yīng)用于各種應(yīng)用場景[34].

選擇合適的客戶端能夠剔除訓(xùn)練過程中一些計算資源有限（即需要更長的更新時間）或無線信道條件差（即上傳時間更長）的客戶端，這樣有利于FL 持續(xù)訓(xùn)練.無論是采用資源優(yōu)化，還是通過激勵機制或者從安全的角度考慮數(shù)據(jù)分布的方式，這些方法關(guān)注的都是客戶端的性能對訓(xùn)練帶來的影響.然而，使用超大規(guī)模的數(shù)據(jù)，訓(xùn)練一個具有數(shù)十億參數(shù)的復(fù)雜模型，單單從選擇性能較好的客戶端這一單一角度，無法保證FL 在邊緣智能應(yīng)用環(huán)境下的整體性能，因此還需要對FL 訓(xùn)練過程進行優(yōu)化.表2 歸納了現(xiàn)有的FL 客戶端選擇方案.

Table 2 Comparison of Federated Learning Client Selection Schemes表2 聯(lián)邦學(xué)習(xí)客戶端選擇方案比較

3 模型訓(xùn)練優(yōu)化方法

由于終端的算力限制、通信資源限制、用戶隱私需求，邊緣智能環(huán)境下零散分布的大量本地數(shù)據(jù)往往使FL 的模型訓(xùn)練變得困難.面對這些困難，以往的研究在模型訓(xùn)練過程中關(guān)注對數(shù)據(jù)的處理，采用卸載數(shù)據(jù)到其他設(shè)備，或直接在本地對數(shù)據(jù)進行篩選的方法，去除無用的數(shù)據(jù)等技術(shù)，來解決算力資源不足的問題.除了卸載數(shù)據(jù)進而轉(zhuǎn)移其關(guān)聯(lián)的計算外，還可以對模型進行壓縮處理，減少FL 過程中需要交互的模型參數(shù)規(guī)模，降低通信資源的消耗.

3.1 數(shù)據(jù)卸載方法

由于隱私保護原則和通信帶寬限制，跨個體組織邊界共享數(shù)據(jù)非常困難.數(shù)據(jù)摘要[35]是一種減少共享數(shù)據(jù)量的技術(shù)，同時保留數(shù)據(jù)中對訓(xùn)練機器學(xué)習(xí)模型有用的特征.目前的數(shù)據(jù)摘要研究主要有3 類方法：1）統(tǒng)計摘要.這類方法源于對數(shù)據(jù)進行匯總以有效地探索和分析大量數(shù)據(jù)的需要.此外，這類方法生成摘要信息只需要少量的時間和空間，通常只需對整個數(shù)據(jù)集進行一次遍歷即可創(chuàng)建，并且占用較少的內(nèi)存.但是，這種類型的摘要只適用于特定類型數(shù)據(jù)集的查詢.2）降維.通過將高維數(shù)據(jù)映射到低維空間，使得原始數(shù)據(jù)集的某些特征屬性保留在映射空間中，不影響學(xué)習(xí)的效率，降維具有減少數(shù)據(jù)總量的效果.3）數(shù)據(jù)降采樣.與前2 種方法相比，基于降采樣的方法在原始數(shù)據(jù)集的樣本空間內(nèi)構(gòu)造一個小的數(shù)據(jù)樣本集，因此可以在FL 任務(wù)中使用小數(shù)據(jù)集作為原始數(shù)據(jù)集的代理.數(shù)據(jù)摘要通過多種方式輔助FL，例如，當(dāng)不同客戶端的數(shù)據(jù)集是非獨立同分布時，可以與其他客戶共享本地原始數(shù)據(jù)集的摘要，以提高訓(xùn)練效率.

數(shù)據(jù)從終端設(shè)備卸載到邊緣計算服務(wù)器，有助于利用邊緣計算服務(wù)器的強大算力加快FL 速度，減少回程擁塞[36].數(shù)據(jù)通常由終端設(shè)備保存，必須通過無線鏈路傳輸?shù)竭吘売嬎愎?jié)點.FL 任務(wù)要求在一定的時間限制內(nèi)執(zhí)行，這可能導(dǎo)致傳輸不完整的數(shù)據(jù)集.考慮到每個數(shù)據(jù)包傳輸?shù)拈_銷以及計算率和通信率之間的關(guān)系，文獻[37]通過優(yōu)化數(shù)據(jù)包的有效負(fù)載大小來尋求計算延遲和準(zhǔn)確性之間的折中，提出使用優(yōu)化的塊大小進行通信和計算，實現(xiàn)了FL 中數(shù)據(jù)與計算卸載.一些邊緣智能學(xué)習(xí)方法通過對網(wǎng)絡(luò)邊緣的原始數(shù)據(jù)進行處理和壓縮來減少數(shù)據(jù)傳輸時間，但是，同時也帶來了學(xué)習(xí)精度降低的問題.文獻[38]研究了一個兼顧學(xué)習(xí)精度的模型參數(shù)傳輸優(yōu)化的任務(wù)調(diào)度問題，通過來自于云端的調(diào)度，實現(xiàn)了提高學(xué)習(xí)精度和減少通信流量之間的最優(yōu)折中.但是文獻[38]中提出的架構(gòu)由一個主節(jié)點和多個工作節(jié)點組成.工作節(jié)點識別特定領(lǐng)域的對象，并通過管道為主節(jié)點提供訓(xùn)練實例.這種FL 架構(gòu)在私有場景，例如在家里，所有設(shè)備都有內(nèi)在動力，協(xié)作為其主節(jié)點可以創(chuàng)建更智能的模型.然而，在公共場景中，它并不能很好地工作.在公共場景中，主節(jié)點初始化一個任務(wù)并將子任務(wù)分配給不熟悉的參與者.在這種情況下，會出現(xiàn)額外的激勵問題.

3.2 模型分割遷移方法

不僅數(shù)據(jù)卸載可以轉(zhuǎn)移模型訓(xùn)練計算，轉(zhuǎn)移模型同樣可以卸載其相關(guān)聯(lián)的計算.當(dāng)神經(jīng)網(wǎng)絡(luò)模型尺寸過大時，可以將單個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分割成分布在多個設(shè)備上的多個段，即模型分割.模型分割遷移就是一種實現(xiàn)計算卸載的方法.在移動設(shè)備和邊緣計算服務(wù)器之間劃分深度神經(jīng)網(wǎng)絡(luò)模型，通過將深度神經(jīng)網(wǎng)絡(luò)的淺層部分部署在移動設(shè)備上，而復(fù)雜的神經(jīng)網(wǎng)絡(luò)深層部分則轉(zhuǎn)移到邊緣計算服務(wù)器上[39-41].首先對本地輸入數(shù)據(jù)進行快速轉(zhuǎn)換，然后，將轉(zhuǎn)換后的數(shù)據(jù)表示發(fā)送給邊緣計算服務(wù)器以進行需要大量時間和計算的推斷任務(wù).但是這種模型分割遷移的方式使用戶無法控制數(shù)據(jù)在邊緣計算服務(wù)器的處理過程，隱私得不到保障.現(xiàn)有的模型分割方式假設(shè)網(wǎng)絡(luò)模型條件不變，通過劃分網(wǎng)絡(luò)模型操作，將部分計算轉(zhuǎn)移到云或邊緣服務(wù)器上.然而，邊緣智能應(yīng)用中的網(wǎng)絡(luò)模型因上下文而異，深度神經(jīng)網(wǎng)絡(luò)模型分割策略的空間有限.文獻[42]在端邊云協(xié)同的場景下，提出了一種成本驅(qū)動型卸載策略，降低了學(xué)習(xí)成本，該方法在一定的場景下表現(xiàn)良好.然而，這種策略算法計算復(fù)雜度高、執(zhí)行時間長，在實時系統(tǒng)中并不適用，特別是當(dāng)通信環(huán)境動態(tài)變化時，這種策略需要更長的時間來確定新的最佳協(xié)作決策，難以滿足實時數(shù)據(jù)分析的時延要求；而文獻[43]考慮模型結(jié)構(gòu)的靈活性，使其能夠?qū)崟r根據(jù)上下文信息動態(tài)地做出模型壓縮和分割的決策.

基于模型分割后進行部分模型轉(zhuǎn)移需要兼顧模型的隱私保護問題，為了在沒有隱私風(fēng)險的情況下利用云數(shù)據(jù)中心的海量計算能力，文獻[44]在移動設(shè)備和云數(shù)據(jù)中心之間分割了深度神經(jīng)網(wǎng)絡(luò)模型，提出了ARDEN 框架來保護隱私.ARDEN 在移動設(shè)備上執(zhí)行簡單的數(shù)據(jù)轉(zhuǎn)換，然后將需要大量資源的訓(xùn)練轉(zhuǎn)移到云數(shù)據(jù)中心，并引入了一種輕量級的隱私保護機制，不僅對轉(zhuǎn)移的模型部分提供了一定的隱私保護，而且提高了推斷的準(zhǔn)確性，并減少了資源消耗.邊緣智能應(yīng)用中，多個用戶通過共享一個深度神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)FL，模型的隱私保護更為重要.Zhang 等人[45]采用模型分割技術(shù)和差分隱私方法，提出了一種利用移動邊緣計算的FL 框架（federated learning scheme in mobile edge computing, FedMEC），該框架是一種典型的模型分割遷移帶動計算轉(zhuǎn)移的邊緣智能環(huán)境的FL 架構(gòu)，具體學(xué)習(xí)框架如圖3 所示.FedMEC 框架將一個深層神經(jīng)網(wǎng)絡(luò)分為2 部分：預(yù)先訓(xùn)練的客戶端神經(jīng)網(wǎng)絡(luò)模型和邊緣服務(wù)器端神經(jīng)網(wǎng)絡(luò)模型，復(fù)雜的計算可以通過模型遷移轉(zhuǎn)移給邊緣服務(wù)器.同時，通過差異私有數(shù)據(jù)擾動機制，防止局部模型參數(shù)隱私泄露.

Fig.3 Model segmentation migration framework圖3 模型分割遷移框架

在邊緣計算環(huán)境中，模型分割技術(shù)不僅可以實現(xiàn)高效的FL 服務(wù)，而且可以降低移動邊緣設(shè)備上的計算消耗，即端邊協(xié)作將深度神經(jīng)網(wǎng)絡(luò)分為2 部分，其中大部分繁重的計算工作卸載到邊緣服務(wù)器.此外，在部分模型上傳到邊緣服務(wù)器之前，使用差分隱私保護機制來保護數(shù)據(jù)隱私.目前的模型分割遷移技術(shù)雖然可以做到模型訓(xùn)練的計算卸載，但是，雖然基于差分隱私的保護機制防止模型分割遷移過程中的數(shù)據(jù)隱私泄露，卻帶來了模型訓(xùn)練精度的損失問題.然而文獻[39-45]中的研究并沒有對其帶來的這一負(fù)面影響給出解決方案.

3.3 模型壓縮方法

雖然用戶終端的計算能力在過去十幾年中大大提升，但這些終端仍然受到電池電量和存儲空間的限制，使得大規(guī)模部署FL 成為一個難點問題.原因主要有2 個：1）一個深層的神經(jīng)網(wǎng)絡(luò)往往由大量的激活單元和相互連接的節(jié)點組成，因此訓(xùn)練這樣一個模型必然會產(chǎn)生大量的能量消耗和內(nèi)存占用.2）局部模型的反饋不僅需要高發(fā)射功率，而且需要足夠?qū)挼囊苿宇l譜以保證訓(xùn)練效率.為了克服FL 范式中局部訓(xùn)練和反饋方面的困難，一種有效的方法是對學(xué)習(xí)模型進行壓縮，例如將草圖應(yīng)用到FL 中[46].壓縮模型大小可以使模型適應(yīng)更小、更快的內(nèi)存，從而實現(xiàn)低延遲的推理和訓(xùn)練.此外，模型壓縮提高了能效，因為內(nèi)存訪問是神經(jīng)網(wǎng)絡(luò)能耗的主要來源，與模型大小成正比[47].最后，在分布式訓(xùn)練中，模型壓縮最小化模型狀態(tài)信息有效負(fù)載，從而減少通信延遲.

表3 總結(jié)了現(xiàn)有的模型壓縮技術(shù)特點.文獻[48]提出結(jié)構(gòu)化和草圖更新技術(shù)，以減少參與者在每輪通信中發(fā)送到FL 服務(wù)器的模型更新數(shù)據(jù).結(jié)構(gòu)化更新方式限制參與者更新預(yù)先指定的結(jié)構(gòu)，即低秩和隨機掩碼.低秩結(jié)構(gòu)更新是指每次更新都被強制為一個低秩矩陣，表示為2 個矩陣的乘積.一個矩陣是隨機生成的，并且在每一輪通信中保持不變，而另一個矩陣則被優(yōu)化.因此，只需要將優(yōu)化后的矩陣發(fā)送到服務(wù)器.草圖更新方式是指在與服務(wù)器通信之前以壓縮形式對更新數(shù)據(jù)進行編碼，服務(wù)器隨后在聚合之前對更新數(shù)據(jù)進行解碼.在文獻[48]基礎(chǔ)上，文獻[49]進行了擴展研究，提出了2 種新的策略來減少服務(wù)器到客戶端的通信負(fù)載：1）在發(fā)送服務(wù)器到客戶端的全局模型上使用有損壓縮；2）采用聯(lián)邦退出，允許用戶在全局模型的最小子集上進行局部訓(xùn)練，減少客戶到服務(wù)器的通信和本地計算量.由于壓縮而產(chǎn)生的誤差需要在每個客戶端保存，同時每一輪都需要大量的客戶端參與，這對于FL 來說是不實用的.文獻[50]對文獻[46-49]方案進行進一步的改進，直接檢索最新的梯度值，而不要求更新向量中的位置.文獻[50]這種方案更加有效，因為它需要的通信輪數(shù)更少.文獻[48-50]的研究提出了實用的模型壓縮方法，可以減少服務(wù)器和參與者之間的通信成本，但通信成本的降低往往伴隨著模型精度的犧牲.因此，對壓縮粒度進行形式化刻畫將非常有用，尤其是當(dāng)面臨不同的任務(wù)或者涉及到不同數(shù)量的FL 參與者時，采用不同的壓縮強度尤為重要.FL 通過每隔一段時間交換模型參數(shù)來降低通信成本.基于周期性模型信息交換，Jeong 等人[51]所提出的聯(lián)邦蒸餾方法交換的不是模型參數(shù)而是模型輸出，允許終端設(shè)備采用規(guī)模較大的局部模型.在聯(lián)邦蒸餾基礎(chǔ)上，為了解決非獨立同分布數(shù)據(jù)問題，文獻[51]提出了一種基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強方法，即聯(lián)邦增強.聯(lián)邦增強可以提高聯(lián)邦蒸餾降低的精度，而不會引起嚴(yán)重的通信開銷.聯(lián)邦蒸餾是建立在無噪聲且理想的通信信道假設(shè)基礎(chǔ)上.事實上，由于存在噪聲和無線傳輸?shù)寞B加特性，無線通信鏈路給聯(lián)邦蒸餾方法造成了新的挑戰(zhàn).Ahn 等人[52]考慮無線網(wǎng)絡(luò)環(huán)境下的聯(lián)邦蒸餾實現(xiàn)，提出了一種基于分離信道編碼和無線計算的混合聯(lián)邦蒸餾（hybrid-federated distillation,HFD）方案.該方案在信源信道編碼中采用了帶有誤差累積的稀疏二進制壓縮方法.對于通過高斯多路訪問通道進行的數(shù)字和模擬實現(xiàn)，HFD 可以在惡劣的通信環(huán)境中優(yōu)于傳統(tǒng)的FL，這一原理與邊緣人工智能模型自適應(yīng)的降維和量化有一些共同之處，但HFD 減少了數(shù)據(jù)傳輸源的特征尺寸，它為FL 框架和數(shù)據(jù)編碼的協(xié)同設(shè)計提供了新的研究思路.表4 給出了目前FL 模型訓(xùn)練優(yōu)化方法及特點.

Table 3 Summary of Model Compression Techniques表3 模型壓縮技術(shù)總結(jié)

4 無線網(wǎng)絡(luò)下的模型更新技術(shù)

在FL 過程中，模型更新過程主要涉及FL 客戶端本地更新過程和客戶端向服務(wù)器更新上傳模型參數(shù)過程，即全局聚合過程.在模型更新過程中，每次局部更新消耗終端的計算資源，每次全局聚合消耗網(wǎng)絡(luò)的通信資源.消耗的資源量可能會隨著時間的推移而變化，并且全局聚合的頻率、模型訓(xùn)練的準(zhǔn)確性和資源消耗之間存在復(fù)雜的關(guān)系.因為人工智能模型的訓(xùn)練通常是資源密集型的，而學(xué)習(xí)任務(wù)的非優(yōu)化操作可能會浪費大量的資源.現(xiàn)有的模型更新的研究工作主要從3 個方面進行資源優(yōu)化：1）通過全局聚合和本地更新兩者之間的最優(yōu)折中，保證在一定的資源預(yù)算下最小化模型的損失函數(shù)；2）優(yōu)化梯度下降算法來降低通信資源開銷；3）通過合理并動態(tài)地調(diào)整資源分配進一步降低對資源的盲目消耗.此外，由于FL 中的模型更新嚴(yán)重依賴于網(wǎng)絡(luò)，越來越多的研究致力于開發(fā)高效的無線通信FL 技術(shù)，利用無線多址信道的疊加特性，以及無線資源優(yōu)化技術(shù)來加速FL 的全局模型更新過程.

4.1 自適應(yīng)模型聚合技術(shù)

在端邊協(xié)同的FL 框架下，每個邊緣節(jié)點執(zhí)行梯度下降以調(diào)整局部模型參數(shù)，從而最小化在自己本地數(shù)據(jù)集上定義的損失函數(shù).然后不同終端節(jié)點獲得的模型參數(shù)被發(fā)送到參數(shù)聚合器，該參數(shù)聚合器可以是遠(yuǎn)程云、網(wǎng)絡(luò)元素或邊緣節(jié)點上允許的邏輯組件.參數(shù)聚合器對收到的參數(shù)進行全局聚合后，將更新后的參數(shù)發(fā)送回終端節(jié)點進行下一輪迭代訓(xùn)練[7].全局聚合頻率可以根據(jù)一個或多個本地更新的間隔進行動態(tài)調(diào)整[53].文獻[7]提出FedAvg 模型聚合算法，將客戶端上的本地SGD 與執(zhí)行模型平均的服務(wù)器相結(jié)合，顯著減少模型聚合的通信次數(shù).模型聚合算法協(xié)調(diào)全局模型參數(shù)的學(xué)習(xí)，它包含的異常機制確保了全局模型的收斂性[54]和異構(gòu)客戶端的公平性[55-56].文獻[55]基于FedAvg 提出了一個異構(gòu)網(wǎng)絡(luò)的聯(lián)合優(yōu)化框架，稱為FedProx.FedProx 通過設(shè)置一個修正項，使本地模型更接近全局模型，解決了不同設(shè)備的統(tǒng)計異質(zhì)性問題.但是，F(xiàn)edProx 未能正確配置和維護健壯的聚合算法，將使全局模型變得脆弱和不可信.目前聚合算法[57-58]在魯棒性方面有廣泛研究，這些算法可以在訓(xùn)練期間檢測和丟棄錯誤或惡意的更新.此外，健壯的聚合方法應(yīng)該能夠承受通信不穩(wěn)定性、客戶端丟失、惡意參與者的錯誤模型聚合[59-62].然而，這些聚合算法大多數(shù)都沒有考慮移動邊緣網(wǎng)絡(luò)下FL 模型聚合所面臨的問題.

考慮FL 在邊緣計算環(huán)境中的計算和通信資源受限的獨特挑戰(zhàn)，Wang 等人[63]提出一種自適應(yīng)模型聚合控制算法，并分析了具有非獨立同分布數(shù)據(jù)的FL 收斂界限.在當(dāng)前資源受限狀態(tài)下，這種自適應(yīng)控制方案在全局模型聚合和局部模型更新之間提高了一種理想的折中，以最小化具有資源預(yù)算約束的損失函數(shù).自適應(yīng)模型聚合實質(zhì)上是一種終端之間異步的非固定頻率的模型聚合方式.圖4 給出了固定頻率聚合和自適應(yīng)聚合的區(qū)別固定頻率聚合是為了固定全局聚合的頻率，在固定的資源預(yù)算下最小化學(xué)習(xí)損失；自適應(yīng)模型聚合是為了動態(tài)地調(diào)整全局聚合的頻率，在固定的資源預(yù)算下最小化學(xué)習(xí)損失.文獻[63]研究表明，在相同的時間預(yù)算內(nèi)，自適應(yīng)聚合方案在損失函數(shù)最小化和精度方面均優(yōu)于終端之間同步的固定頻率聚合方案，實現(xiàn)了計算資源和通信資源之間的權(quán)衡，降低了邊緣服務(wù)器的負(fù)載.然而，文獻[63]工作只是為了服務(wù)器的權(quán)衡，而不是考慮移動設(shè)備的資源限制.此外，在不可靠的網(wǎng)絡(luò)下，傳輸?shù)臄?shù)據(jù)包丟失、移動設(shè)備突然斷開連接等，也可能對FL 產(chǎn)生不可預(yù)測的影響.文獻[64]考慮客戶端動態(tài)資源優(yōu)化，為了有效地利用帶寬資源，提出ACFL算法，ACFL 可以根據(jù)網(wǎng)絡(luò)條件自適應(yīng)地壓縮共享信息.此外，在沒有數(shù)據(jù)分布假設(shè)的情況下，考慮了通信壓縮和信息丟失，分析了算法的收斂性.針對基于云的FL 模型的訓(xùn)練導(dǎo)致通信資源的顯著開銷，Liu等人[65]進一步將移動邊緣計算平臺作為中間結(jié)構(gòu)，提出一種基于客戶端—邊緣—云分層架構(gòu)的聯(lián)邦學(xué)習(xí)（hierarchical federated averaging，HierFAVG）算法，通過在邊緣服務(wù)器和云服務(wù)器執(zhí)行2 級聚合，為大量用戶解決了與基于云的FL 模型的訓(xùn)練相關(guān)的高通信資源消耗問題.與傳統(tǒng)的基于云的FL 相比，由于引入了邊緣服務(wù)器聚合，HierFAVG 能更有效地利用通信資源.HierFAVG 是在移動邊緣網(wǎng)絡(luò)上實現(xiàn)FL的一種有效的方法，它可以同時減少模型訓(xùn)練時間和終端設(shè)備的能量消耗.

Fig.4 Comparison of adaptive model aggregation and fixed frequency aggregation圖4 自適應(yīng)模型聚合與固定頻率聚合的比較

盡管文獻[7, 53-65]研究能夠在資源受限的條件下優(yōu)化模型聚合頻率，但忽略了不同終端節(jié)點的計算能力和鏈路通信能力的內(nèi)在異質(zhì)性.這種異質(zhì)性對優(yōu)化不同學(xué)習(xí)者的任務(wù)分配、選擇學(xué)習(xí)模型、提高學(xué)習(xí)精度、最小化局部和全局循環(huán)時間，以及最小化能量消耗，具有重要意義.文獻[66]建立了一個在相鄰的異構(gòu)無線邊緣節(jié)點上高效執(zhí)行分布式學(xué)習(xí)任務(wù)的優(yōu)化框架，首次協(xié)同分布式學(xué)習(xí)和分層移動邊緣計算的新趨勢，提出了移動邊緣學(xué)習(xí)概念框架.通過考慮具有異構(gòu)計算能力和到異構(gòu)無線鏈接的邊緣節(jié)點，自適應(yīng)地調(diào)整分布式學(xué)習(xí)的任務(wù)分配.文獻[67]考慮到移動邊緣網(wǎng)絡(luò)下異構(gòu)設(shè)備通常在個性化的精度目標(biāo)下被分配不同的任務(wù)，提出了CuFL 算法來加速FL 過程，同時確保所有終端設(shè)備都能滿足其特定的任務(wù)要求.為了進一步加快終端設(shè)備的本地模型訓(xùn)練，提出了一個提前終止方案，通過減少匯總輪次來縮短培訓(xùn)時間.在早期終止方案中，當(dāng)終端設(shè)備滿足精度要求時，它們可以提前退出FL 過程.其結(jié)果是降低了能量成本，并且剩余設(shè)備的通信資源是豐富的.在MEC 服務(wù)器端，優(yōu)化了全局聚合方法.為了在MEC 服務(wù)器上實現(xiàn)公平的參數(shù)聚合，引入了一個公平系數(shù)來最小化當(dāng)前精度和目標(biāo)精度之間的差異.從理論上嚴(yán)格分析了CuFL 算法的收斂性，還驗證了CuFL 在車輛分類任務(wù)中的有效性.評價結(jié)果表明，CuFL 算法在準(zhǔn)確率、訓(xùn)練時間和聚合過程的公平性方面具有優(yōu)勢.表5 列舉了主要的FL 模型局和技術(shù).

Table 5 A Comparative Summary of Major Federated Learning Mode Aggregation Technologies表5 主要聯(lián)邦學(xué)習(xí)模型聚合技術(shù)的比較總結(jié)

4.2 梯度下降算法優(yōu)化技術(shù)

通過調(diào)整模型聚合次數(shù)可以降低終端的計算資源.在FL 設(shè)置中，快速的算法收斂同樣可以減少通信輪數(shù)，降低上傳的梯度量也同樣可以減少每輪更新的數(shù)據(jù)量，從而降低通信資源開銷[68].

在模型更新過程中，每個終端根據(jù)其局部訓(xùn)練數(shù)據(jù)獨立計算梯度，對學(xué)習(xí)模型做出貢獻.現(xiàn)有的研究只利用了一階梯度下降.一階梯度下降方法中每一次迭代只依賴于當(dāng)前梯度，并沒有考慮到之前的迭代梯度更新可能加速訓(xùn)練的收斂[69].由于動量梯度法可以改善收斂性，有許多研究工作將動量隨機梯度下降應(yīng)用于分布式機器學(xué)習(xí)領(lǐng)域.Liu 等人[69]考慮與最后一次迭代相關(guān)的動量項，提出動量FL 系統(tǒng)，并采用動量梯度下降的方法進行局部更新.減輕FL系統(tǒng)中的通信負(fù)載問題已經(jīng)被廣泛研究，主要是在無噪聲、速率受限鏈路和星形拓?fù)涞募僭O(shè)下進行.這些解決方案的關(guān)鍵要素是壓縮和降維操作，這些操作將原始模型參數(shù)或梯度向量映射到由有限數(shù)量的位和/或稀疏性定義的表示中.重要的解決方案類別包括無偏壓縮[70-72]和帶有誤差反饋機制的偏壓壓縮[73-76].一個眾所周知的結(jié)合SGD 和一致性的協(xié)議是分布式隨機梯度下降（decentralized stochastic gradient descent，DSGD），它已經(jīng)通過梯度跟蹤算法[77-78]和減少代理之間大數(shù)據(jù)異質(zhì)性的方差減少方案[79]得到了進一步的擴展和改進.此外，在文獻[80-82]中對空中計算（over-the-air computation，AirComp）進行了研究，它是一種有前途的解決方案，可通過利用無線介質(zhì)的疊加特性來支持大規(guī)模FL 中的同時傳輸.與使用標(biāo)準(zhǔn)數(shù)字信號處理模塊的傳統(tǒng)實現(xiàn)相比，基于模擬的AirComp 直接從接收的基帶樣本中估計聚合統(tǒng)計.文獻[80]研究了有限帶寬的高斯多址信道（multiple access channel，MAC）上的FL，并提出了新的數(shù)字和模擬SGD.在數(shù)字SGD 中，無線設(shè)備采用梯度量化和誤差累計，并通過MAC 將它們的梯度估計傳輸?shù)絽?shù)服務(wù)器，模擬SGD 利用無線媒體訪問控制的加法性質(zhì)進行空中梯度計算.

對于每一輪通信，梯度量化減少了表示模型更新的位數(shù)，從而有減少了分布式學(xué)習(xí)中的通信有效載荷大小.由于量化引入了誤差，模型更新的算法精度降低，這可能阻礙學(xué)習(xí)算法的收斂.因此，應(yīng)該仔細(xì)設(shè)計量化[71,83]及其量化級，以保證高精度的收斂性.Shokri 等人[84]提出分布式選擇性隨機梯度下降（distributed selective stochastic gradient descent，DSSGD）方法，依據(jù)不同參數(shù)或者不同特征對訓(xùn)練收斂的貢獻不同，選擇性地進行梯度參數(shù)更新.DSSGD 方法達(dá)到了與傳統(tǒng)SGD 相當(dāng)?shù)木?，但在每次學(xué)習(xí)迭代中更新的參數(shù)減少了1～2 個數(shù)量級.文獻[85]的方法 QGADMM，將隨機量化與分組交替方向乘子法（groupbased alternating direction method of multipliers，GADMM）[86]的空間稀疏化相結(jié)合，其中權(quán)重更新以概率p和1-p分別向上和向下舍入，而p被自適應(yīng)地調(diào)整以最小化通信成本，同時保證GADMM 收斂.LFGADMM[87]對GADMM 應(yīng)用分層聯(lián)邦，而不像在QGADMM 中那樣量化，L-FGADMM中的節(jié)點分為頭尾組，只與鄰近的節(jié)點交流.與GADMM 相比，LFGADMM 通過2 種方式進一步提高通信效率.首先，與GADMM 中的每次迭代通信不同，L-FGADMM 中的節(jié)點定期進行通信.其次，針對每一層分別調(diào)整LFGADMM 的通信周期，與交換整個模型的GADMM不同，L-FGADMM 可以增加大規(guī)模層的通信周期，同時減小通信有效載荷的大小.

考慮到同步訓(xùn)練會丟棄模型更新后到達(dá)的所有延遲結(jié)果，從而浪費相應(yīng)設(shè)備的電池電量和它們潛在的有用數(shù)據(jù).因此，現(xiàn)有研究采用異步更新取代了標(biāo)準(zhǔn)FL 的同步方案.然而，異步更新帶來了梯度值過時的問題，因為多個用戶可以在任意時間自由地執(zhí)行學(xué)習(xí)任務(wù)，當(dāng)在過時的模型版本上計算學(xué)習(xí)任務(wù)時，會出現(xiàn)過時的結(jié)果，與此同時，全局模型已經(jīng)發(fā)展到一個新版本，過時的結(jié)果會給訓(xùn)練過程增加噪聲，減緩甚至阻止FL 模型收斂[88].考慮到這些問題，文獻[22]提出了新的SGD 算法，即ADASGD.提出了一種預(yù)測移動設(shè)備上每個學(xué)習(xí)任務(wù)的計算時間和能耗的分析工具，用于防止在服務(wù)器聚集本地模型的截止日期之后出現(xiàn)不必要的計算.文獻[22, 88]的方法在加速收斂方面有一定的優(yōu)勢，但是它們并沒有考慮到移動邊緣智能場景下的獨特挑戰(zhàn).

為適配邊緣計算場景，Tao 等人[89]提出邊緣隨機梯度下降（edge stochastic gradient descent，eSGD）算法，在梯度下降過程中，某些參數(shù)對神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)貢獻更大，因此在給定的訓(xùn)練迭代過程中會經(jīng)歷更大的更新.梯度值取決于訓(xùn)練樣本，并且隨樣本的不同而變化.此外，輸入數(shù)據(jù)的某些特征比其他特征更為重要，而幫助計算這些特征的參數(shù)在學(xué)習(xí)過程中更為關(guān)鍵，并經(jīng)歷更大的變化.因此，eSGD 算法只選擇一小部分重要梯度在每一輪通信過程中與FL聚合服務(wù)器進行更新.與標(biāo)準(zhǔn)SGD 方法相比，eSGD仍然存在精度損失.在Tao 等人[89]研究梯度的選擇性通信的同時，Wang 等人[90]提出了CMFL 算法.該算法保證了只上傳相關(guān)的局部模型更新，以降低通信成本，同時保證全局收斂.在每次迭代中，首先將參與者的本地更新與全局更新進行比較，以確定更新是否相關(guān).通過消除不相關(guān)的、損害訓(xùn)練的異常更新，CMFL 可以獲得稍高的精度.文獻[91]研究了邊緣網(wǎng)絡(luò)的DSGD 實現(xiàn)問題.通過考慮數(shù)字和模擬傳輸方案，提出了在無線D2D 網(wǎng)絡(luò)上實現(xiàn)DSGD 的協(xié)議，模擬實現(xiàn)利用AirComp.為了應(yīng)對無線干擾，將基于圖著色的調(diào)度策略應(yīng)用到數(shù)字和模擬實現(xiàn)的設(shè)計中.邊緣智能環(huán)境下的FL 與網(wǎng)絡(luò)通信技術(shù)的發(fā)展密切相關(guān)，在第2 節(jié)和第3 節(jié)討論的研究工作中，大多忽略了無線通信鏈路的特性.無線通信鏈路承載了FL 的參數(shù)更新過程.無線鏈路的資源分配也是智能邊緣系統(tǒng)中FL 優(yōu)化的一個重點方向.

4.3 無線資源優(yōu)化技術(shù)

通常來說，在移動邊緣網(wǎng)絡(luò)環(huán)境下的FL 是動態(tài)的、不確定的，具有時變的約束條件.基于無線網(wǎng)絡(luò)實現(xiàn)FL 架構(gòu)，客戶端必須通過無線鏈路傳輸其本地訓(xùn)練結(jié)果，目前FL 有很多無線應(yīng)用，例如：無人機（unmanned aerial vehicle, UAV）[4-5,92-99]、車聯(lián)網(wǎng)[82,100-104]和目標(biāo)定位[104]等.

1）FL 在無人機系統(tǒng)中的應(yīng)用研究.表6 描述了邊緣網(wǎng)絡(luò)下無人機FL 應(yīng)用主要組件，如客戶端、服務(wù)器和數(shù)據(jù)、FL 的預(yù)期結(jié)果.無人機可以作為邊緣內(nèi)容緩存，這種范式的主要挑戰(zhàn)是通過預(yù)測無人機內(nèi)容的流行度來有效地確定每個緩存中應(yīng)該存儲哪些內(nèi)容.然而，這需要直接訪問私人無人機信息，以進行內(nèi)容區(qū)分，這在實踐中是不可能的.FL 是基于內(nèi)容流行度預(yù)測天然的匹配方案，因為它支持本地訓(xùn)練模型，從而保護用戶數(shù)據(jù)隱私.例如，增強現(xiàn)實應(yīng)用程序需要訪問用戶的隱私數(shù)據(jù)，以便獲得增強的流行元素[105].

Table 6 Unmanned Aerial Vehicle Application Based on Federated Learning in Edge Network表6 邊緣網(wǎng)絡(luò)下基于聯(lián)邦學(xué)習(xí)的無人機應(yīng)用

無人機由于其固有的屬性，如機動性、靈活性和自適應(yīng)高度，一方面，無人機可以用作空中基站[93]，無人機基站可以有效地補充現(xiàn)有的蜂窩系統(tǒng)，為熱點地區(qū)提供額外的容量，并在難以到達(dá)的偏遠(yuǎn)地區(qū)提供網(wǎng)絡(luò)覆蓋，以提高無線網(wǎng)絡(luò)的覆蓋范圍、容量、可靠性和能效.另一方面，無人機可以在蜂窩網(wǎng)絡(luò)中作為飛行移動終端運行，這種蜂窩網(wǎng)絡(luò)連接的無人機可以實現(xiàn)視頻流、物品交付等多種應(yīng)用.與傳統(tǒng)的地面基站相比，使用無人機作為飛行基站的優(yōu)勢是能夠調(diào)整高度、避開障礙物，并提高與地面用戶建立視影通信鏈路的可能性[106].

裝有不同類型傳感器（如攝像機、全球定位系統(tǒng)和濕度傳感器）的無人機通過收集周圍環(huán)境的傳感數(shù)據(jù)來執(zhí)行傳感任務(wù).由于風(fēng)和其他隨機因素，大規(guī)模無人機控制變得具有挑戰(zhàn)性，以避免碰撞并快速到達(dá)目的地.基于無線網(wǎng)絡(luò)的FL 可以實現(xiàn)對無人機機群的飛行路線控制[92].

2）FL 在車聯(lián)網(wǎng)中的應(yīng)用研究.圖5 顯示了智能交通下的FL 用例.文獻[100]研究了車聯(lián)網(wǎng)中超可靠低時延通信的聯(lián)合功率和資源分配問題，F(xiàn)L 用于估計反映網(wǎng)絡(luò)狀態(tài)的網(wǎng)絡(luò)范圍隊列長度的尾部分布.文獻[101]討論了車聯(lián)網(wǎng)中使用FL 進行圖像分類的問題.車輛客戶端配備有各種傳感器來捕獲圖像，通過考慮局部圖像質(zhì)量和每輛車的計算能力，引入選擇性模型聚集方法來選擇在車輛處計算的局部模型.考慮到無線資源的有效利用和低時延，在車輛附近進行學(xué)習(xí)是很重要的，為了將FL 應(yīng)用于分散網(wǎng)絡(luò)，可以結(jié)合車輛聚類的方法，即選擇一些車輛作為FL的參數(shù)服務(wù)器.在文獻[107]中提出了將一種聯(lián)合分配發(fā)射功率和資源分配方法用于在車輛網(wǎng)絡(luò)中實現(xiàn)超可靠的低時延通信.在傳統(tǒng)的同步FL 中，每個車輛從服務(wù)器獲取全局模型，并將更新推送到服務(wù)器.然后，服務(wù)器同步所有更新，并將更新聚合到全局模型中.同步學(xué)習(xí)會導(dǎo)致較高的通信成本，同時還會導(dǎo)致等待較慢節(jié)點的空閑時間較長.一些研究探索了異步學(xué)習(xí)機制以提高學(xué)習(xí)效率.例如，文獻[108]中提出了一種異步小批量算法，利用多個處理器來解決正則化隨機優(yōu)化問題.為了提高FL 的效率，文獻[109]提出一種基于節(jié)點選擇和異步聚合算法的異步FL 方案，為了提高共享數(shù)據(jù)的可靠性，通過將學(xué)習(xí)的模型集成到區(qū)塊鏈并執(zhí)行2 階段驗證.文獻[4]提出一種基于FL 的無人機飛行自組網(wǎng)干擾攻擊檢測機制，基于Dempster-Shafer 理論的客戶端選擇方法可以提高FL 的學(xué)習(xí)效率.

Fig.5 Intelligent transportation圖5 智能交通

3）FL 在目標(biāo)定位方面的研究.在新冠肺炎大流行期間，需要共享跟蹤感染傳播和預(yù)測高風(fēng)險區(qū)域的同時，迫切需要保護移動用戶的位置隱私.FL 框架是一個出色的解決方案，可以提高無線定位的準(zhǔn)確性，同時保護用戶之間的安全合作.文獻[110]中使用FL 來訓(xùn)練機器學(xué)習(xí)模型進行本地化，稱為聯(lián)邦本地化.作為本地客戶端，每個移動設(shè)備收集關(guān)于無線電特征和位置的本地數(shù)據(jù)，在本地更新模型參數(shù)集，并將其發(fā)送到中央服務(wù)器.基站或聚合中心作為中心服務(wù)器，將接收到的局部參數(shù)集合進行聚合，得到全局參數(shù)集合.在對2 種機器學(xué)習(xí)模型進行局部化比較之后，基于真實數(shù)據(jù)的測試，具有最大似然損失函數(shù)的高斯過程模型優(yōu)于具有最小二乘損失函數(shù)的神經(jīng)網(wǎng)絡(luò)模型.

4）FL 在無線環(huán)境下存在巨大的應(yīng)用需求.但由于無線通信資源有限，這可能會影響FL 的性能.因此，有必要根據(jù)模型更新的上下文信息來調(diào)整資源分配優(yōu)化FL.FL 模型更新時間包括用戶設(shè)備計算的時間（取決于用戶設(shè)備的CPU 類型和本地數(shù)據(jù)集大?。€包括所有用戶設(shè)備的通信時間（取決于用戶設(shè)備信道增益和更新數(shù)據(jù)集大?。?由于參與者的電池電量有限，如何分配用戶設(shè)備資源（如計算和傳輸功率）以最小化能耗是主要關(guān)注的問題.即如何在最小化FL 模型更新時間和用戶設(shè)備能耗這2 個相互沖突的目標(biāo)之間取得平衡？為此，Merluzzi 等人[111]提出面向邊緣學(xué)習(xí)的一種通信和計算資源分配的動態(tài)調(diào)整策略，探索系統(tǒng)能耗、系統(tǒng)服務(wù)延遲和學(xué)習(xí)精度之間的最佳權(quán)衡.這種方法為確保在特定應(yīng)用程序所施加的指定延遲約束內(nèi)保證FL 精度的方法鋪平了道路.相似地，Yang 等人[112]考慮本地計算和無線傳輸?shù)臅r延和總消耗能量的折中，提出了一種低復(fù)雜度的迭代學(xué)習(xí)算法.在該算法的每一步，都得到了時間分配、帶寬分配、功率控制、計算頻率和學(xué)習(xí)精度的新的閉式解，解決了一個以完成時間和總消耗能量的最小加權(quán)和為目標(biāo)的聯(lián)合傳輸和計算的優(yōu)化問題.面向邊緣智能環(huán)境下天然的端邊云應(yīng)用場景，Luo 等人[113]提出一種端邊云分層的聯(lián)邦邊緣學(xué)習(xí)框架，制定了一個整體聯(lián)邦計算、通信資源分配和邊緣關(guān)聯(lián)的模型用于全局學(xué)習(xí)成本最小化，該框架在低延遲和高能效的FL 中具有巨大的潛力.Abad 等人[114]進一步考慮在異構(gòu)蜂窩網(wǎng)絡(luò)中實現(xiàn)聯(lián)邦邊緣學(xué)習(xí)，利用梯度稀疏化提出了一種優(yōu)化的同步梯度更新資源分配方案來最小化訓(xùn)練的延遲.

文獻[111-114]主要從整體訓(xùn)練的角度來進行無線資源分配，而文獻[115-118]則從用戶調(diào)度的角度實現(xiàn)了用戶設(shè)備偏好的資源分配.文獻[115]將重要度感知的無線資源管理的設(shè)計原則應(yīng)用于改進用戶調(diào)度，根據(jù)信道狀態(tài)和數(shù)據(jù)統(tǒng)計對模型訓(xùn)練的重要性，將無線資源分配給終端設(shè)備.文獻[116]通過降低訓(xùn)練組中速度較快的移動設(shè)備的CPU 循環(huán)頻率來提高FL 的能量效率.文獻[117]為了降低設(shè)備的能量消耗，提出高效的帶寬分配和調(diào)度策略，導(dǎo)出的調(diào)度優(yōu)先權(quán)函數(shù)能適應(yīng)設(shè)備的信道狀態(tài)和計算能力，為具有較好信道狀態(tài)和計算能力的設(shè)備提供了偏好.文獻[118]提出一種概率用戶選擇方案，選擇本地模型對基站連接以及全局模型具有高概率影響的用戶，為他們分配上行資源塊.文獻[119-120]重點關(guān)注了通信資源的分配.文獻[119]則對全局聚合的通信資源分配和局部更新模型參數(shù)的計算資源分配進行了聯(lián)合優(yōu)化.特別地，分別基于非正交多址和時分多址，提出了2 種用于邊緣設(shè)備向邊緣服務(wù)器上傳機器學(xué)習(xí)參數(shù)的傳輸協(xié)議.在這2 種協(xié)議下，通過聯(lián)合優(yōu)化全局聚合上傳參數(shù)過程中的終端設(shè)備傳輸功率和速率以及本地更新過程中的CPU 頻率，從而在有限時間內(nèi)最小化所有終端設(shè)備的總能量消耗.文獻[120]提出了對數(shù)據(jù)批量大小和無線資源的優(yōu)化來加速FL.

文獻[111-120]研究工作在隨機梯度下降算法的基礎(chǔ)上，側(cè)重于增加時間和能耗的約束來進行資源分配，主要通過構(gòu)建能耗模型來優(yōu)化能效，或者從無線資源管理的角度對一些設(shè)備狀態(tài)較好的客戶端進行偏好設(shè)置.文獻[121-122]通過引入深度強化學(xué)習(xí)技術(shù)與動態(tài)環(huán)境的交互，來優(yōu)化模型訓(xùn)練的資源分配.Anh 等人[121]提出一個以訓(xùn)練服務(wù)器為主體，狀態(tài)空間包括移動設(shè)備的CPU 和能量狀態(tài)，動作空間包括從移動設(shè)備獲取的數(shù)據(jù)單元和能量單元的數(shù)量的隨機優(yōu)化問題.獎勵被定義為累積數(shù)據(jù)、能量消耗和訓(xùn)練延遲的函數(shù)，然后采用雙深度Q 網(wǎng)絡(luò)來解決該優(yōu)化的問題.作為對文獻[121]的擴展，文獻[122]提出一種使用深度強化學(xué)習(xí)的資源分配方法，考慮了FL 參與者的移動性.在沒有移動網(wǎng)絡(luò)先驗知識的情況下，F(xiàn)L 參數(shù)服務(wù)器能夠優(yōu)化參與者之間的資源分配.類似地，文獻[123]也提出了通過D2D 通信結(jié)合FL 來構(gòu)建D2D-FedAvg 算法.該算法利用狀態(tài)較好的設(shè)備作為D2D 學(xué)習(xí)組的簇頭，從無線資源的角度降低FL 蜂窩網(wǎng)絡(luò)的通信負(fù)載.

盡管移動設(shè)備的計算能力迅速增長，但許多設(shè)備仍然面臨無線資源短缺的問題.針對這個問題，越來越多的研究致力于開發(fā)面向FL 的高效無線通信技術(shù)[73,80,114].Zhu 等人[73]研究了寬帶無線衰落MAC上的FL，其中設(shè)備在完全了解信道狀態(tài)信息（channel state information，CSI）的情況下執(zhí)行信道反轉(zhuǎn)，以在參數(shù)服務(wù)器處對齊它們的信號，并提出一種用于無線網(wǎng)絡(luò)FL 的多址寬帶模擬聚合（broadband analog aggregation，BAA），以減少FL 中的通信延遲，而不是在服務(wù)器的全局聚合期間分別執(zhí)行通信和計算，BAA 方案基于空中計算的概念，通過利用多址信道的信號疊加特性來集成計算和通信.BAA 方案允許整個帶寬的重用，而傳統(tǒng)的正交頻分多址是正交化帶寬分配.文獻[73]的研究表明，BAA 方案可以達(dá)到與正交頻分多址方案相當(dāng)?shù)臏y試精度，同時降低延遲10～1 000 倍.Amiri 等人[74]進一步擴展，在空中計算基礎(chǔ)上引入了誤差積累和梯度稀疏化，能更有效地利用帶寬，顯著降低通信負(fù)載，同時可以獲得比空中計算更高的測試精度.與文獻[74]相似，文獻[124]針對AirComp 過程中產(chǎn)生的聚集誤差會導(dǎo)致模型精度下降的問題，提出一種參與者選擇算法用于訓(xùn)練的設(shè)備數(shù)量最大化，以提高統(tǒng)計學(xué)習(xí)性能，同時將信號失真保持在一定的閾值以下.圖6 展示了該算法的原理.

Fig.6 The parameters are aggregated by air calculation and spatial freedom[125]圖6 通過空中計算并利用空間自由度進行參數(shù)聚合[125]

由圖6 可知，本地客戶端通過無線信道同時發(fā)送本地參數(shù)集的第i個元素，這些元素具有功率比例則在中央服務(wù)器接收的信號向量將是其中hk和n分別對應(yīng)于本地客戶端k的信道增益向量和噪聲向量.之后結(jié)合波束形成向量m得到這里的波束形成矢量為高效傳輸提供了自由度.如果每個本地客戶端沒有噪聲或最大功率限制，則應(yīng)選擇m和Pk，以使根據(jù)式（4）進行聚合.實際上，由于信道失真和每個本地客戶端的最大傳輸功率限制，尤其當(dāng)存在大量的客戶端時，可能沒有足夠的自由度來實現(xiàn)聚合.文獻[124]提出了一個稀疏低秩化問題來解決這個問題.在文獻[124-126]中分別介紹了多天線參數(shù)服務(wù)器處的波束形成技術(shù)，用于增加參與設(shè)備的數(shù)量和克服設(shè)備處的CSI 匱乏.文獻[127]研究了無線信道上的FL 的跨設(shè)備的資源分配，設(shè)備的參與頻率作為設(shè)備調(diào)度度量標(biāo)準(zhǔn)引入[128].文獻[129-131]提供了在各種資源分配方案下無線網(wǎng)絡(luò)上的FL 的收斂性分析.文獻[132]考慮在資源有限的塊衰落無線網(wǎng)絡(luò)中從邊緣設(shè)備到基站的數(shù)字傳輸，設(shè)計了新的設(shè)備調(diào)度策略和跨設(shè)備的資源分配，以執(zhí)行正交（無干擾）傳輸.數(shù)值結(jié)果說明了在設(shè)備調(diào)度中同時考慮信道條件和本地模型更新的優(yōu)勢，而不是基于2 個度量中的任何一個單獨進行調(diào)度.

上述資源優(yōu)化方法的目標(biāo)是提高FL 的訓(xùn)練效率，然而，這可能會導(dǎo)致一些設(shè)備因資源有限而被排除在聚合階段之外.這種不公平的資源分配的一個后果是FL 模型將被擁有更高計算能力設(shè)備的參與者所擁有的數(shù)據(jù)的分布所過度代表.因此，面向FL的無線資源分配還需要結(jié)合數(shù)據(jù)統(tǒng)計分布特性進一步優(yōu)化.邊緣智能FL 技術(shù)的一個發(fā)展方向.

2）FL 需要與無線網(wǎng)絡(luò)深度融合[39,41]，提升學(xué)習(xí)收斂速度.FL 能夠大規(guī)模實際應(yīng)用的一個重要方面是學(xué)習(xí)算法在有限的通信和計算資源下能夠快速收斂.為實現(xiàn)該目標(biāo)，F(xiàn)L 除了算法方面的優(yōu)化，還需要網(wǎng)絡(luò)技術(shù)的協(xié)同優(yōu)化來解決資源受限問題.目前，分布式邊緣智能應(yīng)用需求已經(jīng)驅(qū)動了無線通信技術(shù)與網(wǎng)絡(luò)架構(gòu)的革新與發(fā)展.未來面向6G 無線通信系統(tǒng)，F(xiàn)L 技術(shù)需要更緊密地與無線通信技術(shù)耦合，享受無線通信技術(shù)發(fā)展帶來的紅利，實現(xiàn)AirComp 與空口通信的有機融合，進而突破通信與計算資源對學(xué)習(xí)性能的限制.

3）FL 需要結(jié)合遷移學(xué)習(xí)、強化學(xué)習(xí)等技術(shù)，滿足邊緣智能應(yīng)用的多樣化需求.遷移學(xué)習(xí)與強化學(xué)習(xí)已經(jīng)取得了長足的進步.在實際應(yīng)用中，F(xiàn)L 各個參與方可能只有少量的標(biāo)注數(shù)據(jù)，而且數(shù)據(jù)在統(tǒng)計上可能高度異構(gòu).為了幫助只有少量數(shù)據(jù)和弱監(jiān)督的應(yīng)用建立有效且精確的機器學(xué)習(xí)模型，并且不違背用戶的數(shù)據(jù)隱私原則，F(xiàn)L 可以與遷移學(xué)習(xí)結(jié)合，形成聯(lián)邦遷移學(xué)習(xí)，以適用于更廣的業(yè)務(wù)范圍.同樣，F(xiàn)L可以對分布式強化學(xué)習(xí)進行擴展，形成強化學(xué)習(xí)的隱私保護版本——聯(lián)邦強化學(xué)習(xí)，解決邊緣智能環(huán)境下的序列決策問題.

4）FL 需要有效的參與激勵機制.FL 目前的大多數(shù)研究側(cè)重于提升性能，但忽略了學(xué)習(xí)參與者的意愿問題.在邊緣智能應(yīng)用環(huán)境下，如何鼓勵數(shù)據(jù)擁有者積極參與聯(lián)邦訓(xùn)練是一個非常現(xiàn)實的問題.特別是如何刻畫數(shù)據(jù)質(zhì)量，并激勵擁有高質(zhì)量數(shù)據(jù)的客戶端參與FL 是未來需要深入探索的一個潛在方向.

5 結(jié)論與展望

從目前邊緣智能FL 的研究現(xiàn)狀可見，F(xiàn)L 在客戶端選擇、模型訓(xùn)練與模型更新等方面都取得了大量的進展，基本能夠滿足邊緣智能應(yīng)用的實際需求.但是面向未來大規(guī)模多樣化的邊緣智能應(yīng)用，F(xiàn)L 技術(shù)還存在很大的發(fā)展空間.

1）FL 過程需要更細(xì)粒度的隱私保護.目前的FL架構(gòu)采用了差分隱私[84]或者多方安全計算[133]等技術(shù)來實現(xiàn)模型聚合傳遞參數(shù)的隱私保護.這些技術(shù)能夠提供系統(tǒng)全局粒度的隱私保護.在未來的邊緣智能應(yīng)用中，異構(gòu)終端、異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)等天然的異構(gòu)應(yīng)用環(huán)境需要更細(xì)粒度的隱私保護方法.例如不同設(shè)備之間、不同樣本集合之間需要不同粒度的隱私保護.設(shè)計不同粒度混合的隱私保護方法是

作者貢獻聲明：張雪晴負(fù)責(zé)論文的整體文獻調(diào)研、整理及撰寫；劉延偉輔助調(diào)研、提出論文整體思路、設(shè)計全文框架和審核最終論文；劉金霞、韓言妮對論文結(jié)構(gòu)與內(nèi)容進行討論、修改，并提出了指導(dǎo)意見.