翟孟冬　陳宇　林榕健　李軍

摘要：隨著移動設備自身存儲和計算能力的提升，越來越多移動設備在本地進行數(shù)據(jù)處理，如傳感器，智能穿戴設備和車載應用等。當前機器學習技術(shù)在計算機視覺，自然語言處理，模式識別等領(lǐng)域取得了巨大成功，然而當前機器學習方法是中心化的，數(shù)據(jù)中心或者云服務器能夠?qū)?shù)據(jù)進行訪問。聯(lián)邦學習作為新型的分布式機器學習范式，借助設備本身的存儲和計算能力，能夠在數(shù)據(jù)不出本地的情況下進行機器學習中的模型共建，從而保護數(shù)據(jù)隱私，從而有效解決數(shù)據(jù)孤島問題。邊緣計算能夠在靠近設備端提供計算，存儲和網(wǎng)絡資源，為高帶寬低時延的應用提供基礎(chǔ)。在聯(lián)邦學習訓練中，設備數(shù)量增加，設備網(wǎng)絡情況復雜多變等均為聯(lián)邦學習中的聯(lián)合訓練上帶來了巨大挑戰(zhàn)，如設備選擇，網(wǎng)絡通信開銷大等狀況。本文首先介紹了邊緣計算的基礎(chǔ)，以及聯(lián)邦學習的聯(lián)合訓練流程，通過對聯(lián)邦學習和邊緣計算的融合應用進行分析研究，進一步我們對基于邊緣計算的聯(lián)邦學習做了分析，最后我們對當前的主要挑戰(zhàn)以及未來的研究方向做了總結(jié)。

關(guān)鍵詞：邊緣計算;聯(lián)邦學習;數(shù)據(jù)隱私

中圖分類號：G424? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）07-0001-04

1背景介紹

1.1 邊緣計算概述

目前世界上有70億物聯(lián)網(wǎng)設備[1]，設備收集的數(shù)據(jù)在云數(shù)據(jù)中心之外[2]。邊緣計算在靠近數(shù)據(jù)源的一側(cè)，可以為設備的數(shù)據(jù)處理其自身的網(wǎng)絡、計算和儲資源[3]，在多個設備聯(lián)合進行機器學習訓練時可以將模型靠近數(shù)據(jù)端[4]，在智能家居、智能醫(yī)療和智慧城市等領(lǐng)域具有廣闊的應用前景[5-6]。典型的邊緣計算應用包括端設備，邊緣節(jié)點，云數(shù)據(jù)中心[7]。由于數(shù)據(jù)不必上傳至數(shù)據(jù)中心，對主干網(wǎng)絡依賴程度降低，邊緣計算具有高帶寬低時延的特點[8]。

1.2 聯(lián)邦學習概述

傳統(tǒng)的以云端為中心的機器學習方法中，從移動設備收集到的數(shù)據(jù)，比如文本、音頻、視頻等數(shù)據(jù)資源需要全部上傳到云端，由云端的數(shù)據(jù)中心對數(shù)據(jù)進行訓練。為了保證數(shù)據(jù)擁有方的隱私問題，聯(lián)邦學習應運而生[9]。聯(lián)邦學習允許移動設備在本地利用本地數(shù)據(jù)對模型進行訓練，訓練結(jié)束后，移動設備不需要發(fā)送給云端發(fā)送涉及設備隱私的敏感數(shù)據(jù)，而只需上傳更新后的模型，比如模型中參數(shù)，聯(lián)邦學習的中心服務器再對收集到的模型數(shù)據(jù)進行聚合，這個過程持續(xù)直到聯(lián)合訓練模型達到預期的準確率。因此聯(lián)邦學習可以和邊緣計算充分結(jié)合。聯(lián)邦學習包括橫向聯(lián)邦學習和縱向聯(lián)邦學習，本文關(guān)注模型的聯(lián)合訓練[10]。

總體來說，聯(lián)邦學習訓練過程包括三步。如圖1所示：

第一步，任務初始化。中心服務器選擇訓練任務，目標應用和數(shù)據(jù)要求。中心服務器指定全局模型和訓練過程的超參數(shù)，如學習率，然后將初始全局模型[w0G]廣播給參與方。

第二步，本地模型訓練并更新參數(shù)?；谌帜Ｐ蚚wtG]，t指當前迭代次數(shù)，每個參與方各自使用本地數(shù)據(jù)在本地進行訓練，并更新本地參數(shù)[wti]。第i個參與方在第t次迭代的主要目標是找到更優(yōu)的參數(shù)[wti]來最小化損失函數(shù)[L（wti）]，即：

更新的本地模型隨后發(fā)至中心服務器。

第三步，全局模型聚合和更新。中心服務器聚合來自所有參與方的模型參數(shù)，然后將更新的全局模型參數(shù)[wt+1G]發(fā)送至數(shù)據(jù)擁有者（參與方）。

中心服務器的目標是最小化全局損失函數(shù)，即：

重復第二步和第三步直到全局損失函數(shù)收斂或準確率達到要求。聯(lián)邦學習的訓練過程可以處理不同的機器學習任務如支持向量機[11]，神經(jīng)網(wǎng)絡，線性回歸[12]等。

1.3 研究現(xiàn)狀總結(jié)

當前大部分關(guān)于邊緣計算和聯(lián)邦學習的研究過于獨立，如在邊緣計算中討論優(yōu)化緩存和計算卸載策略優(yōu)化時未能考慮數(shù)據(jù)隱私問題[3，13-17]。在聯(lián)邦學習的研究中，針對多個參與方數(shù)據(jù)分布差異考慮了不同的聯(lián)邦學習架構(gòu)[18]，針對無線通信和蜂窩網(wǎng)絡的架構(gòu)亦有研究[19-20]，但都未能在聯(lián)邦學習中考慮到邊緣計算網(wǎng)絡。本文針對基于邊緣計算的聯(lián)邦學習的聯(lián)合研究，并討論了聯(lián)邦學習在邊緣計算環(huán)境下協(xié)同訓練的挑戰(zhàn)和問題，能夠進一步利用邊緣計算的架構(gòu)對聯(lián)邦學習進行優(yōu)化。

2 基于邊緣計算的聯(lián)邦學習研究

根據(jù)聯(lián)邦學習訓練過程，在聯(lián)邦學習中有多個挑戰(zhàn)，如多個參與方的數(shù)據(jù)分布不同，主要是非獨立同分布的數(shù)據(jù)造成訓練準確度的降低[21]-[23]，分布式訓練的收斂性等[21][24][25]，此外，相比于分布式機器學習，還有以下特征：1）緩慢且不穩(wěn)定的通信鏈接;2）異構(gòu)的設備（參與方）;3）隱私和安全問題，針對這三個特征，分別從三個方面展開研究：1）通信開銷;2）資源選擇;3）隱私和安全。本小節(jié)針對以上問題對相關(guān)研究進行調(diào)研并討論解決方案。

2.1 通信成本

聯(lián)邦學習中，在系統(tǒng)達到目標的準確率之前，移動設備和聯(lián)邦學習服務器之間需要進行許多輪的通信，也就是移動設備需要將每一輪訓練好的模型上傳到云端。對于一些復雜的深度學習模型，比如卷積神經(jīng)網(wǎng)絡，每一個模型可能都包含幾百萬個參數(shù)[26]，如果頻繁地進行通信，會造成較大的通信開銷并成為模型訓練的瓶頸。因此，如何減小聯(lián)邦學習的通信成本成為一個至關(guān)重要的問題。常見的減小通信成本的方法有：（1）增加邊緣側(cè)的計算量。邊緣側(cè)頻繁地對模型進行上傳是造成網(wǎng)絡通信成本高的主要原因，因此需要減小邊緣設備上傳模型的次數(shù)，考慮到移動設備的處理器越來越強大且訓練模型的數(shù)據(jù)集相對較小，因此可以在移動設備本地對模型進行更多的訓練，之后再將訓練好的模型上傳到聯(lián)邦學習服務器。由于經(jīng)過更多計算之后的模型效果更好，因此邊緣設備需要迭代的次數(shù)也就更少，通過減小上傳頻率減少了通信成本，這種方法的代價就是邊緣側(cè)的移動設備需要進行更多的計算[27-29];（2）壓縮模型。分布式機器學習中經(jīng)常采用壓縮模型的方法來減小通信成本。通過稀疏化、量子化和二次抽樣等方法可以將模型壓縮為一個更緊湊的模型，從而減小了上傳到云端的模型的大小。由于壓縮模型可能會引入噪聲，因此使用這種方法需要注意在減小模型大小的同時保證模型訓練的質(zhì)量[30-32];（3）基于重要性的更新。為了減少上傳模型的大小，除了壓縮模型，還可以對上傳模型的參數(shù)進行過濾，可以有選擇性地只上傳部分較為重要的參數(shù)，這種方法可以大大減小每一輪的通信開銷。實際上進行有選擇性的模型上傳獲得的全局模型要比上傳全部模型參數(shù)獲得的全局模型的性能更佳[28，33，34]。

2.2 資源分配

聯(lián)邦學習中，含有很多不同的設備，這些設備含有不同質(zhì)量的數(shù)據(jù)集、電量、參與計算意愿程度。對于給定的不同設備和資源約束，比如設備電量和通信帶寬，需要優(yōu)化資源分配以達到最高的訓練效率。對于聯(lián)邦學習中的資源分配，主要考慮以下幾個問題。

選擇參與者。選擇參與者指的是選擇在一輪訓練過程中對于參與設備的選擇。通常，在一輪聯(lián)邦學習訓練過程中，聯(lián)邦學習服務器會隨機選擇一些參與者進行訓練，這些被選中的設備訓練結(jié)束后再將各自的模型參數(shù)上傳到云端，云端的聯(lián)邦學習服務器再對模型參數(shù)進行加權(quán)聚合[27]。這種模式下每輪訓練的時間就受到訓練時間最長的設備的影響[35]，因此亟需研究新的選擇參與者的協(xié)議，來解決聯(lián)邦學習訓練時的瓶頸問題。

適應性聚合。聯(lián)邦學習需要移動設備上傳模型參數(shù)到聯(lián)邦學習服務器進行聚合。傳統(tǒng)的全局聚合的方法是同步的，即在一個固定的時間間隔內(nèi)所有的設備都在本地進行一定輪數(shù)的訓練，之后再聚合。對于給定的資源限制，需要研究如何通過調(diào)整聚合為適應性聚合，即能夠根據(jù)資源限制和訓練效率動態(tài)調(diào)整聚合時間來最大化訓練效率[35]。

激勵機制。在實際的聯(lián)邦學習過程中，由于本地訓練比較消耗計算和網(wǎng)絡資源等原因，許多的設備不愿意參與模型訓練。因此，聯(lián)邦學習服務器和參與者之間就形成了信息不對稱，因為參與者更了解它們的計算資源和數(shù)據(jù)質(zhì)量。因此，需要研究出一套對于參與者的激勵機制來激勵參與者進行訓練并減小由于信息不對稱帶來的潛在不良影響，研究者試圖通過定制價格機制來促進設備參與訓練[36]，也有研究人員將模型擁有方和數(shù)據(jù)擁有方建模成Stackberg博弈模型[37]。

2.3 隱私和安全問題

聯(lián)邦學習的重要的出發(fā)點就是要保護參與方的隱私，即參與方只需要分享訓練模型必需的參數(shù)而不是分享設備的數(shù)據(jù)。然而，有研究顯示如果聯(lián)邦學習中存在惡意的參與者或者服務器，會引起很大的隱私和安全問題[38]。甚至可能因為存在惡意的參與者或服務器而導致最終獲得的全局模型被破壞[39-40]，也可能使得參與聯(lián)邦學習的設備的隱私泄漏。

對于隱私泄漏問題，盡管聯(lián)邦學習不要求參與協(xié)同訓練的移動設備上傳除了模型參數(shù)以外的數(shù)據(jù)，一個惡意的參與者還是可以從其他參與者分享的模型中推斷出來一些敏感信息，比如性別、職業(yè)、位置等。研究者[38，41]展示了在FaceScrub數(shù)據(jù)集上訓練一個二元的性別分類器任務時，僅僅通過分析其他參與者分享的模型就可以推斷出其他參與者的輸入數(shù)據(jù)信息，準確率高達90%。

對于安全問題，在聯(lián)邦學習中，為了提高模型預測的準確率，參與者在本地進行訓練并分享訓練后的模型參數(shù)，然而，這個過程可能遭受多種攻擊。比如數(shù)據(jù)污染[42]和模型污染[43][44]，即一個惡意的參與者可以向云端的聯(lián)邦學習服務器故意發(fā)送錯誤的參數(shù)來破壞模型參數(shù)的全局聚合過程。這樣得到的全局模型無法進行正常的更新，整個學習系統(tǒng)就被破壞了。研究者通過多種方式來保護數(shù)據(jù)或模型，如基于區(qū)塊鏈的聯(lián)邦學習架構(gòu)BlockFL[45]。

3 基于邊緣計算的聯(lián)邦學習挑戰(zhàn)與趨勢

聯(lián)邦學習作為一種新技術(shù)，由于多用戶參與，聯(lián)邦學習本身的分布式和本地計算特征，在大規(guī)模部署聯(lián)邦學習方面仍存在新的研究方向挑戰(zhàn)。

3.1 用戶離線

現(xiàn)有的一些為解決訓練瓶頸和資源異構(gòu)性提出的算法，例如合理選擇參與者[46]，資源分配算法[47]，都是建立在假設參與用戶始終在線可用。然而，在實際的訓練過程中，參與訓練的用戶可能會正常運行執(zhí)行訓練任務，也有可能因為網(wǎng)絡原因，電量不足等各種各樣的情況，從聯(lián)邦學習系統(tǒng)中登出。參與訓練的用戶的離線，會顯著的降低現(xiàn)有聯(lián)邦學習系統(tǒng)的性能，例如準確率和收斂速度。為了解決這潛在的用戶離線情況，未來的聯(lián)邦學習算法需要對網(wǎng)絡中參與的用戶丟失具有魯棒性，并且可以解決只有少數(shù)用戶參與訓練的時候模型的準確性。一種可能的解決方案是，聯(lián)邦學習的發(fā)起者為參與的用戶提供免費的專用鏈接，例如可以使用蜂窩鏈接，以此來避免參與者退出。

3.2 隱私問題

盡管模型的訓練是在本地進行，本地設備與聯(lián)邦學習服務器進行交換的只有模型的訓練參數(shù)，但是一些論文中發(fā)現(xiàn)，在訓練的過程中的模型參數(shù)仍可能向?qū)Ψ交蛘叩谌教峁┮恍┟舾行韵48-49]。針對該問題，現(xiàn)有提出一些類似差分隱私、協(xié)作訓練的安全解決方案，但在另外保護隱私的情況下，會犧牲聯(lián)邦學習系統(tǒng)的性能，影響模型訓練結(jié)果的準確性。在聯(lián)邦學習系統(tǒng)設計時，合理的進行隱私保證和系統(tǒng)性能保證之間的權(quán)衡是一個關(guān)鍵問題。

3.3 無標簽數(shù)據(jù)

現(xiàn)有的一些聯(lián)邦學習訓練的方法都是針對監(jiān)督學習任務提出的，即假設聯(lián)邦網(wǎng)絡中所有的數(shù)據(jù)都已經(jīng)被標記。然而在實際的訓練過程中，網(wǎng)絡中生成的數(shù)據(jù)很可能沒有標簽或者具有錯誤標簽[50]。對于這些數(shù)據(jù)如果不進行特殊處理，將對服務器尋找合適數(shù)據(jù)進行模型訓練帶來巨大挑戰(zhàn)。對于系統(tǒng)中未進行標記或標記錯誤的數(shù)據(jù)的情形，主要考驗聯(lián)邦學習系統(tǒng)的可伸縮性和異構(gòu)性。一種可行的解決方案是使移動設備能夠相互學習“標記數(shù)據(jù)”來構(gòu)造標記數(shù)據(jù)。同時，還可以使用半監(jiān)督學習技術(shù)克服標簽數(shù)據(jù)不足的問題。

3.4 移動設備之間干擾

現(xiàn)有的資源分配方法，是根據(jù)參與聯(lián)邦學習用戶設備的資源狀態(tài)來進行用戶選擇[51-52]。實際訓練過程中，這些參與訓練的用戶設備在地理上可能是彼此靠近的，例如，可能參與訓練的兩個用戶在同一個小區(qū)。在這種情況下，當用戶設備進行參數(shù)更新提供給聯(lián)邦學習服務器時，會產(chǎn)生干擾問題。對于干擾問題，可以通過將信道分配策略與資源分配方法結(jié)合在一起進行解決。現(xiàn)有的一些研究提出了多路訪問方案和無線計算，但是對于該方法的擴展性還需要進一步深入研究。另外對于該方法是否能夠支持多個用戶訓練的聯(lián)合也需要進一步研究。

3.5 異步聯(lián)邦學習

現(xiàn)有的聯(lián)邦學習系統(tǒng)，大多是同步聯(lián)邦學習，每輪訓練的收斂速度由運行最慢的設備所決定。在一些論文中提出了異步聯(lián)邦學習的方法來解決訓練速度與最慢設備的依賴[53-54]。異步聯(lián)邦學習同時還可以允許參與訓練的用戶中途退出，或者在訓練過程中允許新用戶加入，這更符合現(xiàn)實環(huán)境下的聯(lián)邦學習，參與聯(lián)邦學習訓練的用戶可能會因為網(wǎng)絡問題或者電量問題中途退出或加入。而異步聯(lián)邦學習的提出可以更好地解決聯(lián)邦學習伸縮性問題。由于要保證收斂性，同步聯(lián)邦學習仍是現(xiàn)在最常用的方法，鑒于異步聯(lián)邦學習的眾多優(yōu)點，未來還應探索和設計異步聯(lián)邦學習算法。

3.6 通信安全

由于聯(lián)邦學習參與用戶地理上的分布性，采用無線介質(zhì)進行信息傳輸，由于無線介質(zhì)的暴露特性，聯(lián)邦學習很容易受到通信安全方面的影響，例如會存在干擾攻擊和分布式拒絕服務攻擊[55]。對于干擾攻擊，攻擊者可以發(fā)射高功率的射頻干擾信號，破壞或干擾移動設備與服務器之間的通信。這種干擾會使模型上傳或下載模型參數(shù)出錯，從而降低聯(lián)邦學習系統(tǒng)的性能，例如準確性。針對這種干擾攻擊，可以采用Anti-jamming之類的抗干擾方案，例如，在不同頻率發(fā)送一份模型更新參數(shù)的副本。

4 結(jié)束語

本文對對邊緣計算和聯(lián)邦學習進行了簡單介紹，并且對聯(lián)邦學習在邊緣計算的環(huán)境下的研究做了綜合的探討，當前研究存在的問題以及相應的解決方案進行了簡述和總結(jié)，并進一步探討了邊緣環(huán)境下聯(lián)邦學習的挑戰(zhàn)和研究趨勢。

參考文獻：

[1] K. L. Lueth.State of the iot 2018： Number of iot devices now at 7b - market accelerating， IOT Analytics， 2018.

[2] Cisco.Cisco global cloud index： Forecast and methodology， 2016-2021 white paper.

[3] Mao Y Y，You C S，Zhang J，etal.A survey on mobile edge computing：the communication perspective[J].IEEE Communications Surveys & Tutorials，2017，19（4）：2322-2358.

[4] Shi W S，Cao J，Zhang Q，etal.Edge computing：vision and challenges[J].IEEE Internet of Things Journal，2016，3（5）：637-646.

[5] 趙明.邊緣計算技術(shù)及應用綜述[J].計算機科學，2020，47（S1），47：268-272，282.

[6] 陸洋，李平，周慶華.智慧城市的基本單元：邊緣服務器的功能定位及其深度應用[J].科技導報，2020，38（09），38：55-61.

[7] Wang X F，Han Y W，Leung V C M，et al.Convergence of edge computing and deep learning：a comprehensive survey[J].IEEE Communications Surveys & Tutorials，2020，22（2）：869-904.

[8] CaproluM，Di Pietro R，Lombardi F，etal.Edge computing perspectives：architectures，technologies，and open security issues[C]//2019 IEEE International Conference on Edge Computing （EDGE）.July8-13，2019，Milan，Italy.IEEE，2019：116-123.

[9] McMahan H B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data[EB/OL].2016：arXiv：1602.05629[cs.LG].https：//arxiv.org/abs/1602.05629

[10] Yang Q，Liu Y，Chen T J，et al.Federated machine learning[J].ACM Transactions on Intelligent Systems and Technology，2019，10（2）：1-19.

[11] Burges C J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery，1998，2（2）：121-167.

[12] ZiegelER，Myers R.Classical and modern regression with applications[J].Technometrics，1991，33（2）：248.

[13] Mach P，Becvar Z.Mobile edge computing：a survey on architecture and computation offloading[J].IEEE Communications Surveys & Tutorials，2017，19（3）：1628-1656.

[14] Kumar K，Liu J B，Lu Y H，et al.A survey of computation offloading for mobile systems[J].Mobile Networks and Applications，2013，18（1）：129-140.

[15] Abbas N，Zhang Y，TaherkordiA，etal.Mobile edge computing：asurvey[J].IEEE Internet of Things Journal，2018，5（1）：450-465.

[16] Wang S，Zhang X，Zhang Y，et al.A survey on mobile edge networks：convergence of computing，caching and communications[J].IEEE Access，2017，5：6757-6779.

[17] Yao J J，Han T，Ansari N.On mobile edge caching[J].IEEE Communications Surveys & Tutorials，2019，21（3）：2525-2553.

[18] Yang Q，Liu Y，Chen T J，et al.Federated machine learning：concept and applications[EB/OL].2019：arXiv：1902.04885[cs.AI].https：//arxiv.org/abs/1902.04885

[19] Niknam S，Dhillon H S，Reed J H.Federated learning for wireless communications：motivation，opportunities，and challenges[J].IEEE Communications Magazine，2020，58（6）：46-51.

[20] Li T，Sahu A K，Talwalkar A，et al.Federated learning：challenges，methods，and future directions[J].IEEE Signal Processing Magazine，2020，37（3）：50-60.

[21] Zhao Y，Li M，Lai L Z，et al.Federated learning with non-IID data[EB/OL].2018

[22] Krizhevsky A， Hinton G. Learning multiple layers of features from tiny images[J]. 2009.

[23] Rubner Y，Tomasi C，Guibas L J.The earth mover's distance as a metric for image retrieval[J].International Journal of Computer Vision，2000，40（2）：99-121.

[24] Li X， Huang K， Yang W， et al. On the convergence of fedavg on non-iid data[J]. arXiv preprint arXiv：1907.02189， 2019.

[25] Huang L，Yin Y F，F(xiàn)u Z，et al.LoAdaBoost：loss-based AdaBoost federated machine learning on medical data[EB/OL].2018

[26] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June27-30，2016，LasVegas，NV，USA.IEEE，2016：770-778.

[27] McMahan H B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data[EB/OL].2016：arXiv：1602.05629[cs.LG].https：//arxiv.org/abs/1602.05629

[28] Liu Y，Kang Y，Zhang X W，et al.A communication efficient vertical federated learning framework[EB/OL].2019

[29] Yao X，Huang C F，Sun L F.Two-stream federated learning：reduce the communication costs[C]//2018 IEEE Visual Communications and Image Processing （VCIP）.December9-12，2018，Taichung，Taiwan，China.IEEE，2018：1-4.

[30] Kone?n? J，McMahan H B，Yu F X，et al.Federated learning：strategies for improving communication efficiency[EB/OL].2016

[31] Caldas S，Kone?ny J，McMahan H B，et al.Expanding the reach of federated learning by reducing client resource requirements[EB/OL].2018

[32] Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[33] Tao Z， Li Q. esgd： Communication efficient distributed deep learning on the edge[C]//{USENIX} Workshop on Hot Topics in Edge Computing （HotEdge 18），2018.

[34] Strom N. Scalable distributed DNN training using commodity GPU cloud computing[C]//Sixteenth Annual Conference of the International Speech Communication Association， 2015.

[35] Sprague M R，Jalalirad A，Scavuzzo M，et al.Asynchronous federated learning for geospatial applications[M]//CommunicationsinComputer and InformationScience.Cham：Springer InternationalPublishing，2019：21-28.

[36] Feng S H，Niyato D，Wang P，et al.Joint service pricing and cooperative relay communication for federated learning[C]//2019 International Conference on Internet of Things （iThings） and IEEE Green Computing and Communications （GreenCom） and IEEE Cyber，Physical and Social Computing （CPSCom） and IEEE Smart Data （SmartData）.July14-17，2019，Atlanta，GA，USA.IEEE，2019：815-820.

[37] Osborne M J. An introduction to game theory[M]. New York： Oxford university press， 2004.

[38] Melis L，Song C Z，De Cristofaro E，et al.Exploiting unintended feature leakage in collaborative learning[C]//2019 IEEE Symposium on Security and Privacy （SP）.May19-23，2019，SanFrancisco，CA，USA.IEEE，2019：691-706.

[39] Shokri R，Stronati M，Song C Z，et al.Membership inference attacks against machine learning models[C]//2017 IEEE Symposium on Security and Privacy （SP）.May22-26，2017，SanJose，CA，USA.IEEE，2017：3-18.

[40] Papernot N，McDaniel P，Goodfellow I.Transferability in machine learning：from phenomena to black-box attacks using adversarial samples[EB/OL].2016

[41] Ng H W，Winkler S.A data-driven approach to cleaning large face datasets[C]//2014 IEEE International Conference on Image Processing （ICIP）.October27-30，2014，Paris，F(xiàn)rance.IEEE，2014：343-347.

[42] Fung C，Yoon C J M，Beschastnikh I.Mitigating sybils in federated learning poisoning[EB/OL].2018

[43] Bhagoji A N，Chakraborty S，Mittal P，et al.Analyzing federated learning through an adversarial lens[EB/OL].2018

[44] Bagdasaryan E， Veit A， Hua Y， et al. How to backdoor federated learning[C]//International Conference on Artificial Intelligence and Statistics. PMLR， 2020： 2938-2948.

[45] Kim H，Park J，Bennis M，et al.On-device federated learning via blockchain and its latency analysis[EB/OL].2018

[46] Nishio T，Yonetani R.Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019 - 2019 IEEE International Conference on Communications （ICC）.May20-24，2019，Shanghai，China.IEEE，2019：1-7.

[47] Yoshida N，Nishio T，Morikura M，et al.Hybrid-FL for wireless networks：cooperative learning mechanism using non-IID data[EB/OL].2019：arXiv：1905.07210[cs.LG].https：//arxiv.org/abs/1905.07210

[48] Ateniese G，Mancini L V，Spognardi A，et al.Hacking smart machines with smarter ones：How to extract meaningful data from machine learning classifiers[J].International Journal of Security and Networks，2015，10（3）：137.

[49] Fredrikson M， Jha S， Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015： 1322-1333.

[50] Gu Z S，Jamjoom H，Su D，et al.Reaching data confidentiality and model accountability on the CalTrain[C]//2019 49th Annual IEEE/IFIP International Conference on Dependable Systems and Networks （DSN）.June24-27，2019，Portland，OR，USA.IEEE，2019：336-348.

[51] Nishio T，Yonetani R.Client selection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019 - 2019 IEEE International Conference on Communications （ICC）.May20-24，2019，Shanghai，China.IEEE，2019：1-7.

[52] Anh T T，Luong N C，Niyato D，et al.Efficient training management for mobile crowd-machine learning：a deep reinforcement learning approach[J].IEEE Wireless Communications Letters，2019，8（5）：1345-1348.

[53] Sprague M R，Jalalirad A， Scavuzzo M， et al. Asynchronous federated learning for geospatial applications[C]//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer， Cham， 2018： 21-28.

[54] Xie C，Koyejo S，Gupta I.Asynchronous federated optimization[EB/OL].2019

[55] Lau F，Rubin S H，Smith M H，et al.Distributed denial of service attacks[C]//Smc 2000 conference proceedings.2000 ieee international conference on systems，man and cybernetics.'cybernetics evolving to systems，humans，organizations，and their complex interactions' （cat.no.0.October8-11，2000，Nashville，TN，USA.IEEE，2000：2275-2280.

【通聯(lián)編輯：唐一東】