摘 要：在聯(lián)邦學習環(huán)境中，客戶端數(shù)據(jù)的質(zhì)量是決定模型性能的關(guān)鍵因素。傳統(tǒng)的評估方法依賴于在中心節(jié)點的驗證集上衡量客戶端模型的損失，從而對數(shù)據(jù)質(zhì)量進行評估。在缺乏有效驗證集的情況下，數(shù)據(jù)質(zhì)量的評估是困難的。為了解決上述問題，提出了一種根據(jù)同伴信息進行模型質(zhì)量評分的方法。通過對客戶端上傳的模型參數(shù)進行裁剪處理，基于正確評分規(guī)則的相關(guān)理論設(shè)計模型質(zhì)量評分機制，并在此基礎(chǔ)上優(yōu)化聚合算法，降低低質(zhì)量客戶端對全局模型的影響。在MNIST、Fashion-MNIST和CIFAR-10等數(shù)據(jù)集上的實驗表明，提出的評分機制無須復雜的算法，且能有效辨別搭便車、噪聲、錯誤標簽三類低質(zhì)量數(shù)據(jù)客戶端，提高聯(lián)邦學習性能的魯棒性。

關(guān)鍵詞：聯(lián)邦學習； 模型質(zhì)量； 參數(shù)裁剪； 同伴信息； 聚合算法

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695（2024）08-025-2427-07

doi：10.19734/j.issn.1001-3695.2023.11.0586

Optimization of federated learning aggregation algorithm based onmodel quality scoring

Wu Xiaohong1，2， Lu Haonan1， Gu Yonggen1，2， Tao Jie1，2

（1.School of Information Engineering， Huzhou University， Huzhou Zhejiang 313000， China; 2.Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources， Huzhou Zhejiang 313000， China）

Abstract：In federated learning environments， it is crucial to assess the quality of client data， especially when a validation set is not available. Traditional evaluation methods rely on measuring the loss of client models on the validation set of a central node to assess data quality. To address these issues， this paper proposed a method for scoring model quality based on peer information. This method involved tailoring the model parameters uploaded by the client and designing a model quality scoring mechanism based on the theories of correct scoring rules. It developed an optimized aggregation algorithm， leveraging the scores of clients to mitigate the impacts of low-quality local models on the global model. Experiments conducted on datasets like MNIST， Fashion-MNIST， and CIFAR-10 demonstrate that the proposed scoring mechanism is straightforward and effective in identifying three types of low-quality data clients： free-riding clients， overly privacy-protective clients， and mislabeled clients. The proposed method enhances the robustness of federated learning performance.

Key words：federated learning; model quality; parameter interception; peer information; aggregation algorithm

0 引言

近年來，移動應(yīng)用的快速演進顯著改善了人們在溝通、購物、出行及生活各方面的模式。為了強化這些移動應(yīng)用的個性化功能，機器學習技術(shù)得到了廣泛應(yīng)用。一種常見的做法就是將用戶數(shù)據(jù)匯集并上傳至集中式服務(wù)器，由其訓練成機器學習模型來預測，比如產(chǎn)品推薦。但是機器學習技術(shù)的發(fā)展仍然面臨風險與挑戰(zhàn)，數(shù)據(jù)安全問題亟待解決，用戶的個人隱私容易受到侵犯，在不同的行業(yè)和部門中，存在數(shù)據(jù)訪問和共享的限制，這導致了數(shù)據(jù)孤島的形成［1，2］。

為解決上述問題，谷歌提出了聯(lián)邦學習技術(shù)［3］。與傳統(tǒng)的機器學習將所有客戶端的數(shù)據(jù)收集之后再進行機器學習模型訓練不同，聯(lián)邦學習引入了一種隱私保護的策略，該策略主要是通過在本地設(shè)備上存儲數(shù)據(jù)和訓練模型，從而避免了客戶端本地數(shù)據(jù)的暴露。在客戶端本地完成模型訓練產(chǎn)生模型更新后將此更新傳輸給中心服務(wù)器進行模型聚合，此過程迭代多次可得到優(yōu)化的全局模型。由于這種方式下中心服務(wù)器并沒有對數(shù)據(jù)進行直接訪問，有效地保護了用戶數(shù)據(jù)隱私。

區(qū)別于傳統(tǒng)分布式學習，聯(lián)邦學習由客戶端自主選擇是否和中心服務(wù)器進行合作學習，因此聯(lián)邦學習的最終模型性能易受低質(zhì)量客戶端的影響，比較常見的低質(zhì)量客戶端有以下三種情況：

a）搭便車。這部分客戶端在不參與訓練的情況下發(fā)送隨機模型進行搭便車來獲得其他客戶端訓練出來的全局模型［4］。

b）過度隱私保護。這類客戶端在上傳參數(shù)或者梯度時客戶端會對參數(shù)和梯度加入較大的噪聲以減少本地數(shù)據(jù)隱私暴露的風險，但這種方式會對最終聚合全局模型的精度造成影響［5］。

c）具有錯誤標簽數(shù)據(jù)。這類客戶端在現(xiàn)實中可能是由于各種原因?qū)е聵撕灣霈F(xiàn)錯誤，顯然利用錯誤標簽訓練的局部模型聚合后將會降低聯(lián)邦學習全局模型精度［6］。

因此，在聯(lián)邦學習中，評估參與訓練客戶端的數(shù)據(jù)質(zhì)量或模型質(zhì)量，識別低質(zhì)量客戶端，是聯(lián)邦學習性能優(yōu)化的關(guān)鍵。已有的一些基礎(chǔ)聯(lián)邦學習算法如FedAvg、FedSGD未考慮數(shù)據(jù)質(zhì)量對模型性能的影響，一些算法如FedProx［7］、SCAFFOLD［8］針對數(shù)據(jù)非獨立同分布的特征對基礎(chǔ)算法進行了改進，但是不能解決上述低質(zhì)量客戶端的影響。

雖然已有不少的學者針對聯(lián)邦學習參與者的貢獻和質(zhì)量評估進行了研究，然而在缺乏有效數(shù)據(jù)驗證集的場景中，聯(lián)邦學習的客戶端質(zhì)量評估依然是一個難題。為優(yōu)化聯(lián)邦學習性能，本文基于正確評分規(guī)則的相關(guān)理論，提出了一種無驗證數(shù)據(jù)的客戶端模型質(zhì)量評估算法，僅利用客戶端上傳的模型對參與聯(lián)邦學習的客戶端的模型質(zhì)量進行評分，并在此基礎(chǔ)上優(yōu)化聯(lián)邦學習聚合算法。本文的主要貢獻如下：

a）設(shè)計了一種根據(jù)同伴模型評分的客戶端模型評分機制，使服務(wù)器能夠識別聯(lián)邦學習環(huán)境中的低質(zhì)量本地模型。該機制通過互評的方法使得每個客戶端的模型都受到其他客戶模型的評估，這一過程有助于識別那些因搭便車行為、過度隱私保護或數(shù)據(jù)標簽不準確等問題而導致模型質(zhì)量低下的客戶端。

b）基于設(shè)計的模型評估機制，進一步提出了一種魯棒的聯(lián)邦學習聚合算法。該算法根據(jù)模型得分為每個客戶端分配聚合權(quán)重，降低低質(zhì)量客戶端對全局模型的影響，使質(zhì)量較高的本地模型在全局模型中具有更加顯著的影響力。

c）通過實驗驗證了本文算法的性能。實驗選擇三個標準數(shù)據(jù)集——MNIST、Fashion-MNIST以及CIFAR-10，采用了多層感知器（MLP）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）機器學習模型進行實驗。實驗結(jié)果顯示，本文算法在識別低質(zhì)量數(shù)據(jù)的客戶端方面具有顯著的效果，并且在時間復雜性和多個具體性能指標上優(yōu)于現(xiàn)有方法。

1 相關(guān)工作

1.1 聯(lián)邦學習

聯(lián)邦學習是一個分布式機器學習框架，其中包含一個中心服務(wù)器和若干持有隱私數(shù)據(jù)的客戶端，假定客戶端集合被表示為Nc={1，2，…，N}，每個客戶端i都有一個私有隱私數(shù)據(jù)集Di，i∈Nc。在每一輪全局迭代t中，中心服務(wù)器會隨機選擇k個客戶端參與模型訓練，這些客戶端用集合{1，2，…，k}表示。

在第t輪迭代的起始階段，參與訓練的客戶端i從中心服務(wù)器上下載初始的全局模型，利用本地的數(shù)據(jù)集Di訓練得到本地模型wti，該過程可通過各種機器學習算法實現(xiàn)。所有客戶端的訓練是并行執(zhí)行的，客戶端與客戶端之間并不存在直接的數(shù)據(jù)交換。

訓練完成后，中心服務(wù)器從參與當前訓練的客戶端收集本地模型，然后通過特定的聚合算法——如圖1所示的聯(lián)邦平均算法（federated averaging，F(xiàn)edAvg）生成全局模型wt，其中nk是第k個客戶端的數(shù)據(jù)量，n是所有客戶端的數(shù)據(jù)量，利用兩者的比值作為聚合的權(quán)重。中心服務(wù)器在得到全局模型參數(shù)wt之后，將其下發(fā)給各個下一輪參與訓練的客戶端，客戶端便可以根據(jù)新的全局模型參數(shù)wt和本地的數(shù)據(jù)集Di進入下一輪迭代，從而進一步提升模型性能。在整個過程中，中心服務(wù)器并未接觸到任何客戶端的原始數(shù)據(jù)，只需要處理模型參數(shù)，從而在聯(lián)邦學習過程中確保了數(shù)據(jù)隱私的安全。

整個聯(lián)邦學習訓練過程包含四個步驟：

a）任務(wù)初始化：中心服務(wù)器從總的客戶端集合Nc中選取k個客戶端參與，確定訓練任務(wù)，并將當前全局模型傳送給參與訓練的客戶端。

b）本地模型訓練：客戶端從中心服務(wù)器下載全局模型wt-1（其中t表示當前的訓練迭代輪次）。客戶端利用本地數(shù)據(jù)集Di訓練得到本地模型wti。訓練的目標是通過最小化損失函數(shù)L（wti）找到最佳的本地模型并將其上傳至服務(wù)器。

wti=arg minwL（w;Di）（1）

c）全局模型聚合：中心服務(wù)器將參與訓練的客戶端上傳的本地模型wti利用聚合算法聚合。更新全局模型wt。

wt=∑iai·wti（2）

d）完成T輪訓練后，停止訓練過程并生成最終的全局模型wT。

1.2 聯(lián)邦學習低質(zhì)量客戶端評估方法

在聯(lián)邦學習領(lǐng)域，針對凸損失函數(shù)和平滑非凸損失函數(shù)的模型訓練，文獻［9］引入了平均中值算法和維度剪枝平均算法。這些算法有效地防止了中央服務(wù)器在模型更新過程中受到質(zhì)量較低數(shù)據(jù)客戶端的不利影響。然而，Yin等人［10］指出，在處理多數(shù)非平滑和非凸損失函數(shù)時，依賴于維度中值或剪枝均值的算法可能導致模型收斂至非全局最優(yōu)解，如鞍點或局部最小值。為應(yīng)對此問題，提出了拜占庭擾動梯度算法，專注于在非凸情形下尋找近似局部最優(yōu)解。但這類方法的一個明顯不足之處在于，它們要求評估每次學習迭代中所有計算節(jié)點上報的局部梯度，這在處理大規(guī)模數(shù)據(jù)學習任務(wù)時可能因計算復雜度過高而顯得不切實際。

在聯(lián)邦學習中，處理低質(zhì)量客戶端參與訓練的問題時，部分方法依賴于測試數(shù)據(jù)集來評估模型質(zhì)量。具體來說，Shapley值［11～13］在聯(lián)邦學習中廣泛被用來量化用戶的貢獻，通過在每輪迭代訓練中評估不同客戶端抽樣順序?qū)θ帜Ｐ途鹊倪呺H影響來實現(xiàn)。同時，Li等人［14，15］提出的檢測機制和Cao等人［16］的FLTrust算法也依賴于測試數(shù)據(jù)集來區(qū)分模型質(zhì)量。Li等人的方法通過結(jié)合測試數(shù)據(jù)和自動編碼器來識別惡意模型更新，而Cao等人的FLTrust算法則依賴于一個由服務(wù)器收集的小型但未受污染的“信任數(shù)據(jù)集”以增強系統(tǒng)對惡意客戶端的抵御能力。由于聯(lián)邦學習的數(shù)據(jù)集大部分屬于Non-IID（non-independent and identically distributed，非獨立同分布）的狀態(tài)，且數(shù)據(jù)分布本質(zhì)上是未知的，所以難以找到任何一個數(shù)據(jù)集能夠完整模擬真實世界中的未知數(shù)據(jù)分布。此外，從客戶端獲取適用的測試數(shù)據(jù)集可能會違反聯(lián)邦學習中的隱私保護原則。因此需要一種無須測試數(shù)據(jù)集的方法來進行客戶端模型質(zhì)量評估。

區(qū)別于上述依賴測試數(shù)據(jù)集的方法，Lyu等人［17］引入了一種評估聯(lián)邦學習中客戶端的創(chuàng)新方法，該方法采用了同行評估機制，并結(jié)合了參數(shù)之間的隨機相關(guān)性概念［18，19］。這種方法通過分析服務(wù)器端收集的客戶端模型更新，并基于這些更新參數(shù)之間的隨機相關(guān)性來評估客戶端的貢獻度。每個客戶端根據(jù)這些相關(guān)性得到一個唯一的評分，進而在模型聚合過程中根據(jù)這一評分賦予不同權(quán)重。此舉旨在降低那些提供低質(zhì)量更新的客戶端在聯(lián)邦學習中的影響。這一機制為聯(lián)邦學習提供了一種新的參與者評估方法，它不依賴于驗證數(shù)據(jù)的可用性，從而克服了先前方法的某些局限性。雖然在計算復雜性上相對較高，然而該方法為聯(lián)邦學習中客戶端模型評估引入了一種基于同行信息的創(chuàng)新方法。

受前述研究成果的啟發(fā)，本文提出了一種新的聯(lián)邦學習聚合算法。該算法使得在有低質(zhì)量客戶端參與的情況下聯(lián)邦學習模型依然具有較高的準確性，同時不依賴于驗證數(shù)據(jù)集進行模型驗證和調(diào)整。該方法旨在面對數(shù)據(jù)和參與者極其多樣化的環(huán)境時，增強聯(lián)邦學習系統(tǒng)在現(xiàn)實世界數(shù)據(jù)場景中的應(yīng)用性和魯棒性。

2 問題描述

首先探討聯(lián)邦學習環(huán)境中三種典型的低質(zhì)量數(shù)據(jù)客戶端的具體策略，場景如圖2所示，包括搭便車者、過度隱私保護者（過分添加噪聲的客戶端）以及提供錯誤標簽的客戶端。

a）搭便車客戶端。這類客戶端會生成隨機模型參數(shù)［4］，目的是為了減少本地訓練的計算成本，從而在不貢獻有效學習資源的情況下從聯(lián)邦學習系統(tǒng)中受益。目前，搭便車策略主要有以下兩種形式：

（a）參數(shù)擾動策略。在該策略中，客戶端直接采用從服務(wù)器接收的全局模型，對其引入輕微的隨機擾動，然后將其上傳回服務(wù)器。令wt-1表示上一輪從服務(wù)器調(diào)度的全局模型。這一類客戶端每一輪上傳的模型參數(shù)為

wti=wt－1+δ1（3）

其中：δ1～Euclid Math OneNAp（0，σ21），意味著wt中的每個參數(shù)都添加了隨機高斯噪聲。

（b）隨機參數(shù)策略。在這種策略下，客戶端不依賴于從服務(wù)器接收的任何預先訓練的模型信息。相反，它采取了一種自主的方法，即直接生成并上傳隨機化的模型參數(shù)。這一類客戶端每一輪上傳的模型參數(shù)為

wti～Euclid Math OneNAp（0，σ21）（4）

b）過度隱私保護客戶端。盡管客戶端只是上傳模型參數(shù)，數(shù)據(jù)的隱私泄露風險仍然存在［20～22］。為了抵御潛在的逆向工程攻擊，這可能導致客戶端在上傳的模型參數(shù)中引入了過多的噪聲。雖然這樣做能夠提高數(shù)據(jù)的安全性，但過度的噪聲添加也可能損害全局模型的性能和準確性。這一類客戶端每一輪上傳的模型參數(shù)為

ti=wti+δ2（5）

其中：δ2～Euclid Math OneNAp（0，σ22）。

c）錯誤標簽的客戶端。對于竄改數(shù)據(jù)標簽的低質(zhì)量客戶端，如文獻［23］所述，其目的在于通過修改本地訓練數(shù)據(jù)的標簽來影響聚合后的全局模型，從而使模型偏向于他們所期望的方向。這種行為不僅威脅到模型的準確性，還可能嚴重破壞聯(lián)邦學習環(huán)境的整體效率。這些客戶端通過對本地數(shù)據(jù)的標簽施加擾動，有意識地導致全局模型學習到錯誤的模式。設(shè)yi代表原始標簽的一個數(shù)據(jù)點。那么添加擾動的標簽i為

i=yi+Δ（6）

其中：Δ是錯誤標簽的客戶端引入的故意偏差。例如，如果yi=5且Δ=2，則i=7。

本文使用CNN模型分別對上述三類客戶端的加入進行了聯(lián)邦學習訓練實驗。圖3展示了搭便車客戶端對聯(lián)邦學習在全局聚合后模型精度的潛在影響。這些搭便車客戶端的模型參數(shù)wti～Euclid Math OneNAp（0，σ21），即方差為σ1=0.01的高斯分布。如圖3所示，僅有25%的搭便車客戶端可顯著降低整體性能。

圖4是過度隱私保護行為對全局聚合后模型精度的影響。這里，每個客戶端i的模型參數(shù)更新ti=wti+Euclid Math OneNAp（0，σ22），當σ2=0.1時，性能略有下降，但是當σ2增至0.2或更高時，性能急劇下降。

在聯(lián)邦學習環(huán)境中存在錯誤標簽客戶端的情形時，如圖5所示，當這些客戶端在MNIST數(shù)據(jù)集中將部分標簽竄改為錯誤標簽時，對模型精度有顯著影響。當錯誤標簽客戶端的比例達到25%時，聯(lián)邦學習在該數(shù)據(jù)集上的精度便開始逐漸下滑。隨著錯誤標簽的客戶端數(shù)量的進一步增加，聯(lián)邦學習的性能急速下降。

上述實驗結(jié)果明確指出了對一種能有效檢測這些低質(zhì)量客戶端的評價方法的迫切需求。在聯(lián)邦學習的眾多應(yīng)用場景中，客戶端持有的數(shù)據(jù)往往具有非獨立同分布的特點。在此背景下，盡管某個客戶端可能只持有部分標簽的數(shù)據(jù)，其上傳的模型在中心服務(wù)器的全局聚合中仍有其獨特的貢獻。在無有效驗證數(shù)據(jù)集的場景下，有必要提出一種新穎的評價方法，這種方法能夠在缺少有效驗證數(shù)據(jù)集的前提下，對客戶端上傳的本地模型進行有效評估。借助這種評估機制，可以給上述的三種低質(zhì)量數(shù)據(jù)的客戶端上傳的模型參數(shù)評定更低的分數(shù)，從而在中心服務(wù)器的全局聚合過程中減小其權(quán)重。通過這一策略，期望能夠提高整體模型的準確性，并促進模型更快地收斂，提高聯(lián)邦學習性能的魯棒性。

3 基于評分機制的FL聚合算法

3.1 模型參數(shù)的截取處理

在沒有驗證數(shù)據(jù)集的聯(lián)邦學習中，本文將模型參數(shù)的訓練過程模擬為對某些事件的預測過程，并借鑒了預測問題中的評分規(guī)則，用于評估概率預測的準確性，要求預測值必須落在［0，1］。由于聯(lián)邦學習中的模型參數(shù)被限制在這個范圍，本文在評分前將每個客戶端的模型參數(shù)進行了裁剪處理，確保它們位于［0，1］的有效區(qū)間。

首先，對客戶端i的模型wi進行分層的參數(shù)裁剪，第k層的參數(shù)裁剪如下：

i，k=wi，kmax（1，‖w1，k，w2，k，…，wn，k‖2）（7）

每個客戶端的模型的各個層參數(shù)被拼接成一個矩陣，式（7）中的二范數(shù)就是這個矩陣的二范數(shù)。應(yīng)用數(shù)值縮放比例為

pi=pi-mpMp-mp（8）

其中：mp和Mp分別表示所有客戶端模型第p個參數(shù)的最小值和最大值；pi表示裁剪歸一化后的模型參數(shù)，每個參數(shù)都在［0，1］。值得注意的是，在模型聚合過程中不調(diào)整客戶端模型的參數(shù)。上述裁剪和歸一化操作僅在模型評估階段使用。

3.2 二次評分規(guī)則

正確的評分規(guī)則（proper scoring rule） 用于激勵專家誠實地報告他們的概率信念［24，25］。只有當評分規(guī)則能夠激勵預測者提供準確且真實的預測時，才被視為正確。在這樣的背景下，正確的評分規(guī)則是指當預測者在其預測與真實概率或后驗分布的均值相匹配時，預期得分達到最大化的評分規(guī)則。

假設(shè)真實狀態(tài)θ∈［0，1］，服從一個未知的分布。參與者可以私下觀察信號，產(chǎn)生真實狀態(tài)的后驗分布G。根據(jù)文獻［23］中的工作，關(guān)注的是能夠引導出后驗均值的評分規(guī)則，即該評分規(guī)則要求參與者報告其后驗的均值，并根據(jù)參與者的報告以及實際發(fā)生的狀態(tài)來對其進行評分。設(shè)μG為后驗分布G的均值，r∈［0，1］為代理的報告值。

定義1 如果對于任何后驗分布G以及報告r，滿足

Eθ～G［S（μG，θ）］≥Eθ～G［S（r，θ）］（9）

則稱評分規(guī)則S（r，θ）對于引出均值是正確的。

根據(jù)文獻［24］，式（10）中的二次評分規(guī)則被證明對于導出均值是正確的。

S（r，θ）=1-（θ-r）2（10）

本文將客戶端模型參數(shù)訓練和上傳映射到上述場景。令Nc={1，2，…，N}為參與客戶端集合，wji是客戶端i對參數(shù)j的訓練值。對于普通的客戶端，假設(shè)對于第t輪訓練，其參數(shù)值服從相同的分布，其均值為μt，但對于任一參與者，具體分布參數(shù)是未知的。

令r=wji表示客戶端i對訓練結(jié)果的報告，θ表示真實狀態(tài)。由于真實狀態(tài)應(yīng)與被評價客戶端自身的預測值無關(guān)，選擇θj-i作為真實狀態(tài)。θj-i是除客戶端i外所有參與客戶對參數(shù)j報告的平均值，可視為真實狀態(tài)（真實狀態(tài)通過其他客戶的報告得出），即

θj-i=∑k∈Nc，k≠iwjkN-1（11）

由于普通客戶端訓練的參數(shù)服從均值為μt的一個分布，則θj-i同樣服從均值為μt的一個分布。

二次評分規(guī)則改為如式（12）所示。

S（wji，θj-i）=1-（θj-i-wji）2（12）

對于前述的低質(zhì)量客戶端，由于沒有采用真實數(shù)據(jù)集進行訓練或添加了過度噪聲，顯然其模型參數(shù)值wji不再服從均值為μt的分布，其報告值易較大地偏離θj-i，所以得分降低。當存在的低質(zhì)量客戶端數(shù)量占比較小時，評分規(guī)則可以區(qū)分普通客戶端和低質(zhì)量客戶端。

如果模型參數(shù)被限制在［0，1］，則式（12）中展示的二次評分規(guī)則的上界為1。設(shè)P表示模型參數(shù)集合，那么客戶端模型wi的評分公式可以表示為

si=∑i∈P1-（θj-wji）|P|（13）

設(shè)P表示模型參數(shù)集合，那么客戶端模型wi的評分公式可以表示如下：

命題1 若模型參數(shù)被限制在區(qū)間［0，1］內(nèi)，式（13）中客戶端模型的二次評分規(guī)則上界為1。

證明 模型參數(shù)被限制在區(qū)間［0，1］內(nèi)，則式（12）中表示的二次評分規(guī)則的上界為1，式（13）對|P|個參數(shù)求解分數(shù)的平均值，因此模型得分是有界的，在區(qū)間［0，1］內(nèi)。

在全局模型的每次聚合之前，都應(yīng)用此評分規(guī)則來評估參與某輪聯(lián)邦學習的客戶端的質(zhì)量。θ-i的使用提供了相對評估，客戶端的分數(shù)與其同行的表現(xiàn)相對應(yīng)。這種評分機制為評價單個客戶端模型在聯(lián)邦學習框架中的貢獻提供了一個穩(wěn)健的指標。

3.3 改進的聯(lián)邦學習聚合算法

本節(jié)提出一種基于二次評分的聯(lián)邦學習聚合算法，稱為 FedQuaScore聚合算法。FedQuaScore的主要目標是防范使用低質(zhì)量數(shù)據(jù)的客戶。算法1是模型參數(shù)的裁剪和評分。算法2是聯(lián)邦的聚合算法FedQuaScore，在聯(lián)邦學習過程中根據(jù)客戶評分進行聚合。

算法1 客戶端模型裁剪與評分（scoring（W，ξ））

輸入：客戶端模型集合W=（w1，w2，…，wN）。

輸出：評分向量score=（s1，s2，…，sN）。

a）for i=1 to N do

b） for each k; // 對模型中的每一層k進行分層處理

c） i，k←wi，kmax（1，‖w1，k，w2，k，…，wn，k‖2）;

d） end for

e） for each p∈P do;

f） pmin←minj∈Ncwpj;

g） pmax←maxj∈Ncwpj;

h） pi←pi－pminpmax-pmin;

i） end for

j）end for

k）score=（0，0，…，0）;

l）for i=1 to N do

m） si←∑j∈P1-（θj-i-ji）2|P|;

n）end for

在算法1中，步驟b）～d）實現(xiàn)了參數(shù)裁剪操作，把選中層的參數(shù)拼接成一個矩陣，利用這個矩陣的二范數(shù)對客戶端i的模型wi進行分層的參數(shù)裁剪，確保參數(shù)保持在適當?shù)姆秶鷥?nèi)，進一步增強聯(lián)邦學習的魯棒性。在實驗中范數(shù)裁剪方法參見參考文獻［27］。e）～i）的計算使每一個參數(shù)分布在［0，1］。l）～n） 應(yīng)用二次評分規(guī)則得到了模型的評分，得到上界為1的分數(shù)。評分機制起著至關(guān)重要的作用，其目標是有效評估每個客戶模型的質(zhì)量。

命題2 模型裁剪與評分算法時間復雜度為O（|P|N2），其中|P|為參數(shù)個數(shù)，N為客戶端個數(shù)。

證明 算法1中，步驟b）～d）是模型參數(shù)的裁剪，假設(shè)第k層的參數(shù)個數(shù)為xk，通過二范數(shù)的計算公式可知，時間復雜度為O（∑k∈K|xk|N），其中∑k∈K|xk|=|P|，所以對每個客戶端每個參數(shù)都裁剪量化的時間復雜度為 O（|P|N2）。對參數(shù)的歸一化部分，即步驟a）～i），由于f）和g）求最大最小值的復雜度為O（N），對每個客戶端每個參數(shù)求取則是O（|P|N2）。所以算法1的復雜度為O（|P|N2）。

在考慮到模型復雜性帶來的挑戰(zhàn)時，如果對客戶端上傳的模型的全部參數(shù)進行處理，會導致算法的運行時間過長。根據(jù)文獻［26］的研究，采用對模型最后一層參數(shù)進行余弦相似性計算的方法顯示出最佳效果。這一成效主要源于模型最后一層與輸出結(jié)果的密切相關(guān)性，這一層參數(shù)在最大程度上揭示了不同模型間的顯著差異?；诖税l(fā)現(xiàn)，本文沿用文獻［26］的策略，選取模型最后一層的參數(shù)作為評分計算的依據(jù)。此方法不僅保障了評估的準確性和效率，同時有效地解決了由于參數(shù)維度過高所帶來的計算挑戰(zhàn)。

算法2中，服務(wù)器端為明顯區(qū)分聚合權(quán)重之間的差異，選擇了指數(shù)加權(quán)法。如算法2第e）～h）行所示，客戶端i的聚合權(quán)重為

ai=exp（αsi）∑Kj=1exp（αsj）（14）

其中：參數(shù)α主要用于調(diào)整放大倍數(shù)的分數(shù)。由于提出的評分策略可以有效地反映模型的質(zhì)量，即使α的值不是特別大，算法2仍然可以達到顯著的效果實驗評估。

算法2 基于評價分數(shù)的聯(lián)邦學習聚合算法FedQuaScore

輸入：初始全局模型w0；全局訓練輪數(shù)T；數(shù)據(jù)集D；批大小b；學習率η；客戶總數(shù)K；選定客戶的比例c。

輸出：訓練完成后的全局模型wT。

服務(wù)器端：

a）for t=1 to T do

b） 隨機選擇K個客戶端;

c） 接收客戶端模型W=（w1，w2，…，wN）;

d） score=scoring（W，ξ）;

e） for i=1 to K do

f） ai←exp（αsi）∑Kj=1exp（αsj）;

g） end for

h） wt←∑Ki=1aiwti;

i）end for

j）return wT;

客戶端（第t輪）：

k）接收全局模型wt-1;

l）在本地數(shù)據(jù)集上基于全局模型訓練得到本地模型

m）將訓練好的本地模型wti發(fā)送回服務(wù)器

4 實驗驗證

4.1 實驗設(shè)置

在實驗設(shè)計中，采用谷歌推出的聯(lián)邦學習框架，實驗選擇的數(shù)據(jù)集包括MNIST、Fashion-MNIST（FMNIST）和CIFAR-10三個數(shù)據(jù)集。比較的基準方法為文獻［3］中的FedAvg方法和文獻［15］提出的Fed-PCA方法，比較的指標是低質(zhì)量客戶端的平均權(quán)重和全局模型準確性。

a）MNIST。手寫數(shù)字圖像數(shù)據(jù)庫，被廣泛用于訓練多種圖像處理系統(tǒng)。它由60 000個訓練樣本和10 000個測試樣本組成，每個樣本均為28×28像素的灰度圖像，并涵蓋10個類別。

b）Fashion-MNIST。此數(shù)據(jù)集含有60 000個訓練樣本和10 000個測試樣本。每個樣本均為28×28像素的灰度圖像，代表10種不同的服飾和鞋類。

c）CIFAR-10。是一個十分類的標準圖像分類數(shù)據(jù)集，包括60 000個32×32像素的彩色圖像樣本，分為50 000個訓練樣本和10 000個測試樣本。它涵蓋的類別包括飛機、汽車、鳥、貓等。

在機器學習模型方面，選擇了多層感知器（MLP）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）兩個經(jīng)典模型。具體來說，在存在搭便車的客戶端和過度噪聲保護客戶端的實驗中，對MNIST數(shù)據(jù)集的訓練過程采用了卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。這個網(wǎng)絡(luò)包含兩層5×5的卷積層，每個卷積層后跟著一個ReLU激活函數(shù)和2×2的最大池化層。在對FMNIST數(shù)據(jù)集的訓練過程中，采用了一種多層感知器（MLP）模型。這個模型的設(shè)計包含一個輸入層，該層具有784個神經(jīng)元，緊接著是一個含有64個神經(jīng)元的隱藏層，最后還有一個具有10個神經(jīng)元的輸出層。

對于標簽不正確的低質(zhì)量數(shù)據(jù)客戶端的實驗中，本文使用之前提到的MLP模型訓練MNIST模型。對CIFAR-10數(shù)據(jù)集的訓練過程中，采用了卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。包含兩個主要的卷積階段，每個階段包括兩個3×3卷積層，隨后是批量歸一化、ReLU激活函數(shù)和2×2最大池化層。在關(guān)于錯誤標簽客戶端的實驗中設(shè)置Δ=5來調(diào)整這類客戶端在訓練時的標簽。

所有的實驗均在二類Non-IID下進行。具體實施過程為：本文將MNIST、Fashion-MNIST、CIFAR-10的訓練數(shù)據(jù)按標簽順序排列，劃分為200個數(shù)據(jù)塊，每塊含300條數(shù)據(jù)，各客戶端將從中不重復地隨機選取兩個數(shù)據(jù)塊作為其本地數(shù)據(jù)集。在所有實驗中，α的值為5。

在搭便車客戶端的配置中，這些客戶端在本地訓練階段并未實際運用本地計算資源。他們所提交的模型參數(shù)更新均符合wti～Euclid Math OneNAp（0，σ21），其中σ1設(shè)置為0.01。實驗對搭便車客戶端的不同比例下的性能進行了評估，并與Fed-PCA策略進行了對比。在有過度隱私保護的客戶端參與的實驗設(shè)定中，假設(shè)有25%的客戶端向他們的模型參數(shù)中加入了噪聲，每個上傳的模型參數(shù)均滿足pi=wpi+Euclid Math OneNAp（0，σ22）的分布。本文旨在探索不同噪聲級別對模型的影響。在處理惡意客戶端的實驗設(shè)計中，本文嘗試了不同比例的客戶端數(shù)據(jù)標簽被竄改的場景。具體地，本文研究了錯誤標簽客戶端數(shù)量占訓練客戶端總數(shù)的10%、20%、30%和40%的情境。

4.2 實驗結(jié)果

首先在MNIST和Fashion-MNIST兩個數(shù)據(jù)集上比較不同搭便車客戶端比例的場景下的算法性能，如表1和圖6所示。圖6～8縱坐標均為客戶端聚合時的平均權(quán)重。

從圖6（a）（b）中可以觀察到，F(xiàn)edAvg算法為每個客戶端分配了基準權(quán)重0.05。在搭便車客戶的比例不超過20%的情況下，F(xiàn)ed-PCA算法在降低搭便車客戶端聚合權(quán)重方面表現(xiàn)出了值得肯定的效果，然而，隨著搭便車客戶比例的增加，其性能呈現(xiàn)出顯著下降的趨勢。與此相對比，本文的FedQuaScore算法在所有的測試設(shè)置中均能通過為這些搭便車的客戶端分配極小的聚合權(quán)重，從而保持優(yōu)異的性能表現(xiàn)。

如表1所示，本文比較了FedQuaScore、FedAvg和Fed-PCA三種算法在全局模型精度上的表現(xiàn)。結(jié)果顯示，F(xiàn)edQuaScore在模型精確度方面領(lǐng)先于其他兩種算法，即便在搭便車客戶比例不斷上升的情況下也能維持這一優(yōu)勢。

其次，實驗比較了過度噪聲客戶端參與下算法的性能。通過圖7（a）（b）可以看出，不同隱私保護程度客戶端在聯(lián)邦學習聚合中的平均權(quán)重。當添加噪聲方差為σ2=0.1時，F(xiàn)ed-PCA顯示出其優(yōu)越性。然而，隨著添加噪聲的提高，F(xiàn)ed-PCA并沒有進一步降低此類客戶端在聯(lián)邦學習中的總權(quán)重。FedQua-Score方法在面對不同隱私保護級別的客戶時表現(xiàn)出穩(wěn)健性；隱私保護級別越高，為此類客戶分配的權(quán)重就越低。如表2所示，即使隱私保護不斷增強，F(xiàn)edQuaScore在模型準確性方面仍領(lǐng)先于FedAvg和Fed-PCA。

第三，評估聯(lián)邦學習聚合過程中錯誤標簽客戶端參與下算法的性能。圖8（a）（b）展示了在MNIST和CIFAR-10數(shù)據(jù)集上，不同比例的錯誤標簽客戶端對聚合模型平均權(quán)重的影響。特別是，當存在20%的錯誤標簽客戶端時，F(xiàn)edQuaScore算法開始展現(xiàn)其在削減不良影響上的有效性。與此相比，其他算法對錯誤標簽的敏感度較低，這可能導致模型性能的降低。特別是，F(xiàn)ed-PCA算法未能顯著調(diào)整錯誤標簽客戶端的權(quán)重分配，在某些情況下甚至向這些客戶端分配了更高的權(quán)重。這些發(fā)現(xiàn)強調(diào)了FedQuaScore在處理數(shù)據(jù)質(zhì)量不一的客戶端時的魯棒性和有效性。如表3所示，在錯誤標簽客戶端的比例增加的情形下，F(xiàn)edQuaScore在模型準確性方面相較于FedAvg和Fed-PCA算法仍展現(xiàn)出領(lǐng)先優(yōu)勢。

圖9（a）（b）展示了攜帶錯誤標簽客戶端在比例為0.3和0.4時對聯(lián)邦學習模型收斂性的顯著影響。從圖中可以看出，當使用傳統(tǒng)的FedAvg算法時，模型的收斂過程表現(xiàn)出顯著的波動性，其學習軌跡出現(xiàn)了不穩(wěn)定的波動。這種波動性可能會對模型的最終穩(wěn)定性及其在處理未知數(shù)據(jù)時的泛化能力產(chǎn)生負面影響。與此相反，通過采用本文提出的學習過程中動態(tài)調(diào)整聚合權(quán)重的方法，可以明顯觀察到更加穩(wěn)定和平滑的收斂軌跡。

5 結(jié)束語

本文提出了一種名為FedQuaScore的創(chuàng)新聯(lián)邦學習聚合算法，優(yōu)化客戶端模型參數(shù)的評估過程。FedQuaScore的核心在于為每一參與客戶端分配一個合理的評分，以確保得分較高的客戶端在全局模型聚合中享有較大權(quán)重。此策略的目的是最小化低質(zhì)量數(shù)據(jù)客戶端對于全局模型準確性的負面影響。

通過在客戶端中加入不同比例的搭便車客戶端、過度隱私保護客戶端以及帶有錯誤標簽的客戶端等，并與現(xiàn)有方法進行對比，實驗結(jié)果驗證了FedQuaScore在各種測試場景下的高性能與穩(wěn)健性。目前該方法還存在一定的局限性。首先，F(xiàn)edQuaScore 的核心機制是基于模型參數(shù)的均值來評估和整合不同客戶端的數(shù)據(jù)。然而，如果低質(zhì)量客戶端的模型參數(shù)所占比例較大時，該方法的有效性降低；其次，目前沒有考慮具體攻擊手段的防御，如通過客戶端局部模型竄改以誘發(fā)模型誤識別的攻擊策略。下一步將針對上述存在的2a03cfece84fd2e3eac853056cdb7e4f問題持續(xù)改進算法，提高算法的有效性。

參考文獻：

［1］Zhang Chen， Xie Yu， Bai Hang， et al. A survey on federated lear-ning［J］. Knowledge-Based Systems， 2021， 216： 106775.

［2］Zhou Jun， Fang Guoying， Wu Nan. Survey on security and privacy-preserving in federated learning［J］. Journal of Xihua University：Natural Science Edition， 2020， 39（4）： 9-17.

［3］McMahan B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Proc of the 20th International Conference on Artificial Intelligence and Statistics. 2017： 1273-1282.

［4］Lin Jierui， Du Min， Liu Jian. Free-riders in federated learning： attacks and defenses［EB/OL］. （2019）. https：//arxiv.org/abs/1911.12560.

［5］Bonawitz K， Ivanov V， Kreuter B， et al. Practical secure aggregation for privacy-preserving machine learning［C］// Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press， 2017： 1175-1191.

［6］Fang Minghong， Cao Xiaoyu， Jia Jinyuan， et al. Local model poiso-ning attacks to{Byzantine-Robust}federated learning［C］// Proc of the 29th USENIX Security Symposium. 2020： 1605-1622.

［7］Li Tian， Sahu A K， Zaheer M， et al. Federated optimization in hete-rogeneous networks［J］. Proceedings of Machine Learning and Systems， 2020，2： 429-450.

［8］Karimireddy S P， Kale S， Mohri M， et al. SCAFFOLD： stochastic controlled averaging for federated learning［C］//Proc of the 37th International Conference on Machine Learning. 2020： 5132-5143.

［9］Ghosh A， Hong J， Yin Dong， et al. Robust federated learning in a heterogeneous environment［EB/OL］. （2019）. https：//arxiv.org/abs/1906. 06629.

［10］Yin Dong， Chen Yudong， Kannan R， et al. Defending against saddle point attack in Byzantine-robust distributed learning［C］//Proc of International Conference on Machine Learning. 2019： 7074-7084.

［11］Liu Yuan， Ai Zhengpeng， Sun Shuai， et al. Fedcoin： a peer-to-peer payment system for federated learning［M］//Federated Learning： Privacy and Incentive. Cham： Springer International Publishing， 2020： 125-138.

［12］Jia Ruoxi， Dao D， Wang Boxin， et al. Towards efficient data valuation based on the Shapley value［C］//Proc of the 22nd International Conference on Artificial Intelligence and Statistics. 2019： 1167-1176.

［13］Wang Guan， Dang Xiaoqian， Zhou Ziye. Measure contribution of participants in federated learning［C］//Proc of IEEE International Conference on Big Data. Piscataway，NJ：IEEE Press， 2019： 2597-2604.

［14］Li Suyi， Cheng Yong， Wang Wei， et al. Learning to detect malicious clients for robust federated learning［EB/OL］. （2020）. https：//arxiv.org/abs/2002.00211.

［15］Li Suyi， Cheng Yong， Liu Yang， et al. Abnormal client behavior detection in federated learning［EB/OL］. （2019）. https：//arxiv.org/abs/1910. 09933.

［16］Cao Xiaoyu， Fang Minghong， Liu Jia， et al. FLTrust： Byzantine-robust federated learning via trust bootstrapping［EB/OL］. （2020）. https：//arxiv.org/abs/2012.13995.

［17］Lyu Hongtao， Zheng Zhenzhe， Luo Tie， et al. Data-free evaluation of user contributions in federated learning［C］//Proc of the 19th International Symposium on Modeling and Optimization in Mobile， Ad hoc， and Wireless Networks. Piscataway，NJ：IEEE Press， 2021： 1-8.

［18］Shnayder V， Agarwal A， Frongillo R， et al. Informed truthfulness in multi-task peer prediction［C］//Proc of ACM Conference on Econo-mics and Computation. New York：ACM Press，2016： 179-196.

［19］Miller N， Resnick P， Zeckhauser R. Eliciting informative feedback： the peer-prediction method［J］. Management Science， 2005， 51（9）： 1359-1373.

［20］孫爽， 李曉會， 劉妍，等. 不同場景的聯(lián)邦學習安全與隱私保護研究綜述［J］. 計算機應(yīng)用研究， 2021， 38（12）： 3527-3534. （Sun Shuang， Li Xiaohui， Liu Yan， et al. Survey on security and privacy protection in different scenarios of federated learning［J］. Application Research of Computers， 2021， 38（12）： 3527-3534.）

［21］熊世強， 何道敬， 王振東，等. 聯(lián)邦學習及其安全與隱私保護研究綜述［J］. 計算機工程，2024，50（5）：1-15. （Xiong Shiqiang， He Daojing， Wang Zhendong， et al. Review of federated learning and its security and privacy protection［J］. Computer Engineering，2024，50（5）：1-15.）

［22］Abadi M， Chu A， Goodfellow I， et al. Deep learning with differential privacy［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press， 2016： 308-318.

［23］張世文， 陳雙， 梁偉，等. 聯(lián)邦學習中的攻擊手段與防御機制研究綜述［J］. 計算機工程與應(yīng)用，2024，66（5）：1-16. （Zhang Shiwen， Chen Shuang， Liang Wei， et al. Survey on attack methods and defense mechanisms in federated learning［J］. Computer Engineering and Applications，2024，66（5）：1-16.）

［24］Oesterheld C， Treutlein J， Cooper E， et al. Incentivizing honest performative predictions with proper scoring rules［C］//Proc of the 39th Conference on Uncertainty in Artificial Intelligence.[S.l.]：JMLR.org，2023：1564-1574.

［25］Li Yingkai， Hartline J D， Shan Liren， et al. Optimization of scoring rules［C］//Proc of the 23rd ACM Conference on Economics and Computation.New York：ACM Press，2022：988-989.

［26］Fung C， Yoon C J M， Beschastnikh I. The limitations of federated lear-ning in sybil settings［C］//Proc of the 23rd International Symposium on Research in Attacks， Intrusions and Defenses. 2020： 301-316.

［27］Pascanu R， Mikolov T， Bengio Y. On the difficulty of training recurrent neural networks［C］//Proc of International Conference on Machine Learning. 2013： 1310-1318.

［28］王永康， 翟弟華， 夏元清. 聯(lián)邦學習中抵抗大量后門客戶端的魯棒聚合算法［J］. 計算機學報， 2023， 46（6）： 1302-1314. （Wang Yongkang， Zhai Dihua， Xia Yuanqing. A robust aggregated algorithm against a large group backdoor clients in federated learning system［J］. Chinese Journal of Computers， 2023， 46（6）： 1302-1314.）