楊瀚哲，游家偉，文鼎柱，石遠(yuǎn)明

（上海科技大學(xué),上海 201210）

0 引言

隨著移動(dòng)通信、物聯(lián)網(wǎng)技術(shù)的發(fā)展，無線網(wǎng)絡(luò)中的移動(dòng)設(shè)備數(shù)量呈現(xiàn)指數(shù)級(jí)的增長，這些設(shè)備所擁有的海量計(jì)算和數(shù)據(jù)資源極大地推動(dòng)了邊緣人工智能在網(wǎng)絡(luò)邊緣的部署，從而為移動(dòng)用戶提供具有高可靠性、低延遲的智能服務(wù)，由此形成了一個(gè)新的研究領(lǐng)域，稱為邊緣機(jī)器學(xué)習(xí)[1-2]。

在眾多的邊緣機(jī)器學(xué)習(xí)框架中，應(yīng)用最為廣泛的是分布式的聯(lián)邦邊緣學(xué)習(xí)（FEL,Federated Edge Learning）[3-7]，它不需要用戶上傳自己的數(shù)據(jù)進(jìn)行集中式訓(xùn)練，而是在每一輪的訓(xùn)練中，由一個(gè)中心服務(wù)器將全局機(jī)器學(xué)習(xí)模型廣播給所有的設(shè)備，設(shè)備在本地訓(xùn)練該模型，得到局部梯度或新的局部模型并將該局部梯度/ 模型傳回給中心服務(wù)器更新全局模型。這很大程度上保護(hù)了用戶的隱私安全。但是，當(dāng)前的聯(lián)邦學(xué)習(xí)訓(xùn)練的往往是傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)模型，比如卷積神經(jīng)網(wǎng)絡(luò)。這些模型的訓(xùn)練需要在移動(dòng)設(shè)備上消耗大量的能量、占據(jù)相當(dāng)?shù)挠?jì)算資源。這大大限制了聯(lián)邦邊緣學(xué)習(xí)在邊緣網(wǎng)絡(luò)中的應(yīng)用，尤其是當(dāng)邊緣設(shè)備為計(jì)算和能量資源受限的物聯(lián)網(wǎng)設(shè)備時(shí)。除此之外，由于機(jī)器學(xué)習(xí)模型往往具有大量的參數(shù)需要傳輸，聯(lián)邦學(xué)習(xí)需要消耗龐大的通信資源。

一方面，為了解決邊緣設(shè)備能量和計(jì)算資源受限的問題，本文考慮在聯(lián)邦學(xué)習(xí)系統(tǒng)中訓(xùn)練一種新的網(wǎng)絡(luò)模型——脈沖神經(jīng)網(wǎng)絡(luò)（SNN,Spiking Neural Network）。脈沖神經(jīng)網(wǎng)絡(luò)是一種更加仿生的網(wǎng)絡(luò)，它比起傳統(tǒng)神經(jīng)網(wǎng)絡(luò)更加的節(jié)能[8-9]，并且有專屬的硬件設(shè)備為其訓(xùn)練加速[10]。文獻(xiàn)[11]的作者研究了基于脈沖神經(jīng)網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)，該文獻(xiàn)指出，在聯(lián)邦學(xué)習(xí)框架下，脈沖神經(jīng)網(wǎng)絡(luò)是可行的，而且比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)表現(xiàn)更加良好。另一方面，為了降低聯(lián)邦學(xué)習(xí)訓(xùn)練的通信開銷，本文將利用空中計(jì)算技術(shù)進(jìn)行模型參數(shù)聚合。

為了提升聯(lián)邦學(xué)習(xí)的性能，本文致力于最小化由空中計(jì)算所造成的模型參數(shù)失真，該問題為一個(gè)非凸的二次約束二次規(guī)劃問題[12]。通過使用分支定界算法，本文提出了一種最優(yōu)解決方案。最后，在基于CIFAR10 數(shù)據(jù)集的實(shí)驗(yàn)表明，所提出算法的性能優(yōu)于其他已有算法，例如SDR[13]。

1 模型介紹

1.1 脈沖神經(jīng)網(wǎng)絡(luò)

考慮一個(gè)有J個(gè)隱藏層的脈沖神經(jīng)網(wǎng)絡(luò)，用Lj表示該網(wǎng)絡(luò)的第j個(gè)隱藏層，其中的第i個(gè)神經(jīng)元表示為ni,j。脈沖神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸入與輸出均為脈沖信號(hào)，如圖1 所示。在這個(gè)網(wǎng)絡(luò)中，每個(gè)輸入數(shù)據(jù)被編碼成長度為S的脈沖信號(hào)，并且逐個(gè)地輸入進(jìn)脈沖神經(jīng)網(wǎng)絡(luò)中。當(dāng)2 ≤s≤S時(shí)，每個(gè)神經(jīng)元的第s個(gè)時(shí)刻的脈沖信號(hào)由該神經(jīng)元前一層的第s-1 個(gè)時(shí)刻的脈沖信號(hào)求得。把第s個(gè)脈沖信號(hào)所處時(shí)刻稱為時(shí)刻s。在本文中，使用帶泄漏整合發(fā)放模型（LIF,Leaky-Integrate-and-Fire）節(jié)點(diǎn)當(dāng)作脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)元。

圖1 脈沖神經(jīng)元示意圖

在一個(gè)訓(xùn)練輪次中，脈沖神經(jīng)網(wǎng)絡(luò)使用S個(gè)脈沖信號(hào)進(jìn)行訓(xùn)練。在前向傳播中的任意時(shí)刻，比如時(shí)刻s，每個(gè)神經(jīng)元聚合所有的上一層的神經(jīng)元在時(shí)刻s-1 的輸出脈沖信號(hào)，并與該神經(jīng)元本身在時(shí)刻s-1 的神經(jīng)元隱狀態(tài)（通常稱作膜電位，用ui,j(s)表示神經(jīng)元ni,j在時(shí)刻s的膜電位）聚合，得到該神經(jīng)元在時(shí)刻s的脈沖輸出（用oi,j(s) 表示神經(jīng)元ni,j在時(shí)刻s的脈沖輸出）。從而，神經(jīng)元ni,j在時(shí)刻s的膜電位可以表示為：

其中，λ是衰減因子，i′代表Lj-1層的神經(jīng)元的索引，wi′,i是對(duì)應(yīng)關(guān)聯(lián)的權(quán)重參數(shù)。對(duì)應(yīng)的脈沖輸出可以表示為：

如果在s時(shí)刻，該神經(jīng)元的輸出脈沖信號(hào)為1，則該時(shí)刻該神經(jīng)元的膜電位會(huì)被重置為某一設(shè)定好的定值ur。

脈沖神經(jīng)網(wǎng)絡(luò)的反向傳播與RNN 相似?？紤]任意一個(gè)權(quán)重wi′,i，它連接了神經(jīng)元ni′,j-1與ni,j。每個(gè)訓(xùn)練輪次中，它的梯度可以通過將所有時(shí)刻的梯度累加起來得到，即可以表示為：

其中L是損失函數(shù)。式(3) 中的主要的困難在于oi,j(s) 是不可微分的函數(shù)。為了解決這個(gè)問題，使用了替代梯度法[11]，即用閾值函數(shù)的逼近函數(shù)的梯度替代該梯度：

其中ξ是衰減因子，取決于脈沖信號(hào)的總長度S。對(duì)于很大的S，ξ應(yīng)該是足夠小的，以防止梯度爆炸問題，反之亦然。

1.2 聯(lián)邦學(xué)習(xí)模型

考慮一個(gè)擁有多天線的邊緣服務(wù)器與k個(gè)單天線設(shè)備的聯(lián)邦學(xué)習(xí)系統(tǒng)。該系統(tǒng)的目的是通過共同訓(xùn)練一個(gè)脈沖神經(jīng)網(wǎng)絡(luò)來優(yōu)化全局損失函數(shù)L，用公式表示為：

其中，w是脈沖神經(jīng)網(wǎng)絡(luò)的參數(shù)向量，L(w) 是用于分類任務(wù)的交叉熵?fù)p失函數(shù)，Dk與Lk(w)分別為設(shè)備k的本地?cái)?shù)據(jù)集與局部模型的交叉熵?fù)p失函數(shù)，表示設(shè)備k的本地?cái)?shù)據(jù)集的數(shù)量。具體而言，考慮任一訓(xùn)練輪次t，邊緣服務(wù)器首先廣播全局模型的參數(shù)wt-1給每個(gè)邊緣設(shè)備。然后第k個(gè)設(shè)備基于收到的模型參數(shù)wt-1，用本地?cái)?shù)據(jù)集Dk根據(jù)式(3) 與(4) 更新本地模型，并利用式(6) 計(jì)算本地梯度更新。

其中，gk(w) 為t輪次的設(shè)備k的本地梯度更新，wk,t為t訓(xùn)練輪次設(shè)備k完成本地訓(xùn)練后的本地模型參數(shù)，wt-1為t訓(xùn)練輪次開始時(shí)邊緣服務(wù)器廣播給各個(gè)邊緣設(shè)備的全局模型的參數(shù)。最終，邊緣服務(wù)器收集所有設(shè)備的本地梯度更新{gk(w)}，并用式(7)更新全局模型：

系統(tǒng)會(huì)重復(fù)上述步驟直至全局模型收斂。

1.3 空中計(jì)算模型

在每一輪次的訓(xùn)練中，服務(wù)器利用空中計(jì)算技術(shù)來聚合所有的本地模型參數(shù)，其接收信號(hào)可以表示為：

其中，hk∈CN為設(shè)備k與邊緣服務(wù)器之間的上行信道向量，N為邊緣服務(wù)器中的天線數(shù)量，bk∈C為傳輸標(biāo)量，s k∈C為設(shè)備k的傳輸標(biāo)志，是整合過后且歸一化的本地梯度更新，假設(shè)它服從標(biāo)準(zhǔn)復(fù)正態(tài)分布，n～CN(0,σ2I)是高斯噪聲。在式(8) 中，傳輸標(biāo)志sk是復(fù)數(shù)標(biāo)量，因此，每個(gè)標(biāo)志可以分解為本地梯度更新中的兩個(gè)元素：一個(gè)組成實(shí)部而另一個(gè)組成虛部。更多地，整個(gè)本地梯度更新向量的傳輸分布在多個(gè)資源塊中，每個(gè)資源塊中空中計(jì)算的設(shè)計(jì)是一樣的。一方面，為了加快式(7) 中的梯度聚合，需要對(duì)傳輸標(biāo)志進(jìn)行預(yù)處理與后處理，過程為：

（1）預(yù)處理：設(shè)備k的本地梯度更新向量中的每個(gè)元素在傳輸前被除以一個(gè)因子因此，邊緣服務(wù)器中沒有任何誤差的目標(biāo)梯度聚合可以表示為：

（2）后處理：邊緣服務(wù)器收集到的聚合信號(hào)需要進(jìn)行處理以得到平均梯度，表示如下：

另一方面，在邊緣服務(wù)器中，接收波束成形被用于預(yù)估式(9) 中的目標(biāo)梯度聚合。加上波束成形后，邊緣服務(wù)器中的接受信號(hào)可以表示為：

其中，m∈CN為接收波束成形向量，η為歸一化因子。從而，式(7) 中的平均梯度聚合可以表示為：

2 空中計(jì)算與聯(lián)邦學(xué)習(xí)

2.1 空中計(jì)算問題構(gòu)建

本文的目標(biāo)為目標(biāo)梯度聚合與預(yù)估梯度聚合的最小化均方誤差（MSE,Mean-Square Error），即式(9) 中的g與式(11)中的g～，可以表示為：

其中，函數(shù)MSE(x,y) 表示x與y的均方誤差。此外，每個(gè)設(shè)備有一個(gè)傳輸能量約束：

其中，P0為每個(gè)設(shè)備的最大傳輸能量。

最終問題可以概括為：

2.2 問題簡(jiǎn)化

為了解決非凸問題P1，需要進(jìn)行兩步簡(jiǎn)化。首先，傳輸標(biāo)量{bk} 可以被接收波束成形向量m表示。然后，問題可以被進(jìn)一步簡(jiǎn)化成一個(gè)二次約束二次規(guī)劃問題。第一步，根據(jù)參考文獻(xiàn)[7,13]，對(duì)于任意一個(gè)給定的m，可以得到最小化均方誤差的最優(yōu)的傳輸標(biāo)量，表示如下：

然后，考慮傳輸能量約束，可以進(jìn)一步得到：

將式(17) 中的η與式(16) 中的bk帶入式(13) 中的最小均方誤差函數(shù)，可以得到：

其中，σ2是噪聲的能量。由于σ、P0都是常數(shù)，P1 中的最小均方誤差與下式是等價(jià)的：

第二步，根據(jù)參考文獻(xiàn)[14]，式(19)中的問題可以進(jìn)一步寫成：

問題P2 是一個(gè)帶著一個(gè)非凸約束的二次約束二次規(guī)劃問題，這個(gè)問題是一個(gè)NP-hard 的問題。為了解決這個(gè)問題，文獻(xiàn)[13]的作者們使用了一個(gè)基于SDR 與SCA的算法。但是，文獻(xiàn)[13]中的算法只能得到一個(gè)次優(yōu)解。本文中，參考文獻(xiàn)[12] 采用分支定界法（BnB,Branch and Bound），它能保證得到問題P2 的一個(gè)全局最優(yōu)解。

2.3 使用分支定界算法解最小均方誤差

首先引入一個(gè)輔助變量x=[x1,x2,…,xK]T∈CK。使用該輔助變量可以將問題P2 轉(zhuǎn)化成如下的等價(jià)的形式：

（1）第一步：集合X被分割成幾個(gè)子集，每個(gè)子集對(duì)應(yīng)著一個(gè)與P3 一樣形式的子問題。

（2）第二步：解出每個(gè)子問題，以求出原問題的解的上下界。

（3）第三步：如果原問題的上下界收斂到同一個(gè)值，則原問題的最優(yōu)解已找到。否則，在每個(gè)子問題上重復(fù)步驟1 與步驟2。重復(fù)以上步驟直至收斂。上述三個(gè)步驟的具體過程為：

其中，為集合S的凸包。用問題P3.1i的解作為問題P3i的一個(gè)下界，因?yàn)槿栴}集合中 最小的下界作為當(dāng)前問題P3 的下界Lt。為了得到上界Ut，可以選擇任意一個(gè)在問題P3i的可行域內(nèi)的解當(dāng)作一個(gè)上界。在這里，放縮問題P3.1i的最優(yōu)解來生成一個(gè)可行的問題P3i的解的上界，如下所示。

把他們加入問題集合{P3i}，并且移除問題P3it。當(dāng)然，也需要求得這兩個(gè)問題的解的下界。在每個(gè)迭代輪次，得到新的問題集合{P3i}，并且得到該問題集合的上界Ut與下界Lt。停止迭代直到并選擇與Lt對(duì)應(yīng)的m作為問題P3 的解，否則繼續(xù)迭代。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)參數(shù)設(shè)定

本文使用的神經(jīng)網(wǎng)絡(luò)模型為18 層殘差結(jié)構(gòu)的脈沖神經(jīng)網(wǎng)絡(luò)（即將標(biāo)準(zhǔn)ResNet-18 網(wǎng)絡(luò)的全部激活函數(shù)替換為SNN 神經(jīng)元）。每個(gè)訓(xùn)練輪次中，設(shè)定總的時(shí)刻數(shù)為10，并使用泊松編碼器對(duì)CIFAR10 數(shù)據(jù)集進(jìn)行脈沖信號(hào)化。為了簡(jiǎn)化問題，所有設(shè)備使用相同的學(xué)習(xí)率0.01。使用batch-SGD 訓(xùn)練神經(jīng)網(wǎng)絡(luò)，batch-size 為128。每個(gè)局部模型將會(huì)在邊緣設(shè)備本地迭代5 輪。

與此同時(shí)，通信模型使用三維模型設(shè)定。邊緣服務(wù)器被設(shè)定為位于坐標(biāo)(0,0,20)，而其他設(shè)備均勻分布在以(120,20,0)為中心、半徑20 m 的圓形區(qū)域內(nèi)。距離相關(guān)的大規(guī)模衰弱被設(shè)定為其中T0是參考距離為d0=1 m 時(shí)的路徑損失，d表示傳輸設(shè)備與接收器之間的距離，α是路徑損失指數(shù)。除此之外，小規(guī)模衰落被設(shè)定為Rician 因子為β的Rician 衰落。平均500 個(gè)信道模擬的結(jié)果得到最終的信道向量。設(shè)定α=3，T0=-30 dB，β=3，

3.2 分支定界算法的有效性

圖2 展示了分支定界算法的收斂性?？梢?，分支定界算法在300 輪迭代內(nèi)達(dá)到收斂。

圖2 分支定界算法的收斂性

之后，將分支定界算法與廣泛使用的SDR 算法進(jìn)行比較，如圖3 所示。使用的指標(biāo)為空中計(jì)算噪音范數(shù)（NOAN,Norm of AirComp Noise），定義如下：

其中，g為目標(biāo)函數(shù)，為目標(biāo)函數(shù)的估計(jì)值，該估計(jì)值使用如上文所述方法生成信道向量hk，并使用分支定界算法解出波束成形向量m。如圖3 所示，分支界定算法的NOAN 一直比SDR 算法的要更小，證明分支定界算法的效果要比SDR 更好。

圖3 分支定界算法與SDR的空中計(jì)算噪聲范數(shù)比較

3.3 空中計(jì)算輔助脈沖神經(jīng)網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)框架的性能評(píng)估

空中計(jì)算輔助基于脈沖神經(jīng)網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)框架的性能如圖4 所示。

圖4 空中計(jì)算輔助基于脈沖神經(jīng)網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)框架性能評(píng)估

將本文使用的分支界定算法與標(biāo)準(zhǔn)模式和SDR 算法進(jìn)行比較。其中，標(biāo)準(zhǔn)模式指直接使用目標(biāo)函數(shù)值作為空中計(jì)算的結(jié)果，而SDR 算法指使用SDR 算法解問題P2 所得到的空中計(jì)算結(jié)果。由于分支定界算法得出的解是全局最優(yōu)解，所以當(dāng)σ2很小的時(shí)候訓(xùn)練曲線更加接近標(biāo)準(zhǔn)模式。然而，隨著σ2增加，收斂速度變得很慢，并且最終準(zhǔn)確率也比標(biāo)準(zhǔn)模式要低。另一方面，與只能求得局部最優(yōu)解的SDR 對(duì)比，本文的算法在收斂速度與準(zhǔn)確率上明顯表現(xiàn)更好。

4 結(jié)束語

本文中，研究了基于脈沖神經(jīng)網(wǎng)絡(luò)的無線空中聯(lián)邦學(xué)習(xí)框架，并提出了相應(yīng)的解決算法。由于脈沖神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)計(jì)算效率更高且更加節(jié)省能量，所以該框架比基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)框架更加具有實(shí)踐意義。同時(shí)，使用的空中計(jì)算技術(shù)也很大程度上降低了通信消耗，彌補(bǔ)了聯(lián)邦學(xué)習(xí)在通信傳輸資源消耗方面的缺陷。大量仿真結(jié)果顯示，所提出的全局最優(yōu)的分支定界算法各方面表現(xiàn)都比局部最優(yōu)的SDR 算法要好，并且基于分支定界算法的收斂速度與準(zhǔn)確率都優(yōu)于基于SDR 的算法。在未來的工作中，可以考慮比較不同網(wǎng)絡(luò)模型（如CNN、SNN）在不同應(yīng)用場(chǎng)景下的性能下界，從而根據(jù)場(chǎng)景選擇合適的模型。總而言之，SNN 的引入為6G 聯(lián)邦學(xué)習(xí)帶來了更多的可能性，在未來也會(huì)有越來越多的工作對(duì)基于SNN 模型的聯(lián)邦學(xué)習(xí)應(yīng)用進(jìn)行研究。