国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于自適應聚合時間的半同步聯(lián)邦資源優(yōu)化算法

2024-09-14 00:00:00李鐵莊琲林尚靜韓志博
無線電通信技術(shù) 2024年4期
關(guān)鍵詞:資源優(yōu)化物聯(lián)網(wǎng)

摘 要:聯(lián)邦學習是一種高效的分布式機器學習方法,其中多個設備使用自己的本地數(shù)據(jù)進行分布式模型訓練,不需要交換本地數(shù)據(jù),僅通過交換模型參數(shù)來構(gòu)建共享的全局模型,從而保護用戶的隱私。為了平衡模型性能和通信延遲,在半同步聯(lián)邦學習場景下,使用權(quán)重參數(shù)建立了一個最小化模型性能和聚合時間的加權(quán)和的優(yōu)化問題。優(yōu)化變量包括進行全局模型更新的聚合時間、用戶調(diào)度以及參與上傳的用戶的帶寬和發(fā)射功率,通過使用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)將所提混合整數(shù)非線性規(guī)劃(Mixed Integer Non-Linear Programming,MINLP)問題分解為兩個子問題進行求解。仿真實驗證明,所提算法能夠以犧牲4% 模型性能為代價,降低73% 的聚合時間,顯著提高了通信效率。

關(guān)鍵詞:物聯(lián)網(wǎng);半同步聯(lián)邦學習;用戶調(diào)度;資源優(yōu)化

中圖分類號:TN92 文獻標志碼:A 開放科學(資源服務)標識碼(OSID):

文章編號:1003-3114(2024)04-0696-08

0 引言

隨著通信技術(shù)的快速發(fā)展,未來將是一個數(shù)據(jù)爆炸的時代,海量數(shù)據(jù)將無處不在,涵蓋從物聯(lián)網(wǎng)設備到智能終端的各個領域。面對如此龐大的數(shù)據(jù)量,如何在保障用戶隱私的前提下有效地進行數(shù)據(jù)處理、分析和利用,成為了一個亟待解決的問題。

聯(lián)邦學習[1]正是在這樣的背景下應運而生。它能夠在保護用戶隱私的前提下,允許各個節(jié)點或設備利用本地數(shù)據(jù)進行模型的訓練和優(yōu)化,而無需將數(shù)據(jù)上傳到中心服務器。這種分布式的學習方式不僅降低了數(shù)據(jù)傳輸和存儲的成本,還提高了數(shù)據(jù)處理的效率和安全性。因此,聯(lián)邦學習在移動邊緣網(wǎng)絡中得到廣泛應用[2]。

在移動邊緣網(wǎng)絡中,不同的訓練任務在總延遲和準確度方面具有不同的偏好。例如,對于語音識別[3]或視頻處理[4]等實時任務,總延遲是關(guān)鍵因素。對于醫(yī)學影像診斷[5]或金融風險評估[6]等任務,準確度是關(guān)鍵因素。然而,在移動邊緣網(wǎng)絡環(huán)境下,現(xiàn)有的聯(lián)邦學習框架很難滿足不同的訓練任務偏好。其主要面臨以下挑戰(zhàn):

一方面,在同步聯(lián)邦學習框架中,每一輪的通信總延遲取決于最慢的設備。然而,由于聯(lián)邦學習參與者的設備存在硬件差異,其計算和通信能力不同,因此設備條件較好的用戶往往需要等待更長的時間。這種硬件條件差異所導致的落后效應降低了整個系統(tǒng)的效率。

另一方面,由于帶寬資源有限,當大量設備與服務器同時進行通信時,會造成通信擁堵,增加通信延遲。然而,當隨機選擇一部分設備參與通信時,又會帶來精度的顯著降低。

針對以上問題,提出了一種基于自適應聚合時間的半同步聯(lián)邦資源優(yōu)化算法。在聯(lián)邦學習每一個時間周期內(nèi),根據(jù)設備的計算能力、信道條件、存儲數(shù)據(jù)量大小來選擇參與模型聚合的用戶,通過引入權(quán)重因子平衡模型準確度與時延,最大化用戶收益,同時確定等待聚合的時間,聚合時間在每個時間周期根據(jù)用戶情況動態(tài)變化。建立并求解混合整數(shù)非線性規(guī)劃(Mixed Integer Non-Linear Programming,MINLP)問題,完成用戶的選擇、資源管理與聚合時間的確定。提出基于增廣拉格朗日法與交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)的方案,將優(yōu)化問題分解為設備調(diào)度和資源分配兩個子問題依次迭代求解,優(yōu)化發(fā)射功率、帶寬資源的分配,確定聚合時間。

1 研究現(xiàn)狀

現(xiàn)有聯(lián)邦學習資源優(yōu)化算法多基于同步聯(lián)邦學習訓練方式。Zeng 等[7]提出了帶寬分配和用戶調(diào)度的節(jié)能策略,在保證聯(lián)邦學習性能的前提下降低了系統(tǒng)總能耗。Zhou 等[8]通過引入權(quán)重參數(shù)制定了一個最小化總能耗和完成時間的優(yōu)化問題,優(yōu)化變量涉及設備帶寬、傳輸功率和CPU 頻率,實現(xiàn)了能耗和延遲之間的平衡。Kim 等[9]聯(lián)合優(yōu)化數(shù)據(jù)數(shù)量和帶寬資源,實現(xiàn)了學習效率和系統(tǒng)總能耗之間的平衡。以上文獻所基于的同步聯(lián)邦學習訓練方式能夠確保良好的融合性能,但可能會導致嚴重的掉隊問題。

為解決同步聯(lián)邦學習算法的高延遲問題,文獻[10-11]提出了異步模型聚合算法,這種異步更新方式使用戶能夠在完成本地訓練后,立即將模型上傳到服務器進行融合。雖然異步更新方式避免了用戶等待過長時間,但異步更新造成的梯度停滯將進一步降低模型的性能[12]。

新興的半同步聯(lián)邦學習算法結(jié)合了同步聯(lián)邦學習和異步聯(lián)邦學習的優(yōu)點,允許部分設備上傳過時的模型進行全局聚合。You 等[13]提出了一種半同步算法,該算法緩解了掉隊問題并確保了良好的收斂性能。但該算法使用貪婪算法解決調(diào)度問題,貪婪算法屬于啟發(fā)式算法,易于實現(xiàn),但容易陷入局部最優(yōu)解。因此,在解決資源優(yōu)化問題中,需要根據(jù)對精確性和復雜度的偏好來選擇適宜的算法求解凸優(yōu)化問題。

2 系統(tǒng)模型

針對物聯(lián)網(wǎng)場景設計的半同步聯(lián)邦學習框架如圖1 所示,主要由一個參數(shù)服務器和在其通信覆蓋范圍內(nèi)的N 個用戶組成。將用戶集合表示為N={1,2,…,N}。用戶通過無線通信網(wǎng)絡與參數(shù)服務器通信。對于每個設備n∈ N,存儲的本地數(shù)據(jù)集為Dn = {(x1n,y1n ),(x2n,y2n ),…,(xin,yin),…,(xnDn,ynDn)},Dn 為設備 n 上數(shù)據(jù)集的樣本數(shù)。xin 和yin 分別表示設備n 上第i 個輸入樣本和對應的真實標簽。

參數(shù)服務器動態(tài)選擇用戶上傳其本地模型,通過協(xié)作計算和通信,完成聯(lián)邦學習任務。

具體地,在每一個通信輪開始前,設備n 向參數(shù)服務器發(fā)送本地存儲的數(shù)據(jù)量Dn、本地計算能力(例如CPU 頻率fn)、位置信息n 和可執(zhí)行的CPU最大發(fā)射功率pmaxn 。服務器根據(jù)這些信息通過資源管理算法設置一個等待聚合時間Taggr,選擇一組在等待時間內(nèi)可以完成本地訓練的設備進行通信資源分配以及上傳本地模型。根據(jù)每個時刻設備情況的不同,Taggr 在每個時刻動態(tài)變化。隨后,在參數(shù)服務器完成全局模型的聚合。在每個時刻重復以上過程,直到全局模型收斂。

2. 1 聯(lián)邦學習過程

聯(lián)邦學習訓練過程包含本地模型計算、本地模型上傳和本地模型聚合三個過程。詳細流程如下。

① 參數(shù)服務器將全局模型ω 下發(fā)給所有用戶設備。

② 用戶設備n 在本地數(shù)據(jù)集n 上訓練本地模型,目標是得到最小化模型損失函數(shù)Fn(ωn)的模型參數(shù)值ωn,Fn(ωn)的表達方式為:

式中:r 為全局輪的索引,Fn(ωn(r))為樣本損失函數(shù),用于衡量輸出與真實標簽yin 之間的誤差。設備n 在第t 輪本地迭代時更新參數(shù)的過程如下:

式中:η 為學習率。

訓練完成后,被調(diào)度的設備n 通過無線通信將其本地模型參數(shù)ωn(r)上傳到參數(shù)服務器。參數(shù)服務器通過聚合本地模型參數(shù)來獲得的全局模型為:

式中:λn 表示用戶調(diào)度指示符,當λn = 1 時表示用戶被調(diào)度,需要向參數(shù)服務器上傳其本地模型;λn =0 時則不被調(diào)度,不需要上傳。

③ 完成全局模型聚合后,參數(shù)服務器將全局模型參數(shù)ω 發(fā)送給所有用戶設備,每個用戶設備n 接收ω 并將局部模型參數(shù)更新為ωn(r+1)= ω。

2. 2 延遲模型

在所提的框架中,用戶設備需要通過與參數(shù)服務器的通信來上傳和下載模型參數(shù)。為了保證用戶設備與參數(shù)服務器之間的不間斷傳輸,用戶設備與基站之間采用正交頻分多址技術(shù)[14]通信,用戶設備在每一輪訓練中保持恒定的無線信道增益,并在不同輪次中改變信道增益。在每一輪中,用戶設備n到參數(shù)服務器之間的信道增益為:

hn =δn PL(dn) n, (4)

式中:dn 為用戶設備n 與參數(shù)服務器之間的距離,αn 為包括陰影和路徑損耗的大尺度衰落效應,陰影δn 服從對數(shù)正態(tài)分布,路徑損耗PL(dn )= 128. 1+37. 6 lg(n [km])。n 為小尺度衰落效應,服從瑞利分布[15]。

4 仿真實驗

4. 1 參數(shù)設置

本文的半同步聯(lián)邦學習系統(tǒng)由一個參數(shù)服務器和10 個用戶設備組成,用戶設備的數(shù)據(jù)量Dn 在1 ~4 Mbit 隨機選擇。設置參數(shù)服務器的通信覆蓋以其為中心的半徑600 m 的區(qū)域。噪聲功率σ2 = -114 dBm,CPU 周期ξn = 10 cycles/ bit,本地迭代次數(shù)In 為10,聯(lián)邦學習過程中傳輸?shù)哪P蛥?shù)大小ωn = 0. 316 Mbit。參數(shù)服務器可分配的總帶寬B=1 MHz。設備的CPU 頻率fn 為0. 1 ~ 1. 0 GHz,數(shù)據(jù)傳輸功率Pn 為10 ~ 20 dBm,量綱系數(shù)αE = 1。圖2 是對MNIST 手寫數(shù)字識別數(shù)據(jù)集擬合的結(jié)果,橫坐標代表參與聯(lián)邦訓練的數(shù)據(jù)量大小,縱坐標代表聯(lián)邦學習全局模型的準確度,每個數(shù)據(jù)點為聯(lián)邦訓練100 次得到的均值,設備在私有數(shù)據(jù)集上的本地訓練輪數(shù)設置為30,一次訓練選取的樣本數(shù)為128。式(8)中的系數(shù)q1 =0. 141,q2 =0. 746 2。

4. 2 性能評估

本節(jié)通過仿真驗證所提出的聚合自適應半同步聯(lián)邦學習資源優(yōu)化算法的性能。

圖3 為所提算法在不同偏好參數(shù)τ 下,聚合時間隨用戶設備最大功率pmaxn 變化的對比圖,量綱系數(shù)αE 設置為1??梢钥闯觯w上,不同偏好參數(shù)所表示的曲線呈遞減趨勢,說明其聚合時間Taggr 隨著設備最大功率的增加逐漸下降。對于τ = 0. 7 的曲線,聚合時間在設備最大功率從14 dBm 增大為15 dBm 時發(fā)生上升現(xiàn)象,說明最大功率的改變使得調(diào)度策略發(fā)生變化,有新的用戶被選擇上傳模型。此外,τ= 0. 1 和τ = 0. 3 的曲線基本重合,說明在這兩種情況下,調(diào)度策略相同。

圖4 為所提算法在不同偏好參數(shù)τ 下,上傳用戶數(shù)量隨用戶設備最大功率pmaxn 變化的對比圖,量綱系數(shù)αE 設置為1??梢钥闯觯瑢τ讦?= 0. 7 的曲線,在設備最大功率從14 dBm 增大為15 dBm 時,上傳用戶數(shù)量從3 增加到了4,證明了圖3 中τ =0. 7的曲線發(fā)生變化的原因。此外,τ=0. 1 和τ =0. 3 的曲線發(fā)生重合,上傳用戶數(shù)量都為1,證明了圖3 中τ=0. 1 和τ=0. 3 的曲線基本重合的原因。

為驗證所提算法中資源分配策略和調(diào)度策略的有效性,將所提算法與以下算法進行對比:

① 基于設備全調(diào)度的資源分配算法(對比算法1):基于所提算法,采用選擇所有設備參與聯(lián)邦學習的方案,并利用算法為設備分配帶寬與功率。

② 基于設備全調(diào)度的等帶寬資源分配算法(對比算法2):基于所提算法,且所有設備均分參數(shù)服務器的可分配總帶寬B。

③ 基于所提算法的等帶寬資源分配算法(對比算法3):基于所提算法調(diào)度設備,且所有設備均分參數(shù)服務器的可分配總帶寬B。

圖5 為不同算法在不同量綱系數(shù)αE 下的聚合時間對比圖,設置偏好系數(shù)τ = 0. 8??梢钥闯?,和對比算法相比,所提算法在不同量綱系數(shù)下的聚合時間均為最小值。當αE = 0. 5 時,所提算法與表現(xiàn)最差的對比算法之間的差異最小,聚合時間降低了42% ;當αE =2. 0 時,所提算法與表現(xiàn)最差的對比算法之間的差異最大,聚合時間降低了72% 。此外,對比算法1 和對比算法2 的聚合時間不受量綱系數(shù)αE 的影響,原因是這兩個算法沒有在模型準確度和聚合時間之間進行平衡,設備全部參與調(diào)度,模型準確度固定。對于對比算法3,由于采用了所提算法中的調(diào)度策略,在不同量綱系數(shù)αE 下選擇上傳的用戶數(shù)不同,聚合時間也就不同。

圖6 為不同算法在不同量綱系數(shù)αE 下的準確度對比圖,設置偏好系數(shù)τ = 0. 8。由于本文的算法是以犧牲模型性能為代價,所以在圖6 中,與設備全調(diào)度的對比算法1 和對比算法2 相比,所提算法在不同量綱系數(shù)αE 下的模型性能均會出現(xiàn)不同程度的下降。當αE =0. 5 時,所提算法的模型準確度下降最少,降低了1. 8% ;當αE =2. 0 時,所提算法的模型準確度下降最多,降低了4% 。與對比算法3 相比,所提算法在αE 為0. 5 和1. 0 時準確度較小,因為所提算法優(yōu)化了模型性能和聚合時間之間的加權(quán)和,所以性能的降低是為了實現(xiàn)更低的延遲。

5 結(jié)束語

針對移動邊緣網(wǎng)絡環(huán)境中現(xiàn)有的聯(lián)邦學習框架難以滿足不同的訓練任務偏好的問題,本文提出了基于自適應聚合時間的半同步聯(lián)邦資源優(yōu)化算法。該算法使用權(quán)重因子,在模型準確度和聚合時間方面對不同的訓練任務偏好進行建模,充分考慮了設備異構(gòu)性、可用帶寬資源和信道條件等因素,自適應地設置合理的聚合時間以選擇部分用戶上傳模型,同時為這些用戶分配帶寬、設置功率。仿真實驗證明所提算法能夠以損失4% 模型性能為代價,降低73% 的聚合時間,實現(xiàn)了模型性能和延遲之間的平衡,顯著地提升了通信效率。

參考文獻

[1] MCMAHAN H B,MOORE E,RAMAGE D,et al. Communicationefficient Learning of Deep Networks from Decentralized Data[C]∥The 20th International Conference onArtificial Intelligence and Statistics. Ft Lauderdale:JMLR,2017:1273-1282.

[2] 孫兵,劉艷,王田,等. 移動邊緣網(wǎng)絡中聯(lián)邦學習效率優(yōu)化綜述[J]. 計算機研究與發(fā)展,2022,59 (7):1439-1469.

[3] HAEBUMBACH R,HEYMANN J,DRUDE L,et al. Farfield Automatic Speech Recognition [J]. Proceedings ofthe IEEE,2021,109(2):124-148.

[4] PRIANDIKA A T,PERMATA P,GUNAWANR D,et al.Video Editing Training to Improve the Quality of Teachingand Learning at SMK Palapa Bandarlampung[J]. Journalof Engineering and Information Technology for CommunityService,2022,1(2):26-30.

[5] CHEN X X,WANG X M,ZHANG K C,et al. Recent Advances and Clinical Applications of Deep Learning inMedical Image Analysis [J]. Medical Image Analysis,2022,79:102444.

[6] BARRA S,CARTA S M,CORRIGA A,et al. DeepLearning and Time SeriestoImage Encoding for FinancialForecasting[J]. IEEE/ CAA Journal of Automatica Sinica,2020,7(3):683-692.

[7] ZENG Q S,DU Y Q,HUANG K B,et al. EnergyefficientRadio Resource Allocation for Federated Edge Learning[C]∥2020 IEEE International Conference on Communications Workshops (ICC Workshops). Montreal:IEEE,2020:1-6.

[8] ZHOU X Y,ZHAO J,HAN H M,et al. Joint Optimizationof Energy Consumption and Completion Time in FederatedLearning[C]∥2022 IEEE 42nd International Conferenceon Distributed Computing Systems (ICDCS). Bologna:IEEE,2022:1005-1017.

[9] KIM J,KIM D,LEE J,et al. A Novel Joint Dataset andComputation Management Scheme for EnergyefficientFederated Learning in Mobile Edge Computing[J]. IEEEWireless Communications Letters,2022,11(5):898-902.

[10]JIANG Z F,WANG W,LI B C,et al. Pisces:EfficientFederated Learning via Guided Asynchronous Training[C]∥ The 13th Symposium on Cloud Computing. NewYork:ACM,2022:370-385.

[11]PAN C,WANG Z,LIAO H J,et al. AsynchronousFederated Deep Reinforcement Learningbased URLLCaware Computation Offloading in Spaceassisted VehicularNetworks[J]. IEEE Transactions on Intelligent Transportation Systems,2023,24(7):7377-7389.

[12]XU C H,QU Y Y,XIANG Y,et al. AsynchronousFederated Learning on Heterogeneous Devices:A Survey[J]. Computer Science Review,2023,50:100595.

[13]YOU C Q,FENG D Q,GUO K,et al. SemisynchronousPersonalized Federated Learning Over Mobile Edge Networks[J]. IEEE Transactions on Wireless Communications,2023,22(4):2262-2277.

[14]CIMINI L. Analysis and Simulation of a Digital MobileChannel Using Orthogonal Frequency Division Multiplexing[J]. IEEE Transactions on Communications,1985,33(7):665-675.

[15]SKLAR B. Rayleigh Fading Channels in Mobile DigitalCommunication Systems. I. Characterization [J ]. IEEECommunications Magazine,1997,35(9):136-146.

[16]REN J K,YU G D,DING G Y. Accelerating DNNTraining in Wireless Federated Edge Learning Systems[J]. IEEE Journal on Selected Areas in Communications,2020,39(1):219-232.

[17]MISENER R,FLOUDAS C A. ANTIGONE:Algorithms forcoNTinuous / Integer Global Optimization of NonlinearEquations[J]. Journal of Global Optimization,2014,59(2-3):503-526.

[18]KUHN H W,TUCKER A W. Nonlinear Programming[M]∥GASS S I,FU M C. Traces and Emergence of Nonlinear Programming. Basel:Springer Basel,2013:247-258.

作者簡介:

李 鐵 男,(1999—),碩士研究生。主要研究方向:邊緣計算、聯(lián)邦學習。

莊 琲 女,(2000—),碩士研究生。主要研究方向:邊緣計算、聯(lián)邦學習。

林尚靜 女,(1986—),博士,講師。主要研究方向:邊緣計算、分布式計算、深度學習。

韓志博 女,(1999—),碩士研究生。主要研究方向:邊緣計算、聯(lián)邦學習。

基金項目:湖北省工程研究中心2024 年開放課題

猜你喜歡
資源優(yōu)化物聯(lián)網(wǎng)
“互聯(lián)網(wǎng)+”構(gòu)建農(nóng)村現(xiàn)代流通供應鏈的創(chuàng)新路徑探討
多項目背景下電力施工型企業(yè)基于關(guān)鍵鏈技術(shù)的資源優(yōu)化方法研究
利用同課異構(gòu)資源優(yōu)化高中物理教學的研究
考試周刊(2016年82期)2016-11-01 11:40:18
基于物聯(lián)網(wǎng)的煤礦智能倉儲與物流運輸管理系統(tǒng)設計與應用
基于高職院校物聯(lián)網(wǎng)技術(shù)應用人才培養(yǎng)的思考分析
基于LABVIEW的溫室管理系統(tǒng)的研究與設計
論智能油田的發(fā)展趨勢及必要性
中國或成“物聯(lián)網(wǎng)”領軍者
探析企業(yè)會計管理節(jié)約功能 推進資源優(yōu)化建設
關(guān)于實現(xiàn)高中語文教學資源優(yōu)化使用方法的分析
天柱县| 广饶县| 天津市| 明水县| 阿瓦提县| 滦南县| 崇州市| 兖州市| 丰台区| 乡城县| 佳木斯市| 博兴县| 浮山县| 会同县| 息烽县| 甘洛县| 琼中| 馆陶县| 屏东市| 宽城| 丽江市| 岗巴县| 习水县| 泌阳县| 湖口县| 徐水县| 黎平县| 上犹县| 凤台县| 牟定县| 宜兴市| 喜德县| 苏尼特左旗| 永安市| 凭祥市| 怀安县| 龙门县| 浦县| 东兰县| 宜黄县| 丽水市|