吳 琪,盧健圳,伍沛然,王 帥,陳 立,夏明華?

(1.中山大學(xué) 電子與通信工程學(xué)院,廣東 廣州 510006;2.中山大學(xué) 電子與信息工程學(xué)院,廣東 廣州 510006;3.南方科技大學(xué) 電子與電氣工程系,廣東 深圳 518055)

0 引言

隨著移動(dòng)通信技術(shù)和互聯(lián)網(wǎng)應(yīng)用的快速發(fā)展,智能終端及其產(chǎn)生的數(shù)據(jù)都經(jīng)歷著前所未有的爆發(fā)式增長(zhǎng)。 美國(guó)思科公司的預(yù)測(cè)數(shù)據(jù)顯示,到 2020 年全球范圍內(nèi)的智能終端數(shù)量將達(dá)到 750 億臺(tái)[1];國(guó)際數(shù)據(jù)公司(Internation Data Corporation,IDC)的預(yù)測(cè)數(shù)據(jù)顯示, 到 2025 年全球數(shù)據(jù)量將達(dá)到 175 澤字節(jié)[2](ZB,1 ZB = 1021Byte)。 與此同時(shí),人工智能(Artificial Intelligence,AI) 技術(shù)在經(jīng)歷60 余年的跨越之后正處于新一輪的發(fā)展浪潮。 越來越多的 AI 應(yīng)用不斷改變著人們的工作和生活方式,智能家居、自動(dòng)駕駛、智慧城市等新興應(yīng)用也開始進(jìn)行商業(yè)部署。 一方面,現(xiàn)象級(jí)的數(shù)據(jù)量為 AI 技術(shù)的發(fā)展帶來新的機(jī)遇;另一方面,為了實(shí)現(xiàn) AI,也需要龐大的通信資源和計(jì)算資源來支持海量數(shù)據(jù)的傳輸與處理。 常見的解決方案是將數(shù)據(jù)回傳到云端的高性能服務(wù)器進(jìn)行處理,即云計(jì)算。 然而,基于云計(jì)算的集中處理方式在數(shù)據(jù)傳輸過程中不可避免地消耗大量的通信資源并引起較大的時(shí)間延遲;而且,物理上受限的通信資源 (例如帶寬) 將限制系統(tǒng)的可擴(kuò)展性;最后,用戶數(shù)據(jù)在公用網(wǎng)絡(luò)中的傳輸也會(huì)帶來較高的數(shù)據(jù)安全及隱私泄露風(fēng)險(xiǎn)。

為了解決云計(jì)算存在的上述問題,近年來研究人員提出了基于邊緣計(jì)算的新型數(shù)據(jù)處理方式。 從原理上講,邊緣計(jì)算是指利用網(wǎng)絡(luò)邊緣的計(jì)算資源就近處理終端設(shè)備產(chǎn)生的數(shù)據(jù),從而降低從終端到云端的通信開銷和時(shí)間延遲。 為了進(jìn)一步適應(yīng)分布式大規(guī)模數(shù)據(jù)處理,將邊緣計(jì)算與機(jī)器學(xué)習(xí)相結(jié)合,產(chǎn)生了“邊緣學(xué)習(xí)”(edge learning)的思想[3-4]。 簡(jiǎn)言之,邊緣學(xué)習(xí)是指一種將機(jī)器學(xué)習(xí) (尤其是指深度學(xué)習(xí)) 部署在網(wǎng)絡(luò)邊緣形成的AI 實(shí)施架構(gòu)。 換句話說,在邊緣學(xué)習(xí)里,以前部署在云端的機(jī)器學(xué)習(xí)等算法下沉到網(wǎng)絡(luò)邊緣側(cè),更靠近用戶終端設(shè)備,從而將網(wǎng)絡(luò)架構(gòu)分為了“云端-邊緣端-用戶終端”三級(jí)架構(gòu)。 在實(shí)際系統(tǒng)中,邊緣端可以由部署在蜂窩基站等網(wǎng)絡(luò)接入點(diǎn)的邊緣服務(wù)器組成。 通過整合用戶終端、邊緣端和云端上的計(jì)算資源,邊緣學(xué)習(xí)能將深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)等高級(jí)的機(jī)器學(xué)習(xí)算法靈活高效地部署在網(wǎng)絡(luò)的不同物理實(shí)體上,完成模型的訓(xùn)練和應(yīng)用。 相對(duì)地,將基于 DNN 等機(jī)器學(xué)習(xí)算法的云計(jì)算稱為“云學(xué)習(xí)”(cloud learning)。

云學(xué)習(xí)和邊緣學(xué)習(xí)之間的主要區(qū)別在于學(xué)習(xí)環(huán)境：在云學(xué)習(xí)中,海量數(shù)據(jù)被匯聚到單一的數(shù)據(jù)中心進(jìn)行計(jì)算和分析;而邊緣學(xué)習(xí)執(zhí)行的是分布式數(shù)據(jù)處理,尤其強(qiáng)調(diào)將計(jì)算和處理能力從數(shù)據(jù)中心下沉到網(wǎng)絡(luò)邊緣,并利用智能實(shí)體(例如網(wǎng)關(guān),執(zhí)行數(shù)據(jù)的計(jì)算和分析任務(wù))。 通過在邊緣端提供內(nèi)容緩存、服務(wù)交付、存儲(chǔ)和終端管理等功能,可以顯著減輕網(wǎng)絡(luò)通信負(fù)荷并縮短網(wǎng)絡(luò)響應(yīng)時(shí)間。 相對(duì)于云學(xué)習(xí),邊緣學(xué)習(xí)的優(yōu)勢(shì)主要體現(xiàn)在傳輸時(shí)延、安全與隱私性、系統(tǒng)的可擴(kuò)展性和通信開銷等4 個(gè)方面。

(1) 傳輸時(shí)延

一般來說,處理數(shù)據(jù)花費(fèi)的時(shí)間越長(zhǎng),數(shù)據(jù)與待執(zhí)行任務(wù)之間的相關(guān)性就越差。 例如,對(duì)于自動(dòng)駕駛來說,時(shí)延至關(guān)重要,可能短短幾秒之后汽車收集到的有關(guān)道路和鄰近車輛的大多數(shù)數(shù)據(jù)就已經(jīng)變得毫無用處。 因此,許多時(shí)延敏感場(chǎng)景并不允許在終端設(shè)備和云之間來回傳輸數(shù)據(jù)。 而邊緣學(xué)習(xí)則能夠在靠近數(shù)據(jù)產(chǎn)生的位置進(jìn)行數(shù)據(jù)處理,從而縮短響應(yīng)時(shí)間,使數(shù)據(jù)更加有用和可操作,數(shù)據(jù)處理結(jié)果與待執(zhí)行任務(wù)更加相關(guān)。

(2) 安全與隱私

當(dāng)用戶終端設(shè)備與云之間的數(shù)據(jù)傳輸不可避免時(shí),依賴可操作數(shù)據(jù)的關(guān)鍵業(yè)務(wù)和運(yùn)營(yíng)流程將變得非常脆弱。 傳統(tǒng)的云學(xué)習(xí)架構(gòu)本質(zhì)上是集中式的,這導(dǎo)致用戶終端特別容易受到分布式拒絕服務(wù)(Distributed Denial of Service,DDoS)的攻擊以及斷電的影響。 相反,邊緣學(xué)習(xí)將處理、存儲(chǔ)和應(yīng)用程序分布在廣泛的邊緣設(shè)備上,使得任何數(shù)據(jù)傳輸中斷都不至于讓整個(gè)網(wǎng)絡(luò)陷入癱瘓。 而且,由于更多數(shù)據(jù)在本地設(shè)備上進(jìn)行處理避免了在公用網(wǎng)絡(luò)中傳輸,邊緣學(xué)習(xí)還可以減少處于安全與隱私暴露風(fēng)險(xiǎn)中的數(shù)據(jù)量。

(3) 可擴(kuò)展性

在云學(xué)習(xí)的架構(gòu)中,一個(gè)龐大的數(shù)據(jù)中心不可或缺,但中心的建立和運(yùn)營(yíng)成本十分高昂。 而且,除了大量的前期建設(shè)成本和日常維護(hù)之外,數(shù)據(jù)中心還需要根據(jù)需求的變化不斷進(jìn)行升級(jí)和擴(kuò)展。 而邊緣學(xué)習(xí)提供了更靈活、更低成本的解決方案,可以將計(jì)算、存儲(chǔ)和分析功能盡可能部署到更低廉且更便于部署的邊緣設(shè)備中,同時(shí)這些設(shè)備位于更靠近用戶的位置。 從而,企業(yè)可以利用這些邊緣設(shè)備來靈活擴(kuò)展企業(yè)內(nèi)部網(wǎng)絡(luò)系統(tǒng)的計(jì)算能力、覆蓋范圍和業(yè)務(wù)功能。

(4) 通信開銷

因?yàn)椴煌瑪?shù)據(jù)的內(nèi)容各不相同,它們蘊(yùn)含的價(jià)值也不同,所以,將所有數(shù)據(jù)同等重要地傳輸?shù)皆贫诉M(jìn)行處理顯然是低效的。 而邊緣學(xué)習(xí)則可以對(duì)數(shù)據(jù)進(jìn)行分類處理,并且在邊緣位置保留盡可能多的數(shù)據(jù),從而降低通信開銷并節(jié)省傳輸數(shù)據(jù)所需的昂貴帶寬。 值得注意的是,邊緣學(xué)習(xí)并不是要消除對(duì)云的需求,而是要優(yōu)化傳輸?shù)臄?shù)據(jù)流以最小化通信開銷。

盡管邊緣學(xué)習(xí)能夠緩解云學(xué)習(xí)的數(shù)據(jù)傳輸和處理壓力,但在一個(gè)復(fù)雜網(wǎng)絡(luò)中實(shí)施邊緣學(xué)習(xí)也面臨諸多挑戰(zhàn)。 首先,如何靈活地整合、調(diào)配和使用分布式的計(jì)算資源是邊緣學(xué)習(xí)要解決的問題;其次,邊緣學(xué)習(xí)系統(tǒng)中也包含了大量數(shù)據(jù)傳輸?shù)倪^程,如何通過降低傳輸時(shí)延和提高通信質(zhì)量等方法優(yōu)化數(shù)據(jù)傳輸是高效實(shí)施邊緣計(jì)算的關(guān)鍵。 最后,系統(tǒng)的物理實(shí)現(xiàn)、隱私和安全也都面臨新的挑戰(zhàn),同時(shí)也帶來新的研究與發(fā)展機(jī)遇。

1 關(guān)鍵技術(shù)

圖 1 是一個(gè)基于邊緣學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu),它包含一個(gè)云數(shù)據(jù)中心、多個(gè)邊緣服務(wù)器和大量用戶終端。用于實(shí)現(xiàn)AI 的機(jī)器學(xué)習(xí)算法(例如深度學(xué)習(xí))可以分布式地部署在云端、邊緣端以及用戶終端。 為了開發(fā)高效、安全的邊緣學(xué)習(xí)系統(tǒng),本節(jié)首先闡述分布式訓(xùn)練策略和面向邊緣學(xué)習(xí)的數(shù)據(jù)傳輸方法,這2 項(xiàng)技術(shù)分別聚焦于提高計(jì)算和通信的有效性;然后,為了優(yōu)化系統(tǒng)的整體計(jì)算性能,還將討論計(jì)算和模型卸載技術(shù)。

圖1 基于邊緣學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)Fig.1 Edge learning based network architecture

1.1 分布式訓(xùn)練

為了訓(xùn)練機(jī)器學(xué)習(xí)模型,傳統(tǒng)上采用集中式訓(xùn)練方法并要求將訓(xùn)練數(shù)據(jù)匯聚到云端的數(shù)據(jù)中心。在機(jī)器學(xué)習(xí)技術(shù)發(fā)展之初,基于強(qiáng)大的數(shù)據(jù)收集和處理能力,集中式模型訓(xùn)練在眾多大型 AI 公司(例如 Google,Facebook,Amazon)得到廣泛應(yīng)用。 但這種集中式訓(xùn)練方法會(huì)涉及用戶數(shù)據(jù)的隱私問題。 例如,移動(dòng)電話用戶的手機(jī)終端通常保存著用戶的隱私敏感數(shù)據(jù),為了在這種集中式訓(xùn)練方法下獲得更好的機(jī)器學(xué)習(xí)模型,移動(dòng)電話用戶不得不通過將存儲(chǔ)在手機(jī)中的個(gè)人數(shù)據(jù)發(fā)送到 AI 公司的云上來交易自己的隱私。 與集中式訓(xùn)練不同,分布式訓(xùn)練是在靠近用戶終端的多個(gè)邊緣設(shè)備之間進(jìn)行的,這樣可以減少 AI 公司窺探用戶隱私和數(shù)據(jù)傳輸過程中的數(shù)據(jù)安全風(fēng)險(xiǎn)。

實(shí)現(xiàn)分布式訓(xùn)練主要有 2 種模式：模型并行和數(shù)據(jù)并行。 在模型并行模式下,分布式系統(tǒng)中的不同設(shè)備負(fù)責(zé)某個(gè)復(fù)雜模型中不同部分的計(jì)算。 例如,可以將神經(jīng)網(wǎng)絡(luò)中的每一層運(yùn)算分配給不同的設(shè)備,而在數(shù)據(jù)并行模式下,不同的設(shè)備擁有完整的學(xué)習(xí)模型,但每臺(tái)設(shè)備僅持有部分?jǐn)?shù)據(jù)。 相對(duì)于模型并行化,數(shù)據(jù)并行化在實(shí)現(xiàn)難度和集群利用率方面都存在優(yōu)勢(shì),因此數(shù)據(jù)并行化是多數(shù)分布式訓(xùn)練的首選,也是本節(jié)討論的對(duì)象。

從網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上看,分布式訓(xùn)練可以分為主從式結(jié)構(gòu)和非主從式結(jié)構(gòu)。 如圖 2 所示,主從式結(jié)構(gòu)可以實(shí)現(xiàn)終端設(shè)備與邊緣服務(wù)器之間的模型交互。 近年來,Google 公司提出的聯(lián)邦學(xué)習(xí)就是基于主從式結(jié)構(gòu)。 以移動(dòng)電話用戶為例,手機(jī)每天都會(huì)產(chǎn)生大量數(shù)據(jù),這些數(shù)據(jù)包含有關(guān)用戶及其個(gè)人偏好的高價(jià)值信息。 例如,他們?cè)L問過哪些網(wǎng)站,使用過哪些社交媒體應(yīng)用程序,以及經(jīng)常觀看哪些視頻類型等。 利用這些數(shù)據(jù),電信運(yùn)營(yíng)商可以構(gòu)建個(gè)性化的機(jī)器學(xué)習(xí)模型以提供個(gè)性化服務(wù),從而改善用戶體驗(yàn)。 與傳統(tǒng)的集中式訓(xùn)練方法不同,聯(lián)邦學(xué)習(xí)允許用戶終端獨(dú)立構(gòu)建自己的機(jī)器學(xué)習(xí)模型并將模型更新參數(shù)(不包含用戶隱私信息的原始數(shù)據(jù))上傳給邊緣服務(wù)器;邊緣服務(wù)器利用收集到的多個(gè)用戶的不同模型更新參數(shù)來更新一個(gè)全局模型,這個(gè)過程被稱為“模型更新聚合”;最后,邊緣服務(wù)器將全局模型的更新參數(shù)分發(fā)給用戶終端。 顯然,聯(lián)邦學(xué)習(xí)既為 AI 開辟了全新的計(jì)算范式,又提供了一種用戶隱私保護(hù)機(jī)制。 由于用戶終端的計(jì)算資源變得越來越強(qiáng)大,尤其是隨著專用 AI 芯片組的出現(xiàn),AI 模型訓(xùn)練正在從云和數(shù)據(jù)中心轉(zhuǎn)移到終端設(shè)備,運(yùn)營(yíng)商可以有效地利用終端設(shè)備內(nèi)部的分散計(jì)算資源來訓(xùn)練機(jī)器學(xué)習(xí)模型。 考慮到全球有數(shù)十億的高性能移動(dòng)終端設(shè)備,這些設(shè)備累積的計(jì)算資源遠(yuǎn)遠(yuǎn)超過了世界上最大的數(shù)據(jù)中心。 因此,基于主從式結(jié)構(gòu)的聯(lián)邦學(xué)習(xí)將會(huì)極大地推動(dòng)AI 的發(fā)展與應(yīng)用。

圖2 主從式結(jié)構(gòu)Fig.2 Master-slave structure

如圖 3 所示,非主從式結(jié)構(gòu)主要通過點(diǎn)對(duì)點(diǎn)交互本地模型更新參數(shù)來進(jìn)行設(shè)備之間的模型更新,并最終收斂到一組統(tǒng)一的模型參數(shù)。 從網(wǎng)絡(luò)架構(gòu)上看,不同用戶終端利用自己的訓(xùn)練數(shù)據(jù)進(jìn)行本地模型參數(shù)更新,再將更新參數(shù)信息傳遞給鄰居節(jié)點(diǎn),最終使得不同終端的機(jī)器學(xué)習(xí)模型收斂到一組共同的參數(shù)。 該結(jié)構(gòu)的優(yōu)點(diǎn)在于具有較低的通信開銷、可擴(kuò)展性(甚至無需專門的邊緣服務(wù)器參與)和潛在的隱私保護(hù)解決方案,但是模型收斂速度較慢甚至可能收斂到次優(yōu)解。

圖3 非主從式結(jié)構(gòu)Fig.3 Distributed structure

為了提高分布式模型訓(xùn)練的計(jì)算性能、降低通信負(fù)荷及提供更安全的數(shù)據(jù)保護(hù),表 1 總結(jié)了主從式和非主從式模式的基本思路和對(duì)應(yīng)的關(guān)鍵技術(shù),包括聚合頻率、梯度壓縮、點(diǎn)對(duì)點(diǎn)通信和區(qū)塊鏈技術(shù)。

表1 分布式模型訓(xùn)練Tab.1 Distributed model training

1.1.1 聚合頻率

在主從式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)下,一般采用分布式隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)算法來更新本地或全局模型參數(shù),其不僅是訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)算法,也是在現(xiàn)代數(shù)據(jù)分析平臺(tái)上廣泛實(shí)施的最流行的模型訓(xùn)練優(yōu)化方法。 更具體地說,可將 SGD 分為同步和異步2 種方式。 同步 SGD 在優(yōu)化的每輪迭代中,會(huì)等待所有的終端設(shè)備完成梯度計(jì)算,然后邊緣服務(wù)器再對(duì)每個(gè)終端設(shè)備上計(jì)算的梯度信息進(jìn)行匯總,待終端設(shè)備接收到全局模型的更新參數(shù)后,各個(gè)終端設(shè)備將同步更新其參數(shù)并進(jìn)入下一輪迭代。 由于同步 SGD 要等待所有的終端設(shè)備完成梯度計(jì)算,因此同步 SGD 的計(jì)算速度會(huì)被運(yùn)算效率最低的終端設(shè)備所拖累。 雖然同步 SGD 通常收斂較慢,但會(huì)收斂到更好的全局模型參數(shù)。 異步 SGD 在每輪迭代中,每個(gè)終端設(shè)備在計(jì)算出隨機(jī)梯度信息后直接將參數(shù)更新到邊緣服務(wù)器,不再等待所有的終端設(shè)備完成梯度計(jì)算。 因此,異步 SGD 的迭代速度較快。 然而,異步 SGD 雖然相較于同步 SGD 收斂更快,但是用以更新模型的梯度信息是有延遲,因此會(huì)對(duì)算法的精度帶來影響,即通常會(huì)收斂到次優(yōu)的全局模型參數(shù)。 設(shè)計(jì)分布式訓(xùn)練算法的關(guān)鍵通常在于如何使同步 SGD 收斂更快,或者如何使異步 SGD 收斂到更好的全局模型參數(shù)[4]。

在主從式結(jié)構(gòu)中,模型聚合頻率(終端設(shè)備與邊緣服務(wù)器的通信頻率)至關(guān)重要。 文獻(xiàn) [5] 提出一種用于分布式機(jī)器學(xué)習(xí)的延遲聚合梯度算法,其設(shè)計(jì)原則是對(duì)變化緩慢的梯度進(jìn)行自適應(yīng)重復(fù)利用,從而減少實(shí)現(xiàn)目標(biāo)精度所需的通信回合。 文獻(xiàn) [6] 提出一種基于通信約束下并行計(jì)算環(huán)境中深度學(xué)習(xí)隨機(jī)優(yōu)化的彈性平均算法。 該算法的基本思想是對(duì)于每個(gè)設(shè)備執(zhí)行更多的本地訓(xùn)練計(jì)算并在同步更新之前允許偏離全局共享參數(shù),即設(shè)備與邊緣服務(wù)器以彈性方式實(shí)現(xiàn)通信,從而降低同步和異步 SGD 訓(xùn)練方法的通信開銷。 文獻(xiàn) [7] 提出一個(gè)稱為協(xié)作 SGD 的統(tǒng)一框架,該框架包含了現(xiàn)有具有有效通信的SGD 算法,例如彈性平均算法和基本分布式 SGD 算法。 通過分析協(xié)作 SGD,為現(xiàn)有算法提供了新穎的收斂保證。 此外,該框架能夠?yàn)樵O(shè)計(jì)新的實(shí)現(xiàn)有效通信的 SGD 算法提供思路,從而在減少通信開銷和實(shí)現(xiàn)快速收斂之間達(dá)到最佳平衡。

訓(xùn)練數(shù)據(jù)的獨(dú)立同分布(Independent and Identically Distributed,IID)采樣對(duì)于確保隨機(jī)梯度是整體梯度的無偏估計(jì)是很重要的。 但實(shí)際上,假設(shè)每個(gè)邊緣設(shè)備上的本地?cái)?shù)據(jù)始終為 IID 是不現(xiàn)實(shí)的。 針對(duì)這一問題,文獻(xiàn) [8] 證實(shí),可以通過創(chuàng)建一個(gè)在所有邊緣設(shè)備之間全局共享的數(shù)據(jù)子集來改善對(duì)非 IID 數(shù)據(jù)的訓(xùn)練精度。 文獻(xiàn) [9] 提出一種基于迭代模型平均的深度網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)的 FedAvg 算法,核心思想是增加對(duì)設(shè)備端本地更新的次數(shù)。 通過對(duì)不同模型架構(gòu)和數(shù)據(jù)集的廣泛評(píng)估,實(shí)驗(yàn)結(jié)果表明該方法對(duì)于非 IID 數(shù)據(jù)分布是穩(wěn)健的,且與同步 SGD 相比,通信開銷大大降低。 文獻(xiàn) [10] 提出一個(gè)稱為 FedProx 的新框架,證明在非IID 環(huán)境中,相對(duì)于 FedAvg,FedProx 表現(xiàn)出更加穩(wěn)定和準(zhǔn)確的收斂行為。

當(dāng)客戶端受到嚴(yán)格的計(jì)算資源約束時(shí),增加設(shè)備端本地更新次數(shù)是不切實(shí)際的。 針對(duì)上述問題,文獻(xiàn) [11] 從理論角度分析分布式梯度下降的收斂邊界,并在此基礎(chǔ)上提出一種控制算法,該算法可以實(shí)現(xiàn)本地模型參數(shù)更新和全局參數(shù)聚合之間的最佳權(quán)衡,從而在給定資源預(yù)算下將損失函數(shù)最小化。文獻(xiàn) [12] 提出一種名為 FedCS 的更新聚合協(xié)議,可以根據(jù)設(shè)備的資源狀況積極管理設(shè)備端,同時(shí)高效地執(zhí)行聯(lián)邦學(xué)習(xí)。 協(xié)議的具體操作步驟為：首先,邊緣服務(wù)器要求隨機(jī)終端設(shè)備參與系統(tǒng)當(dāng)前的訓(xùn)練任務(wù),收到請(qǐng)求的終端設(shè)備將資源信息反饋給邊緣服務(wù)器;然后,待邊緣服務(wù)器收到所選設(shè)備反饋的資源信息后,確定可以進(jìn)行后續(xù)步驟的終端設(shè)備以在一定時(shí)間內(nèi)完成任務(wù)訓(xùn)練。 該項(xiàng)協(xié)議允許邊緣服務(wù)器聚合盡可能多的終端設(shè)備的參數(shù),并加快機(jī)器學(xué)習(xí)模型的收斂。

1.1.2 梯度壓縮

除了降低模型聚合頻率之外,另一種減少通信開銷的方法是梯度壓縮。 在具體實(shí)施時(shí),梯度壓縮包括梯度量化與稀疏化2 個(gè)步驟,其中,梯度量化是通過將梯度向量中的每個(gè)元素量化為有限位低精度來執(zhí)行梯度向量的有損壓縮,而梯度稀疏化則意味著只傳輸部分梯度矢量[3]。

關(guān)于梯度量化,文獻(xiàn) [13] 提出一種基于 SGD 的梯度壓縮方案：量化 SGD(Quantized SGD,QSGD)。 QSGD 平滑地權(quán)衡通信帶寬和收斂時(shí)間,設(shè)備可以調(diào)整每次迭代發(fā)送的位數(shù),從而實(shí)現(xiàn)最優(yōu)的通信開銷。 文獻(xiàn) [14] 提出TerGrad 的量化方法,將梯度量化為三元級(jí) {-1,0,1} 以達(dá)到用低精度梯度代替參數(shù)信息進(jìn)行同步的目的,從而減少通信開銷。為了消除量化誤差,文獻(xiàn) [15] 提出另一種新穎的自適應(yīng)量化方法,其基本思想是僅對(duì)梯度信息的有限位進(jìn)行量化。

關(guān)于梯度稀疏化,文獻(xiàn) [16] 提出了一種稱為邊緣隨機(jī)梯度下降(edge SGD,eSGD)的新方法,可以將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)訓(xùn)練模型所需的梯度信息壓縮為原來的 90%,而不會(huì)降低收斂速度。 eSGD 包括2 種機(jī)制：首先,eSGD 確定哪些梯度坐標(biāo)重要,并且僅將重要的梯度坐標(biāo)傳輸?shù)竭吘壏?wù)器進(jìn)行同步;此重要更新可以大大降低通信開銷。 其次,動(dòng)量殘差累積用于跟蹤過時(shí)的殘差梯度坐標(biāo),以避免稀疏更新導(dǎo)致的低收斂速度。 通過上述操作,eSGD 可以改善邊緣學(xué)習(xí)過程中基于隨機(jī)目標(biāo)函數(shù)的一階梯度優(yōu)化,仿真結(jié)果證明 eSGD 是一種具有收斂性和實(shí)際性能保證的稀疏方案。 隨著邊緣計(jì)算設(shè)備數(shù)量的增加,通信開銷會(huì)進(jìn)一步提高,針對(duì)這一問題,文獻(xiàn) [17] 提出了一種稀疏二進(jìn)制壓縮(Sparse Binary Compression,SBC)框架。 SBC 將通信延遲和梯度稀疏化的現(xiàn)有技術(shù)與新穎的二值化方法和最佳權(quán)重更新編碼相結(jié)合,將壓縮增益推向新的極限,以允許平滑地權(quán)衡梯度稀疏度和時(shí)間稀疏度來適應(yīng)學(xué)習(xí)任務(wù)的要求,從而大幅降低分布式訓(xùn)練的通信開銷。 文獻(xiàn)[18]提出一種隨機(jī)刪除的思想,通過隨機(jī)刪除隨機(jī)梯度向量的坐標(biāo),并適當(dāng)放大其余坐標(biāo),以確保稀疏的梯度無偏。 該思想可以最小化隨機(jī)梯度的編碼長(zhǎng)度,從而降低通信開銷。 為了有效解決最優(yōu)稀疏性問題,他們還提出幾種簡(jiǎn)單快速的近似解算法,并為稀疏性提供了理論上的保證。 文獻(xiàn) [19] 提出一種適用于異步分布式訓(xùn)練的雙向梯度稀疏化方法,通過壓縮交換信息的方式來克服通信瓶頸。 該方法允許終端設(shè)備從邊緣服務(wù)器下載全局模型和本地模型的差異(而不是全局模型),并且將模型差異信息稀疏化,從而減少交換信息的通信開銷。

1.1.3 點(diǎn)對(duì)點(diǎn)通信

到目前為止,本文考慮的是基于多個(gè)終端設(shè)備與邊緣服務(wù)器進(jìn)行通信的主從式結(jié)構(gòu)場(chǎng)景,邊緣服務(wù)器的存在有助于確保所有設(shè)備都收斂于相同的模型參數(shù),但同時(shí)通信瓶頸的問題也更為嚴(yán)重,特別是邊緣服務(wù)器的帶寬直接影響數(shù)據(jù)傳輸?shù)哪芰Α?為了克服這個(gè)問題,通過將邊緣服務(wù)器移除,構(gòu)成了在終端設(shè)備間交互信息的非主從式結(jié)構(gòu),即通過點(diǎn)對(duì)點(diǎn)交互信息來使得不同終端設(shè)備收斂到相同的模型參數(shù)。

文獻(xiàn) [20] 提出讓終端設(shè)備異步訓(xùn)練并以對(duì)等方式通過網(wǎng)絡(luò)進(jìn)行通信,而無需任何邊緣服務(wù)器來維護(hù)系統(tǒng)的全局狀態(tài)。 文獻(xiàn) [21] 提出一種分布式學(xué)習(xí)算法,在該算法中,終端設(shè)備通過匯總來自單跳鄰居的信息來更新其參數(shù)信息,從而學(xué)習(xí)一種最適合整個(gè)網(wǎng)絡(luò)的模型。 文獻(xiàn) [22] 提出如圖 4 所示的 Gossip 算法,其中,每個(gè)終端設(shè)備基于其訓(xùn)練數(shù)據(jù)計(jì)算自身的梯度更新,然后將其更新結(jié)果隨機(jī)傳遞給相鄰設(shè)備。 文獻(xiàn) [23] 進(jìn)一步發(fā)現(xiàn) Gossip 算法的平均時(shí)間取決于表征該算法的雙隨機(jī)矩陣的第二大特征值,于是利用問題結(jié)構(gòu)設(shè)計(jì)出 Gossip 聚合算法,使得收斂更快。 文獻(xiàn) [24] 將 Gossip 聚合算法與 SGD 相結(jié)合,提出 Gossip SGD(GoSGD)算法并應(yīng)用于深度學(xué)習(xí)中。 該算法中每個(gè)獨(dú)立的終端設(shè)備處有一個(gè)相同的 DNN 模型,并交替進(jìn)行梯度更新和混合更新2 個(gè)步驟。 考慮到分布式 SGD 的同步方法雖然在大規(guī)模場(chǎng)景方面能表現(xiàn)出最大性能,但梯度更新需要同步所有終端設(shè)備,這在邊緣服務(wù)器出現(xiàn)故障或滯后時(shí)無法適應(yīng)。 文獻(xiàn) [25] 提出一種 Gossiping SGD 異步算法,該算法用 Gossip 聚合算法代替同步訓(xùn)練中的 all-reduce 操作,以保留同步 SGD 和異步 SGD 方法的有利特性。 進(jìn)一步,文獻(xiàn) [26] 將彈性平均算法和 Gossip 算法相結(jié)合,提出彈性 Gossip 算法。 通過使用跨多層感知器和CNN 結(jié)構(gòu)對(duì) MNIST 和 CIFAR-10 數(shù)據(jù)集執(zhí)行分類任務(wù),結(jié)果表明彈性 Gossip 算法與 Gossiping SGD 算法性能相當(dāng),但是通信開銷大大降低。 文獻(xiàn) [27] 介紹另外一種基于 SGD 的 GossipGraD 算法,用于在大規(guī)模系統(tǒng)上擴(kuò)展深度學(xué)習(xí)算法。 該算法可以在 SGD 的前饋階段進(jìn)行異步分布樣本的混洗以防止過度擬合且能進(jìn)一步降低通信開銷。 文獻(xiàn) [28] 開發(fā)一種在網(wǎng)絡(luò)計(jì)算中交換和處理神經(jīng)網(wǎng)絡(luò)參數(shù)信息的分布式系統(tǒng),該系統(tǒng)把設(shè)備分為不同的組,并對(duì)每個(gè)組內(nèi)的設(shè)備通過傳統(tǒng) Gossip 算法來更新模型參數(shù)。 然后,在組間通過增加聚合節(jié)點(diǎn)以使用聯(lián)邦學(xué)習(xí)來共享參數(shù),從而實(shí)現(xiàn)全局更新。

圖4 Gossip 算法示意圖Fig.4 Principle of Gossip algorithm

1.1.4 區(qū)塊鏈技術(shù)

傳統(tǒng)的主從式結(jié)構(gòu)假設(shè)使用受信任的邊緣服務(wù)器,學(xué)習(xí)系統(tǒng)的成功在很大程度上取決于邊緣服務(wù)器的安全性,但其安全性容易受到攻擊,甚至可能其本身就是惡意的。 區(qū)塊鏈技術(shù)是通過去中心化和去信任的方式,利用塊鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)來驗(yàn)證與存儲(chǔ)數(shù)據(jù),利用密碼學(xué)的方式保證數(shù)據(jù)傳輸和訪問安全的一個(gè)集體維護(hù)可靠數(shù)據(jù)庫(kù)的技術(shù)方案。 因此將機(jī)器學(xué)習(xí)與區(qū)塊鏈技術(shù)相結(jié)合,可以更好地保護(hù)數(shù)據(jù)的隱私與安全。

文獻(xiàn) [29] 描述了一種分布式個(gè)人數(shù)據(jù)管理系統(tǒng),該系統(tǒng)可確保用戶擁有并控制數(shù)據(jù)。 具體來說,是通過實(shí)現(xiàn)一個(gè)協(xié)議,將區(qū)塊鏈轉(zhuǎn)變?yōu)椴恍枰谌叫湃蔚淖詣?dòng)訪問控制管理器。 文獻(xiàn) [30] 描述了一個(gè)新框架 ModelChain,以將區(qū)塊鏈技術(shù)應(yīng)用于隱私保護(hù)機(jī)器學(xué)習(xí)中。 每個(gè)參與設(shè)備都在不泄露任何私人信息的情況下為模型參數(shù)估計(jì)做出貢獻(xiàn)。 文獻(xiàn) [31] 提出一種去中心化的隱私保護(hù)和安全機(jī)器學(xué)習(xí)系統(tǒng),稱為 LearningChain,不僅可以保護(hù)數(shù)據(jù)持有者的隱私,還能保證系統(tǒng)對(duì)惡意用戶攻擊(即拜占庭式攻擊)的彈性。 具體來說,該系統(tǒng)包括區(qū)塊鏈初始化、局部梯度計(jì)算和全局梯度聚集。網(wǎng)絡(luò)初始化后,數(shù)據(jù)持有者根據(jù)公共損失函數(shù)和當(dāng)前預(yù)測(cè)模型計(jì)算局部梯度。 然后,它們向網(wǎng)絡(luò)中的所有計(jì)算節(jié)點(diǎn)廣播局部梯度,該梯度受為一般學(xué)習(xí)模型設(shè)計(jì)的差分隱私方案所保護(hù)。 一旦計(jì)算節(jié)點(diǎn)達(dá)成共識(shí),區(qū)塊的權(quán)限持有者將使用一個(gè)高效容忍拜占庭式攻擊的聚合方案來聚合局部梯度。 經(jīng)過若干次迭代后,網(wǎng)絡(luò)中的參與者可以在不暴露自己數(shù)據(jù)的情況下協(xié)作地訓(xùn)練一個(gè)學(xué)習(xí)模型。 為了更充分地解決數(shù)據(jù)的隱私和安全問題,文獻(xiàn) [32] 提出一種差分隱私 SGD 算法和一種基于誤差的聚合規(guī)則,可以更有效地防止敵對(duì)終端設(shè)備試圖降低模型準(zhǔn)確性的攻擊。

1.2 面向邊緣學(xué)習(xí)的高效無線通信技術(shù)

在傳統(tǒng)“云學(xué)習(xí)”場(chǎng)景中,移動(dòng)設(shè)備與網(wǎng)絡(luò)接入點(diǎn) (Access Point,AP) 的通信信道被看做一條簡(jiǎn)單的數(shù)據(jù) “管道”。 這是因?yàn)橐栽茷橹行牡募軜?gòu)下,系統(tǒng)時(shí)延主要在核心網(wǎng)和大規(guī)模的云中心產(chǎn)生,系統(tǒng)設(shè)計(jì)也主要關(guān)注在后端的有線網(wǎng)絡(luò)部分。 與此不同的是,邊緣學(xué)習(xí)以邊緣端作為系統(tǒng)架構(gòu)的中心,大量終端與邊緣端之間的數(shù)據(jù)和信令交互依托的是無線通信網(wǎng)絡(luò) (例如 WiFi、藍(lán)牙、LTE 等)。 此時(shí),無線網(wǎng)絡(luò)的復(fù)雜性就成為限制系統(tǒng)性能的主要瓶頸。 與有線網(wǎng)絡(luò)相比,無線通信網(wǎng)絡(luò)需要面對(duì)更復(fù)雜的問題,主要包括：

① 信號(hào)在傳輸過程中會(huì)經(jīng)歷復(fù)雜的衰減、反射和折射等物理過程,由此造成信道的時(shí)變性、多徑衰落和碼間串?dāng)_等問題,因此需要信道估計(jì)和均衡等技術(shù)來實(shí)現(xiàn)更可靠的傳輸。

② 多個(gè)無線終端在同一空中接口下利用相同或相近的時(shí)間、頻率和空間等系統(tǒng)資源進(jìn)行相互通信,容易引起信號(hào)間的相互干擾,甚至造成在接收端不能正確恢復(fù)發(fā)送信號(hào)。 因此,多址訪問和干擾管理等技術(shù)是抑制無線信號(hào)間相互干擾的必要手段。

③ 為充分利用寶貴的頻譜資源,必須對(duì)無線終端進(jìn)行嚴(yán)格的頻率資源復(fù)用、分配和調(diào)度,以最大化系統(tǒng)的頻譜效率,同時(shí)權(quán)衡系統(tǒng)的吞吐量和終端之間的公平性。

在移動(dòng)通信、物聯(lián)網(wǎng)等無線應(yīng)用的邊緣學(xué)習(xí)場(chǎng)景中,必須針對(duì)上述無線通信系統(tǒng)的復(fù)雜性,相應(yīng)地設(shè)計(jì)面向邊緣學(xué)習(xí)的多址訪問、資源分配和編碼等無線通信技術(shù)和策略。 事實(shí)上,通過對(duì)邊緣學(xué)習(xí)系統(tǒng)中的無線通信子系統(tǒng)進(jìn)行優(yōu)化,能夠顯著降低終端與不同 AP 之間的通信時(shí)延,提高傳輸?shù)目煽啃浴?/p>

另一方面,無線通信系統(tǒng)設(shè)計(jì)的首要目標(biāo)是提高系統(tǒng)的可靠性和傳輸速率,但在邊緣學(xué)習(xí)的場(chǎng)景中,實(shí)現(xiàn)快速的模型收斂才是最終目標(biāo)。 因此,以提高訓(xùn)練速度為目的,結(jié)合機(jī)器學(xué)習(xí)的特點(diǎn)來設(shè)計(jì)無線通信系統(tǒng)可以更直接地提升系統(tǒng)整體性能[33-34]。同時(shí),隨著無線通信技術(shù)的快速發(fā)展,新興的通信技術(shù)如多輸入多輸出 (Multiple-Input Multiple-Output,MIMO)、非正交多址和毫米波通信等技術(shù)也有望在未來應(yīng)用于邊緣學(xué)習(xí)系統(tǒng)中。 因此,通信與計(jì)算的有機(jī)結(jié)合將是邊緣學(xué)習(xí)領(lǐng)域最重要的研究?jī)?nèi)容之一。 表 2 總結(jié)了面向邊緣學(xué)習(xí)的通信子系統(tǒng)設(shè)計(jì)的3 個(gè)重要研究方向,以及其對(duì)應(yīng)的基本思路和關(guān)鍵技術(shù)。

表2 面向邊緣學(xué)習(xí)的通信子系統(tǒng)設(shè)計(jì)Tab.2 Communication subsystem design for edge learning

1.2.1 空中計(jì)算

空中計(jì)算 (Over-the-Air Computation,Air-Comp) 是一種利用無線信道的疊加特性實(shí)現(xiàn)在空中接口直接計(jì)算目標(biāo)函數(shù)的通信-計(jì)算一體化架構(gòu)[50]。 在傳統(tǒng)的多址通信系統(tǒng)中,為了避免傳輸節(jié)點(diǎn)間的相互干擾,每個(gè)節(jié)點(diǎn)都需要通過某種多址方式來實(shí)現(xiàn)在不同信道的同時(shí)傳輸,如時(shí)分多址和正交頻分多址 (Orthogonal Frequency Division Multiple Access,OFDMA) 等。 當(dāng)通信系統(tǒng)容量受限時(shí),系統(tǒng)的傳輸時(shí)延將隨著傳輸節(jié)點(diǎn)數(shù)的增加而顯著增加。事實(shí)上,當(dāng)通信的目的僅僅是為了完成目標(biāo)函數(shù)的計(jì)算時(shí),將各點(diǎn)數(shù)據(jù)獨(dú)立傳輸、解析后再計(jì)算目標(biāo)函數(shù)的傳統(tǒng)方法并不是最高效的。 與此相反,AirComp將空中信道作為一個(gè)天然的“聚合器”,通過它來自然疊加各節(jié)點(diǎn)的數(shù)據(jù);然后通過在發(fā)送節(jié)點(diǎn)的預(yù)處理 (pre-processing) 和在聚合節(jié)點(diǎn)的后處理(postprocessing)實(shí)現(xiàn)目標(biāo)函數(shù)的計(jì)算。 因此,AirComp 能夠?qū)⒂?jì)算和通信有機(jī)結(jié)合,也契合了上述聯(lián)邦學(xué)習(xí)的主從式拓?fù)浣Y(jié)構(gòu)應(yīng)用場(chǎng)景。 圖 5(a) 表示傳統(tǒng)的 OFDMA 傳輸,其中不同的線型表示相互正交的頻率信道。 圖5(b)表示AirComp 架構(gòu)示意圖,與OFDMA 相比,在 AirComp 架構(gòu)中的邊緣節(jié)點(diǎn)無需遵循正交傳輸準(zhǔn)則,而是占用系統(tǒng)全部帶寬資源,從而極大提高了傳輸速率和系統(tǒng)的可擴(kuò)展性(邊緣節(jié)點(diǎn)的數(shù)量不再受限于帶寬)。

圖5 OFDMA 和 AirComp 傳輸示意圖Fig.5 Principles of OFDMA and AirComp transmissions

為了利用多址信道的疊加特性,AirComp 采用模擬調(diào)制的傳輸方式,同時(shí)要求各節(jié)點(diǎn)的同步傳輸和接收功率一致。 因此,AirComp 系統(tǒng)的實(shí)現(xiàn)除了需要對(duì)傳輸方式本身的設(shè)計(jì),還需要研究發(fā)射功率控制和同步傳輸?shù)汝P(guān)鍵技術(shù)。 通過對(duì)這些關(guān)鍵技術(shù)的研究和突破,AirComp 也開始被廣泛應(yīng)用于聯(lián)邦學(xué)習(xí)的相關(guān)研究中：在模型訓(xùn)練的聚合階段,所有終端節(jié)點(diǎn)同時(shí)使用全部的帶寬資源傳輸各自的本地模型參數(shù),從而顯著降低聚合階段的傳輸時(shí)延[35-37]。

文獻(xiàn) [35] 分別設(shè)計(jì)了基于數(shù)字調(diào)制的分布式隨機(jī)梯度下降算法 (Digital Distributed SGD,D-DSGD) 和基于模擬調(diào)制的分布式隨機(jī)梯度下降算法 (Analog Distributed SGD,A-DSGD)。 與 D-DSGD 相比,A-DSGD 能夠采用更為靈活的功率控制策略,從而在終端平均發(fā)射功率受限的情況下實(shí)現(xiàn)較優(yōu)的訓(xùn)練性能。 同時(shí),A-DSGD 也為系統(tǒng)提供更好的擴(kuò)展性,能夠支持更多終端同時(shí)進(jìn)行聯(lián)邦學(xué)習(xí),實(shí)現(xiàn)更準(zhǔn)確的模型訓(xùn)練。 A-DSGD 與 D-DSGD 的比較說明了基于空中計(jì)算的聯(lián)邦學(xué)習(xí)更適用于低功耗和帶寬受限的邊緣學(xué)習(xí)場(chǎng)景。 類似的,文獻(xiàn) [36] 設(shè)計(jì)了基于寬帶模擬聚合技術(shù) (Broadband Analog Aggregation,BAA) 的聯(lián)邦學(xué)習(xí)系統(tǒng)。 利用模擬 OFDM 調(diào)制方式,BAA 實(shí)現(xiàn)了終端同時(shí)占用全部帶寬的傳輸。 與此同時(shí),BAA 考慮了衰落信道模型,通過信道翻轉(zhuǎn)對(duì)終端發(fā)射功率進(jìn)行控制,同時(shí)限制了信道質(zhì)量差的終端的傳輸,一定程度上減少了傳輸?shù)臄?shù)據(jù)量。 雖然對(duì)終端傳輸?shù)南拗茣?huì)造成訓(xùn)練參數(shù)的損失,但參數(shù)的損失也有助于降低模型過擬合的程度。 除此之外,文獻(xiàn) [36] 還研究了該場(chǎng)景下通信測(cè)度 (接收信噪比) 和訓(xùn)練測(cè)度 (訓(xùn)練參數(shù)的數(shù)量和多樣性) 之間的折衷關(guān)系,為網(wǎng)絡(luò)規(guī)劃與優(yōu)化提供參考。

作為對(duì) A-DSGD 和 BBA 的改進(jìn),文獻(xiàn) [37] 在 A-DSGD 的基礎(chǔ)上提出了 CWSA-DSGD 算法 (Compressed Worker-wise Scheduled Analog-DSGD)。除了采用模擬調(diào)制傳輸,CWSA-DSGD 還通過梯度稀疏化和差錯(cuò)累積的方法,減少聚合過程中的數(shù)據(jù)傳輸量,從而進(jìn)一步加快訓(xùn)練速度。 與 BAA 只考慮信道狀況的終端選擇方式不同,CWSA-DSGD 在梯度稀疏化過程中衡量梯度信息的重要性,能夠避免重要的梯度信息由于信道的衰落而丟失。 實(shí)驗(yàn)證明,在相同條件下,CWSA-DSGD 的模型訓(xùn)練準(zhǔn)確度比 BAA 更高。

另一方面,各終端間的同步傳輸對(duì)于空中計(jì)算的實(shí)現(xiàn)也是至關(guān)重要的。 為了解決分布式相干傳輸 (Distributed Coherent Transmission) 中的同步問題,文獻(xiàn) [38] 在發(fā)送信號(hào)中攜帶與發(fā)射功率成比例的冗余信息,接收端通過解析冗余信息獲得同步信息,系統(tǒng)只需保證簡(jiǎn)單的幀同步。 文獻(xiàn) [39] 提出一種 AirShare 策略,通過廣播時(shí)鐘消息作為節(jié)點(diǎn)的參考時(shí)鐘,實(shí)現(xiàn)了各節(jié)點(diǎn)傳輸?shù)膰?yán)格同步。

1.2.2 通信資源分配

在傳統(tǒng)的無線通信系統(tǒng)中,傳輸?shù)乃袛?shù)據(jù)都被認(rèn)為是同等重要的。 因此,在保證傳輸可靠性的基礎(chǔ)上,無線通信系統(tǒng)中資源分配的目的是通過對(duì)頻譜等物理資源的分配實(shí)現(xiàn)最大化系統(tǒng)吞吐量等性能指標(biāo)。 然而在面向應(yīng)用和服務(wù)的 AI 場(chǎng)景中,單純地通過資源分配策略的設(shè)計(jì)來提升上述指標(biāo)不一定能直接換來服務(wù)質(zhì)量 (Quality of Services,QoS) 的提升[51]。 在這種情況下,數(shù)據(jù)的“重要性”能夠?yàn)橘Y源分配策略的設(shè)計(jì)提供一個(gè)新的測(cè)度,通過保證“更重要”的數(shù)據(jù)優(yōu)先和可靠地傳輸來保障服務(wù)質(zhì)量。 基于這個(gè)思路,文獻(xiàn) [51] 設(shè)計(jì)了基于數(shù)據(jù)流重要性的傳輸控制協(xié)議。 協(xié)議首先將用戶與服務(wù)器間交互的數(shù)據(jù)按照數(shù)據(jù)的重要性和服務(wù)時(shí)延要求劃分為多個(gè)子集,然后優(yōu)先傳輸更重要和時(shí)延敏感的數(shù)據(jù)。 實(shí)驗(yàn)證明,該協(xié)議能夠在通信資源受限情況下保證用戶及時(shí)獲得所需的數(shù)據(jù),從而保證服務(wù)質(zhì)量。

對(duì)于邊緣學(xué)習(xí)系統(tǒng)而言,設(shè)計(jì)基于數(shù)據(jù)重要性的通信資源分配策略也顯得尤為重要。 這是因?yàn)樵跈C(jī)器學(xué)習(xí)過程中,某些樣本數(shù)據(jù)對(duì)模型的校正程度要優(yōu)于其他數(shù)據(jù)。 因此,為了提高模型參數(shù)學(xué)習(xí)性能,更“重要”的數(shù)據(jù)應(yīng)該受到特別重視。 換句話說,在使能邊緣學(xué)習(xí)的通信過程中,除了通信的“可靠性”,數(shù)據(jù)的“重要性”也需要考慮。 對(duì)于這個(gè)問題,一個(gè)研究方向是基于數(shù)據(jù)重要性設(shè)計(jì)通信系統(tǒng)中的資源分配策略。 圖 6 顯示了一個(gè)基于數(shù)據(jù)重要性進(jìn)行通信資源分配的機(jī)器學(xué)習(xí)模型訓(xùn)練過程,它根據(jù)實(shí)時(shí)模型對(duì)數(shù)據(jù)進(jìn)行重要性評(píng)估,再根據(jù)評(píng)估結(jié)果,結(jié)合當(dāng)前信道狀態(tài)信息來執(zhí)行通信資源分配。

圖6 基于數(shù)據(jù)重要性的通信資源分配Fig.6 Importance-aware communication resource allocation

在模型訓(xùn)練的過程中,不確定性越大的數(shù)據(jù)通常更有利于模型收斂[52]。 因此,數(shù)據(jù)的不確定性可以用于衡量數(shù)據(jù)的重要性。 基于此思路,文獻(xiàn) [40] 設(shè)計(jì)了一種基于數(shù)據(jù)重要性的自動(dòng)重傳請(qǐng)求策略 (Importance-Aware Automatic Repeat Request,Importance-ARQ)。 Importance-ARQ 考慮了集中式的邊緣學(xué)習(xí)模型,終端設(shè)備將采集到的數(shù)據(jù)上傳到邊緣服務(wù)器用于模型訓(xùn)練。 在傳輸過程中,噪聲等因素會(huì)造成數(shù)據(jù)與標(biāo)簽的錯(cuò)誤匹配,因此需要通過重傳保證樣本的正確性。 在通信資源受限的情況下,Importance-ARQ 優(yōu)先重傳更重要的數(shù)據(jù),直到達(dá)到期望的接收信噪比。 通過保證重要數(shù)據(jù)的傳輸,Importance-ARQ 能夠盡可能提高模型訓(xùn)練的準(zhǔn)確性。類似的,文獻(xiàn) [41] 提出了考慮數(shù)據(jù)重要性的終端調(diào)度策略,它能夠優(yōu)先調(diào)度需要傳輸更“重要”數(shù)據(jù)的終端設(shè)備,從而加速模型的收斂。 值得注意的是,文獻(xiàn) [41] 還引入了熵的概念來衡量CNN 訓(xùn)練過程中數(shù)據(jù)的重要性。 針對(duì)上述聯(lián)邦學(xué)習(xí)場(chǎng)景,文獻(xiàn)[42]提出以優(yōu)化終端功耗為目標(biāo)的通信資源分配策略,將更多的頻帶分配給計(jì)算能力較弱、信道條件較差的終端設(shè)備,并優(yōu)先調(diào)度這些設(shè)備。 這樣進(jìn)行資源分配的目的是保持每個(gè)終端都可以盡可能地同步上傳本地的訓(xùn)練參數(shù),從而保證模型訓(xùn)練的準(zhǔn)確性。 實(shí)驗(yàn)結(jié)果證明,隨著訓(xùn)練時(shí)間的延長(zhǎng),采用上述策略的聯(lián)邦學(xué)習(xí)系統(tǒng)在保證模型準(zhǔn)確性的基礎(chǔ)上,還能顯著降低終端設(shè)備的整體功耗。 事實(shí)上,這樣的資源分配策略與傳統(tǒng)無線通信系統(tǒng)中追求最大化數(shù)據(jù)傳輸率和系統(tǒng)吞吐量的資源分配原則恰恰相反。 這也再次說明,為了提高邊緣學(xué)習(xí)性能,必須對(duì)傳統(tǒng)的無線通信系統(tǒng)和通信資源分配策略進(jìn)行重新設(shè)計(jì)。

1.2.3 信號(hào)編碼

在通信和計(jì)算中,編碼被認(rèn)為是一種有效抵抗“噪聲”或?qū)崿F(xiàn)數(shù)據(jù)壓縮的方法。 在無線通信系統(tǒng)中,信源編碼和信道編碼通常用于對(duì)傳輸數(shù)據(jù)的預(yù)處理。 前者主要是通過壓縮待傳輸數(shù)據(jù)量來提高傳輸?shù)挠行?后者則是通過增加冗余數(shù)據(jù)來提高傳輸?shù)目煽啃浴?而分布式計(jì)算作為通信和計(jì)算的交叉領(lǐng)域,也常常利用編碼技術(shù)改善系統(tǒng)的性能。 例如,文獻(xiàn) [44] 提出基于編碼的分布式計(jì)算 (Coded Distributed Computing),通過編碼技術(shù)和充分利用終端上的存儲(chǔ)資源減小分布式系統(tǒng)中的通信開銷,實(shí)現(xiàn)計(jì)算和通信之間的折中;在此基礎(chǔ)上,文獻(xiàn) [45] 考慮終端存儲(chǔ)和計(jì)算資源受限的情況,研究了存儲(chǔ)、計(jì)算和通信之間三者的折中,最小化系統(tǒng)的通信開銷。 借鑒這種通過增加系統(tǒng)冗余 (計(jì)算量和存儲(chǔ)量) 降低通信開銷的思路,編碼技術(shù)也能夠被更廣泛地運(yùn)用到邊緣學(xué)習(xí)的研究中。

在上述分布式訓(xùn)練中,分布式梯度下降(Distributed Gradient Descent,DGD)和分布式隨機(jī)梯度下降(Distributed Stochastic Gradient Descent,DSGD)都是常用的模型訓(xùn)練算法。 這種將梯度計(jì)算任務(wù)分配到多個(gè)終端設(shè)備上的做法能夠充分利用終端的計(jì)算資源,通過并行計(jì)算加快計(jì)算速度。 這種計(jì)算模式要求服務(wù)器在每次迭代中接收和聚合各個(gè)終端的梯度信息。 然而,由于終端性能不同,系統(tǒng)整體訓(xùn)練速度會(huì)受限于個(gè)別性能較差的終端。 為解決這個(gè)問題,一種方法是對(duì)梯度信息進(jìn)行編碼,即梯度編碼。文獻(xiàn) [46] 給出梯度編碼的一種基本方式。 其中,每個(gè)終端會(huì)計(jì)算多個(gè)樣本數(shù)據(jù)子集的梯度信息,相應(yīng)得到多個(gè)梯度向量;然后,再將這些梯度向量的線性組合上傳到服務(wù)器,這就是梯度的“編碼”過程。服務(wù)器通過解析每個(gè)終端上傳的梯度向量來恢復(fù)出用于更新模型參數(shù)的梯度信息,即梯度的“解碼”過程。 顯然,由于每個(gè)終端上傳的數(shù)據(jù)都能攜帶多個(gè)梯度向量,因此服務(wù)器只需接收部分終端的數(shù)據(jù)就能完整恢復(fù)所需的所有梯度信息。 從而避免個(gè)別終端“拖后腿”的情況,加快模型的收斂速度。 對(duì)于終端而言,這種編碼方式增加了冗余的計(jì)算量。 因此,梯度編碼也是一種通過增加冗余來?yè)Q取系統(tǒng)整體性能提升的方法。

雖然文獻(xiàn) [46] 給出的梯度編碼方式能夠有效避免服務(wù)器等待終端上傳梯度信息的情況,但這種方式對(duì)部分終端的“舍棄”也會(huì)造成計(jì)算資源的浪費(fèi)。 考慮到這種情況,文獻(xiàn) [47] 提出部分梯度編碼,在終端計(jì)算梯度的同時(shí),將已經(jīng)計(jì)算好的部分梯度信息上傳給服務(wù)器,即梯度信息的計(jì)算和上傳是同時(shí)進(jìn)行的。 因此,即便是計(jì)算速度較慢的終端也能夠盡量向服務(wù)器提供梯度信息,從而充分利用終端上的計(jì)算資源。 顯然,部分梯度編碼方式會(huì)增加系統(tǒng)的通信開銷。 為克服這個(gè)問題,考慮到終端性能不同是造成計(jì)算速度差別的直接原因。 文獻(xiàn)[48]提出基于終端異構(gòu)性的梯度編碼策略。 與文獻(xiàn) [46-47] 不同,該策略在劃分?jǐn)?shù)據(jù)子集時(shí)會(huì)對(duì)終端的計(jì)算能力進(jìn)行評(píng)估,并根據(jù)終端數(shù)據(jù)處理能力不同來分配數(shù)據(jù)子集,對(duì)應(yīng)不同計(jì)算量的計(jì)算任務(wù)。 從而減小了終端之間完成梯度計(jì)算的時(shí)間差別,同樣能夠避免訓(xùn)練速度受限于個(gè)別終端。

雖然梯度編碼引入了編碼的概念,但并未將編碼與信號(hào)的傳輸過程結(jié)合。 事實(shí)上,為了避免模型的過擬合以及減少訓(xùn)練的數(shù)據(jù)量,深度學(xué)習(xí)中通常采用主成分分析和線性判別分析等方法對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理,從而對(duì)樣本數(shù)據(jù)進(jìn)行降維。 既然在深度學(xué)習(xí)和無線通信2 個(gè)領(lǐng)域中都有數(shù)據(jù)預(yù)處理的必要性,一種提高邊緣學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效率和通信效率的方法就是將二者有機(jī)結(jié)合。 換句話說,可以將訓(xùn)練模型中的數(shù)據(jù)預(yù)處理過程與數(shù)據(jù)傳輸中的信號(hào)編碼過程相結(jié)合,實(shí)現(xiàn)聯(lián)合優(yōu)化。

例如,文獻(xiàn) [49] 提出的快速模擬傳輸策略(Fast Analog Transmission,FAT)將信號(hào)編碼和數(shù)據(jù)預(yù)處理更緊密地結(jié)合在一起：FAT 首先將終端設(shè)備上的樣本數(shù)據(jù)通過格拉斯曼模擬編碼 (Grassmann Analog Encoding,GAE) 映射到格拉斯曼流形空間上。 使用 GAE 的目的既是為了在邊緣服務(wù)器使用格拉斯曼分類算法訓(xùn)練分類的 DNN 模型[53],也是為了下一步使用非相關(guān)的 MIMO 傳輸,從而減少信道估計(jì)造成的時(shí)延和信令開銷;其次,FAT 通過線性模擬調(diào)制實(shí)現(xiàn)編碼信號(hào)的模擬傳輸,相應(yīng)地,在接收端做模擬檢測(cè)和接收;最后,在接收端上將接收數(shù)據(jù)用于格拉斯曼分類訓(xùn)練。 應(yīng)用了模擬 MIMO 傳輸?shù)?FAT 能夠在保證較優(yōu)學(xué)習(xí)效率的同時(shí),減小傳輸過程中的通信開銷和時(shí)延。 雖然 GAE 會(huì)造成樣本數(shù)據(jù)的類間距離減小而不利于分類,在文中稱為自由度 (Degrees of Freedom,DoF) 的損失,但是 DoF 的損失能夠換取信號(hào)對(duì)抗快衰落信道的魯棒性。 這也說明,數(shù)據(jù)預(yù)處理和信號(hào)編碼的聯(lián)合設(shè)計(jì)能夠提升邊緣學(xué)習(xí)系統(tǒng)的整體性能。

1.3 邊緣學(xué)習(xí)中的卸載技術(shù)

如上所述,深度學(xué)習(xí)相關(guān)的計(jì)算任務(wù)對(duì)計(jì)算、存儲(chǔ)等資源的要求造成部署深度學(xué)習(xí)計(jì)算的困境：一方面,基于云計(jì)算的計(jì)算模型由于傳輸距離、網(wǎng)絡(luò)帶寬等限制,會(huì)不可避免地引入時(shí)延;另一方面,由于終端設(shè)備的電量和計(jì)算能力等資源的限制,終端無法承載更復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)和密集計(jì)算。 隨著邊緣計(jì)算的發(fā)展,一種解決方法是在終端和云端之間引入邊緣端,利用邊緣服務(wù)器的計(jì)算資源卸載終端或云端的計(jì)算任務(wù)。 將計(jì)算任務(wù)卸載到邊緣服務(wù)器上能夠突破終端設(shè)備的資源限制和對(duì)云計(jì)算的依賴,以更快的速度處理更復(fù)雜的計(jì)算,從而顯著降低服務(wù)時(shí)延。

近年來,邊緣計(jì)算系統(tǒng)中的計(jì)算卸載策略也是學(xué)術(shù)界關(guān)注的熱點(diǎn),相關(guān)研究主要集中在卸載決策、資源分配和卸載面臨的安全問題等方面。 本節(jié)將主要分析通過卸載 DNN 計(jì)算任務(wù)來實(shí)現(xiàn)邊緣學(xué)習(xí)的方法。 與此同時(shí),除了對(duì)計(jì)算任務(wù)的卸載,另一種卸載模式是將 DNN 模型劃分成不同的層次并將部分層次卸載到邊緣服務(wù)器上,實(shí)現(xiàn)“終端-邊緣-云端”三層協(xié)作的邊緣學(xué)習(xí)系統(tǒng),將這種模式稱為模型卸載。 表3 總結(jié)了與計(jì)算卸載和模型卸載相關(guān)的關(guān)鍵技術(shù)。

表3 邊緣學(xué)習(xí)中的卸載策略Tab.3 Offloading strategy in edge learning

1.3.1 計(jì)算卸載

如圖 7 所示,實(shí)現(xiàn)計(jì)算卸載主要有2 種模式。圖 7(a) 表示完全基于邊緣服務(wù)器的計(jì)算卸載。 在這種模式下,終端對(duì)數(shù)據(jù)的預(yù)處理和邊緣服務(wù)器在多用戶場(chǎng)景下對(duì)資源的高效分配是提高系統(tǒng)性能的關(guān)鍵;而在圖 7(b) 中的“終端-邊緣”卸載模式下,由于邊緣服務(wù)器和終端相互協(xié)同運(yùn)作,如何制定卸載策略是主要研究的問題。

圖7 計(jì)算卸載模式Fig.7 Computation offloading modes

(1) 基于邊緣服務(wù)器的卸載模式

基于圖 7(a) 的模式,文獻(xiàn) [54] 提出一種能夠部署在移動(dòng)終端上的實(shí)時(shí)、連續(xù)物體檢測(cè)與識(shí)別系統(tǒng)：Glimpse。 Glimpse 將圖像檢測(cè)、特征提取和識(shí)別等深度學(xué)習(xí)計(jì)算的過程都卸載到臨近的邊緣服務(wù)器上執(zhí)行;而系統(tǒng)中的移動(dòng)終端僅負(fù)責(zé)圖像采集和上傳以及對(duì)識(shí)別對(duì)象進(jìn)行跟蹤。 同時(shí),該文還引入了“驅(qū)動(dòng)幀”篩選的過程,能夠過濾掉不需要上傳到邊緣服務(wù)器的視頻幀,降低系統(tǒng)的通信開銷和時(shí)延。另外,Glimpse 的“動(dòng)態(tài)緩存”功能實(shí)現(xiàn)了在終端設(shè)備上保持對(duì)識(shí)別對(duì)象的跟蹤。 實(shí)驗(yàn)結(jié)果表明,系統(tǒng)在實(shí)現(xiàn)高識(shí)別準(zhǔn)確率的同時(shí)還能節(jié)省傳輸帶寬和終端功耗。 文獻(xiàn) [55] 設(shè)計(jì)了一個(gè)基于深度學(xué)習(xí)和邊緣計(jì)算的物體識(shí)別系統(tǒng)。 與 Glimpse 相似,該系統(tǒng)也是通過移動(dòng)終端采集實(shí)物的圖像,并在終端上進(jìn)行預(yù)處理,然后將預(yù)處理后的圖像上傳到邊緣服務(wù)器上進(jìn)行識(shí)別,最后向終端返回識(shí)別結(jié)果。 實(shí)現(xiàn)系統(tǒng)性能的關(guān)鍵除了需要高效的識(shí)別算法,還在于系統(tǒng)中的預(yù)處理過程,即對(duì)采集圖像的裁剪、模糊化和分塊。 預(yù)處理過程強(qiáng)調(diào)低計(jì)算復(fù)雜度,以便在移動(dòng)終端上進(jìn)行,同時(shí)降低數(shù)據(jù)傳輸?shù)臅r(shí)延,提高識(shí)別的響應(yīng)速度。

(2) “終端-邊緣”卸載模式

上述基于邊緣服務(wù)器的計(jì)算卸載模式主要應(yīng)用在終端設(shè)備缺乏計(jì)算能力的場(chǎng)景下。 當(dāng)終端具備一定的計(jì)算能力時(shí),也可以自行完成一定的計(jì)算任務(wù),而只在超出其自身計(jì)算能力時(shí)將相關(guān)計(jì)算任務(wù)卸載到邊緣服務(wù)器進(jìn)行。 這種模式下,做出卸載決策(是否將計(jì)算任務(wù)卸載到邊緣服務(wù)器上)是待研究的關(guān)鍵問題。 針對(duì)這個(gè)問題,文獻(xiàn) [59] 設(shè)計(jì)的 Precog 系統(tǒng)利用終端具備位置感知的特點(diǎn)和存儲(chǔ)資源,通過馬爾科夫鏈預(yù)測(cè)系統(tǒng)可能需要識(shí)別的類別,并將相應(yīng)的輸入和結(jié)果從邊緣服務(wù)器緩存到終端設(shè)備上。 發(fā)生識(shí)別請(qǐng)求時(shí),終端首先在緩存中尋找相似的輸入和結(jié)果,如果無法做出識(shí)別,再將請(qǐng)求上傳到邊緣服務(wù)器進(jìn)行處理,通過充分利用終端上的計(jì)算和存儲(chǔ)資源,降低系統(tǒng)響應(yīng)時(shí)延。

事實(shí)上,在“終端-邊緣”卸載模式下,做出卸載決策的過程往往也是一個(gè)聯(lián)合優(yōu)化系統(tǒng)時(shí)延、帶寬和終端功耗的過程。 例如,在文獻(xiàn) [60] 提出的 DeepDecision 架構(gòu)中,系統(tǒng)運(yùn)行的時(shí)間被劃分成連續(xù)的時(shí)隙,在每個(gè)時(shí)隙開始時(shí)求解一個(gè)時(shí)延、帶寬、功耗受限條件下最大化視頻幀率的優(yōu)化問題,最終得出該時(shí)隙內(nèi)的卸載策略,同時(shí)決定視頻幀的采樣率和分辨率。 事實(shí)上,相對(duì)于終端設(shè)備,邊緣服務(wù)器具有更強(qiáng)大的計(jì)算資源,可以在它上面部署更復(fù)雜的 DNN 模型,從而提高識(shí)別的準(zhǔn)確性。 因此,卸載決策的過程就是在資源受限條件下確定使用何種模型執(zhí)行 DNN 計(jì)算的過程。

1.3.2 模型卸載

模型卸載是指將原來僅僅部署在云端的深度學(xué)習(xí)模型劃分為層次大小不同的部分,并分別卸載到邊緣服務(wù)器上或者終端設(shè)備上進(jìn)行部署,最終形成“終端-邊緣-云端”三層協(xié)作模式。 通常,DNN 模型由多層的神經(jīng)網(wǎng)絡(luò)組成,輸入網(wǎng)絡(luò)的數(shù)據(jù)經(jīng)過每一層計(jì)算后都會(huì)減少數(shù)據(jù)量,直到經(jīng)過整個(gè)模型運(yùn)算后輸出最終的結(jié)果。 因此,將一個(gè)深度學(xué)習(xí)模型的不同層次部署到不同位置后,終端、邊緣服務(wù)器和云端之間只需傳輸有限的中間數(shù)據(jù),從而在降低傳輸時(shí)延的同時(shí)也節(jié)省了傳輸帶寬。 根據(jù)系統(tǒng)拓?fù)涞牟煌?模型卸載可以分為“終端-邊緣-云端”卸載模式和終端分布式卸載模式。 前者主要包括終端與邊緣服務(wù)器之間的卸載,以及邊緣服務(wù)器與云端之間的卸載;后者則將模型卸載到相互連接的終端設(shè)備之間。

(1) “終端-邊緣-云端”卸載模式

如圖8 所示,模型卸載一般在終端和邊緣服務(wù)器之間進(jìn)行,或者在邊緣服務(wù)器與云端之間進(jìn)行。例如,文獻(xiàn)[61] 將 DNN 模型分為2 個(gè)部分：終端設(shè)備的數(shù)據(jù)首先上傳到邊緣服務(wù)器,經(jīng)過較淺層的處理之后得到中間數(shù)據(jù);中間數(shù)據(jù)再上傳到云端由后續(xù)的網(wǎng)絡(luò)層處理,得到最終的模型輸出并返回給終端。 邊緣服務(wù)器和云端的協(xié)同工作能夠減少網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量。 在這種模式下,需要解決的關(guān)鍵問題是如何對(duì)模型進(jìn)行劃分,從而在帶寬和計(jì)算資源受限的情況下最大化系統(tǒng)的性能。 因此,文獻(xiàn) [61] 也提出了根據(jù)資源狀況和計(jì)算任務(wù)的復(fù)雜程度對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行動(dòng)態(tài)劃分和部署的方法。

另一方面,終端和邊緣服務(wù)器之間的卸載也是模型卸載的常見方式。 例如,文獻(xiàn)[62] 設(shè)計(jì)的Edgent 系統(tǒng)通過在線優(yōu)化找出預(yù)訓(xùn)練模型的最佳劃分點(diǎn),然后將模型進(jìn)行劃分并分別部署到終端設(shè)備和邊緣服務(wù)器上。 與此同時(shí),為進(jìn)一步降低時(shí)延,Edgent 系統(tǒng)還采用了“提前跳出機(jī)制”,即通過提前退出模型的計(jì)算來滿足時(shí)延要求,實(shí)現(xiàn)時(shí)延和準(zhǔn)確性之間的性能折中。

圖8 “終端-邊緣-云端”卸載模式Fig.8 “Terminal-Edge-Cloud” offloading mode

(2) 終端分布式卸載模式

圖9 顯示的是基于分布式計(jì)算的卸載模式,即將 DNN 模型進(jìn)行層次劃分,并將模型中不同的神經(jīng)網(wǎng)絡(luò)層別卸載到臨近的終端設(shè)備上。 這樣做的優(yōu)點(diǎn)是能夠充分利用終端設(shè)備的計(jì)算資源,提升系統(tǒng)的可擴(kuò)展性。 基于這種模式,文獻(xiàn) [63] 設(shè)計(jì)的 DeepX 系統(tǒng)能夠?qū)?DNN 網(wǎng)絡(luò)劃分成多個(gè)子模型,并卸載到不同的終端設(shè)備上聯(lián)合執(zhí)行。 同時(shí),以延長(zhǎng)終端的使用壽命為目標(biāo),DeepX 系統(tǒng)還能充分利用異構(gòu)設(shè)備的資源協(xié)作來完成 DNN 的計(jì)算。 除了用于優(yōu)化資源利用率的模型分割算法,文獻(xiàn) [63] 還提出層壓縮算法,通過壓縮 DNN 模型進(jìn)一步縮短終端時(shí)延并優(yōu)化內(nèi)存空間。 類似的,文獻(xiàn) [64] 設(shè)計(jì)的 MoDNN 系統(tǒng)利用 WiFi 將分割后的模型卸載到無線局域網(wǎng)內(nèi)的終端設(shè)備上。 與 DeepX 系統(tǒng)不同的是,MoDNN 系統(tǒng)對(duì) DNN 的劃分顆粒度更細(xì),它對(duì)每個(gè)層次內(nèi)的神經(jīng)元進(jìn)行劃分。 通過將神經(jīng)元卸載到不同終端設(shè)備上,MoDNN 系統(tǒng)能夠?qū)崿F(xiàn)終端設(shè)備之間并行的 DNN 計(jì)算,從而減少響應(yīng)時(shí)延。 實(shí)驗(yàn)結(jié)果證明,通過分布式計(jì)算,MoDNN 系統(tǒng)能夠顯著加速 DNN 計(jì)算。

圖9 分布式模型卸載模式Fig.9 Distributed model offloading mode

2 應(yīng)用案例

基于上述關(guān)鍵技術(shù)的發(fā)展和演進(jìn),邊緣學(xué)習(xí)特有的低時(shí)延、擴(kuò)展靈活和隱私安全等特點(diǎn)將助力不同人工智能應(yīng)用的實(shí)現(xiàn)。 本節(jié)將分析2 個(gè)邊緣學(xué)習(xí)的具體應(yīng)用案例：超可靠低時(shí)延車輛通信和以學(xué)習(xí)為中心的邊緣圖像分類系統(tǒng),來展現(xiàn)邊緣學(xué)習(xí)在不同場(chǎng)景中的實(shí)用價(jià)值。

2.1 基于聯(lián)邦學(xué)習(xí)的超可靠低時(shí)延車輛通信

提供高效的車對(duì)車(Vehicle-to-Vehicle,V2V)通信是實(shí)現(xiàn)自主和智能交通系統(tǒng)的必要步驟。 V2V 通信可以擴(kuò)展駕駛員的感知能力與可視范圍,從而增強(qiáng)交通安全和駕駛體驗(yàn),同時(shí)實(shí)現(xiàn)新的交通功能,如自動(dòng)化列隊(duì)行駛、實(shí)時(shí)導(dǎo)航、防碰撞和自動(dòng)駕駛。一方面,新興交通應(yīng)用的性能嚴(yán)重依賴于超可靠低時(shí)延通信(UltraReliable Low-Latency Communication,URLLC);另一方面,為提高能量效率,必須實(shí)現(xiàn)高效的無線資源管理(Radio Resource Management,RRM)。

文獻(xiàn) [65] 提出一種基于聯(lián)邦學(xué)習(xí)的分布式聯(lián)合發(fā)射功率和資源分配框架,以實(shí)現(xiàn)超可靠和低時(shí)延的 V2V 通信。 為了對(duì)可靠性進(jìn)行建模,可以使用廣義帕累托分布的極值理論來獲得超過高閾值隊(duì)列長(zhǎng)度的統(tǒng)計(jì)信息。 通常,廣義帕累托分布的2 個(gè)特征參數(shù)(比例和形狀)通過使用最大似然估計(jì)獲得。經(jīng)典的最大似然估計(jì)要求中央控制器(例如路邊單元)從網(wǎng)絡(luò)中的所有車輛收集超過閾值的隊(duì)列長(zhǎng)度樣本,這將引入極大的數(shù)據(jù)傳輸量和較高的時(shí)延。為解決這個(gè)問題,文獻(xiàn) [65] 對(duì)每輛車都使用聯(lián)邦學(xué)習(xí)構(gòu)建本地模型并與路邊單元共享該模型。 路邊單元在匯聚不同車輛的本地模型之后,對(duì)這些模型進(jìn)行平均得到全局模型,最后將全局模型反饋給車輛。 通過將廣義帕累托分布的極值理論對(duì)應(yīng)的參數(shù)模型與聯(lián)邦學(xué)習(xí)結(jié)合使用,各個(gè)車輛無需交換本地隊(duì)列長(zhǎng)度樣本就可以學(xué)習(xí)隊(duì)列長(zhǎng)度的拖尾分布。 相對(duì)于交換訓(xùn)練樣本的集中式學(xué)習(xí),聯(lián)邦學(xué)習(xí)的主要優(yōu)勢(shì)在于減少了模型訓(xùn)練期間的通信負(fù)荷,從而減少訓(xùn)練中的通信延遲對(duì) V2V 通信的影響。

具體而言,系統(tǒng)設(shè)計(jì)目的是要最大程度地減少車輛集合 U 的功耗,同時(shí)確保具有高可靠性的低排隊(duì)等待時(shí)間。 但是,總會(huì)有低概率經(jīng)歷高延遲這種最壞情況的車輛出現(xiàn),因此,考慮與車輛隊(duì)列長(zhǎng)度超過預(yù)定義閾值且概率不可忽略的極端事件來捕獲最壞情況下車輛的性能損失。 首先利用極值理論,將排隊(duì)長(zhǎng)度超過預(yù)定義閾值的樣本拖尾分布用廣義帕累托分布 Gd(·) 來描述,其中,上標(biāo)d= [δ,ξ] 表示廣義帕累托的參數(shù)集合(δ 和ξ 分別代表比例和成形參數(shù))。 然后利用隊(duì)列拖尾分布來優(yōu)化每個(gè)車輛的發(fā)送功率,以減少最壞情況下的排隊(duì)延遲。

如果使用最大似然估計(jì)方法來計(jì)算在車輛 u 上觀察到的隊(duì)列長(zhǎng)度樣本{Qu}u?U的隊(duì)列拖尾分布,那么,總體代價(jià)函數(shù)定義為：

式中,|Qu| 表示車輛u 的校本數(shù),ku= |Qu| /∑u|表示車輛 u 中樣本數(shù)占總樣本數(shù)的比例,fd(Qu) 表示車輛 u 的代價(jià)函數(shù)。 圖 10 顯示了具體的聯(lián)邦學(xué)習(xí)過程,主要包括以下3 個(gè)步驟：

③ 每個(gè)車輛使用全局模型來建模隊(duì)列長(zhǎng)度的拖尾分布,并利用該分布來控制車輛的發(fā)射功率。

圖10 基于聯(lián)邦學(xué)習(xí)的車聯(lián)網(wǎng)Fig.10 Federated learning for V2V networks

實(shí)驗(yàn)結(jié)果表明,與集中式學(xué)習(xí)相比,文獻(xiàn) [65] 提出的解決方案能夠非常精確地估計(jì)廣義帕累托分布參數(shù),并且在減少具有大隊(duì)列長(zhǎng)度車輛數(shù)量的同時(shí),能夠最大程度地降低功耗。 對(duì)于具有 100 個(gè)車輛對(duì)的密集型車聯(lián)網(wǎng)而言,與通過使用對(duì)平均隊(duì)列長(zhǎng)度的概率約束來控制可靠性的基準(zhǔn)模型相比,文獻(xiàn)[65] 提出的解決方案可以將功耗降低一半,并將大隊(duì)列長(zhǎng)度的車輛減少約60.9%。 此外,與上述基準(zhǔn)相比,在建議的解決方案中可以看到,極端隊(duì)列長(zhǎng)度的平均值和波動(dòng)分別減少了28.6%和33.2%。

2.2 以學(xué)習(xí)為中心的邊緣圖像分類系統(tǒng)

圖像分類(如人臉識(shí)別、目標(biāo)檢測(cè)以及場(chǎng)景感知)是人工智能領(lǐng)域最重要的應(yīng)用之一[66]。 由于功耗和算力的限制,圖像捕獲設(shè)備(如攝像頭和相機(jī))通常不具備分析圖像的能力。 為了利用這些圖像中的信息,邊緣圖像分類系統(tǒng)是一種行之有效的解決方案。 它將圖像通過無線通信傳輸?shù)竭吘壏?wù)器進(jìn)行深度分析,再將分析結(jié)果反饋到終端設(shè)備。如果分類器在云端已經(jīng)完成了預(yù)訓(xùn)練,邊緣服務(wù)器則對(duì)模型參數(shù)進(jìn)行調(diào)整,以適應(yīng)具體的應(yīng)用環(huán)境。

邊緣圖像分類系統(tǒng)的目標(biāo)是最大化分類準(zhǔn)確度,而不是最大化吞吐率。 因此,邊緣圖像分類系統(tǒng)中的無線資源管理與傳統(tǒng)無線通信系統(tǒng)有本質(zhì)區(qū)別。 例如,當(dāng)前主流的注水算法將更多的資源分配給信道質(zhì)量更好的用戶,比例公平算法將更多的資源分配給小區(qū)邊緣的用戶。 雖然這2 種算法在傳統(tǒng)通信系統(tǒng)中十分有效,但它們?cè)谶吘増D像分類系統(tǒng)中可能效率很低。 這是因?yàn)樗鼈儍H根據(jù)信道質(zhì)量分配資源,并不理解AI 的特征(如學(xué)習(xí)類型和模型復(fù)雜度)。 如果在邊緣服務(wù)器同時(shí)訓(xùn)練 CNN 與支持向量機(jī)(Supporting Vector Machine,SVM),服務(wù)器應(yīng)該分配更多的資源給參與 CNN 訓(xùn)練的終端。

針對(duì)上述問題,文獻(xiàn) [67] 設(shè)計(jì)了一種以學(xué)習(xí)為中心的邊緣圖像分類系統(tǒng),如圖 11 所示。

圖11 邊緣圖像分類系統(tǒng)Fig.11 Image classification at the edge

為了建立分類準(zhǔn)確率與無線資源管理之間的關(guān)系,文獻(xiàn) [67] 引入了樣本大小作為中間變量,通過信息論建立樣本與無線資源的關(guān)系,通過學(xué)習(xí)論建立準(zhǔn)確率與樣本的關(guān)系。 具體地,圖11 包括一個(gè)N 根天線的邊緣服務(wù)器和 K 個(gè)用戶。 用戶 k 向服務(wù)器發(fā)送功率為 pk的信號(hào) sk。 邊緣服務(wù)器接收到的信號(hào)表達(dá)式為rk=+ nk,其中 ,Gk,l=|2表示用戶 l 對(duì)用戶 k 的干擾信道,wk=hk/‖hk‖2表示最大比合并接收機(jī),hk表示用戶到服務(wù)器的信道,nk表示強(qiáng)度為 σ2的高斯噪聲。 基于上述系統(tǒng)模型,邊緣服務(wù)器的分類準(zhǔn)確度與用戶功率 p = [p1,…,pK]T之間的關(guān)系分析如下：

① 樣本與功率的關(guān)系。 由信息論可知,用戶 k 的傳輸速率為

因此,訓(xùn)練模型 k 的樣本數(shù)量為：

式中,B 表示系統(tǒng)的帶寬(Hz),T 表示傳輸時(shí)間(s),Dk表示用戶 k 單張圖像的大小(bit),Ak表示服務(wù)器初始時(shí)儲(chǔ)存的圖像張數(shù)。

② 準(zhǔn)確率與樣本的關(guān)系。 由學(xué)習(xí)論可知,樣本復(fù)雜度與 Vapnik-Chervonenkis(VC)維度有一定的相關(guān)性。 但是,VC 維度是一個(gè)標(biāo)量,無法反應(yīng)學(xué)習(xí)性能與算法及模型之間的關(guān)系。 為了更具體地刻畫學(xué)習(xí)性能,統(tǒng)計(jì)力學(xué)理論證明了準(zhǔn)確率與樣本關(guān)系服從逆冪定律。 這個(gè)定律衍生出的準(zhǔn)確率樣本關(guān)系式如下：

式中,ak和 bk為超參數(shù),且 ak與模型復(fù)雜度相關(guān), bk與數(shù)據(jù)集分布相關(guān)。 文獻(xiàn) [67] 用機(jī)器學(xué)習(xí)實(shí)驗(yàn)證明上述準(zhǔn)確率模型可以很好地反映 SVM,CNN,ResNet-110,PointNet 的學(xué)習(xí)特性。

基于上述分析,可以得到最終準(zhǔn)確率與功率之間的函數(shù)關(guān)系式為：

文獻(xiàn) [67] 采用文獻(xiàn) [68] 中的差分凸優(yōu)化算法最大化 (Φ1,…,ΦK),設(shè)計(jì)了“以學(xué)習(xí)為中心”的功率分配算法。 相比注水算法與比例公平算法,圖像的分類錯(cuò)誤率能夠降低 30% 以上。 文獻(xiàn) [67] 還揭示了在邊緣圖像分類系統(tǒng)中,最優(yōu)的傳輸功率不但與信道質(zhì)量成反比,而且與學(xué)習(xí)參數(shù)呈現(xiàn)指數(shù)關(guān)系。

3 機(jī)遇與挑戰(zhàn)

盡管已經(jīng)引起學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛重視,邊緣學(xué)習(xí)還處在蹣跚躑躅的初級(jí)階段,尚有大量問題值得深入研究。 首先,將通信和計(jì)算兩大功能進(jìn)行有機(jī)結(jié)合將是探索邊緣學(xué)習(xí)技術(shù)進(jìn)步和創(chuàng)新的重要途徑。 其次,從云學(xué)習(xí)到邊緣學(xué)習(xí),保護(hù)個(gè)人隱私與數(shù)據(jù)安全也面臨新的挑戰(zhàn)。 最后,邊緣學(xué)習(xí)從理論研究到系統(tǒng)實(shí)現(xiàn)的轉(zhuǎn)化將依賴于系統(tǒng)架構(gòu)設(shè)計(jì)、軟件開發(fā)和硬件加速等研究的不斷推進(jìn)。 下面扼要討論這3 個(gè)方面的研究機(jī)遇與面臨的挑戰(zhàn)。

3.1 通信與計(jì)算的聯(lián)合優(yōu)化

如第1.2 節(jié)所述,為實(shí)現(xiàn)通信與計(jì)算兩大功能的有機(jī)結(jié)合,單純地將邊緣學(xué)習(xí)系統(tǒng)中的通信網(wǎng)絡(luò)看成一條“數(shù)據(jù)管道”往往不是一個(gè)明智的選擇。相反,通過對(duì)通信與計(jì)算過程的聯(lián)合優(yōu)化能夠顯著提高系統(tǒng)整體性能。 在此,聯(lián)合優(yōu)化一方面是指將通信技術(shù)用于優(yōu)化機(jī)器學(xué)習(xí)的過程;另一方面,機(jī)器學(xué)習(xí)的方法也能夠應(yīng)用于系統(tǒng)中的通信設(shè)計(jì)。 除了面向邊緣學(xué)習(xí)的通信設(shè)計(jì),當(dāng)前還有許多致力于將通信與計(jì)算聯(lián)合優(yōu)化的研究,例如：

① 綠色邊緣計(jì)算：“綠色”是指節(jié)省能源。 研究綠色邊緣計(jì)算一方面能夠節(jié)約能源的消耗,有助于環(huán)保;另一方面,也有利于減少終端的功耗以延長(zhǎng)終端的電池壽命。 因此,通信中能量收集[56]和無線能量傳輸技術(shù)[69]都有望應(yīng)用于這個(gè)場(chǎng)景。 然而,在節(jié)省功耗的同時(shí)引入能量收集技術(shù)也會(huì)提高系統(tǒng)的復(fù)雜性,讓計(jì)算卸載中的資源分配問題變得更加復(fù)雜。因此,需要設(shè)計(jì)考慮能量收集的計(jì)算卸載策略[56]。

② 協(xié)作計(jì)算與協(xié)作通信有機(jī)融合：協(xié)作計(jì)算 (cooperative computing)是指終端設(shè)備通過相互協(xié)作完成各自的計(jì)算任務(wù),如1.3.2 節(jié)中的分布式模型卸載。 協(xié)作計(jì)算能夠減少終端對(duì)于服務(wù)器的依賴性,并且提高空閑資源的利用率;協(xié)作通信 (cooperative communication)是指當(dāng)某些設(shè)備無法直接與服務(wù)器通信時(shí)也能以相鄰設(shè)備為橋梁,通過中繼通信 (relay communication) 將計(jì)算任務(wù)轉(zhuǎn)發(fā)卸載到服務(wù)器上。 二者的有機(jī)結(jié)合和聯(lián)合優(yōu)化能夠提升移動(dòng)邊緣計(jì)算(Mobile Edge Computing,MEC)系統(tǒng)整體性能。 例如,文獻(xiàn) [70] 考慮了三節(jié)點(diǎn)的 MEC 系統(tǒng) (終端、協(xié)作節(jié)點(diǎn)和邊緣服務(wù)器)。 其中,終端既能將計(jì)算任務(wù)卸載到協(xié)作節(jié)點(diǎn)和邊緣服務(wù)器上實(shí)現(xiàn)協(xié)作計(jì)算,又能以協(xié)作節(jié)點(diǎn)為中繼將計(jì)算任務(wù)卸載到邊緣服務(wù)器上,實(shí)現(xiàn)協(xié)作通信。 針對(duì)部分卸載和二元卸載2 種模式,文中研究了計(jì)算與通信資源分配的聯(lián)合優(yōu)化問題,為不同模式的計(jì)算任務(wù)提供低時(shí)延和低功耗的卸載策略。 然而,網(wǎng)絡(luò)邊緣端由各種設(shè)備組成,設(shè)備和網(wǎng)絡(luò)的異構(gòu)性給協(xié)作計(jì)算的系統(tǒng)設(shè)計(jì)帶來極大的挑戰(zhàn)。 因此,研究設(shè)備直通 (Device to Device,D2D) 通信和中繼通信等協(xié)作通信技術(shù)與協(xié)作計(jì)算的有機(jī)融合將極具應(yīng)用價(jià)值[71]。

③ 基于機(jī)器學(xué)習(xí)的計(jì)算卸載：除了前面討論的通過優(yōu)化通信子系統(tǒng)來提升邊緣學(xué)習(xí)的性能之外,機(jī)器學(xué)習(xí)的方法也可以用來解決邊緣計(jì)算系統(tǒng)設(shè)計(jì)的問題。 實(shí)際上,通過數(shù)學(xué)建模將計(jì)算卸載中的卸載決策、資源分配等問題映射成一個(gè)機(jī)器學(xué)習(xí)問題,就能夠利用機(jī)器學(xué)習(xí)的高效性來解決相關(guān)問題。 例如,文獻(xiàn) [72] 將計(jì)算卸載映射成一個(gè)有監(jiān)督學(xué)習(xí)的問題,而文獻(xiàn) [73] 則將計(jì)算卸載映射成一個(gè)強(qiáng)化學(xué)習(xí)的問題。

3.2 數(shù)據(jù)安全與隱私保護(hù)

雖然對(duì)隱私數(shù)據(jù)的保護(hù)是邊緣計(jì)算的天然優(yōu)勢(shì),但在邊緣學(xué)習(xí)中同樣存在新的數(shù)據(jù)安全與隱私泄漏問題。 首先,邊緣學(xué)習(xí)系統(tǒng)通常由異構(gòu)的網(wǎng)絡(luò)和設(shè)備組成,不同網(wǎng)絡(luò)或設(shè)備間的加密和保護(hù)機(jī)制難以兼容時(shí),會(huì)導(dǎo)致用戶的數(shù)據(jù)失去保護(hù)。 因此,需要設(shè)計(jì)新的安全協(xié)議或機(jī)制來保障邊緣學(xué)習(xí)中的數(shù)據(jù)安全。 其次,邊緣學(xué)習(xí)系統(tǒng)中設(shè)備資源的開放性和數(shù)據(jù)共享,都增加了邊緣服務(wù)器和終端設(shè)備受到攻擊的風(fēng)險(xiǎn),如拒絕訪問攻擊 (Denial of Services,DoS)、欺騙攻擊 (spoofing attacks) 和中間人攻擊 (man-in-the-middle attacks) 等。 針對(duì)數(shù)據(jù)安全和隱私暴露問題,下面提出善用噪聲和安全計(jì)算的2 個(gè)解決思路：

① 善用噪聲：在經(jīng)典香農(nóng)通信理論中,噪聲通常被認(rèn)為會(huì)阻礙有用信息的檢測(cè),所以噪聲是需要盡量被抑制的。 然而,在邊緣學(xué)習(xí)系統(tǒng)中,在樣本數(shù)據(jù)中添加適當(dāng)噪聲能夠在一定程度上避免模型訓(xùn)練的過擬合現(xiàn)象[74]。 同時(shí),這也依靠了深度學(xué)習(xí)所具備的抗噪聲干擾的魯棒性。 因此,可以通過人為在數(shù)據(jù)傳輸過程中添加噪聲來對(duì)數(shù)據(jù)進(jìn)行“加密”。基于這個(gè)思路,文獻(xiàn) [75] 設(shè)計(jì)了一個(gè)基于“邊緣-云端”計(jì)算卸載模式的邊緣學(xué)習(xí)系統(tǒng),在邊緣端利用 DNN 對(duì)輸入數(shù)據(jù)進(jìn)行特征提取,并在提取到的特征中加入適當(dāng)噪聲,帶有噪聲的特征再上傳到云端做進(jìn)一步的分析。 在這里,云端的 DNN 模型是利用帶噪聲的樣本數(shù)據(jù)訓(xùn)練的,因此,它能夠在計(jì)算時(shí)免受噪聲的干擾,從而在利用噪聲對(duì)原始數(shù)據(jù)加密的同時(shí)還能夠保證 DNN 的效果。 值得注意的是,盡管噪聲被證明在一定程度上有益于模型訓(xùn)練,過量的噪聲仍然會(huì)影響通信子系統(tǒng)的有效性。 因此,如何折中考慮通信的有效性和模型訓(xùn)練的高效性,也是值得深入研究的課題。

② 安全計(jì)算：實(shí)現(xiàn)隱私安全更直接的方法是在系統(tǒng)中引入加密、鑒權(quán)等傳統(tǒng)安全機(jī)制。 一種實(shí)現(xiàn)安全計(jì)算的思路是通過加密算法和驗(yàn)證過程保證設(shè)備間的數(shù)據(jù)交互過程是得到許可并且安全的。 例如,文獻(xiàn) [76]提出了一套基于強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)的安全機(jī)制,該機(jī)制包括安全的計(jì)算卸載、認(rèn)證和協(xié)作緩存。 利用強(qiáng)化學(xué)習(xí)中的Qlearning 和 DQN (Deep Q-learning Network)技術(shù)的靈活性和輕便性,該機(jī)制能夠在不明顯增加系統(tǒng)復(fù)雜度的情況下,保證系統(tǒng)安全性。

3.3 系統(tǒng)開發(fā)與部署

邊緣學(xué)習(xí)系統(tǒng)的開發(fā)和部署是理論研究的最終目的,同時(shí)也是實(shí)現(xiàn)邊緣學(xué)習(xí)技術(shù)價(jià)值的最后一環(huán)。下面從系統(tǒng)架構(gòu)、軟件平臺(tái)以及硬件加速3 個(gè)方面說明實(shí)現(xiàn)邊緣學(xué)習(xí)系統(tǒng)面臨的機(jī)遇和挑戰(zhàn)。

① 系統(tǒng)架構(gòu)：邊緣學(xué)習(xí)的實(shí)現(xiàn)和大規(guī)模部署將依賴于網(wǎng)絡(luò)架構(gòu)的高效設(shè)計(jì)。 歐洲電信標(biāo)準(zhǔn)研究院(European Telecommunications Standards Institute,ETSI)為了促進(jìn)緣計(jì)算在 5G 通信系統(tǒng)中的應(yīng)用,提出以網(wǎng)絡(luò)功能虛擬化(Network Function Virtualization,NFV)為基礎(chǔ)的網(wǎng)絡(luò)架構(gòu)[77]。 NFV 能將邊緣的物理資源以網(wǎng)絡(luò)功能的方式提供給上層的應(yīng)用,為AI 應(yīng)用的部署提供了平臺(tái)。 通過網(wǎng)絡(luò)運(yùn)營(yíng)商與服務(wù)提供商的緊密合作,可以實(shí)現(xiàn)網(wǎng)絡(luò)能力的開放和針對(duì)特定垂直行業(yè)的應(yīng)用服務(wù)。

② 軟件平臺(tái)：在軟件平臺(tái)方面,微軟公司推出的 Azure IoT Edge 和 Google 公司推出的 Cloud IoT Edge,都成為實(shí)現(xiàn)邊緣計(jì)算的應(yīng)用平臺(tái)。 二者都為開發(fā)者提供了在線訓(xùn)練AI 模型的平臺(tái),訓(xùn)練后的模型能夠靈活地部署在網(wǎng)絡(luò)邊緣的 IoT 設(shè)備上。 但它們都依賴云平臺(tái),需要將模型訓(xùn)練的過程進(jìn)一步向邊緣化演進(jìn)。 與此同時(shí),當(dāng)前也有許多用于開發(fā) AI 應(yīng)用的深度學(xué)習(xí)框架,如 TensorFlow,Torch ,Caffe 等。 這些框架一方面需要向邊緣化發(fā)展,開發(fā)出更適合邊緣服務(wù)器的軟件框架如 TensorFlow Lite,Caffe2 ,CoreML 等;另一方面,也需要朝著彼此兼容的方向發(fā)展,從而適應(yīng)由具有不同軟硬件架構(gòu)的設(shè)備形成的邊緣網(wǎng)絡(luò)環(huán)境。

③ 硬件加速：除了上述對(duì)軟件的需求,硬件的加速對(duì)于在終端和邊緣端部署以及實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法也是至關(guān)重要。 為此,設(shè)備商也開始使用圖像處理單元 (Graphic Processing Unit,GPU) 和 AI 芯片,如蘋果公司的 A12 仿生芯片、中星微公司的嵌入式神經(jīng)網(wǎng)絡(luò)處理單元(Neural-network Processing Unit,NPU)——“星光智能一號(hào)”及華為公司的 NPU——“麒麟 970”等。 特別是,Google 公司還推出了專門用于嵌入終端設(shè)備的邊緣張量處理單元 (Edge-Tensor Processing Unit,Edge-TPU) 及相關(guān)的開發(fā)套件。 TPU 是專門用于計(jì)算 AI 模型的專用集成電路(Application Specific Integrated Circuit,ASIC),它具有高性能、小體積、低功耗以及低成本等特點(diǎn)。 因此,TPU 能夠靈活地部署在終端設(shè)備和邊緣服務(wù)器中。 未來,邊緣學(xué)習(xí)的實(shí)現(xiàn)和部署將有賴于算力更強(qiáng)、功耗和成本更低的 GPU,NPU,TPU 等AI 芯片的發(fā)展和應(yīng)用。

4 結(jié)束語

隨著移動(dòng)通信和AI 技術(shù)的迅猛發(fā)展,通過更加靠近終端設(shè)備進(jìn)行數(shù)據(jù)計(jì)算與處理,可以顯著降低通信負(fù)荷并提高 AI 應(yīng)用的響應(yīng)速度。 因此,迫切需要將 AI 應(yīng)用從云端下沉到網(wǎng)絡(luò)邊緣。 為了適應(yīng)這個(gè)重要的技術(shù)發(fā)展趨勢(shì),邊緣學(xué)習(xí)已被廣泛認(rèn)為是在資源受限環(huán)境中支持計(jì)算密集型 AI 應(yīng)用的典型解決方案,本文對(duì)邊緣學(xué)習(xí)的最新研究成果進(jìn)行了全面綜述。 具體來說,首先回顧了邊緣學(xué)習(xí)的發(fā)展歷程;然后,考慮到數(shù)據(jù)隱私及通信開銷等問題,分析了如何在網(wǎng)絡(luò)邊緣進(jìn)行模型訓(xùn)練以及如何進(jìn)行高效通信子系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù);而且,為了減輕終端設(shè)備執(zhí)行 AI 計(jì)算的壓力,討論了將計(jì)算密集型任務(wù)轉(zhuǎn)移到邊緣服務(wù)器或相鄰終端上的計(jì)算和模型卸載技術(shù);最后,展望了邊緣學(xué)習(xí)面臨的發(fā)展機(jī)遇與挑戰(zhàn),包括通信與計(jì)算的聯(lián)合優(yōu)化、數(shù)據(jù)安全與隱私保護(hù),以及邊緣學(xué)習(xí)的實(shí)現(xiàn)與部署等。 本文能夠?yàn)檫吘墝W(xué)習(xí)領(lǐng)域的初學(xué)者提供一個(gè)宏觀的研究視野和快速入門指南,并啟發(fā)后續(xù)理論研究和技術(shù)創(chuàng)新。