莫梓嘉,高志鵬,苗東
北京郵電大學(xué),網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室,北京 100876
在過去的十幾年中,以云計算模型為核心的集中處理模式將計算能力、存儲能力和網(wǎng)絡(luò)管理集中化。隨著物聯(lián)網(wǎng)時代的到來,物聯(lián)終端設(shè)備數(shù)量爆發(fā)式增長,根據(jù)IDC(International Data Corporation)預(yù)測,到2025年,全球物聯(lián)網(wǎng)設(shè)備數(shù)將達(dá)到416 億臺,產(chǎn)生79.4ZB 的數(shù)據(jù)量,同時這些物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)量將以28.7%的復(fù)合年增長率(CAGR)增長。
萬物互聯(lián)時代的到來帶來了時延、能耗、性能、存儲、安全等方面的新需求,為了滿足以上需求,面向邊緣終端設(shè)備的進(jìn)行海量數(shù)據(jù)處理與分析的邊緣計算模型應(yīng)運而生。邊緣計算是在網(wǎng)絡(luò)邊緣執(zhí)行計算的一種新型計算模型[1],是部署在邊緣設(shè)備與云中心之間的一種新的計算范式,處理來自云的下行數(shù)據(jù)和物聯(lián)設(shè)備的上行數(shù)據(jù)。
從集中式的云計算模式到分布式的邊緣計算模式,更多的是從數(shù)據(jù)流轉(zhuǎn)和數(shù)據(jù)處理能力的角度考慮模式的轉(zhuǎn)變,然而隨著物聯(lián)設(shè)備數(shù)量的快速增長,要求終端設(shè)備運行智能計算并提供智能服務(wù)成為主要需求。2010年后,由于深度學(xué)習(xí)的興起,人工智能技術(shù)再次受到學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。人工智能是一項使用機器實現(xiàn)、代替人類實現(xiàn)認(rèn)知、識別、分析、決策等功能的技術(shù), 其本質(zhì)是對人類意識與思維信息過程的模擬[2]。當(dāng)前人工智能技術(shù)主要分為四類:模式識別、機器學(xué)習(xí)、數(shù)據(jù)挖掘、智能算法,并成功應(yīng)用于圖像識別、語言識別、專家系統(tǒng)、智慧醫(yī)療、智能交通等領(lǐng)域。然而,由于人工智能方法包含大量的計算,當(dāng)前人工智能大部分計算任務(wù)部署在云計算中心等大規(guī)模計算資源集中的平臺上,這極大地限制了人工智能帶給人們的便利[3]。
物聯(lián)網(wǎng)時代的到來使得現(xiàn)有的集中式云計算服務(wù)向設(shè)備端下放計算資源,讓更多的數(shù)據(jù)處理任務(wù)就近完成。同樣地,對于人工智能技術(shù)而言,智能算法大多是需要強大計算能力作為支撐的計算密集型算法,然而當(dāng)下的技術(shù)發(fā)展趨勢更加偏向于靈活但是資源受限的終端設(shè)備。因此,將智能算法下沉到邊緣設(shè)備端進(jìn)行部署,結(jié)合邊緣數(shù)據(jù)的計算本地性與智能算法的強計算能力,同時解決資源受限問題和實時處理問題,催生出一個新的技術(shù)——邊緣智能。
邊緣智能是將人工智能引入邊緣場景的新技術(shù),具體來講,邊緣智能是一種融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力,使邊緣設(shè)備執(zhí)行智能算法,提供智能服務(wù)并滿足時延率低、能耗量小、精確度高和安全可靠的關(guān)鍵需求的新興技術(shù)。它為邊緣計算設(shè)備提供了一個融合了數(shù)據(jù)聯(lián)接與管理、數(shù)據(jù)計算與分析、數(shù)據(jù)存儲與收發(fā)、業(yè)務(wù)智能決策與開展的開放式平臺,同時利用智能算法為邊緣計算節(jié)點提供任務(wù)遷移和任務(wù)卸載等智能服務(wù),并進(jìn)一步滿足了實時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能以及安全隱私等方面的行業(yè)需求,創(chuàng)造了一種邊緣計算與人工智能技術(shù)相互協(xié)同的新模式。邊緣智能使得用戶服務(wù)更加貼近數(shù)據(jù)側(cè),這是在當(dāng)下物聯(lián)網(wǎng)時代以數(shù)據(jù)為驅(qū)動的特定場景下提出的一種更加高效,更加便捷的計算方式。
邊緣智能被提出至今僅有5年時間,尚處于探索階段,但其發(fā)展前景被業(yè)界廣泛看好,引起了高度關(guān)注。為了更清晰地確定邊緣智能的發(fā)展過程,本文以邊緣計算元年2015年[4]作為統(tǒng)計的開始,在谷歌學(xué)術(shù)上以“edge intelligence”為關(guān)鍵詞進(jìn)行搜索每年的文章數(shù)量,結(jié)果如圖1 所示。從2015年至今,邊緣智能相關(guān)的論文數(shù)量在逐年地小幅度上升,2018-2019年論文數(shù)量較之前顯著上升,但是整體的論文數(shù)量至今未破萬篇,這代表在學(xué)術(shù)界該領(lǐng)域的研究進(jìn)展還處在初級的技術(shù)積累階段。盡管在工業(yè)界,以邊緣智能為核心思想的業(yè)務(wù)在不斷地發(fā)展壯大,但學(xué)術(shù)界對邊緣智能這一領(lǐng)域的研究依然缺少標(biāo)準(zhǔn)化、一體化的研究思路,這大大阻礙了邊緣智能的進(jìn)一步發(fā)展。
圖1 Edge intelligence 論文發(fā)表數(shù)量及趨勢Fig.1 Number of published papers and trends
圖2 邊緣智能的發(fā)展歷程及典型事件Fig.2 The development process and typical events of edge intelligence
圖2 列舉了邊緣智能在工業(yè)界發(fā)展中的典型事件,邊緣智能第一次出現(xiàn)在公眾的視野中是在歐洲電信標(biāo)準(zhǔn)協(xié)會(ETSI)2015年9月發(fā)布的《移動邊緣計算:一項通向5G 的關(guān)鍵技術(shù)》中,該報告提出了在移動邊緣節(jié)點嵌入人工智能的相關(guān)技術(shù)的思路;2017年5月微軟在Build 大會上提出了智能云和智能邊緣的概念;2018年3月,阿里云發(fā)布了Link Edge,通過云邊一體的設(shè)計理念將阿里云的能力下沉到邊緣端,致力于用云端的能力解決邊緣端的問題;2018年8月,由阿里集團(tuán)聯(lián)合多個物聯(lián)網(wǎng)產(chǎn)業(yè)鏈伙伴組成的ICA(IoT Connectivity Alliance)聯(lián)盟發(fā)布了《邊緣智能白皮書》;2018年11月邊緣計算產(chǎn)業(yè)聯(lián)盟(ECC)在北京主辦了以“邊緣智能、邊云協(xié)同”為主題的邊緣計算產(chǎn)業(yè)峰會。我們可以看到在短短的幾年時間內(nèi),邊緣智能就獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的一直青睞,相信隨著不斷地技術(shù)積累,未來還將有更多的技術(shù)被應(yīng)用在邊緣智 能領(lǐng)域。
本文將邊緣智能計算模型發(fā)展的過程分為四個階段:
技術(shù)儲備階段:在邊緣計算提出伊始,“邊緣+云”的模式開始在學(xué)術(shù)界被提出,此時邊緣節(jié)點之間與云中心相互獨立,在這個階段云端計算中心承擔(dān)著幾乎全部的工作任務(wù),也并未向邊緣節(jié)點下沉計算資源,全網(wǎng)統(tǒng)一的算力面和數(shù)據(jù)面還未形成。
單一智能階段:物聯(lián)網(wǎng)時代的到來,興起了一批以數(shù)據(jù)為驅(qū)動的技術(shù),同時“邊緣+云”的工作模式也漸漸地被應(yīng)用到了更多的場景下。人工智能在視頻分析、語音識別等多項業(yè)務(wù)中表現(xiàn)突出,因此在這一階段,根據(jù)不同的業(yè)務(wù)需求,在邊緣節(jié)點上部署有針對性的單一化智能服務(wù),以推動智能向本地化發(fā)展。該階段尚未整合多種智能算法,且對邊緣設(shè)備側(cè)的實時響應(yīng)能力要求不高。
模型優(yōu)化階段:由于傳統(tǒng)的深度學(xué)習(xí)框架過于龐大,很難直接部署在邊緣計算平臺上,因此在這一階段,研究專注于以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型的壓縮、優(yōu)化、分割的問題,最終實現(xiàn)輕量化的人工智能模型,并將輕量級的人工智能引擎引入邊緣計算平臺,使其具備在本地進(jìn)行小規(guī)模模型訓(xùn)練和推理的能力。同時,云端被要求實現(xiàn)一系列的邊緣節(jié)點調(diào)度和任務(wù)卸載策略,在這些基礎(chǔ)的策略算法搭建完成之后,人工智能技術(shù)的潛能才能被徹底激活。
協(xié)同計算階段:經(jīng)過上述三個階段的演進(jìn)與發(fā)展,本階段將形成以終端物聯(lián)設(shè)備、邊緣節(jié)點與云計算中心為計算框架,人工智能技術(shù)為驅(qū)動導(dǎo)向的協(xié)同計算模式。該模式將提供資源豐富、響應(yīng)靈活的個性化智能服務(wù)。本階段主要在數(shù)據(jù)、算法、任務(wù)三個維度中體現(xiàn)邊云協(xié)同:數(shù)據(jù)協(xié)同打破“數(shù)據(jù)孤島”,算法協(xié)同破解數(shù)據(jù)隱私保護(hù)難題,任務(wù)協(xié)同為應(yīng)用場景提供多種類、一致性的智能服務(wù)[5]。
從邊緣智能的發(fā)展趨勢中不難看出,邊緣智能正逐漸從單一的智能化階段走向協(xié)同計算階段,計算模式的更新迭代一方面可以推動相關(guān)技術(shù)的發(fā)展和進(jìn)步,另一方面,多方協(xié)同的計算模式必然會帶來很多的挑戰(zhàn)與矛盾。在協(xié)同計算的模式下,衡量邊緣智能技術(shù)主要依賴四個特性:實時性(時延低)、精確性(準(zhǔn)確率高)、能耗性(能量消耗低)和安全性(安全和隱私保護(hù))。根據(jù)邊緣智能的四個特性,本文總結(jié)出邊緣智能發(fā)展的三個主要矛盾,并闡述由矛盾帶來的挑戰(zhàn)。
邊緣智能中的時延包括計算時延和通信時延,前者取決于邊緣節(jié)點的能力和計算模型的規(guī)模,后者受影響于傳輸?shù)臄?shù)據(jù)量及網(wǎng)絡(luò)帶寬。由于深度學(xué)習(xí)的發(fā)展,當(dāng)前的智能模型多采用深度神經(jīng)網(wǎng)絡(luò)算法,大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型使計算結(jié)果準(zhǔn)確率提升的同時,也提高了邊緣節(jié)點的運算時間,如何在保證計算結(jié)果精確度的情況下滿足邊緣智能計算實時性的需求,是邊緣智能研究中的重要挑戰(zhàn)。
以分散方式訓(xùn)練智能模型時,計算和通信過程都消耗大量能源。但是對于大多數(shù)終端設(shè)備而言,它們都是能量受限的。能源效率主要受目標(biāo)訓(xùn)練模型的大小和邊緣設(shè)備資源規(guī)模的影響,一般來講,計算結(jié)果精確度要求越高,模型規(guī)模越大,所消耗的邊緣節(jié)點能量越大。邊緣智能的一個重要挑戰(zhàn)則是如何平衡計算模型精確度與邊緣節(jié)點的能量消耗。
在用戶數(shù)據(jù)安全方面,由于邊緣節(jié)點靠近產(chǎn)生數(shù)據(jù)的用戶終端設(shè)備,因此使用邊緣節(jié)點來存儲數(shù)據(jù)可以在一定程度上避免數(shù)據(jù)泄露,達(dá)到用戶隱私保護(hù)的目的。但是人工智能算法作為以數(shù)據(jù)為驅(qū)動的算法,往往需要海量數(shù)據(jù)作為支撐加以實現(xiàn)[6]。不充分的數(shù)據(jù)使得智能算法無法進(jìn)行完善的訓(xùn)練,降低算法的準(zhǔn)確率,從而最終影響服務(wù)質(zhì)量。因此,邊緣智能場景中如何在不影響服務(wù)質(zhì)量的情況下,保護(hù)數(shù)據(jù)隱私安全亟待研究。
隨著邊緣智能研究的逐漸深入,各界研究人員直面挑戰(zhàn),解決問題,推動相關(guān)技術(shù)的發(fā)展。針對上節(jié)分析的邊緣智能中的矛盾與挑戰(zhàn),本節(jié)總結(jié)了當(dāng)前學(xué)術(shù)界的四個主要研究方向,包括模型優(yōu)化、任務(wù)資源分配、邊緣聯(lián)邦智能、云邊端協(xié)同。其中,模型優(yōu)化和任務(wù)資源分配主要解決了計算精確性與實時性、能量消耗之間的矛盾,不同點在于前者是從邊緣賦能智能的角度上出發(fā),后者則是智能賦能邊緣的重要方向。邊緣聯(lián)邦智能主要目的在于解決服務(wù)質(zhì)量與隱私保護(hù)之間的問題,云邊端協(xié)同則在協(xié)同架構(gòu)角度上綜合性地解決了上述提出的三大矛盾與挑戰(zhàn)。
當(dāng)邊緣計算設(shè)備嵌入人工智能技術(shù)時,相較于云端高性能的計算能力,邊緣側(cè)的計算設(shè)備計算能力有限,同時,移動設(shè)備在面對海量數(shù)據(jù)的輸入時其存儲能力也相對有限,而深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)驅(qū)動的技術(shù),因此大規(guī)模的數(shù)據(jù)和模型訓(xùn)練過程是無法避免的。面對這樣的窘境,如何開發(fā)、優(yōu)化、壓縮、分割神經(jīng)網(wǎng)絡(luò)模型就成為了邊緣智能領(lǐng)域中最為重要的研究方向之一。目前為止,學(xué)術(shù)界及產(chǎn)業(yè)界提出的多樣的模型壓縮方式以及模型分割技術(shù),比如:模型剪枝、模型量化、低秩因子分解、知識蒸餾、緊湊型網(wǎng)絡(luò)設(shè)計以及模型分割等。根據(jù)優(yōu)化思路的差異,如圖3所示,我們將現(xiàn)有的模型優(yōu)化策略分為三類,結(jié)構(gòu)性優(yōu)化策略、非結(jié)構(gòu)性優(yōu)化策略以及協(xié)同性優(yōu)化策略。
圖3 網(wǎng)絡(luò)模型優(yōu)化策略分類Fig.3 The classification of network optimization strategies
對于結(jié)構(gòu)性優(yōu)化策略來講,在保證一定準(zhǔn)確率的情況下,致力于將深度神經(jīng)網(wǎng)絡(luò)中冗余的或?qū)φ麄€模型影響較小的信息進(jìn)行剔除或壓縮,從而達(dá)到減少計算和存儲開銷的目的,這類優(yōu)化策略主要關(guān)注的是網(wǎng)絡(luò)模型本身,基于固定的網(wǎng)絡(luò)模型來進(jìn)行模型優(yōu)化。
剪枝[7-10]是模型結(jié)構(gòu)性優(yōu)化中使用最多的方法,通常是尋找一種有效的評判手段,來考量參數(shù)對于模型的重要性,在保證模型的準(zhǔn)確性的基礎(chǔ)下,將不重要的參數(shù)剔除來進(jìn)行參數(shù)量的縮減,模型剪枝算法在云中心執(zhí)行,并將剪枝后的模型分配到邊緣計算節(jié)點。模型量化[11-12]也是近年來模型優(yōu)化研究的熱點。量化神經(jīng)網(wǎng)絡(luò)中8 位整型表示32 位的浮點型數(shù),通過犧牲精度來降低每一個參數(shù)所需要占用的空間。當(dāng)參數(shù)規(guī)模很大時,模型量化可以很好地壓縮存儲空間,使其更加適配于存儲敏感的邊緣節(jié)點。這對于邊緣智能來說,無疑是很有效的方式,也是近年來使用較多的一種方式。深度神經(jīng)網(wǎng)絡(luò)旨在挖掘并去除網(wǎng)絡(luò)中參數(shù)和特征的冗余信息,從而達(dá)到減少網(wǎng)絡(luò)參數(shù)。這恰恰與邊緣智能中的邊緣節(jié)點對于模型的需求相同。研究者發(fā)現(xiàn)對于參數(shù)矩陣它們往往具有低秩的性質(zhì),存在大量冗余,因此可以使用SVD 等方法將權(quán)值矩陣分解成多個小矩陣的乘積,使用這種方式可以有效的降低參數(shù)間的冗余信息,達(dá)到模型壓縮的目的。Tai C[13]等人在2016年提出從零開始訓(xùn)練低秩卷積網(wǎng)絡(luò)模型的方法,也是基于低秩近似的思想完成的。目前,低秩分解的方式雖然已經(jīng)發(fā)展較為成熟,但是在實際場景下的應(yīng)用并不多,其中一個重要原因是越來越多的網(wǎng)絡(luò)已經(jīng)開始使用1x1 的卷積核,對這種小的卷積核用低秩分解的方式無法對網(wǎng)絡(luò)加速和壓縮。
與結(jié)構(gòu)性優(yōu)化策略完全不同的是,在非結(jié)構(gòu)性優(yōu)化策略中,不關(guān)注模型本身的結(jié)構(gòu),而是將深度神經(jīng)網(wǎng)絡(luò)模型視作黑盒,只關(guān)注系統(tǒng)的輸入輸出情況。在這種優(yōu)化策略中,致力于重新構(gòu)造網(wǎng)絡(luò)模型,在保證與原復(fù)雜模型功能實現(xiàn)相同的情況下,設(shè)計更輕量化、更適于應(yīng)用在邊緣側(cè)的網(wǎng)絡(luò)。前三類方法并沒有改變整個網(wǎng)絡(luò)模型的結(jié)構(gòu),而是針對模型中的冗余信息進(jìn)行壓縮,而本節(jié)中的兩種方法則徹底地改變了整個模型,使用另外的模型替代現(xiàn)有模型已達(dá)到同樣的目的,這是兩種截然不同的設(shè)計思路,但對于邊緣節(jié)點來講,只要最終達(dá)到了模型參數(shù)壓縮和存儲壓縮,使用不同的方式可以起到同樣的作用。
知識蒸餾方法采用的是遷移學(xué)習(xí)的方式,通過采用預(yù)先訓(xùn)練好的復(fù)雜模型的輸出作為監(jiān)督信號去訓(xùn)練另外一個簡單的網(wǎng)絡(luò)。利用知識遷移來壓縮模型最早由Caruana 等人[14]提出,他們訓(xùn)練了帶有偽數(shù)據(jù)標(biāo)記的強分類器的壓縮模型,并復(fù)制了原始網(wǎng)絡(luò)的輸出,后來Hinton[15]等人引入了知識蒸餾的框架,提出了“學(xué)生-教師網(wǎng)絡(luò)”這一概念,其中教師網(wǎng)絡(luò)一般是一個泛化能力較強的深層網(wǎng)絡(luò)模型,它的性能良好,可以用來監(jiān)督輕量化的網(wǎng)絡(luò)模型,即“學(xué)生網(wǎng)絡(luò)”,通過“懲罰“教師和學(xué)生之間輸出的損失值,使學(xué)生輸出逐漸逼近教師模型的輸出?;谥R蒸餾的方法能令復(fù)雜度很高的深度神經(jīng)網(wǎng)絡(luò)模型顯著降低計算成本,但同時這類方法的局限性也很強,只能應(yīng)用于具有softmax 損失函數(shù)的分類任務(wù)中。緊湊網(wǎng)絡(luò)設(shè)計的方式是在模型構(gòu)建的初始階段就選擇小而冗余度低的網(wǎng)絡(luò),比如將原本的3x3 卷積核替換為1x1 的卷積核,或者減少卷積核的輸入通道數(shù)量,這樣在保證結(jié)果的準(zhǔn)確率的情況下,大大的壓縮了存儲空間,目前緊湊型的設(shè)計中最有名的是MobileNets 系列以及Inception 系列,他們都很好的應(yīng)用到了移動端的深度學(xué)習(xí)開發(fā)當(dāng)中。
最后一類優(yōu)化策略則是基于“邊云”協(xié)同模式下的一種個性化設(shè)計策略,與前兩類策略不同,協(xié)同性優(yōu)化策略根據(jù)邊緣節(jié)點的計算資源、存儲能力的差異以及不同場景對于計算時延和精確度的要求,設(shè)計提供了不同的模型退出和切分點,使模型得到了精簡和優(yōu)化。典型例子是Li En 等人[16]提出的Edgent 協(xié)同按需推理框架,能夠?qū)崿F(xiàn)在設(shè)備和邊緣之間自適應(yīng)的劃分深度神經(jīng)網(wǎng)絡(luò)模型,實現(xiàn)按需低延遲邊緣智能服務(wù)。
在邊緣計算模式中,云計算中心的計算任務(wù)將部分遷移到多個網(wǎng)絡(luò)邊緣,通過在云數(shù)據(jù)中心與邊緣服務(wù)器之間進(jìn)行動態(tài)任務(wù)卸載和資源調(diào)度,減輕云計算中心的計算壓力,減少網(wǎng)絡(luò)主干帶寬的使用,并提升服務(wù)響應(yīng)能力和數(shù)據(jù)隱私保護(hù)能力。當(dāng)使用人工智能技術(shù)與邊緣計算結(jié)合后,任務(wù)卸載的研究同樣適用于邊緣智能,以用來優(yōu)化AI 模型中產(chǎn)生的計算時延、能耗和精確性等多種性能。
任務(wù)資源分配的主要目的是減少服務(wù)的響應(yīng)延遲,降低能耗,節(jié)約網(wǎng)絡(luò)流量和提高服務(wù)質(zhì)量等。當(dāng)終端節(jié)點不具有處理能力時,可以將計算卸載到邊緣服務(wù)器或云數(shù)據(jù)中心,以提高系統(tǒng)的整體性能。云邊協(xié)同場景下的任務(wù)卸載,將任務(wù)智能地卸載到云端或邊緣節(jié)點上,在遠(yuǎn)程云中進(jìn)行大規(guī)模數(shù)據(jù)訓(xùn)練得到源神經(jīng)網(wǎng)絡(luò),在邊緣節(jié)點加載預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)并自定義預(yù)測模型、訓(xùn)練模型和進(jìn)行任務(wù)卸載。He Li 等人[17]提出在視頻圖片信息處理場景下,在深度學(xué)習(xí)的中間層加入邊緣服務(wù)器處理低層數(shù)據(jù),縮減數(shù)據(jù)之后傳給云中心,減少網(wǎng)絡(luò)流量,并且縮減后數(shù)據(jù)不具有語義,以此來保障安全性。并提出了在線和離線調(diào)度算法,調(diào)節(jié)邊緣服務(wù)器所在層數(shù),最大化邊緣服務(wù)器可調(diào)節(jié)的任務(wù)數(shù)量。
在邊緣智能場景中,如何在不影響服務(wù)質(zhì)量的情況下,保護(hù)數(shù)據(jù)隱私安全正在逐漸成為人工智能的下一個挑戰(zhàn),邊緣計算由于其將數(shù)據(jù)儲存在邊緣設(shè)備端的架構(gòu)優(yōu)勢,在一定程度上增強了數(shù)據(jù)的安全與隱私保護(hù)。然而,數(shù)據(jù)在不同邊緣節(jié)點相互獨立存儲、維護(hù)、管理,容易形成數(shù)據(jù)孤島。聯(lián)邦學(xué)習(xí)的產(chǎn)生為邊緣智能打破數(shù)據(jù)屏障和進(jìn)一步發(fā)展提供了新的思路。
圖4 云邊端協(xié)同架構(gòu)示例Fig.4 The example of Cloud-Edge-Device collaborative architecture
聯(lián)邦學(xué)習(xí)本質(zhì)上是一種加密的分布式機器學(xué)習(xí)技術(shù),各個參與方可在不批露底層數(shù)據(jù)和底層數(shù)據(jù)的加密形態(tài)的前提下共建模型,在保護(hù)本地數(shù)據(jù)的前提下讓多個數(shù)據(jù)擁有方聯(lián)合建立共有的模型,從而實現(xiàn)了以保護(hù)隱私和數(shù)據(jù)安全為前提的互利共贏。對于邊緣智能領(lǐng)域而言,聯(lián)邦學(xué)習(xí)具有天然優(yōu)勢。首先,聯(lián)邦學(xué)習(xí)架構(gòu)與邊緣計算架構(gòu)類似,都是計算資源與服務(wù)的下沉與分散化,通過協(xié)同終端設(shè)備與邊緣服務(wù)器,使得聯(lián)邦學(xué)習(xí)可以與邊緣計算進(jìn)行很好的結(jié)合;其次,針對邊緣設(shè)備的智能化需求,聯(lián)邦學(xué)習(xí)通過多客戶端協(xié)同優(yōu)化模型,參與優(yōu)化的邊緣設(shè)備服務(wù)模型可以在迭代訓(xùn)練中不停完善,從而持續(xù)提高邊緣設(shè)備智能化程度;最后,在聯(lián)邦學(xué)習(xí)框架下邊緣設(shè)備數(shù)據(jù)不對外泄露,可以有效地保障智能設(shè)備內(nèi)隱私數(shù)據(jù)安全,在智能安全的前提下解決邊緣智能中的數(shù)據(jù)孤島問題??偠灾吘壷悄芎吐?lián)邦學(xué)習(xí)的有機結(jié)合——“邊緣聯(lián)邦智能”將為學(xué)術(shù)界和工業(yè)界進(jìn)一步展開研究提供新的機遇。
隨著邊緣智能相關(guān)技術(shù)的發(fā)展,如何把云中心、邊緣計算以及物聯(lián)設(shè)備進(jìn)行連接和計算力的協(xié)同,發(fā)揮云中心規(guī)模化、邊緣計算本地化與終端感知快速決策等方面的優(yōu)勢,并平衡精確性、實時、能耗和隱私安全是一個關(guān)鍵問題。圖4 給出了云邊端協(xié)同架構(gòu)的模型示例,“云-邊-端”協(xié)同架構(gòu)是以云為中心,向邊緣節(jié)點、物聯(lián)終端逐層分散延伸的網(wǎng)絡(luò)架構(gòu),這其中涉及到云邊協(xié)同、邊邊協(xié)同和邊端協(xié)同三種協(xié)同方式。
(1)云邊協(xié)同:云計算與邊緣計算的協(xié)同方式是目前研究者和產(chǎn)業(yè)界探索最多的一種協(xié)同模式,云計算強大的存儲和計算能力能夠確保大規(guī)模、長周期的智能處理與分析,邊緣計算的實時性則更好地支撐了局部、短周期的實時智能決策與執(zhí)行。云邊協(xié)同的場景下,云根據(jù)邊緣上傳的數(shù)據(jù)或模型來分析、存儲,并將訓(xùn)練好的模型下發(fā)至邊緣端,邊緣進(jìn)行終端數(shù)據(jù)的采集并實時更新云下發(fā)的數(shù)據(jù)或模型。這種協(xié)同方式支持?jǐn)?shù)據(jù)在邊緣和云之間進(jìn)行可控有序流動,完成自主學(xué)習(xí)閉環(huán)。
(2)邊邊協(xié)同:在邊緣智能場景中,單個的邊緣節(jié)點計算和存儲能力有限,且數(shù)據(jù)來源受限,需要多個邊緣節(jié)點協(xié)同訓(xùn)練。每個邊緣節(jié)點作為計算節(jié)點承擔(dān)模型訓(xùn)練或數(shù)據(jù)分析任務(wù),邊緣節(jié)點擁有整個或部分模型,訓(xùn)練集來源于云端下發(fā)的數(shù)據(jù)或者由邊緣自身產(chǎn)生的數(shù)據(jù)生成。訓(xùn)練后的模型參數(shù)更新到中心節(jié)點或者其他節(jié)點中得到完整模型。早在2012年,Jeffrey Dean[18]就提出了大規(guī)模分布式訓(xùn)練思想,并證明具有訓(xùn)練大型模型能力的系統(tǒng)能夠顯著地提升深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果。在邊緣智能場景下,該分布式訓(xùn)練的意義仍然存在。與傳統(tǒng)分布式訓(xùn)練不同的是,在邊邊協(xié)同的場景下,邊緣節(jié)點存在資源差異性、動態(tài)變化性和通信差異性。不同邊緣節(jié)點之間的存儲計算能力、承擔(dān)計算任務(wù)、通信帶寬質(zhì)量差異較大,同一邊緣節(jié)點在不同時刻的計算能力也有所不同,這種協(xié)同方式支持邊緣節(jié)點的任務(wù)和資源合理分配,使得效率最大化。
(3)邊端協(xié)同:邊端協(xié)同中的“端”指物端設(shè)備,邊端協(xié)同更注重智能調(diào)度和安全接入,本身與應(yīng)用場景高度相關(guān)。在邊端協(xié)同場景下,物端設(shè)備實時地收集數(shù)據(jù)并上傳至邊緣服務(wù)器,邊緣服務(wù)器采集多源的實時數(shù)據(jù)后進(jìn)行計算與分析,向終端發(fā)出指令,指導(dǎo)終端向用戶提供各種不同的服務(wù)。由于物端設(shè)備與用戶關(guān)系緊密,因此,邊端協(xié)同被認(rèn)為是實現(xiàn)智能化服務(wù)的重要一環(huán)[6]。
針對目前邊緣智能的典型場景,本文介紹三個應(yīng)用案例。
道路交通設(shè)施監(jiān)測管理以及路口流量(人流/車流)監(jiān)控是智慧交通中最主要的兩大應(yīng)用場景。傳統(tǒng)的云端管理平臺無法保障對于交通的精確化、實時化管理。因此楊志華[19]等人提出了基于邊緣智能的PLC-IoT(Power Line Communication)全聯(lián)接平臺設(shè)計。如圖5 所示,該平臺共分為四層:其中終端設(shè)備層包括道路上的各種交通控制設(shè)備,這些設(shè)備負(fù)責(zé)下達(dá)指令和設(shè)備感知;第二層為邊緣智能層,終端設(shè)備層通過電力載波PLC 與邊緣智能層進(jìn)行實時通信;第三層為網(wǎng)絡(luò)層,其負(fù)責(zé)邊緣智能層與云應(yīng)用服務(wù)層的網(wǎng)絡(luò)連接。邊緣節(jié)點收集來自本交叉口的信號燈,倒計時牌等終端設(shè)備的數(shù)據(jù),運行智能算法對各個設(shè)備進(jìn)行狀態(tài)檢測與維護(hù)、智能分析等操作。同時需要將分析結(jié)果上傳云端,以實現(xiàn)大范圍的交通設(shè)備管理服務(wù)。云端收集不同交叉路的匯總數(shù)據(jù),綜合分析給出交通優(yōu)化策略。該平臺的提出實現(xiàn)了智能交通信息的實時響應(yīng),大大提高了交通運行效率。
圖5 基于云邊端協(xié)同的道路交通監(jiān)測系統(tǒng)架構(gòu)圖Fig.5 Architecture diagram of traffic monitoring system
近年來,在智能安防領(lǐng)域由于現(xiàn)有的攝像頭無論在數(shù)量還是安置位置上都很難滿足抓拍到符合條件的人臉圖像的要求,且受到人面部特征(發(fā)型、胡須)以及佩戴的各種飾品的因素影響,人臉識別和追蹤的精確度很難保障。為此商湯科技[20]推出了SenseDLC 嵌入式人像識別SDK 軟件。該項技術(shù)的實質(zhì)是邊云協(xié)同下的人工智能技術(shù)。如圖6 所示,商湯科技在云端依靠GPU 集群通過億級別的人臉訓(xùn)練過程完成了模型的建立,隨后將訓(xùn)練后的深度學(xué)習(xí)模型集成到邊緣側(cè)的攝像頭中,使得該攝像頭可以實現(xiàn)人臉結(jié)合人體的綜合檢測,同時它提取了23項影響人面部特征的因素進(jìn)行建模,使得原先模型識別和追蹤精確度較低的問題得到大幅度改善。值得注意的是,上述功能均在邊緣側(cè)的攝像頭中得到實現(xiàn),這一改變,大大降低了傳輸過程中的時延以及云中心的視頻處理壓力,使得云中心可以更好地對分布在不同區(qū)域的智能攝像頭進(jìn)行監(jiān)控和數(shù)據(jù)分析。該技術(shù)由于支持各類主流的神經(jīng)網(wǎng)絡(luò)芯片平臺,因此可以很好地應(yīng)用于小區(qū)、校園、商場等人員流動密集區(qū)域。
圖6 SenseDLC 嵌入式人像識別SDK 軟件在小區(qū)門禁場景下的應(yīng)用Fig.6 Application of SenseDLC embedded portrait recognition SDK software in community access control
智慧家庭是邊緣智能技術(shù)的典型應(yīng)用場景之一,其旨在對各類家庭終端設(shè)備進(jìn)行實時監(jiān)控和智能分析以達(dá)到提高用戶舒適度的目的,家庭中的終端設(shè)備包括用于采集室內(nèi)狀況的各類傳感器以及記錄用水用電的各類監(jiān)測器,傳統(tǒng)的智能家庭系統(tǒng)難以滿足用戶對于低延時、個性化、隱私保護(hù)等的服務(wù)需求,為此周莎[21]提出了基于情境感知的智能家居節(jié)能系統(tǒng),實現(xiàn)了邊緣數(shù)據(jù)情境化管理以及數(shù)據(jù)趨勢等功能。如圖7 所示,該系統(tǒng)主要分為終端設(shè)備、智能網(wǎng)關(guān)和云中心三層。首先基于收集到的海量家庭數(shù)據(jù)信息在云端對各功能模塊的深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練,接著將模型下沉至家庭中的邊緣智能網(wǎng)關(guān)節(jié)點,這些節(jié)點將會采集不同終端傳送的本地化數(shù)據(jù),以此進(jìn)一步在預(yù)訓(xùn)練模型中加入個性化特征。同時,智能網(wǎng)關(guān)將使用流行的機器學(xué)習(xí)預(yù)測算法GBDT、XGBoost、LightGBM 等進(jìn)一步保障模型對于室內(nèi)溫度、濕度、用電、用水等數(shù)據(jù)的預(yù)測精確度,最后結(jié)合用戶設(shè)置的各類舒適度參數(shù),為用戶提供自動化的控制、預(yù)警等服務(wù)。
將人工智能技術(shù)引入邊緣計算環(huán)境從而產(chǎn)生的邊緣智能作為一種新興技術(shù),從2015年首次提出至今經(jīng)過近幾年的研究發(fā)展和技術(shù)儲備,已經(jīng)得到了來自國內(nèi)外政府、學(xué)術(shù)界和工業(yè)界的廣泛重視。雖然仍處于初期發(fā)展階段,但得益于邊緣計算和人工智能相關(guān)技術(shù)的快速發(fā)展,邊緣智能正在由技術(shù)儲備期走向快速發(fā)展期,并在許多場景下發(fā)揮 作用。
圖7 基于情境感知的智能家居系統(tǒng)架構(gòu)圖Fig.7 Architecture diagram of smart home system
本文從邊緣智能發(fā)展動態(tài)分析出發(fā),總結(jié)了邊緣智能在時延、精確度、能耗和安全隱私之間的三個主要矛盾,并由此提出了邊緣智能面臨的挑戰(zhàn),針對這三個主要矛盾與挑戰(zhàn)歸納了當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界相關(guān)學(xué)者研究的四個方向,并列舉了邊緣智能場景下的應(yīng)用范例。在可以預(yù)見的將來,隨著技術(shù)的逐漸成熟以及新的應(yīng)用場景出現(xiàn),邊緣智能技術(shù)將得到更大的發(fā)展。
本文相信,在進(jìn)一步完成技術(shù)儲備后,邊緣智能將會在未來進(jìn)入高速發(fā)展階段,在工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和智慧城市等智能化產(chǎn)業(yè)建設(shè)領(lǐng)域取得更大的成就,為產(chǎn)業(yè)升級和學(xué)術(shù)發(fā)展提供助力。在面向萬物互聯(lián)的場景下,為了滿足更低時延、更低能耗、更高可靠、更智能服務(wù)等需求,人工智能和邊緣計算技術(shù)在向一種全局協(xié)同的組合形態(tài)進(jìn)階,邊緣智能是人工智能向邊緣側(cè)分布式拓展的新觸角。
利益沖突聲明
所有作者聲明不存在利益沖突關(guān)系。