郭斌

【摘要】智能物聯(lián)網(wǎng)作為物聯(lián)網(wǎng)和人工智能深度融合的技術(shù)，正成長為一個具有廣泛應(yīng)用前景的新興前沿領(lǐng)域。智能物聯(lián)網(wǎng)可實(shí)現(xiàn)制造業(yè)人、機(jī)、物、環(huán)境等要素的連接、交互、感知與計(jì)算，實(shí)現(xiàn)具有自組織、自學(xué)習(xí)、自適應(yīng)、持續(xù)演化等能力的制造業(yè)智慧空間，對促進(jìn)制造業(yè)新模式新業(yè)態(tài)形成、提高我國制造業(yè)生產(chǎn)力和競爭力、推動下一代智能制造變革具有重要意義。本文分析了智能物聯(lián)網(wǎng)為制造業(yè)帶來的機(jī)遇，闡述了實(shí)現(xiàn)人機(jī)物融合的群智智能制造所面臨的科學(xué)和技術(shù)挑戰(zhàn)，并探討了新一代人工智能技術(shù)如何推動制造業(yè)智慧空間構(gòu)建，最后對新背景下我國智能制造的發(fā)展提供建議。

【關(guān)鍵詞】智能物聯(lián)網(wǎng)? 人工智能? 智能制造? 群體智能? 人機(jī)物融合群智計(jì)算

【中圖分類號】TP3? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻(xiàn)標(biāo)識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2020.13.004

智能物聯(lián)

隨著物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)的快速發(fā)展與加速融合，智能物聯(lián)網(wǎng)（AI in IoT， AIoT）[1]正成長為一個具有廣泛發(fā)展前景的新興前沿領(lǐng)域。AIoT首先通過各種傳感器聯(lián)網(wǎng)實(shí)時(shí)采集各類數(shù)據(jù)（環(huán)境數(shù)據(jù)、運(yùn)行數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、監(jiān)測數(shù)據(jù)等），進(jìn)而在終端設(shè)備、邊緣設(shè)備或云端通過數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)方法來進(jìn)行智能化處理和理解，如智能感知、目標(biāo)識別、能耗管理、預(yù)測預(yù)警、智能決策等。近年來，智能物聯(lián)網(wǎng)應(yīng)用和服務(wù)已經(jīng)逐步融入國家重大需求和民生的各個領(lǐng)域，例如，智慧城市、智能制造、無人駕駛等。預(yù)計(jì)2025年我國物聯(lián)網(wǎng)連接節(jié)點(diǎn)將達(dá)到200億個，未來數(shù)百億的設(shè)備并發(fā)聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)分析和融合需求將促使物聯(lián)網(wǎng)與人工智能的深度融合。

阿里、騰訊、華為、京東等企業(yè)近年來都積極在智能物聯(lián)網(wǎng)領(lǐng)域布局。2018年，阿里巴巴宣布進(jìn)軍物聯(lián)網(wǎng)領(lǐng)域，將其定位為物聯(lián)網(wǎng)基礎(chǔ)設(shè)施的搭建者，提供IoT連接和AI能力、實(shí)現(xiàn)云邊端一體的協(xié)同計(jì)算，并開發(fā)了輕量級物聯(lián)網(wǎng)嵌入式操作系統(tǒng)AliOS Things。騰訊也推出了一款物聯(lián)網(wǎng)系統(tǒng)TencentOS tiny，具有低功耗、低資源占用等特點(diǎn)。華為則推出了面向物聯(lián)網(wǎng)的華為鴻蒙操作系統(tǒng)，作為一種基于微內(nèi)核的全場景分布式操作系統(tǒng)，在5G時(shí)代具有廣泛應(yīng)用前景。京東也于2018年發(fā)布“城市計(jì)算平臺”，結(jié)合深度學(xué)習(xí)等構(gòu)建時(shí)空關(guān)聯(lián)模型及學(xué)習(xí)算法解決交通規(guī)劃、火力發(fā)電、環(huán)境保護(hù)等城市不同場景下的智能應(yīng)用問題。

智能物聯(lián)驅(qū)動的制造業(yè)變革

面對新一輪工業(yè)革命，國務(wù)院于2015年發(fā)布《中國制造2025》國家戰(zhàn)略，其中明確提出，要以新一代信息技術(shù)與制造業(yè)深度融合為主線，以推進(jìn)智能制造為主攻方向。2017年，習(xí)近平總書記在黨的十九大報(bào)告中提出“加快建設(shè)制造強(qiáng)國，加快發(fā)展先進(jìn)制造業(yè)，推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合”。同年，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，其目標(biāo)為搶抓人工智能發(fā)展的重大戰(zhàn)略機(jī)遇，構(gòu)筑我國人工智能發(fā)展的先發(fā)優(yōu)勢，加快建設(shè)創(chuàng)新型國家和世界科技強(qiáng)國。其中大數(shù)據(jù)驅(qū)動知識學(xué)習(xí)、跨媒體智能、人機(jī)協(xié)同增強(qiáng)智能、群體智能、自主智能系統(tǒng)成為新一代人工智能的重點(diǎn)發(fā)展方向。新一代人工智能技術(shù)與先進(jìn)制造技術(shù)深度融合，將重塑設(shè)計(jì)、研發(fā)、制造、服務(wù)等產(chǎn)品全生命周期的各環(huán)節(jié)，形成新一代智能制造技術(shù)和業(yè)態(tài)，提升制造業(yè)生產(chǎn)力和競爭力。[2]

新一代智能制造技術(shù)的一個關(guān)鍵特征是人、機(jī)、物等要素的協(xié)同融合，而智能物聯(lián)網(wǎng)作為連接人、機(jī)、物的橋梁，在新一代智能制造技術(shù)中將發(fā)揮重要支撐作用。在制造領(lǐng)域，智能物聯(lián)網(wǎng)涉及的主體包括機(jī)器人、AGV小車、移動及可穿戴設(shè)備、邊緣設(shè)備、感知設(shè)備、生產(chǎn)制造設(shè)備、產(chǎn)品等。從技術(shù)角度而言，智能物聯(lián)網(wǎng)在制造業(yè)的應(yīng)用分為兩個層次，第一層次是通過工業(yè)互聯(lián)網(wǎng)技術(shù)來實(shí)現(xiàn)連接并獲取感知數(shù)據(jù)，第二層次則是利用人工智能技術(shù)來對數(shù)據(jù)進(jìn)行分析和學(xué)習(xí)。目前，以工業(yè)互聯(lián)網(wǎng)為核心的制造大數(shù)據(jù)獲取方面已經(jīng)取得較多進(jìn)展，而結(jié)合AI進(jìn)行分析、學(xué)習(xí)和自適應(yīng)演化等方面則處于起步階段，下面給出一些代表性案例。

產(chǎn)品缺陷檢測。復(fù)雜質(zhì)量檢測場景中，利用基于深度學(xué)習(xí)的解決方案代替人工特征提取，能夠在環(huán)境頻繁變化條件下檢測出更微小、更復(fù)雜的產(chǎn)品缺陷，提升檢測效率。美國機(jī)器視覺公司康耐視開發(fā)了基于深度學(xué)習(xí)進(jìn)行工業(yè)圖像分析的軟件，利用較小的樣本集就能在數(shù)分鐘內(nèi)完成模型訓(xùn)練。[3]

制造工藝參數(shù)優(yōu)化。采用深度學(xué)習(xí)方法對設(shè)備運(yùn)行、工藝參數(shù)等數(shù)據(jù)進(jìn)行綜合分析并找出最優(yōu)參數(shù)，能大幅提升運(yùn)行效率與制造品質(zhì)。阿里云ET工業(yè)大腦通過機(jī)器學(xué)習(xí)技術(shù)識別生產(chǎn)制造過程中的關(guān)鍵因子并進(jìn)行優(yōu)選組合，提升生產(chǎn)制造效率與良品率。[4]

預(yù)測性運(yùn)維服務(wù)?；谄髽I(yè)累積的運(yùn)維和業(yè)務(wù)數(shù)據(jù)等進(jìn)行預(yù)測，可及早采取措施排除可能的風(fēng)險(xiǎn)，從而提高企業(yè)運(yùn)行效率或降低運(yùn)營成本。如Google將人工智能應(yīng)用于數(shù)據(jù)中心，使用神經(jīng)網(wǎng)絡(luò)來預(yù)測耗電量變化，進(jìn)一步優(yōu)化服務(wù)器和制冷系統(tǒng)等相關(guān)設(shè)備控制以降低耗電量。[5]

設(shè)備故障預(yù)警。個別設(shè)備的故障會給工廠帶來極大的損失，影響整個生產(chǎn)流程。騰訊和三一重工合作，把全球40萬臺設(shè)備計(jì)入平臺，通過實(shí)時(shí)采集1萬多個運(yùn)行參數(shù)建立預(yù)測模型，以對設(shè)備狀態(tài)異常進(jìn)行預(yù)警。[6]

上述應(yīng)用場景呈現(xiàn)了智能物聯(lián)網(wǎng)與制造業(yè)深度融合帶來的豐富機(jī)遇，但要真正實(shí)現(xiàn)人機(jī)物和諧融合的未來制造業(yè)智慧空間，還面臨很多挑戰(zhàn)。下面將從群智協(xié)同機(jī)理、自組織與自適應(yīng)能力、云邊端融合計(jì)算、終身學(xué)習(xí)、群智能體學(xué)習(xí)、制造業(yè)智慧空間等新的理論、模型和方法探索方面分別進(jìn)行闡述。

人機(jī)物群智協(xié)同機(jī)理

制造業(yè)生命周期涉及人、機(jī)器、物料、工藝、環(huán)境、組織等多種要素，如何實(shí)現(xiàn)異構(gòu)要素間的有機(jī)協(xié)同和高效協(xié)作是智能制造要解決的關(guān)鍵科學(xué)問題。智能物聯(lián)網(wǎng)通過大數(shù)據(jù)實(shí)時(shí)獲取、智能感知與自學(xué)習(xí)增強(qiáng)、分布式群智交互協(xié)同等方法來提供解決方案。在基礎(chǔ)模型和理論層面，需要首先探索人機(jī)物融合群智協(xié)同機(jī)理這一基礎(chǔ)性問題，為技術(shù)的突破提供支撐。

關(guān)于群智協(xié)同的研究起源于生物學(xué)和生態(tài)學(xué)等領(lǐng)域。[7][8]一大群相同的自然生物或人造生物，如螞蟻、蜜蜂、白蟻、魚和鳥等，其個體擁有的智慧有限，但通過群體合作能夠?qū)崿F(xiàn)超越個體行為的集體智慧。這些生物體只是以簡單的方式與群體中的相鄰個體以及當(dāng)?shù)丨h(huán)境進(jìn)行接觸，以一種無中心的方式通過分布式協(xié)作來完成復(fù)雜任務(wù);但作為一個群體，它們能夠出于繁殖的目的建造出最復(fù)雜的巢穴，[9]會在尋找食物過程中給同伴釋放信息素留下蹤跡，成千上萬只鳥列隊(duì)飛行卻能以令人難以置信的精度實(shí)現(xiàn)群體快速轉(zhuǎn)彎。[10]生物個體之間的交互，其實(shí)就是在定義協(xié)同協(xié)作規(guī)則，智能體之間的行為交互方式或者交互模式，產(chǎn)生集聚、組隊(duì)、集體移動、形狀變換等行為，物理學(xué)研究指出通過簡單的交互規(guī)則可以產(chǎn)生復(fù)雜的行為。[11]

人類社會的群體智能也得到廣泛的研究，眾包（Crowdsourcing）是美國《連線》雜志2006年發(fā)明的一個專業(yè)術(shù)語，用來描述一種新的生產(chǎn)組織形式。具體就是企業(yè)/研發(fā)機(jī)構(gòu)利用互聯(lián)網(wǎng)將工作分配出去，利用大量用戶的創(chuàng)意和協(xié)作來解決技術(shù)問題。如維基百科通過大眾參與和有效協(xié)作構(gòu)建了全球最大的百科知識庫、reCAPTCHA[12]將古老印刷品的數(shù)字化問題與驗(yàn)證碼系統(tǒng)進(jìn)行融合，通過10萬家網(wǎng)站的使用和全民參與，幫助《紐約時(shí)報(bào)》這份有著100多年歷史的報(bào)紙實(shí)現(xiàn)存檔數(shù)字化。

鑒于生物和人類群體智能所體現(xiàn)的集群優(yōu)勢及廣泛應(yīng)用前景，國家《新一代人工智能發(fā)展規(guī)劃》明確提出“群體智能”研究方向。其實(shí)，早在上世紀(jì)90年代，著名科學(xué)家錢學(xué)森先生便曾提出“綜合集成研討廳”體系，強(qiáng)調(diào)專家群體以人機(jī)結(jié)合的方式進(jìn)行協(xié)同研討，共同對復(fù)雜巨系統(tǒng)的挑戰(zhàn)性問題進(jìn)行研究。[13]群體智能實(shí)質(zhì)上正是“綜合集成研討廳”在人工智能新時(shí)代的深化和拓展。

在如何結(jié)合生物群智協(xié)作機(jī)理進(jìn)行人工智能研究方面已經(jīng)有一些探索，通過機(jī)器人模擬集群行為而發(fā)展起來的“集群機(jī)器人”是其中代表之一。[14]集群機(jī)器人往往具有移動性，能夠檢測并直接與相鄰個體溝通，完成特定的行為，例如，聚集起來形成特定的模式或形狀、跟隨頭領(lǐng)行進(jìn)以及包圍“敵人”。2011年，哈佛大學(xué)的研究人員研究出一種低成本、適合大規(guī)模實(shí)驗(yàn)的集群機(jī)器人Kilobot，[15]并開展了具有上千個體的人造集群組隊(duì)實(shí)驗(yàn)。在物聯(lián)網(wǎng)研究領(lǐng)域，近年來也發(fā)展出一種基于群體參與和協(xié)作的新的感知模式——群智感知計(jì)算。[16][17]與基于傳統(tǒng)傳感網(wǎng)的感知方式不同，群智感知計(jì)算利用大眾的廣泛分布性、靈活移動性和即時(shí)連接性進(jìn)行大規(guī)模時(shí)空感知，進(jìn)而為現(xiàn)代城市及社會管理提供智能輔助支持。西北工業(yè)大學(xué)率先研發(fā)了開源的群智感知操作系統(tǒng)平臺CrowdOS（https：//www.crowdos.cn/），支持群智任務(wù)敏捷發(fā)布、復(fù)雜任務(wù)高效分配、多粒度隱私保護(hù)等核心功能。群智感知目前已經(jīng)在智能交通、智慧城市、公共安全、環(huán)境污染等重要領(lǐng)域展現(xiàn)出較好的應(yīng)用前景。

基于群體智能研究的啟發(fā)，針對制造業(yè)的異構(gòu)要素有機(jī)協(xié)同問題，也可以通過多智能體競爭合作的方式來提供支撐。借鑒生物界當(dāng)中的各種生態(tài)模式，轉(zhuǎn)化為一些可用的規(guī)則，用于支持多智能體之間的溝通協(xié)作，進(jìn)而通過多智能體模型研究復(fù)雜制造要素協(xié)同模式與制造效率、能耗、質(zhì)量間的作用機(jī)理。此外，為實(shí)現(xiàn)制造業(yè)人機(jī)物群智協(xié)同，針對其各要素表達(dá)異構(gòu)、知識碎片化等問題，還需構(gòu)建統(tǒng)一的制造業(yè)知識圖譜表示模型，對各制造要素及其關(guān)聯(lián)關(guān)系進(jìn)行結(jié)構(gòu)化表征。在制造業(yè)過程中，會產(chǎn)生大量的數(shù)據(jù)和專家經(jīng)驗(yàn)，需提取工業(yè)語義關(guān)鍵信息并關(guān)聯(lián)形成具備專業(yè)特點(diǎn)的工業(yè)知識圖譜。根據(jù)所構(gòu)建的制造群智表示模型，通過已有制造知識結(jié)構(gòu)發(fā)現(xiàn)、挖掘、推理全新制造知識內(nèi)容，并據(jù)此實(shí)現(xiàn)搜索、決策、協(xié)同等上層群智應(yīng)用。

自組織與自適應(yīng)能力

智能物聯(lián)網(wǎng)與制造業(yè)結(jié)合的目標(biāo)是實(shí)現(xiàn)工業(yè)領(lǐng)域的智能應(yīng)用，具有自組織、自學(xué)習(xí)、自適應(yīng)等特征。它使得制造業(yè)主體能不斷感知任務(wù)和環(huán)境狀態(tài)，根據(jù)需要分布式組織各生產(chǎn)要素，不斷學(xué)習(xí)和豐富自身識別與決策能力，以適應(yīng)動態(tài)的生產(chǎn)環(huán)境及應(yīng)用場景，最終達(dá)到提高生產(chǎn)效率或產(chǎn)品質(zhì)量的目的。

自組織。智能制造系統(tǒng)中的各組成單元或要素根據(jù)生產(chǎn)任務(wù)的需要，自行選擇、組織和調(diào)協(xié)形成一種優(yōu)化的結(jié)構(gòu)，具有生物集群特征，能發(fā)揮群體智慧。

自學(xué)習(xí)。智能制造系統(tǒng)能夠通過深度學(xué)習(xí)等方法感知系統(tǒng)運(yùn)行狀態(tài)、產(chǎn)品質(zhì)量狀況和上下文情境信息，并且通過強(qiáng)化學(xué)習(xí)、增量學(xué)習(xí)等方法根據(jù)反饋和新增樣本不斷提升學(xué)習(xí)能力。

自適應(yīng)。在機(jī)器學(xué)習(xí)和推斷過程中，智能制造系統(tǒng)的部署環(huán)境、運(yùn)行環(huán)境、網(wǎng)絡(luò)資源等不斷發(fā)生變化，為使得系統(tǒng)能適應(yīng)不同的狀況，需要學(xué)習(xí)模型具有自適應(yīng)感知和模型演化能力。

生物系統(tǒng)的自組織機(jī)制為研究具有自組織能力的智能制造系統(tǒng)提供了重要依據(jù)。例如，前面提到的哈佛大學(xué)的研究[18]從微觀多細(xì)胞組織和復(fù)雜動物組織結(jié)構(gòu)（鳥群、魚群）中得到啟發(fā)，通過能力有限的個體機(jī)器人Kilobot，設(shè)計(jì)有效的分布式交互機(jī)制，實(shí)現(xiàn)了大規(guī)模機(jī)器人情況下魯棒的自組織協(xié)作行為，包括集聚、成型、動態(tài)變換等。生物集聚行為中的組織和控制也是基于一系列簡單的規(guī)則。例如，對魚群來說，規(guī)則是一直和前面的魚保持近距離，并且轉(zhuǎn)向的時(shí)候盡量轉(zhuǎn)向離自己較近的魚。Kilobots的成型算法也和魚群之間的規(guī)則類似，包括邊界跟隨、梯度形成和定位等規(guī)則和算法。

為實(shí)現(xiàn)自學(xué)習(xí)能力，在資源受限且環(huán)境多變的物聯(lián)網(wǎng)終端設(shè)備上部署和運(yùn)行深度學(xué)習(xí)模型（如實(shí)時(shí)視頻數(shù)據(jù)處理）逐漸成為一種新的趨勢，其具有低計(jì)算延時(shí)、低傳輸成本、保護(hù)數(shù)據(jù)隱私等優(yōu)勢。然而，在資源受限的移動端運(yùn)行深度學(xué)習(xí)模型面臨著極大挑戰(zhàn)，制約了其落地和規(guī)?；瘧?yīng)用。一方面是硬件資源限制，深度學(xué)習(xí)模型通常是計(jì)算密集型的大規(guī)模網(wǎng)絡(luò)，往往需要較高的存儲、計(jì)算和能量資源，而終端設(shè)備的資源局限成為深度模型部署的技術(shù)瓶頸。另一方面是物聯(lián)終端計(jì)算具有運(yùn)行環(huán)境動態(tài)變化（如能量、存儲等）、應(yīng)用場景多樣等特點(diǎn)。而深度學(xué)習(xí)模型的訓(xùn)練過程是基于特定數(shù)據(jù)集的知識學(xué)習(xí)過程，對終端復(fù)雜應(yīng)用場景的適應(yīng)能力差。深度學(xué)習(xí)模型應(yīng)該根據(jù)目標(biāo)平臺上硬件資源的變化，自適應(yīng)調(diào)整其計(jì)算單元、組成結(jié)構(gòu)和運(yùn)行設(shè)置等參數(shù)以適應(yīng)新的需求。在終端環(huán)境和行為的自適應(yīng)學(xué)習(xí)方面，目前已經(jīng)有一些代表性的研究。

深度模型壓縮。在資源受限環(huán)境下通過模型壓縮來提高深度學(xué)習(xí)模型的運(yùn)行性能是當(dāng)前的一個重要研究方向。模型壓縮技術(shù)可以簡化深度學(xué)習(xí)模型結(jié)構(gòu)，降低模型參數(shù)量與運(yùn)算量，從而可以將其部署在資源受限的移動設(shè)備上。目前已經(jīng)有很多模型壓縮的方法被提出，例如，AdaDeep[19]提出了壓縮技術(shù)優(yōu)化組合的方法來解決對深度學(xué)習(xí)模型的資源消耗自適應(yīng)問題。BranchyNet[20]通過選擇網(wǎng)絡(luò)的不同“提前退出”分支實(shí)現(xiàn)深度模型的運(yùn)行時(shí)加速研究。

自修復(fù)機(jī)制。機(jī)器人在工業(yè)領(lǐng)域已經(jīng)具有廣泛的應(yīng)用，但目前還面臨的一個重要障礙是其面向復(fù)雜環(huán)境時(shí)的脆弱性。在生產(chǎn)運(yùn)行過程中，經(jīng)常會出現(xiàn)設(shè)備異?；驌p壞等情況，在這些情況下能自動恢復(fù)也是自適應(yīng)能力的體現(xiàn)。動物遇到異常情況時(shí)具有快速自修復(fù)的能力，而這對機(jī)器人來說極為困難，在其遇到未知的異常情況時(shí)很難擺脫既有學(xué)習(xí)經(jīng)驗(yàn)局限來尋求適當(dāng)?shù)慕鉀Q方案。而針對新的情況進(jìn)行實(shí)時(shí)學(xué)習(xí)會消耗大量的時(shí)間進(jìn)行收斂。針對該問題，Antoine Cully[21]從動物自適應(yīng)機(jī)理研究中得到啟發(fā)，提出了一種智能試錯算法使得在異常情況下能在短時(shí)間內(nèi)找到自適應(yīng)方案。該方案預(yù)先創(chuàng)建一張先驗(yàn)的細(xì)粒度行為空間地圖以記錄其可執(zhí)行的各種行為及價(jià)值，在遇到問題時(shí)，該地圖可作為啟發(fā)式知識來指導(dǎo)快速發(fā)現(xiàn)適當(dāng)?shù)膽?yīng)對策略。

云邊端融合高效計(jì)算

物聯(lián)網(wǎng)應(yīng)用大多有實(shí)時(shí)性要求，如果把物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)全部傳輸給云端，將會加大網(wǎng)絡(luò)負(fù)載并產(chǎn)生數(shù)據(jù)處理延時(shí)。在此背景下，一種新的計(jì)算模式——邊緣計(jì)算應(yīng)用而生。[22]邊緣計(jì)算指的是在網(wǎng)絡(luò)的邊緣來處理數(shù)據(jù)，這樣能夠減少請求響應(yīng)時(shí)間，同時(shí)保證數(shù)據(jù)的私密性。針對本地計(jì)算資源不足的問題，邊緣計(jì)算的加入也提供了新的機(jī)遇，通過云邊端融合產(chǎn)生新的高效計(jì)算模式。

針對前面提到的智能物聯(lián)終端學(xué)習(xí)模型的自適應(yīng)問題，除了前面提出的模型壓縮方法外，在邊緣設(shè)備加入后，模型分割方法也成為新的研究熱點(diǎn)。它將完整的深度學(xué)習(xí)模型進(jìn)行分塊，并根據(jù)性能需求（如時(shí)延、精度）和資源消耗（如網(wǎng)絡(luò)傳輸、設(shè)備存儲和能耗等）自動尋找最佳分割點(diǎn)，將模型中不同的層部署到云、邊、端的不同設(shè)備上，通過異構(gòu)設(shè)備的互補(bǔ)協(xié)同完成學(xué)習(xí)和計(jì)算任務(wù)。例如，美國密歇根大學(xué)的研究人員提出了一種云-端融合的模型分割方法NeuroSurgeon，[23]通過層性能預(yù)測模型（延遲、能耗）來自動識別深度神經(jīng)網(wǎng)絡(luò)中的理想分割點(diǎn)，并協(xié)調(diào)移動設(shè)備和云端間的計(jì)算分配，優(yōu)化最佳端到端延遲或最佳移動能耗。云邊端融合的模型分割計(jì)算根據(jù)整體或終端的關(guān)注點(diǎn)傾向，通常采用兩種方式：一是降低整體模型的資源消耗。因?yàn)樯疃染W(wǎng)絡(luò)某些中間層間的傳輸數(shù)據(jù)量要遠(yuǎn)小于原始數(shù)據(jù)量，因此，選取合適的模型分割點(diǎn)能夠降低數(shù)據(jù)傳輸量，并且減少整個模型的全局資源消耗。二是降低模型在單臺設(shè)備上的資源消耗。深度學(xué)習(xí)模型在分割之后，每塊網(wǎng)絡(luò)對硬件資源的需求將大幅度減少，可以在資源受限的硬件設(shè)備上運(yùn)行。目前模型分割主要集中在“端云分割”，即將深度學(xué)習(xí)模型在某一點(diǎn)切分后，一部分部署在終端設(shè)備上，一部分部署在云端，二者共同完成學(xué)習(xí)和推斷任務(wù)。而在智能制造背景下，設(shè)備異構(gòu)、數(shù)量豐富、拓?fù)湟鬃?，如何在此背景下?shí)現(xiàn)多異構(gòu)設(shè)備間的協(xié)同和模型優(yōu)化分割是需要進(jìn)一步探索的問題。

終身學(xué)習(xí)與持續(xù)演化

生物界針對內(nèi)外部環(huán)境的變化往往具有很好的適應(yīng)性和持續(xù)演化能力。[24][25]“演化”旨在為學(xué)習(xí)模型針對不斷新增的數(shù)據(jù)、新增用戶的個性特征、跨領(lǐng)域/跨實(shí)體間模型的知識遷移等需求提供持續(xù)性的學(xué)習(xí)和更新方案，即終身學(xué)習(xí)（Lifelong learning）能力。[26]在開放式復(fù)雜制造環(huán)境下，新的制造設(shè)備不斷加入，制造場景和需求動態(tài)變化，傳統(tǒng)基于海量數(shù)據(jù)預(yù)訓(xùn)練的模型難以在數(shù)據(jù)缺失或數(shù)據(jù)分布變化情況下發(fā)揮好的效用。例如，在智能制造場景中，面向產(chǎn)品質(zhì)量檢測的設(shè)備端視頻識別算法會受到場景布置、拍攝角度、光線變化等外部因素的影響;在柔性制造背景下，感知的類別和對象也在不斷變化，如新的產(chǎn)品或零件加入后會由于缺少標(biāo)注數(shù)據(jù)而導(dǎo)致既有模型無法發(fā)揮好的效用。針對這些場景，關(guān)聯(lián)的學(xué)習(xí)模型需要具備持續(xù)學(xué)習(xí)和演化能力，如同人類一樣具有不斷學(xué)習(xí)和適應(yīng)問題變化的能力，結(jié)合已學(xué)習(xí)的知識和經(jīng)驗(yàn)以解決新的問題。

域自適應(yīng)技術(shù)。一般來說機(jī)器學(xué)習(xí)模型的魯棒性（robustness）較差，傳統(tǒng)的解決辦法是在訓(xùn)練階段加入適量噪聲，以提高模型魯棒性。但是這一方法在訓(xùn)練完成后仍不能抵御新噪聲。因此，利用域自適應(yīng)的方法訓(xùn)練模型來抵御這種環(huán)境或需求變化正在成為智能物聯(lián)網(wǎng)領(lǐng)域的新發(fā)展方向。[27]它旨在尋找一個空間映射，將源域和目標(biāo)域（如兩個相關(guān)聯(lián)的制造場景或者產(chǎn)品）映射到同一特征子空間中，使得源域和目標(biāo)域的分布差距最小，進(jìn)而利用兩個域的數(shù)據(jù)進(jìn)行模型學(xué)習(xí)。域自適應(yīng)是遷移學(xué)習(xí)領(lǐng)域的一個重要分支，近年來生成式對抗網(wǎng)絡(luò)等新興學(xué)習(xí)算法的引入進(jìn)一步推動了其快速發(fā)展。

元學(xué)習(xí)。傳統(tǒng)的機(jī)器學(xué)習(xí)方法需獲取特定任務(wù)的大型數(shù)據(jù)集并從頭開始訓(xùn)練模型。很明顯，這和人類利用以往經(jīng)驗(yàn)，僅僅通過少量樣本就迅速完成學(xué)習(xí)的情況相差甚遠(yuǎn)。面對數(shù)據(jù)量不足的新任務(wù)時(shí)，這種方式顯然無法勝任。特別是在柔性制造動態(tài)變換場景下，很難獲得大量標(biāo)注數(shù)據(jù)。元學(xué)習(xí)（Meta Learning）或者叫作“學(xué)會學(xué)習(xí)”（Learning to learn），[28]即讓智能體或機(jī)器人利用以往的知識經(jīng)驗(yàn)來指導(dǎo)新任務(wù)的學(xué)習(xí)，具有學(xué)會學(xué)習(xí)的能力。它通過融合多個設(shè)備、多個不同場景下的訓(xùn)練模型并結(jié)合新設(shè)備/場景的少量樣本來學(xué)習(xí)適應(yīng)新場景的模型。例如，Berkeley[29]提出基于元學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)融合的持續(xù)在線學(xué)習(xí)模型，維護(hù)歷史任務(wù)知識，并通過中國餐館模型來及時(shí)發(fā)現(xiàn)新的任務(wù)，進(jìn)而通過小數(shù)據(jù)來快速適應(yīng)新情況。通過機(jī)器人智能體實(shí)驗(yàn)表明所提出的方法能快速適應(yīng)不斷變化的環(huán)境和狀態(tài)。

層級強(qiáng)化學(xué)習(xí)。如何在適應(yīng)新問題的同時(shí)，保留既有知識和經(jīng)驗(yàn)是終身學(xué)習(xí)的一個關(guān)鍵問題?，F(xiàn)有方法非常容易使得網(wǎng)絡(luò)模型忘記之前學(xué)習(xí)得到的知識，即存在災(zāi)難性遺忘問題。[30]人類應(yīng)對復(fù)雜問題的方法是把它們分解成一系列小的、可控的步驟;人類能夠快速學(xué)到新任務(wù)，靠的就是把已經(jīng)學(xué)過的步驟重新組合起來以應(yīng)對新情況。基于此，層次強(qiáng)化學(xué)習(xí)成為有效的知識抽取和遷移方法。例如，Minecraft[31]提出了一種融合層次式技能抽象及遷移能力的模型——分層強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)。它通過構(gòu)建一個深度技能隊(duì)列和技能蒸餾來實(shí)現(xiàn)知識的分層次集聚和存儲，進(jìn)而在強(qiáng)化學(xué)習(xí)過程中面向新任務(wù)來選擇性遷移保留的知識，從而實(shí)現(xiàn)了持續(xù)學(xué)習(xí)和演化的目的。OpenAI的研究人員們也提出了一種基于層次化強(qiáng)化學(xué)習(xí)的解決方案MLSH（meta-learning shared hierarchies），[32]智能體用幾個高層次動作組成的序列表征復(fù)雜的行為以實(shí)現(xiàn)快速搜索解決復(fù)雜任務(wù)。

漸進(jìn)式神經(jīng)網(wǎng)絡(luò)模型。持續(xù)學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域當(dāng)中的長遠(yuǎn)目標(biāo)，智能體不僅學(xué)習(xí)和記憶一系列的任務(wù)經(jīng)驗(yàn)，同時(shí)也有能力從之前的任務(wù)上遷移出有用的知識來改進(jìn)收斂的速度。傳統(tǒng)的微調(diào)網(wǎng)絡(luò)模型的方法是通過源任務(wù)-目標(biāo)任務(wù)遷移方法來繼承某個源任務(wù)知識。但這種微調(diào)的方法不大適合在多任務(wù)中進(jìn)行遷移學(xué)習(xí)，例如，人類常常通過汲取歷史上多個任務(wù)中的知識來解決一個新任務(wù)，而現(xiàn)有方法則由于災(zāi)難性遺忘問題而容易丟失歷史知識?；诖?，Google DeepMind提出了漸進(jìn)式神經(jīng)網(wǎng)絡(luò)模型，[33]它保留一個預(yù)訓(xùn)練模型池來根據(jù)任務(wù)變化不斷進(jìn)行網(wǎng)絡(luò)擴(kuò)展，從而實(shí)現(xiàn)經(jīng)驗(yàn)的自然累積和知識重用，實(shí)現(xiàn)持續(xù)學(xué)習(xí)并解決災(zāi)難性遺忘問題。

群智能體學(xué)習(xí)模型

近年來，制造業(yè)的智能化受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，取得了一系列重要成果。然而，現(xiàn)有的方法和技術(shù)在制造業(yè)智能化提升方面還具有以下局限性：其一是傳統(tǒng)感知學(xué)習(xí)模型沒考慮數(shù)據(jù)的分布性及由此衍生的不同制造業(yè)主體數(shù)據(jù)隱私保護(hù)的需求;其二是通過工業(yè)動態(tài)反饋進(jìn)行強(qiáng)化學(xué)習(xí)是復(fù)雜產(chǎn)品參數(shù)優(yōu)化的重要方面，然而制造要素的多樣性、制造環(huán)節(jié)的聯(lián)動性使得僅依靠單智能體的強(qiáng)化學(xué)習(xí)難以滿足全局性能優(yōu)化要求。

聯(lián)邦學(xué)習(xí)。當(dāng)今的AI面臨的一個重要挑戰(zhàn)是多數(shù)行業(yè)由于數(shù)據(jù)隱私和安全性原因存在數(shù)據(jù)孤島問題，2016年由谷歌最先提出的聯(lián)邦學(xué)習(xí)為以上問題提供了一種解決方案。[34]它的主要思想是基于分布在多個設(shè)備上的數(shù)據(jù)集構(gòu)建機(jī)器學(xué)習(xí)模型，在保障數(shù)據(jù)交換隱私安全前提下，通過多設(shè)備協(xié)作開展高效率學(xué)習(xí)。微眾銀行首席人工智能官楊強(qiáng)教授進(jìn)一步引入了一個全面的聯(lián)邦學(xué)習(xí)框架，[35]除了物聯(lián)網(wǎng)設(shè)備外，進(jìn)一步擴(kuò)展到在多個機(jī)構(gòu)或企業(yè)間在滿足隱私安全前提下，進(jìn)行分布式機(jī)器學(xué)習(xí)，提出了橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)等模型。此外，微眾銀行已自研并推出了全球首個工業(yè)級聯(lián)邦學(xué)習(xí)開源框架FATE。在未來制造領(lǐng)域，需要在保障數(shù)據(jù)分享隱私安全前提下開展跨制造要素、跨制造環(huán)節(jié)以及跨制造企業(yè)的分布式學(xué)習(xí)模型探索。一種可能是在工廠內(nèi)多個設(shè)備之間開展聯(lián)邦學(xué)習(xí)，另一種則是在生產(chǎn)的不同環(huán)節(jié)和企業(yè)間開展聯(lián)邦學(xué)習(xí)。

多智能體深度強(qiáng)化學(xué)習(xí)。單智能體深度強(qiáng)化學(xué)習(xí)近來取得了巨大突破，但單體智能學(xué)習(xí)能力還存在很大限制。就人類社會而言，每個個體都有自己獨(dú)特的目標(biāo)和行為，但人們?nèi)匀荒軌蚪M織在一起展示出非凡的集體智能。因此，在智能物聯(lián)網(wǎng)環(huán)境下，智能體在單獨(dú)行動的同時(shí)，也要學(xué)會與其他的智能體進(jìn)行交互和協(xié)作，通過其協(xié)作和博弈激發(fā)新的智能——即多智能體深度強(qiáng)化學(xué)習(xí)。多智能體深度強(qiáng)化學(xué)習(xí)在很多應(yīng)用中具有不俗表現(xiàn)，例如，智能體之間通過協(xié)作溝通來解決合作型任務(wù)，多智能體通過競爭會學(xué)習(xí)到新的行為。Gooogle DeepMind在Science雜志上發(fā)表的最新論文[36]中通過智能體在多玩家電子游戲中掌握策略、理解戰(zhàn)術(shù)以及進(jìn)行團(tuán)隊(duì)協(xié)作，展示了智能體在強(qiáng)化學(xué)習(xí)領(lǐng)域的最新進(jìn)展。一方面通過經(jīng)驗(yàn)重播、自我模仿學(xué)習(xí)以及策略蒸餾等機(jī)制實(shí)現(xiàn)智能體隨環(huán)境不斷演變能力;另一方面則通過多智能體學(xué)習(xí)獲取到團(tuán)隊(duì)協(xié)作或?qū)沟牟呗裕晒Φ嘏cAI隊(duì)友和人類隊(duì)友協(xié)作，表現(xiàn)出了很高的性能。

智能制造領(lǐng)域面臨同樣的問題。針對制造業(yè)單個智能體感知范圍有限、基于反饋的參數(shù)優(yōu)化能力差、群體學(xué)習(xí)能力弱等問題，需研究基于深度強(qiáng)化學(xué)習(xí)模型的多智能體協(xié)同增強(qiáng)方法。將目標(biāo)任務(wù)與動態(tài)調(diào)優(yōu)模型關(guān)聯(lián)。面向特定的制造任務(wù)需求，提出群智深度強(qiáng)化學(xué)習(xí)模型對各制造要素進(jìn)行建模和協(xié)同學(xué)習(xí)，動態(tài)反饋和優(yōu)化調(diào)整參與任務(wù)的各智能體參數(shù)，使得制造群體參數(shù)總體最優(yōu)，實(shí)現(xiàn)多智能體協(xié)同增強(qiáng)。

人機(jī)物群智融合制造業(yè)智慧空間構(gòu)建

Gartner將“智慧空間”列入2020年十大戰(zhàn)略科技發(fā)展趨勢，[37]指出人工智能與物聯(lián)網(wǎng)、邊緣計(jì)算和數(shù)字孿生等技術(shù)的快速發(fā)展及深度融合，可以為智能制造等領(lǐng)域提供高度集成的智慧空間。智慧空間是一種物理信息融合環(huán)境，其中人、機(jī)、物等要素在開放和智能的生態(tài)系統(tǒng)中彼此交互，構(gòu)建組織靈活、行為自適、自主演化的空間。下面給出制造業(yè)群智智慧空間的定義。

制造業(yè)群智智慧空間關(guān)注制造業(yè)中人（智能手機(jī)、可穿戴設(shè)備）、機(jī)（云、邊緣設(shè)備）、物（物聯(lián)網(wǎng)終端）、環(huán)境、信息等多維因素之間的復(fù)雜關(guān)聯(lián)關(guān)系，探索群智能體之間的協(xié)同模式與制造效率、質(zhì)量間的交互作用機(jī)理。利用人機(jī)物感知能力的差異性、計(jì)算資源的互補(bǔ)性、節(jié)點(diǎn)間的交互性，通過終端深度模型壓縮、云邊端協(xié)同自適應(yīng)感知、智能體終身學(xué)習(xí)與持續(xù)演化、群智能體分布式學(xué)習(xí)等來解決單獨(dú)利用某種智能難以解決的復(fù)雜問題，最終構(gòu)建具有自組織、自學(xué)習(xí)、自適應(yīng)、可遷移、持續(xù)學(xué)習(xí)能力的智慧空間。（如圖1）

融合群體智能的制造企業(yè)智慧空間的發(fā)展有望引發(fā)制造業(yè)的重要變革，而當(dāng)前的研究仍存在較大空白。制造企業(yè)智慧空間尚未形成，甚至缺少融合群體智慧的制造企業(yè)智慧空間的構(gòu)建理論、分布學(xué)習(xí)方法、協(xié)同運(yùn)行和持續(xù)演化機(jī)制。傳統(tǒng)基于單點(diǎn)智能和集中智能解決方案難以應(yīng)對復(fù)雜產(chǎn)品制造中的各種問題，導(dǎo)致復(fù)雜制造企業(yè)普遍存在群體融合差、分布協(xié)作難、適應(yīng)能力弱等挑戰(zhàn)性問題，成為未來智能制造的開放性研究課題。

對我國下一代制造業(yè)發(fā)展的啟示

制造業(yè)是國民經(jīng)濟(jì)的主體，是立國之本、強(qiáng)國之基。目前，國際上工業(yè)4.0發(fā)展方興未艾，《中國智能制造2025》已成為我國沿制造強(qiáng)國邁進(jìn)的發(fā)展戰(zhàn)略，打造具有國際競爭力的制造業(yè)，是我國提升綜合國力、建設(shè)世界強(qiáng)國的必由之路。工業(yè)互聯(lián)網(wǎng)和智能物聯(lián)是智能制造的關(guān)鍵支撐技術(shù)，前者實(shí)現(xiàn)智能設(shè)備、人和數(shù)據(jù)的連接;后者則基于多源感知大數(shù)據(jù)實(shí)現(xiàn)對制造主體的自組織、自學(xué)習(xí)、自適應(yīng)、持續(xù)演化等智慧賦能;最終將形成人、機(jī)、物群智融合的制造業(yè)智慧空間。在前面介紹智能物聯(lián)網(wǎng)在智能制造領(lǐng)域前沿方向基礎(chǔ)上，為了推動我國新一代智能制造的發(fā)展與技術(shù)落地，還需要注意從以下方面提升。

發(fā)揮智能物聯(lián)網(wǎng)引領(lǐng)作用。物聯(lián)網(wǎng)、人工智能及其深度融合將成為引領(lǐng)未來制造業(yè)變革的關(guān)鍵技術(shù)。智能物聯(lián)網(wǎng)作為物聯(lián)網(wǎng)和人工智能結(jié)合的前沿技術(shù)在新一代智能制造中將發(fā)揮關(guān)鍵作用。當(dāng)前工業(yè)物聯(lián)網(wǎng)的發(fā)展正處于智能物聯(lián)的初級階段，而融合先進(jìn)AI技術(shù)的高級階段將帶來生產(chǎn)效率的極大躍升。

加強(qiáng)從0到1基礎(chǔ)研究。目前我國在制造領(lǐng)域關(guān)鍵技術(shù)應(yīng)用方面已取得不少進(jìn)展，而在基礎(chǔ)研究領(lǐng)域還相對滯后。本文介紹的Google DeepMind、斯坦福大學(xué)、伯克利大學(xué)等在多智能體強(qiáng)化學(xué)習(xí)、機(jī)器人集群協(xié)作、自適應(yīng)持續(xù)演化等領(lǐng)域的突破性研究為未來制造業(yè)變革提供了豐富可能，而我國在基礎(chǔ)創(chuàng)新方面還存在較大差距，存在大而不強(qiáng)、重技術(shù)輕基礎(chǔ)的現(xiàn)狀。因此，需要加強(qiáng)從0到1的基礎(chǔ)性研究，從長遠(yuǎn)角度推動智能制造不斷革新、持續(xù)發(fā)展。

注重多學(xué)科融合人才培養(yǎng)。目前高校人才培養(yǎng)模式還主要面向單個學(xué)科開展，學(xué)生知識結(jié)構(gòu)單一，難以滿足未來對于多學(xué)科知識融合解決復(fù)雜問題的需求。以智能制造為例，涉及計(jì)算機(jī)、人工智能、物聯(lián)網(wǎng)、機(jī)械制造、自動控制、生物學(xué)等多學(xué)科理論和知識，應(yīng)該創(chuàng)新人才培養(yǎng)模式，促進(jìn)多學(xué)科知識融合，為培養(yǎng)復(fù)合型創(chuàng)新型人才提供有效途徑。

產(chǎn)學(xué)研深度協(xié)同融合。智能制造具有很高的新技術(shù)密集度，汲取了人工智能領(lǐng)域最前沿的理論和技術(shù)成果。從前沿創(chuàng)新角度而言，高校往往具有先進(jìn)的人工智能算法而苦于沒有工業(yè)數(shù)據(jù)進(jìn)行驗(yàn)證，企業(yè)則積累了大量過程數(shù)據(jù)卻缺少新技術(shù)的支撐。需要打破壁壘促進(jìn)高校和科研院所積極參與智能制造產(chǎn)業(yè)變革，創(chuàng)造條件促進(jìn)產(chǎn)學(xué)研的深度協(xié)同與技術(shù)革新。

推動新興技術(shù)在制造業(yè)的落地應(yīng)用。聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)、多智能體強(qiáng)化學(xué)習(xí)、深度模型壓縮、邊緣計(jì)算、云邊端融合計(jì)算等智能物聯(lián)網(wǎng)相關(guān)技術(shù)近年來不斷取得新突破，在國家科研發(fā)展規(guī)劃中要注重推動以上關(guān)鍵技術(shù)和制造業(yè)關(guān)鍵科學(xué)和技術(shù)問題的結(jié)合，產(chǎn)生示范性應(yīng)用效果，進(jìn)而形成新的產(chǎn)業(yè)鏈，促進(jìn)制造業(yè)智慧空間的形成。

（本文系國家重點(diǎn)研發(fā)計(jì)劃課題“多維群智融合的制造業(yè)智慧空間構(gòu)建理論”的階段性成果，項(xiàng)目編號：2019YFB1703901;北京航空航天大學(xué)張莉教授、任磊教授，中國航天二院林廷宇研究員等也參與了本文部分內(nèi)容研討）

注釋

[1]金山云、艾瑞咨詢：《2020年中國智能物聯(lián)網(wǎng)（AIoT）白皮書》，http：//report.iresearch.cn/report/202002/3529.shtml，2020年2月27日更新。

[2]周濟(jì)、李培根、周艷紅、王柏村、臧冀原、孟柳：《走向新一代智能制造》，Engineering，2018年5月。

[3][4]工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟：《工業(yè)智能白皮書》，http：//www.miit.gov.cn/n973401/n5993937/n5993968/c7887033/content.html，2020年4月26日更新。

[5]Lazic， N.; Boutilier， C.; Lu， T. et al.， "Data center cooling using model-predictive control"， Advances in Neural Information Processing Systems， 2018， pp. 3814-3823.

[6]騰訊研究院，中國社會科學(xué)院工業(yè)經(jīng)濟(jì)研究所：《“人工智能+制造”產(chǎn)業(yè)發(fā)展研究報(bào)告》，https：//cloud.tencent.com/developer/news/261699 ，2018年6月25日更新。

[7][10]Sumpter， D. J. T.， Collective animal behavior， Princeton University Press， 2010.

[8][11]Vicsek， T. and Zafeiris， A.， "Collective motion"， Physics reports， 2012， 517（3-4）， pp. 71-140.

[9]Werfel， J.; Petersen， K. and Nagpal， R.， "Designing collective behavior in a termite-inspired robot construction team"， Science， 2014， 343（6172）， pp. 754-758.

[12]Von Ahn， L.; Maurer， B.; McMillen， C. et al.， "Recaptcha： Human-based character recognition via web security measures"， Science， 2008， 321（5895）， pp.? 1465-1468.

[13]錢學(xué)森、于景元、戴汝為：《一個科學(xué)新領(lǐng)域——開放的復(fù)雜巨系統(tǒng)及其方法論》，《自然》，1990年1月，第3～10頁。

[14]Bay?nd?r， L.， "A review of swarm robotics tasks"， Neurocomputing， 2016， 172， pp. 292-321.

[15][18]Rubenstein， M.; Cornejo， A. and Nagpal， R.， "Programmable self-assembly in a thousand-robot swarm"， Science， 2014， 345（6198）， pp. 795-799.

[16]劉云浩：《群智感知計(jì)算》，《中國計(jì)算機(jī)學(xué)會通訊》，2012年10月，第38～41頁。

[17]Guo， B.; Wang， Z.; Yu， Z. et al.， "Mobile crowd sensing and computing： The review of an emerging human-powered sensing paradigm"， ACM Computing Surveys， 2015， 48（1）， pp. 1-31.

[19]Liu， S.; Lin， Y.; Zhou， Z. et al.， "On-demand deep model compression for mobile devices： A usage-driven model selection framework"， Proceedings of the 16th Annual International Conference on Mobile Systems， Applications， and Services （MobiSys）， 2018， pp. 389-400.

[20]Teerapittayanon， S.; McDanel， B. and Kung， H. T.， "Branchynet： Fast inference via early exiting from deep neural networks"， 2016 23rd International Conference on Pattern Recognition （ICPR）， IEEE， 2016， pp. 2464-2469.

[21][24]Cully， A.; Clune， J.; Tarapore， D. et al.， "Robots that can adapt like animals"， Nature， 2015， 521（7553）， pp. 503-507.

[22]施巍松：《邊緣計(jì)算：萬物互聯(lián)時(shí)代新型計(jì)算模型》，《計(jì)算機(jī)研究與發(fā)展》，2017年5月，第907～924頁。

[23]Kang， Y.; Hauswald， J.; Gao， C. et al.， "Neurosurgeon： Collaborative intelligence between the cloud and mobile edge"， ACM SIGARCH Computer Architecture News， 2017， 45（1）， pp. 615-629.

[25]Eiben， A. E. and Smith， J.， "From evolutionary computation to the evolution of things"， Nature， 2015， 521（7553）， pp. 476-482.

[26]Chen， Z. and Liu， B.， Lifelong machine learning， Morgan & Claypool Publishers， August， 2018.

[27]Tzeng， E.; Hoffman， J.; Darrell， T. et al.， "Simultaneous deep transfer across domains and tasks"， Proceedings of the IEEE International Conference on Computer Vision（ICCV）， 2015， pp. 4068-4076.

[28]Finn， C.; Abbeel， P. and Levine， S.， "Model-agnostic meta-learning for fast adaptation of deep networks"， Proceedings of the 34th International Conference on Machine Learning（ICML）， 2017， pp. 1126-1135.

[29]Nagabandi， A.; Finn， C. and Levine， S.， "Deep online learning via meta-learning： Continual adaptation for model-based RL"， arXiv preprint arXiv：1812.07671， 2018.

[30]Kirkpatrick， J.; Pascanu， R.; Rabinowitz， N. et al.， "Overcoming catastrophic forgetting in neural networks"， Proceedings of the national academy of sciences（PNAS）， 2017， 114（13）， pp. 3521-3526.

[31]Tessler， C.; Givony， S.; Zahavy， T. et al.， "A deep hierarchical approach to lifelong learning in minecraft"， Thirty-First AAAI Conference on Artificial Intelligence（AAAI）， 2017.

[32]Frans， K.; Ho， J.; Chen， X. et al.， "Meta learning shared hierarchies"， arXiv preprint arXiv：1710.09767， 2017.

[33]Rusu， A. A.; Rabinowitz， N. C.; Desjardins， G. et al.， "Progressive neural networks"， arXiv preprint arXiv：1606.04671， 2016.

[34]McMahan， B.; Moore， E.; Ramage， D. et al.， "Communication-Efficient Learning of Deep Networks from Decentralized Data"， Artificial Intelligence and Statistics， 2017， pp. 1273-1282.

[35]Yang， Q.; Liu， Y.; Chen， T. et al.， "Federated machine learning： Concept and applications"， ACM Transactions on Intelligent Systems and Technology （TIST）， 2019， 10（2）， pp. 1-19.

[36]Jaderberg， M.; Czarnecki， W. M.; Dunning， I. et al.， "Human-level performance in 3D multiplayer games with population-based reinforcement learning"， Science， 2019， 364（6443）， pp. 859-865.

[37]Gartner：《2020年十大戰(zhàn)略性技術(shù)預(yù)測》，https：//www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2020/，2019年10月21日更新。

責(zé) 編/郭 丹