吳 集，梁江海，劉書雷

(國防科技大學(xué) 前沿交叉學(xué)科學(xué)院， 湖南 長沙 410073)

全球人工智能技術(shù)迅猛發(fā)展，正引領(lǐng)科技、產(chǎn)業(yè)新變革，推動智能經(jīng)濟、智能社會轉(zhuǎn)型發(fā)展，塑造人類安全與發(fā)展新環(huán)境。人工智能具有先進科學(xué)技術(shù)“雙刃”屬性。面對智能化時代的巨大進步，必須堅持安全發(fā)展理念，審視潛在的機遇和風(fēng)險，防范人工智能引發(fā)的系統(tǒng)性破壞和結(jié)構(gòu)性風(fēng)險，確保人工智能健康發(fā)展、造福于民。

本文運用科學(xué)計量學(xué)方法和可視化技術(shù)，基于對人工智能安全研究的文獻情況進行計量分析，以Web of Science數(shù)據(jù)庫收錄的核心論文為研究對象，運用科學(xué)計量學(xué)方法和可視化技術(shù)，對包括國家、機構(gòu)在內(nèi)的研究力量分布以及熱點、前沿和所涉學(xué)科在內(nèi)的主題內(nèi)容進行分析和總結(jié)，針對潛在的人工智能安全議題，構(gòu)建定性分析框架，對人工智能安全進行定性定量結(jié)合的分析，在此基礎(chǔ)上通過風(fēng)險與技術(shù)映射，初步對若干人工智能安全前沿技術(shù)進行梳理和評估，希望能夠為相關(guān)進一步研究提供參考。

1 人工智能安全研究的狀況

過去20年間，全球眾多國家與地區(qū)廣泛參與到人工智能領(lǐng)域的研究中。在人工智能研究掀起新一輪浪潮的同時，波音自動飛行控制系統(tǒng)失效、優(yōu)步無人駕駛車致命、人工合成表情產(chǎn)生等安全事件頻發(fā)，無人駕駛、社會倫理、系統(tǒng)災(zāi)難、隱私侵犯等方面問題不斷突顯，國際人工智能安全研究不斷受到關(guān)注。

針對“人工智能安全研究格局是什么，關(guān)注點在哪里，應(yīng)對技術(shù)和措施有哪些研究？”等問題，采用可視化工具 CiteSpace[1-2]對 2007—2017年國際人工智能安全領(lǐng)域的期刊文獻進行了國家分析、研究機構(gòu)分析、來源出版物共引分析、領(lǐng)域研究熱點分析與知識群聚類，從微觀和宏觀的層面分析人工智能安全研究熱點，為后續(xù)開展人工智能安全技術(shù)評估提供依據(jù)。

1.1 人工智能安全研究的國家和機構(gòu)分析

采用文獻檢索方法為主題: (artificial intelligence* secur* or robot* secur* or auto* secur*) 時間跨度為2007—2017年，返回檢索結(jié)果18 762篇。從發(fā)表人工智能安全文獻的數(shù)量來看，地區(qū)呈現(xiàn)不均衡的分布。美國和中國是發(fā)表人工智能安全論文最多的國家，美國為512篇，中國為310篇，印度、德國為150篇左右。

在CiteSpace 中“node type”選擇參數(shù)“Country”，以2年為一個時間片，生成人工智能安全研究的國家分布網(wǎng)絡(luò)圖譜，如圖1所示。 圖1中的每個節(jié)點代表了一個國家，用不同大小的年輪進行表示。 年輪的大小與該國家的文獻數(shù)量成正比。 相鄰節(jié)點的邊的粗細與節(jié)點之間的聯(lián)系程度成正比。圖1中，每個年輪最中心的圓表示文獻的中心性，中心性是在知識圖譜網(wǎng)絡(luò)中起連接作用大小的度量,年輪中心圓的直徑越大，則中心性越大，說明該節(jié)點在網(wǎng)絡(luò)中越重要，與其他節(jié)點的聯(lián)系更緊密。從文獻的中心性來看，美國排在首位，中國排在第二位。

圖1 人工智能安全論文影響力國家網(wǎng)絡(luò)Fig.1 National influence network of AI security papers

在CiteSpace中，“node type”選擇參數(shù)“Institution”，以2年為一個時間片，得到了人工智能安全研究的學(xué)術(shù)機構(gòu)分布圖譜，如圖2所示。圖2中，每個節(jié)點代表了一個發(fā)表論文的學(xué)術(shù)機構(gòu)，用不同大小的年輪進行表示，年輪的大小與該機構(gòu)的文獻數(shù)量成正比。文獻產(chǎn)出數(shù)量方面，發(fā)表人工智能安全文獻最多的學(xué)術(shù)機構(gòu)是Chinese Acad Sci、Tsinghua Univ、Univ Illnois、Nanyang Technol Univ、Georgia Inst Technol等，National Univ Def Technol排在第14位；文獻的中心性方面，在人工智能安全研究網(wǎng)絡(luò)中起到關(guān)鍵連接的學(xué)術(shù)機構(gòu)排序依次為Chinese Acad Sci、Univ Illnois、Tsinghua Univ、Purdue Univ、Carnegie Mellon Univ等，National Univ Def Technol排在第11位。

圖2 人工智能安全研究的機構(gòu)分布網(wǎng)絡(luò)Fig.2 Network of AI security research facilities

1.2 人工智能安全研究的熱點分析

文獻題錄中的關(guān)鍵詞是對主題的高度概括和集中描述，可以用于確定某一學(xué)科領(lǐng)域的研究熱點。學(xué)科領(lǐng)域在每一時期都有研究熱點，進而構(gòu)成該學(xué)科的主要知識領(lǐng)域?；?CiteSpace對Web of Science核心合集文獻進行分析，可用可視化的形式展現(xiàn)主題詞或關(guān)鍵詞的頻次高低、聚類關(guān)系，得出研究熱點。

將最終精煉整理得到的18 762 篇論文全記錄信息導(dǎo)入CiteSpace，設(shè)置參數(shù)為：時區(qū)分隔 (time slicing)=(from 2007 to 2017)(2 years per slice)；主題詞來源(term source)為標題(title)、摘要(abstract)、作者關(guān)鍵詞(author keywords(DE))、擴展關(guān)鍵詞(keywords plus(ID)),即全部勾選；節(jié)點類型(node types)選擇關(guān)鍵詞(keyword)；閾值(selection criteria)為每個時間片前 35個高頻或高被引節(jié)點；選擇最小生成樹(minimum spanning tree)算法進行剪枝(pruning)；視圖方式(visualization)選擇timeline，進行圖譜繪制。得到如圖3所示的高頻關(guān)鍵詞隨著時間演化的時間線演化圖，以及如表 1 所示的高頻關(guān)鍵詞、高中心性關(guān)鍵詞。

圖3 人工智能安全研究的高頻關(guān)鍵詞演化圖Fig.3 Timeline diagram of AI security high frequency keywords

從表 1 中可以看出，國際人工智能安全研究領(lǐng)域十分廣泛，不僅圍繞身份認證、算法、隱私、網(wǎng)絡(luò)安全、入侵檢測等，且在無線傳感網(wǎng)絡(luò)、智能電網(wǎng)、自動化等領(lǐng)域也有數(shù)量眾多的文章。從關(guān)鍵詞的影響看，算法、自動化、可信性、驗證、入侵檢測、管理、協(xié)議、智能電網(wǎng)、機器學(xué)習(xí)是備受關(guān)注的議題。

表1 AI安全高頻關(guān)鍵詞、高中心性關(guān)鍵詞

2 人工智能安全的定性分析框架

依據(jù)文獻分析的結(jié)果可以看出：以往關(guān)注的人工智能安全與信息、網(wǎng)絡(luò)、自動化等緊密相關(guān)，如身份認證、算法、隱私、網(wǎng)絡(luò)安全、入侵檢測等，但對新一代人工智能技術(shù)如深度學(xué)習(xí)、植入芯片、深度偽造等安全議題的研究體現(xiàn)得并不明顯，對新一代人工智能安全技術(shù)的研究仍處于起步階段。為此，從定性分析角度，建立人工智能安全分析框架，結(jié)合各國宏觀政策和學(xué)術(shù)研究、社會關(guān)注情況，梳理人工智能安全應(yīng)關(guān)注的議題。

2.1 政策與研究綜述

2017年，中國發(fā)布《新一代人工智能發(fā)展規(guī)劃》，提出“建設(shè)安全便捷的智能社會，提高社會治理智能化水平”“構(gòu)建泛在安全高效的智能化基礎(chǔ)設(shè)施體系”，從法律法規(guī)、倫理規(guī)范、安全監(jiān)管與評估等方面推動人工智能安全建設(shè)[3]。2017年初，在美國阿西洛馬召開的Beneficial AI會議提出“阿西洛馬人工智能原則”[4]；2018年，中國《人工智能安全發(fā)展上海倡議》強調(diào)，人工智能安全發(fā)展要遵循“面向未來、以人為本、責(zé)任明晰、隱私保護、算法公正、透明監(jiān)管、和平利用、開放合作”八大理念[5]。

2019年4月，歐盟發(fā)布人工智能的七個道德準則：受人類監(jiān)管，技術(shù)的穩(wěn)健性和安全性，隱私和數(shù)據(jù)管理，透明度，多樣性、非歧視性和公平性，社會和環(huán)境福祉，問責(zé)制[6]。2019年6月，中國國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負責(zé)任的人工智能》，提出和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作、敏捷治理八項原則[7]。

根據(jù)國內(nèi)社會調(diào)查和國際學(xué)者研究，人工智能安全關(guān)注的第一類議題是未來人工智能對人類生存的挑戰(zhàn)。依據(jù)奇點預(yù)測，2045年人工智能將超越人類智能，將首次對全體人類在生存、生產(chǎn)上帶來終極挑戰(zhàn)。第二類議題是人工智能可能引發(fā)的安全問題。其一是操作權(quán)失控或惡意使用導(dǎo)致的安全威脅。黑客可能通過智能方法發(fā)起網(wǎng)絡(luò)攻擊。其二是技術(shù)失控或管理不當(dāng)所致的安全問題。第三類議題是對已有社會體系破壞的問題。人工智能技術(shù)越發(fā)達，信息鴻溝就越深，進而演變成為服務(wù)鴻溝、福利鴻溝。第四類議題是人工智能對倫理規(guī)范的挑戰(zhàn)。從數(shù)據(jù)隱私、安全威脅、算法歧視和人工主體權(quán)利倫理方面，人工智能技術(shù)的應(yīng)用正在將一些生活中的倫理性問題在系統(tǒng)中規(guī)則化。第五類議題是系統(tǒng)的研發(fā)設(shè)計必須要與社會倫理匹配對接，機器規(guī)范和人類規(guī)范必須兼容。

2.2 人工智能安全分析框架

為此，鑒于網(wǎng)絡(luò)空間安全的復(fù)雜性，人工智能安全涉及因素更為廣泛深入。參考OSI、CC等網(wǎng)絡(luò)安全評估標準模型[8]，從技術(shù)、應(yīng)用、社會三個層次，構(gòu)建人工智能安全分析框架，如圖4所示。依據(jù)人工智能安全分析框架，結(jié)合科學(xué)計量的高頻關(guān)鍵詞等啟發(fā)式信息，新一代人工智能安全應(yīng)關(guān)注的維度、領(lǐng)域和潛在風(fēng)險包括以下方面。

圖4 人工智能安全定性分析框架Fig.4 AI security qualitative analysis framework

在技術(shù)因素維度，支持人工智能的“計算、算法、數(shù)據(jù)、網(wǎng)絡(luò)”四大核心，本身仍存在無法驗證的內(nèi)在安全。在傳統(tǒng)的計算、算法、網(wǎng)絡(luò)中，盡管在安全供應(yīng)鏈、可信計算、算法驗證、網(wǎng)絡(luò)安全方面開展了大量工作，但仍缺乏全面的突破，對用于檢驗和維護深度學(xué)習(xí)算法的數(shù)據(jù)集合安全仍缺乏研究。

在系統(tǒng)應(yīng)用維度，從已經(jīng)開始部署的無人駕駛汽車、無人機、先進制造、網(wǎng)絡(luò)服務(wù)，以及未來潛在的金融、運輸、媒體、教育、醫(yī)療等，系統(tǒng)能力不足、設(shè)計存在漏洞、缺乏安全機制、產(chǎn)業(yè)監(jiān)管滯后等引發(fā)了隱患甚至事故，技術(shù)和系統(tǒng)設(shè)計不確定性風(fēng)險廣泛存在。

在安全治理維度，惡意代碼、野生智能、機器失控、操縱智能手段犯罪等將對治安、司法、反恐等帶來新的問題，人與機器共存、異構(gòu)智能共存、社會角色轉(zhuǎn)換等將對社會倫理帶來需要應(yīng)對的不確定性。

3 人工智能安全技術(shù)評估初探

3.1 應(yīng)關(guān)注的人工智能安全技術(shù)

基于文獻計量和政策分析獲得的兩類安全關(guān)注點，依據(jù)人工智能安全分析框架，通過建立“風(fēng)險-場景-技術(shù)”關(guān)聯(lián)，以圖4辨析的風(fēng)險和場景為需求牽引，通過網(wǎng)絡(luò)信息安全、系統(tǒng)與工業(yè)安全、社會安全領(lǐng)域的國內(nèi)外技術(shù)掃描和技術(shù)預(yù)測，針對新一代人工智能安全潛在的分析，梳理出15項應(yīng)關(guān)注的下一代人工智能安全技術(shù)，如圖5所示。

圖5 應(yīng)關(guān)注的15項人工智能安全前沿技術(shù)Fig.5 Selected 15 AI security advanced technologies

在使能技術(shù)維度，針對數(shù)據(jù)、算法、計算、網(wǎng)絡(luò)領(lǐng)域存在的潛在風(fēng)險，研究提出隱私數(shù)據(jù)完美加密、機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集防攻擊等6項應(yīng)關(guān)注的技術(shù)。在系統(tǒng)與應(yīng)用維度，針對AI+產(chǎn)業(yè)、AI系統(tǒng)、AI應(yīng)用領(lǐng)域潛在的風(fēng)險，提出人機混合智能系統(tǒng)安全設(shè)計、安全防偽的生物特征識別與驗證(應(yīng)對深度偽造)等5項應(yīng)關(guān)注的技術(shù)。在安全與治理維度，針對社會與倫理、公共安全領(lǐng)域潛在的風(fēng)險，提出應(yīng)對機器智能的人類效能增強、以人為中心的人機共生社會治理等4項應(yīng)關(guān)注的技術(shù)。

3.2 人工智能安全技術(shù)發(fā)展評估

由人工智能潛在安全風(fēng)險牽引和梳理出的15項人工智能安全技術(shù)發(fā)展程度各不相同。算法形式化和安全設(shè)計、可信計算與可信網(wǎng)絡(luò)、反制失控和敵對智能系統(tǒng)等技術(shù)國際均有一定程度的發(fā)展，隱私數(shù)據(jù)完美加密、集成電路供應(yīng)鏈安全、應(yīng)對機器智能的人類效能增強等國外機構(gòu)正在開展研究。其中，隱私數(shù)據(jù)完美加密指通過數(shù)據(jù)脫敏、匿名化、差分隱私和同態(tài)加密技術(shù)，防止智能數(shù)據(jù)挖掘、網(wǎng)絡(luò)搜索對隱私數(shù)據(jù)的侵害；集成電路供應(yīng)鏈安全，如DARPA“電子供應(yīng)鏈硬件完整性”等項目對集成電路芯片進行防偽監(jiān)測；應(yīng)對機器智能的人類效能增強，指應(yīng)用生物植入式芯片、混合顯示、腦機接口等增強人類反應(yīng)、認知、行動效能的技術(shù)。依據(jù)國內(nèi)外技術(shù)發(fā)展動向，對15項人工智能安全技術(shù)進行初步的“技術(shù)成熟度”和“技術(shù)重要度”兩項評估，結(jié)果如圖6所示。

圖6 人工智能安全前沿技術(shù)評估Fig.6 Evaluation on AI Security advanced technologies

技術(shù)成熟度評估主要依據(jù)NASA技術(shù)成熟度從1到9級的等級劃分[9]。技術(shù)重要度主要考慮每項人工智能安全技術(shù)針對的潛在風(fēng)險頻度、化解風(fēng)險的支撐程度，即技術(shù)針對的風(fēng)險頻發(fā)、影響越大，則技術(shù)越重要。技術(shù)重要度具體的量化公式為：

TA=C·Fsafety·Fcritical

其中：C為調(diào)節(jié)常數(shù)，F(xiàn)safety為技術(shù)應(yīng)對的潛在風(fēng)險頻度向量因子，F(xiàn)critical為技術(shù)應(yīng)對的潛在風(fēng)險致命度向量因子。實際計算中，F(xiàn)safety=[fs1,…,fs8]1×8，fsi為技術(shù)對應(yīng)某類風(fēng)險發(fā)生概率，取值為[0,1]間的實數(shù)。Fcritical=Trans([fc1,…,fc8]1×8)，為技術(shù)對應(yīng)某類風(fēng)險的致命程度，取值為[0,1]間的實數(shù)。調(diào)節(jié)常數(shù)取C=「9×TA/max(TA)?，「?為向上取整運算。

以圖5中第12項技術(shù)“應(yīng)對機器智能的人類效能增強”為例，TA計算過程為：

TA=C·[0.6,0.6,0.3,0.2,0.4,0.2,0.3,0.1]×[0.2,0.2,0.3,0.3,0.4,0.5,0.5,0.6]T=4

4 結(jié)論

人工智能安全研究是堅持安全與發(fā)展協(xié)調(diào)統(tǒng)一，應(yīng)對智能“終極挑戰(zhàn)”的新興重大問題。目前，針對新一代人工智能安全的研究仍處于起步階段。借鑒以往信息化發(fā)展經(jīng)驗，面對新一代人工智能技術(shù)快速發(fā)展、廣泛滲透，從安全技術(shù)、安全政策、治理體系等方面有待于創(chuàng)新，為應(yīng)對各領(lǐng)域包括軍事上的工智能安全問題提供支撐。

本文運用可視化科學(xué)計量工具以及Web of Science核心論文數(shù)據(jù)集，對人工智能安全研究的文獻情況進行計量分析，針對潛在的人工智能安全議題，構(gòu)建定性分析框架，對人工智能安全進行定性定量結(jié)合的分析，在此基礎(chǔ)上通過風(fēng)險與技術(shù)映射，初步對若干人工智能安全前沿技術(shù)進行了梳理和評估，為相關(guān)研究尤其是構(gòu)建未來智能化發(fā)展的安全技術(shù)體系提供思路和參考。