宋揚(yáng) 王曉峰 祁欣

人工智能（Artificial Intelligence，簡(jiǎn)稱“AI”）是一門(mén)前沿交叉學(xué)科，它誕生于20世紀(jì)50年代初，經(jīng)過(guò)60多年的技術(shù)演進(jìn)和持續(xù)積累，其理論知識(shí)技術(shù)日益成熟，應(yīng)用范圍領(lǐng)域也在不斷擴(kuò)大。從2014年開(kāi)始我國(guó)在人工智能領(lǐng)域取得重要進(jìn)展，漢字識(shí)別、語(yǔ)音合成、語(yǔ)義理解、生物特征識(shí)別、機(jī)器翻譯等部分領(lǐng)域核心關(guān)鍵技術(shù)實(shí)現(xiàn)重要突破。國(guó)家先后發(fā)布了《中國(guó)制造2025》《國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要（草案）》《新一代人工智能發(fā)展規(guī)劃》等規(guī)劃和文件，從科技研發(fā)、應(yīng)用推廣和產(chǎn)業(yè)發(fā)展等方面提出了一系列措施，我國(guó)的人工智能技術(shù)已經(jīng)成為經(jīng)濟(jì)發(fā)展的新引擎之一，并為社會(huì)建設(shè)提供了新的機(jī)遇，進(jìn)入了一個(gè)全新的快速發(fā)展階段。

人工智能將成為未來(lái)發(fā)展的重要科技技術(shù)之一，但是人工智能技術(shù)會(huì)對(duì)信息安全、個(gè)人隱私、社會(huì)倫理帶來(lái)較大的影響和沖擊，使網(wǎng)絡(luò)與信息安全面臨新的問(wèn)題、新的挑戰(zhàn)，必須緊盯科技發(fā)展大勢(shì)，高度重視人工智能技術(shù)可能帶來(lái)的安全風(fēng)險(xiǎn)挑戰(zhàn)，進(jìn)行安全風(fēng)險(xiǎn)及應(yīng)對(duì)措施分析，從而推動(dòng)和保障相關(guān)技術(shù)安全保密應(yīng)用，最大限度降低風(fēng)險(xiǎn)，確保人工智能技術(shù)對(duì)保密管理和保密技術(shù)體系的影響可控。

人工智能信息安全威脅分析

人工智能技術(shù)的特點(diǎn)，導(dǎo)致人工智能信息安全威脅隨之有以下新的特點(diǎn)。

第一，倫理安全威脅。

大數(shù)據(jù)驅(qū)動(dòng)知識(shí)學(xué)習(xí)、跨媒體協(xié)同處理、人機(jī)協(xié)同增強(qiáng)智能、群體集成智能、自主智能系統(tǒng)成為人工智能的發(fā)展重點(diǎn)，受腦科學(xué)研究成果啟發(fā)的類腦智能蓄勢(shì)待發(fā)。隨著人工智能技術(shù)的發(fā)展，人們?cè)谌粘Ｉ钪袝?huì)接觸越來(lái)越多具有“自主操控”特征的設(shè)備和機(jī)器，面臨現(xiàn)有法律、社會(huì)規(guī)范和道德倫理的挑戰(zhàn)。此外，人工智能技術(shù)的進(jìn)步，可能會(huì)導(dǎo)致某些簡(jiǎn)單、重復(fù)工作類職業(yè)的消失，導(dǎo)致相關(guān)從業(yè)人員的心理恐慌。

第二，社會(huì)秩序破壞安全威脅。

和傳統(tǒng)的信息系統(tǒng)不同，通過(guò)人工智能技術(shù)可實(shí)現(xiàn)對(duì)設(shè)備或者機(jī)器一定程度的自主智能操控。一方面，人工智能系統(tǒng)控制的機(jī)器人、無(wú)人駕駛汽車(chē)、無(wú)人駕駛飛機(jī)等設(shè)備或機(jī)器具備一定的自主行為，在受到安全威脅時(shí)對(duì)社會(huì)秩序有較大的破壞性，典型的就是無(wú)人駕駛汽車(chē)失控對(duì)交通系統(tǒng)的破壞；另一方面，人工智能系統(tǒng)機(jī)器行為給同一系統(tǒng)中的人帶來(lái)不可預(yù)見(jiàn)的干擾和影響，可能會(huì)導(dǎo)致破壞現(xiàn)有的秩序。

第三，隱私安全威脅。

由于大數(shù)據(jù)、傳感器等技術(shù)的廣泛應(yīng)用，對(duì)于人、事、地、物、組織等社會(huì)管理和經(jīng)濟(jì)運(yùn)行實(shí)體的綜合、立體全方位刻畫(huà)成為可能。以人員為例，從孤立的、局部的個(gè)人情況、家庭信息、聯(lián)系方式、賬號(hào)密碼等信息，延伸到出行軌跡、社會(huì)交往、消費(fèi)情況、健康狀況等，并且通過(guò)智能手機(jī)、互聯(lián)網(wǎng)、傳感設(shè)備的實(shí)時(shí)數(shù)據(jù)獲取、匯聚使得上述全方位刻畫(huà)數(shù)據(jù)從靜態(tài)發(fā)展為動(dòng)態(tài)。如果上述被刻畫(huà)人員的數(shù)據(jù)曝光，將毫無(wú)個(gè)人隱私可言。

第四，系統(tǒng)整體性安全威脅。

在人工智能系統(tǒng)中，大量數(shù)據(jù)存儲(chǔ)于云端，經(jīng)過(guò)大數(shù)據(jù)分析后向控制端發(fā)送指令，是一個(gè)形成“感、傳、智、用”閉環(huán)的統(tǒng)一系統(tǒng)。一旦受到攻擊和發(fā)生故障，造成的安全影響往往是整體性的、全局性的。即使局部的安全風(fēng)險(xiǎn)，也會(huì)被迅速擴(kuò)散和放大，造成更為嚴(yán)重的安全威脅。

人工智能信息安全威脅的特點(diǎn)

一是影響面大。

人工智能作為一門(mén)交叉學(xué)科，涉及芯片、網(wǎng)絡(luò)、軟件、信息資源處理、傳感網(wǎng)、圖像處理、計(jì)算機(jī)視覺(jué)、語(yǔ)言識(shí)別、語(yǔ)義處理、機(jī)器學(xué)習(xí)等多種學(xué)科及技術(shù)領(lǐng)域，具有“跨界融合”的新特征。因此，人工智能帶來(lái)的信息安全威脅相比傳統(tǒng)的信息安全威脅影響面大，更難定位和分析。

二是危害性大。

傳統(tǒng)的信息安全攻擊和漏洞帶來(lái)的損失本質(zhì)上是信息泄漏，信息的泄漏往往是靜態(tài)的、損失是可衡量的。而人工智能具有“自主操控”的新特征，與其控制的設(shè)備或機(jī)器（如機(jī)器人、無(wú)人駕駛汽車(chē)、無(wú)人駕駛飛機(jī)等）相結(jié)合，針對(duì)人工智能的攻擊具有強(qiáng)烈的動(dòng)態(tài)性，甚至?xí){生命、影響人和社會(huì)的倫理，這給傳統(tǒng)的“保密就是保信息”的觀念帶來(lái)了極大的挑戰(zhàn)。

三是傳導(dǎo)性強(qiáng)。

隨著技術(shù)的迅速發(fā)揮和完善，人工智能已越來(lái)越多地進(jìn)入到制造、金融、安防、醫(yī)療、教育、零售等社會(huì)各領(lǐng)域以及人們的家居、駕駛等諸多領(lǐng)域，攝像頭、拾音器、定位設(shè)備、感溫器、人體體征檢測(cè)設(shè)備、感光器等大量多種傳感器遍布于人們的工作和生活的各個(gè)角落，連接密集、節(jié)點(diǎn)增多、數(shù)據(jù)密集，導(dǎo)致非法入侵的觸點(diǎn)也大大增加，人工智能的信息安全漏洞可快速蔓延，迅速?gòu)脑O(shè)備傳導(dǎo)到使用的人員。

四是不可預(yù)見(jiàn)性強(qiáng)。

人工智能的“深度學(xué)習(xí)”特征以及其發(fā)展的相對(duì)不成熟，會(huì)導(dǎo)致較強(qiáng)的不可預(yù)見(jiàn)性，給信息安全和保密管理帶來(lái)更大的困難。相比人類而言，人工智能需要從學(xué)習(xí)樣本或者數(shù)據(jù)中學(xué)習(xí)有價(jià)值的信息，并針對(duì)某個(gè)情境獨(dú)立建造一個(gè)抽象模型進(jìn)行具有一定高度的歸納總結(jié)。學(xué)習(xí)樣本或者數(shù)據(jù)并不是全樣本的實(shí)際數(shù)據(jù)，加之這些數(shù)據(jù)的不穩(wěn)定性或潛在缺陷會(huì)給人工智能帶來(lái)不可靠、不準(zhǔn)確和不公平，存在較大的安全風(fēng)險(xiǎn)。同時(shí)，由于數(shù)據(jù)在云端匯集、存儲(chǔ)，各數(shù)據(jù)要素的產(chǎn)生者、數(shù)據(jù)全集的所有者對(duì)信息的不可控性也大大增加。

人工智能信息安全威脅的應(yīng)對(duì)措施

人工智能技術(shù)在帶來(lái)機(jī)遇的同時(shí)，也帶來(lái)了安全挑戰(zhàn)，需要提前在立法、機(jī)制、技術(shù)和管理方面做好信息安全應(yīng)對(duì)。

首先，立法應(yīng)對(duì)措施。

2016年10月，美國(guó)發(fā)布的《美國(guó)國(guó)家人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》（The National Artificial Intelligence Research and Development Strategic Plan）中的7項(xiàng)重大計(jì)劃之一就是“了解并解決人工智能的倫理、法律和社會(huì)影響”，要解決人工智能技術(shù)帶來(lái)的安全影響，必須從立法角度進(jìn)行應(yīng)對(duì)。

歐盟、日本等人工智能技術(shù)起步較早的地區(qū)和國(guó)家，已經(jīng)意識(shí)到人工智能進(jìn)入生活將給人類社會(huì)帶來(lái)的安全與倫理問(wèn)題，并已著手開(kāi)展立法探索。2016年5月，歐盟法律事務(wù)委員會(huì)發(fā)布《就機(jī)器人民事法律規(guī)則向歐盟委員會(huì)提出立法建議》的報(bào)告草案，探討如何從立法角度避免機(jī)器人對(duì)人類的傷害。有效應(yīng)對(duì)未來(lái)風(fēng)險(xiǎn)挑戰(zhàn)需強(qiáng)化立法研究，明確重點(diǎn)領(lǐng)域人工智能應(yīng)用中的法律主體以及相關(guān)權(quán)利、義務(wù)和責(zé)任，建立和完善適應(yīng)智能時(shí)代的法律法規(guī)體系。2016年11月，我國(guó)出臺(tái)了《網(wǎng)絡(luò)安全法》，全面規(guī)范了網(wǎng)絡(luò)空間安全管理方面的問(wèn)題。我國(guó)應(yīng)在人工智能相關(guān)法律法規(guī)制定上體現(xiàn)后發(fā)優(yōu)勢(shì)，緊密關(guān)注國(guó)內(nèi)外已經(jīng)出現(xiàn)的人工智能技術(shù)倫理問(wèn)題，做好相關(guān)防范工作。

其次，機(jī)制應(yīng)對(duì)措施。

由于人工智能技術(shù)信息安全的復(fù)雜性，需要從機(jī)制上控制其帶來(lái)的信息安全風(fēng)險(xiǎn)和威脅，包括數(shù)據(jù)云存儲(chǔ)、大數(shù)據(jù)分析利用、智能終端設(shè)備管理、人工智能信息安全測(cè)評(píng)方法等。國(guó)家2017年7月發(fā)布的《新一代人工智能發(fā)展規(guī)劃》強(qiáng)調(diào)，要建立健全公開(kāi)透明的人工智能監(jiān)管體系，實(shí)行設(shè)計(jì)問(wèn)責(zé)和應(yīng)用監(jiān)督并重的雙層監(jiān)管結(jié)構(gòu)，實(shí)現(xiàn)對(duì)人工智能算法設(shè)計(jì)、產(chǎn)品開(kāi)發(fā)和成果應(yīng)用等的全流程監(jiān)管，促進(jìn)人工智能行業(yè)和企業(yè)自律，切實(shí)加強(qiáng)管理等。

再次，技術(shù)應(yīng)對(duì)措施。

加強(qiáng)人工智能的技術(shù)研究，對(duì)人工智能安全提出監(jiān)測(cè)預(yù)警、風(fēng)險(xiǎn)評(píng)估、安全問(wèn)責(zé)、研發(fā)設(shè)計(jì)人員安全準(zhǔn)則等要求，強(qiáng)化人工智能技術(shù)的安全和可控。《美國(guó)國(guó)家人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》認(rèn)為主要應(yīng)當(dāng)具體體現(xiàn)在以下幾個(gè)方面：（1）透明，即以用戶可見(jiàn)的方式進(jìn)行操作；（2）可信，即用戶可接受的系統(tǒng)輸出；（3）可審計(jì)，系統(tǒng)可評(píng)估；（4）可靠，系統(tǒng)按照用戶期望行動(dòng)；（5）可恢復(fù)，用戶可在需要時(shí)恢復(fù)控制。

同時(shí)，需要在保密技術(shù)方面加強(qiáng)研究及開(kāi)發(fā)，推動(dòng)和保障人工智能技術(shù)安全保密應(yīng)用，推出有針對(duì)性的安全保密管理軟件。同時(shí)，應(yīng)在人工智能安全風(fēng)險(xiǎn)的技術(shù)應(yīng)對(duì)中，采用大數(shù)據(jù)智能分析技術(shù)，輔助有效檢測(cè)識(shí)別各類網(wǎng)絡(luò)安全威脅，綜合分析網(wǎng)絡(luò)安全要素，評(píng)估網(wǎng)絡(luò)安全狀況，預(yù)測(cè)其發(fā)展趨勢(shì)，甚至結(jié)合當(dāng)前安全策略和威脅情報(bào)形成安全智慧，主動(dòng)調(diào)整已有安全防護(hù)策略，“人工智能+網(wǎng)絡(luò)安全”成為當(dāng)前重要熱點(diǎn)技術(shù)之一。

國(guó)家《新一代人工智能發(fā)展規(guī)劃》指出“加強(qiáng)人工智能標(biāo)準(zhǔn)框架體系研究，逐步建立并完善人工智能基礎(chǔ)共性、互聯(lián)互通、行業(yè)應(yīng)用、網(wǎng)絡(luò)安全、隱私保護(hù)等技術(shù)標(biāo)準(zhǔn)”。

結(jié)語(yǔ)

人工智能技術(shù)由人發(fā)展，最終服務(wù)于人，因此人工智能信息安全問(wèn)題的最終產(chǎn)生者也是人，而人也是信息安全的關(guān)鍵要素，所以務(wù)必緊盯科技發(fā)展大勢(shì)，做好嚴(yán)密應(yīng)對(duì)，以保障人工智能技術(shù)和產(chǎn)業(yè)的健康發(fā)展。