（中國(guó)科學(xué)院）

我想從比較具體角度分析人工智能雙刃劍的作用。從宏觀上，工業(yè)控制安全通常和信息安全是不一樣的，這其中有一個(gè)話題，人工智能對(duì)工業(yè)安全是正面作用還是反面作用？從歷史上分析，到底公共安全中間的人工智能扮演什么角色？

第一，人工智能發(fā)展實(shí)際上還是在初步階段。它在感知方面做的比較好，圖像識(shí)別、語(yǔ)音識(shí)別等已經(jīng)比較成熟。不僅在算法上有突破，在很多小的硬件上也有突破。但是在知識(shí)表達(dá)、模擬人的心智方面很難有物理證據(jù)來(lái)說(shuō)明其是到位的。

在算法方面，是理解。深度學(xué)習(xí)算法很有用，但是有一個(gè)隱患，深度學(xué)習(xí)算法與通常的軟件算法存在差別，軟件不講測(cè)試。大家在講人工智能中不可測(cè)的因素，是跟它軟件的不可測(cè)試、不可描寫(xiě)有關(guān)。

在預(yù)測(cè)方面，從認(rèn)知計(jì)算、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)到深度強(qiáng)化學(xué)習(xí)，無(wú)非是我們希望人工智能走上幾個(gè)臺(tái)階，從弱人工智能，到通用人工智能，再到強(qiáng)人工智能。我們最多停留在通用人工智能上，離強(qiáng)人工智能還有很長(zhǎng)的路要走，人工智能的路還是很寬的。

第二，從人工智能的應(yīng)用邊界來(lái)說(shuō)。比如AlphaGo說(shuō)明了人和機(jī)器可以進(jìn)行博弈，AlphaGo戰(zhàn)勝了圍棋專家，說(shuō)明它有很高度的狀態(tài)復(fù)雜度跟博弈的復(fù)雜度，而且在深度學(xué)習(xí)上面有突破。

但是，很難判別它跟人很相近，與人很相近表現(xiàn)在優(yōu)化能力、思維能力。機(jī)器現(xiàn)在好像沒(méi)有到達(dá)這個(gè)水平。大數(shù)據(jù)是人工智能的生產(chǎn)材料，沒(méi)有對(duì)大數(shù)據(jù)加工，未來(lái)的產(chǎn)品將毫無(wú)意義。幾十年來(lái)計(jì)算能力空前提高，超級(jí)計(jì)算能力是加工過(guò)程中間的基本能力，從而以很低的價(jià)格生產(chǎn)高級(jí)的產(chǎn)品。

第三是算法方面。機(jī)器學(xué)習(xí)是算法中間一種內(nèi)容，不應(yīng)該完全靠深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)解決所有的問(wèn)題。目前我們對(duì)機(jī)器訓(xùn)練太少，不夠科學(xué)。其次，我們?cè)趯W(xué)習(xí)的過(guò)程中間產(chǎn)生的數(shù)學(xué)模型，很難判別模型之間孰優(yōu)孰劣。數(shù)學(xué)意義上的優(yōu)化是指某個(gè)指標(biāo)上提高了，如果我們對(duì)產(chǎn)生的模型比較好壞的話，改善就失去了方向。

輔助工具是我們最看重的。人工智能會(huì)代替?zhèn)鹘y(tǒng)產(chǎn)業(yè)，創(chuàng)造一個(gè)新的產(chǎn)業(yè)。不過(guò)，人工智能現(xiàn)在還沒(méi)有把所有的工人都解放，未來(lái)5-10年也不會(huì)發(fā)展到工人大批失業(yè)的地步。

最后一個(gè)是安全防范，這也是最重要的。在安全方面，人工智能會(huì)發(fā)揮什么作用？安全實(shí)際上是有四大類：第一，攻防對(duì)抗，我們要依據(jù)產(chǎn)生對(duì)抗的樣本來(lái)訓(xùn)練我們的戰(zhàn)士。對(duì)攻擊行為進(jìn)行分類，進(jìn)行協(xié)同訓(xùn)練。第二，內(nèi)容分析。多媒體內(nèi)容識(shí)別不是那么容易的，利用人工智能能夠幫助減輕負(fù)擔(dān)，理解自然語(yǔ)言的建模方式，并對(duì)威脅情報(bào)分析進(jìn)行挖掘。第三，代碼混淆。二進(jìn)制文件特征混淆，需要構(gòu)建高交互式蜜罐，并進(jìn)行程序代碼反調(diào)試。第四，異常檢測(cè)。包括網(wǎng)絡(luò)異常流量檢測(cè)、惡意應(yīng)用程序檢測(cè)、軟件代碼的白盒測(cè)試和0Day漏洞挖掘。

人工智能對(duì)安全而言是一把雙刃劍。從正面分析，可以應(yīng)用于惡意應(yīng)用測(cè)試、預(yù)防和緩解，其次是分布式拒絕服務(wù)攻擊防御。從反面分析，人工智能可以在開(kāi)發(fā)工具的時(shí)候產(chǎn)生新的漏洞，如谷歌的TensorFlow里面文檔就有一些漏洞，而且人工智能算法具有不確定性，它不可測(cè)試。

人工智能助力工業(yè)控制安全。工控安全加上AI以后，工控安全的圈子就大了，可以防疫、防危、防御。工業(yè)控制安全包含兩大元素。一個(gè)是功能安全，現(xiàn)在我們很多辦法可以保證功能安全，比如說(shuō)提高功能安全軟硬件協(xié)同設(shè)計(jì)，增強(qiáng)和驗(yàn)證的技術(shù)，還有對(duì)功能安全還可以建模，在數(shù)學(xué)模型上進(jìn)行仿真和測(cè)試，對(duì)這個(gè)仿真系統(tǒng)可以進(jìn)行功能防護(hù)的檢查，查看系統(tǒng)的缺陷，對(duì)故障進(jìn)行診斷預(yù)測(cè)，加強(qiáng)我們系統(tǒng)的容錯(cuò)。這都是屬于功能安全方面。

第二個(gè)是信息安全。這個(gè)信息安全跟功能安全不一樣，在公共系統(tǒng)里面，我們要加強(qiáng)系統(tǒng)探測(cè)識(shí)別，威脅情報(bào)感知共享，安全脆弱性分析，安全攻防對(duì)抗，安全事件檢測(cè)預(yù)警，安全數(shù)據(jù)勘驗(yàn)取證。基于可信軟件的工控功能安全現(xiàn)在已經(jīng)有了一些手段，在系統(tǒng)的測(cè)試跟驗(yàn)證方面有很好的方法，能夠產(chǎn)生一些自動(dòng)測(cè)試的案例，也加速我們對(duì)軟件測(cè)試過(guò)程的反應(yīng)。軟件全生命周期50%以上的時(shí)候需要耗費(fèi)很大的勞動(dòng)力，加上人工成本的提高，因此減少時(shí)間的消耗是很重要的。另外可以運(yùn)用人工智能做自動(dòng)建模，對(duì)需求進(jìn)行形式化的驗(yàn)證，仿真驗(yàn)證，動(dòng)態(tài)跟蹤，這是智能化的體現(xiàn)。也可以對(duì)模型進(jìn)行解析，產(chǎn)生相應(yīng)的代碼，對(duì)模型進(jìn)行自動(dòng)測(cè)試，驗(yàn)證風(fēng)險(xiǎn)評(píng)估。這些說(shuō)明功能安全、自動(dòng)化起到很重要的、正面的作用。

但是面對(duì)復(fù)雜環(huán)境的工控信息安全。第一需要保證我們的應(yīng)用和數(shù)據(jù)安全，第二要保證設(shè)備和計(jì)算安全，第三，保證網(wǎng)絡(luò)和通信安全，最后是物理和環(huán)境安全。在信息安全有交互的場(chǎng)景中，首先是工業(yè)數(shù)據(jù)運(yùn)行運(yùn)維和微服務(wù)的應(yīng)用，使用所謂的好的技術(shù)保護(hù)目前看來(lái)還是有困難的。其次是工業(yè)邊緣節(jié)點(diǎn)計(jì)算能力優(yōu)化，在很多大的應(yīng)用產(chǎn)品中，單單靠我們所謂的云計(jì)算是遠(yuǎn)遠(yuǎn)不夠的，比如手機(jī)，當(dāng)大家晚上休息的時(shí)候，手機(jī)的計(jì)算能力被擱置，有專家討論是不是可以利用手機(jī)完成調(diào)度問(wèn)題、優(yōu)化問(wèn)題。再者是工業(yè)軟硬件及協(xié)議安全加固。工業(yè)軟硬件是我們國(guó)家發(fā)展的方向，尤其是操作系統(tǒng)，應(yīng)用軟件等等都是有明確的目標(biāo)。工信部提出了指標(biāo)，到2020年生產(chǎn)30萬(wàn)個(gè)工業(yè)應(yīng)用軟件。最后是工業(yè)感知控制設(shè)備的可靠部署，現(xiàn)在還不是太多，我們對(duì)過(guò)程控制做的比較好。我們希望建設(shè)一個(gè)主動(dòng)防御體系，這個(gè)分兩部分：安全識(shí)別跟蹤和安全評(píng)估。做預(yù)測(cè)需要安全策略，要對(duì)攻擊者進(jìn)行建模，以后對(duì)這樣的模型我們要知道該模型是否有效，這都是我們主動(dòng)防御體系的智能化要求。

如果把工控功能安全和信息安全融合在一起，需要做到兩個(gè)方面。一方面是功能安全，希望設(shè)計(jì)、使用、認(rèn)證上使用人工智能技術(shù)。另一方面是信息安全，共三個(gè)要素，攻擊前，威脅態(tài)勢(shì)可感知。攻擊中間，攻擊行為可以防范。最后，在攻擊以后，安全事件可以控制。