李紫珊

摘 要：隨著神經(jīng)網(wǎng)絡(luò)的運(yùn)用日益廣泛，安全問(wèn)題越來(lái)越受重視。對(duì)抗樣本的出現(xiàn)更是使得攻擊神經(jīng)網(wǎng)絡(luò)變得輕而易舉，該文以神經(jīng)網(wǎng)絡(luò)的安全性問(wèn)題為出發(fā)點(diǎn)，介紹了對(duì)抗樣本的概念和形成原因，總結(jié)了生成對(duì)抗樣本的常用算法，以及防御對(duì)抗樣本的常用方法，最后提出了下一步保障神經(jīng)網(wǎng)絡(luò)安全性的發(fā)力點(diǎn)應(yīng)該從測(cè)試轉(zhuǎn)向安全驗(yàn)證。

關(guān)鍵詞：安全性;神經(jīng)網(wǎng)絡(luò);對(duì)抗樣本;攻擊與防御;安全驗(yàn)證

中圖分類號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2019）03-0186-02

Abstract：With the wide application of neural network， safety problem is paid more and more attention. Its easy to attack the neural network after the emergence of adversarial examples. This paper based on security problems as a starting point， introduces the concept and formation of adversarial examples， summarizes the commonly used algorithms of generating adversarial examples and the common methods of defense. Finally， this paper puts forward that the next step to ensure the safety of neural network should be safety verification.

Key words：safety; neural network; adversarial examples; attack and defense; safety verification

1 引言

近年來(lái)，人工智能迎來(lái)發(fā)展高峰，機(jī)器學(xué)習(xí)作為人工智能的核心技術(shù)之一，已經(jīng)被廣泛應(yīng)用于各個(gè)領(lǐng)域，例如：垃圾郵件檢測(cè)、人臉識(shí)別、自動(dòng)駕駛等。毫無(wú)疑問(wèn)，機(jī)器學(xué)習(xí)技術(shù)給人們的生活帶來(lái)了便利，但同時(shí)也暴露了不少安全性問(wèn)題，其中，引起較多關(guān)注的是對(duì)抗樣本問(wèn)題。

2 對(duì)抗樣本

2.1 什么是對(duì)抗樣本

對(duì)抗樣本常見于深度神經(jīng)網(wǎng)絡(luò)中，其概念最早是Szegedy等人提出來(lái)的，它指的是：在輸入的圖片數(shù)據(jù)上對(duì)像素點(diǎn)的值做微小的改動(dòng)，改動(dòng)后的新圖片人眼依然能分辨，但神經(jīng)網(wǎng)絡(luò)卻會(huì)以非常高的置信度將其錯(cuò)誤分類，此時(shí)造成誤分類的改動(dòng)圖片就是一個(gè)對(duì)抗樣本[1]。

如圖1所示，一張雪山的圖片，本來(lái)神經(jīng)網(wǎng)絡(luò)能夠以94.56%的置信度分類為雪山，但加了對(duì)抗性噪聲之后形成的新圖片，神經(jīng)網(wǎng)絡(luò)會(huì)以99.99%的置信度將其錯(cuò)誤地分類為狗。

2.2 為什么會(huì)存在對(duì)抗樣本

觀點(diǎn)1：數(shù)據(jù)采樣不均

Szegedy認(rèn)為可能是由于實(shí)驗(yàn)數(shù)據(jù)集采樣不均，類似對(duì)抗樣本的數(shù)據(jù)在實(shí)驗(yàn)數(shù)據(jù)集中出現(xiàn)概率太低[1]，以至于模型在訓(xùn)練過(guò)程中沒(méi)有充分學(xué)習(xí)，在測(cè)試過(guò)程中也沒(méi)有發(fā)現(xiàn)這一弱點(diǎn)，直到攻擊者采用精心構(gòu)造的數(shù)據(jù)來(lái)攻擊時(shí)，神經(jīng)網(wǎng)絡(luò)才頻頻出錯(cuò)，暴露出潛在的弱點(diǎn)。這也可以解釋為什么不同模型會(huì)對(duì)同一對(duì)抗樣本表現(xiàn)出脆弱性，因?yàn)閱?wèn)題的根源不在模型結(jié)構(gòu)而在實(shí)驗(yàn)數(shù)據(jù)。

總之，對(duì)抗樣本的形成原因現(xiàn)在還沒(méi)有一個(gè)公認(rèn)的定論，不過(guò)可以肯定的是，對(duì)抗樣本確實(shí)會(huì)給深度神經(jīng)網(wǎng)絡(luò)帶來(lái)很大的安全威脅，因此進(jìn)一步研究對(duì)抗樣本的生成和防御方法是很有必要的。

3 生成對(duì)抗樣本的方法

自從對(duì)抗樣本的概念被提出后，越來(lái)越多的研究者開始關(guān)注這個(gè)領(lǐng)域，發(fā)展到現(xiàn)在已經(jīng)有十幾種基于對(duì)抗樣本的攻擊算法出現(xiàn)，下面介紹其中兩種攻擊算法。

3.1 L-BFGS

3.2 FGSM

相對(duì)于其他攻擊方式，F(xiàn)GSM只需要進(jìn)行一次梯度計(jì)算就能生成對(duì)抗樣本，具有計(jì)算量更小、更快的特點(diǎn)，是目前最常用的一種方法;但它只對(duì)線性函數(shù)有用，當(dāng)激勵(lì)函數(shù)不是線性的，F(xiàn)GSM就不再適用。

4 防御對(duì)抗樣本的方法

對(duì)抗樣本的防御主要有兩個(gè)大方向，一是改變模型，調(diào)整結(jié)構(gòu)和參數(shù);二是不改變模型，預(yù)先清洗對(duì)抗樣本。下面針對(duì)這兩種思路各介紹一種防御方法。

4.1 防御性蒸餾

蒸餾方法最初是一種用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，主要用于將大型網(wǎng)絡(luò)學(xué)習(xí)到的知識(shí)提取出來(lái)，遷移到小型網(wǎng)絡(luò)中，使小型網(wǎng)絡(luò)具有相似的分類能力。后來(lái)Papernot等人在此基礎(chǔ)上進(jìn)一步發(fā)展出了防御性蒸餾[4]，其主要思想是：先按照正常方式訓(xùn)練網(wǎng)絡(luò)，然后用第一個(gè)網(wǎng)絡(luò)學(xué)到的概率向量來(lái)訓(xùn)練另外一個(gè)相同架構(gòu)的新網(wǎng)絡(luò)。實(shí)驗(yàn)證明，這種以概率分布作為訓(xùn)練目標(biāo)的方法可以在一定程度上提高模型的泛化能力，減輕網(wǎng)絡(luò)面對(duì)對(duì)抗樣本時(shí)的脆弱性。

4.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗的主要思想是：既然對(duì)抗樣本對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)是危險(xiǎn)的，那么干脆不讓對(duì)抗樣本有機(jī)會(huì)進(jìn)入神經(jīng)網(wǎng)絡(luò)，在預(yù)處理中就將對(duì)抗樣本從數(shù)據(jù)集中剔除。Jiajun等人就是基于這種思想提出了SafetyNet[5]，它由一個(gè)分類神經(jīng)網(wǎng)絡(luò)和一個(gè)檢測(cè)器組成，所有數(shù)據(jù)樣本在進(jìn)入神經(jīng)網(wǎng)絡(luò)進(jìn)行分類之前，會(huì)先進(jìn)入檢測(cè)器進(jìn)行檢測(cè)，如果檢測(cè)器判斷這是一個(gè)對(duì)抗樣本，那么就將其剔除，這樣神經(jīng)網(wǎng)絡(luò)始終只處理無(wú)干擾的數(shù)據(jù)，不用擔(dān)心對(duì)抗樣本的攻擊，給出的分類結(jié)果就是可信的。

5 安全驗(yàn)證系統(tǒng)

針對(duì)神經(jīng)網(wǎng)絡(luò)的安全性問(wèn)題，上述列舉了兩種攻擊方式和兩種防御方式，在采用了防御措施之后，神經(jīng)網(wǎng)絡(luò)的安全性有一定提高，但要保證系統(tǒng)絕對(duì)安全可靠，還需要引入安全驗(yàn)證系統(tǒng)。目前的機(jī)器學(xué)習(xí)系統(tǒng)大多只是采用了測(cè)試的方式來(lái)評(píng)估系統(tǒng)，很少加入驗(yàn)證方式，但有的系統(tǒng)對(duì)于安全性有較高要求，此時(shí)安全驗(yàn)證必不可缺?，F(xiàn)在關(guān)于神經(jīng)網(wǎng)絡(luò)安全驗(yàn)證的研究也有一些初步成果，如：Katz基于線性規(guī)劃求解器提出了一個(gè)驗(yàn)證系統(tǒng)Reluplex[6]，如果驗(yàn)證通過(guò)，說(shuō)明神經(jīng)網(wǎng)絡(luò)是安全可靠的，如果驗(yàn)證不通過(guò)，則會(huì)給出一個(gè)反例，這個(gè)反例也可以看作是對(duì)抗樣本。

總的來(lái)說(shuō)，目前已有的神經(jīng)網(wǎng)絡(luò)驗(yàn)證系統(tǒng)都有一定的使用范圍和限制，并不是通用的，后續(xù)還需要不斷研究和完善。

6 結(jié)束語(yǔ)

本文簡(jiǎn)要介紹了對(duì)抗樣本的概念，列舉了兩種對(duì)抗樣本的形成原因猜想，不過(guò)由于深度神經(jīng)網(wǎng)絡(luò)的黑盒性，這個(gè)問(wèn)題目前還沒(méi)有定論。本文還介紹了幾種對(duì)抗樣本的生成算法和防御方法。這一塊是目前安全領(lǐng)域發(fā)展最火熱的，有的生成算法剛提出不久就被防御方法打敗，而有的防御方法提出后也很快被新的攻擊方式攻破，雙方你來(lái)我往，不斷進(jìn)步，相信未來(lái)會(huì)有更完善的安全防御機(jī)制出現(xiàn)。最后，本文認(rèn)為除了要關(guān)注對(duì)抗樣本的攻擊與防御方法，未來(lái)更要關(guān)注的是安全驗(yàn)證方法。

參考文獻(xiàn)：

[1] Szegedy C. Intriguing properties of neural networks[J]. Computer Science， 2013.

[2] http：//tech.ifeng.com/a/20171209/44797474_0.shtml [EB/OL].

[3] Goodfellow I J. Explaining and harnessing adversarial examples[C]. ICML， 2015：1-10.

[4] Papernot N. Distillation as a Defense to Adversarial Perturbations Against Deep Neural Networks[C]. IEEE， 2016：582-597.

[5] Lu J. SafetyNet：Detecting and Rejecting Adversarial Examples Robustly[C]. IEEE， 2017：446-454.

[6] Katz G. Reluplex： An Efficient SMT Solver for Verifying Deep Neural Networks[J]. CAV， 2017：97-117.

【通聯(lián)編輯：唐一東】