張 華，高浩然，楊興國(guó)，李文敏，高 飛，溫巧燕

(北京郵電大學(xué) 網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876)

對(duì)抗樣本是指為了使分類器產(chǎn)生錯(cuò)誤的分類結(jié)果，在原始樣本中加入輕微擾動(dòng)后得到的攻擊樣本。敵手利用對(duì)抗樣本可以攻擊基于深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用模型。現(xiàn)有的對(duì)抗攻擊按照敵手對(duì)模型的了解程度，可以分為黑盒攻擊[1-5]和白盒攻擊[6-9]。按照產(chǎn)生擾動(dòng)的方法，可以分為基于梯度的攻擊方法、基于優(yōu)化的攻擊方法和基于決策面的攻擊方法[10]。按照對(duì)抗攻擊的結(jié)果，可以分為有目標(biāo)攻擊和無(wú)目標(biāo)攻擊。有目標(biāo)攻擊可以實(shí)現(xiàn)將攻擊目標(biāo)擾動(dòng)至特定類別，對(duì)于提供識(shí)別服務(wù)的系統(tǒng)構(gòu)成了更大的威脅。

2014年，SZEGEDY等[11]首次提出基于L-BFGS優(yōu)化算法[12]生成有目標(biāo)對(duì)抗樣本的L-BFGS攻擊算法。由于采用線性搜索方法來(lái)尋找最優(yōu)值，使得攻擊時(shí)間成本較高。隨后，GOODFELLOW等[6]基于梯度思想提出快速梯度符號(hào)函數(shù)法(Fast Gradient Sign Method，F(xiàn)GSM)，能夠快速有效地生成對(duì)抗樣本。由于需要人為選擇擾動(dòng)系數(shù)，使得該方法需要添加的擾動(dòng)量較大。2016年，KURAKIN等[13]基于FGSM提出I-FGSM，利用迭代方式添加擾動(dòng)，因此在通常情況下表現(xiàn)出比FGSM更強(qiáng)的白盒攻擊能力。2016年，PAPERNOT等[14]提出有目標(biāo)的對(duì)抗攻擊方法，即JSMA，定義了輸入數(shù)據(jù)和目標(biāo)類別之間距離的預(yù)測(cè)度量標(biāo)準(zhǔn)。由于在每次迭代中構(gòu)建兩個(gè)敵對(duì)映射來(lái)選擇輸入特性非常耗時(shí)，因此JSMA的攻擊時(shí)間成本很高。2016年，MOOSAVI-DEZFOOLI等人[7]提出DeepFool，實(shí)現(xiàn)了基于梯度攻擊方式的白盒無(wú)目標(biāo)對(duì)抗攻擊，通過(guò)計(jì)算圖片數(shù)據(jù)分布到?jīng)Q策面的最小距離，能夠較快地產(chǎn)生較小的擾動(dòng)。2017年，MOOSAVI-DEZFOOLI等[15]基于DeepFool思想，通過(guò)計(jì)算多個(gè)距離的矢量和產(chǎn)生通用對(duì)抗擾動(dòng)。通用對(duì)抗擾動(dòng)使自然圖片被錯(cuò)誤分類的可能性增高。

目前，很多機(jī)器學(xué)習(xí)平臺(tái)都具有對(duì)抗樣本工具包，例如Tensorflow[16]平臺(tái)的cleverhans[17]。DeepFool算法作為經(jīng)典的對(duì)抗攻擊算法，雖然在機(jī)器學(xué)習(xí)平臺(tái)中具有廣泛的應(yīng)用，但仍然缺少利用DeepFool算法思想進(jìn)行有目標(biāo)攻擊的研究。如何在高維空間中利用幾何關(guān)系求解擾動(dòng)，并在有限的時(shí)間內(nèi)實(shí)現(xiàn)特定的攻擊效果是本文研究的主要問(wèn)題。

基于DeepFool算法思想提出TargetedFool算法，通過(guò)計(jì)算圖片數(shù)據(jù)分布到目標(biāo)類別決策面的距離，能夠在較短的時(shí)間內(nèi)實(shí)現(xiàn)有目標(biāo)的對(duì)抗攻擊，并且產(chǎn)生的擾動(dòng)人眼無(wú)法觀察到。筆者主要的貢獻(xiàn)如下：

(1) 基于經(jīng)典對(duì)抗攻擊算法DeepFool提出TargetedFool算法，實(shí)現(xiàn)對(duì)DenseNet、Inception-v3、ResNet和VGG有目標(biāo)對(duì)抗攻擊。

(2) 進(jìn)行了廣泛的實(shí)驗(yàn)比較，結(jié)果表明：筆者提出的算法在不同卷積神經(jīng)網(wǎng)絡(luò)下都可以生成有目標(biāo)的對(duì)抗樣本，在ImageNet數(shù)據(jù)集下平均魯棒性和擾動(dòng)率指標(biāo)均優(yōu)于FGSM、IFGSM和JSMA。

(3) 分析了基于DeepFool的對(duì)抗攻擊算法無(wú)法產(chǎn)生有目標(biāo)通用擾動(dòng)的原因，發(fā)現(xiàn)不同圖片的決策邊界以及目標(biāo)類別所在的空間不相同，相同擾動(dòng)量無(wú)法將不同圖片擾動(dòng)至相同的目標(biāo)類別。

1 相關(guān)工作

SZEGEDY等[11]首次提出在深度神經(jīng)網(wǎng)絡(luò)中存在對(duì)抗樣本，證明了深度神經(jīng)網(wǎng)絡(luò)在單個(gè)單元的語(yǔ)義和不連續(xù)性方面都具有反直覺的特性。他們將生成對(duì)抗樣本的問(wèn)題轉(zhuǎn)化為帶條件的優(yōu)化問(wèn)題，并且使用擬牛頓法中的L-BFGS算法[12]解決生成有目標(biāo)對(duì)抗樣本的優(yōu)化問(wèn)題。L-BFGS攻擊采用線性搜索方法尋找最優(yōu)值，搜尋過(guò)程非常耗時(shí)。

GOODFELLOW等人[6]認(rèn)為神經(jīng)網(wǎng)絡(luò)在高維空間中存在線性部分，在構(gòu)造對(duì)抗樣本時(shí)應(yīng)當(dāng)關(guān)注擾動(dòng)的方向而不是擾動(dòng)的數(shù)目，擾動(dòng)方向的選取根據(jù)損失函數(shù)梯度方向而定。FGSM通過(guò)最大化分類器將原始輸入分類到目標(biāo)類別的概率，實(shí)現(xiàn)有目標(biāo)對(duì)抗攻擊。由于擾動(dòng)系數(shù)無(wú)法確定，F(xiàn)GSM產(chǎn)生的擾動(dòng)量比較大。

KURAKIN等人[13]基于FGSM提出迭代攻擊算法，即I-FGSM。該方法用較小的步長(zhǎng)多次應(yīng)用FGSM算法生成擾動(dòng)率更高的對(duì)抗樣本。與FGSM思想相同，I-FGSM最大化分類器將原始輸入分類到目標(biāo)類別的概率，通過(guò)迭代的方式實(shí)現(xiàn)有目標(biāo)對(duì)抗攻擊。

PAPERNOT等人[14]基于雅可比矩陣求出神經(jīng)網(wǎng)絡(luò)的前向?qū)?shù)，構(gòu)造顯著性列表用于搜索對(duì)分類結(jié)果影響最大的輸入向量，并將擾動(dòng)大小限制在l0范數(shù)內(nèi)。由于構(gòu)造顯著性列表比較耗時(shí)，因此使用JSMA在大型數(shù)據(jù)集(例如ImageNet)上生成有目標(biāo)的對(duì)抗樣本的時(shí)間成本較高。

MOOSAVI-DEZFOOLI等[7]首先分析在二元分類器下如何將原始輸入擾動(dòng)至其他類別。他們使用點(diǎn)到直線距離公式計(jì)算出原始輸入到?jīng)Q策面的距離，將該距離添加到原始輸入后得到可以攻擊二元分類器的對(duì)抗樣本。多元分類器是二元分類器的擴(kuò)展。針對(duì)多元分類器，他們計(jì)算原始輸入到多個(gè)決策面的距離，將最小距離添加到原始輸入后得到可以攻擊多元分類器的對(duì)抗樣本。在實(shí)際情況下，深度神經(jīng)網(wǎng)絡(luò)的決策面具有高維非線性性質(zhì)。因此，他們使用迭代方式向原始輸入添加擾動(dòng)。隨后，MOOSAVI-DEZFOOLI等[15]基于DeepFool思想提出通用擾動(dòng)。該方法通過(guò)計(jì)算多個(gè)原始輸入到?jīng)Q策面距離的矢量和得到通用擾動(dòng)。利用該算法得到的擾動(dòng)不僅能夠成功地?cái)_動(dòng)數(shù)據(jù)集中的大部分圖片，而且產(chǎn)生的擾動(dòng)具有一定的泛化能力。該算法的核心在于通過(guò)多次迭代找到最小擾動(dòng)，并將找到的最小擾動(dòng)進(jìn)行矢量和疊加，得到最終的通用擾動(dòng)。

2 工作流程和符號(hào)定義

在已知模型的結(jié)構(gòu)和參數(shù)下實(shí)現(xiàn)了有目標(biāo)對(duì)抗攻擊。如圖1所示，有目標(biāo)對(duì)抗攻擊根據(jù)原始圖片和梯度信息，利用TargetedFool算法產(chǎn)生特定的擾動(dòng)，將該擾動(dòng)添加到原始圖片中來(lái)生成對(duì)抗樣本，從而將卷積神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗樣本的分類結(jié)果擾動(dòng)至目標(biāo)類別。本文的攻擊目標(biāo)是人對(duì)對(duì)抗樣本的分類結(jié)果仍然是原始類別，而卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果是目標(biāo)類別。

圖1 有目標(biāo)對(duì)抗攻擊過(guò)程示意圖

表1對(duì)本文所使用的符號(hào)進(jìn)行了描述。該攻擊過(guò)程符號(hào)化描述如下。

表1 符號(hào)以及描述

(1)定義符號(hào)。I={i1，i2，…，in}，是由原始圖片(ip，p∈[1，n])組成的集合；L={l1，l2，…，lm}，是由原始標(biāo)簽(lq，q∈[1，m])組成的集合；Ilk={x|f(x)=lk，x∈I}，k∈[1，m]，是由同一類別的圖片組成的集合。E={e1，e2，…，en}，ej=ij+rj，t，j∈[1，n]，集合中的每一項(xiàng)表示一個(gè)對(duì)抗樣本，其中rj，t是由TargetedFool算法產(chǎn)生的擾動(dòng)。該算法的目的是使對(duì)抗樣本ej的類別為t。

(2)生成對(duì)抗樣本。ej=ij+T(ij，lt)，?ij∈I和ij∈Ilk，j∈[1，n]，T表示TargetedFool算法。

(3)實(shí)現(xiàn)攻擊。將對(duì)抗樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中，得到lt=f(ej)，其中l(wèi)t是目標(biāo)類別標(biāo)簽。人的識(shí)別結(jié)果為lk=m(ej)，其中l(wèi)k是原始類別標(biāo)簽，m表示人工操作。

3 TargetedFool算法

3.1 TargetedFool用于二分類

二元分類器應(yīng)用廣泛，例如垃圾郵件分類識(shí)別。假定分類器f為原始輸入到原始標(biāo)簽的映射，Rn→R。分類器可表示為

k(x)=sign(f(x))。

(1)

在線性情況下，設(shè)定映射函數(shù)f(x)=wTx+b，線性決策面F={x∶wTx+b=0}?；贒eepFool思想，將無(wú)目標(biāo)攻擊推廣至有目標(biāo)攻擊。如圖2所示，數(shù)據(jù)點(diǎn)x0屬于+1類別，目標(biāo)屬于-1類別。由式(2)可以計(jì)算出數(shù)據(jù)點(diǎn)x0至線性決策面FL的最短距離r0(x0)：

(2)

在實(shí)際情況中，決策面多數(shù)為非線性。如圖3所示，將r0(x0)添加到輸入數(shù)據(jù)中無(wú)法保證分類器一定產(chǎn)生特定的分類結(jié)果。因此需要按照式(3)迭代添加擾動(dòng)：

(3)

圖2 一個(gè)線性二元分類器的對(duì)抗樣本示意圖 (實(shí)直線FL表示線性決策面)

圖3 一個(gè)非線性二元分類器的對(duì)抗樣本示意圖 (實(shí)直線FN表示真實(shí)的非線性決策面，線性決策面 FL=f(xi+f(xi)T(x-xi)為FN在xi點(diǎn)的線性近似)

3.2 TargetedFool用于多分類

基于二元分類器下TargetedFool算法的思路提出多元分類器下TargetedFool算法。多元分類器下存在多個(gè)決策面，因此多元分類器存在多維的分類結(jié)果。假定分類器f是原始輸入到原始標(biāo)簽的映射，Rn→Rc，其中c是神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的維度。分類器由式(4)表示，其中fk(x)表示第k個(gè)分類器的輸出結(jié)果：

(4)

(1) 決策面為線性情況下生成有目標(biāo)對(duì)抗樣本

設(shè)定仿射函數(shù)f(x)=WTx+b，當(dāng)ft(x0+r)≥fk(x0)(x0+r)成立時(shí)，arg max(·)函數(shù)選擇最大值的自變量作為函數(shù)結(jié)果，最終的分類器結(jié)果是目標(biāo)類別t。實(shí)現(xiàn)有目標(biāo)攻擊需要滿足

(5)

其中，wt是W的第t列，表示目標(biāo)類別權(quán)值。

多元分類器的決策面構(gòu)成了式(6)所示的決策空間P：

(6)

當(dāng)c=4，k(x0)=3時(shí)，P如圖4所示，其中目標(biāo)類t為類別2，線性決策面為FLk={x：fk(x)-f3(x)}。

上述問(wèn)題對(duì)應(yīng)于計(jì)算數(shù)據(jù)點(diǎn)x0與目標(biāo)決策面FL2的距離，通過(guò)計(jì)算數(shù)據(jù)點(diǎn)x0到目標(biāo)類別決策面的距離，得到擾動(dòng)：

(7)

圖4 k(x0)=3時(shí)，決策空間示意圖(實(shí)線表示線性決策面，虛線表示P的邊界)

其中，wt表示目標(biāo)類別權(quán)值。數(shù)據(jù)點(diǎn)x0通過(guò)添加擾動(dòng)r0(x0)可以使分類器產(chǎn)生特定的分類結(jié)果。綜上，在線性情況下找到了有目標(biāo)的對(duì)抗樣本。

(2)決策面為非線性情況下生成有目標(biāo)對(duì)抗樣本。

將TargetedFool算法推廣到非線性情況下。對(duì)于可微的多元分類器，需要迭代添加擾動(dòng)。從圖5中可知，x0屬于類別3，目標(biāo)類t屬于類別2，目標(biāo)類別的非線性決策面為FNt={x：ft(x)-fk(x)(x)=0}。為了便于計(jì)算原始輸入到目標(biāo)類別決策面的距離，通過(guò)計(jì)算非線性決策面FNt在點(diǎn)xi的線性近似，得到目標(biāo)類別的線性決策面FLt={x：ft(xi)-fk(xi)xi)+ft(xi)T(x-xi)-fk(xi)(xi)T(x-xi)}。FL2是FN2在點(diǎn)x0的線性近似，在點(diǎn)x0垂直于決策面FL2方向上，F(xiàn)L2與FN2之間距離較大。單步添加擾動(dòng)無(wú)法使數(shù)據(jù)點(diǎn)移動(dòng)到目標(biāo)決策空間，因此需要不斷迭代添加擾動(dòng)，直到數(shù)據(jù)點(diǎn)x0移動(dòng)到目標(biāo)決策空間。

圖5 TargetedFool攻擊過(guò)程示意圖

使用分類器函數(shù)f(x)在點(diǎn)xi處的線性逼近來(lái)獲得f(xi)+f(xi)T(x-xi)。當(dāng)不等式(8)成立時(shí)，分類器最終輸出類別為t。

ft(xi+ri)+ft(xi+ri)T(x-xi-ri)≥

fk(xi+ri)(xi+ri)+fk(xi+ri)(xi+ri)T(x-xi-ri) 。

(8)

通過(guò)計(jì)算數(shù)據(jù)點(diǎn)xi到目標(biāo)類別決策面的距離得到擾動(dòng)，擾動(dòng)的公式如下：

(9)

TargetedFool算法通過(guò)計(jì)算原始輸入到目標(biāo)類別決策面的最小距離產(chǎn)生擾動(dòng)，因此TargetedFool算法生成的對(duì)抗樣本不僅能夠達(dá)到有目標(biāo)的攻擊效果，同時(shí)擾動(dòng)量也較小。在二范式下計(jì)算擾動(dòng)，具體的算法設(shè)計(jì)見算法1。

算法1TargetedFool用于多分類。

輸入：圖片x，分類器f，目標(biāo)類別t，有目標(biāo)的對(duì)抗樣本xadv_t。

輸出：擾動(dòng)r。

① 初始化x0←x，xadv_t←x，i←0。

② whilek(xi)≠tdo

③w'←ft(xi)-fk(xi)(xi)

④f′←ft(xi)-fk(xi)(xi)

⑥xi+1←xi+ri

⑦i←i+1

⑧ end while

⑨xadv_t←xi

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)置

在典型的卷積神經(jīng)網(wǎng)絡(luò)上測(cè)試TargetedFool算法，測(cè)試環(huán)境為：NVIDIA Corporation Gp102 [GeForce GTX 1080 Ti]，測(cè)試中使用MNIST[18]、CIFAR-10[19]以及ImageNet[20]數(shù)據(jù)集。下面詳細(xì)描述不同數(shù)據(jù)集使用卷積神經(jīng)網(wǎng)絡(luò)的具體情況。

MNIST：使用具有兩層卷積、兩層池化和兩層全連接結(jié)構(gòu)的LeNet[21]卷積神經(jīng)網(wǎng)絡(luò)。

CIFAR-10：調(diào)整了在ILSVRC 2012競(jìng)賽中奪得冠軍的AlexNet[22]卷積神經(jīng)網(wǎng)絡(luò)。

ILSVRC2012：使用Inception-v3[23]、ResNet[24]以及DenseNet[25]預(yù)訓(xùn)練模型。

NIPS2017：使用Inception-v3預(yù)訓(xùn)練模型。

4.2 評(píng)價(jià)指標(biāo)

平均魯棒性：為了能更好地評(píng)估對(duì)抗攻擊的有效性，將DeepFool文章中提出的平均魯棒性[7]作為評(píng)估標(biāo)準(zhǔn)之一，定義為

(10)

其中，D表示測(cè)試集。在相同原始輸入和目標(biāo)類別情況下，分類器的平均魯棒性越低，說(shuō)明攻擊算法越有效。

擾動(dòng)量：擾動(dòng)的大小影響深度學(xué)習(xí)系統(tǒng)的運(yùn)行效率，擾動(dòng)量是對(duì)抗攻擊領(lǐng)域常用的衡量標(biāo)準(zhǔn)[26]。擾動(dòng)量越多，越容易被人或檢測(cè)系統(tǒng)發(fā)覺。擾動(dòng)量的定義如下：

r(x)=‖xadv-x‖p。

(11)

時(shí)間：算法生成對(duì)抗樣本的總耗時(shí)，時(shí)間可以作為算法運(yùn)行效率的衡量標(biāo)準(zhǔn)。

4.3 實(shí)驗(yàn)結(jié)果與分析

在不同卷積神經(jīng)網(wǎng)絡(luò)下實(shí)現(xiàn)有目標(biāo)對(duì)抗攻擊。表2展示了基于不同卷積神經(jīng)網(wǎng)絡(luò)在ILSVRC2012驗(yàn)證集上測(cè)試TargetedFool算法的效果。Top-1 error表示原始圖片在分類器下預(yù)測(cè)結(jié)果第一的類別與原始類別不同的概率。Top-5 error表示原始圖片在分類器下預(yù)測(cè)結(jié)果前五的類別與原始類別不同的概率。使用上述的評(píng)估標(biāo)準(zhǔn)對(duì)TargetedFool算法在不同卷積神經(jīng)網(wǎng)絡(luò)下的測(cè)試結(jié)果進(jìn)行評(píng)估。可以看出，TargetedFool算法能夠在平均時(shí)間0.45 s下實(shí)現(xiàn)對(duì)ResNet-34有目標(biāo)對(duì)抗攻擊。

表2 測(cè)試結(jié)果

圖6 原始圖片的類別標(biāo)簽為“husky”，目標(biāo)類別標(biāo)簽為“ostrich”
(6個(gè)擾動(dòng)是在不同的卷積神經(jīng)網(wǎng)絡(luò)下由TargetedFool算法生成的，這些擾動(dòng)都可以將原始圖片類別標(biāo)簽擾動(dòng)為“ostrich”)

圖6展示了基于Pytorch環(huán)境在不同卷積神經(jīng)網(wǎng)絡(luò)下將真實(shí)類別為“husky”圖片擾動(dòng)到目標(biāo)類別“ostrich”產(chǎn)生的擾動(dòng)情況。算法通過(guò)不斷迭代直到成功將圖片擾動(dòng)至目標(biāo)類，因此針對(duì)不同卷積神經(jīng)網(wǎng)絡(luò)TargetedFool算法，都可以產(chǎn)生相應(yīng)的擾動(dòng)，得到有效的有目標(biāo)對(duì)抗樣本。

與DeepFool算法比較。表3展示了TargetedFool算法與DeepFool算法基于不同數(shù)據(jù)集和卷積神經(jīng)網(wǎng)絡(luò)下生成對(duì)抗樣本的時(shí)間和添加到原始圖片的擾動(dòng)量。TargetedFool算法和DeepFool算法生成對(duì)抗樣本的時(shí)間相近，而TargetedFool算法可以在有限時(shí)間內(nèi)生成有目標(biāo)的對(duì)抗樣本。盡管TargetedFool算法產(chǎn)生的擾動(dòng)量大于DeepFool算法，人眼仍然無(wú)法識(shí)別筆者提出的算法生成的對(duì)抗樣本。

與有目標(biāo)對(duì)抗攻擊算法比較。將TargetedFool算法與常用的有目標(biāo)對(duì)抗攻擊算法進(jìn)行比較。實(shí)驗(yàn)環(huán)境：Inception-v3卷積神經(jīng)網(wǎng)絡(luò)以及NIPS2017提供的數(shù)據(jù)集。從表4可知，F(xiàn)GSM在有目標(biāo)攻擊下無(wú)法生成具有較高擾動(dòng)率的對(duì)抗樣本，IFGSM、JSMA算法生成有目標(biāo)的對(duì)抗樣本需要較長(zhǎng)的運(yùn)行時(shí)間，TargetedFool算法可以在有限時(shí)間內(nèi)生成較高擾動(dòng)率的對(duì)抗樣本。

表3 TargetedFool算法與DeepFool算法的比較

表4 在Inception-v3，NIPS2017，l2范式下，擾動(dòng)率、時(shí)間、平均魯棒性、最大擾動(dòng)系數(shù)以及 最大迭代次數(shù)(對(duì)抗樣本由FGSM，IFGSM，JSMA和TargetedFool生成)

圖7展示了不同對(duì)抗攻擊算法在Inception-v3網(wǎng)絡(luò)下生成的有目標(biāo)對(duì)抗樣本。

圖7 在Inception-v3下使用FGSM、IFGSM-20、IFGSM-30、JSMA和TargetedFool算法生成的有目標(biāo)對(duì)抗樣本

圖8 分析基于DeepFool的對(duì)抗攻擊算法 無(wú)法產(chǎn)生有目標(biāo)通用擾動(dòng)的示意圖 (F1，F(xiàn)2，F(xiàn)3分別為原始輸入X1，X2和X3的決策面，r1，r2和r3分別為原始輸入X1，X2和X3達(dá)到同樣的目標(biāo)類別需要添加的擾動(dòng)量)

圖7中第1列第1張?jiān)紙D片的原始類別是“l(fā)ong-horned beetle”，目標(biāo)類別是“espresso maker”；第1列第2張?jiān)紙D片的原始類別是“espresso”，目標(biāo)類別是“nail”。從圖中可知，F(xiàn)GSM沒(méi)有將原始圖片類別擾動(dòng)到目標(biāo)類別；IFGSM在迭代次數(shù)設(shè)定為30時(shí)，成功地將原始圖片類別擾動(dòng)至目標(biāo)類別；JSMA、TargetedFool算法生成的對(duì)抗樣本能夠達(dá)到預(yù)期效果。仔細(xì)觀察可知，IFGSM-30、JSMA生成的對(duì)抗樣本通過(guò)人眼識(shí)別可以觀察到一些擾動(dòng)。

基于DeepFool的對(duì)抗性攻擊算法不能產(chǎn)生有目標(biāo)通用對(duì)抗擾動(dòng)。圖8給出了3個(gè)不同的原始輸入達(dá)到同一目標(biāo)類別需要添加的擾動(dòng)向量。由Fi={x：fi(x)-fk(x)(x)=0}，i∈[1，3]可知，不同原始輸入的決策面不同。3個(gè)原始輸入的目標(biāo)類別空間分別為A，B和C，3個(gè)原始輸入通過(guò)添加r1，r2和r3的矢量和后被移動(dòng)到空間E。易知，空間E不是原始輸入X1，X2和X3的目標(biāo)類別空間。綜上所述，3個(gè)不同的原始輸入添加擾動(dòng)向量r1+r2+r3后能夠使分類器產(chǎn)生錯(cuò)誤的分類，但無(wú)法達(dá)到同一目標(biāo)類別。

使用ILSVRC 2012數(shù)據(jù)集在ResNet-34卷積神經(jīng)網(wǎng)絡(luò)下進(jìn)行了多組實(shí)驗(yàn)。圖9給出了10個(gè)不同類別的原始圖片分別增加10個(gè)不同擾動(dòng)產(chǎn)生的結(jié)果，其中10個(gè)不同擾動(dòng)由TargetedFool將10個(gè)不同類別的原始圖片擾動(dòng)到目標(biāo)類別“ostrich”產(chǎn)生。通過(guò)觀察可以發(fā)現(xiàn)，將不同原始圖片擾動(dòng)到目標(biāo)類別“ostrich”需要添加的擾動(dòng)明顯不同。通過(guò)交叉驗(yàn)證發(fā)現(xiàn)，原始圖片添加交換后的擾動(dòng)得到的樣本，有可能使分類器產(chǎn)生錯(cuò)誤的分類，但無(wú)法將原始圖片擾動(dòng)到目標(biāo)類別。

5 緩解措施

針對(duì)對(duì)抗攻擊，常用的防御方法包括對(duì)抗訓(xùn)練、網(wǎng)絡(luò)蒸餾和附加網(wǎng)絡(luò)方法。對(duì)抗訓(xùn)練是指在訓(xùn)練階段的每一步都生成對(duì)抗樣本，并將其注入到訓(xùn)練集中。該方法能夠有效地提高深度神經(jīng)網(wǎng)絡(luò)的魯棒性。對(duì)抗訓(xùn)練對(duì)于單步攻擊(例如FGSM)防御效果明顯，而對(duì)于迭代攻擊的防御效果并不明顯[28]。網(wǎng)絡(luò)蒸餾最初的設(shè)計(jì)目的是通過(guò)將知識(shí)從一個(gè)規(guī)模較大的網(wǎng)絡(luò)轉(zhuǎn)移到一個(gè)規(guī)模較小的網(wǎng)絡(luò)，來(lái)減小深度神經(jīng)網(wǎng)絡(luò)的規(guī)模。PAPERNOT等[29]使用網(wǎng)絡(luò)蒸餾來(lái)防御深度神經(jīng)網(wǎng)絡(luò)對(duì)抗樣本。這種防御方式之所以有效，是因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)在訓(xùn)練期間獲得的知識(shí)不僅被編碼在由網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重參數(shù)中，而且也被編碼在由網(wǎng)絡(luò)產(chǎn)生的概率向量中。因此，蒸餾這種方式可以從這些概率向量中提取類別知識(shí)，從而識(shí)別出樣本的真實(shí)類別。這種方式對(duì)于擾動(dòng)量較小的對(duì)抗樣本，防御效果不明顯。在原有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下，附加生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GANs)能夠有效防御對(duì)抗樣本[30]。該防御方法首先使用真實(shí)數(shù)據(jù)訓(xùn)練GANs，然后通過(guò)GANs將對(duì)抗樣本的數(shù)據(jù)分布映射到真實(shí)分布?；贕ANs的防御方法需要獲取真實(shí)數(shù)據(jù)訓(xùn)練GANs，并且GANs訓(xùn)練時(shí)間較長(zhǎng)。筆者提出的TargetedFool算法可以實(shí)現(xiàn)白盒下的有目標(biāo)攻擊。針對(duì)TargetedFool算法可以使用附加網(wǎng)絡(luò)方式進(jìn)行防御，然而訓(xùn)練附加網(wǎng)絡(luò)的時(shí)間成本較高。

圖9 實(shí)驗(yàn)環(huán)境為Pytorch，ResNet-34卷積神經(jīng)網(wǎng)絡(luò)(第1列表示原始圖片，第1行表示由第1列原始圖片擾動(dòng)到目標(biāo)類別“ostrich”產(chǎn)生的擾動(dòng)，其余圖片表示原始圖片增加不同擾動(dòng)后的結(jié)果(例如，第2行第3列的圖片是類別為“cougar”的原始圖片增加由類別為“white wolf”的原始圖片擾動(dòng)到目標(biāo)類別“ostrich”產(chǎn)生的擾動(dòng))

6 總 結(jié)

筆者提出了TargetedFool算法，可以實(shí)現(xiàn)在白盒情況下的有目標(biāo)對(duì)抗攻擊。通過(guò)實(shí)驗(yàn)驗(yàn)證，TargetedFool在有限時(shí)間內(nèi)可以達(dá)到預(yù)期攻擊效果。在ImageNet數(shù)據(jù)下的平均魯棒性和擾動(dòng)率都優(yōu)于FGSM、IFGSM和JSMA。通過(guò)理論和實(shí)驗(yàn)分析了基于DeepFool的對(duì)抗攻擊算法無(wú)法產(chǎn)生有目標(biāo)通用擾動(dòng)的具體原因。如何提升有目標(biāo)攻擊下對(duì)抗樣本的遷移性，將是后續(xù)研究的一個(gè)重要內(nèi)容。