葉啟松，戴旭初

中國科學(xué)技術(shù)大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，合肥230026

1 引言

深度學(xué)習(xí)技術(shù)如今在全球范圍內(nèi)獲得蓬勃的發(fā)展，基于深度學(xué)習(xí)的計算機視覺[1-2]、語音識別[3]、自然語言處理[4]技術(shù)已經(jīng)廣泛運用于生活生產(chǎn)的各個領(lǐng)域，包括安全防護、個人助理、醫(yī)療健康、自動駕駛、電商零售等[5-7]。

深度學(xué)習(xí)系統(tǒng)的一個主要應(yīng)用是深度神經(jīng)網(wǎng)絡(luò)分類器，隨著深度神經(jīng)網(wǎng)絡(luò)分類器的廣泛應(yīng)用，研究人員發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)分類器具有一定的脆弱性，其主要表現(xiàn)為：對原始樣本x 加上某些不可察覺的擾動ρ，生成新的樣本x*=x+ρ 能使得分類器分類錯誤，通常將x*稱為“對抗樣本”[8]。深入的分析研究表明，深度神經(jīng)網(wǎng)絡(luò)分類器的脆弱性與神經(jīng)元的非線性函數(shù)的局部線性性[9]、數(shù)據(jù)的不連續(xù)性[8]，或是數(shù)據(jù)的高緯度特性[10]等有關(guān)。

深度神經(jīng)網(wǎng)絡(luò)分類器的脆弱性的存在，給這類分類器在實際應(yīng)用中的安全性帶來了隱患，即如果惡意分子利用分類器的這種脆弱性，很可能會對人類的社會生活及生命財產(chǎn)安全等方面造成重大影響。眾所周知，對抗樣本的生成是攻擊深度神經(jīng)網(wǎng)絡(luò)分類器的一個關(guān)鍵環(huán)節(jié)，因此研究對抗樣本生成技術(shù)具有重要的意義。只有對各種對抗樣本的生成技術(shù)進行深入的分析研究，并在此基礎(chǔ)上設(shè)計有效的防御對策，才能切實提高深度神經(jīng)網(wǎng)絡(luò)分類器的安全性。

為了簡潔起見，本文后續(xù)部分將“深度神經(jīng)網(wǎng)絡(luò)分類器”簡稱為“分類器”?？v觀目前已有的針對分類器的各種攻擊，按“攻擊條件”來分類，可分為“白盒攻擊”和“黑盒攻擊”，白盒攻擊是在已知分類器內(nèi)部結(jié)構(gòu)的條件下實施的攻擊，而黑盒攻擊則是在未知分類器內(nèi)部結(jié)構(gòu)條件下實施的攻擊；并且，內(nèi)部結(jié)構(gòu)已知的分類器稱為白盒分類器，內(nèi)部結(jié)構(gòu)未知的分類器稱為黑盒分類器[11]；另外，按“攻擊目標”來分類，又可分為“定向攻擊”和“非定向攻擊”，定向攻擊是使得分類器分類結(jié)果為預(yù)設(shè)的目標類別，而非定向攻擊則只要求分類器的分類結(jié)果與真實情況不符即可[12]。為了便于后續(xù)分析，本文將對分類器的攻擊分為四大類，即白盒條件下的定向攻擊（第一類攻擊）、白盒條件下的非定向攻擊（第二類攻擊）、黑盒條件下的定向攻擊（第三類攻擊）、黑盒條件下的非定向攻擊（第四類攻擊）。

本文將以這四大類攻擊為線索，分析對抗樣本生成技術(shù)的機理，梳理各種對抗樣本生成的方法、歸納和比較它們的優(yōu)缺點。

為了方便表述，本文所涉及的符號描述如表1所示。

表1 符號描述

2 攻擊分類器的對抗樣本生成技術(shù)

深度神經(jīng)網(wǎng)絡(luò)分類器是深度學(xué)習(xí)系統(tǒng)的一個主要應(yīng)用，Szegedy等在文獻[8]中提出了針對分類器的對抗樣本問題，該問題指出，對輸入樣本添加微小的特定擾動容易使得分類器分類錯誤。Goodfellow等[9]提出快速梯度符號方法，其通過一步梯度計算生成對抗樣本，有效降低了生成對抗樣本所需的計算量，此方法因其簡單和高效被廣泛使用。在快速梯度符號方法的基礎(chǔ)上，進一步發(fā)展出了文獻[13-15]等基于多步梯度計算的方法，這些方法有效提高了對抗樣本的攻擊成功率。

隨著攻擊分類器的對抗樣本生成技術(shù)的進一步發(fā)展，在白盒的攻擊條件下，主流的對抗樣本生成技術(shù)主要利用損失函數(shù)梯度信息、生成式神經(jīng)網(wǎng)絡(luò)[16]、模型中間層特性[17-18]、得分函數(shù)梯度信息[19]、投影變換[20-21]來生成對抗樣本。在黑盒的攻擊條件下，主要有兩種方法，第一種是利用對抗樣本遷移特性的方法，該遷移特性指出，對抗樣本被某一模型分類錯誤，也容易被另一模型分類錯誤[8]，文獻[22-24]利用此特性進行黑盒攻擊。第二種是基于演化算法的方法，文獻[25-26]結(jié)合了演化算法進行黑盒攻擊，此方法所需較小的計算代價能達到較好攻擊效果。

3 第一類攻擊的對抗樣本生成技術(shù)

第一類攻擊是在白盒條件下的定向攻擊，其對抗樣本生成技術(shù)主要有三種方法，即基于損失函數(shù)梯度的方法、基于生成式神經(jīng)網(wǎng)絡(luò)的方法和基于模型中間層特性的方法。

3.1 基于損失函數(shù)梯度的方法

因為損失函數(shù)對x 的梯度方向是損失變化最大的方向，所以在該方向添加特定擾動，可以在擾動較小的情況下顯著降低損失函數(shù)關(guān)于目標類別的損失，得到對抗樣本。該類方法的優(yōu)點在于，其方法實現(xiàn)比較簡單，且白盒條件下的攻擊成功率較高。

基于損失函數(shù)梯度的方法主要有FGSM（Fast Gradient Sign Method）、FG-?2（Fast Gradient Ln-norm Method）、BIM（Basic Iterative Method）和MI-FGSM（Momentum Iterative Fast Gradient Sign Method）[9，13-15]。

FGSM 是一種經(jīng)典的白盒條件下的對抗樣本生成技術(shù)，其擾動信號是利用損失函數(shù)梯度的符號信息產(chǎn)生的，具體為：

其中，θ 表示深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，sign(?)是符號函數(shù)，ε 是用來控制擾動信號幅度的參數(shù)。不失一般性，假設(shè)原樣本x 所對應(yīng)的真實類別為t=l，由式（1）可知，擾動ρ在J(θ,x,t)關(guān)于x 的負梯度方向上，因此存在t=m(m ≠l)，使得J(θ,x*,m)＜J(θ,x,l)，從而使得分類器將樣本x*分類為m ，如果m 是預(yù)設(shè)的攻擊目標，則可實現(xiàn)定向攻擊。

FG-?2是利用?xJ(θ,x,t)經(jīng)過?2歸一化后的信息來產(chǎn)生擾動，即：

其中，||?||2表示向量的L2范數(shù)。與FGSM 不同的是，F(xiàn)G-?2方法不僅利用了?xJ(θ,x,t)的符號信息，而且還利用了其幅度信息，因此該方法比FGSM 更容易到達J(θ,x,t)的局部極小值點。換言之，F(xiàn)G-?2只需要較小的幅度參數(shù)ε 來生成對抗樣本，就能使得分類器誤分類為t=m。

BIM 是在FGSM 和FG-?2的基礎(chǔ)上，通過N 次迭代的方式生成對抗樣本，N 為預(yù)設(shè)的迭代總次數(shù)。

BIM（Basic Iterative Method）的迭代方式如下所示：

其中，ρn和分別表示第n 次迭代生成的擾動和樣本，而且擾動ρn利用FGSM或FG-?2方法生成。

MI-FGSM 是BIM 的一種改進，其對抗樣本生成的迭代過程為：

從式（4）易知，gn的迭代過程，實際上是對歸一化梯度序列的低通濾波（或加權(quán)平均）的過程，其作用是減少了梯度下降過程中的震蕩，加快代價函數(shù)逼近極值點的速度，同時只需要更小ε 就能夠達到J(θ,x,t)的局部極小值點[27-28]。

3.2 基于生成式神經(jīng)網(wǎng)絡(luò)的方法

基于生成式神經(jīng)網(wǎng)絡(luò)的方法用自監(jiān)督的方式，以攻擊一個或多個分類器為目標，訓(xùn)練生成式神經(jīng)網(wǎng)絡(luò)，生成對抗樣本。該類方法的優(yōu)點在于，其在對抗樣本的生成階段不涉及任何梯度的計算，生成過程較快，并且生成的對抗樣本可以同時攻擊多個目標分類器。

該類方法中，典型的方法是利用對抗變換網(wǎng)絡(luò)（Adversarial Transformation Networks，ATN）來生成對抗樣本[16]，其核心思想是通過求解如下目標函數(shù)來獲得生成式神經(jīng)網(wǎng)絡(luò)G 的網(wǎng)絡(luò)參數(shù)θ*：

其中，G(x,θ)表示輸入為x、參數(shù)為θ 時生成式神經(jīng)網(wǎng)絡(luò)G 的輸出，β 為權(quán)值；f(a)表示分類器對輸入樣本為a 時的輸出向量，是對向量f(x)的第t 個分量進行修改后的向量，使得的第t 個分量為中的最大分量。

根據(jù)式（6）可知，若設(shè)t=m 為預(yù)設(shè)的攻擊目標，通過求解式（6）得到θ*，則生成式神經(jīng)網(wǎng)絡(luò)G 的輸出x*=G(x,θ*)為對抗樣本，且x*與原樣本x 相似，但是f(x*)的第m 個分量的值最大，故分類器將x*分類為m，從而實現(xiàn)了預(yù)設(shè)的定向攻擊。

3.3 基于模型中間層特性的方法

基于模型中間層特性的方法生成與原樣本相似，且與目標樣本（屬于目標類別的樣本）在神經(jīng)網(wǎng)絡(luò)高層的輸出相似的樣本，由于神經(jīng)網(wǎng)絡(luò)的分類結(jié)果受高層神經(jīng)單元的影響較大，故該樣本容易使得目標分類器將其分類為目標類別。該類方法的優(yōu)點在于，其能夠生成多樣性更高的對抗樣本。

研究表明，深度神經(jīng)網(wǎng)絡(luò)分類器不同層的神經(jīng)單元對分類結(jié)果的影響程度不同，基于模型中間層特性的方法正是利用這一特性來產(chǎn)生對抗樣本，主要的方法有DRA（Deep Representation Adversarial）和Hot/Cold[17-18]。

基于現(xiàn)有的研究結(jié)果，深度神經(jīng)網(wǎng)絡(luò)分類器的分類結(jié)果受高層神經(jīng)單元的影響較大，DRA 方法利用這一特點，通過求解下列的優(yōu)化問題來生成對抗樣本：

其中，k 接近L；xm和xl分別表示類別為m 和l 的樣本(m ≠l)，σ 為用以約束x*與xl差距的預(yù)設(shè)常值。式（7）的優(yōu)化問題可用受限擬牛頓梯度優(yōu)化算法求解[29]，求解所得的對抗樣本為x*不僅與xl近似，而且與xm在分類器第k 層神經(jīng)單元的輸出近似，因此，分類器將x*分類為m，實現(xiàn)定向攻擊。

Hot/Cold 方法是利用分類器第k′=L-1 層神經(jīng)單元的輸出來生成對抗樣本，具體方法如下。

令：

表2 總結(jié)了第一類攻擊的對抗樣本生成方法的適用場景、優(yōu)點、缺點以及實驗說明。

4 第二類攻擊的對抗樣本生成技術(shù)

第二類攻擊是在白盒條件下的非定向攻擊，主要方法為基于得分函數(shù)梯度顯著性差異的方法、基于向決策邊界正交投影的方法和基于向低維流形投影的方法。

4.1 基于得分函數(shù)梯度顯著性差異的方法

有相關(guān)實驗發(fā)現(xiàn)，得分函數(shù)對樣本x 的梯度在某些分量上的值很大，對x 的這些分量進行修改，會對分類器的分類結(jié)果產(chǎn)生顯著影響，本文將x 的這些分量稱為關(guān)鍵分量?；诘梅趾瘮?shù)梯度顯著性差異的方法僅在關(guān)鍵分量上添加擾動，生成對抗樣本。該類方法的優(yōu)點在于，其大幅降低了對抗樣本的擾動大小。

JSMA（Jacobian-based Saliency Map Attack）[19]利用得分函數(shù)對樣本x 的梯度，構(gòu)造顯著性映射Map(x,t)[i]：

此方法以迭代的方式在關(guān)鍵分量上添加擾動：

在第N 次迭代時，x*=xn能使得f(t)(x*)的值顯著提高，通過設(shè)置一定大小的ε（該值用以調(diào)節(jié)擾動大小，默認為1），存在t=m(m ≠l)，分類器將x*分類為m 。該方法的特點是，其無需對x 中的全部分量進行修改，就能實現(xiàn)非定向攻擊。

表2 第一類攻擊的對抗樣本生成方法的比較

4.2 基于向決策邊界正交投影的方法

基于向決策邊界正交投影的方法以迭代的方式，將樣本投影在決策邊界的線性近似上，逐步減小樣本與決策邊界的距離，直至目標分類器對該樣本分類錯誤，得到對抗樣本。該類方法的優(yōu)點在于，其生成的對抗樣本與決策邊界的距離較小，故擾動也較小。

利用得分函數(shù)，定義類別k 和l 之間決策邊界Bk,l為：

以xn為基點對非線性得分函數(shù)fk(x)和fl(x)進行線性近似，可得：

式中，Bˉk,l實際上是一個超平面，其表示了類別k 和l 之間決策邊界的近似。

那么xn到?jīng)Q策邊界的距離為：

基于向決策邊界正交投影的方法主要有DeepFool[20]，該方法通過下列的迭代方式更新原樣本x ，獲得對抗樣本：其中，Δxn和xn分別是xn-1到Bˉk,l的距離向量和正交投影向量。

4.3 基于向低維流形投影的方法

基于向低維流形投影的方法以迭代的方式，將樣本投影在低維流形上，逐步縮短樣本與決策邊界的距離，直至目標分類器分類錯誤。該方法可以不通過添加擾動，僅通過對原樣本進行某種幾何變化來生成對抗樣本。

若x 是嵌入在低維空間流形M上，令R(x):χ →?m表示x ∈χ 到流形M的投影，Mx表示流形M在x 處的切空間。

ManiFool[21]方法生成對抗樣本的迭代更新過程為：

對于i ≥1，如果存在m ≠l ，使得f(l)(xi)＜f(m)(xi)，則生成對抗樣本x*=xi，可實現(xiàn)非定向攻擊。

表3 總結(jié)了第二類攻擊的對抗樣本生成方法的適用場景、優(yōu)點、缺點以及實驗說明。

表3 第二類攻擊的對抗樣本生成方法比較

5 第三類攻擊的對抗樣本生成技術(shù)

第三類攻擊是在黑盒條件下的定向攻擊，主要方法為基于對抗樣本遷移特性的方法和基于生成式神經(jīng)網(wǎng)絡(luò)的方法。

5.1 基于對抗樣本的遷移特性的方法

實驗發(fā)現(xiàn)，針對某一白盒分類器生成的對抗樣本，能以較大的概率使得另一黑盒分類器分類錯誤，這一特性被稱為“對抗樣本的遷移特性”。該類方法的優(yōu)點在于，其利用對抗樣本的遷移性，可與多種白盒攻擊技術(shù)相結(jié)合，實施黑盒攻擊。

設(shè)白盒分類器的參數(shù)為θw，得分函數(shù)為fw(x)；黑盒分類器的得分函數(shù)為fb(x)。定義一個白盒定向攻擊為Attack(x,θw,m)，其含義是：以原樣本x 為輸入，利用白盒條件下的定向攻擊方法，針對參數(shù)為θw的白盒分類器生成對抗樣本x*，使得成立，實現(xiàn)目標類別為m 的定向攻擊。

Papernot N 等[22]利用了對抗樣本的遷移特性來生成對抗樣本，該方法分為三步：首先，將原樣本x ∈χ 輸入到黑盒分類器中，獲得對應(yīng)分類類別γx；然后，以x ∈χ 和其對應(yīng)的標簽γx作為訓(xùn)練數(shù)據(jù)，訓(xùn)練參數(shù)為θw的白盒分類器，訓(xùn)練完成所得參數(shù)為θ*w；最后，利用Attack(x,θ*w,m)方法，生成對抗樣本x*。該方法可用下列表達式進行描述：

文獻[22]表明，基于式（23）～（25）所得到的對抗樣本x*有較大概率使得成立，這意味著黑盒分類器會將x*分類為m，實現(xiàn)黑盒條件下的定向攻擊。

5.2 基于生成式神經(jīng)網(wǎng)絡(luò)的方法

基于生成式神經(jīng)網(wǎng)絡(luò)的方法通過訓(xùn)練生成式神經(jīng)網(wǎng)絡(luò)，針對多個目標分類器生成對抗樣本。該類方法的優(yōu)點在于，其在對抗樣本的生成階段不涉及任何梯度的計算，生成過程很快，并且，該類方法生成的對抗樣本具有較好的遷移性，有利于實施黑盒攻擊。

如果將同一擾動添加到不同的樣本中，得到的樣本能使得分類器分類錯誤，那么就將該擾動稱為“通用型擾動”。

UPSET（Universal Perturbations for Steering to Exact Targets）[23]通過訓(xùn)練生成式神經(jīng)網(wǎng)絡(luò)G 來生成通用型擾動，其對應(yīng)的結(jié)構(gòu)示意圖如圖1所示。

圖1 UPSET方法的結(jié)構(gòu)示意圖

圖1 中，生成式神經(jīng)網(wǎng)絡(luò)G 的參數(shù)為θ ，輸入為類別t，輸出ρt=G(θ,t)為通用型擾動，將其添加在原樣本中可得x~ =Clip(x+ρt) ，C 為目標分類器；損失函數(shù)J(θ,x,t)由JF(θ,x,t)和JC(θ,x,t)兩部分組成，其中：

最小化JF(θ,x,t) 可約束擾動的大小，最小化JC(θ,x,t)可使得分類器將x~ 分類為t ，設(shè)β 為權(quán)值，則J(θ,x,t)可表示為：

G 可通過最小化J(θ,x,t)進行訓(xùn)練，若設(shè)G 訓(xùn)練完成之后對應(yīng)的參數(shù)為θ*，t=m(m ≠l)為預(yù)設(shè)攻擊目標，那么其對應(yīng)的通用型擾動為ρm=G(θ*,m) ，對于?x ∈χ ，對抗樣本為x*=Clip(x+ρm)，其與原樣本相似的同時，還能使得f(x*)的第m 個分量最大，分類器會將x*分類為m。

由于對抗樣本的遷移特性，該方法生成的x*以較大概率使得黑盒分類器將其分類為m ，從而實現(xiàn)定向攻擊。

表4 總結(jié)了第三類攻擊的對抗樣本生成方法的適用場景、優(yōu)點、缺點以及實驗說明。

表4 第三類攻擊的對抗樣本生成方法比較

6 第四類攻擊的對抗樣本生成技術(shù)

第四類攻擊是在黑盒條件下的非定向攻擊，主要方法為基于生成式對抗網(wǎng)絡(luò)的方法和基于貪心策略的方法。

6.1 基于生成式對抗網(wǎng)絡(luò)的方法

基于生成式對抗網(wǎng)絡(luò)的方法以對抗訓(xùn)練的方式，訓(xùn)練生成式對抗網(wǎng)絡(luò)，并利用其生成器生成擾動，添加在原樣本中得到對抗樣本。該類方法的優(yōu)點在于，其能夠在較高成功率的情況下實現(xiàn)黑盒攻擊。

PGN（Perturbation Generation Network）[24]方法利用了最小均方生成式對抗網(wǎng)絡(luò)，針對一黑盒分類器構(gòu)造對抗樣本實施非定向攻擊，其結(jié)構(gòu)示意圖如圖2所示。

圖2 PGN方法的結(jié)構(gòu)示意圖

圖2 中，生成器G 的參數(shù)為θG，生成擾動為ρ=G(θG,x)，將其添加到原樣本中得=x+G(θG,x)；判別器D 的參數(shù)為θD，d=D(θD,∈[0,1]表示黑盒分類器對分類錯誤的概率；若設(shè)原樣本x 的類別為l ，黑盒分類器對的分類類別為，則γx為：

判別器D 的損失函數(shù)為：

在更新θD以最小化JD(θD,x~)的過程，使得當生成器生成越容易使得黑盒分類器分類錯誤的擾動時，D輸出高概率值，反之，D 輸出低概率值。

生成器G 的損失函數(shù)為：

其中，|||?||1表示向量的L1范數(shù)。λ 為用于懲罰擾動大小的權(quán)值，在更新θG來最小化JG(θG,x)的過程，使得G生成讓D 輸出高概率值的擾動，意味著該擾動越容易使得黑盒分類器分類錯誤。

6.2 基于演化算法的方法

該類方法利用演化算法，得出對分類器的輸出得分影響較大的關(guān)鍵分量，在關(guān)鍵分量上添加特定大小的擾動生成對抗樣本。該類方法的優(yōu)點在于，在黑盒條件下，其能夠有效降低對抗樣本擾動大小。

基于演化算法的方法主要有One-Pixel Attack 和LocSearchAdv[25-26]。

One-Pixel Attack僅在原樣本的一個關(guān)鍵分量上施加擾動得到對抗樣本，其使用了差分進化算法[34]，通過求解如下所示目標函數(shù)來得到相應(yīng)的關(guān)鍵分量和擾動大?。?/p>

其中，f(x)為黑盒分類器的得分函數(shù)，M(x,j,ε)為：

表示對x 的第j 個分量增加ε 所得的向量，若求解式（22）得到j(luò)*和ε*，則其對抗樣本為x*=M(x,j*,ε*)，其有很大概率使得黑盒分類器分類錯誤。

受One-Pixel Attack 的啟發(fā)，LocSearchAdv 通過局部貪心搜索算法，在x 中搜索出多個使得f(l)(x)下降顯著的關(guān)鍵分量，并在每一個關(guān)鍵分量上添加相應(yīng)的擾動得到對抗樣本x*，以實現(xiàn)非定向攻擊。

表5 總結(jié)了第四類攻擊的對抗樣本生成方法的適用場景、優(yōu)點、缺點以及實驗說明。

表5 第四類攻擊的對抗樣本生成方法比較

前文依據(jù)“攻擊條件”和“攻擊目標”，介紹了四大類主流的對抗樣本生成技術(shù)，在白盒的攻擊條件下，第一、二類方法生成的對抗樣本針對性比較強，容易達到較高的攻擊成功率。但是在黑盒的攻擊條件下，因為不同模型之間的分類邊界存在巨大差異[6]，所以，即使對抗樣本具有遷移性，第三、四類方法的攻擊成功率仍然較低。但是，現(xiàn)實場景中的攻擊條件以黑盒條件居多，因此如何提高黑盒條件下的對抗樣本攻擊成功率，這仍然是一個有待深入研究的問題。

7 其他方法

以上涉及的對抗樣本生成方法是目前在對抗樣本領(lǐng)域比較主流的方法，隨著該領(lǐng)域的日趨活躍，涌現(xiàn)其他的對抗樣本生成方法，以下將作簡要介紹。

在白盒條件下，BIM[15]以迭代的方式，通過梯度上升的方法生成對抗樣本，而Shi 等[35]認為BIM 容易找到擾動較大的對抗樣本，他們提出Curls方法，該方法先以迭代的方式，通過梯度下降使樣本回到損失函數(shù)的局部最優(yōu)點，再通過梯度上升的方式生成對抗樣本，以增加找到與原樣本相似度高的對抗樣本的可能性。而文獻[36]以基于損失函數(shù)梯度的方法為基礎(chǔ)，在梯度計算前，以一定概率對圖像進行幾何變換，此方法緩和了對抗樣本的過擬合情況。文獻[37]在每次迭代過程中將樣本投影在以原樣本為中心的L2球面上，直至目標分類器分類錯誤，通過實驗結(jié)果表明，該方法能夠生成擾動更小的對抗樣本。在黑盒條件下，ZOO[38]在已知目標分類器輸出得分的前提下，利用有限差分法來估計目標分類器的梯度信息，并利用該梯度信息生成對抗樣本。文獻[39]僅需知道目標分類器的分類結(jié)果，迭代始于一個較大擾動的對抗樣本，然后在保證當前迭代樣本仍是對抗樣本的前提下，逐步減小擾動大小以得到與原樣本相似度更高的對抗樣本。Guo 等[40]證明在樣本空間中的低維子空間中存在大量對抗性擾動，其利用離散余弦變換找到該子空間，并在該子空間中施加擾動生成對抗樣本，該方法有效降低了對抗樣本生成方法的復(fù)雜性。

8 結(jié)束語

基于深度神經(jīng)網(wǎng)絡(luò)的分類器存在脆弱性，利用這種脆弱性并通過一定的技術(shù)手段能生成對抗樣本，這些對抗樣本有可能會危害到深度學(xué)習(xí)系統(tǒng)的應(yīng)用。因此，深入分析對抗樣本的生成方法和技術(shù)手段，對于完善深度神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計，彌補分類器的脆弱性，有重要的意義。針對基于深度神經(jīng)網(wǎng)絡(luò)的分類器，本文綜述了現(xiàn)有的對抗樣本生成方法和實現(xiàn)技術(shù)。按照“攻擊條件”和“攻擊目標”將對抗樣本生成方法分為四類，并詳細介紹了這四類對抗樣本生成方法的基本思想、實現(xiàn)原理和技術(shù)，歸納對比了它們各自特點，包括適用場景、優(yōu)點和缺點等。

本文只分析了目前主要的對抗樣本生成方法，可能遺漏了一些小眾的方法。隨著深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用的不斷深入，會出現(xiàn)更多的對抗樣本生成技術(shù)，及時理解和掌握不斷涌現(xiàn)的新的對抗樣本生成技術(shù)將是一個長期的研究課題。