鄒軍華，段曄鑫，2，任傳倫，邱俊洋，周星宇，潘志松

（1.陸軍工程大學(xué)指揮控制工程學(xué)院，江蘇南京 210007；2.陸軍軍事交通學(xué)院鎮(zhèn)江校區(qū)，江蘇鎮(zhèn)江 212003；3.華北計算技術(shù)研究所，北京 100083；4.江南計算所數(shù)字工程與先進計算國家重點實驗室，江蘇無錫 214083）

1 引言

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNNs）在圖像分類［1］、目標(biāo)檢測［2］等領(lǐng)域取得了巨大突破，但相關(guān)研究表明DNNs 存在著脆弱性，容易被精心設(shè)計的對抗樣本［3］所攻擊.進一步的研究表明，對抗樣本具有遷移性［4］，即針對某個DNN 生成的對抗樣本，同樣可以讓其他未知的DNNs 輸出錯誤結(jié)果.對抗樣本還能威脅現(xiàn)實應(yīng)用［5］，因此大量研究致力于提高DNNs 的防御能力，如對抗訓(xùn)練［6］、樣本去噪聲［7］、樣本轉(zhuǎn)換［8］和其他方法［9］.綜上所述，對于對抗樣本遷移性的研究，有助于提高DNNs的魯棒性，并使得現(xiàn)實應(yīng)用更加可靠.

Foolbox［10］將對抗樣本的生成方法分為3 種：基于梯度的方法［11］、基于分?jǐn)?shù)的方法［12］、基于輸出的方法［13］.其中基于梯度的生成方法主要依靠對抗樣本的遷移性來實現(xiàn)對黑盒DNNs 的攻擊.本文主要研究對抗樣本的遷移性，具體為分類任務(wù)中基于梯度的對抗樣本生成方法.現(xiàn)有方法可以相互組合，形成更具遷移性能的攻擊.例如，現(xiàn)有較強的攻擊組合NI-TI-DIM 由Nesterov 算法［14］、動量算法［11］、樣本多樣化方法［15］和平移不變方法［16］組合而成.

目前，隨機噪聲初始化［10］是僅有的對抗噪聲初始化方法.本文提出噪聲初始化方法，通過像素偏移方法來預(yù)先增強干凈樣本的攻擊性能.同時，本文提出基于Adam-Nesterov 方法和準(zhǔn)雙曲動量方法的對抗樣本生成方法，以對抗樣本的遷移性能.現(xiàn)有的Nesterov 算法［14］可理解為標(biāo)準(zhǔn)動量在求解梯度之前添加了一個臨時的校正因子，但每次迭代中的Nesterov 動量共享一個相同的學(xué)習(xí)率.而本文基于Adam-Nesterov 方法的對抗樣本生成方法，可以自適應(yīng)地調(diào)整學(xué)習(xí)率，且Nesterov 動量中的每個權(quán)值都有獨立的學(xué)習(xí)率.此外，本文將準(zhǔn)雙曲動量算法用于對抗樣本生成，取代常規(guī)動量算法［11］.以NI-TI-DIM 為例，對抗樣本生成框架及本文方法所改進的位置如圖1 所示.本文在梯度計算前，將噪聲初始化操作作為一個模塊加入其中，并用準(zhǔn)雙曲動量算法和Adam-Nesterov 方法分別取代動量方法［11］和Nesterov 算法［14］.實驗表明，結(jié)合了本文方法的攻擊組合能生成攻擊成功率更高的對抗樣本.同時，實驗表明，3種方法都沒有額外增加對抗樣本生成所需的運行時間和運算資源.

圖1 本文方法框圖

2 相關(guān)工作

2.1 對抗樣本問題的定義

對于一個已知訓(xùn)練好的深度分類器f(x)：x∈X →y∈Y，向其輸入干凈樣本x，分類器輸出正確的標(biāo)簽y.對抗攻擊是在干凈樣本x鄰域找出一個對抗樣本xadv，使得分類器輸出錯誤的標(biāo)簽.對抗攻擊分為無目標(biāo)和有目標(biāo)攻擊，其中，無目標(biāo)對抗樣本能使得分類器的輸出標(biāo)簽不等于正確標(biāo)簽，即f(xadv) ≠y，有目標(biāo)對抗樣本能使得分類器的輸出標(biāo)簽等于目標(biāo)錯誤標(biāo)簽ytarget，即f(xadv)=ytarget≠y.通常情況下，為了讓干凈樣本x和對抗樣本xadv難以通過人眼進行區(qū)分，攻擊者會將干凈樣本x和對抗樣本xadv之間的Lp距離限制在足夠在足夠小的范圍ε內(nèi)，即‖xadv-x‖p≤ε，其中p可以是0，1，2或者∞.本文主要關(guān)注L∞條件下的無目標(biāo)攻擊方法.

對抗樣本具有遷移性，以無目標(biāo)攻擊為例，針對深度分類器f1(x)生成的對抗樣本xadv，不僅可以使f1(x)輸出錯誤的標(biāo)簽f1(xadv) ≠y，還可以使其他未知模型f2(x)，f3(x)，…，fn(x) 輸出錯誤的標(biāo)簽f2(xadv) ≠y，f3(xadv) ≠y，…，fn(xadv) ≠y.

2.2 基于梯度的對抗樣本生成方法

2.2.1 快速梯度符號方法

Goodfellow 等人提出的快速梯度符號方法（Fast Gradient Sign Method，F(xiàn)GSM）［3］解決了對抗樣本生成速度過慢的問題.FGSM 通過最大化損失函數(shù)J(x，y)來找出相應(yīng)的對抗樣本：

其中，?xJ(x，y)是損失函數(shù)對于x的梯度，ε是干凈樣本x和對抗樣本xadv的L∞距離的限制閾值.

2.2.2 多次迭代的快速梯度符號方法

Kurakin 等提出多次迭代的快速梯度符號方法（Iterative Fast Gradient Sign Method，I-FGSM）［17］，解決了FGSM 在白盒攻擊中成功率過低的問題.I-FGSM 以更小的步長α，通過T次迭代的方式重復(fù)快速梯度方法，從而找出白盒攻擊能力更強的對抗樣本.

其中，α為步長.對抗樣本通過Clipx，ε{·}方程滿足L∞限制條件，并限制對抗樣本的每一個像素點于區(qū)間[0，255]內(nèi).Clipx，ε{·}的定義為

盡管I-FGSM 在白盒攻擊方面性能卓越，但在黑盒攻擊方面卻遠(yuǎn)差于FGSM.

2.2.3 基于動量方法的多次迭代快速梯度符號方法

Dong 等提出基于動量方法的多次迭代快速梯度符號方法（Momentum Iterative Fast Gradient Sign Method，MI-FGSM）［11］，緩解I-FGSM 遷移性能過低的問題.MIFGSM 將優(yōu)化算法中的動量算法應(yīng)用于對抗樣本生成中，其更新過程為

其中，gt+1為前t次迭代中累加的梯度，μ為動量系數(shù).

2.2.4 基于Nesterov 算法的多次迭代快速梯度符號方法

Lin 等提出基于Nesterov 算法的多次迭代快速梯度符號方法（Nesterov Iterative Fast Gradient Sign Method，NI-FGSM）［14］，增強了對抗樣本的遷移性能.初始化=x，g0=0后，其過程為

2.2.5 集成學(xué)習(xí)方法

Dong 等通過集成學(xué)習(xí)聯(lián)合多個模型共同生成對抗樣本［11］，其核心為融合所有K個模型的logits，并通過標(biāo)簽和融合的logits計算新的交叉熵?fù)p失.

其中，l(x)表示第k個模型的logits，wk表示集成系數(shù)，-1y表示標(biāo)簽的獨熱編碼.集成學(xué)習(xí)方法能大大提升對抗樣本的遷移性能，但也增加了對抗樣本生成的時間和資源.

2.2.6 樣本多樣化方法

Xie 等提出了樣本多樣化方法（Diverse Input Method，DIM）［15］，在每次迭代中，提前對輸入樣本進行隨機的多樣化轉(zhuǎn)換.其過程為

其中，s表示多樣化轉(zhuǎn)換后的樣本大小，p表示執(zhí)行轉(zhuǎn)換的概率.

2.2.7 平移不變方法

Dong 等提出了平移不變方法（Translation-Invariant Method，TIM）［16］，在每次迭代中，通過集成多個平移單個像素的樣本來提升對抗樣本遷移性能.同時，為了解決效率問題，Dong 等將這種樣本的集成等價為對梯度信息的高斯模糊.梯度信息的高斯模糊過程為

其中，W為一個預(yù)定義的高斯核.

2.2.8 尺度不變方法

Lin 等提出尺度不變方法（Scale-Invariant Method，SIM）［14］，這種方法相當(dāng)于在每次迭代中對輸入樣本進行數(shù)據(jù)增強，然后進行數(shù)據(jù)集成，最后進行梯度計算.這種方法大大提高了對抗樣本生成所需的時間和資源，違背了快速梯度符號方法的樣本快速生成初衷.

3 本文算法

3.1 對抗樣本噪聲初始化

深度學(xué)習(xí)中，對網(wǎng)絡(luò)權(quán)重進行初始化有利于模型的收斂.目前對抗噪聲初始化方法僅有隨機噪聲初始化，本文使用像素偏移方法對噪聲進行初始化處理.

其中，Tij(x)表示將圖像x位于(a，b)位置的像素值變換為(a-i，b-j)位置的像素值，且i，j取值范圍為{-k，…，0，…，k}，wij為每次變換的權(quán)重，而Clipx，ε{x'}限制x'的范圍并令xinit滿足

3.2 基于準(zhǔn)雙曲動量方法的多次迭代快速梯度符號方法

Ma 等在優(yōu)化領(lǐng)域提出了準(zhǔn)雙曲動量方法（Quasi-Hyperbolic Momentum，QHM）［18］，對比傳統(tǒng)的動量方法，QHM引入了滑動平均系數(shù)v，其更新過程為

其中，β為動量系數(shù).

本文將QHM 用于對抗樣本生成，取代原有的MIFGSM，形成基于準(zhǔn)雙曲動量方法的多次迭代快速梯度符號方法（Quasi-Hyperbolic Momentum Iterative Fast Gradient Sign Method，QHMI-FGSM）.QHMI-FGSM 將式（6）、式（7）轉(zhuǎn)化為

3.3 基于Adam-Nesterov 方法的多次迭代快速梯度符號方法

賈熹濱等在優(yōu)化領(lǐng)域提出了AdaDelta-Nesterov 動量方法［19］，這種方法通過梯度的均方根（Root Mean Squared，RMS），對學(xué)習(xí)率進行了自適應(yīng)約束，其過程為

其中，E[Δθ2]t表示前t-1 次迭代所有梯度的平方和，RMS[θ]t表示前t-1次迭代所有梯度的均方根，ρ表示滑動平均系數(shù)，?表示極小值.

本文將AdaDelta-Nesterov 方法應(yīng)用于對抗樣本生成中，形成基于AdaDelta-Nesterov 多次迭代快速梯度符號方法（AdaDelta-Nesterov Iterative Fast Gradient Sign Method，ADNI-FGSM）.ADNI-FGSM 在NI-FGSM 的基礎(chǔ)上融入了自適應(yīng)學(xué)習(xí)率，將式（8）優(yōu)化為

本文在ADNI-FGSM 的基礎(chǔ)上，進一步提出基于Adam-Nesterov 多次迭代快速梯度符號方法（Adam-Nesterov Iterative Fast Gradient Sign Method，ANIFGSM），用于生成對抗樣本.比較Adam［20］和AdaDelta［21］，Adam 在AdaDelta的基礎(chǔ)上融入動量法，并修正一階和二階動量估計的偏差，ANI-FGSM可表示為

其中，mt和vt分別為一階和二階動量估計，和分別為一階和二階動量估計的修正項，β1和β2分別為動量系數(shù)和分別為動量項修正系數(shù).實驗中，本文令

3.2 節(jié)和3.3 節(jié) 的QHMI-FGSM 和ANI-FGSM 屬于圖1 中對抗樣本生成框架中的兩個部分.QHMI-FGSM進行梯度運算后用于噪聲疊加，而ANI-FGSM 用于Nesterov項的生成.

3.4 對抗樣本生成算法

本節(jié)以ANI-TI-DIQHM*（噪聲初始化（3.1 節(jié)）、ANI-FGSM（3.3 節(jié)）、TIM、DIM、QHMI-FGSM（3.2 節(jié)）的組合）為例，其詳細(xì)過程如算法1所示.

4 實驗及結(jié)果分析

4.1 實驗?zāi)繕?biāo)

如圖1 所示，基于本文方法，實驗?zāi)繕?biāo)為以下4 個方面：

（1）通過對比生成時間，驗證本文方法對對抗樣本生成效率的影響；

（2）通過實驗，比較節(jié)3.3 中2 種方法ADNI-FGSM和ANI-FGSM的優(yōu)劣；

（3）通過消融實驗，驗證本文方法對對抗樣本遷移性能的影響；

（4）通過對比現(xiàn)有最好的攻擊方法，驗證本文方法的有效性.

4.2 實驗設(shè)置

4.2.1 數(shù)據(jù)集

本文實驗中使用的1000張樣本取自ImageNet的測試集，同時也與NIPS 2017 對抗大賽中使用的數(shù)據(jù)集相同.實驗中所有輸入干凈樣本和輸出對抗樣本的大小均為299×299×3.

4.2.2 模型

實驗共涉及13 個模型，其中4 個為Inception v3（Inc-v3）［22］，Inception v4（Inc-v4），Inception ResNet v2（IncRes-v2）［23］和ResNet v2-101（Res-v2-101）［1］，作為白盒模型用于生成對抗樣本.另外9 個為Inc-v3ens3，Inc-v3ens4，IncResv2ens［6］，NIPS 2017 對抗大賽中排名前三的防御方法（HGD［7］、R&P［8］、NIPS-r3*），F(xiàn)eature Distillation［24］，Comdefend［25］和Randomized Smoothing［26］，作為黑盒模型用于測試對抗樣本.防御模型中，Incv3ens3，Inc-v3ens4，IncResv2ens，HGD、R&P 和NIPS-r3是經(jīng)典的防御方法，用于全部實驗.而Feature Distillation，Comdefend 和Randomized Smoothing 是目前較為先進的防御方法，用于測試實驗中較強攻擊.

4.2.3 攻擊組合

通常情況下，對不同方法進行組合能增強對抗樣本的遷移性能.本文實驗的組合都是節(jié)2.2 中不同方法的組合，并與本文的三種方法進行橫向比較.各個攻擊組合的具體解釋如表1 所示.本文實驗均在TI-DIM和NI-TI-DIM 這兩個較強攻擊組合的基礎(chǔ)上進行，通過對抗樣本生成效率、消融實驗、單模型黑盒攻擊和多模型集成黑盒攻擊這四個方面，比較不同攻擊組合的運行時間和黑盒攻擊成功率.

表1 攻擊組合簡稱及其定義

4.2.4 損失函數(shù)與超參數(shù)

實驗中所有生成方法所采用的損失函數(shù)都是交叉熵?fù)p失函數(shù).所有實驗設(shè)置最大擾動量ε為16，迭代次數(shù)T為10，步長α=ε/T，高斯核W大小為15×15，轉(zhuǎn)換概率p為0.7，圖像轉(zhuǎn)換大小為330×330.本文方法的超參數(shù)則設(shè)置β=0.9，v=0.1，ρ=0.9，β1=0.12，β2=0.9，k=3.

4.3 攻擊組合的生成效率

通常情況下，對抗樣本生成存在運行時間和運算資源的限制，在同一條件下對比攻擊組合的生成效率，具有現(xiàn)實意義.本文比較表1 中所有攻擊組合的生成效率，實驗設(shè)備使用的CPU 為i7-6850K，GPU 為GTX 1080 Ti，分別比較單模型黑盒攻擊和多模型集成黑盒攻擊.各攻擊組合的生成效率（s）如表2 所示.可以發(fā)現(xiàn)，包含本文方法的攻擊組合不會增加額外的運行時間，而包含SIM 的攻擊組合SI-NI-DIM 和SI-NI-TI-DIM所需要的運行時間遠(yuǎn)超其他攻擊組合.因此，單模型和多模型集成攻擊實驗中，將不包括SI-NI-DIM 和SI-NITI-DIM.

表2 生成效率/s

4.4 消融實驗

本節(jié)通過消融實驗，驗證本文3種方法對對抗樣本遷移性能的影響.實驗以NI-TI-DIM 為基準(zhǔn)方法，集成Inception v3，Inception v4，Inception ResNet v2 和ResNet v2-101 4個白盒模型，逐步添加本文方法來生成對抗樣本，并攻擊Inc-v3ens3，Inc-v3ens4，IncResv2ens這3個黑盒防御模型.如表3 所示，逐步添加本文提出的3 種方法后，對抗樣本對黑盒防御模型的攻擊成功率逐步增加.實驗表明，本文的3 種方法都能提高對抗樣本的遷移性.

表3 消融實驗成功率/%

4.5 單模型黑盒攻擊

本節(jié)通過對比黑盒攻擊成功率，驗證QHMI-FGSM和ANI-FGSM 分別替換MI-FGSM 和NI-FGSM 的有效性，同時驗證噪聲初始化的有效性，以及比較ADNIFGSM和ANI-FGSM.單模型黑盒攻擊中，對比實驗分別以Inception v3，Inception v4，Inception ResNet v2 和ResNet v2-101為目標(biāo)模型，通過2組不同的攻擊組合生成對抗樣本，并攻擊6個不同的黑盒防御模型.

2組攻擊組合在單模型黑盒攻擊中的成功率如表4和表5 所示，在不增加運行時間和運算資源的前提下，與MI-FGSM、NI-FGSM 相比，單模型黑盒攻擊中QHMIFGSM 和ANI-FGSM 能和其他方法更好地組合，實現(xiàn)更高的黑盒攻擊成功率，即生成的對抗樣本具有更好的遷移性能.同時，噪聲初始化能在此基礎(chǔ)上，實現(xiàn)更高的黑盒攻擊成功率.此外，ANI-FGSM 在單模型對抗樣本生成中要優(yōu)于ADNI-FGSM.

表4 TI-DIM，TI-DIQHM和TI-DIQHM*單模型黑盒攻擊成功率/%

表5 NI-TI-DIM，ADNI-TI-DIQHM，ANI-TI-DIQHM和ANI-TI-DIQHM*單模型黑盒攻擊成功率/%

4.6 多模型集成黑盒攻擊

在多模型集成黑盒攻擊條件下，本節(jié)驗證QHMIFGSM 和ANI-FGSM 分別替換MI-FGSM 和NI-FGSM 的有效性，同時驗證噪聲初始化的有效性，以及比較ADNI-FGSM 和ANI-FGSM.實驗以Inception v3，Inception v4，Inception ResNet v2 和ResNet v2-101 的集成模型為目標(biāo)模型，通過不同的攻擊組合生成對抗樣本，并攻擊個不同的黑盒防御模型.

多模型黑盒攻擊中的成功率如表6 和表7 所示，與MI-FGSM 和NI-FGSM 比較，本文方法QHMI-FGSM 和ANI-FGSM 在多模型集成黑盒攻擊中，能和其他攻擊方法更好地組合，實現(xiàn)更高的黑盒攻擊成功率.而本文提出的噪聲初始化能提高黑盒攻擊成功率.此外，ANIFGSM 在多模型集成攻擊中要優(yōu)于ADNI-FGSM.最強攻擊組合ANI-TI-DIQHM*對經(jīng)典防御方法和較為先進的防御方法的平均黑盒攻擊成功率分別為88.68%和82.77%，均超過現(xiàn)有最高水平.

表6 多模型黑盒攻擊對經(jīng)典防御方法的成功率/%

表7 多模型黑盒攻擊對較為先進的防御方法的成功率/%

4.7 對抗樣本擾動量

擾動量大小是對抗樣本的一個重要衡量指標(biāo)，盡管對抗樣本滿足‖xadv-x‖∞≤ε的約束，但本文的目標(biāo)是在維持?jǐn)_動量大小的前提下，令本文方法生成的對抗樣本具有更高的黑盒攻擊成功率.因此，本節(jié)通過比較不同方法所生成的對抗樣本的平均擾動量，以及比較針對9個黑盒防御模型的平均成功率，來說明本文方法的有效性.不同方法所生成對抗樣本的平均擾動量和針對9 個黑盒防御模型的平均成功率比較如圖2 所示（ε=16）.

圖2 多模型集成黑盒攻擊對抗樣本的平均成功率和平均擾動量

由圖2 可以發(fā)現(xiàn)，對比TI-DIM 和NI-TI-DIM，本文方法不僅能提高對抗樣本的黑盒攻擊成功率，還能將對抗樣本的平均擾動量降低10%以上.

4.8 對抗樣本對比

為了驗證圖2的結(jié)果，本節(jié)對比不同方法生成的對抗樣本（ε=16）.由圖3 可以發(fā)現(xiàn)，本文方法所生成的對抗樣本與TI-DIM，NI-TI-DIM 所生成的對抗樣本相比，由于平均擾動量更低，其對抗噪聲形成的條紋更淡.然而無論是現(xiàn)有方法TI-DIM 和NI-TI-DIM，還是本文方法，對比干凈樣本，對抗樣本上的條紋都較為明顯.顯然，通過‖xadv-x‖∞≤ε去限制對抗樣本的擾動量是不夠的，平均擾動量可以作為參考指標(biāo)之一.在接下來的工作中，維持黑盒攻擊成功率，降低對抗樣本的平均擾動量，使得對抗樣本更具有威脅，是一項有意義的研究.

5 結(jié)論及展望

本文針對基于梯度的對抗樣本生成方法，提出基于噪聲初始化、Adam-Nesterov 方法和準(zhǔn)雙曲動量方法的對抗樣本生成方法.本文對對抗噪聲初始化進行研究，通過像素偏移方法來預(yù)先增強干凈樣本的攻擊性能.同時，本文使用Adam-Nesterov 方法和準(zhǔn)雙曲動量方法來改進現(xiàn)有生成方法中的Nesterov 方法和動量方法，實現(xiàn)更高的黑盒攻擊成功率.在不需要額外運行時間和運算資源的情況下，本文方法可以和其他的攻擊方法組合，并顯著提高了對抗樣本的黑盒攻擊成功率.實驗表明，本文的最強攻擊組合為ANI-TI-DIQHM*，其對經(jīng)典防御方法的平均黑盒攻擊成功率達(dá)到88.68%，對較為先進的防御方法的平均黑盒攻擊成功率達(dá)到82.77%，均超過現(xiàn)有最高水平.