懷亞特·霍夫曼

（美國(guó)安全與新興技術(shù)中心）

曾 杰 譯

（中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引 言

網(wǎng)絡(luò)防御能力正在努力跟上更先進(jìn)的網(wǎng)絡(luò)進(jìn)攻能力的發(fā)展步伐。人工智能——特別是尖端的機(jī)器學(xué)習(xí)（Machine Learning，ML）方法——已被用來(lái)減輕網(wǎng)絡(luò)防御者的負(fù)擔(dān)。對(duì)網(wǎng)絡(luò)防御者而言，機(jī)器學(xué)習(xí)是一項(xiàng)優(yōu)勢(shì)還是問(wèn)題，將取決于自動(dòng)化的網(wǎng)絡(luò)防御系統(tǒng)能否應(yīng)對(duì)愈演愈烈的各類能力。正如美國(guó)人工智能國(guó)家安全委員會(huì)（National Security Commission on Artificial Intelligence，NSCAI）警告稱，“在不使用人工智能的情況下，對(duì)抗以機(jī)器速度運(yùn)行，并且具有人工智能能力的對(duì)手將是一場(chǎng)災(zāi)難”。面對(duì)成倍增加和升級(jí)的網(wǎng)絡(luò)威脅，創(chuàng)新性的機(jī)器學(xué)習(xí)方法已證明它們對(duì)網(wǎng)絡(luò)安全的價(jià)值，但很難保證大規(guī)模部署具備機(jī)器學(xué)習(xí)能力的防御系統(tǒng)就一定能抗衡靈活多變的攻擊者。為了保障網(wǎng)絡(luò)安全，系統(tǒng)必須在接連不斷的網(wǎng)絡(luò)攻擊壓力下可靠地執(zhí)行機(jī)器學(xué)習(xí)功能。與此同時(shí)，機(jī)器學(xué)習(xí)也帶來(lái)了新的安全挑戰(zhàn)。機(jī)器學(xué)習(xí)型系統(tǒng)可依靠數(shù)據(jù)模式來(lái)開(kāi)發(fā)預(yù)測(cè)模型，這種方法可能非常有效，但也使機(jī)器學(xué)習(xí)型系統(tǒng)容易受到錯(cuò)誤和惡意干擾的影響。能夠操縱數(shù)據(jù)輸入項(xiàng)的攻擊者可能會(huì)創(chuàng)建一種欺騙性的數(shù)據(jù)模式來(lái)攻擊預(yù)測(cè)模型，包括美國(guó)國(guó)家安全界在內(nèi)的各方也普遍承認(rèn)機(jī)器學(xué)習(xí)的這一弱點(diǎn)。因此，當(dāng)務(wù)之急就是開(kāi)發(fā)能夠防止欺騙性攻擊的穩(wěn)固性機(jī)器學(xué)習(xí)型系統(tǒng)，但各種穩(wěn)固性措施通常又會(huì)削弱機(jī)器學(xué)習(xí)型系統(tǒng)的準(zhǔn)確性。

這種在準(zhǔn)確性與穩(wěn)固性之間權(quán)衡的過(guò)程中帶來(lái)了一個(gè)問(wèn)題，例如，一套基于機(jī)器學(xué)習(xí)的防病毒系統(tǒng)通過(guò)不斷動(dòng)態(tài)調(diào)整，以抵御不斷發(fā)展的惡意軟件攻擊，與此同時(shí)，開(kāi)發(fā)人員可以細(xì)致地監(jiān)管該系統(tǒng)，并加強(qiáng)其防范欺騙性攻擊的能力，但這樣又會(huì)妨礙該系統(tǒng)準(zhǔn)確檢測(cè)出新的惡意軟件。由此可見(jiàn)，在部署機(jī)器學(xué)習(xí)型系統(tǒng)以應(yīng)對(duì)復(fù)雜多變的威脅時(shí)，監(jiān)管方需要不斷在不同風(fēng)險(xiǎn)之間進(jìn)行取舍。

本報(bào)告重點(diǎn)關(guān)注了基于自動(dòng)化機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)防御而出現(xiàn)的挑戰(zhàn)，要想預(yù)見(jiàn)大規(guī)模部署機(jī)器學(xué)習(xí)型系統(tǒng)將如何影響網(wǎng)絡(luò)進(jìn)攻和防御，須了解機(jī)器學(xué)習(xí)在技術(shù)上的取舍問(wèn)題及此類系統(tǒng)的局限性。

1 通過(guò)機(jī)器學(xué)習(xí)為網(wǎng)絡(luò)防御創(chuàng)造公平的對(duì)抗環(huán)境

機(jī)器學(xué)習(xí)型系統(tǒng)能在大量的數(shù)據(jù)中發(fā)現(xiàn)模式，這些模式對(duì)于在不確定的情況下進(jìn)行預(yù)測(cè)非常有用。在從圖像分類到復(fù)雜策略博弈的任務(wù)中，它們可以達(dá)到或超過(guò)人類的能力，應(yīng)用到網(wǎng)絡(luò)安全方面就能形成檢測(cè)能力，從而大大提高攻擊者的門檻。例如，入侵檢測(cè)系統(tǒng)可以利用大量網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)來(lái)定義正常行為的基線，以幫助網(wǎng)絡(luò)防御者更快、更準(zhǔn)確地發(fā)現(xiàn)異常。攻擊者不僅需要避免明顯的危險(xiǎn)信號(hào)，還需要在更細(xì)微的層面上維持活動(dòng)的合法表象。惡意軟件的檢測(cè)同樣也受益于“能夠通過(guò)大量數(shù)據(jù)集來(lái)發(fā)現(xiàn)更廣泛的模式，從而區(qū)分惡意代碼和良性代碼”的系統(tǒng)。網(wǎng)絡(luò)安全服務(wù)通常使用機(jī)器學(xué)習(xí)來(lái)幫助分析惡意軟件，例如，識(shí)別類似的惡意樣本集，并將其與已知的惡意軟件進(jìn)行匹配。傳統(tǒng)的防病毒系統(tǒng)很難跟上攻擊者更新代碼的速度，而在理想情況下，啟用機(jī)器學(xué)習(xí)型系統(tǒng)將能通過(guò)識(shí)別更深層次的模式（這些模式具有惡意代碼的特征）來(lái)檢測(cè)未被發(fā)現(xiàn)的惡意軟件。

機(jī)器學(xué)習(xí)不僅具有自動(dòng)檢測(cè)的潛力，還具有主動(dòng)防御攻擊的潛力。從理論上講，機(jī)器學(xué)習(xí)可以通過(guò)動(dòng)態(tài)調(diào)整來(lái)干擾或減輕攻擊。被稱為“蜜罐”的誘餌數(shù)據(jù)或誘餌網(wǎng)絡(luò)早即有之，但機(jī)器學(xué)習(xí)可以使它們適應(yīng)持續(xù)不斷的攻擊，更有效地引誘攻擊者，使他們暴露自己的能力。研究人員正在試驗(yàn)一種系統(tǒng)，可以動(dòng)態(tài)地對(duì)網(wǎng)絡(luò)進(jìn)行自動(dòng)重新配置，以阻止攻擊者的操作。

防御性應(yīng)用程序可以消除攻擊者長(zhǎng)期以來(lái)享有的不對(duì)稱優(yōu)勢(shì)，包括攻擊者能夠仔細(xì)規(guī)劃作戰(zhàn)并突襲防御者，一旦進(jìn)入網(wǎng)絡(luò)，惡意軟件就能在可預(yù)測(cè)的目標(biāo)環(huán)境下實(shí)現(xiàn)自適應(yīng)，并不斷調(diào)整能力以突破防御。機(jī)器學(xué)習(xí)型防御系統(tǒng)可以預(yù)見(jiàn)未來(lái)的攻擊并立即做出反應(yīng)，其能意識(shí)到防御者潛在的“主場(chǎng)優(yōu)勢(shì)”，并對(duì)攻擊者采取突然襲擊和欺騙手段。

然而，機(jī)器學(xué)習(xí)面臨的真正考驗(yàn)是能否應(yīng)對(duì)攻擊者不斷調(diào)整戰(zhàn)術(shù)的攻擊方式（包括針對(duì)機(jī)器學(xué)習(xí)模型本身缺陷的攻擊）。高水平的攻擊者甚至利用機(jī)器學(xué)習(xí)本身發(fā)起攻擊。例如，攻擊者可能利用機(jī)器學(xué)習(xí)功能，研究如何在目標(biāo)環(huán)境中隱藏攻擊或偽裝與命令和控制服務(wù)器之間的通信，以達(dá)到欺騙入侵檢測(cè)系統(tǒng)的目的。因此，機(jī)器學(xué)習(xí)能否為網(wǎng)絡(luò)防御創(chuàng)造公平的對(duì)抗環(huán)境，關(guān)鍵取決于它是否有能力抵御系統(tǒng)性的攻擊。

2 機(jī)器學(xué)習(xí)型網(wǎng)絡(luò)防御面臨的問(wèn)題

即使是最復(fù)雜的機(jī)器學(xué)習(xí)型系統(tǒng)，也常常容易受到欺騙。攻擊者可以通過(guò)將惡意軟件偽裝成正常軟件來(lái)規(guī)避基于機(jī)器學(xué)習(xí)的惡意軟件分析，或者通過(guò)模仿正常的用戶行為來(lái)欺騙入侵檢測(cè)系統(tǒng)。因此，基于機(jī)器學(xué)習(xí)型防御必須具有抵抗能力，這意味著它們?cè)诿鎸?duì)這種欺騙時(shí)仍能可靠地執(zhí)行，與此同時(shí)，機(jī)器學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)防御也會(huì)面臨諸多問(wèn)題。

2.1 機(jī)器學(xué)習(xí)中的漏洞

機(jī)器學(xué)習(xí)型系統(tǒng)會(huì)在數(shù)據(jù)中尋找對(duì)預(yù)測(cè)有用的模式或統(tǒng)計(jì)規(guī)律。為了最大限度地提高其預(yù)測(cè)的準(zhǔn)確性，系統(tǒng)將尋找任何有用的模式，不管它們是否會(huì)導(dǎo)致錯(cuò)誤。例如，一種圖像分類器可根據(jù)圖像中是否有雪來(lái)學(xué)習(xí)如何區(qū)分狼和哈士奇。準(zhǔn)確分類訓(xùn)練數(shù)據(jù)集的最有效方法就是在數(shù)據(jù)集中納入許多有雪的狼圖像和沒(méi)有雪的哈士奇圖像。但是，當(dāng)遇到更具代表性的訓(xùn)練集或蓄意欺騙時(shí)，這種關(guān)聯(lián)性可能會(huì)導(dǎo)致系統(tǒng)出錯(cuò)。攻擊者可以發(fā)現(xiàn)此漏洞，從而創(chuàng)建一個(gè)欺騙性輸入項(xiàng)，例如，在哈士奇圖像中添加像雪一樣的圖像以混淆識(shí)別。在機(jī)器學(xué)習(xí)的研究中充滿了這樣的“對(duì)抗性樣例”，研究人員為了改變模型的預(yù)測(cè)結(jié)果而創(chuàng)建欺騙性輸入項(xiàng)。越來(lái)越多的文獻(xiàn)證明這類攻擊蔓延到了垃圾郵件過(guò)濾器、惡意軟件及入侵檢測(cè)系統(tǒng)等一系列網(wǎng)絡(luò)安全應(yīng)用程序。

機(jī)器學(xué)習(xí)型系統(tǒng)易受到寫入代碼中的錯(cuò)誤、軟件漏洞等欺騙。更準(zhǔn)確地說(shuō)，機(jī)器學(xué)習(xí)型系統(tǒng)依賴于識(shí)別關(guān)聯(lián)性，而不是理解因果關(guān)系，但在數(shù)據(jù)中常常充斥著虛假關(guān)聯(lián)（例如“雪”和“狼”之間的關(guān)聯(lián)），這些關(guān)聯(lián)雖然源于有用的經(jīng)驗(yàn)法則，但并不總是準(zhǔn)確的。事實(shí)上，一些研究人員將對(duì)抗性示例描述為機(jī)器學(xué)習(xí)的“特性而非漏洞”，因?yàn)樗鼈冏C明了系統(tǒng)已經(jīng)學(xué)會(huì)了一種可供預(yù)測(cè)的模式。即使被攻擊者利用的圖像可以欺騙機(jī)器學(xué)習(xí)型系統(tǒng)，系統(tǒng)也在做它應(yīng)該做的事情——根據(jù)關(guān)聯(lián)進(jìn)行預(yù)測(cè)。

由于某種程度上，基于識(shí)別關(guān)聯(lián)性進(jìn)行預(yù)測(cè)是機(jī)器學(xué)習(xí)型系統(tǒng)的固有特性，因此，當(dāng)前還未研究出容易的方法來(lái)防止這些漏洞的出現(xiàn)。在實(shí)踐中，很難看出機(jī)器學(xué)習(xí)型系統(tǒng)何時(shí)學(xué)會(huì)了虛假關(guān)聯(lián)（例如“雪”和“狼”之間的關(guān)聯(lián)），但可能欺騙系統(tǒng)的輸入項(xiàng)組合數(shù)不勝數(shù)，因此也不可能通過(guò)測(cè)試每一組合來(lái)找出漏洞。這些挑戰(zhàn)促使人們尋找可靠的方法來(lái)抵御“對(duì)抗性樣例”，但收效甚微。

2.2 準(zhǔn)確性與穩(wěn)固性之間的取舍

研究人員找到了各種方法來(lái)清除虛假關(guān)聯(lián)，從而產(chǎn)生一個(gè)更能抵御攻擊的模型。然而，這樣做是以犧牲模型的總體準(zhǔn)確性為代價(jià)的。這似乎是因?yàn)榍笆鎏匦杂兄谠诓淮_定的情況下進(jìn)行預(yù)測(cè)。對(duì)于機(jī)器學(xué)習(xí)型系統(tǒng)來(lái)說(shuō)，像區(qū)分狼和哈士奇這樣的任務(wù)是艱巨的。開(kāi)發(fā)者可以專門制作數(shù)據(jù)讓訓(xùn)練系統(tǒng)不要依賴雪作為指標(biāo)，但如果沒(méi)有這個(gè)指標(biāo)，系統(tǒng)就很難識(shí)別狼和哈士奇。換句話說(shuō)，這個(gè)系統(tǒng)可能不太容易受到欺騙，但在執(zhí)行主要任務(wù)時(shí)其效率也較低。

為了穩(wěn)固性犧牲一些準(zhǔn)確性可能是值得的，但在某些情況下，這會(huì)造成兩難的局面。設(shè)想一個(gè)與自動(dòng)駕駛汽車有關(guān)的案例，開(kāi)發(fā)人員需要在兩套系統(tǒng)之間做出選擇，一套是每百萬(wàn)英里（在正常情況下）發(fā)生一次事故的系統(tǒng)，另一個(gè)是每十萬(wàn)英里發(fā)生一次事故但更能抵御網(wǎng)絡(luò)攻擊的系統(tǒng)。后者可能更穩(wěn)固，因?yàn)樗苊庖蕾嚹承┠Ｊ?，使攻擊者更難實(shí)施欺騙，但同時(shí)也增加了系統(tǒng)在這些條件下出錯(cuò)的風(fēng)險(xiǎn)。鑒于此，如果開(kāi)發(fā)人員評(píng)估認(rèn)為，某一威脅行為體不太可能有高明的手段和充分的動(dòng)機(jī)發(fā)動(dòng)攻擊，那么開(kāi)發(fā)人員可能會(huì)合理地選擇前一套系統(tǒng)；如果在面臨嚴(yán)重的惡意攻擊威脅時(shí)，那么為了提升穩(wěn)固性而犧牲一些準(zhǔn)確性也未嘗不可。

但如果模型所要預(yù)測(cè)的正是對(duì)手的反預(yù)測(cè)行為呢？在這種情況下，在準(zhǔn)確性與穩(wěn)固性之間取舍相當(dāng)于對(duì)不同類型的惡意威脅進(jìn)行優(yōu)先級(jí)排序。例如，負(fù)責(zé)檢測(cè)惡意軟件、惡意命令和控制服務(wù)器之間的通信的機(jī)器學(xué)習(xí)型系統(tǒng)可能容易受到惡意軟件流量攻擊，而這些惡意軟件流量經(jīng)過(guò)攻擊者更改可以規(guī)避模型預(yù)測(cè)。開(kāi)發(fā)人員可以通過(guò)對(duì)抗性樣例來(lái)訓(xùn)練系統(tǒng)，使其不受此類攻擊的影響，但這實(shí)際上可能會(huì)使系統(tǒng)在檢測(cè)未更改的惡意軟件流量方面表現(xiàn)得更加糟糕。

最大限度地提高防病毒系統(tǒng)的準(zhǔn)確性可能會(huì)提高其總體檢出率，同時(shí)又難免使其更容易受到欺騙性攻擊（例如試圖將惡意軟件偽裝成合法文件的攻擊）。研究人員成功演示了對(duì)高度準(zhǔn)確、部署了機(jī)器學(xué)習(xí)功能的防病毒系統(tǒng)進(jìn)行攻擊，同時(shí)對(duì)該防病毒系統(tǒng)進(jìn)行了逆向工程研究，結(jié)果發(fā)現(xiàn)該模型已經(jīng)學(xué)會(huì)了將某些字符序列與良性文件牢牢關(guān)聯(lián)到一起的強(qiáng)烈關(guān)聯(lián)。他們只需將這些序列附加到惡意文件中，就可以欺騙系統(tǒng)將其歸類為良性文件。為消除此類盲點(diǎn)而精心設(shè)計(jì)的系統(tǒng)可能不易受到此類欺騙，但通常也更容易發(fā)生漏報(bào)（系統(tǒng)未檢出某一惡意軟件）或誤報(bào)（系統(tǒng)將良性文件錯(cuò)誤標(biāo)記為惡意文件）。

2.3 機(jī)器學(xué)習(xí)型網(wǎng)絡(luò)防御的持續(xù)平衡

即使在有利的條件下，也很難在不同的系統(tǒng)風(fēng)險(xiǎn)之間做出足夠平衡的取舍。面對(duì)不斷演變的網(wǎng)絡(luò)威脅，這將成為一個(gè)特別棘手的問(wèn)題，原因如下文所述。

第一，攻擊者可以不斷地試探防御，以搜索機(jī)器學(xué)習(xí)型系統(tǒng)中的漏洞。如果進(jìn)行多次嘗試，他們很可能利用漏洞成功地避開(kāi)高準(zhǔn)確度的機(jī)器學(xué)習(xí)型系統(tǒng)。此外，網(wǎng)絡(luò)安全領(lǐng)域有許多攻擊者會(huì)相互觀察和學(xué)習(xí)彼此的成敗經(jīng)驗(yàn)。由于針對(duì)某一機(jī)器學(xué)習(xí)模型的欺騙性輸入項(xiàng)通常也能欺騙為執(zhí)行同一任務(wù)而訓(xùn)練的其他模型，因此，攻擊者可能對(duì)一個(gè)機(jī)器學(xué)習(xí)型系統(tǒng)進(jìn)行反復(fù)攻擊，并從中吸取有用的經(jīng)驗(yàn)教訓(xùn)，進(jìn)而研究出能欺騙其他系統(tǒng)的手段。換句話說(shuō)，防御者不能僅僅因?yàn)楣粽邲](méi)有試探過(guò)他們的機(jī)器學(xué)習(xí)型系統(tǒng)，就認(rèn)為攻擊者無(wú)法對(duì)其進(jìn)行欺騙和攻擊。

第二，攻擊者塑造了用于訓(xùn)練系統(tǒng)以檢測(cè)惡意行為的數(shù)據(jù)。攻擊者可以通過(guò)輸入數(shù)據(jù)來(lái)“毒害”機(jī)器學(xué)習(xí)型系統(tǒng)，這些數(shù)據(jù)將導(dǎo)致機(jī)器學(xué)習(xí)型系統(tǒng)學(xué)習(xí)某種關(guān)聯(lián)，而這種關(guān)聯(lián)會(huì)使該系統(tǒng)在日后難以抵御相應(yīng)的攻擊。例如，攻擊者可能試圖通過(guò)使機(jī)器學(xué)習(xí)型系統(tǒng)習(xí)慣于網(wǎng)絡(luò)中存在攻擊者，以此來(lái)誤導(dǎo)入侵檢測(cè)系統(tǒng)。在部署中不斷學(xué)習(xí)的機(jī)器學(xué)習(xí)型系統(tǒng)必須既能適應(yīng)對(duì)手的行為，又能識(shí)破對(duì)手的欺騙。

第三，不斷變化的進(jìn)攻能力等因素使得環(huán)境變得更加復(fù)雜。就像識(shí)別狼和哈士奇一樣，用于描述正常網(wǎng)絡(luò)行為或常見(jiàn)惡意軟件的數(shù)據(jù)很快就會(huì)過(guò)時(shí)。為應(yīng)對(duì)持續(xù)威脅而部署的大規(guī)模網(wǎng)絡(luò)防御系統(tǒng)可能需要在部署時(shí)進(jìn)行不斷學(xué)習(xí)和適應(yīng)，這意味著要通過(guò)不斷地接受新的培訓(xùn)數(shù)據(jù)來(lái)動(dòng)態(tài)更新模型，達(dá)到應(yīng)對(duì)持續(xù)威脅的效果，同時(shí)攻擊者也在試圖智取此類系統(tǒng)或積極擾亂其適應(yīng)過(guò)程。

3 如何使機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)防御中發(fā)揮作用

機(jī)器學(xué)習(xí)將是網(wǎng)絡(luò)防御者應(yīng)對(duì)網(wǎng)絡(luò)攻擊的重要武器之一。但是，安全地部署機(jī)器學(xué)習(xí)型系統(tǒng)需要網(wǎng)絡(luò)防御者持續(xù)管理此類系統(tǒng)的動(dòng)態(tài)平衡行為。相關(guān)的政策和戰(zhàn)略應(yīng)幫助網(wǎng)絡(luò)防御者有理有據(jù)地對(duì)機(jī)器學(xué)習(xí)的特性進(jìn)行取舍。政府希望塑造新興的機(jī)器學(xué)習(xí)型網(wǎng)絡(luò)安全生態(tài)系統(tǒng)的發(fā)展軌跡，從而改善網(wǎng)絡(luò)防御者的處境，對(duì)此，本節(jié)提出以下3點(diǎn)建議以供參考。

3.1 將安全性融入機(jī)器學(xué)習(xí)型網(wǎng)絡(luò)安全應(yīng)用程序的設(shè)計(jì)和開(kāi)發(fā)過(guò)程中

一般來(lái)說(shuō)，機(jī)器學(xué)習(xí)型應(yīng)用程序的開(kāi)發(fā)是以最有效的方式、最大限度地提高準(zhǔn)確性為目標(biāo)的。為實(shí)現(xiàn)網(wǎng)絡(luò)安全，機(jī)器學(xué)習(xí)型系統(tǒng)不僅需要做出準(zhǔn)確的預(yù)測(cè)，還需要在不斷變化的環(huán)境條件和對(duì)抗性干擾的持續(xù)壓力下進(jìn)行可靠的預(yù)測(cè)。要想克服這些挑戰(zhàn)，就要?jiǎng)?chuàng)造一種適應(yīng)于網(wǎng)絡(luò)安全背景下的“動(dòng)態(tài)—對(duì)抗性學(xué)習(xí)模式”。在設(shè)計(jì)、測(cè)試到部署和更新的過(guò)程中，始終將安全性視為“循環(huán)往復(fù)的過(guò)程”的整體方法，而穩(wěn)固性和準(zhǔn)確性均是其優(yōu)先考慮的因素。

將這一方法付諸實(shí)施需要融合機(jī)器學(xué)習(xí)安全和網(wǎng)絡(luò)安全來(lái)進(jìn)行研究，主要體現(xiàn)在3個(gè)研究領(lǐng)域。一是通過(guò)為特定的網(wǎng)絡(luò)安全應(yīng)用程序開(kāi)發(fā)現(xiàn)實(shí)的威脅模型來(lái)理解威脅。防御者需要評(píng)估相對(duì)威脅，例如，一些攻擊者能夠直接試探已部署的機(jī)器學(xué)習(xí)型系統(tǒng)，與之相對(duì)的是另一些攻擊者可能只能間接了解上述模型。二是確定關(guān)鍵的穩(wěn)固性，并開(kāi)發(fā)度量和驗(yàn)證它們的方法。具體來(lái)說(shuō)，開(kāi)發(fā)人員需要通過(guò)各種技術(shù)來(lái)證明“全局”的穩(wěn)固性不會(huì)因部署過(guò)程中的模型學(xué)習(xí)變化而失效。一位專家將機(jī)器學(xué)習(xí)的安全現(xiàn)狀與20世紀(jì)20年代的密碼學(xué)進(jìn)行了比較：不僅最安全的系統(tǒng)很容易被打破，研究人員甚至缺乏正確評(píng)估安全性的指標(biāo)。三是開(kāi)發(fā)更廣泛的系統(tǒng)級(jí)防御，以檢測(cè)或防止可能破壞模型的攻擊。這些措施包括檢測(cè)試圖試探系統(tǒng)的行為，并防止系統(tǒng)向試圖對(duì)其進(jìn)行逆向工程研究的攻擊者“泄露”信息。整體防御方法既需要減少模型中的漏洞，又需要采取措施防止攻擊者發(fā)現(xiàn)和利用仍然存在的漏洞。

3.2 通過(guò)系統(tǒng)多樣性和冗余性提高彈性

網(wǎng)絡(luò)防御將受益于對(duì)機(jī)器學(xué)習(xí)創(chuàng)新方法的進(jìn)一步研究，這些創(chuàng)新方法在系統(tǒng)的設(shè)計(jì)和實(shí)施中融入了多樣性和冗余性。例如，網(wǎng)絡(luò)安全供應(yīng)商F-Secure的“BlackfinProject”尋求開(kāi)發(fā)多個(gè)機(jī)器學(xué)習(xí)型智能體，對(duì)網(wǎng)絡(luò)環(huán)境的不同方面進(jìn)行建模，并通過(guò)協(xié)同工作以識(shí)別網(wǎng)絡(luò)入侵。通過(guò)把依賴于不同模式或不同感知方式的多個(gè)模型組合在一起，所產(chǎn)生的系統(tǒng)可能比檢視相同數(shù)據(jù)的一堆模型更不易受到欺騙。

即使有了更好的工具來(lái)提高穩(wěn)固性，機(jī)器學(xué)習(xí)型系統(tǒng)也不會(huì)萬(wàn)無(wú)一失。如上所述，供應(yīng)商通常依賴多種工具和技術(shù)，包括基于機(jī)器學(xué)習(xí)的工具和技術(shù)。但是，隨著對(duì)機(jī)器學(xué)習(xí)型系統(tǒng)的日益依賴，決策者必須確立各種風(fēng)險(xiǎn)容忍閾值，以指導(dǎo)在何處如何依賴機(jī)器學(xué)習(xí)型系統(tǒng)，以及何時(shí)使用非機(jī)器學(xué)習(xí)工具和保障措施以作為補(bǔ)充。

3.3 警惕戰(zhàn)略競(jìng)爭(zhēng)對(duì)手企圖破壞機(jī)器學(xué)習(xí)的發(fā)展

網(wǎng)絡(luò)防御者對(duì)機(jī)器學(xué)習(xí)的依賴將大大吸引對(duì)手（尤其是試圖利用機(jī)器學(xué)習(xí)展開(kāi)網(wǎng)絡(luò)行動(dòng)的國(guó)家行為體）設(shè)法擾亂機(jī)器學(xué)習(xí)的發(fā)展過(guò)程。即使只知道目標(biāo)模型的參數(shù)、體系結(jié)構(gòu)或訓(xùn)練數(shù)據(jù)和方法的一部分，也將會(huì)降低攻擊機(jī)器學(xué)習(xí)型系統(tǒng)的難度。

在技術(shù)層面上，網(wǎng)絡(luò)攻擊者將設(shè)法獲取培訓(xùn)數(shù)據(jù)集，滲透進(jìn)商業(yè)項(xiàng)目或開(kāi)源項(xiàng)目，或者簡(jiǎn)單地通過(guò)購(gòu)買產(chǎn)品進(jìn)行逆向工程研究，以此尋找機(jī)會(huì)獲取有關(guān)機(jī)器學(xué)習(xí)型系統(tǒng)內(nèi)部工作方式的情報(bào)。他們甚至可能在模型中插入后門，而這些后門會(huì)隨模型進(jìn)入部署的防御系統(tǒng)中，從而破壞機(jī)器學(xué)習(xí)型系統(tǒng)。

在戰(zhàn)術(shù)層面上，防御的成功與否將取決于政府和私營(yíng)部門之間的協(xié)調(diào)，更具體地說(shuō)，將取決于能否通過(guò)這種協(xié)調(diào)，在部署防御系統(tǒng)之前就預(yù)測(cè)和挫敗旨在那些極具破壞性的攻擊行動(dòng)。供應(yīng)商必須仔細(xì)檢查和保護(hù)對(duì)其服務(wù)完整性至關(guān)重要的數(shù)據(jù)和組件。政府機(jī)構(gòu)應(yīng)探討如何努力確保供應(yīng)鏈的安全，并防止網(wǎng)絡(luò)攻擊者獲取包括機(jī)器學(xué)習(xí)能力在內(nèi)的敏感技術(shù)和數(shù)據(jù)。

4 結(jié) 語(yǔ)

人工智能不是網(wǎng)絡(luò)安全的靈丹妙藥，但卻可能成為網(wǎng)絡(luò)安全中不可或缺的一環(huán)?，F(xiàn)有的機(jī)器學(xué)習(xí)方法不是為保障安全性而設(shè)計(jì)的，更不是為一個(gè)以不斷變化和欺騙為特征的環(huán)境而設(shè)計(jì)的。機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全方面發(fā)揮著日益重要的作用，同時(shí)也提出了一個(gè)嚴(yán)重的問(wèn)題：當(dāng)前在機(jī)器學(xué)習(xí)的設(shè)計(jì)和實(shí)現(xiàn)方面所做的選擇，或多或少會(huì)影響網(wǎng)絡(luò)防御者所處的局面。

要想贏得這一挑戰(zhàn)，就得開(kāi)展協(xié)同合作，以便使機(jī)器學(xué)習(xí)安全領(lǐng)域和網(wǎng)絡(luò)安全領(lǐng)域的各類研究及從業(yè)人員能夠跨越彼此間的鴻溝。與此同時(shí)，決策者需要考慮如何引導(dǎo)開(kāi)發(fā)和使用機(jī)器學(xué)習(xí)功能的利益相關(guān)者不要僅著眼于效率，而是優(yōu)先考慮安全問(wèn)題。若能積極主動(dòng)地管理大規(guī)模的機(jī)器學(xué)習(xí)型網(wǎng)絡(luò)防御問(wèn)題，就能為網(wǎng)絡(luò)防御者開(kāi)創(chuàng)更好的局面。