譚婧

如今，信息以光速傳播，錯誤信息，混雜其間。小蒙小騙，大欺大詐，干擾選舉，煽動暴力，攪動政局……

謠言動動嘴，辟謠跑斷腿。還有一個噩耗，人工智能也摻和進(jìn)去了。

陽光普照，人工智能賦能百業(yè)千行，挽起袖子進(jìn)車間廠房，提起褲腿下田間地頭。陽光照不到的地方，在Boss直聘上高薪誠聘“資深人工智能算法專家”的也可能是黑色產(chǎn)業(yè)。

人工智能的進(jìn)步，導(dǎo)致計算機(jī)能隨心所欲地讓視頻中的人物“變臉”，人聲“變調(diào)”。有視頻和錄音“為證”，掀起一場徹底粉碎“不在場證據(jù)”的狂歡。

與此同時，數(shù)字偽造技術(shù)（Digital Content Forgery）也開始引發(fā)越來越多的探討。

深度偽造技術(shù)，是一次技術(shù)的濫用。啼笑皆非的是，這一技術(shù)的開源社區(qū)還非常活躍，軟件可以上網(wǎng)免費(fèi)用，“科技作惡”的門檻一降再降。

若以“假臉”論英雄，深度偽造，可謂風(fēng)光一時。殊不知，人工智能暗藏一股更強(qiáng)大的力量——對抗樣本（adversarial sample）技術(shù)。

掌握了對抗樣本，只戴一副打印的紙眼鏡，就可以“弄瞎”手機(jī)鎖屏的人臉識別。掌握了對抗樣本，破解APP人臉識別功能，可以分分鐘假冒支付寶用戶消費(fèi)、授權(quán)網(wǎng)銀轉(zhuǎn)賬、冒充滴滴專車司機(jī)。

鏡頭一：人工智能學(xué)派，幾十年來沐雨櫛風(fēng)，幾經(jīng)浮沉。一代宗師甩袖拋給弟子一本《對抗攻擊算法拳譜》，飄然遠(yuǎn)走。

鏡頭二：黑客在大雨中狂奔，一個劇烈的跪滑，表情狂放，仰天長嘯：“到底什么是對抗樣本？”

鏡頭三：視頻網(wǎng)站B站，瑞萊智慧RealAI公司（下文簡稱“RealAI公司”）的研究人員，戴上一副紙眼鏡，秒級“弄瞎”人臉識別算法。

這已經(jīng)不是我第一次尋訪研究對抗攻擊算法的科學(xué)家，這次我探訪到了RealAI公司的安全算法負(fù)責(zé)人，蕭子豪。

這位畢業(yè)于清華大學(xué)計算機(jī)系的碩士，夏天酷愛穿一件簡單的T恤。他總是聲調(diào)冷靜，節(jié)奏緩慢，像一潭沉靜的湖水。

技術(shù)的魔力，需以一個實驗來說明，才能眼見為實。

人臉識別可以簡單地理解為把密碼寫在臉上，刷臉就是刷卡。破解了人臉識別功能，就是破解了身份認(rèn)證的唯一性。黑客佩戴眼鏡之后，會被人臉識別算法誤認(rèn)為手機(jī)主人，解鎖手機(jī)。

為什么只戴一副打印的紙眼鏡，就可以“弄瞎”手機(jī)的人臉識別算法？先講解步驟，再給出前沿學(xué)術(shù)論文的解釋。

第一步，準(zhǔn)備三個材料：攻擊者的一張照片，受攻擊者的多張照片，和一個深度學(xué)習(xí)人臉識別算法模型（開源的模型也可以）。講到這里就順口一提，很多人不在乎隱私保護(hù)，社交網(wǎng)站、朋友圈里有大量眉清目秀、五官清晰的照片，這都可能被黑客惡意保存。

“極端情況下，只用受攻擊者的一張照片也可以，只是成功率會低一些?！边@一句，蕭子豪加重了語氣。

第二步，將三個材料輸入攻擊算法，生成攻擊人臉識別算法。這里的攻擊算法就是知識產(chǎn)權(quán)的核心。算法會利用人臉識別算法模型，從受攻擊者的照片中提取他/她的人臉信息，然后在攻擊者的照片上構(gòu)造出攻擊用的對抗圖案。一般情況下，研究人員稱攻擊算法生成的圖案為對抗圖案。對抗圖案疊加在原來的圖片上，得到帶有攻擊功能的圖片，叫對抗樣本。（對抗圖案+原有圖片=對抗樣本，對抗樣本指的是整張圖，對抗圖案既可以是局部的，也可以是全局的。）

黑客的眼鏡是算法生成的局部圖案。

第三步，用攻擊算法生成的這張圖，打印制作成眼鏡。表面上，是一副普通的眼鏡。背地里，眼鏡上的局部圖案是對抗樣本。戴上眼鏡的人，面對手機(jī)。隨后，發(fā)生不可思議的一幕——佩戴了這副眼鏡，瞬間成功解鎖手機(jī)。

而本文關(guān)注這個實驗中的三個知識點(diǎn)：黑盒、紙眼鏡、遷移性。

這是一個典型的黑盒攻擊的黑客實驗。

蕭子豪解釋道，進(jìn)行攻擊的算法和遭受攻擊的算法，就像戰(zhàn)爭中的敵我兩方。這兩種算法可能不是同一個模型，背后原理是抓住了人臉模型之間的相似性（雖然人臉識別模型各有千秋，但是都屬于深度學(xué)習(xí)模型，免不了會有相似性）。攻擊算法尋找、挖掘、抓住不同人臉識別模型之間的相似性，同時放大，這樣就有攻擊的機(jī)會。換句話說，只要攻擊者能夠從人臉識別模型里面挖掘出漏洞（相似性），就能夠攻擊模型。

研發(fā)攻擊算法的過程中，挖掘相似性是一件很耗神、很熬人的事。

我們都知道，手機(jī)里的人臉識別算法需要將攝像頭采集到的人臉信息作為輸入的信息。手機(jī)上裝載的人臉識別算法對黑客來說就是黑盒。因為在攻擊之前，完全不知道其中的原理，所以稱之為黑盒攻擊。

紙眼鏡有什么講究呢？

眼鏡是一個物理世界的真實物件，黑客戴上眼鏡，就是為了改變?nèi)四樏娌康奶卣?。在做眼鏡的時候，黑客還要考慮很多來自外部環(huán)境的干擾。室內(nèi)的光照，打印機(jī)的色差，都會影響攻擊效果。所以，需要有一些色彩矯正算法，或者一些光線補(bǔ)償?shù)乃惴?，保證最后打印出來的眼鏡在實際場景中能夠攻破手機(jī)的人臉識別算法。

手機(jī)廠商使用的人臉模型和攻擊它的模型，這個兩個模型并不相同，為什么就攻擊成功了呢？

答案是遷移性。

蕭子豪說：“借用遷移學(xué)習(xí)的思路，有利于增加對遷移性的理解?！辈贿^這樣的解釋還不夠有誠意。他又補(bǔ)充道：“好比每個人都有常識，神經(jīng)網(wǎng)絡(luò)也有自己的常識。人和人想法會差很遠(yuǎn)，神經(jīng)網(wǎng)絡(luò)也是一樣。不同神經(jīng)網(wǎng)絡(luò)之間用不同的語言。但是，可以用常識溝通彼此都認(rèn)可的事情?！?/p>

“神經(jīng)網(wǎng)絡(luò)也有自己的常識”是蕭子豪打的一個比方，他也愿意用“心理學(xué)或者生物學(xué)原理”來替代。

就是說，雖然人和人的想法/體質(zhì)會差很遠(yuǎn)，但他們都會有相似的心理或者生理弱點(diǎn)。

前沿論文告訴我們，“對抗樣本的一個有趣特性就是具有良好的可遷移性，這使得實際應(yīng)用的黑盒攻擊變得可行?！?/p>

“通過將動量項整合到攻擊的迭代過程中，該方法可以穩(wěn)定更新方向，并在迭代過程中避開局部最大值，從而得出遷移性更優(yōu)的對抗樣本，進(jìn)一步提高黑盒攻擊的成功率?！?/p>

今時今日，以對抗算法的地位，將其定義為人工智能算法前沿，絲毫不為過。而學(xué)術(shù)論文又在為其方法的迭代與演化，提供源源不斷的新鮮思路。

紙眼鏡的思路，也能用在云計算廠商人臉識別算法的API攻擊中。

一般情況下，APP開發(fā)者不會自己研發(fā)人臉識別算法，而是通過第三方的API接口或SDK組件來獲得人臉識別功能，這個第三方，可以是云計算廠商。黑客直接將對抗樣本圖上傳到云廠商的API，進(jìn)行攻擊。這種對抗樣本同樣也可以使亞馬遜、微軟等人臉識別平臺的服務(wù)出現(xiàn)嚴(yán)重的識別錯誤。

這也是一個典型的黑盒攻擊。

將對抗樣本用紙打印出來，黑客可以直接作為“作案工具”。也就是說，對抗樣本通過區(qū)區(qū)打印的照片就可以攻擊那些算法工程師冥思苦想才能提高精確度的人臉識別算法。給人臉識別系統(tǒng)搗亂，聽上去如此的輕而易舉，似乎成了春田花花幼稚園手工課的作業(yè)。

對抗樣本技術(shù)，是在用算法欺騙算法。這里的算法，是深度神經(jīng)網(wǎng)絡(luò)算法，是人工智能算法的一種。所以，也算人工智能騙人工智能。

蕭子豪特別提起2017年那場比賽，這是一個標(biāo)志性事件。參賽團(tuán)隊均來自全球頂級院校，清華大學(xué)團(tuán)隊在競賽的全部三個項目中得到冠軍。由清華大學(xué)博士生董胤蓬、廖方舟、龐天宇及指導(dǎo)老師朱軍、胡曉林、李建民、蘇航組隊。

朱軍教授在ICLR2020會議的署名論文數(shù)量排名中，位居世界第二。

競賽中，之前的很多積累都用上了，其中一種方法——廣泛的基于梯度的迭代算法來增強(qiáng)對抗攻擊（Momentum Iterative Method，MIM），被兩位圖靈獎得主J.Hopcroft教授、G.Hinton教授在ICLR2019等論文中大幅引用，也被該領(lǐng)域主流開源項目FoolBox、Cleverhans等收錄為對抗攻擊的標(biāo)準(zhǔn)算法。

2017年，清華大學(xué)計算機(jī)科學(xué)與技術(shù)系人工智能實驗室就開始研究這一領(lǐng)域。最初刷學(xué)術(shù)數(shù)據(jù)集，后面不斷地提升攻擊的成功率。有了RealAI公司之后，打磨重點(diǎn)從圖像分類往人臉識別去切。

一群科研人員掌握獨(dú)門技術(shù)，認(rèn)為技術(shù)切實可行，判斷應(yīng)用價值大，那就出發(fā)，冷靜且理性。

算法研究，靠理論指導(dǎo)方向，靠做大量的實驗來實現(xiàn)，對抗算法也是如此。理論和其實現(xiàn)無法替代，實現(xiàn)的過程需要征服大量細(xì)節(jié)，而細(xì)節(jié)存在于大量的實驗中，多番嘗試，才能追求更好。就好比化學(xué)實驗，摸索某種配方比例。積累得夠久，才會形成技術(shù)壁壘。

蕭子豪的觀點(diǎn)是，技術(shù)周期上的領(lǐng)先不會太久，領(lǐng)先6個月到12個月，最后也會都被別人趕超。但是，對抗算法有一個獨(dú)特之處，使得其不會重度依賴從數(shù)據(jù)上獲得的優(yōu)勢。

人臉識別算法信奉 “人海戰(zhàn)術(shù)”，越是人臉數(shù)據(jù)訓(xùn)練出來的模型，效果越好。一個億的人臉數(shù)據(jù)用二流設(shè)計的算法訓(xùn)練，一千萬人臉數(shù)據(jù)用一流設(shè)計的算法訓(xùn)練，前者的準(zhǔn)確率往往會更高。這就是一億人臉數(shù)據(jù)帶來的優(yōu)勢。

危險之處還在于，渾然不覺。

安全極客們在鎂光燈下相會，聚在屬于自己的“光明頂”——GeekPwn國際安全極客大賽。

2018年，選手用對抗樣本攻擊讓主持人蔣昌建的照片被識別為施瓦辛格，以此事件“宣告”攻破亞馬遜名人識別系統(tǒng)。

2019年，對抗樣本“隱身術(shù)”挑戰(zhàn)目標(biāo)檢測系統(tǒng)識別。選手需要在A4紙上打印出干擾識別的隱身圖案，實現(xiàn)“隱身”，紙張面積隨意。是的，他們就是想用一張紙騙過監(jiān)控，也就是在監(jiān)控視頻中隱身。

比賽結(jié)果非常驚人，所有的參賽隊伍都在一米處實現(xiàn)“隱身”。肉眼看到明明有人，但是檢測時就是“瞎了”。清華戰(zhàn)隊使用的圖像面積最?。?4cm*14cm），所以，成功拿下第一名的桂冠。

蕭子豪也參加了比賽，他告訴我，隱身不同于對手機(jī)和云廠商API攻擊的地方是：“隱身是攻擊物體檢測，手機(jī)和云廠商是攻擊人臉識別，被攻擊的模型不同。物體檢測模型攻擊難度更大，因為其模型內(nèi)置有對局部遮擋不敏感的能力?！?/p>

即使有高考保送清華的光環(huán)，算法研發(fā)對蕭子豪也是高強(qiáng)度的腦力工作。

他的體會是：“把一個新的事物往前推，是一件很難找到方向的事情。研究算法的過程中，會被一個問題困擾一到兩年、或者數(shù)年。如果所有的精力都用來對抗壓力，人會被困住，沒有辦法前進(jìn)。有人嘗試個一兩百次，情緒開始波動，就干不下去了。迷茫的新手試錯次數(shù)更多，所以，很多人都被阻擋在門外了?！?/p>

火車跑得快，全靠車頭帶。目前，對抗樣本的“火車頭”并非工業(yè)界，而是學(xué)術(shù)界。

2013年，在谷歌公司約有十年工齡的人工智能科學(xué)家Christian Szegedy和其他研究者先在圖像分類的深度學(xué)習(xí)模型中發(fā)現(xiàn)了對抗樣本。

隨后，前谷歌大腦的年輕科學(xué)家伊恩·古德費(fèi)洛（Ian Goodfellow）等研究者發(fā)現(xiàn)了快速攻擊的對抗算法。

而后，對抗性樣本的研究越來越多。

隨著研究推進(jìn)，文本處理、語音識別、自動駕駛、惡意軟件檢測等深度學(xué)習(xí)表現(xiàn)好的領(lǐng)域，統(tǒng)統(tǒng)都被對抗樣本攻擊了，甭管用循環(huán)神經(jīng)網(wǎng)絡(luò)，還是強(qiáng)化學(xué)習(xí)。

“對抗樣本”驕傲地笑了，它就是能讓人工智能算法失效，讓人工智能算法錯誤分類。專業(yè)解釋就是，黑客對照片里的像素，進(jìn)行不可察覺的微小擾動，可以使深度神經(jīng)網(wǎng)絡(luò)以較高的置信度錯誤分類。

這里，還有兩個知識點(diǎn)，一個是較高的置信度，另一個是攻擊結(jié)果。

我相信，這也是人工智能下一步的重要研究方向?！?/p>

而學(xué)術(shù)界眾人皆知的秘密——深度神經(jīng)網(wǎng)絡(luò)容易受到對抗樣本的攻擊，通過添加難以察覺的擾動來誤導(dǎo)分類器。這也是質(zhì)疑人工智能技術(shù)不夠安全的原因之一。

而工業(yè)界眾人皆知的秘密——深度神經(jīng)網(wǎng)絡(luò)的安全性和性能同步增長是非常困難的事情。魚和熊掌如何兼得？

哪里有唾手可得的對抗算法開源？

第一波，由谷歌員工開源的代碼庫Cleverhans，用于對對抗示例漏洞進(jìn)行基準(zhǔn)測試。這是全球最早的開源項目，其中也有清華大學(xué)計算機(jī)科學(xué)與技術(shù)系人工智能研究所董胤蓬博士的貢獻(xiàn)。

第二波，IBM公司的對抗性魯棒性工具箱（ART），是目前用于機(jī)器學(xué)習(xí)安全性做得最好的，最全面的代碼庫。IBM公司花了很多力氣在做對抗算法，也一直在推對抗樣本攻擊算法與可解釋的人工智能。

第三波，德國圖賓根大學(xué)開源代碼庫Foolbox。它提供了大多數(shù)已發(fā)布的對抗性攻擊方法，用于基準(zhǔn)測試。

截至目前，沒有工業(yè)級別的開源對抗模型，開源代碼還停留在學(xué)術(shù)數(shù)據(jù)集上使用的階段。沒有定制化的修改，工業(yè)界依然高度依賴學(xué)術(shù)界分享的成果與信息。全球頂級大廠也把對抗樣本技術(shù)用在知名產(chǎn)品身上，比如IBM公司的沃森，亞馬遜公司的Alexa，這一次，對抗樣本的責(zé)任不是攻擊，而是保護(hù)。

天下一物降一物，“深度偽造技術(shù)”也有克制之法。

田天博士告訴我：“深度偽造技術(shù)并非萬無一失。生成的造假視頻的畫面中會有不自然的紋理存在，讓其學(xué)習(xí)正常情況中的紋理特征，再以此檢測造假視頻中不一致的紋理，這一方法可以用于打假。

“對抗樣本”與“深度偽造技術(shù)”都可以造假，到底誰更牛？

田天博士回答道：“對抗樣本是探究神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)原理，而深度偽造技術(shù)屬于神經(jīng)網(wǎng)絡(luò)的應(yīng)用，如果要一較高下，做應(yīng)用比研究原理簡單一些?！?/p>

“無論何時，只要人們談及網(wǎng)絡(luò)空間安全形勢，一定會用形勢嚴(yán)峻、應(yīng)對能力不足等悲觀說法，這往往會讓決策者感到迷惑：網(wǎng)絡(luò)空間安全領(lǐng)域為何總是缺少作為呢？”

2020年5月，方濱興院士在《人工智能安全》一書中給出的解釋是，新技術(shù)必然會帶來新的安全問題，這是“伴生效應(yīng)”。