因?yàn)樯疃葌卧旒夹g(shù)的不斷演進(jìn)，如今，“眼見為實(shí)”這個定律或許要被顛覆了。

深度偽造（Deepfake）是一個由“深度學(xué)習(xí)”（deep learning）和“偽造”（fake）兩詞合成的概念。目前最常見的深度偽造是俗稱的“AI換臉”，即用深度學(xué)習(xí)技術(shù)偽造的人臉圖像或視頻。

社交媒體平臺X的Premium訂閱用戶可以體驗(yàn)xAI公司開發(fā)的Grok文生圖模型，只用幾句提示語就能生成馬斯克和特朗普同框熱舞的動圖；直播工具Deep-Live-Cam中，用戶只需上傳一張人臉照片，就能實(shí)時給攝像頭拍到的人物換臉；不少軟件還能利用AI合成聲音、替換口型，讓任何人的照片“開口說話”……不可否認(rèn)，對內(nèi)容創(chuàng)作者而言，深度偽造是有用的創(chuàng)意工具。

然而，近期由深度偽造引發(fā)的惡性事件也層出不窮。8月，韓國“N號房2.0事件”曝光，不法分子把女性的臉替換到色情圖片和視頻上，再出售牟利；9月，“海倫妮”颶風(fēng)席卷美國，幾張AI生成的避災(zāi)者照片伴隨各種陰謀論、假新聞，被一些政客用作抨擊執(zhí)政黨救災(zāi)失責(zé)的造勢工具；而眼下的美國大選中，以特朗普、哈里斯為主角的換臉照片和視頻內(nèi)容在社交媒體上正不斷傳播，煽動黨派對立……

世界經(jīng)濟(jì)論壇發(fā)布的《2024年全球風(fēng)險報告》中，AI生成的虛假信息被列為未來兩年全球十大風(fēng)險之首。奇安信科技集團(tuán)發(fā)布的《2024人工智能安全報告》指出，2023年深度偽造欺詐的增長率達(dá)到了驚人的3000％。面對日益猖獗的深度偽造，許多研究者和技術(shù)公司也在探索如何通過AI模型檢測AI偽造的影像，“用AI打敗AI”。

讓模型學(xué)習(xí)辨別真?zhèn)?/h3>

在用AI換臉的圖片和視頻中，臉部的邊界、眼球和嘴唇的運(yùn)動、整張臉的光線效果等，都可能存在不自然之處。早期的研究者基于這些觀察會手工標(biāo)記出一些特征（如眨眼頻率等）交給AI檢測，但這些特征往往只適用深度學(xué)習(xí)模型如何檢測深度偽造影像于某幾個特定的偽造方法，難以泛化至新的未知的偽造方法上。目前，普遍的解決方案是訓(xùn)練一個深度學(xué)習(xí)模型，讓模型自己學(xué)習(xí)深度偽造與真實(shí)影像在視覺特征上的不同之處，由此實(shí)現(xiàn)鑒偽。

然而，生成式AI模型的不斷進(jìn)化使得深度偽造影像表層的視覺瑕疵越來越少，“一個重要的任務(wù)是讓模型學(xué)會提取更加魯棒（指穩(wěn)?。┑奶卣鳌薄?fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院副教授陳靜靜對《第一財(cái)經(jīng)》雜志說。

AI合成的影像會留下肉眼無法察覺的特定痕跡。相機(jī)拍攝圖片和視頻時會把在物理世界中采集到的信息轉(zhuǎn)化為具有特定分布的數(shù)據(jù)內(nèi)容，“但AI生成的圖片和視頻有不一樣的底層特征，它們在微觀細(xì)節(jié)上可能是一串與實(shí)拍視頻分布不同的數(shù)據(jù)”，中科睿鑒CTO何覃對《第一財(cái)經(jīng)》雜志說。

中科睿鑒成立于2020年，但實(shí)驗(yàn)室已有近20年的相關(guān)技術(shù)積累，早在十幾年前深度偽造技術(shù)出現(xiàn)之初就開始研究檢測技術(shù)，發(fā)布了國內(nèi)首個“AI識謠”平臺，開發(fā)出多個深度學(xué)習(xí)模型，用于攻克假新聞、詐騙短信、PS照片等。其中，中科睿鑒于2023年4月推出的偽造檢測基模型“睿鑒圖靈”，采用混合專家模型架構(gòu)，基模型首先會提取能區(qū)分真?zhèn)蔚亩嗄B(tài)底層通用特征信息，然后通過幾十個專注學(xué)習(xí)特定領(lǐng)域的專家模型，如AI換臉檢測只關(guān)注人臉區(qū)域、文生圖/視頻檢測關(guān)注全局微觀特征分布、PS檢測關(guān)注篡改區(qū)域邊緣不一致性等，最后綜合鑒別真?zhèn)巍?/p>

對于多模態(tài)深度偽造，陳靜靜的研究團(tuán)隊(duì)今年也和數(shù)字技術(shù)公司中電金信合作，提出了一種參照輔助的多模態(tài)鑒偽方法。該方法利用參照視頻，學(xué)習(xí)豐富的身份敏感特征，如特定人物的說話方式、語音特征、臉部特征等作為參照，并同時挖掘跨模態(tài)的人不一致性（如嘴形語音不一致、表情語音不一定等）來鑒別真?zhèn)巍?/p>

走出實(shí)驗(yàn)室

咨詢公司德勤的報告顯示，與深度偽造相關(guān)的網(wǎng)絡(luò)攻擊損失預(yù)計(jì)將從2023年的123億美元飆升至2027年的400億美元，銀行和大企業(yè)是此類詐騙的重災(zāi)區(qū)。今年2月，中國香港警方公布了一起嚴(yán)重的AI換臉詐騙案：詐騙者在一家英國跨國企業(yè)香港分公司的電話會議中通過換臉和聲音合成冒充該公司高管，謊稱公司正在開展一項(xiàng)重要的秘密交易，直接騙走了2億港元（約合1.67億元人民幣）。

基于與陳靜靜團(tuán)隊(duì)的研究，中電金信已推出了多模態(tài)深度偽造檢測產(chǎn)品，通過多模態(tài)內(nèi)容理解與對齊技術(shù)，來預(yù)測圖像、音頻、視頻真實(shí)采集的置信度，鑒別出AI生成內(nèi)容，從而防范身份盜用、侵權(quán)欺詐等風(fēng)險。中電金信稱其多模態(tài)篡改檢出率已達(dá)到99.9%以上。目前，該產(chǎn)品處于推廣階段，重點(diǎn)應(yīng)用領(lǐng)域正是金融行業(yè)，適用于身份認(rèn)證、網(wǎng)絡(luò)視頻電話防欺詐等場景。

而螞蟻數(shù)科旗下的安全技術(shù)品牌蟻盾（ZOLOZ），也在為防范深度偽造詐騙研發(fā)解決方案。團(tuán)隊(duì)從2019年開始研究深度偽造檢測，并在今年4月推出了面向B端客戶的檢測產(chǎn)品ZOLOZ Deeper。蟻盾技術(shù)總監(jiān)姚偉斌向《第一財(cái)經(jīng)》雜志介紹，Deeper不僅有檢測多模態(tài)深度偽造的強(qiáng)大算法，而且擅長抵抗深度偽造對終端設(shè)備的注入攻擊。所謂注入攻擊，就是可以直接把提前生成好的深度偽造視頻，通過某種方式跳過攝像頭提交給人臉識別程序。

ZOLOZ Deeper目前主要服務(wù)國外市場，專攻開戶、支付等在線身份認(rèn)證場景。姚偉斌說：“在一些東南亞國家，人們的身份信息沒有聯(lián)網(wǎng)，所以人臉和證件都很容易偽造，深度偽造攻擊的比例甚至超過了10%。我們的產(chǎn)品能夠從系統(tǒng)和算法兩大層面防御深度偽造，在這些國家的銀行場景應(yīng)用后，深度偽造攻擊比例下降到了1%以下?！?/p>

深度學(xué)習(xí)模型如何檢測深度偽造影像

在算法層面，提升模型的泛化性是產(chǎn)品落地的一大關(guān)鍵。泛化性是指模型經(jīng)過訓(xùn)練后應(yīng)用于新數(shù)據(jù)并作出準(zhǔn)確檢測的能力。簡單來說，就是當(dāng)全新的深度偽造技術(shù)出現(xiàn)時，模型仍具備準(zhǔn)確檢測的能力。

姚偉斌指出，檢測深度偽造是一個“攻防”問題，新的偽造技術(shù)來襲，模型必須緊跟腳步做出相應(yīng)的防御，“市場上各種深度偽造的模型，我們都要拿來訓(xùn)練和測試”。螞蟻數(shù)科的天璣實(shí)驗(yàn)室會每月模擬各種深度偽造攻擊的形式，至今已對Deeper開展超過2萬次的“攻防演練”，幫助Deeper檢測模型的迭代升級。

除了金融服務(wù)場景，中科睿鑒還常常使用其檢測產(chǎn)品幫助公安機(jī)關(guān)偵破深度偽造案件。例如，公司的“睿安深度合成智能檢測平臺”基于從多維度鑒偽的睿鑒圖靈模型，既能檢測出涉假信息中存在何種類型的偽造，又能提取出偽造合成痕跡作為證據(jù)，還能溯源出這些偽造信息是用哪些工具合成的，以便公安機(jī)關(guān)精準(zhǔn)監(jiān)管。

泛化性也是睿鑒圖靈模型架構(gòu)的一個優(yōu)勢—基座模型有強(qiáng)大的真?zhèn)翁卣魈崛『蛯W(xué)習(xí)能力，所以當(dāng)新的深度偽造技術(shù)出現(xiàn)時，只需微調(diào)模型就能高效實(shí)現(xiàn)準(zhǔn)確檢測。何覃表示，今年2月，當(dāng)OpenAI發(fā)布文生視頻模型Sora時，就有不少客戶前來咨詢中科睿鑒現(xiàn)有的技術(shù)能否檢測出Sora合成的視頻，“我們的基模型從來沒有‘見過’Sora生成的視頻，但最初的檢測準(zhǔn)確率也達(dá)到了70%以上。Sora沒有對外開放使用，我們只參考了官方放出來的幾十個demo視頻，用一兩周時間微調(diào)模型，準(zhǔn)確率就上升到了85%以上。睿鑒圖靈模型的參數(shù)規(guī)模一直在擴(kuò)大，三四年前只有1億量級，到去年官宣上線時已經(jīng)達(dá)到了60億，今年已升級至超過百億量級。

事實(shí)上，從實(shí)驗(yàn)室走向市場并不容易。陳靜靜表示，在實(shí)驗(yàn)室訓(xùn)練檢測模型時，通常使用的是針對某一類偽造的標(biāo)準(zhǔn)化數(shù)據(jù)集，訓(xùn)練場景較為單一，“但現(xiàn)實(shí)條件要復(fù)雜得多，比如影像的亮度、清晰度、場景等，都可能會影響檢測的準(zhǔn)確率，所以從學(xué)術(shù)研究中的模型到可落地的產(chǎn)品，中間必須經(jīng)過多輪微調(diào)、迭代”。此外，除了換臉、活化等常見形式，產(chǎn)品開發(fā)者也需要敏銳地關(guān)注深度偽造的新變體，如虛擬數(shù)字人。

為提升深度偽造檢測產(chǎn)品應(yīng)對現(xiàn)實(shí)生活中復(fù)雜場景的水平，今年的Inclusion外灘大會上，螞蟻數(shù)科參與編寫的《虛假數(shù)字人臉檢測金融應(yīng)用技術(shù)規(guī)范》發(fā)布，這是中國首個面向金融場景的“AI換臉”檢測標(biāo)準(zhǔn)，其中規(guī)定了深度偽造檢測產(chǎn)品應(yīng)當(dāng)具備的一系列功能，并從準(zhǔn)確性、魯棒性、泛化性、響應(yīng)速度等四個維度量化評估產(chǎn)品性能。“我們希望它能變成一個日益科學(xué)的標(biāo)準(zhǔn)，對行業(yè)起到示范作用”，姚偉斌說。

深度偽造檢測產(chǎn)品的功能和性能要求

而近期韓國的深度偽造性犯罪案件警示我們，深度偽造技術(shù)的危害已逐漸滲透到許多人的日常生活中，任何人都有可能成為下一個受害者。

中科睿鑒于2022年上線了微信小程序“睿鑒AI”，為普通用戶提供免費(fèi)的AI生成視頻、圖片、文本檢測服務(wù)，旨在提升公眾的風(fēng)險意識，提醒他們留意身邊可能存在的AI生成虛假信息。

中科睿鑒于今年8月完成了近億元人民幣的融資，用于業(yè)務(wù)線拓展和鑒偽產(chǎn)品的規(guī)?；涞亍Ｃ嫦騻€人用戶，公司計(jì)劃在維持小程序免費(fèi)開放的同時，推出軟件開發(fā)工具包（SDK）、App和終端設(shè)備等新的產(chǎn)品類型。

海外市場已經(jīng)出現(xiàn)了帶有深度偽造檢測功能的終端設(shè)備。8月，知名殺毒軟件公司McAfee和聯(lián)想合作，推出了號稱“全球首款深度偽造自動檢測器”的產(chǎn)品Deepfake Detector，這是一個部署在聯(lián)想AI PC上的本地工具，能在端側(cè)實(shí)時鑒別電腦播放的視頻中是否含有AI合成的聲音，已在美國、英國、澳大利亞的部分新機(jī)型中啟動內(nèi)測。McAfee C TO S teveGrobman在接受媒體采訪時介紹，大部分以詐騙為目標(biāo)的深度偽造視頻都含有AI合成的聲音，因此從聲音入手能夠?qū)⒋蠖鄶?shù)詐騙扼殺在搖籃中。

陳靜靜認(rèn)為，在終端設(shè)備中部署深度偽造檢測工具是可行的產(chǎn)品創(chuàng)新方向，就McAfee的產(chǎn)品而言，“音頻的偽造方式不像視頻那么多變，檢測方法也相對固定，作為產(chǎn)品不需要頻繁、大規(guī)模地更新；另一方面，檢測偽造音頻的模型相對輕量，對算力的要求不高，便攜式終端也能運(yùn)行?！敝档米⒁獾氖?，個人消費(fèi)者在真正遭遇深度偽造詐騙時才會尋求單次檢測服務(wù)，供日常使用的檢測產(chǎn)品能否喚起他們的消費(fèi)意愿目前依然存疑，“消費(fèi)者可能傾向于認(rèn)為，防范深度偽造的主要責(zé)任還是在監(jiān)管方”。

今年8月1日生效的歐盟《人工智能法案》規(guī)定，人工智能技術(shù)提供商必須確保合成的音頻、視頻、文本和圖像內(nèi)容能夠被檢測為由人工智能生成的內(nèi)容。9月14日，國家網(wǎng)信辦發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識辦法（征求意見稿）》則提出，人工智能生成內(nèi)容應(yīng)當(dāng)添加顯式標(biāo)識（如呈現(xiàn)給用戶的文字說明）和隱式標(biāo)識（如數(shù)字水印），并對內(nèi)容服務(wù)提供者、網(wǎng)絡(luò)信息內(nèi)容傳播平臺、互聯(lián)網(wǎng)應(yīng)用程序分發(fā)平臺等多個主體提出了合規(guī)要求。

業(yè)界很多公司都對《第一財(cái)經(jīng)》雜志表示，打擊深度偽造不能只靠個別公司、個別產(chǎn)品。姚偉斌指出，“目前所有針對深度偽造的防御形式都是被動的。模型的魯棒性、泛化性再強(qiáng)，在日新月異的偽造攻擊形式面前，都必須不斷迭代，不能一勞永逸?！彼J(rèn)為，從被動走向主動，才是AI鑒偽行業(yè)必須面對的關(guān)鍵問題，而這需要立法機(jī)關(guān)、監(jiān)管部門和相關(guān)企業(yè)共同發(fā)力。