Amrita Bhattacharjee 舒 凱 高 旻 劉 歡

1(亞利桑那州立大學(xué)計(jì)算機(jī)科學(xué)與工程系 美國亞利桑那州 坦佩 85281)

2(伊利諾伊理工大學(xué)計(jì)算機(jī)科學(xué)系 美國伊利諾伊州 芝加哥 60616)

3(重慶大學(xué)大數(shù)據(jù)與軟件學(xué)院 重慶 400044)

在過去的幾十年里，隨著計(jì)算硬件的發(fā)展，人工智能研究突飛猛進(jìn)，智能方法被應(yīng)用到醫(yī)學(xué)、環(huán)境技術(shù)、農(nóng)業(yè)等不同領(lǐng)域.利用人工智能解決社會(huì)經(jīng)濟(jì)、政治甚至文化問題具有巨大潛力，因此學(xué)術(shù)界和工業(yè)界的專家聚集在一起，形成谷歌AI(1)https://ai.google/social-good/、微軟(2)https://www.microsoft.com/en-us/ai/ai-for-good、國際電信聯(lián)盟(ITU)(3)https://aiforgood.itu.int/等組織機(jī)構(gòu)并啟動(dòng)人工智能項(xiàng)目.

在人工智能應(yīng)用中，信息素質(zhì)(information literacy)領(lǐng)域受到日益重視，尤其是在社會(huì)媒體檢測和緩解虛假信息[1].根據(jù)國際電信聯(lián)盟的報(bào)告[2]，2019年互聯(lián)網(wǎng)用戶已達(dá)41.3億，占全球人口總數(shù)的50%以上；在社會(huì)媒體平臺(tái)中，臉書(Facebook)是使用最廣泛的平臺(tái)之一，2018年用戶已達(dá)22億.除Facebook外，還有其他如Twitter，Reddit等可以發(fā)表個(gè)人觀點(diǎn)的社會(huì)媒體平臺(tái)，這些平臺(tái)是不良用戶散布虛假信息的重點(diǎn)場所[3].大規(guī)模的網(wǎng)絡(luò)虛假信息可能會(huì)主導(dǎo)輿論，使人們兩極分化，甚至可能威脅到公共衛(wèi)生、民主和國際關(guān)系[4-5].

社會(huì)媒體上虛假或欺騙性的內(nèi)容以不同的形式存在，并具有不同名稱，如圖1所示:

Fig. 1 Types of false or deceptive online content圖1 虛假或欺騙性的網(wǎng)絡(luò)內(nèi)容的類型

其中，誤傳信息(misinformation)[6]通常指無意傳播的錯(cuò)誤或虛假信息，被視為“誠實(shí)的錯(cuò)誤”.虛假信息(disinformation)是指信息因別有用心的動(dòng)機(jī)而故意傳播，無論是政治上的、經(jīng)濟(jì)上的，或者僅僅以煽動(dòng)人們?yōu)槟康?這些信息通常是捏造的，還可能在虛假的上下文中加入一些真實(shí)信息以誤導(dǎo)讀者.虛假新聞(fake news)[7]通常被視為虛假信息的子集，指以新聞方式發(fā)表或宣傳的虛假內(nèi)容.陰謀論(conspiracy theories)[8]被定義為不可告人的陰謀詭計(jì)，它們懷疑惡意行為者秘密聚集在一起欺騙公眾并實(shí)現(xiàn)某些目標(biāo).伴隨陰謀論的常用詞是騙局(hoax)，意為看似真實(shí)但意圖欺騙的言論.網(wǎng)絡(luò)噴子(troll)[9]試圖通過傳播煽動(dòng)性和令人反感的言論來分化人們.

本文將綜述以人工智能和跨學(xué)科思想解決虛假信息領(lǐng)域特定問題的相關(guān)研究、挑戰(zhàn)和發(fā)展方向.

1 虛假信息:新冠肺炎期間的案例研究

虛假信息問題在過去幾十年一直存在，近年來由于社會(huì)媒體的普及以及在線制造和傳播消息的低成本，使得虛假信息更加泛濫，嚴(yán)重影響了公眾輿論和社會(huì)穩(wěn)定.

最近，新冠疫情在社會(huì)媒體上引發(fā)了一波新的誤傳信息和虛假信息.疫情相關(guān)的真假信息混雜造成的信息過載勢不可擋，以至于世界衛(wèi)生組織將其稱為“信息疫情”[10].據(jù)文獻(xiàn)[11]報(bào)道，新冠疫情已經(jīng)引發(fā)了2 000個(gè)謠言和陰謀論的傳播.

更令人擔(dān)憂的是，目前公眾已經(jīng)習(xí)慣在網(wǎng)上尋找信息，這些虛假信息會(huì)嚴(yán)重地誤導(dǎo)人們對(duì)事實(shí)的判斷.2020年5月，名為《Plandemic》的新冠肺炎相關(guān)陰謀電影在Facebook和Youtube等社會(huì)媒體平臺(tái)上瘋狂傳播[12]，散布危險(xiǎn)言論.此類信息的傳播尤其具有威脅性，它們可能使人們失去對(duì)政府的信任，并可能嚴(yán)重破壞對(duì)該病毒防控的協(xié)調(diào)組織，從而對(duì)控制或消除病毒的進(jìn)程造成嚴(yán)重影響.還有不良用戶為蹭疫情熱度增加流量，批量發(fā)表疫情相關(guān)的多條雷同虛假言論[13].

總體上，與新冠病毒有關(guān)的影響嚴(yán)重的虛假信息主要分為3類：健康相關(guān)的虛假信息、陰謀論、騙局和欺詐，本節(jié)將分別展開敘述.

1.1 健康相關(guān)的虛假信息

新冠病毒的高度傳染性及其有害影響在全世界引起了恐慌，很多人迫切地尋找治療方法或有希望的預(yù)防措施.不法分子利用消費(fèi)者的恐慌和輕信心理，聲稱發(fā)現(xiàn)了能夠“治愈”或“增強(qiáng)免疫力”的產(chǎn)品.目前已經(jīng)有一些公司受到查處，相關(guān)部門對(duì)這些欺詐活動(dòng)和可能對(duì)消費(fèi)者造成巨大傷害的宣傳發(fā)出了警告[14].

此類與健康有關(guān)的虛假信息可能產(chǎn)生嚴(yán)重影響，例如，某國家食品和藥物管理局曾對(duì)使用氯喹和羥基氯喹治療新冠病毒住院患者進(jìn)行授權(quán)，而有證據(jù)表明這種治療的風(fēng)險(xiǎn)大于益處[15].互聯(lián)網(wǎng)上還流傳著其他幾個(gè)與藥物有關(guān)的說法[16-18]，也都被核查為不實(shí)言論.但這些說法已經(jīng)產(chǎn)生了嚴(yán)重后果，影響了被誤導(dǎo)者的身體健康甚至導(dǎo)致其死亡[19].

1.2 陰謀論

關(guān)于新冠病毒的起源和傳播，也出現(xiàn)了越來越多的陰謀論.皮尤研究中心(Pew Research Center)[20]最近的一項(xiàng)研究顯示，某發(fā)達(dá)國家71%的人曾接觸過新冠病毒陰謀論，約25%的人相信其中某種陰謀[21].

一些陰謀論者聲稱戴口罩會(huì)導(dǎo)致二氧化碳中毒，而有些則認(rèn)為這是對(duì)公民自由的侵犯[22-23]，還有一些宣稱5G網(wǎng)絡(luò)有助于病毒的傳播[22]，甚至說這種病毒是在實(shí)驗(yàn)室制造的人造生物武器[23].另一些人則聲稱，有企業(yè)家資助了病毒的產(chǎn)生[24]，打算讓世界人口減少，并在人身上植入微芯片[24].也有一部分陰謀論者認(rèn)為病毒只是一個(gè)騙局，是出于某種原因而被捏造并夸大的[25].

1.3 騙局和欺詐

新冠病毒的流行對(duì)全球經(jīng)濟(jì)產(chǎn)生了巨大的影響，各國政府已經(jīng)安排了救濟(jì)/激勵(lì)計(jì)劃、失業(yè)救濟(jì)金等，以減輕人們在困難時(shí)期的壓力.不幸的是，有不法分子試圖在困難時(shí)期趁火打劫[26-27].

在新冠疫情期間，有惡意組織和個(gè)人利用人們對(duì)病毒的恐懼，促使其倉促做出決定.許多這樣的騙局都是以詐騙電話、與經(jīng)濟(jì)激勵(lì)計(jì)劃相關(guān)的電子郵件、慈善詐騙等形式出現(xiàn)的[26].

根據(jù)文獻(xiàn)[27]，在向美國聯(lián)邦貿(mào)易委員會(huì)舉報(bào)新冠疫情相關(guān)付款的204 000多起投訴電話中，68%是舉報(bào)欺詐或身份盜竊.有的詐騙網(wǎng)站早在2020年6月就聲稱提供新冠病毒疫苗，或者提供免費(fèi)的抗體測試[28].欺詐者甚至假裝是接觸追蹤者，獲取到受騙者的個(gè)人信息，然后用這些信息進(jìn)行詐騙[29].據(jù)文獻(xiàn)[27]報(bào)道，虛假信息的渠道還包括提供貸款和資金幫助的詐騙電話，甚至是帶有惡意軟件鏈接的電子郵件.一些政府和民間機(jī)構(gòu)已經(jīng)向大眾發(fā)出警告，提醒大家目前欺詐和騙局越來越多，尤其是與新冠病毒相關(guān)的騙局.

2 虛假信息檢測與減緩影響的方法

近5年來，人們逐漸意識(shí)到虛假信息的影響力[30-31]，越來越多的研究者開始探索檢測社會(huì)媒體虛假新聞的方法.網(wǎng)絡(luò)信息生態(tài)系統(tǒng)的不可預(yù)測性和嘈雜性，以及內(nèi)容的創(chuàng)造和傳播速度快導(dǎo)致的惡劣影響巨大，使得減緩虛假內(nèi)容的影響成為另一項(xiàng)重要任務(wù)，受到研究者和業(yè)界的廣泛關(guān)注.如國內(nèi)多家互聯(lián)網(wǎng)企業(yè)設(shè)立辟謠平臺(tái)[32-33]幫助大眾甄別謠言，強(qiáng)化疫情時(shí)期信息的準(zhǔn)確性.美國Twitter和Facebook等平臺(tái)也致力于管理和刪除違反社區(qū)標(biāo)準(zhǔn)的內(nèi)容，包括與新冠病毒相關(guān)的誤導(dǎo)性帖子[27].本節(jié)將簡單總結(jié)虛假信息主要的檢測方法和緩解虛假信息影響的方法.

2.1 虛假信息檢測方法

虛假信息檢測任務(wù)是在給定文章作為輸入的情況下輸出“true”或“false”標(biāo)簽.在檢測時(shí)，除了文本內(nèi)容外，通常還會(huì)用到社交關(guān)系與評(píng)論等輔助信息.此外，還有基于事實(shí)核查的方法及可解釋性和跨域檢測方法.

1) 結(jié)合內(nèi)容和社交信息的方法.大多數(shù)早期的虛假新聞或欺詐檢測方法使用人工特征，通常側(cè)重于新聞內(nèi)容的文本或語言特征.語言特征通常包括詞匯和語法特征等[34-35]，其他特征是依賴于平臺(tái)的，例如，Twitter上的轉(zhuǎn)發(fā)和點(diǎn)贊數(shù)量.后來，研究人員逐漸意識(shí)到，社交網(wǎng)絡(luò)擁有許多有用信息，可以用來提高檢測性能[36].如通過用戶個(gè)人資料[37]、用戶參與度[38]，以及新聞文章、讀者和發(fā)布者之間的關(guān)系來檢測虛假新聞和虛假信息[39].

2) 結(jié)合用戶評(píng)論的方法.社會(huì)媒體上的用戶評(píng)論是判斷一篇文章真實(shí)性的豐富信息來源.對(duì)于新出現(xiàn)的話題和事件，通常無法獲得基本事實(shí).在這種情況下，用戶評(píng)論可以為新聞的真實(shí)性提供一些信息，有助于虛假新聞的早期發(fā)現(xiàn)[40].相關(guān)技術(shù)還可以解決標(biāo)記數(shù)據(jù)有限的挑戰(zhàn).在早期檢測的情況下，由于新聞文章剛剛發(fā)布到網(wǎng)上，用戶的回復(fù)或評(píng)論可能不可用.對(duì)此，可以利用模型學(xué)習(xí)用戶如何對(duì)新聞文章做出反應(yīng)，然后生成用戶反饋，以輔助檢測過程[41].與此相似的工作還有文獻(xiàn)[42-44].

3) 基于事實(shí)核查的方法.基于事實(shí)核查[45]的方法有2種類型-人工或自動(dòng)的方法.現(xiàn)階段人工事實(shí)核查的檢測方法有2種：依靠領(lǐng)域?qū)＜覍?duì)言論進(jìn)行事實(shí)核查，或者從用戶處獲取眾包知識(shí)進(jìn)行核查.自動(dòng)事實(shí)核查的檢測方法使用結(jié)構(gòu)化的知識(shí)庫(如知識(shí)圖譜)檢測言論和新聞文章的真實(shí)性，首先從新聞文章中提取知識(shí)(以主語、謂語、賓語三元組的形式)，然后與預(yù)先存在的知識(shí)圖譜進(jìn)行比較實(shí)現(xiàn)檢測.Ciampaglia等人[46]在加權(quán)知識(shí)圖譜中使用傳遞閉包來推導(dǎo)語義接近度的值.Karadzhov等人[47]提出了一種簡單的基于Web搜索的自動(dòng)事實(shí)核查方法.自動(dòng)事實(shí)核查中最重要的挑戰(zhàn)之一是缺乏大規(guī)模的支持知識(shí)庫或知識(shí)圖譜[48].

4) 可解釋性和跨域檢測的方法.可解釋性檢測和跨域檢測是虛假新聞檢測研究中的新領(lǐng)域.隨著公平性成為人工智能研究的一個(gè)重要話題，解釋一篇新聞文章為什么被歸類為“虛假”是值得關(guān)注的.相關(guān)工作如文獻(xiàn)[49-51]通常將文章內(nèi)容與用戶評(píng)論作為線索，進(jìn)行可解釋性的研究.理解一篇文章為什么被貼上假標(biāo)簽可以幫助設(shè)計(jì)更好的檢測算法.跨域檢測是標(biāo)記數(shù)據(jù)稀缺問題的潛在解決方案，但簡單的虛假新聞檢測器在跨領(lǐng)域的表現(xiàn)并不好[52]，因此這方面還有很廣闊的研究空間.

2.2 緩解虛假信息的方法

有研究表明，因?yàn)樘摷傩畔?huì)使讀者產(chǎn)生更多的極端反應(yīng)，使讀者對(duì)內(nèi)容的參與度更高，所以虛假新聞比真實(shí)新聞傳播得更快、更廣[53-54].此外，由于社會(huì)媒體排名算法的設(shè)計(jì)目的是促進(jìn)帖子和內(nèi)容獲得更多用戶參與，用戶活躍度高又會(huì)使得虛假信息帖子具有更高的可見性.因此，及時(shí)發(fā)現(xiàn)此類虛假信息也是有效緩解社會(huì)媒體上的虛假信息傳播所亟需的.本節(jié)我們將討論一些減緩虛假信息傳播影響的計(jì)算方法.

2.2.1 網(wǎng)絡(luò)干預(yù)

社會(huì)媒體平臺(tái)可以表示為一個(gè)網(wǎng)絡(luò)，其中的節(jié)點(diǎn)是用戶(即該平臺(tái)上的帳戶)，邊是用戶之間的聯(lián)系(例如“朋友關(guān)系”).社會(huì)媒體上的虛假信息以級(jí)聯(lián)形式傳播，其中“感染”由創(chuàng)建或發(fā)布虛假內(nèi)容的幾個(gè)用戶節(jié)點(diǎn)引發(fā)，然后由受這些“感染源”影響的其他用戶節(jié)點(diǎn)傳播.如果虛假信息能夠有效地影響閱讀它的用戶，這種傳播會(huì)呈指數(shù)級(jí)增長，因此，及早發(fā)現(xiàn)和減緩虛假信息傳播影響至關(guān)重要.

減緩虛假信息級(jí)聯(lián)傳播的一種方法是發(fā)起反向級(jí)聯(lián)，例如，包含虛假信息文章的事實(shí)核查版本的反級(jí)聯(lián).該問題通常被稱為影響限制或影響最小化問題，目標(biāo)是在網(wǎng)絡(luò)中找到一個(gè)(或最小的)節(jié)點(diǎn)集合，在該集合中可以反級(jí)聯(lián)，使得原始級(jí)聯(lián)的影響最小化.

盡管為反級(jí)聯(lián)傳播尋找最優(yōu)種子節(jié)點(diǎn)集已被證明是NP難的，但是研究者已經(jīng)對(duì)問題的一些變體開發(fā)了近似算法[55-57].在緩解虛假信息傳播的情況下，該問題的目標(biāo)是盡快“免疫”或接種盡可能多的節(jié)點(diǎn)，以盡量減少因虛假信息傳播所造成的損害.Budak等人[55]將一個(gè)影響限制問題的變體描述為一種貪心方法，使用精心設(shè)計(jì)的啟發(fā)式方法得到問題的近似解.與文獻(xiàn)[57]中使用的連續(xù)時(shí)間模型相反，該算法使用了離散時(shí)間模型.盡管大多數(shù)工作只考慮了2個(gè)級(jí)聯(lián)，但文獻(xiàn)[58]解決了多個(gè)級(jí)聯(lián)的問題，并引入了“級(jí)聯(lián)優(yōu)先級(jí)”的概念，也即網(wǎng)絡(luò)中的節(jié)點(diǎn)受每個(gè)級(jí)聯(lián)影響的可能性各不相同.最近的一項(xiàng)工作[59]中，考慮了跨平臺(tái)的誤導(dǎo)信息傳播問題，并提出了一種基于生存理論的貪心算法解決這個(gè)問題.

2.2.2 內(nèi)容標(biāo)記

發(fā)布用戶自創(chuàng)內(nèi)容的社會(huì)媒體平臺(tái)通常讓用戶選擇“標(biāo)記”或“報(bào)告”某些冒犯性的、有害的或虛假的信息.在這些平臺(tái)上，因?yàn)橛脩舭l(fā)布的內(nèi)容眾多而且揭穿虛假內(nèi)容需要的領(lǐng)域知識(shí)量巨大，所以用一個(gè)集中式系統(tǒng)判斷這些內(nèi)容是極具挑戰(zhàn)性的.因此，多數(shù)社會(huì)媒體平臺(tái)通過用戶來在線維護(hù)內(nèi)容，如果某些內(nèi)容違反該平臺(tái)的社區(qū)指南，其他用戶可以標(biāo)記該內(nèi)容為虛假內(nèi)容.

在將內(nèi)容標(biāo)記為“虛假信息”的情況下，這些平臺(tái)通常使用第三方事實(shí)核查程序判斷其真實(shí)性并采取必要的行動(dòng).如果內(nèi)容被證明是虛假或有害的，平臺(tái)可以刪除該帖子以減少其傳播范圍.一些平臺(tái)還告知用戶平臺(tái)已經(jīng)執(zhí)行了事實(shí)核查，并指出帖子內(nèi)容的分享或交互中所存在的問題[60-61].

雖然一些組織一直要求社會(huì)媒體平臺(tái)采取積極措施控制虛假信息的傳播[62]，但也有一些組織對(duì)這些平臺(tái)刪除虛假信息和虛假言論的行為進(jìn)行了譴責(zé)，理由是發(fā)布這種虛假言論和觀點(diǎn)不是“非法的”[63].因此，虛假信息的標(biāo)記和刪除是具有挑戰(zhàn)性的，有待探索更好的解決方案.

2.2.3 易感用戶分析與識(shí)別

減緩虛假信息的另一個(gè)研究方向是分析用戶行為并識(shí)別易受影響或易受騙的用戶，即最容易接受和傳播虛假信息的用戶[64-65].Rajabi等人[64]試圖在Twitter上識(shí)別易受虛假新聞?dòng)绊懙挠脩羧后w，他們使用一種無監(jiān)督的方法，基于用戶、內(nèi)容和網(wǎng)絡(luò)特征將用戶分組為3類：正常用戶、惡意用戶、脆弱或天真的用戶.這種對(duì)脆弱群體的識(shí)別可能有助于進(jìn)行針對(duì)性的事實(shí)核查，或在接觸虛假新聞后，使用特定的、合乎道德的方式向該群體提供真實(shí)信息.

3 虛假信息研究面臨的挑戰(zhàn)

在虛假信息領(lǐng)域的研究是具有挑戰(zhàn)性的，盡管在某些方面研究者們已經(jīng)進(jìn)行了大量有意義的工作，但仍有待進(jìn)一步探索.阻礙研究進(jìn)程的主要問題點(diǎn)和該領(lǐng)域與其他領(lǐng)域問題的差別主要有3點(diǎn)：

1) 廣泛性.從商品宣傳、體育新聞到財(cái)經(jīng)信息，幾乎都存在著虛假信息.

2) 動(dòng)態(tài)性.不斷變化的研究領(lǐng)域.新的問題、挑戰(zhàn)和威脅每天都在出現(xiàn)，如人工智能生成的新聞文章和極端的類人語言生成能力.

3) 跨學(xué)科性.虛假新聞和虛假信息在很大程度上是跨學(xué)科的問題，涉及計(jì)算機(jī)科學(xué)、政治科學(xué)、戰(zhàn)略學(xué)、決策學(xué)、倫理學(xué)，甚至心理學(xué)和認(rèn)知科學(xué).

無論是Facebook，Twitter這樣的社會(huì)媒體網(wǎng)站，還是維基百科這樣的眾包知識(shí)庫，幾乎都存在著虛假/捏造的內(nèi)容.因?yàn)樘摷傩畔⒈憩F(xiàn)形式多種多樣，如文本、假視頻、偽造的圖片、斷章取義的聲明和圖像等，甚至是人也很難判斷一條信息是否為虛假信息.此外，先前信念、認(rèn)知偏差以及回聲室效應(yīng)[66]也可能影響人們對(duì)社會(huì)媒體上的聲明或帖子的真實(shí)性做出判斷.因此，理解和識(shí)別虛假信息這一任務(wù)對(duì)人來說已經(jīng)相當(dāng)具有挑戰(zhàn)性的，實(shí)現(xiàn)自動(dòng)化檢測算法正確、有效、高效地識(shí)別虛假信息這一目標(biāo)將會(huì)更加困難.

同時(shí)，緩解虛假信息傳播也是一項(xiàng)更艱巨的任務(wù)，因?yàn)榫徑獾牡?步是檢測出虛假信息，這本身是一項(xiàng)困難的任務(wù).而且，緩解虛假信息傳播伴隨著一系列挑戰(zhàn).我們將在下文中討論這些挑戰(zhàn)以及解決方法，包括：數(shù)據(jù)方面的挑戰(zhàn)、早期檢測和有效緩解方面的挑戰(zhàn)、基于事實(shí)核查方法面臨的挑戰(zhàn)、多模態(tài)方法帶來的挑戰(zhàn)、政策問題與公平性方面的挑戰(zhàn).

3.1 數(shù)據(jù)挑戰(zhàn)

緩解虛假信息傳播影響的第1步是檢測虛假信息并給予應(yīng)對(duì)措施，因此虛假信息檢測的準(zhǔn)確性和實(shí)時(shí)性都是緩解虛假信息影響的重要因素.而虛假信息幾乎存在于各個(gè)領(lǐng)域，包括政治、健康、名人緋聞等，不同領(lǐng)域的新聞?dòng)胁煌膶懽黠L(fēng)格，甚至使用完全不同的詞匯，用一個(gè)領(lǐng)域的數(shù)據(jù)訓(xùn)練得到的自動(dòng)化檢測模型在檢測另一個(gè)領(lǐng)域的虛假信息時(shí)往往表現(xiàn)不佳.然而為每個(gè)領(lǐng)域開發(fā)單獨(dú)的分類器也是不可行的，因?yàn)檫@會(huì)消耗大量時(shí)間和資源，而且?guī)в凶⑨屛谋镜臄?shù)據(jù)集可能不適用于所有領(lǐng)域.獲取這些數(shù)據(jù)是一個(gè)昂貴的過程，有時(shí)還需要領(lǐng)域知識(shí)專家.更值得探討的是，這些數(shù)據(jù)往往會(huì)有一些關(guān)于特定事件或主題的關(guān)鍵字和短語，在一個(gè)數(shù)據(jù)集上訓(xùn)練的分類器在事件或主題不明確的領(lǐng)域中表現(xiàn)得不會(huì)很好.同時(shí)，一些新聞文章可能是純粹的諷刺某些人或事，沒有任何惡意.如果虛假信息檢測器沒有使用這種數(shù)據(jù)進(jìn)行訓(xùn)練，可能無法正確地判斷一篇文章是虛假的還是只為了諷刺.

文獻(xiàn)[67]的作者指出，另一個(gè)挑戰(zhàn)在于訓(xùn)練數(shù)據(jù)集的收集，常見的收集方法是從信譽(yù)高的新聞網(wǎng)站提取真實(shí)的新聞文章并從可疑網(wǎng)站提取虛假的新聞文章.但這樣的數(shù)據(jù)可能難以滿足訓(xùn)練目的，因?yàn)榧词故怯行抛u(yù)的新聞來源也可能會(huì)發(fā)布錯(cuò)誤信息，而可疑的網(wǎng)站上并非所有的新聞都是虛假的.因此，相關(guān)研究亟需更好的注釋方式，如利用事實(shí)核查網(wǎng)站來獲取新聞文章的真實(shí)性標(biāo)簽，而不是依賴新聞來源的信譽(yù)[67].

這種虛假信息特定領(lǐng)域的數(shù)據(jù)標(biāo)簽問題可以利用基于遷移學(xué)習(xí)的方法訓(xùn)練自動(dòng)虛假信息檢測器.這個(gè)想法雖然還沒有被廣泛研究，但是最近已經(jīng)開始有研究者利用遷移學(xué)習(xí)解決某些領(lǐng)域缺少標(biāo)記數(shù)據(jù)的問題[68-69].針對(duì)領(lǐng)域或事件具有特定特征這個(gè)問題，可以在訓(xùn)練虛假信息分類器過程中采用對(duì)抗學(xué)習(xí)技術(shù)，防止分類器學(xué)習(xí)到領(lǐng)域或事件的特定特征，使其能很好地推廣到其他領(lǐng)域或事件中.基于這一想法，Wang等人[70]提出了一種事件對(duì)抗神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)試圖學(xué)習(xí)與事件無關(guān)的、能共享的特征，而不是事件特定的特征，從而使該模型在新出現(xiàn)的虛假信息上表現(xiàn)良好.

3.2 早期檢測和有效緩解

社會(huì)媒體平臺(tái)上的不良用戶為了影響讀者并獲得快速反應(yīng)，常常用聳人聽聞的標(biāo)題、夸張的圖片和帶有情緒的語言吸引用戶的注意，并讓用戶參與到話題中.這些內(nèi)容可能會(huì)通過讀者的分享和再次分享快速蔓延.例如，“Plandemic”的虛假視頻[21]在被刪除之前有800萬觀眾，有大約250萬用戶通過點(diǎn)贊、評(píng)論和分享的形式參與了傳播[71].視頻中有很多關(guān)于新冠病毒大流行的虛假說法，許多人分享并贊同它，其中包括有影響力的政治家和運(yùn)動(dòng)員[71].這類虛假信息可能會(huì)造成災(zāi)難性的影響，例如降低公眾對(duì)衛(wèi)生保健系統(tǒng)的信任和協(xié)同應(yīng)對(duì)病毒的積極性，進(jìn)而影響公共衛(wèi)生.在這樣的高風(fēng)險(xiǎn)情況下，虛假信息早期檢測對(duì)減少危害是極其重要的.

然而，無論是人工檢測還是自動(dòng)檢測虛假信息，都是一項(xiàng)極具挑戰(zhàn)的任務(wù).1)對(duì)于新出現(xiàn)事件的說法利用人工事實(shí)核查進(jìn)行早期檢測具有挑戰(zhàn)性，因?yàn)槿狈ο嚓P(guān)知識(shí)，需要領(lǐng)域?qū)＜疫M(jìn)行核實(shí).同時(shí)，第三方核查人員進(jìn)行事實(shí)核查需要一定時(shí)間.2)自動(dòng)檢測模型沒有使用新出現(xiàn)的內(nèi)容進(jìn)行訓(xùn)練，因此檢測效果并不好.如果在訓(xùn)練模型的領(lǐng)域和使用模型的領(lǐng)域之間存在不一致性，性能將會(huì)更差.

此外，在虛假信息傳播早期缺乏用戶評(píng)論和反饋，而這些內(nèi)容是虛假信息檢測的輔助信息來源，能幫助人或機(jī)器甄別信息的真?zhèn)?用戶評(píng)論描述了他們對(duì)信息的觀點(diǎn)，可以輔助評(píng)判此報(bào)道是不屬實(shí)的.因此，信息的缺乏是虛假信息的早期檢測的重要挑戰(zhàn).

虛假信息的早期檢測對(duì)有效緩解虛假信息的影響也至關(guān)重要.虛假信息越早被檢測，就能越快地啟動(dòng)反向級(jí)聯(lián)的應(yīng)對(duì)措施，也即從受虛假信息影響的用戶開始進(jìn)行反向傳播真實(shí)信息.雖然這是一個(gè)相對(duì)缺乏探索的領(lǐng)域，但一些研究人員已經(jīng)提出了框架和模型來解決這個(gè)問題.Liu和Wu[72]提出了一種基于用戶在傳播路徑上的特征檢測虛假新聞的方法，該方法只需獲取前5 min的傳播數(shù)據(jù)就能獲得較好的檢測精度.Zhou等人[73]提出了一種基于新聞內(nèi)容提取特征的檢測框架，提取的特征具有不同的層次，如語法層次、詞匯層次、語義層次等，以檢測已經(jīng)在新聞網(wǎng)站上發(fā)布但尚未在社會(huì)媒體上傳播的虛假新聞.Qian等人[41]開發(fā)了一個(gè)模型學(xué)習(xí)生成基于文章的用戶反饋，然后與來自實(shí)際文章的單詞和句子級(jí)信息一起用于分類過程，以解決在早期檢測時(shí)缺乏用戶評(píng)論作為輔助信息來源的問題.Vicario等人的工作[74]可以預(yù)測未來可能出現(xiàn)在誤傳信息帖子中的主題，從而提供早期預(yù)警.

3.3 基于事實(shí)核查的緩解方法面臨的挑戰(zhàn)

新聞?lì)I(lǐng)域的研究人員和從業(yè)者一直在使用基于事實(shí)核查的方法驗(yàn)證言論，并提出緩解虛假言論影響的方法.但人工事實(shí)核查過程非常緩慢，需要領(lǐng)域?qū)＜覚z查和研究新聞文章并確定其準(zhǔn)確性.而且每天網(wǎng)上都會(huì)生成和傳播大量信息，人工事實(shí)核查難以及時(shí)應(yīng)對(duì)，給緩解虛假信息的影響帶來較大的時(shí)延.而在人們接觸過虛假文章之后，再對(duì)其進(jìn)行反駁和曝光，在減緩虛假信息傳播的影響方面并沒有像我們預(yù)期的那樣有效.Ecker[75]從心理學(xué)的角度解釋了在撤回錯(cuò)誤言論背景下人類如何反應(yīng)的現(xiàn)象.我們將在4.1節(jié)中詳細(xì)介紹該主題.

雖然自動(dòng)事實(shí)核查[46]比手動(dòng)事實(shí)核查及時(shí)性強(qiáng)，可以緩解驗(yàn)證言論和文章真實(shí)性的延遲問題.然而，這種方法也面臨一系列挑戰(zhàn)和障礙.大多數(shù)自動(dòng)事實(shí)核查方法需要知識(shí)庫(通常以知識(shí)圖譜的形式)，并且需要定期更新以確保知識(shí)庫是最新的.但是這很難應(yīng)對(duì)突然出現(xiàn)的話題和知識(shí)，例如大流行早期階段的新冠肺炎癥狀.而且，知識(shí)庫在創(chuàng)建的時(shí)候可能就有噪音或偏差，會(huì)對(duì)事實(shí)核查性能造成影響.此外，在某些語料庫上訓(xùn)練的自然語言處理模型可能存在語義偏差.雖然可以通過使用結(jié)構(gòu)化數(shù)據(jù)(主語、謂語、賓語)來緩解這種情況，但是獲得結(jié)構(gòu)化數(shù)據(jù)也是很困難的.

3.4 多模態(tài)信息帶來的挑戰(zhàn)

社會(huì)媒體上的新聞文章和帖子通常伴隨有與文本相關(guān)或支持文本內(nèi)容的圖像或視頻.即使圖像是偽造的，在文字旁邊配上相關(guān)圖片或視頻也會(huì)提高新聞報(bào)道或聲明的可信度.那些旨在引起輿論轟動(dòng)的帖子通常會(huì)利用精心偽造的圖像、視頻甚至采用Deepfakes進(jìn)行AI換臉，利用人眼幾乎是無法區(qū)分的.真實(shí)的圖像和視頻也可能被裁剪，以表達(dá)一些額外的含義.由于內(nèi)容的偽造和欺騙以多種不同的形式出現(xiàn)，讓大眾更容易接受，很難設(shè)計(jì)緩解方法，特別是普適性的緩解方法進(jìn)行應(yīng)對(duì).

目前相關(guān)工作主要集中在多模態(tài)的虛假信息上，如Wang等人[70]使用文本和視覺特征提取器，并聯(lián)合2類特征訓(xùn)練虛假新聞檢測器.然而，這種方法不能捕捉圖像和文本之間的相關(guān)性.如果帖子中的圖像和文本各自都是真實(shí)的，但一起查看可能代表完全不同的含義并且有誤導(dǎo)讀者的作用，因此，學(xué)習(xí)文本和圖像的聯(lián)合表示很重要.Khattar等人[76]使用可變自編碼器學(xué)習(xí)文本和圖像的共享表示，能夠從該共享的潛在表示中分別重構(gòu)文本和圖像，從而捕獲2種形式之間的相關(guān)性和依賴性.Zhou等人[77]的方法類似，先分別學(xué)習(xí)文本和圖像表示，然后計(jì)算文本和視覺表示之間的相似性.識(shí)別模式之間的“不匹配”有助于檢測虛假新聞.Cui等人[78]在他們的模型中加入了3種類型的模塊——文本、圖像和用戶個(gè)人資料，還結(jié)合了用戶評(píng)論的情感判斷文章/帖子是否虛假.Zhang等人[79]提出了一種利用外部知識(shí)圖譜學(xué)習(xí)基礎(chǔ)知識(shí)，再結(jié)合文本和視覺特征的檢測方法.文獻(xiàn)[80]在文本基礎(chǔ)上結(jié)合使用了視頻和音頻，文獻(xiàn)[81-82]也在多模態(tài)虛假新聞檢測方面開展了一些工作.盡管研究者已經(jīng)取得了一些檢測方面的進(jìn)展，但是有關(guān)緩解多模態(tài)虛假信息傳播影響的研究仍十分有限，具有廣闊的研究空間.

3.5 政策問題與公平性

這一挑戰(zhàn)是在緩解虛假信息傳播任務(wù)中特有的，主要表現(xiàn)為：當(dāng)在社會(huì)媒體平臺(tái)上成功檢測到虛假信息后，下一步應(yīng)當(dāng)確定采取什么糾正措施.從社會(huì)媒體平臺(tái)的角度來看，這一工作極具有挑戰(zhàn)性，因?yàn)檠哉撟杂珊头乐固摷傩畔鞑ブg的平衡始終是一個(gè)存在爭議的問題.審查制度，尤其是社會(huì)媒體審查制度一直是國際辯論的一個(gè)問題，管理者很難采取行之有效的措施打擊網(wǎng)上虛假信息.最近，美國宣布了一項(xiàng)反對(duì)社會(huì)媒體平臺(tái)在線審查的行政命令[83]，理由是平臺(tái)應(yīng)容納更多不同的觀點(diǎn).另一方面，社會(huì)媒體平臺(tái)也常因其在遏制錯(cuò)誤和虛假信息方面的糟糕表現(xiàn)而受到公眾的指責(zé)[84].一個(gè)有爭議的帖子是否是虛假信息通常需要細(xì)致的討論，這使得社會(huì)媒體平臺(tái)很難迅速采取行動(dòng).鑒于虛假新聞和虛假信息在網(wǎng)絡(luò)社會(huì)媒體平臺(tái)上的傳播速度之快，各國政府也對(duì)影響社會(huì)穩(wěn)定的虛假信息和宣傳感到擔(dān)憂.很多國家都要求科技巨頭積極主動(dòng)地監(jiān)管虛假信息和虛假新聞[85-86].但在媒體、新聞以及信息的使用方面，世界上不同的國家和地區(qū)有不同的規(guī)定，這讓事情變得更加復(fù)雜.

隨著公平性成為人工智能研究的一個(gè)重要話題，社會(huì)媒體平臺(tái)是否公平地、無偏見地監(jiān)管言論也成為一個(gè)問題.自我表達(dá)和可能造成傷害的虛假信息之間存在模糊的界限，尤其是在新冠病毒應(yīng)對(duì)重要事件期間.一些群體可能覺得自己比其他人更容易成為社會(huì)媒體監(jiān)管的目標(biāo)，因此制定緩解虛假信息政策時(shí)保護(hù)每個(gè)人的利益以達(dá)到公平是非常重要的.

4 對(duì)虛假信息的跨學(xué)科研究

正如第3節(jié)中提到的，虛假信息研究需要跨學(xué)科合作.利用人工智能和機(jī)器學(xué)習(xí)檢測虛假信息并緩解虛假信息傳播的計(jì)算方法和模型只是虛假信息解決方案的一部分內(nèi)容.這些技術(shù)需要其他領(lǐng)域的知識(shí)進(jìn)行擴(kuò)充.例如，可以從社會(huì)科學(xué)、心理學(xué)和認(rèn)知科學(xué)等領(lǐng)域了解，理性的人類為什么會(huì)成為虛假新聞和虛假信息的受害者，如何成為受害者的，哪些心理過程觸發(fā)了對(duì)虛假信息的反應(yīng)和參與等.盡管研究人員已經(jīng)開始在此方向展開探索，但還需要更深入的理解和學(xué)習(xí)來自其他學(xué)科的知識(shí)，以便設(shè)計(jì)更完善的解決方案.

此外，虛假信息的問題不僅僅是技術(shù)問題.需要組織令人信服的信息和活動(dòng)的公眾推廣計(jì)劃，幫助普通用戶對(duì)新聞和信息的質(zhì)量做出更準(zhǔn)確的判斷.

4.1 從跨學(xué)科的角度理解和檢測虛假信息

為了從底層解決網(wǎng)絡(luò)虛假信息和欺騙的問題，一些研究嘗試了解個(gè)體與虛假新聞互動(dòng)并相信該新聞時(shí)認(rèn)知和心理的作用過程，并探究通常是什么原因讓人們信任了虛假信息.

正如文獻(xiàn)[87]中所描述的，當(dāng)面對(duì)太多的信息和資源時(shí)，人類的大腦自然傾向于使用認(rèn)知捷徑或“啟發(fā)式”來做決定，而不是批判性地分析每一條信息.在網(wǎng)絡(luò)信息生態(tài)系統(tǒng)中，人們淹沒在新聞、評(píng)價(jià)和觀點(diǎn)之中，而這些內(nèi)容往往是極其矛盾的，這使得評(píng)估內(nèi)容真實(shí)性的任務(wù)變得越來越困難.

在可信度評(píng)估的背景下，認(rèn)知捷徑和啟發(fā)式的想法已經(jīng)在文獻(xiàn)[88]中提到，作者解釋了這種啟發(fā)式的使用如何導(dǎo)致人們做出不正確的判斷和決定.其中，聲譽(yù)啟發(fā)式(reputation heuristic)是指用戶通過新聞來源的聲譽(yù)或認(rèn)可程度判斷一篇新文章的可信度；支持啟發(fā)式(endorsement heuristic)是指如果一個(gè)可信任的熟人共享并認(rèn)可了一則新聞，用戶傾向于相信新聞文章是可信的；自我確認(rèn)啟發(fā)式(self-confirmation heuristic)或確認(rèn)偏差用戶(confir-mation bias users)傾向于信任與他們既有信念一致的新聞和信息源.

雙重過程理論是人類易受虛假信息影響的另一個(gè)理論支撐[89]，根據(jù)此理論，人類的大腦有2種思維和處理信息的方式——第1種是一個(gè)自動(dòng)(無意識(shí)的)過程，僅需要很少的能量；第2種是一個(gè)分析(有意識(shí))的過程，需要大量的能量.快速自動(dòng)的處理類似于啟發(fā)式信息處理方式，可能誤導(dǎo)人們讓他們誤判新聞的可信度.此外，動(dòng)機(jī)推理，即以與先前信念一致的方式進(jìn)行推理和合理化，也是人類易受信息欺騙的另一個(gè)原因[90-91].

如今，社會(huì)媒體平臺(tái)經(jīng)常使用第三方事實(shí)核查人員來核實(shí)平臺(tái)上分享的新聞文章和聲明的真實(shí)性.如果虛假信息被核查屬實(shí)，平臺(tái)通常會(huì)顯示一個(gè)標(biāo)簽或免責(zé)聲明表示事實(shí)核查結(jié)果[60].然而，研究表明這樣的處理是無效的[75]，甚至可能會(huì)促使虛假信息的讀者加強(qiáng)他們對(duì)原始虛假敘述的信念.一些研究者[92-93]解釋了錯(cuò)誤信息的反駁和撤回如何通過“適得其反”的作用甚至增強(qiáng)了人們對(duì)錯(cuò)誤信息的信任度.由于暴露于原始錯(cuò)誤信息與撤回之間存在時(shí)滯，這種糾正性撤回可能對(duì)讀者沒有任何影響，因?yàn)槟菚r(shí)讀者已經(jīng)建立了心理模型來理解這一條錯(cuò)誤信息[94].更為復(fù)雜的是，實(shí)驗(yàn)表明：虛假新聞標(biāo)題上的“爭議”標(biāo)志或事實(shí)核查似乎會(huì)增加未經(jīng)過事實(shí)核查而沒有標(biāo)志的新聞的真實(shí)性[95].因此，緩解虛假信息問題是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，需要來自各個(gè)學(xué)科和領(lǐng)域的知識(shí)和概念.

虛假信息檢測中也用到認(rèn)知科學(xué)的知識(shí)，如使用認(rèn)知科學(xué)中的信息一致性及連貫性、信息源的可信度和普遍可接受性等內(nèi)容[96].

4.2 緩解虛假信息方面的跨學(xué)科努力

虛假新聞和虛假信息是一個(gè)全球現(xiàn)象，隨著在線內(nèi)容的生成和傳播越來越便捷，讓人們知道虛假新聞盛行并形成有效防范假新聞的意識(shí)變得日益重要.全球大約45.7億名活躍互聯(lián)網(wǎng)用戶[97](截至2020年7月)，需要接受虛假信息和欺騙一直存在的事實(shí)，并了解如何識(shí)別假新聞.

此外，一些研究和調(diào)查表明，人們極其容易受到虛假新聞的影響，甚至是聲稱對(duì)假新聞免疫的那部分人[98-99].斯坦福大學(xué)歷史教育小組[100]在2019年進(jìn)行的一項(xiàng)研究表明，部分學(xué)生難以評(píng)估某些網(wǎng)絡(luò)資源的可信度，容易受到錯(cuò)誤信息的影響.令人震驚的是，90%的學(xué)生在被要求完成的6項(xiàng)任務(wù)中有4項(xiàng)不及格.

許多組織、學(xué)者和非營利組織為這方面的研究做出了貢獻(xiàn)，如美國媒體素養(yǎng)教育協(xié)會(huì)[101]、媒體素養(yǎng)中心[102-103]媒體教育實(shí)驗(yàn)室[104]等，新聞業(yè)也制定了相應(yīng)的標(biāo)準(zhǔn)防止產(chǎn)生誤導(dǎo)性的或虛假的信息.此外，一個(gè)由約120家新聞機(jī)構(gòu)組成的聯(lián)盟“信任項(xiàng)目”(Trust Project. https://thetrustproject.org/)制定了8個(gè)“信任指標(biāo)”，旨在建立新聞來源的可信賴性(trustworthiness)、透明度(transparency)和問責(zé)性(accountability).他們的目標(biāo)是通過這些信任和問責(zé)的指標(biāo)重建公眾對(duì)高質(zhì)量新聞來源的信任.許多國家開展了提高公眾對(duì)虛假新聞流行程度的認(rèn)識(shí)活動(dòng)，并指導(dǎo)人們?nèi)绾伟l(fā)現(xiàn)假新聞[12,105].學(xué)校課程中也納入了類似的活動(dòng)，教育學(xué)生如何與網(wǎng)絡(luò)媒體[106-109]互動(dòng).另一個(gè)媒體素養(yǎng)倡議是Drog[110]：除了教育項(xiàng)目和活動(dòng)之外，他們還設(shè)計(jì)了一款游戲，通過了解虛假信息的創(chuàng)建和傳播過程，幫助玩家建立對(duì)虛假信息的心理抵抗[111].

5 總結(jié)及未來工作

本文簡要概述了網(wǎng)絡(luò)社會(huì)媒體平臺(tái)上的虛假信息研究現(xiàn)狀，闡述了檢測虛假信息和減緩虛假信息傳播的計(jì)算方法，探討了虛假信息檢測與減緩其影響中的各種挑戰(zhàn)，以及應(yīng)對(duì)這些挑戰(zhàn)的一些方法，最后從跨學(xué)科的角度討論了檢測和減緩虛假信息傳播的一些努力.

目前，許多有關(guān)虛假信息研究的領(lǐng)域還沒有得到充分的探索，還有很大的研究空間.隨著最近在大規(guī)模、高表現(xiàn)力語言模型和自動(dòng)文本生成能力方面的進(jìn)步，大規(guī)模的虛假信息攻擊逐漸成為研究人員的潛在威脅.OpenAI最近發(fā)表的GPT-2和GPT-3模型性能強(qiáng)大，惡意代理模型可以微調(diào)這些模型自動(dòng)生成虛假或誤導(dǎo)性的新聞文章[112-113].讀者通常是感性的，很可能會(huì)相信機(jī)器生成的文章是合法的新聞.因此，防御這種攻擊是很有前景的新研究領(lǐng)域，值得重點(diǎn)關(guān)注.

此外，在緩解虛假信息方面進(jìn)行更多的跨學(xué)科研究是十分有必要的.目前已經(jīng)有在人類的輕信性和對(duì)虛假信息的敏感性方面的研究，可以用于計(jì)算機(jī)科學(xué)領(lǐng)域以設(shè)計(jì)更好的推薦或排序算法，對(duì)社會(huì)媒體平臺(tái)上的新聞進(jìn)行排名，但是，目前社會(huì)媒體平臺(tái)上的推薦算法仍傾向于有選擇地向用戶展示與他們歷史興趣相一致的內(nèi)容，從而加劇了回聲室的問題，加劇了人群的對(duì)立，最終使得減緩虛假信息傳播影響的任務(wù)更加具有挑戰(zhàn)性.因此，研究者們有必要設(shè)計(jì)更好的算法，以確保用戶在理想的新聞文章和具有相反觀點(diǎn)的文章之間保持良好的平衡.