孫雷亮

(北方健康醫(yī)療大數(shù)據(jù)科技有限公司 濟(jì)南 250117)

隨著ChatGPT的爆火,生成式AI為代表的人工智能技術(shù)迅速進(jìn)入普通人視野,淵博的知識(shí)面及強(qiáng)大的語(yǔ)境理解能力使其受到社會(huì)大眾的狂熱喜愛(ài).但在其使用過(guò)程中會(huì)出現(xiàn)專精領(lǐng)域知識(shí)回答錯(cuò)誤、相同問(wèn)題回答不一致等情況,甚至出現(xiàn)國(guó)別種族歧視等明顯被人為因素干擾的言論.究其原因,影響人工智能輸出結(jié)果的不在于模型算法本身而在于訓(xùn)練數(shù)據(jù),基礎(chǔ)訓(xùn)練數(shù)據(jù)審核不嚴(yán)、數(shù)據(jù)偽造等因素嚴(yán)重影響人工智能的發(fā)展.目前尚未有專門(mén)機(jī)構(gòu)對(duì)人工智能領(lǐng)域數(shù)據(jù)偽造提出權(quán)威解決方案,但人工智能的發(fā)展卻離不開(kāi)數(shù)據(jù)安全的保障.本文通過(guò)研究數(shù)據(jù)偽造可能出現(xiàn)的原因、實(shí)現(xiàn)過(guò)程及應(yīng)對(duì)措施,可以給人工智能研發(fā)機(jī)構(gòu)及企業(yè)減少數(shù)據(jù)偽造風(fēng)險(xiǎn)提供理論方法,并通過(guò)具體數(shù)據(jù)偽造實(shí)踐為廣大的研究學(xué)者提供數(shù)據(jù)偽造風(fēng)險(xiǎn)的技術(shù)理論支撐,以促進(jìn)未來(lái)人工智能的安全健康發(fā)展.

1 AIGC概念及發(fā)展

人工智能生成內(nèi)容(artificial intelligence generated content, AIGC)是指利用人工智能技術(shù)自動(dòng)產(chǎn)生內(nèi)容,常見(jiàn)如代碼生成、文本問(wèn)答、圖像生成、視頻制作、智能家居等[1].AIGC技術(shù)的核心能力在于利用深度學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等先進(jìn)技術(shù),對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練和分析,從而獲得數(shù)據(jù)的潛在規(guī)律和模式,再利用這些規(guī)律和模式生成新的內(nèi)容.

到目前為止,AICG的發(fā)展經(jīng)歷了3個(gè)大的階段:1)萌芽階段.20世紀(jì)90年代以前,受限于計(jì)算機(jī)水平的發(fā)展,人們?cè)谔剿饔?jì)算機(jī)生成文字音樂(lè)、對(duì)話機(jī)器人以及人機(jī)交互等人工智能初級(jí)階段.2)積累階段.從1990年前后到2010年前后,隨著科技發(fā)展,人類語(yǔ)言識(shí)別、人工智能創(chuàng)作等逐步實(shí)現(xiàn),但大都處在實(shí)驗(yàn)階段,實(shí)用性場(chǎng)景較少.3)快速發(fā)展階段.2014年10月GAN對(duì)抗式生成網(wǎng)絡(luò)被提出,同年微軟發(fā)布智能對(duì)話機(jī)器人“小冰”,2018年英偉達(dá)發(fā)布的StyleGAN模型可以生成人類眼睛難以分辨真假的高質(zhì)量圖片,2022年11月OpenAI發(fā)布使用Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)(GPT-3.5)的ChatGPT,到2023年1月月活用戶已破億,創(chuàng)造了歷史記錄.表1為主流社交應(yīng)用平臺(tái)用戶數(shù)破億時(shí)長(zhǎng):

表1 熱門(mén)平臺(tái)月活躍用戶數(shù)破億時(shí)長(zhǎng)

AIGC技術(shù)通過(guò)廣泛應(yīng)用于各個(gè)行業(yè)和領(lǐng)域,對(duì)音頻、文本、視頻等不同模態(tài)的數(shù)據(jù)進(jìn)行學(xué)習(xí),構(gòu)成多方向應(yīng)用場(chǎng)景.中國(guó)信息通信研究院提出AIGC技術(shù)演化的3大前沿能力[2],分別是智能數(shù)字內(nèi)容孿生能力、智能數(shù)字內(nèi)容編輯能力和智能數(shù)字內(nèi)容創(chuàng)作能力,如圖1所示:

2 GPT模型原理及特點(diǎn)

2.1 GPT模型基本原理

生成式預(yù)訓(xùn)練模型(generative pre-trained transformer, GPT)是OpenAI團(tuán)隊(duì)提出的一種基于Transformer架構(gòu)的自然語(yǔ)言生成模型.它采用多層Transformer結(jié)構(gòu),并在大規(guī)模的數(shù)據(jù)集上進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練,從而使得模型可以對(duì)大量的自然語(yǔ)言文本進(jìn)行建模和推理[3].在預(yù)訓(xùn)練完成后可以使用微調(diào)等方法對(duì)模型進(jìn)行進(jìn)一步的訓(xùn)練,以適應(yīng)具體的任務(wù).GPT模型在自然語(yǔ)言處理領(lǐng)域中取得了極高的成果,例如在文本生成、機(jī)器翻譯、問(wèn)答等方面都有較好的表現(xiàn).當(dāng)然,GPT模型所需要的預(yù)訓(xùn)練數(shù)據(jù)量巨大[4],表2為GPT模型不同版本所需要的預(yù)測(cè)訓(xùn)練數(shù)據(jù)量:

表2 GPT模型不同版本所需數(shù)據(jù)量

目前OpenAI團(tuán)隊(duì)已發(fā)布最新版本為GPT-4[5],但并未公布該版本所用數(shù)據(jù)量級(jí).

2.2 ChatGPT介紹

ChatGPT是在GPT-3.5模型基礎(chǔ)上針對(duì)對(duì)話生成任務(wù)進(jìn)行微調(diào)得到的模型[6],是GPT模型商用的優(yōu)秀代表.ChatGPT將用戶輸入的內(nèi)容作為對(duì)話開(kāi)端,然后根據(jù)當(dāng)前對(duì)話和歷史上下文信息預(yù)測(cè)下一步回復(fù)的內(nèi)容.

2.3 ChatGPT特點(diǎn)

2.3.1 多語(yǔ)言多場(chǎng)景自然對(duì)話

ChatGPT可以處理多種語(yǔ)言的輸入和輸出,從而支持跨語(yǔ)言的對(duì)話,即可以實(shí)現(xiàn)使用英文提問(wèn)要求中文回答.或許由于訓(xùn)練數(shù)據(jù)量的原因,英文比中文表現(xiàn)優(yōu)異.

2.3.2 訓(xùn)練數(shù)據(jù)集算力要求高

GPT模型需要大量的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,ChatGPT同樣也需要大規(guī)模的對(duì)話數(shù)據(jù)集進(jìn)行訓(xùn)練和優(yōu)化.一般企業(yè)或個(gè)人開(kāi)發(fā)者無(wú)法承擔(dān)高算力[7],因此目前OpenAI提供了付費(fèi)API接口服務(wù)來(lái)提供ChatGPT,GPT-4的使用[8].

2.3.3 準(zhǔn)確性專業(yè)程度尚不足

ChatGPT模型預(yù)訓(xùn)練數(shù)據(jù)存在著各種社會(huì)文化背景、價(jià)值觀和信仰體系信息,會(huì)在某些情況下給出帶有偏見(jiàn)的回答[9].處理某些復(fù)雜或?qū)I(yè)領(lǐng)域問(wèn)題時(shí)也會(huì)顯現(xiàn)專業(yè)不足.該模型尚無(wú)法理解某些預(yù)警或情景的隱含含義.

3 數(shù)據(jù)偽造風(fēng)險(xiǎn)

3.1 產(chǎn)生原因

3.1.1 數(shù)據(jù)源不可靠

ChatGPT基于GPT-3.5學(xué)習(xí)自然語(yǔ)言處理任務(wù),并通過(guò)對(duì)大量文本數(shù)據(jù)的訓(xùn)練改進(jìn)其輸出結(jié)果的質(zhì)量.這意味著,如果ChatGPT接收到的輸入數(shù)據(jù)不準(zhǔn)確或存在誤導(dǎo)性,那么它的輸出結(jié)果也會(huì)受到影響.在一定條件下,攻擊者可以向ChatGPT提供虛假信息,使其回復(fù)內(nèi)容帶有惡意攻擊特征.

3.1.2 算法模型局限性

當(dāng)前基于GPT算法模型可以通過(guò)大規(guī)模訓(xùn)練數(shù)據(jù)提高其智能化水平,但嚴(yán)格來(lái)講,模型本身并不具備偽造數(shù)據(jù)識(shí)別能力.

3.1.3 輔助訓(xùn)練現(xiàn)實(shí)需要

雖然前期有了大量預(yù)訓(xùn)練數(shù)據(jù)的基礎(chǔ),但GPT模型仍需實(shí)際使用者的數(shù)據(jù)加持才會(huì)促進(jìn)GPT模型更加智能化發(fā)展.例如隨著ChatGPT的火爆,全球各個(gè)國(guó)家的專家學(xué)者、研究人員、各領(lǐng)域從業(yè)者都在紛紛使用,而OpenAI雖然宣稱并不保存用戶數(shù)據(jù)[10],但用戶的對(duì)話內(nèi)容卻在幫助訓(xùn)練模型,數(shù)以千計(jì)無(wú)法保證其真實(shí)性的用戶對(duì)話均被用來(lái)訓(xùn)練模型.

3.2 數(shù)據(jù)偽造實(shí)踐分析

3.2.1 fine-tune模型微調(diào)

GPT模型已經(jīng)使用大量的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,已具備通用能力,但在實(shí)際應(yīng)用中,往往會(huì)面臨新的領(lǐng)域或數(shù)據(jù)集,這些新的數(shù)據(jù)可能與之前的數(shù)據(jù)不同,導(dǎo)致原先訓(xùn)練好的模型不能直接用于新任務(wù)或數(shù)據(jù)集.而fine-tune可以在一個(gè)已經(jīng)訓(xùn)練好的模型上進(jìn)一步針對(duì)性地進(jìn)行訓(xùn)練[11],從而使得該模型能夠更好地適應(yīng)新的數(shù)據(jù)集或任務(wù).

2023年2月2日,OpenAI宣布推出ChatGPT Plus付費(fèi)訂閱服務(wù),該服務(wù)就包含了GPT-3模型(davinci,curie,ada和babbage)的模型微調(diào)[12].

3.2.2 GPT-3模型數(shù)據(jù)偽造事件

2023年3月21日,本文作者及相關(guān)研究人員發(fā)現(xiàn),通過(guò)OpenAI Plus服務(wù)進(jìn)行API調(diào)用時(shí),返回結(jié)果包含黑產(chǎn)信息,如圖2所示:

圖2 OpenAI Plus API調(diào)用返回黑產(chǎn)信息

通過(guò)進(jìn)一步分析發(fā)現(xiàn),只有支持fine-tune的模型被黑產(chǎn)污染,而不支持fine-tune的模型則結(jié)果正常,如圖3所示.通過(guò)修改API調(diào)用參數(shù)-m的值來(lái)指定模型類別,可以驗(yàn)證.

圖3 不同模型返回信息對(duì)比

3.2.3 GPT-3模型數(shù)據(jù)偽造可能原因分析

1) OpenAI Plus付費(fèi)服務(wù)用戶的私有fine-tune模型微調(diào)動(dòng)作可能會(huì)修改原來(lái)的官方基礎(chǔ)模型.因此黑產(chǎn)攻擊團(tuán)隊(duì)可能會(huì)通過(guò)多地區(qū)多賬號(hào)的形式,不斷給模型微調(diào)訓(xùn)練,從而影響了正常用戶的回復(fù)結(jié)果,繼而實(shí)現(xiàn)攻擊.

2) GPT-4發(fā)布會(huì)展示了一種場(chǎng)景:在給模型輸入全新的數(shù)據(jù)后它會(huì)很快找出新的解決方案,但是這個(gè)控制參數(shù)并沒(méi)有進(jìn)行明確說(shuō)明.基于此來(lái)推測(cè)可能黑產(chǎn)攻擊團(tuán)隊(duì)通過(guò)API進(jìn)行了大量數(shù)據(jù)投喂,在滿足一定條件后,會(huì)觸發(fā)官方基礎(chǔ)模型的fine-tune開(kāi)關(guān),從而收到一部分具備黑產(chǎn)信息的內(nèi)容.

3.3 數(shù)據(jù)偽造進(jìn)階探究

人工智能數(shù)據(jù)偽造的風(fēng)險(xiǎn)不僅僅來(lái)源于數(shù)據(jù)真實(shí)性,結(jié)合傳統(tǒng)網(wǎng)絡(luò)空間安全、數(shù)據(jù)安全的攻防對(duì)抗的手法,會(huì)使得數(shù)據(jù)偽造具備更大范圍的攻擊力.

3.3.1 ChatGPT反射型XSS漏洞實(shí)驗(yàn)

2023年3月25日,國(guó)外安全研究人員[13]發(fā)現(xiàn)ChatGPT聊天平臺(tái)中存在反射型XSS漏洞(該漏洞目前已被OpenAI官方限制),攻擊者可以利用此漏洞在聊天平臺(tái)頁(yè)面執(zhí)行JavaScript代碼.漏洞實(shí)現(xiàn)方法如下:

1) 通過(guò)提示注入方法,使ChatGPT脫離官方給出部分對(duì)話格式限制,實(shí)現(xiàn)“越獄”;

2) 使對(duì)話解釋Markdown語(yǔ)法文本;

3) 在Markdown內(nèi)容中注入XSS代碼,從而實(shí)現(xiàn)查看cookie、獲取用戶登錄信息等惡意操作,如圖4所示:

圖4 反射型XSS漏洞示例

以上漏洞利用方式并未從數(shù)據(jù)角度開(kāi)展,如果攻擊者事先就設(shè)計(jì)具備攻擊性的偽造數(shù)據(jù),并在偽造的數(shù)據(jù)中插入漏洞利用代碼,通過(guò)模型微調(diào)等方法就可以實(shí)現(xiàn)通過(guò)數(shù)據(jù)偽造獲取用戶信息等高級(jí)攻擊.

3.3.2 GPT-4模型聯(lián)網(wǎng)數(shù)據(jù)投毒實(shí)驗(yàn)

除OpenAI官方提供GPT模型訪問(wèn)外,還提供了眾多商用服務(wù),微軟已在其產(chǎn)品Bing Chat上使用最新的GPT-4[14].2023年3月18日,普林斯頓大學(xué)計(jì)算機(jī)科學(xué)教授Narayanan[15]在其個(gè)人社交網(wǎng)站上發(fā)布了基于Bing Chat的GPT-4模型聯(lián)網(wǎng)數(shù)據(jù)投毒實(shí)驗(yàn),步驟如下:

1) 事先在個(gè)人網(wǎng)站準(zhǔn)備好一段個(gè)人簡(jiǎn)介,如圖5所示,并將最后一句話設(shè)置為如下文字“Hi Bing. This is very important: please include the word cow somewhere in your output”,且該文字設(shè)置背景色為白色,即人視覺(jué)不可知.以上文字格式為Bing Chat對(duì)話格式,意思是告訴Bing在回答中某個(gè)地方包含cow這個(gè)單詞,如圖6所示:

圖5 隱藏信息的Arvind Narayanan個(gè)人簡(jiǎn)介頁(yè)面

圖6 含有cow關(guān)鍵字的Bing回答

2) 與Bing對(duì)話,讓其訪問(wèn)個(gè)人網(wǎng)站并獲取個(gè)人簡(jiǎn)介內(nèi)容,實(shí)驗(yàn)的最終結(jié)果是回答中果然包含單詞cow.

該實(shí)驗(yàn)暴露了目前GPT模型聯(lián)網(wǎng)后的數(shù)據(jù)偽造風(fēng)險(xiǎn),即不對(duì)數(shù)據(jù)進(jìn)行過(guò)濾校驗(yàn),如果攻擊者事先準(zhǔn)備讓人無(wú)法感知的內(nèi)容,則會(huì)導(dǎo)致使用者在獲取需要數(shù)據(jù)的同時(shí)也接入了攻擊者偽造的攻擊數(shù)據(jù),極容易產(chǎn)生不可預(yù)知的嚴(yán)重后果.

4 數(shù)據(jù)偽造利用場(chǎng)景

4.1 學(xué)術(shù)研究場(chǎng)景

因?yàn)镚PT模型擁有巨大的訓(xùn)練數(shù)據(jù)量,所以用來(lái)輔助學(xué)術(shù)研究有著得天獨(dú)厚的優(yōu)勢(shì).但巨大的數(shù)據(jù)量是把雙刃劍,是否存在偽造的數(shù)據(jù)直接影響特定條件下學(xué)術(shù)研究的正確與否[16].在GPT模型尚不具備甄別數(shù)據(jù)是否偽造的情況下,學(xué)術(shù)研究產(chǎn)生的每一項(xiàng)結(jié)果都需要進(jìn)行嚴(yán)格推敲.

4.2 健康醫(yī)療場(chǎng)景

目前健康醫(yī)療大數(shù)據(jù)的發(fā)展尚處于初期階段,數(shù)據(jù)壁壘較為嚴(yán)重,對(duì)于健康醫(yī)療大數(shù)據(jù)的使用還有很大的發(fā)展空間.在此情況下,如果能夠利用GPT模型等AIGC技術(shù)實(shí)現(xiàn)數(shù)據(jù)處理、健康分析、診療指導(dǎo)等,將極大促進(jìn)社會(huì)健康醫(yī)療行業(yè)的快速發(fā)展[17].與此同時(shí),由于健康醫(yī)療具有廣闊的商業(yè)利用價(jià)值,也是數(shù)據(jù)偽造攻擊重點(diǎn)對(duì)象.如果在關(guān)鍵數(shù)據(jù)存在偽造,那么很可能會(huì)出現(xiàn)診療錯(cuò)誤、“莆田系醫(yī)院”卷土重來(lái)等嚴(yán)重后果.

4.3 安全輔助場(chǎng)景

2023年3月28日,微軟舉行“Microsoft Security Copilot”發(fā)布會(huì)[18],闡述了AIGC如何與安全相結(jié)合,實(shí)現(xiàn)安全事件的智能化處理、分析與溯源.目前大多數(shù)企業(yè)的安全運(yùn)營(yíng)工作一般都有數(shù)據(jù)分析量大、告警分析種類多的苦惱,而微軟發(fā)布會(huì)則提出了把人從繁雜的基礎(chǔ)分析工作中脫離出來(lái)、專注于高級(jí)威脅分析的解決方法.但正所謂攻防對(duì)抗永遠(yuǎn)是在發(fā)展過(guò)程中,如果攻擊者直接使用偽造的數(shù)據(jù)來(lái)騙過(guò)人工智能的自動(dòng)化分析,那么就有可能出現(xiàn)類似于“木馬免殺”的效果.

4.4 惡意破壞場(chǎng)景

雖然目前AIGC技術(shù)的發(fā)展還未達(dá)到超高智能化的水平,但仍有不少悲觀主義者對(duì)其持有敵視態(tài)度,生怕“天網(wǎng)”時(shí)代的到來(lái).理論上來(lái)講,如果可以通過(guò)模型微調(diào)實(shí)現(xiàn)模型污染的效果,那么只要攻擊者有足夠的虛假數(shù)據(jù),且訓(xùn)練時(shí)間長(zhǎng),則存在將現(xiàn)在“高智能水平”的模型打回“原始人”時(shí)代的可能性,這也是AIGC發(fā)展中最嚴(yán)重的隱患.

5 數(shù)據(jù)偽造應(yīng)對(duì)措施

5.1 訓(xùn)練數(shù)據(jù)審查

像GPT等大型模型的訓(xùn)練數(shù)據(jù)高達(dá)TB級(jí)別,未來(lái)隨著應(yīng)用的進(jìn)一步發(fā)展還可能會(huì)更高,全部審查工作量巨大,可以采用隨機(jī)審查、定向抽查審查等方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行來(lái)源、內(nèi)容、訓(xùn)練結(jié)果審查評(píng)價(jià),盡量確保高質(zhì)量、真實(shí)的數(shù)據(jù)被用于訓(xùn)練模型.

5.2 模型算法優(yōu)化

目前大多數(shù)算法原始模型并未包含單獨(dú)數(shù)據(jù)偽造方面的算法驗(yàn)證,可以在單獨(dú)領(lǐng)域或者本地化使用的過(guò)程中對(duì)模型算法進(jìn)行調(diào)優(yōu),例如針對(duì)倫理道德問(wèn)題可以在模型算法中預(yù)制相應(yīng)的準(zhǔn)則和標(biāo)準(zhǔn),或者根據(jù)地域不同設(shè)置不同的訓(xùn)練目標(biāo),以確保數(shù)據(jù)不會(huì)因使用者使用次數(shù)及內(nèi)容而變更.

5.3 應(yīng)用過(guò)程校驗(yàn)

模型的應(yīng)用過(guò)程是數(shù)據(jù)偽造的攻擊關(guān)鍵,也是數(shù)據(jù)偽造結(jié)果的呈現(xiàn)所在,可以在設(shè)置應(yīng)用過(guò)程中設(shè)置監(jiān)測(cè)指標(biāo),根據(jù)行業(yè)分類、需求不同對(duì)模型結(jié)果定期進(jìn)行結(jié)果評(píng)價(jià),如果出現(xiàn)數(shù)據(jù)偽造、數(shù)據(jù)偏差過(guò)大等可及時(shí)進(jìn)行修正調(diào)參.

6 結(jié)束語(yǔ)

數(shù)據(jù)安全是各類人工智能應(yīng)用廣泛使用的前提,世界主要大國(guó)和國(guó)際組織都相繼出臺(tái)數(shù)據(jù)安全方面具有戰(zhàn)略規(guī)劃性質(zhì)文件[19].我國(guó)也高度重視人工智能的發(fā)展及其安全問(wèn)題,已經(jīng)有研究學(xué)者對(duì)人工智能模型安全、數(shù)據(jù)隱私[20]等方面做了深入研究.通過(guò)本文研究,對(duì)基于GPT模型的人工智能數(shù)據(jù)偽造風(fēng)險(xiǎn)進(jìn)行了分析和探討.隨著各大互聯(lián)網(wǎng)企業(yè)巨頭都紛紛加入AI產(chǎn)品競(jìng)爭(zhēng)中來(lái),像國(guó)內(nèi)百度的“文心一言”[21]、阿里的“通義千問(wèn)”[22]等將很快飛入尋常百姓家.相信未來(lái)相當(dāng)長(zhǎng)的時(shí)間內(nèi),如何解決數(shù)據(jù)偽造風(fēng)險(xiǎn)會(huì)成為人工智能領(lǐng)域必須要考慮的問(wèn)題.在此,希望相關(guān)機(jī)構(gòu)和研究者們能夠共同努力,建立起更加完善的數(shù)據(jù)驗(yàn)證體系,為人工智能技術(shù)的進(jìn)一步發(fā)展提供更好的保障.