羅云鵬

想象一下，向人工智能（AI）聊天機器人詢問一個不存在的事件，比如：“誰贏得了1897年美國和南極洲之間的戰(zhàn)斗？”即使沒有這樣的戰(zhàn)斗，AI聊天機器人也可能會提供一個虛構(gòu)的答案，例如“1897年的戰(zhàn)斗是由美國贏得的，約翰·多伊將軍帶領(lǐng)部隊取得了勝利”。這種AI編造信息，“一本正經(jīng)地胡說八道”的情況屢見不鮮。

在專業(yè)領(lǐng)域，AI“一本正經(jīng)地胡說八道”這種現(xiàn)象被稱為AI幻覺?！癆I幻覺指的是AI會生成貌似合理、連貫，但同輸入問題意圖不一致、同世界知識不一致、與現(xiàn)實或已知數(shù)據(jù)不符合或無法驗證的內(nèi)容?！苯?，長期從事自然語言處理、大模型和人工智能研究的哈爾濱工業(yè)大學(xué)（深圳）特聘校長助理張民教授在接受采訪時表示。

AI幻覺普遍存在。2023年2月，谷歌發(fā)布的AI聊天機器人Bard，在視頻中對詹姆斯，韋布空間望遠(yuǎn)鏡曾做出不真實陳述；2023年3月，美國的兩名律師向當(dāng)?shù)胤ㄔ禾峤涣艘环萦肅hatGPT生成的法律文書，這份文書格式工整、論證嚴(yán)密，但其中的案例卻是虛構(gòu)的……

OpenAI研究人員雖曾在2023年6月初發(fā)布報告稱“找到了解決AI幻覺的辦法”，但其也承認(rèn)，“即使是最先進的AI模型也容易生成謊言，它們在不確定的時刻會表現(xiàn)出捏造事實的傾向”。

目前，國內(nèi)大模型雖無產(chǎn)生AI幻覺的相關(guān)披露，但也可從相關(guān)公開報道中找到端倪。2023年9月，騰訊混元大模型正式亮相。騰訊集團副總裁蔣杰介紹，針對大模型容易“胡言亂語”的問題，騰訊優(yōu)化了預(yù)訓(xùn)練算法及策略，讓混元大模型出現(xiàn)幻覺的概率比主流開源大模型降低了30%-50%。

AI幻覺源自AI本身。

“現(xiàn)在不同研究工作對AI幻覺的分類各不相同?！睆埫窠榻B說，總體而言，AI幻覺可以分為內(nèi)在幻覺和外在幻覺兩類。內(nèi)在幻覺即同輸入信息不一致的幻覺內(nèi)容，包括同用戶輸入的問題或指令不一致，或是同對話歷史上下文信息相矛盾，如AI模型會在同一個對話過程中，針對用戶同一個問題的不同提問方式，給出自相矛盾的回復(fù)。外在幻覺則是同世界知識不一致或是通過已有信息無法驗證的內(nèi)容，例如AI模型針對用戶提出的事實性問題給出錯誤回答，或編造無法驗證的內(nèi)容。

近期，騰訊AILab聯(lián)合國內(nèi)外多家學(xué)術(shù)機構(gòu)，發(fā)布了一篇面向大模型幻覺工作的綜述。該綜述認(rèn)為，AI幻覺集中在大模型缺乏相關(guān)知識、記憶錯誤知識，大模型無法準(zhǔn)確估計自身能力邊界等場景。

“從技術(shù)原理上看，AI幻覺多緣于AI對知識的記憶不足、理解能力不足、訓(xùn)練方式固有的弊端及模型本身技術(shù)的局限性?！睆埫裉寡?，AI幻覺會造成人們的知識偏見與誤解，甚至有時會導(dǎo)致安全風(fēng)險、倫理和道德問題。

盡管AI幻覺短期內(nèi)難以完全被消除，但業(yè)界正試圖通過技術(shù)改進和監(jiān)管評估來降低其影響，以保障人工智能技術(shù)的應(yīng)用安全、可靠?！艾F(xiàn)階段AI幻覺難以完全被消除，但可以試著緩解?！睆埫窠榻B說，在預(yù)訓(xùn)練、微調(diào)強化學(xué)習(xí)、推理生成等階段中運用適當(dāng)?shù)募夹g(shù)手段，有望減少AI幻覺現(xiàn)象。

據(jù)介紹，在預(yù)訓(xùn)練方面，需增加知識密集數(shù)據(jù)、高質(zhì)量數(shù)據(jù)的選取和過濾：微調(diào)強化學(xué)習(xí)過程中，選擇模型知識邊界內(nèi)的訓(xùn)練數(shù)據(jù)極為重要；推理生成過程中，可以采用檢索外部知識的辦法使得模型生成結(jié)果有證據(jù)可循。此外，改進解碼搜索算法也是一種可行的方案。

張民表示，破解AI幻覺將提高AI系統(tǒng)的實用性、可信度和可應(yīng)用性，這對人工智能技術(shù)的發(fā)展和社會的發(fā)展都有積極影響。同時，更可靠的AI系統(tǒng)可以更廣泛地應(yīng)用于各個領(lǐng)域，這將促進技術(shù)進步的速度，帶來更多的創(chuàng)新。未來，破解AI幻覺需要進一步在算法、數(shù)據(jù)、透明度和監(jiān)管等多個方面采取措施，以確保AI系統(tǒng)更加準(zhǔn)確、可靠。