王繼勝 喬俊福

摘要：為了推動(dòng)生成式人工智能技術(shù)在游戲非玩家角色對(duì)話交互情境中的智能化應(yīng)用，文章提出一種基于生成式人工智能模型、知識(shí)圖譜及提示工程技術(shù)的檢索增強(qiáng)生成策略。該策略依托于LangChain框架，首先采用基于LoRA的微調(diào)技術(shù)來(lái)提升生成式人工智能模型的輸出精確度，繼而利用游戲相關(guān)的數(shù)據(jù)資源構(gòu)建知識(shí)圖譜作為輔助的外部知識(shí)庫(kù)，旨在引導(dǎo)和規(guī)范模型的內(nèi)容生成。隨后，通過(guò)精心設(shè)計(jì)的提示工程技術(shù)來(lái)塑造非玩家角色的獨(dú)特個(gè)性特征。最后，設(shè)計(jì)一套涵蓋主觀和客觀兩方面的評(píng)價(jià)指標(biāo)體系對(duì)整個(gè)方案的效果進(jìn)行了綜合性評(píng)估，從而驗(yàn)證了該策略的有效性及可行性。

關(guān)鍵詞：智能NPC；生成式人工智能；知識(shí)圖譜；檢索增強(qiáng)生成；對(duì)話系統(tǒng)

中圖分類(lèi)號(hào)：TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）09-0022-05

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

生成式人工智能（Generative Artificial Intelligence， GenAI） ，作為一種專(zhuān)注于創(chuàng)造新內(nèi)容的技術(shù)，基于大規(guī)模文本、音頻或圖像數(shù)據(jù)集進(jìn)行機(jī)器學(xué)習(xí)，進(jìn)而生成新穎內(nèi)容。2022年11月，美國(guó)OpenAI公司推出的對(duì)話生成式預(yù)訓(xùn)練語(yǔ)言模型ChatGPT引起了廣泛關(guān)注。作為生成式人工智能技術(shù)的杰出代表，ChatGPT具備出色的意圖理解力和語(yǔ)言組織技巧，能夠與用戶(hù)進(jìn)行更為流暢自然的對(duì)話交流。ChatGPT在交互性能和創(chuàng)造性產(chǎn)出上的表現(xiàn)，標(biāo)志著基于“生成式模型”的人工智能技術(shù)日趨成熟。

游戲長(zhǎng)久以來(lái)一直是人工智能研究的理想實(shí)驗(yàn)平臺(tái)，訓(xùn)練游戲AI的過(guò)程不斷推動(dòng)著人工智能算法的進(jìn)步和處理復(fù)雜問(wèn)題能力的提升。非玩家角色（Non-Player Character，簡(jiǎn)稱(chēng)NPC） 作為游戲世界觀的具體承載者，對(duì)于增強(qiáng)玩家沉浸感至關(guān)重要。近十年間，在游戲玩法創(chuàng)新邊際效益遞減以及視覺(jué)體驗(yàn)提升有限的背景下，NPC作為劇情推進(jìn)的核心力量和玩家體驗(yàn)的重要伙伴，其作用日益凸顯。例如，《巫師3》《荒野大鏢客2》以及《賽博朋克2077》等作品中，NPC展現(xiàn)了極高自由度，它們不僅是游戲世界的構(gòu)成要素，更是劇情發(fā)展的關(guān)鍵環(huán)節(jié)，為游戲敘事增加了深度與真實(shí)感。然而，這類(lèi)作品背后實(shí)現(xiàn)高自由度NPC的機(jī)制仍然較為傳統(tǒng)，往往依賴(lài)于團(tuán)隊(duì)大量人力投入和編寫(xiě)海量腳本。例如，《荒野大鏢客2》中包含了超過(guò)1 000個(gè)NPC角色，分布在6章100多個(gè)任務(wù)中，每個(gè)NPC均有專(zhuān)屬的編劇、美術(shù)設(shè)計(jì)師和配音演員參與創(chuàng)作，歷時(shí)近8年研發(fā)，成本高達(dá)約5億美元。即便如此，調(diào)查顯示，仍有52%的玩家認(rèn)為當(dāng)前NPC對(duì)話過(guò)于重復(fù)，99%的玩家期待更為智能的NPC對(duì)話互動(dòng)，更有81%的玩家愿意為此支付額外費(fèi)用。由此，日益高漲的玩家期待與不斷攀升的開(kāi)發(fā)成本之間的矛盾，在游戲NPC的設(shè)計(jì)上尤為突出。

鑒于此，本文提出了一種結(jié)合生成式AI模型、知識(shí)圖譜和提示工程的檢索增強(qiáng)生成方案，以實(shí)現(xiàn)在NPC對(duì)話交互場(chǎng)景中應(yīng)用生成式AI技術(shù)。通過(guò)本方案的應(yīng)用，游戲內(nèi)NPC將能根據(jù)玩家對(duì)話做出決策響應(yīng)、實(shí)時(shí)反饋玩家行為，并可能表現(xiàn)出一定的情感傾向。這樣的創(chuàng)新將使游戲世界更加逼真生動(dòng)，互動(dòng)性更強(qiáng)，每個(gè)NPC都能夠?yàn)樯罨螒驍⑹聦哟魏驮鰪?qiáng)互動(dòng)維度提供獨(dú)特且動(dòng)態(tài)的貢獻(xiàn)，從而極大提升玩家的沉浸體驗(yàn)。

1 相關(guān)研究

近年來(lái)，研究者廣泛研究了基于個(gè)性化角色信息的開(kāi)放域?qū)υ捝杉夹g(shù)，涉及檢索式和生成式兩種主要模型。檢索式方法通過(guò)搜索候選回復(fù)并計(jì)算其與當(dāng)前對(duì)話上下文的匹配度以生成最佳回復(fù)；生成式方法則基于序列到序列（Seq2Seq） 模型架構(gòu)，借助編碼器提取對(duì)話語(yǔ)境特征，再由解碼器生成回復(fù)。早期的生成式方法中，LI等人[1]嘗試?yán)秒[式用戶(hù)嵌入向量捕獲聊天機(jī)器人的個(gè)性化特征，但這種方法僅關(guān)注了同一個(gè)人信息的不同表述一致性，隱向量建模的可解釋性較弱。與此相比，ZHENG等人[2]提出了利用顯式結(jié)構(gòu)化配置信息來(lái)維持高度的角色一致性，但以鍵值對(duì)形式表示的個(gè)性化信息在實(shí)際應(yīng)用中存在遷移難題，因?yàn)榛ヂ?lián)網(wǎng)社交網(wǎng)站上的個(gè)性特征多以非結(jié)構(gòu)化的自然語(yǔ)言文本形式展現(xiàn)。

后續(xù)，ZHANG等人[3]通過(guò)人工眾包方式構(gòu)建了名為PERSONA-CHAT的大規(guī)?；诜墙Y(jié)構(gòu)化角色信息的對(duì)話數(shù)據(jù)集，有力推動(dòng)了基于個(gè)性化角色信息的復(fù)雜Seq2Seq模型的發(fā)展。隨后，SONG等研究者[4]提出了基于記憶網(wǎng)絡(luò)增強(qiáng)的PersonaCVAE模型，通過(guò)潛在變量捕捉有效內(nèi)容回復(fù)的概率分布，從而生成多樣化且個(gè)性化的回復(fù)；MAJUMDER等研究者[5]利用故事數(shù)據(jù)集中與角色信息相關(guān)的虛構(gòu)敘事內(nèi)容來(lái)增強(qiáng)對(duì)話模型，提高了對(duì)話的吸引力；而SONG等學(xué)者[6]設(shè)計(jì)了一個(gè)基于Transformer的三階段生成-刪除-改寫(xiě)模型，以修正生成內(nèi)容，確保生成更具一致性個(gè)性特征的回復(fù)。隨著技術(shù)進(jìn)步，大型預(yù)訓(xùn)練語(yǔ)言模型逐漸成為個(gè)性化角色信息對(duì)話模型的基石。其中，WOLF及其團(tuán)隊(duì)[7]通過(guò)遷移學(xué)習(xí)方法基于預(yù)訓(xùn)練語(yǔ)言模型建立了個(gè)性化對(duì)話生成的基本框架；LIU等研究人員[8]運(yùn)用強(qiáng)化學(xué)習(xí)顯式地模擬對(duì)話參與者之間對(duì)角色信息的認(rèn)知能力，以生成更加個(gè)性化的對(duì)話內(nèi)容；ZHANG等學(xué)者[9]提出了大型可調(diào)控對(duì)話模型DialoGPT，并融入最大互信息（MMI） 策略以解決乏味回復(fù)的問(wèn)題；而SONG等合作者[10]基于BERT將個(gè)性化對(duì)話任務(wù)分解為回復(fù)生成和一致性理解兩個(gè)子任務(wù)，力求實(shí)現(xiàn)更高水準(zhǔn)的對(duì)話質(zhì)量。

現(xiàn)今，隨著AI技術(shù)的迅猛發(fā)展，公眾對(duì)游戲NPC的設(shè)計(jì)寄予了更高期望。利用生成式AI技術(shù)，模型能夠理解和生成自然語(yǔ)言，從而令NPC與玩家進(jìn)行更為豐富多彩的互動(dòng)交流。

2 應(yīng)用方案設(shè)計(jì)

本文提出的設(shè)計(jì)方案整合了生成式AI模型、知識(shí)圖譜以及提示工程。選擇Zephyr-7b-beta作為生成式AI模型，Neo4j作為圖數(shù)據(jù)庫(kù)，并以LangChain作為整體框架，在自然語(yǔ)言轉(zhuǎn)化為Cypher查詢(xún)以及對(duì)話交互環(huán)節(jié)均應(yīng)用了提示工程。具體方案細(xì)節(jié)如圖1所示。

2.1 生成式AI模型選型

本方案立足實(shí)用性考量，對(duì)一系列參數(shù)量介于6～14B的模型進(jìn)行了調(diào)研，旨在篩選適宜作為實(shí)驗(yàn)?zāi)Ｐ偷倪x項(xiàng)。表1列舉了部分國(guó)內(nèi)外已開(kāi)源的相應(yīng)參數(shù)規(guī)模的模型實(shí)例。

本文最終選定Zephyr-7b-beta作為本研究方案的實(shí)驗(yàn)?zāi)Ｐ?。Zephyr-7B是由HuggingFace H4團(tuán)隊(duì)研發(fā)的開(kāi)源模型，其基礎(chǔ)架構(gòu)來(lái)源于被譽(yù)為“歐洲OpenAI”的Mistral AI公司所開(kāi)發(fā)的開(kāi)源大模型Mistral-7B[11]。在該模型系列中，Zephyr-7b-beta處于第二迭代位置，特別之處在于其采用了DPO[12]技術(shù)，以此優(yōu)化了多輪對(duì)話的功能特性。經(jīng)過(guò)檢驗(yàn)，該模型在MT-Bench和AlpacaEval基準(zhǔn)測(cè)試中表現(xiàn)卓越，位居7B參數(shù)級(jí)別聊天模型的首位。

2.2 檢索增強(qiáng)生成

檢索增強(qiáng)生成（Retrieval-Augmented Generation， RAG） 是一種技術(shù)手段，通過(guò)利用超出訓(xùn)練數(shù)據(jù)集范圍的知識(shí)庫(kù)資源，以?xún)?yōu)化大型語(yǔ)言模型的輸出表現(xiàn)，并據(jù)此生成高質(zhì)量的響應(yīng)內(nèi)容。該方法在接收到輸入信息后，會(huì)在指定的數(shù)據(jù)源（如維基百科）中檢索一組密切相關(guān)的文檔。以下是RAG系統(tǒng)執(zhí)行任務(wù)的基本流程：

1） 查詢(xún)構(gòu)造。將用戶(hù)輸入轉(zhuǎn)化為適應(yīng)于知識(shí)圖譜檢索的Cypher查詢(xún)表達(dá)式。

2） 知識(shí)圖譜搜索。運(yùn)用Neo4j等工具實(shí)施檢索增強(qiáng)技術(shù)，在此階段涉及諸如實(shí)體鏈接、路徑挖掘以及推理等多種技術(shù)手段，旨在揭示實(shí)體間及其關(guān)系的內(nèi)在關(guān)聯(lián)。同時(shí)，這一過(guò)程會(huì)整合高效的語(yǔ)言模型以?xún)?yōu)化檢索效能。

3） 事實(shí)篩選。借助實(shí)體鏈接與推理算法，依據(jù)輸入查詢(xún)及其上下文環(huán)境，精選并優(yōu)先考慮最為相關(guān)的關(guān)鍵事實(shí)。

4） 自然語(yǔ)言生成。這是檢索增強(qiáng)生成技術(shù)發(fā)揮關(guān)鍵作用的環(huán)節(jié)。其目標(biāo)在于創(chuàng)作出既符合預(yù)期回應(yīng)框架又具有人性化的文本內(nèi)容。生成式模型在此過(guò)程中生成語(yǔ)法流暢的句子與段落，并同步融入知識(shí)圖譜中的關(guān)聯(lián)信息，確保答案的準(zhǔn)確性和一致性。

5） 后期處理。生成的響應(yīng)經(jīng)由最后的精細(xì)校驗(yàn)與潤(rùn)色，以保證語(yǔ)法無(wú)誤、表述清晰且整體質(zhì)量上乘。

檢索增強(qiáng)生成技術(shù)與知識(shí)圖譜的有機(jī)結(jié)合，在自然語(yǔ)言處理領(lǐng)域催生出顯著的協(xié)同效果。這種技術(shù)通過(guò)審慎地從外部資料和知識(shí)圖譜中選取相關(guān)信息，有效提升了大型語(yǔ)言模型產(chǎn)出的內(nèi)容深度和細(xì)節(jié)豐富度。而另一方面，知識(shí)圖譜則以其對(duì)實(shí)體及其關(guān)系的結(jié)構(gòu)化描述，為我們揭示潛在洞見(jiàn)、探尋復(fù)雜聯(lián)系提供了可能。

3 實(shí)驗(yàn)與效果分析

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)環(huán)境配置如下：CPU，Intel（R） Xeon（R） Platinum 8369B CPU @ 2.90GHz；GPU，NVIDIA GeForce RTX 4090；Python版本，3.10.0；Cuda版本，12.1。

3.2 數(shù)據(jù)集與模型訓(xùn)練

知識(shí)圖譜構(gòu)建所使用的原始素材來(lái)源于游戲的官方小說(shuō)和設(shè)定集，對(duì)此素材按照以下7種類(lèi)別的知識(shí)范疇進(jìn)行了系統(tǒng)抽取，累計(jì)提煉出5 826條知識(shí)條目。具體各類(lèi)知識(shí)類(lèi)型的分布情況詳如表2所示。

知識(shí)圖譜由以上數(shù)據(jù)通過(guò)GPT-4進(jìn)行自動(dòng)化構(gòu)建，部分圖譜可視化如圖2所示。

本研究實(shí)驗(yàn)選用的微調(diào)數(shù)據(jù)集源自上文提及的知識(shí)源，該數(shù)據(jù)集通過(guò)GPT-4模型轉(zhuǎn)換為相關(guān)問(wèn)題及其對(duì)應(yīng)的Cypher查詢(xún)語(yǔ)句，從而構(gòu)成了10 000個(gè)NL2Cypher數(shù)據(jù)對(duì)。在這之中，6 000對(duì)數(shù)據(jù)被用于生成式模型的微調(diào)訓(xùn)練階段，另外2 000對(duì)用于模型性能驗(yàn)證，剩余2 000對(duì)則服務(wù)于模型的最終測(cè)試環(huán)節(jié)。微調(diào)數(shù)據(jù)集中部分實(shí)例展示如表3所示。

3.3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提出的方案在實(shí)際應(yīng)用中的效果，實(shí)驗(yàn)采用了未經(jīng)微調(diào)的Zephyr-7b-beta+知識(shí)圖譜以及經(jīng)過(guò)LoRA方法微調(diào)后的Zephyr-7b-beta+知識(shí)圖譜這兩種策略生成的回復(fù)，并將其與構(gòu)建的評(píng)估數(shù)據(jù)集中所提供的標(biāo)準(zhǔn)答案進(jìn)行對(duì)比測(cè)試。為了更準(zhǔn)確地反映兩種方法間的效果差距，筆者采用BERT Score作為評(píng)估基準(zhǔn)，該評(píng)估指標(biāo)的具體計(jì)算示例展示如圖5所示。

將上述相似度矩陣進(jìn)行歸一化處理，可得到對(duì)應(yīng)的準(zhǔn)確率（Precision） 、召回率（Recall） 和F1值。通過(guò)計(jì)算得到的結(jié)果如表4所示。

通過(guò)表4數(shù)據(jù)可見(jiàn)，是否對(duì)生成式AI模型進(jìn)行微調(diào)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生顯著影響。其主要原因在于未經(jīng)微調(diào)的小型7B模型在NL2Cypher任務(wù)上的表現(xiàn)相對(duì)有限，但經(jīng)過(guò)LoRA微調(diào)之后，該模型增強(qiáng)了NL2Cypher的理解與轉(zhuǎn)化能力，因此能夠從知識(shí)圖譜中抽取到更高品質(zhì)的查詢(xún)結(jié)果，進(jìn)而帶動(dòng)整體性能的顯著提升。

3.4 實(shí)例分析

為了深入探究生成式AI模型的回復(fù)效果，本研究選取了部分具有代表性的樣本問(wèn)題進(jìn)行測(cè)試與分析，并依據(jù)其與標(biāo)準(zhǔn)答案的對(duì)比差異，將測(cè)試結(jié)果劃分為“正確”“錯(cuò)誤”及“未找到答案”3個(gè)類(lèi)別。具體示例如表5所示。

本提案以確保內(nèi)容準(zhǔn)確無(wú)誤和回復(fù)高度體現(xiàn)角色個(gè)性為核心目標(biāo)。該方案專(zhuān)門(mén)針對(duì)玩家提出的問(wèn)題，依據(jù)提示游戲中預(yù)設(shè)的角色信息，生成與角色特性相符的一致性回復(fù)，這些回復(fù)涵蓋了角色本身的性格特質(zhì)、言談風(fēng)格、情緒表達(dá)等多重?cái)M人化特征，進(jìn)而提升了玩家與游戲角色之間交互的趣味性。另外，面對(duì)無(wú)法給出答案的情況，模型會(huì)適當(dāng)表現(xiàn)出歉意與無(wú)奈的情緒，確保整體回應(yīng)始終遵循角色個(gè)性設(shè)定，從而展示出生成式AI模型的智能特性。

綜觀全局，經(jīng)過(guò)微調(diào)的方案在游戲非玩家角色（NPC） 對(duì)話應(yīng)用中獲得了更好的成效。知識(shí)圖譜的引入進(jìn)一步鞏固了模型回復(fù)的嚴(yán)謹(jǐn)性和準(zhǔn)確性。與此同時(shí)，相較于傳統(tǒng)預(yù)設(shè)的答案，該模型能夠更迅速地生成豐富多變的對(duì)話內(nèi)容，極大增強(qiáng)了玩家的沉浸參與感與滿(mǎn)意度，充分顯示了其創(chuàng)新優(yōu)勢(shì)。

4 總結(jié)與展望

本文提出的整合了生成式AI模型、知識(shí)圖譜及提示工程的方案已在游戲NPC對(duì)話交互情境中成功實(shí)踐。我們特別制定了相應(yīng)的評(píng)價(jià)指標(biāo)，以驗(yàn)證該方案的有效性和實(shí)用價(jià)值，并與多種其他方法進(jìn)行了對(duì)比分析。本研究的主要優(yōu)勢(shì)體現(xiàn)在以下幾點(diǎn)：

1） 回復(fù)內(nèi)容嚴(yán)格遵守了NPC對(duì)話所要求的多樣性和個(gè)性化標(biāo)準(zhǔn)。運(yùn)用生成式AI模型，既可助力游戲?yàn)橥婕姨峁└鄻踊挠螒騼?nèi)容，又能使NPC角色變得更加生動(dòng)有趣、富有層次，從而與玩家建立更為緊密的互動(dòng)聯(lián)系。

2） 具備現(xiàn)實(shí)可行的應(yīng)用條件。通過(guò)采用7B參數(shù)量的生成式AI模型，用戶(hù)可在消費(fèi)級(jí)顯卡上實(shí)現(xiàn)系統(tǒng)的部署。另外，經(jīng)由LoRA微調(diào)之后的模型能夠更有效地利用知識(shí)圖譜內(nèi)的信息資源，有力保障了回復(fù)內(nèi)容的可靠度。

展望未來(lái)，AI技術(shù)在游戲NPC設(shè)計(jì)方面的地位將持續(xù)上升。隨著AI模型的持續(xù)優(yōu)化與自然語(yǔ)言理解與生成精度的不斷提高，開(kāi)發(fā)者將有能力為玩家營(yíng)造出更為真實(shí)、自然的虛擬世界體驗(yàn)。

參考文獻(xiàn)：

[1] LI J W，GALLEY M，BROCKETT C，et al.A persona-based neural conversation model[EB/OL].[2023-01-25].2016：arXiv：1603.06155.http：//arxiv.org/abs/1603.06155.

[2] ZHENG Y H，CHEN G Y，HUANG M L，et al.Personalized dialogue generation with diversified traits[EB/OL].[2023-01-25].2019：arXiv：1901.09672.http：//arxiv.org/abs/1901.09672.

[3] ZHANG S Z，DINAN E，URBANEK J，et al.Personalizing Dialogue Agents：I have a dog，do you have pets too？[EB/OL].[2023-01-25].2018：arXiv：1801.07243.http：//arxiv.org/abs/1801.07243.

[4] SONG H Y，ZHANG W N，CUI Y M，et al.Exploiting persona information for diverse generation of conversational responses[EB/OL].[2023-01-25].2019：arXiv：1905.12188.http：//arxiv.org/abs/1905.12188.

[5] MAJUMDER B P，BERG-KIRKPATRICK T，MCAULEY J，et al.Unsupervised enrichment of persona-grounded dialog with background stories[EB/OL].[2023-01-25].2021：arXiv：2106. 08364.http：//arxiv.org/abs/2106.08364.

[6] SONG H Y，WANG Y，ZHANG W N，et al.Generate，delete and rewrite：a three-stage framework for improving persona consistency of dialogue generation[EB/OL].2020：arXiv：2004.07672.http：//arxiv.org/abs/2004.07672.

[7] WOLF T，SANH V，CHAUMOND J，et al.TransferTransfo：a transfer learning approach for neural network based conversational agents[EB/OL].[2023-01-25].2019：arXiv：1901.08149.http：//arxiv.org/abs/1901.08149.

[8] LIU Q，CHEN Y H，CHEN B，et al.You impress me：dialogue generation via mutual persona perception[EB/OL].[2023-01-25].2020：arXiv：2004.05388.http：//arxiv.org/abs/2004.05388.

[9] ZHANG Y Z，SUN S Q，GALLEY M，et al.DialoGPT：large-scale generative pre-training for conversational response generation[EB/OL].[2023-01-25].2019：arXiv：1911.00536.http：//arxiv.org/abs/1911.00536.

[10] SONG H Y，WANG Y，ZHANG K Y，et al.BoB：BERT over BERT for training persona-based dialogue models from limited personalized data[EB/OL].[2023-01-25].2021：arXiv：2106.06169.http：//arxiv.org/abs/2106.06169.

[11] JIANG A Q，SABLAYROLLES A，MENSCH A，et al.Mistral 7B[EB/OL].2023：arXiv：2310.06825.http：//arxiv.org/abs/2310. 06825.

[12] RAFAILOV R，SHARMA A，MITCHELL E，et al.Direct preference optimization：your language model is secretly a reward model[EB/OL].[2023-01-25].arXiv preprint arXiv：2305.18290， 2023.

【通聯(lián)編輯：唐一東】