方明弘　萬里　戴凡杰

摘 要：為了將知識有效地融入到對話推理，提出了一種基于雙層記憶網(wǎng)絡(luò)的多領(lǐng)域端到端任務(wù)型對話系統(tǒng)。首先，該模型用知識行的形式代替三元組的形式表示知識，提升了知識定位的性能；其次，采用了雙層記憶網(wǎng)絡(luò)結(jié)構(gòu)將知識和對話歷史進行分別建模，提高了模型的推理能力；最后，使用了動態(tài)編碼器對多種領(lǐng)域的數(shù)據(jù)進行編碼，提升模型的泛化能力。通過實驗分析，該模型的F1和BLEU指標在InCar和CamRest數(shù)據(jù)集上相較于對比算法均有一定的提升，驗證了該模型的有效性和先進性。

關(guān)鍵詞：對話系統(tǒng)； 任務(wù)型； 雙層記憶網(wǎng)絡(luò)； 多領(lǐng)域； 端到端

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2023）10-010-2945-06

doi：10.19734/j.issn.1001-3695.2023.03.0096

Multi-domain end-to-end task-oriented dialogue system based on

double-layer memory network

Fang Minghong， Wan Li， Dai Fanjie

（College of Computer Science， Chongqing University， Chongqing 400044， China）

Abstract：To effectively incorporate knowledge into dialogue reasoning， this paper proposed a multi-domain end-to-end task-oriented dialogue system based on a double-layer memory network. Firstly， it used the form of knowledge rows instead of triples to represent knowledge， which improved the performance of knowledge location. Secondly， it used a double-layer memory network structure to model knowledge and dialogue history separately， which improved the reasoning ability of the model. Finally， it used a dynamic encoder to encode data in various fields to improve the generalization ability of the model. Through experimental analysis， the F1 and BLEU indicators of the model are improved through compared with the comparison algorithm on the InCar and CamRest datasets， which verifies the effectiveness and advancement of the model.

Key words：dialogue system; task-oriented; double-layer memory network; multi-domain; end-to-end

0 引言

隨著科學技術(shù)的快速發(fā)展和現(xiàn)代計算機運算能力的不斷增強，人工智能技術(shù)開始深入應(yīng)用于人們生活的方方面面。此外，對話系統(tǒng)由于在真實世界中蘊涵了巨大的商業(yè)價值，在工業(yè)界和學術(shù)界都被廣泛研究和探索，出現(xiàn)了許多智能對話系統(tǒng)，例如微軟小冰［1］、蘋果Siri［2］、百度小度［3］等對話助手。

目前，主流的對話系統(tǒng)分為兩大類。第一類是開放域?qū)υ捪到y(tǒng)，該對話系統(tǒng)不帶有明確的意圖，特點是沒有特定的任務(wù)，只是和用戶隨便聊天，往往是一問一答的形式，較少或者不會參考對話上下文信息。開放域?qū)υ捪到y(tǒng)即使在某種程度上可以發(fā)揮人工智能的作用，但因為其不致力于幫助人們解決真正的現(xiàn)實問題，所以這類對話系統(tǒng)的實際作用相對較?。?］。第二類是任務(wù)型對話系統(tǒng)，該對話系統(tǒng)通過有限的對話信息幫助用戶完成特定的任務(wù)，例如餐廳預(yù)定、目的導航、天氣查詢和車票預(yù)定等，使得其對人們的生活很有價值。任務(wù)型對話系統(tǒng)的核心是需要正確理解用戶的意圖，并提供合理且正確的系統(tǒng)回復，這個過程需要依賴當前對話的上下文信息和外部知識庫信息，特定領(lǐng)域的任務(wù)還需要提供特定領(lǐng)域的知識庫信息。

任務(wù)型對話系統(tǒng)主要存在流水線和端到端兩種模式［5］。流水線的任務(wù)型對話系統(tǒng)因存在需要大量的人工標注和多模塊之間依賴復雜等缺點，導致系統(tǒng)構(gòu)建成本昂貴。不同于流水線，端到端的任務(wù)型對話系統(tǒng)不需要大量的人工標注和依賴上下游模塊，其結(jié)構(gòu)簡單、可擴展性強、構(gòu)建成本低，因此成為對話系統(tǒng)領(lǐng)域的研究熱點。然而，現(xiàn)有的端到端任務(wù)型對話系統(tǒng)仍然存在一些不足：

a）基于記憶網(wǎng)絡(luò)的端到端任務(wù)型對話系統(tǒng)均采用三元組的形式表示外部知識庫，該方法存在對話推理困難和知識定位困難的問題，難以有效地將正確的知識融入到對話中。本文提出用知識行代替三元組的形式表示知識。

b）知識和對話歷史都存儲于同一個記憶網(wǎng)絡(luò)之中，使用共享的記憶網(wǎng)絡(luò)對知識和對話歷史進行編碼，但是不同的數(shù)據(jù)格式所包含的信息是有差異的，在同一個網(wǎng)絡(luò)上對不同的數(shù)據(jù)進行推理是十分困難和低效率的，并且知識融入程度較低。本文提出雙層記憶網(wǎng)絡(luò)，分別對知識和對話歷史進行建模，提高了模型的推理能力。

c）主流的對話系統(tǒng)，要么針對特定領(lǐng)域并且依賴大量標簽數(shù)據(jù)去學習特定的特征，要么混合所有領(lǐng)域的數(shù)據(jù)去學習共有的特征。雖然這兩種方法已經(jīng)取得了不錯的成績，但是限制了模型的通用性，無法很好地將已經(jīng)訓練好的模型遷移到新的領(lǐng)域，導致了對話系統(tǒng)不具有較好的普適性和通用性。本文利用動態(tài)編碼器提取共有特征和私有特征，易于將模型遷移到數(shù)據(jù)量較少或者零數(shù)據(jù)的領(lǐng)域。

1 相關(guān)工作

序列到序列模型［6］是一種由編碼器和解碼器組成的深度學習模型，即sequence to sequence（Seq2Seq）。序列到序列模型可以學習兩個序列之間的映射關(guān)系，表現(xiàn)出優(yōu)異的性能，其迅速在語音識別［7］、機器翻譯［8］等領(lǐng)域得到廣泛應(yīng)用。因為序列到序列模型在多個領(lǐng)域的優(yōu)異表現(xiàn)以及強大的語言建模能力，該模型逐漸被對話系統(tǒng)領(lǐng)域所關(guān)注并獲得了廣泛的應(yīng)用。

Weston等人［9］提出了記憶網(wǎng)絡(luò)模型，為傳統(tǒng)的推理模型增加一個可讀寫的記憶模塊以便更好地存儲長期記憶，然后在推理過程中可以進行相關(guān)內(nèi)容的查詢和讀取。Sukhbaatar等人［10］提出了一種端到端的記憶網(wǎng)絡(luò)模型，其在多個嵌入矩陣中寫入外部記憶，并且使用查詢向量，可以多次讀取記憶信息。不同于Weston等人［9］提出的記憶網(wǎng)絡(luò)模型，該模型是端到端可學習的，因此可以明顯減少需要用于訓練的監(jiān)督，使其更加具有普遍性和通用性。此外，該模型中包含多個嵌入矩陣，通過多次查詢實現(xiàn)多跳閱讀和知識推理，并且對于需要高性能的推理任務(wù)而言多跳機制是十分重要的。Dai等人［11］在Sukhbaatar等人［10］的基礎(chǔ)上，應(yīng)用端到端的記憶網(wǎng)絡(luò)模型作為句子的編碼器，記住現(xiàn)有的響應(yīng)和對話歷史，然后，使用與模型無關(guān)的元學習［12］來訓練框架，以更少次數(shù)的方式檢索正確的響應(yīng)。

盡管端到端的記憶網(wǎng)絡(luò)模型在問答和語言建模等任務(wù)中取得了優(yōu)異的表現(xiàn)，使其逐漸應(yīng)用于任務(wù)型對話系統(tǒng)領(lǐng)域，但由于其只是從預(yù)先定義的集合中選擇相應(yīng)回復，而不是逐字生成，所以生成回復的準確性有限。為解決該問題，Madotto等人［13］在端到端的記憶網(wǎng)絡(luò)模型中加入記憶組件用于構(gòu)建端到端可學習的任務(wù)型對話系統(tǒng)（Mem2Seq）。Mem2Seq模型在記憶組件中存儲知識三元組信息和對話歷史，并將其與基于序列到序列的生成模型結(jié)合直接生成系統(tǒng)回復，從而解決了只從預(yù)定義的集合中選擇回復的問題。此外，Mem2Seq模型還結(jié)合了復制機制直接從記憶組件的知識庫信息或者對話歷史中復制單詞到系統(tǒng)生成的回復中。越來越多的端到端的任務(wù)型記憶網(wǎng)絡(luò)方法在Mem2Seq模型的基礎(chǔ)上進行研究和探索。

2 模型

2.1 模型架構(gòu)

本文提出了一種基于雙層記憶網(wǎng)絡(luò)的多領(lǐng)域端到端任務(wù)型對話系統(tǒng)（DM2Seq）。知識庫信息用知識行的形式（一組知識信息都存在一行數(shù)據(jù)上）代替三元組的形式表示，提升了知識定位的性能。采用了雙層記憶網(wǎng)絡(luò)，對知識庫信息和對話歷史進行分別建模，針對不同類型的數(shù)據(jù)單獨處理，提高了模型的推理能力。使用動態(tài)編碼器和增強解碼器對多種領(lǐng)域的數(shù)據(jù)進行編碼和解碼，并且在解碼的階段使用束搜索算法［14］提高模型的單詞選擇正確率。DM2Seq模型主要結(jié)構(gòu)如圖1所示。

DM2Seq模型最主要的模塊為動態(tài)編碼器模塊、雙層記憶網(wǎng)絡(luò)模塊、動態(tài)融合模塊、增強解碼器模塊等。

本文模型首先需要對外部知識和對話歷史進行模型訓練，然后將訓練好的模型輸入對話即可生成系統(tǒng)回復作為輸出，模型應(yīng)用架構(gòu)如圖2所示。

2.2 動態(tài)編碼器

現(xiàn)存的端到端任務(wù)型對話系統(tǒng)雖然表現(xiàn)出了一定的優(yōu)勢，但是無法將特定領(lǐng)域訓練的模型移植到數(shù)據(jù)量較少或者沒有數(shù)據(jù)的領(lǐng)域，模型的泛化性較差。將特定領(lǐng)域和混合領(lǐng)域的模型相融合是十分重要的，既可以解決多領(lǐng)域共享特征捕獲問題，又可以解決特定領(lǐng)域特征捕獲問題。

動態(tài)解碼器首先用特定領(lǐng)域的數(shù)據(jù)訓練私有模型，然后采用混合專家機制（mixture of experts，MoE）［15］進行動態(tài)融合，獲取特定領(lǐng)域的特征，然后對動態(tài)融合后的私有特征與混合特征進行全融合，最后得到輸出的編碼向量。動態(tài)編碼器模塊的基本結(jié)構(gòu)如圖3所示。

a）對于單個領(lǐng)域進行編碼。

對于給定的用戶與系統(tǒng)之間的對話信息，動態(tài)編碼器將會對整個對話歷史信息進行上下文編碼，用于系統(tǒng)推理。假定一個對話歷史信息的輸入序列表示為X=（x1，x2，…，xn），n表示對話序列的長度。首先根據(jù)式（1）獲得每個單詞的詞向量表示ei：

2.4 雙層記憶網(wǎng)絡(luò)指針

雙層記憶網(wǎng)絡(luò)模型分別對對話歷史和知識庫信息進行建模，構(gòu)建對話記憶網(wǎng)絡(luò)和知識庫記憶網(wǎng)絡(luò)，所以需要分別定義對話記憶網(wǎng)絡(luò)指針Glabeld=（gld，1，gld，2，…，gld，|Rd|+1）和知識庫記憶網(wǎng)絡(luò)指針Glabelkb=（glkb，1，glkb，2，…，glkb，|Rkb|+1）的真實標簽。其中相關(guān)性的行為表示為1，不相關(guān)的行為表示為0，|Rd|和|Rkb|分別表示對話記憶的行數(shù)和知識庫記憶的行數(shù)，|Rd|+1和|Rkb|+1分別表示對話記憶和知識庫記憶結(jié)束標記所在行。

對于知識庫記憶行而言，若這個知識記憶行包含最多數(shù)量的單詞出現(xiàn)在真實回復Y中，就認為這個知識記憶行與其相關(guān)，否則不相關(guān)。對于對話記憶行，如果單詞存在生成的回復Y中，那么就認為這個對話記憶行與其相關(guān)，否則不相關(guān)。

在解碼器生成回復之前，雙層記憶網(wǎng)絡(luò)指針可以根據(jù)對話歷史信息和知識庫信息獲得與當前對話相關(guān)的記憶行信息。

雙層記憶網(wǎng)絡(luò)指針模塊將動態(tài)編碼器的最后一個隱藏狀態(tài)向量hfenc，n作為初始查詢向量，然后再進行了K次查詢和推理后，可以分別獲得記憶網(wǎng)絡(luò)指針：

最終，通過交叉熵損失函數(shù)作為其目標函數(shù)來進行訓練，式（17）和（18）分別是對話記憶指針和知識庫記憶指針的損失計算：

3 實驗

3.1 數(shù)據(jù)集

實驗采用的數(shù)據(jù)集是對話系統(tǒng)領(lǐng)域流行的公開數(shù)據(jù)集，分別為車載助手對話數(shù)據(jù)集InCar［16］和餐廳預(yù)定對話數(shù)據(jù)集CamRest［17］，如表1所示。

3.2 評價指標

評價指標采用實體F1值和BLEU精度（使用multi-bleu.perl腳本）對DM2Seq模型的實驗效果進行分析和評估，主要從真實回復與模型生成回復之間的相似度兩個方面進行評估和分析。

由于F1值和BLEU評價指標只能對模型結(jié)果進行粗粒度評估，所以本文在自動評價指標的基礎(chǔ)上繼續(xù)引入人工評估指標，對模型進行更加細粒度的分析和評估。

3.3 實驗指標

對于雙層記憶網(wǎng)絡(luò)的多領(lǐng)域動態(tài)融合的端到端任務(wù)型對話系統(tǒng)模型，實驗環(huán)境如表2所示。在訓練的過程中采用Adam優(yōu)化算法，學習率設(shè)置為從0.001線性衰減到0.000 1，dropout設(shè)置為0.2，模型中的詞向量維度大小和隱藏層向量大小設(shè)置為128，數(shù)據(jù)集InCar和CamRest每個采樣大?。╞atch）設(shè)置為16。模型迭代次數(shù)最大設(shè)置為100，若最新的F1值連續(xù)8次低于最大的F1值則提前停止訓練。teacher forcing設(shè)置為0.5，在模型生成回復的時候有50%的概率使用解碼器當前時刻的輸出作為下一時刻的輸入，而有50%的概率使用Teacher Forcing策略將真實的回復單詞作為解碼器的輸入。

3.4 對比實驗

DM2Seq模型與現(xiàn)有的多個端到端的任務(wù)型對話系統(tǒng)模型進行對比，結(jié)果如表3和4所示。

表3展示了DM2Seq模型與其他對比模型在InCar數(shù)據(jù)集上的對比實驗結(jié)果。與之前的工作相比，DM2Seq模型在兩個自動評估指標BLEU精度和F1值上均取得了最好的效果，分別是最高的15.2 BLEU精度和最高的62.9%實體F1值，在Navigate和Weather領(lǐng)域也取得了最好的F1值，分別是58.0%和64.6%，雖然在Schedule領(lǐng)域沒有取得最高的F1值，但是只比DF-Net模型低2.9%。

表4展示了DM2Seq模型與其他對比模型在CamRest數(shù)據(jù)集上的對比實驗結(jié)果，可以看到，DM2Seq模型在兩個自動評估指標BLEU精度和F1值上均取得了18.9 BLEU精度和59.7%實體F1值，略高于其他對比模型。

雖然F1值和BLEU精度常常作為端到端的任務(wù)型對話系統(tǒng)中的評價指標，但可能對模型只能進行粗粒度評價，其評價不夠全面。因此，本文在自動評價指標的基礎(chǔ)上繼續(xù)引入人工評價指標，對模型進行更加細粒度的分析和評價。

本節(jié)主要從InCar數(shù)據(jù)集上隨機選取150個對話的測試集，通過選取GLMP和DF-Net作為對比模型生成系統(tǒng)回復，并請5個人類專家對對比模型和DM2Seq模型生成的系統(tǒng)回復分別從正確性、流暢性以及類人性三個方面進行評價，分數(shù)為1～5，對評價的結(jié)果取平均值展示。人類評估分布情況如圖5所示。

在InCar數(shù)據(jù)集上的人工評估結(jié)果如表5所示，從評估結(jié)果可以看出本文提出的DM2Seq模型在正確性方面比對比模型GLMP和DF-Net高出許多，這表明DM2Seq模型較其他的對比模型的實體信息抽取和知識推理能力有較大提升，特別是關(guān)系到多種實體選擇的對話內(nèi)容的時候，DM2Seq模型能充分理解用戶的意圖并生成正確的回復。DM2Seq模型在其他評價指標流暢性和類人性上的評估結(jié)果都略高于對比模型，這表明DM2Seq模型的語言生成能力和識別能力比對比模型略微優(yōu)秀，能生成流利的和與人類回復更加相近的系統(tǒng)回復。

綜上所述，根據(jù)實驗表明DM2Seq在InCar和CamRest數(shù)據(jù)集上具有不錯的信息提取能力和語言建模能力，具有較高的魯棒性，無論在BLEU精度還是F1值上，都提升了相當大的幅度。BLEU分數(shù)提高表明DM2Seq模型的解碼器生成回復的誤差已經(jīng)減小了，F(xiàn)1值提高表面DM2Seq模型從外部知識庫檢索實體比其他對比模型更加準確，能夠很好地在系統(tǒng)生成回復中融入正確的外部知識。人工評估實驗也表明，DM2Seq模型具有優(yōu)秀的性能。

3.5 消融實驗

對DM2Seq模型進行消融實驗，提出了五種變體：

a）DM2Seq模型移除動態(tài)編碼器（dynamic encoder，DE），使用一個標準的GRU對數(shù)據(jù)進行編碼操作。

b）DM2Seq模型移除增強解碼器（enhanced decoder，ED），使用一個標準的GRU對編碼器輸出的隱藏向量進行解碼操作。

c）DM2Seq模型移除雙層記憶網(wǎng)絡(luò)（double-layer memory network，DMN），使用單層記憶網(wǎng)絡(luò)，將對話信息和知識庫信息在一個網(wǎng)絡(luò)進行建模。

d）DM2Seq模型移除知識行表示（knowledge line representation，KLR），采用三元組的形式表示知識庫信息。

e）DM2Seq模型移除束搜索算法。

根據(jù)表6中消融實驗的結(jié)果可知，對于InCar數(shù)據(jù)集，在BLEU精度方面和F1值方面，雙層記憶網(wǎng)絡(luò)模塊對DM2Seq模型提升最多，對模型的語言建模能力和實體信息提取能力影響最大。對于CamRest數(shù)據(jù)集，在BLEU精度方面和F1值方面，依然是雙層記憶網(wǎng)絡(luò)模塊對DM2Seq模型提升最多，語言建模能力和實體信息提取能力影響最大。但是在CamRest數(shù)據(jù)集上，束搜索對模型提升比InCar數(shù)據(jù)集上略大，其原因可能是CamRest數(shù)據(jù)集上局部最優(yōu)對實體檢索以及語言建模影響更大。

為了進一步驗證動態(tài)編碼器對多領(lǐng)域數(shù)據(jù)作用，假定DM2Seq模型在某個領(lǐng)域具有較少的資源，然后判定其是否具有良好的性能。對于InCar數(shù)據(jù)集中三個子領(lǐng)域數(shù)據(jù)集，保持其中兩個子領(lǐng)域的數(shù)據(jù)集不變，另一個領(lǐng)域的數(shù)據(jù)集數(shù)據(jù)比例設(shè)置為原數(shù)據(jù)集的1%、5%、10%、20%、30%、50%，用于驗證DM2Seq模型是否易于將擁有海量數(shù)據(jù)的領(lǐng)域訓練出來的模型移植到一個全新的或者數(shù)據(jù)較少的領(lǐng)域之中。根據(jù)圖6展示的GLMP和DM2Seq模型的對比結(jié)果可以得出：

a）DM2Seq模型在數(shù)據(jù)量較少的領(lǐng)域比GLMP模型表現(xiàn)出更好的性能，只有1%原始數(shù)據(jù)的時候，DM2Seq模型比GLMP平均高出19.3%，DM2Seq模型顯著高于GLMP模型。

b）DM2Seq模型只需要20%的原始數(shù)據(jù)就比GLMP模型需要50%原始數(shù)據(jù)展現(xiàn)出更加優(yōu)異的性能，能夠更有效地學習不同領(lǐng)域之間的特征信息。

這表明，DM2Seq模型能夠有效地將模型移植到數(shù)據(jù)量較少的領(lǐng)域，提高了模型的通用性和普適性。

上述消融實驗證明DM2Seq模型所提出的動態(tài)編碼器模塊、增強解碼器模塊、雙層記憶網(wǎng)絡(luò)模塊、知識行以及束搜索對模型的提升都具有不同程度的有效性。

3.6 對話展示

表7展示了在InCar數(shù)據(jù)集上DM2Seq、DF-Net模型和數(shù)據(jù)集真實回復的對話樣例。

在第一輪對話中，用戶提問“can you find me a Chinese_restaurant that is within 5_miles”，DF-Net模型采用三元組表示知識庫信息就定位錯了實體“jing_jing”和“6_miles”，造成了錯誤的系統(tǒng)回復，而DM2Seq模型提出采用知識行代替三元組的形式，準確定位了真實的實體“chef_chu_s”和“5_miles”，并且DM2Seq模型生成的系統(tǒng)回復更加貼近真實回復。在第二和第三輪對話中，雖然DF-Net和DM2Seq模型都精準定位到了知識庫信息，但是DM2Seq模型生成的回復更加貼合真實回復。

4 結(jié)束語

本文主要介紹了基于雙層記憶網(wǎng)絡(luò)的多領(lǐng)域端到端任務(wù)型對話系統(tǒng)的研究和實現(xiàn)。首先，介紹了基于記憶網(wǎng)絡(luò)的端到端任務(wù)型對話系統(tǒng)方法存在的一些不足和挑戰(zhàn)，提出了解決方案（DM2Seq模型），并且詳細闡述了DM2Seq模型的整體結(jié)構(gòu)，主要包括動態(tài)編碼器模塊、雙層記憶網(wǎng)絡(luò)模塊、增強解碼器模塊、雙層記憶網(wǎng)絡(luò)指針等。此外，通過詳細介紹實驗設(shè)置、結(jié)果分析、消融實驗等，與多個主流的端到端的任務(wù)型對話系統(tǒng)方法進行比對。實驗表明，DM2Seq模型在知識信息提取和語言建模能力等方面都有不錯的提升。

盡管本文模型在一定程度上解決了現(xiàn)有方法的不足與缺點，但是仍然存在許多問題需要在未來的工作中繼續(xù)探索和研究?？梢詮南旅鎺讉€方向展開后續(xù)的探索和研究：

a）本文模型都是在英文公開數(shù)據(jù)集上進行研究和實驗的，沒有應(yīng)用于中文領(lǐng)域，所以在將來的工作中可以將模型應(yīng)用到中文數(shù)據(jù)集上進行研究和實驗，提高模型處理各種自然語言的能力。

b）本文模型只針對了任務(wù)型的對話進行實驗和分析，但是這并不能完全適應(yīng)現(xiàn)實世界，有時候往往也需要處理開放域的對話，所以探索和研究一個兼顧任務(wù)型對話和開放域?qū)υ挼姆椒ㄊ鞘直匾摹?/p>

參考文獻：

[1]Zhou Li， Gao Jianfeng， Li Di， et al. The design and implementation of Xiaoice， an empathetic social chatbot［J］.Computational Linguistics，2020，46（1）：53-93.

［2]Sigtia S， Marchi E， Kajarekar S， et al. Multi-task learning for spea-ker verification and voice trigger detection［C］//Proc of IEEE International Conference on Acoustics， Speech and Signal Processing.Piscataway，NJ：IEEE Press，2020：6844-6848.

［3]陳東升.百度AI黑科技小度在家智能音箱［J］.計算機與網(wǎng)絡(luò)，2018，44（22）：22-24.（Chen Dongsheng. Baidu AI black technology Xiaodu smart speaker at home［J］.Computer & Network，2018，44（22）：22-24.）

［4]趙陽洋，王振宇，王佩，等.任務(wù)型對話系統(tǒng)研究綜述［J］.計算機學報，2020，43（10）：1862-1896.（Zhao Yangyang， Wang Zhenyu， Wang Pei， et al. A survey on task-oriented dialogue systems［J］.Chinese Journal of Computers，2020，43（10）：1864-1896.）

［5]曹亞如，張麗萍，趙樂樂.多輪任務(wù)型對話系統(tǒng)研究進展［J］.計算機應(yīng)用研究，2022，39（2）：331-341.（Cao Yaru， Zhang Liping， Zhao Lele. Research progress of multi-turn task-oriented dialogue system［J］.Application Research of Computers，2022，39（2）：331-341.）

［6]Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of Annual Conference on Neural Information Processing Systems.Cambridge，MA：MIT Press，2014：3104-3112.

［7]Zhou Shiyu， Dong Linhao， Xu Shuang， et al. Syllable-based sequence-to-sequence speech recognition with the transformer in Mandarin Chinese［EB/OL］.（2018-04-28）［2023-03-15］.https：//arxiv.org/abs/1804.107 52.

［8]Wang Wenxuan， Jiao Wenxiang， Hao Yongchang， et al. Understan-ding and improving sequence-to-sequence pretraining for neural machine translation［EB/OL］.（2022-03-16）［2023-03-15］.https：//arxiv.org/abs/2203.08442.

［9]Weston J， Chopra S， Bordes A. Memory networks［EB/OL］.（2015-10-15）［2023-03-15］.https：//arxiv.org/abs/1410.3916.

［10]Sukhbaatar S， Weston J， Fergus R. End-to-end memory networks［C］//Proc of Annual Conference on Neural Information Processing Systems.Cambridge，MA：MIT Press，2015：2440-2448.

［11]Dai Yinpei， Li Hangyu， Tang Chengguang， et al. Learning low-resource end-to-end goal-oriented dialog for fast and reliable system deployment［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：609-618.

［12]Finn C， Abbeel P， Levine S. Model-agnostic meta-learning for fast adaptation of deep networks［C］//Proc of the 34th International Conference on Machine Learning.2017：1126-1135.

［13]Madotto A， Wu C S， Fung P. mem2seq： effectively incorporating knowledge bases into end-to-end task-oriented dialog systems［C］//Proc of the 56th Annual Meeting of the Association for Computational Linguistics.2018：1468-1478.

［14]Freitag M， Al-Onaizan Y. Beam search strategies for neural machine translation［EB/OL］.（2017）［2023-03-15］.https：//arxiv.org/abs/1702.01806.

［15]Guo Jiang， Shah D J， Barzilay R. Multi-source domain adaptation with mixture of experts［C］//Proc of Conference on Empirical Me-thods in Natural Language Processing.2018：4694-703.

［16]Eric M， Krishnan L， Charette F， et al. Key-value retrieval networks for task-oriented dialogue［C］//Proc of the 18th Annual SIGdial Meeting on Discourse and Dialogue.2017：37-49.

［17]Wen T H， Gasic M， Mrksic N， et al. Conditional generation and snapshot learning in neural dialogue systems［C］//Proc of the 2016 Conference on Empirical Methods in Natural Language Processing.2016：2153-2162.

［18]Bahdanau D， Cho K， Bengio Y. Neural machine translation by jointly learning to align and translate［C］//Proc of the 3rd International Conference on Learning Representations.2015.

［19]Wu C S， Socher R， Xiong Caiming. Global-to-local memory pointer networks for task-oriented dialogue［C］//Proc of the 7th International Conference on Learning Representations.2018.

［20]Qin Libo， Xu Xiao， Che Wanxiang， et al. Dynamic fusion network for multi-domain end-to-end task-oriented dialog［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：6344-6354.

［21]Qin Libo， Liu Yijia， Che Wanxiang， et al. Entity-consistent end-to-end task-oriented dialogue system with KB retriever［C］//Proc of the 9th International Joint Conference on Natural Language Processing.2019：133-142.

收稿日期：2023-03-15；修回日期：2023-05-06

基金項目：重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展專項重點項目（CSTB2022TIAD-KPX0141）；重慶市科衛(wèi)聯(lián)合重點項目（2021ZY014004）

作者簡介：方明弘（1997-），男，重慶人，碩士研究生，主要研究方向為自然語言處理；萬里（1981-），男（通信作者），重慶人，副教授，碩導，博士，主要研究方向為知識圖譜、對話系統(tǒng)、計算機視覺（wanli@cqu.edu.cn）；戴凡杰（1998-），男，湖南人，碩士研究生，主要研究方向為計算機視覺.