歐中洪，戴敏江，譚言信，宋美娜

(北京郵電大學 計算機學院(國家示范性軟件學院)， 北京 100876)

面向任務的多輪對話系統(tǒng)已普遍應用于日常生活，如阿里小蜜[1]、微軟小冰[2]等。任務導向的對話系統(tǒng)可滿足日常生活訂餐、酒店預定、飛機火車預定等功能。對話狀態(tài)追蹤(dialogue state tracking，DST)是任務型多輪對話系統(tǒng)的關鍵組件，其目標是根據用戶與系統(tǒng)的對話歷史識別用戶意圖和用戶對話目標。用戶意圖識別，即識別對話所屬任務領域，如訂餐、查詢領域等，通常構建為分類任務；用戶對話目標由特定任務領域的一系列槽構成，如訂餐領域的槽包括餐館名稱、訂餐時間等，這些槽集合可完整表述一項任務，如訂餐。對話狀態(tài)追蹤器根據用戶意圖，針對特定領域槽識別對話歷史中的實體作為值，更新歷史對話狀態(tài)，完成對話狀態(tài)追蹤。

對話狀態(tài)追蹤器目前主要采用3種方式構建：基于分類的方法、基于標注的方法和基于生成的方法。

基于分類的方法首先構建特定領域的槽值對本體集，形成完整的特定任務目標表示。如針對“訂餐”領域，其可能的用戶目標表示包括餐館名稱、餐館地址、訂餐時間等槽，同時針對每個槽需包含完整的值集合?；诜诸惖姆椒ㄐ璞ＷC槽值對本體集的完整性，才可進一步根據對話歷史進行分類。但許多槽對應的值往往無法完整定義或難以槽值擴展，如時間槽值為連續(xù)值，無法定義完整的值集合，因此基于分類的方法只適用可分類的槽值，不適用完整的對話狀態(tài)追蹤以及新槽值擴展。

基于標注的方法可根據槽信息直接在對話歷史中標注出對應值所在位置，然后通過對話狀態(tài)更新器更新歷史對話狀態(tài)。基于標注的方法可有效解決基于分類的方法中無法完整定義槽值的問題，因為其可直接標注出對應的連續(xù)值，但對于用戶輸入錯誤或表述不完整的標注結果，難以直接用于對話狀態(tài)表示，需進一步規(guī)范化處理，較為繁瑣。

基于生成的方法根據對話歷史表示以及槽信息生成完整值，并直接推理更新對話狀態(tài)?；谏傻姆椒缮烧麄€詞表的詞分布，因此可同時解決用戶輸入錯誤、用戶輸入不完整以及對話中出現(xiàn)新詞等問題。Wu等提出的Trade模型[3]借用指針網絡[4]編碼對話歷史上下文與領域槽向量，然后基于注意力機制生成槽值中每個詞在整個詞表的概率分布，完成對話狀態(tài)生成?；谏傻姆椒山鉀Q基于分類的方法以及基于標注方法的一些弊端，但現(xiàn)有的生成方法沒有有效利用槽值對本體集的知識信息，導致其命名實體識別能力(named entity recognition，NER)不如基于標注或分類的方法。

針對上述問題，本文提出一種基于指針網絡的新型對話狀態(tài)追蹤生成方法。該方法基于指針網絡構建命名實體識別指針和領域槽推理指針以改進原來的領域槽指針。命名實體識別指針以槽值對本體集中的槽值為識別目標，通過標注對話歷史中包含的命名實體來提升命名實體識別能力；槽推理指針根據識別的命名實體詞，基于對話歷史進一步推理更新，完成對話狀態(tài)追蹤。

1 相關工作

對話系統(tǒng)主要分為基于管道(pipeline)的方法與基于深度學習的端到端方法。

基于管道方法的對話系統(tǒng)主要包含4個組成部分：自然語言理解(natural language understanding,NLU)，對話狀態(tài)追蹤(dialogue state tracking,DST)，對話策略學習(dialogue policy learning,DPL)和對話生成(dialogue language generation,DLG)。對話狀態(tài)追蹤是其中的關鍵組件。

傳統(tǒng)基于管道方法的對話系統(tǒng)大多作用于單一領域多輪對話數(shù)據集DSTC2[5]，其對話狀態(tài)追蹤依賴自然語言理解[6-10]?；诠艿赖姆椒ㄊ紫雀鶕匀徽Z言理解得到命名實體；接著對實體進行去異化(delexicalization)，即將標注錯誤或不完整的命名實體映射為正確實體；最后對話狀態(tài)追蹤模塊對命名實體進行所屬槽分類，構建完整對話狀態(tài)。依據單領域數(shù)據集構建的對話狀態(tài)追蹤器難以進行多領域遷移，且多模塊間存在誤差傳播，無法全局優(yōu)化；此外，傳統(tǒng)人工構建詞典去異化的方法難以維護和擴展到新領域。

針對基于管道方法存在的問題，Henderson等和Zilka等提出基于深度學習的端到端方法，將自然語言理解模塊和對話狀態(tài)追蹤模塊聯(lián)合訓練，根據槽值對本體集進行分類[11-12]。Mrk?i?等通過將本體的槽值對編碼為低維向量，利用深度學習的擬合能力計算對話歷史向量與槽值對向量的相似度，選擇相似度最大的槽值作為分類結果進行對話狀態(tài)追蹤[13]?；谏疃葘W習的方法解決了基于管道的方法中多模塊誤差傳播的問題，深度學習的擬合能力解決了傳統(tǒng)方法需要人工構建詞典進行去異化的問題，但基于槽值對本體集分類的方法不適用于連續(xù)槽值或不可窮舉的槽值，如時間槽值等。

上述基于生成的方式，通過指針指向整個詞表，解決了分類方法中無法有效分類連續(xù)值的問題；模型解碼器通過參數(shù)共享來訓練各領域槽指針，提升了模型效果。但模型只設計了領域指針和槽指針，參數(shù)共享方式粒度較粗，且生成方法沒有有效利用槽值對本體集的知識信息，因此命名實體識別能力有待提升。

充分利用槽值對本體集的知識信息對于對話狀態(tài)追蹤，特別是命名實體識別能力提升具有重要作用。DST-Picklist整合了傳統(tǒng)分類方法和最新的跨度預測方法的優(yōu)勢提升對話狀態(tài)追蹤效果[14]，但DST-Picklist將2種方法分開構建為2個模型，沒有做到模型的深度融合。DFGN模型通過第三方命名實體識別工具來識別命名實體，然后通過圖卷積網絡將實體信息傳播回對話歷史編碼信息中，提升了命名實體的識別能力[15]，但通過第三方工具進行命名實體識別對不同領域的命名實體識別效果欠佳。

此外，QA-DST將對話狀態(tài)追蹤任務視為閱讀理解任務，將領域槽構建為問題句子編碼，獲得問題向量表示，將對應槽值作為閱讀理解的選項進行選擇[16]。近來，基于預訓練語言模型Bert[17]和GPT[18]的 BERT-DST[19]方法利用Bert對對話歷史進行跨度序列標注，預測對話歷史中每個詞作為槽值的起始-結束位置的概率分布，然后從對話歷史中選擇最優(yōu)的起始-結束位置間的詞作為槽值。上述方法只利用了深度學習的擬合能力完成對話狀態(tài)追蹤，忽略了對話狀態(tài)更新時需要對多輪對話間的多個值進行推理選擇的情況，導致推理更新效果較差。

本文充分利用槽值對本體集實體知識，將槽值對本體集識別與對話狀態(tài)生成構建為深度融合模型，有效利用本體的知識信息提升命名實體識別效果，同時保證了深度學習模型可擴展的優(yōu)點。

2 對話狀態(tài)追蹤建模

我們提出一種新型對話狀態(tài)追蹤模型NerInfer(named entity recognition and inference capabilities enhanced dialogue state tracker),基于指針網絡提出命名實體識別指針和領域槽推理指針，以改進原來單一的領域槽指針。模型整體架構如圖1所示。NerInfer模型主要由4部分構成：對話歷史編碼器、命名實體解碼器、槽推理生成器和槽三分類門。NerInfer模型首先構建特定領域的命名實體識別指針(NER pointer)，以槽值對本體集中的命名實體作為識別目標，在對話歷史上基于注意力機制完成標注，訓練指針的命名實體識別能力；其次，模型融合槽推理指針(DST inference pointer)和命名實體識別指針構建槽推理生成器(slot value inference generator)進行槽值生成。

圖1 對話狀態(tài)追蹤模型架構

2.1 符號定義

首先給出相關符號的定義。對話歷史可表示為

H={(SS1,SU1),(SS2,SU2),…,(SSt,SUt)}。

(1)

式中：SS表示系統(tǒng)的回復對話序列，SU表示用戶的對話序列，(SSi,SUi)表示第i輪對話，對話歷史H一共包含t輪對話。對話狀態(tài)表示為

B={B1,B2，…,Bt}。

(2)

2.2 對話歷史編碼器

NerInfer采用雙向門控循環(huán)單元(gate recurrent unit,GRU)作為對話歷史的編碼器，與Trade模型保持一致。其直接將對話歷史按順序進行拼接，作為對話歷史編碼器的輸入

Hin=(SS1,SU1,…,SSt,UUt)∈R|w|×demb。

(3)

式中:|w|為對話歷史中詞的總個數(shù)；demb為詞向量維度。通過雙向GRU編碼器編碼，可獲得每個詞的隱向量

Hhid=(h1,h2,…,hw)∈R|w|×dhid,

(4)

式中dhid為隱向量維度。最后通過編碼器獲得對話歷史的句子級表示hsent∈Rdhid。

2.3 解碼器

原始的Trade模型直接將領域向量與槽向量相加作為槽生成器的第一步輸入，通過向量相加的方式實現(xiàn)多個領域間的槽參數(shù)共享，讓向量間互相學習槽值的識別能力。NerInfer將(領域，槽)向量構建為特定領域的命名實體識別指針向量Wdom-ner與特定槽的槽推理指針向量Winfe，這與現(xiàn)有研究中簡單將領域向量與槽向量相加不同。一方面，由于不同領域的命名實體集合間沒有交集，如飯店名稱槽(restaurant-name slot)和酒店名稱槽(hotel-name slot)對應的值屬于槽值對本體集中的不同集合，通過領域向量與槽向量直接相加的方式，不但不利于共同學習槽值識別，而且會導致不同領域間的命名實體發(fā)生混淆。NerInfer針對不同領域設計不同的命名實體識別指針，分別學習各自領域內部的命名實體識別能力，從而減少領域間學習混淆的情況。另一方面，不同領域中的槽在多輪對話歷史中的推理識別方式存在相似性(如圖2)。不同領域的槽推理過程都會偏向于由系統(tǒng)給出多個命名實體選項，然后根據最新的用戶對話選擇方式推理更新槽值。而NerInfer模型只對槽推理指針的訓練進行參數(shù)共享，以促進槽推理能力的聯(lián)合學習。綜上，領域槽值識別首先需要根據對話歷史識別出相關的命名實體，然后通過推理選擇正確的槽值來完成對話狀態(tài)更新。

圖2 對話推理過程

2.3.1 命名實體解碼器

為了分別訓練不同領域間的命名實體識別指針，以進一步增強對話狀態(tài)追蹤器的命名實體識別能力，NerInfer在不同領域中設立了在向量空間中完全獨立的可訓練向量。然后，NerInfer將槽值對本體集中的命名實體作為序列標注對象，訓練命名實體識別指針的實體識別能力。在推理指針的輔助下，NerInfer增強了命名實體的推理選擇能力。

首先，將命名實體識別指針向量Wdom-ner作為命名實體識別生成器的輸入，其中dom為某一具體領域；然后，將對話歷史的句子級表示hsent作為解碼器的初始隱狀態(tài)輸入，得到隱向量hdom-ner；最后,將hdom-ner用于計算對話歷史詞級的注意力分布，得到dom領域下基于對話歷史隱向量H的詞分布注意力得分

Pdom-ner=Softmax(H·(hdom-ner)T)∈R|Hw|×|Ner|。

(5)

式中:|Hw|為對話歷史中詞的數(shù)目;|Ner|為槽值對本體集中特定領域的命名實體個數(shù);通過Softmax函數(shù)計算整個序列中各個詞作為命名實體的可能性大小，完成命名實體序列標注。

2.3.2 槽推理生成器

NerInfer將槽推理指針和領域相關的命名實體識別指針相加作為槽推理生成器的第一個輸入

Wdom-slot=Winfe+Wdom-ner。

(6)

解碼得到槽值識別指針Wdom-slot的隱向量表示hdom-slot，用于計算指針基于對話歷史H和整個詞表V的注意力得分

Pvocab=Softmax(V·(hdom-slot)T)∈R|V|,

(7)

Phistory=Softmax(H·(hdom-slot)T)∈R|Hw|。

(8)

式中:V為整個詞表的可訓練詞向量;|V|為整個詞表的詞個數(shù);H為對話歷史的隱向量表示。

對以上兩個詞分布進行加權求和，得到基于對話歷史和整個詞表的最終槽值的詞分布

Pvalue=Pgen×Pvocab+(1-Pgen)×Phistory∈R|V|。

(9)

式中:標量Pgen通過拼接指針隱向量hdom-slot、指針向量Wdom-slot以及基于注意力機制得到的對話歷史表示c得到

Pgen=sigmoid(W·[hdom-slot;Wdom-ner;c]),

(10)

c=Phistory·H∈Rdhid。

(11)

2.4 三分類門

三分類門用于預測當前對話歷史中某一領域槽的3種狀態(tài)：第1種為存在用戶指定的具體槽值;第2種為“dontcare”,表示槽可以填充任意值;第3種為不存在?；谧⒁饬C制的對話歷史表示c用于預測當前領域槽的3種狀態(tài):

G=Softmax(WTc)∈R3。

(12)

2.5 損失函數(shù)

NerInfer使用交叉熵損失函數(shù)Lg計算三分類門的預測損失

(13)

式中:G表示預測值;ygate表示真實值，用獨熱碼表示。類似地，NerInfer使用另一個交叉熵損失函數(shù)Lv計算預測的槽值對應的詞分布Pvalue與真實詞yvalue之間的損失：

(14)

式中:V為詞表中詞的個數(shù);N為槽值對本體集中命名實體槽值的個數(shù)。

最后，計算命名實體識別損失函數(shù)，同樣使用交叉熵損失函數(shù)

(15)

最終，通過超參α、β、γ加權求和3個損失函數(shù)獲得最終的損失函數(shù)

L=αLg+βLv+γLn。

(16)

3 實驗驗證

3.1 數(shù)據集

Multi-domain Wizard-of-Oz[20](MultiWOZ)是面向任務的多領域完全人工標注的多輪對話數(shù)據集，是目前最大的有標注對話任務數(shù)據集，包含景點(attraction)、醫(yī)院(hospital)、警察局(police)、酒店(hotel)、餐廳(restaurant)、出租車(taxi)、火車(train)7個領域，共收集了10 438組對話。大約70%的對話超過10個回合，顯示了語料庫的復雜性；單領域和多領域對話的平均輪次分別為8.93和15.39，共115 434輪。MultiWOZ將對話建模任務分解為3個子任務來為每個子任務報告基準測試結果：對話狀態(tài)跟蹤、對話-行為-文本生成和對話上下文-文本生成。本文采用糾錯后的MultiWOZ 2.1[5]版本數(shù)據集進行實驗。

Trade模型中的槽值識別誤差結果如圖3所示?？梢钥闯鼍频?、景點以及餐廳3個領域命名實體的識別準確率最低。因此，本文僅考慮對這3個命名實體進行實驗，驗證NerInfer模型的有效性。

圖3 Trade模型在多領域測試集上的槽錯誤率

3.2 訓練細節(jié)

NerInfer模型的實驗細節(jié)基本遵循Trade模型的設定。NerInfer模型使用Adam優(yōu)化器[21]，訓練批次大小為32，學習率設定為[0.001，0.000 1]，丟棄率[22]設定為0.2。損失函數(shù)的超參α、β、γ均設置為1。所有嵌入向量都使用 Glove Embeddings[23]和Character Embeddings[24]作為初始的詞嵌入向量，詞向量維度為400維，命名實體識別指針和槽推理生成都采用貪心策略。此外，與文獻[25]類似，NerInfer模型采用掩碼策略對輸入序列加入掩碼提升可擴展性。

3.3 實驗結果

為驗證本文所提出的NerInfer模型的有效性，把Trade模型以及消融實驗分析得到的Trade-模型作為對比。

NerInfer模型旨在提升命名實體槽值的識別能力。為了改進原始Trade模型的缺陷，本文僅對酒店名稱槽(hotel-name slot)、飯店名稱槽(restaurant-name slot)和景點名稱槽(attraction-name slot)3個領域的槽值進行對話狀態(tài)追蹤。此外，由于名稱槽(name slot)的值實際指向命名實體，本文將其統(tǒng)稱為命名實體槽(named entity slot)。

我們在驗證集dev和測試集test上驗證每個模型的性能，使用聯(lián)合目標準確率(joint goal accuracy)、輪次槽值識別準確率(turn accuracy)和聯(lián)合F1值(joint-F1)3個指標評估模型性能。聯(lián)合目標準確率表示在一個完整對話的所有輪次中，所有槽值的預測均與真實槽值相同才能作為一次正確預測，是對話狀態(tài)追蹤器性能評估的核心指標；輪次槽值識別準確率僅需具體輪次對話中槽值識別與真值槽值相同即可作為一次正確預測；聯(lián)合F1反映聯(lián)合預測的精確率和召回率的調和平均結果。

為進行公平比較，在訓練和測試模型時將3個模型的參數(shù)設置相同，并對每個模型進行4次實驗，取平均結果作為最終實驗結果。實驗結果如表1所示。

表1 實驗結果

Trade模型是原始模型，直接使用單一的領域槽指針生成對應值，沒有細分命名實體識別指針和槽推理指針。因此，模型的命名實體識別能力不足。

Trade-模型是對Trade模型進行消融改進以驗證本文假設的模型。在Trade-模型中，去除指針中的名稱槽向量，并保留領域向量。這可以確保在不同領域中，可以獨立訓練指針的命名實體識別能力，使得每個領域中識別的命名實體的值不會互相干擾。盡管這種改進削弱了推理能力，但它提高了命名實體識別能力。

NerInfer模型是本文提出的改進模型。在不同領域設置了不同的命名實體識別指針，并使用槽值對本體集中的命名實體作為序列標注值，以提高命名實體識別指針的識別能力。由于對話狀態(tài)追蹤器在不同領域中有相似推理過程，因此設置參數(shù)共享槽推理指針以聯(lián)合學習槽推理能力。最后，將2個指針相加得到新的指針作為最終槽推理生成器的輸入，完成對話狀態(tài)追蹤。

通過比較表1中Trade模型和消融后的Trade-模型，可發(fā)現(xiàn)Trade-模型提高了測試集的聯(lián)合目標準確率，這表明Trade模型的完全參數(shù)共享指針不如Trade-模型在各自領域獨立訓練對應的命名實體識別指針效果好，即參數(shù)共享命名實體識別指針不僅沒有推理能力，而且容易導致多個領域間的命名實體互相混淆，產生錯誤識別。但在實際情況下，由于不同領域中的命名實體間沒有任何交集，因此移除參數(shù)共享部分的指針可以幫助提高在不同領域中命名實體的識別能力。

通過比較本文提出的NerInfer模型和Trade模型，可發(fā)現(xiàn)NerInfer模型在驗證集和測試集上均有顯著提升。從表1可以看出，NerInfer模型在測試集上取得了0.782的聯(lián)合目標準確率，比Trade模型提高了1.2%；NerInfer模型的輪次準確率達到0.924，比Trade模型提高了0.6%；NerInfer模型的聯(lián)合F1值增加到0.819。性能提升主要來自兩方面：一方面，NerInfer模型在其各自領域中獨立訓練命名實體識別指針，并通過引入槽值對本體集的命名實體知識作為識別目標來進一步提高指針的命名實體識別能力；另一方面，NerInfer模型通過引入具有參數(shù)共享的槽推理指針，可以聯(lián)合訓練多個領域間的槽推理能力，從而改進實驗結果。

4 實驗結果分析

首先分析Trade模型的誤差，并根據分析結果選擇命名實體作為進一步實驗目標；然后對NerInfer模型的實驗結果進行誤差分析，驗證模型在命名實體識別能力和槽推理能力上的提升效果。

4.1 命名實體識別能力

根據圖3給出的誤差結果，可以看出Trade模型在多領域測試集上5個領域槽的錯誤率最高：景點名稱槽(attraction-name slot)、酒店名稱槽(hotel-name slot)、飯店名稱槽(restaurant-name slot)、出租車目的地槽(taxi-destination slot)和出租車始發(fā)地槽(taxi-departure slot)。這表明Trade模型在預測命名實體槽值以及出租車領域槽值方面具有很大改進空間。類似地，出租車領域的槽值與命名實體槽值的集合也存在一定交集，如用戶可能會在預定出租車的領域對話中指出需要從某個景點出發(fā)去飯店，此時出租車的始發(fā)地和目的地都是命名實體槽值。因此，針對命名實體槽進行實驗提升命名實體對話狀態(tài)追蹤能力，對應出租車領域的命名實體識別識別能力和槽推理能力即可得到有效提高。由此,本文選擇命名實體槽進行實驗。

進一步分析原始Trade模型在命名實體槽(name slot)和出租車領域始發(fā)地槽(taxi-departure slot)和目的地槽(taxi-destination slot)的對話狀態(tài)追蹤交互結果。我們選擇實驗結果中出租車領域的槽(taxi-domain slot)與命名實體槽具有相同值的對話進行分析，即出租車領域的槽值也屬于景點、飯店、酒店的命名實體集合。

分析結果如表2所示。其中，列表示兩種槽具有相同值，如attraction-destination，該列表示景點名稱槽(attraction-bame slot)和出租車目的地槽(taxi-destination slot)具有相同槽值；行表示統(tǒng)計結果，表格內的值表示對話輪次數(shù)。對話總輪次為滿足出租車領域槽與命名實體槽具有相同值的對話總輪數(shù)，該統(tǒng)計來自整個數(shù)據集。“預測正確”代表實驗結果為正確預測的對話總輪數(shù)；錯誤的預測值為空的結果分為3種類型：“均為空”表示將命名實體槽和出租車對應槽值都錯誤地預測為不存在;“命名實體為空”表示只有命名實體槽被錯誤地預測為不存在;“出租車為空”表示只有出租車領域錯誤地預測為值不存在。值錯誤預測同樣分為3類：“均錯誤”表示兩個槽的預測值不為空，但是值均不正確；其他兩類含義與“錯誤預測為空”中情況類似。

表2 對原始Trade模型的實驗結果進一步詳細分析的結果

實驗結果顯示命名實體槽值被錯誤地預測為空的對話輪次占據了錯誤預測結果的大多數(shù)。這意味著Trade模型從對話歷史中識別命名實體的能力較弱；由于命名實體未被識別出來，即沒有可以推理選擇為槽值的候選項，導致對話狀態(tài)更新時槽值無法更新。

“出租車值錯誤”顯示出租車領域槽的值預測為其他命名實體值的情況占據了錯誤識別中很大一部分。在出租車領域，部分始發(fā)地槽和目的地槽可直接基于當前對話序列識別出對應值；但許多出租車的領域槽值與其他領域的命名實體槽值相關，對話狀態(tài)追蹤器需要根據對話歷史上下文推理選擇對應的命名實體槽值來更新對話狀態(tài)。如用戶希望從飯店A到達景點B，這時可能在出租車領域的當前對話中不涉及具體的命名實體槽值，卻需要根據上文提到的飯店命名實體槽值和景點命名實體槽值來推理更新當前出租車領域的槽值。因此，出租車領域中值的錯誤預測情況與命名實體識別能力以及基于對話上下文的槽推理能力有關。綜上，提高命名實體槽值的識別準確率，并提升多輪對話槽推理能力可有效提升Trade模型的性能。

4.2 實驗誤差分析

3個模型實驗結果的進一步分析如表3和圖4所示。分別對3個模型各領域的命名實體槽(name slot)進行統(tǒng)計分析，采用準確率、值錯誤率為評價指標。錯誤率細分為3種：“值錯誤率”表示槽值被錯誤地預測為其他命名實體槽值；“預測為空錯誤率”表示真實槽有對應的值，但是被錯誤地預測為空；“預測非空錯誤率”表示實際沒有這樣的槽值，但被錯誤地預測具有槽值。

表3 Trade模型、Trade-模型、NerInfer模型的實驗結果對比分析

圖4 Trade、Trade-、NerInfer模型預測準確率趨勢圖

從表3和圖4可以看出，對于錯誤預測為空的值，NerInfer模型的錯誤率相比Trade模型和Trade-模型明顯降低。因此，NerInfer模型中的命名實體識別指針幫助模型識別出更多命名實體，減少預測為空的情況，從而顯著提高命名實體識別能力。更進一步，NerInfer模型可根據識別的所有槽值進行槽推理，完成對話狀態(tài)更新。但從表3可發(fā)現(xiàn)，Trade模型的錯誤率較Trade-模型和NerInfer模型更低。這主要因為命名實體識別指針有助于找到更多相關的命名實體槽值，但其也會識別更多不相關的命名實體詞，從而帶來更多噪聲。因此，即使加入參數(shù)共享的槽推理指針，總體的推理能力仍然減弱。為了進一步完善該部分，有必要提高槽推理指針的推理能力，以推理選擇正確的實體值作為當前對話狀態(tài)的槽值，這將是未來的工作方向。

5 結語

本文在分析Trade模型實驗結果的基礎上，發(fā)現(xiàn)命名實體識別準確率低的主要原因，并選擇命名實體領域槽值進行實驗。

基于槽值對本體集的命名實體知識信息，設計了命名實體識別指針與針對特定領域的槽推理指針，并基于2種指針設計槽推理生成器，實現(xiàn)了一種新的NerInfer模型，使模型在保留生成方法可擴展優(yōu)點的基礎上，有效利用槽值對本體知識信息。

在多任務多輪對話領域權威的MultiWOZ 2.1數(shù)據集上進行了一系列實驗，實驗結果表明所提出的方法能有效提升多輪對話系統(tǒng)對話狀態(tài)追蹤在命名實體識別和命名實體槽推理更新的效果。具體地，所提方法在聯(lián)合目標準確率上提升了1.24%，聯(lián)合F1值提升了0.96%。

未來，可進一步對其他領域的槽值進行實驗，以及對需要推理識別的出租車領域進行實驗，進一步提高出租車領域的命名實體識別準確率以及基于參數(shù)共享的推理指針在出租車等領域的槽值更新能力。