張雪松,李冠君,聶士佳,張大偉,呂 釗,陶建華

(1.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥 230601;2.中國科學(xué)院自動化研究所 模式識別國家重點(diǎn)實(shí)驗(yàn)室,北京 100190;3.清華大學(xué) 自動化系,北京 100084)

0 引 言

問答(Question Answering,QA)是自然語言處理中的一個熱門話題。隨著深度學(xué)習(xí)的蓬勃發(fā)展,QA模型已經(jīng)取得了重大進(jìn)展,甚至在簡單QA基準(zhǔn)測試中超過了人類[1]。然而大部分QA模型為單跳QA,主要聚焦從單篇文檔中尋找答案。當(dāng)單篇文檔不足以獲得正確答案時,單跳QA通常缺乏從多篇文檔中推理答案的能力。

為了提高QA模型在多篇文檔中的推理能力,近年來,學(xué)者們提出了多跳QA模型,并且設(shè)計(jì)了多個專門用于評估多跳推理能力的多跳QA數(shù)據(jù)集。例如目前流行的WikiOmnia[2],HotpotQA[3]和NarrativeQA[4]。這些數(shù)據(jù)集對應(yīng)的QA任務(wù)十分具有挑戰(zhàn)性,因?yàn)樗鼈円驫A模型能夠在多篇文檔和文檔噪聲干擾下進(jìn)行多跳推理,以獲得問題答案。尤其是在HotpotQA數(shù)據(jù)集中,QA模型除了需要預(yù)測答案,還需提供答案的支撐事實(shí)。圖1顯示了來自HotpotQA數(shù)據(jù)集的一個示例。除了“3,677 seated”這個答案外,HotpotQA數(shù)據(jù)集還在文檔中標(biāo)注了答案的支撐事實(shí)句子來解釋答案。

圖1 HotpotQA數(shù)據(jù)集的示例(只顯示了兩篇文檔)

直觀地說,如果一個問題需要通過多篇文檔才能得到正確答案,通常模型需要兩個步驟:(1)篩選文檔;(2)在篩選出的文檔中預(yù)測出問題答案并找到支撐事實(shí)。

在步驟1篩選文檔任務(wù)中,大多數(shù)早期的工作要么將所有文檔作為輸入,要么單獨(dú)處理文檔,而不管大多數(shù)文檔是否與問題有關(guān),或者對找到答案是否有幫助。一個準(zhǔn)確的文檔篩選模塊可以提高多跳QA模型的可伸縮性,且不會降低性能[5]。最近的工作包括Tu等[6]和Wu等[7],他們附加一個多頭自注意力層(MHSA)來鼓勵文檔間的交互。Fang等[8]設(shè)計(jì)一個級聯(lián)文檔檢索模塊,但其詞法匹配引入太多的噪聲,使得檢索性能不佳。以上的工作旨在找到所有與問題相關(guān)的文檔,然而并非所有的相關(guān)文檔都對找到答案有所幫助。

為此,該文在相關(guān)文檔的基礎(chǔ)上進(jìn)一步提取答案所需的支持文檔。將篩選文檔任務(wù)分為兩個階段。第1階段通過處理每對文檔間的信息來對文檔進(jìn)行評分并選出文檔得分超過閾值g的文檔作為相關(guān)文檔,此外通過設(shè)置較小的g來盡可能多地獲取文檔,保證文檔的高召回率;第2階段訓(xùn)練一個遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)對問題答案的推理路徑進(jìn)行建模,在第1階段獲取相關(guān)文檔的基礎(chǔ)上再次提取文檔,保證文檔的高精確率。

在步驟2找出問題答案和支撐事實(shí)任務(wù)中,已有工作證明,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNN)由于其關(guān)系表示能力和歸納偏差,非常適用于多跳QA。根據(jù)HotpotQA數(shù)據(jù)集的特點(diǎn),大多數(shù)工作從構(gòu)建實(shí)體圖的實(shí)體中選擇答案,或通過將實(shí)體圖的信息傳播回文檔表示從而在文檔中選擇答案。然而所構(gòu)建的圖大多僅用于答案預(yù)測,不足以發(fā)現(xiàn)支持事實(shí)。此外,上面的方法在圖更新的步驟中同步更新所有節(jié)點(diǎn),忽略了不同節(jié)點(diǎn)具有不同優(yōu)先級以及有序邏輯推理。

因此,在步驟2中將篩選后的文檔構(gòu)建成一個包含問題、實(shí)體以及句子的多粒度圖,并使用不同的粒度節(jié)點(diǎn)執(zhí)行不同的任務(wù)(例如答案預(yù)測、支撐事實(shí)預(yù)測)。此外,該文提出了一種基于多粒度圖的異步更新機(jī)制來更好地進(jìn)行多跳推理。具體來說,將該更新分為兩個階段,首先是不同粒度節(jié)點(diǎn)之間的更新(例如問題-句子、問題-實(shí)體、句子-實(shí)體),使節(jié)點(diǎn)捕獲與其不同粒度節(jié)點(diǎn)的線索完善自身信息;其次是相同粒度節(jié)點(diǎn)之間的更新(例如句子-句子、實(shí)體-實(shí)體),比較相同粒度節(jié)點(diǎn)之間的描述性信息以更好定位答案和支撐事實(shí),最后將更新后的節(jié)點(diǎn)表示傳遞到預(yù)測模塊,該模塊預(yù)測問題的答案、答案類型以及支撐事實(shí)。

該文的貢獻(xiàn)如下:

(1)提出一種新穎的兩階段篩選文檔方法。第1階段保證文檔的高召回率,第2階段保證文檔的高精確率。

(2)針對由文檔構(gòu)成的多粒度圖,提出一種新穎的異步更新機(jī)制來進(jìn)行答案預(yù)測以及支撐事實(shí)預(yù)測,以更好地進(jìn)行多跳推理。

(3)在HotpotQA數(shù)據(jù)集上進(jìn)行了對比試驗(yàn),驗(yàn)證了所提方法的有效性。

1 相關(guān)工作

1.1 文檔篩選

對于多跳QA數(shù)據(jù)集來說,一個問題通常提供多篇文檔,其中包含許多冗余的文檔。當(dāng)前的預(yù)訓(xùn)練語言模型一次接受所有文檔作為輸入通常是不可行的,因?yàn)轭愃朴贐ERT,其輸入的最大長度限制為512。因此,文檔篩選是必不可少的。文檔篩選的目的是減少噪聲信息,為下游任務(wù)生成高質(zhì)量的上下文,即高召回率和高精確率的上下文。Qiu等[9]使用BERT模型單獨(dú)計(jì)算每個文檔的相關(guān)性,忽略了文檔之間的語義關(guān)系,因此會在篩選的文檔中引入噪聲,導(dǎo)致閱讀理解任務(wù)的表現(xiàn)不佳。因此Tu等[6]和Wu等[7]附加了多頭自注意力層(Multi-Head Self-Attention,MHSA)以鼓勵文檔交互,為了獲得更優(yōu)的結(jié)果,Wu等[7]進(jìn)一步采用一個級聯(lián)文檔篩選模塊,該模塊將所選的文檔作為輸入,隨后探索它們之間更深層次的關(guān)系。此外,由于他們試圖同時定位所有相關(guān)文檔,導(dǎo)致簡單的二分類器無法很好地執(zhí)行。因此,Tu等[6]和Wu等[7]將分類目標(biāo)重新制定為排名和評分目標(biāo),以符合選擇器的排名性質(zhì)。與上面的方法不同的是,該文在相關(guān)文檔的基礎(chǔ)上進(jìn)一步提取文檔用于下游任務(wù)。

1.2 多跳QA

多跳QA是機(jī)器閱讀理解的一個特殊任務(wù),是近年來自然語言理解領(lǐng)域的一個極具挑戰(zhàn)性的課題,它更接近真實(shí)場景。HotpotQA是最具代表性的多跳QA數(shù)據(jù)集,因?yàn)樗粌H要從上下文中提取正確的答案,還需要提供答案的支撐事實(shí)?，F(xiàn)有的多跳QA工作主要分為兩大類:基于記憶檢索的遞歸推理和基于GNN的多跳推理。

第一類專注于多跳問題分解[10],并在循環(huán)網(wǎng)絡(luò)中通過問題和上下文的相互作用來更新潛在特征。Qi等[11]通過迭代重排序檢索系統(tǒng)查詢?nèi)笔У膶?shí)體。Asai等[12]構(gòu)建了一個帶有超鏈接的離線維基百科圖,構(gòu)建推理鏈來進(jìn)行多跳QA。周展朝等[13]將問題分解視作一個閱讀理解任務(wù),更好地捕捉了多跳問題和文檔之間的交互語義信息,以此指導(dǎo)多跳問題分解。楊玉倩等[14]提出了一種融合事實(shí)文本的問解分解式語義解析方法,對復(fù)雜問題的處理分為分解-抽取-解析三個階段來進(jìn)行多跳問題分解。

由于GNN具有固有的消息傳遞機(jī)制,可以通過圖傳播傳遞多跳信息,因此在找出問題答案和支撐事實(shí)方面有著巨大潛力[15]。對于多跳QA來說,基于GNN的多跳推理方法占主導(dǎo)地位。大多數(shù)的工作集中在單一層次的粒度表示上。Qiu等[9]提出了一種動態(tài)融合圖網(wǎng)絡(luò),沿著實(shí)體圖動態(tài)探索,從上下文中尋找支撐實(shí)體。邵靄等[16]在表征抽取層的神經(jīng)網(wǎng)絡(luò)隱藏部分使用參數(shù)共享和矩陣分解技術(shù)來降低模型的空間復(fù)雜度,使用點(diǎn)積計(jì)算方式進(jìn)行答案預(yù)測。龍欣等[17]提出了一種多視圖語義推理網(wǎng)絡(luò),該網(wǎng)絡(luò)利用全局和局部兩種視圖的信息共同進(jìn)行推理。與上述方法不同的是,該文側(cè)重于多粒度圖的異步更新。

2 兩階段的文檔篩選和異步多粒度圖更新多跳問答

在本章節(jié)中,將詳細(xì)介紹文中方法。如圖2所示,提出的模型由5個主要模塊組成。

圖2 模型框架

(1)文檔篩選模塊(第2.1節(jié)),通過該模塊篩選出高召回率和高精確率的文檔,然后將其傳遞給下游任務(wù);

(2)上下文編碼模塊(第2.2節(jié)),通過基于RoBERTa的編碼器獲得圖形節(jié)點(diǎn)的初始表示;

(3)多粒度圖構(gòu)建模塊(第2.3節(jié)),通過該模塊構(gòu)建多粒度圖以連接來自不同信息源的線索;

(4)圖推理模塊(第2.4節(jié)),基于GNN的消息傳遞算法和異步更新機(jī)制用于更新節(jié)點(diǎn)表示;

(5)預(yù)測模塊(第2.5節(jié)),該模塊用來執(zhí)行尋找支撐事實(shí)和預(yù)測答案任務(wù)。

2.1 文檔篩選模塊

在這個模塊,目標(biāo)是過濾干擾信息,為下游任務(wù)生成高召回率和高精確率的上下文。

如圖3所示,在第1階段中,對于每一篇文檔,通過連接“[CLS]+問題+[SEP]+文檔+[SEP]”來構(gòu)建一個輸入,供BERT使用。通過BERT對每個問題/文檔對進(jìn)行編碼,提取代表全局表示的[CLS]標(biāo)記作為每個問題/文檔對的總結(jié)向量。該向量只包含了各個文檔自身的特征,但是文檔間存在一定的關(guān)系,所以通過MHSA讓文檔間的信息得到交互,再利用一個雙線性層來輸出每對文檔的相關(guān)概率。其二元交叉熵?fù)p失如下:

(1)

其中,n表示文檔數(shù)量,i,j表示第i,j篇文檔,li,j為文檔(Di,Dj)的標(biāo)簽,若Di是支持文檔li,j為1反之為0。P(Di,Dj)表示Di比Dj更相關(guān)的預(yù)測概率。

最后利用評分器SCORE處理每對文檔的信息從而獲到每篇文檔的評分。為了后續(xù)g選取操作,將每篇文檔評分控制在0到100分之間。

圖3 文檔篩選模塊示意圖

其中,D={D1,D2,…,Dn},n是文檔的數(shù)量。

Dt={Dt1,Dt2,…,DtM}

Score[Dm]>g,m={1,2,…,M}

(2)

選取集合Dt作為相關(guān)文檔,其中Dt為D的子集(Dt?D),集合Dt中每篇文檔評分均大于g。

第2階段主要是從第1階段選取的文檔中檢索出獲得問題答案所需的支持文檔ySD。受Asai等[12]的啟發(fā),該文在Dt中利用RNN和波束搜索來尋找最佳的支持文檔路徑。選擇ySD的過程如下所示:

wi=BERT[CLS](Q,Di)

ht=σ(Wht-1+Uwi+bh)

Ot=Vht+bo

(3)

其中,ht是RNN在第t個推理步驟的隱藏狀態(tài),σ是激活函數(shù),W,U,V,bh,bo為參數(shù)。使用波束搜索在Dt中進(jìn)行檢索,當(dāng)選擇到結(jié)束符號(EOE)時過程終止。最后,輸出推理路徑,選擇得分最高的路徑上的文檔作為ySD。

(4)

2.2 上下文編碼模塊

首先,將文檔篩選模塊中篩選出的文檔合并成一個上下文,然后將上下文與問題相連并輸入到預(yù)先訓(xùn)練過的RoBERTa模型中,得到編碼的問題表示Q={q1,q2,…,qm}∈Rm*d的上下文表示為C={c1,c2,…,cn}∈Rn*d,其中m,n分別是問題和上下文的長度,d為隱藏狀態(tài)的大小。緊接著C需要再經(jīng)過一層BiLSTM,從BiLSTM的輸出M∈Rn*2d中獲得不同節(jié)點(diǎn)(句子S,實(shí)體E)的表示。整張圖可以表示為H=diagram{Q,S,E}∈Rz*d,其中z為問題節(jié)點(diǎn)、句子節(jié)點(diǎn)、實(shí)體節(jié)點(diǎn)數(shù)量之和。

2.3 多粒度圖構(gòu)建模塊

不同粒度的節(jié)點(diǎn)可以從不同的信息源捕獲語義,因此與同質(zhì)節(jié)點(diǎn)的簡單圖相比,它可以更準(zhǔn)確地定位支撐事實(shí)和答案。為了將分散在多篇文檔中的線索匯總起來,構(gòu)建一個包含問題、句子以及實(shí)體的多粒度圖。不同粒度的節(jié)點(diǎn)針對不同的下游任務(wù)。句子節(jié)點(diǎn)主要用于事實(shí)預(yù)測,此外由于答案可能不在實(shí)體節(jié)點(diǎn)中,因此將實(shí)體節(jié)點(diǎn)信息融合到上下文表示中來共同預(yù)測答案。

圖4 多粒度圖的一個示例

圖4顯示了多粒度圖的一個示例。定義了不同類型的邊,如下所示:

(1)問題節(jié)點(diǎn)與其對應(yīng)實(shí)體節(jié)點(diǎn)(問題里的實(shí)體)之間的邊;

(2)句子節(jié)點(diǎn)與其對應(yīng)實(shí)體節(jié)點(diǎn)(句子里的實(shí)體)之間的邊;

(3)出現(xiàn)在同一篇文檔中的句子節(jié)點(diǎn)之間的邊;

(4)出現(xiàn)在同一個句子中實(shí)體之間的邊;

(5)具有相同實(shí)體的句子之間的邊;

(6)具有問題中的實(shí)體的句子之間的邊(問題實(shí)體可以不同);

(7)具有相同實(shí)體的問題節(jié)點(diǎn)和句子節(jié)點(diǎn)之間的邊;

(8)相同實(shí)體之間的邊。

設(shè)計(jì)前4種類型的邊使GNN能夠掌握每個文檔中呈現(xiàn)的全局信息。此外,跨文檔推理是通過從問題中的實(shí)體跳到未知的橋接實(shí)體或比較問題中兩個實(shí)體的屬性來實(shí)現(xiàn)的。因此,設(shè)計(jì)了后4種類型的邊,以更好地捕獲跨文檔推理路徑。最后多粒度圖由這8種類型的邊和3種類型的節(jié)點(diǎn)組成。

2.4 圖推理模塊

為了實(shí)現(xiàn)顯式和可解釋的圖推理,使用基于圖注意網(wǎng)絡(luò)[18](Graph Attention Network,GAT)的兩階段圖推理。對圖中的節(jié)點(diǎn)先進(jìn)行異質(zhì)更新再進(jìn)行同質(zhì)更新來進(jìn)行多跳推理。例如句子節(jié)點(diǎn),首先進(jìn)行異質(zhì)更新使其捕獲不同粒度節(jié)點(diǎn)的線索完善自身信息,再通過同質(zhì)更新,比較句子間的描述性信息以確定支撐事實(shí)。具體來說,首先將多粒度圖H分為異質(zhì)更新圖H1和同質(zhì)更新圖H2。異質(zhì)/同質(zhì)更新圖通過屏蔽節(jié)點(diǎn)之間相應(yīng)的連接得到,如圖5所示。

圖5 多粒度圖的分解

對于圖節(jié)點(diǎn)的更新表示,具體來說,首先從圖中某個節(jié)點(diǎn)開始推理,關(guān)注在圖上與該節(jié)點(diǎn)有連接的其他節(jié)點(diǎn)。然后通過計(jì)算它們之間的注意力分?jǐn)?shù),更新節(jié)點(diǎn)的特征表示。假設(shè)對于任意節(jié)點(diǎn)i,其相鄰節(jié)點(diǎn)集合為Ni,則節(jié)點(diǎn)i(i∈{Q,S,E})的注意力權(quán)重由下面公式得出:

Si,j=LeakyRelu(WT[hi;hj]),j∈Ni

其中,W為可訓(xùn)練的線性變化矩陣,Si,j表示兩個節(jié)點(diǎn)之間的相關(guān)度分?jǐn)?shù),ai,j表示節(jié)點(diǎn)i相比于其相鄰節(jié)點(diǎn)的注意力權(quán)重系數(shù)。最后通過公式計(jì)算出節(jié)點(diǎn)i的最終的特征表示:

(5)

(6)

2.5 預(yù)測模塊

(7)

模型的訓(xùn)練損失是答案跨度預(yù)測、支撐句預(yù)測、實(shí)體預(yù)測和答案類型預(yù)測損失的總和。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

使用HotpotQA數(shù)據(jù)集,這是第一個考慮模型解釋能力的多跳QA數(shù)據(jù)集,也是一個多跳QA任務(wù)的流行基準(zhǔn)。具體來說,該數(shù)據(jù)集中包括兩個子任務(wù),答案預(yù)測(Ans)和支撐事實(shí)預(yù)測(Sup)。對于每個子任務(wù)都有兩個官方評估,分別為精確匹配(EM)和部分匹配(F1)。EM表示模型預(yù)測的標(biāo)簽中與真實(shí)標(biāo)簽完全匹配的百分比。Fl表示模型預(yù)測的標(biāo)簽中與真實(shí)標(biāo)簽重疊的百分比。EM和F1的聯(lián)合得分用作整體指標(biāo)(Joint)。在HotpotQA Distractor驗(yàn)證集上評估模型,該數(shù)據(jù)集使用整個英文維基百科轉(zhuǎn)儲作為數(shù)據(jù)集的語料庫,約有11萬個基于英文維基百科的問答對。對于該數(shù)據(jù)集上的每個問題,提供了2篇相關(guān)文檔和8篇干擾文檔,這些文檔是由英文維基百科的高質(zhì)量TF-IDF檢索器收集的。

3.2 基線模型

將所提方案與以下方法進(jìn)行了對比:

(1)Baseline:將HotpotQA數(shù)據(jù)集[3]中自帶的方法作為基線;

(2)QFE:Nishida等[20]通過考慮支撐事實(shí)之間的依賴關(guān)系來進(jìn)行預(yù)測;

(3)DFGN:Qiu等[9]根據(jù)實(shí)體間的關(guān)系構(gòu)造動態(tài)實(shí)體圖,在實(shí)體圖上進(jìn)行多跳推理;

(4)GRR:Asai等[12]提出了一種基于圖的遞歸檢索查找支持文檔,然后擴(kuò)展現(xiàn)有的閱讀理解模型回答問題;

(5)SAE:Tu等[6]提出了一個管道系統(tǒng),首先選擇出相關(guān)文檔,然后使用所選文檔預(yù)測答案和事實(shí);

(6)C2F:Shao等[21]認(rèn)為圖結(jié)構(gòu)不是多跳問答所必需的,提出了一種新的自注意力機(jī)制來進(jìn)行預(yù)測答案和事實(shí)。

3.3 實(shí)驗(yàn)結(jié)果

表1顯示了模型在HotpotQA Distractor驗(yàn)證集上的實(shí)驗(yàn)結(jié)果,可以看到文中模型超過了大部分已經(jīng)發(fā)表的結(jié)果。在正確答案的預(yù)測上,文中模型得到的精確匹配(EM)為69.3%,F1為82.3%。所提方法與基線相比在答案預(yù)測EM上獲得24.9%的絕對改進(jìn),在答案預(yù)測F1上獲得24%的絕對改進(jìn)。在下面實(shí)驗(yàn)分析小節(jié)中,將詳細(xì)分析模型性能增益的來源。

3.4 實(shí)驗(yàn)分析

文中的實(shí)現(xiàn)基于Transformer庫[9]。在閾值g的選取上,人為設(shè)置閾值g=0.000 001(接近于0),使得文檔篩選模塊第1階段盡可能多地選擇文檔。在多粒度圖構(gòu)建階段,使用Manning等[22]提出的預(yù)訓(xùn)練實(shí)體模型來提取命名實(shí)體。圖中的句子節(jié)點(diǎn)數(shù)量設(shè)置為20,實(shí)體節(jié)點(diǎn)數(shù)量設(shè)置為30。

在文檔篩選模塊中,當(dāng)設(shè)置閾值g=0.000 001時,文檔篩選模塊第1階段文檔召回率達(dá)到99.9%。在第1階段的基礎(chǔ)上進(jìn)行第2階段檢索再次獲取文檔,最后將文檔篩選結(jié)果和DFGN,HGN和SAE中的文檔篩選結(jié)果進(jìn)行比較,如表2所示。所提方法在文檔精確率和召回率方面分別為96.7%和96.8%,相比于SAE在各個指標(biāo)上均有提升。

表1 在HotpotQA Distractor驗(yàn)證集上的結(jié)果 %

表2 在HotpotQA Distractor驗(yàn)證集上的文檔選擇結(jié)果 %

3.5 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)結(jié)果如表3所示。為了證明提出文檔篩選方法的有效性,對文檔篩選兩個階段進(jìn)行了消融研究。在文檔篩選模塊僅使用第1階段或僅使用第2階段中篩選出的文檔用于下游任務(wù)。從表3中可以看到,僅使用第1階段篩選出的文檔用于下游任務(wù)會使模型在Joint F1指標(biāo)上下降7.8百分點(diǎn),僅使用第2階段檢索出的文檔用于下游任務(wù)會使模型在Joint F1指標(biāo)上下降0.7百分點(diǎn)。在兩階段圖推理方面,當(dāng)去除實(shí)體節(jié)點(diǎn)時,模型在ANS F1和Sup F1指標(biāo)上分別下降0.1百分點(diǎn)和0.2百分點(diǎn)。在圖節(jié)點(diǎn)更新順序上,比較了3種不同的順序。觀察到從同質(zhì)到異質(zhì)的順序更新節(jié)點(diǎn)實(shí)驗(yàn)結(jié)果較差,低于同步更新的結(jié)果。但提出的從異質(zhì)到同質(zhì)的方法更新圖中節(jié)點(diǎn)相比于同步更新在3個指標(biāo)上均有提升。通過對消融實(shí)驗(yàn)結(jié)果的分析,證明了所提方法的有效性。

表3 消融實(shí)驗(yàn) %

4 結(jié)束語

該文提出一種兩階段的文檔篩選方法。第1階段通過對文檔進(jìn)行評分和設(shè)置較小的閾值來盡可能多地獲取文檔,保證支持文檔的高召回率。第2階段利用遞歸神經(jīng)網(wǎng)絡(luò)對問題答案的推理路徑進(jìn)行建模,結(jié)合波束搜索在第1階段的基礎(chǔ)上再次提取文檔,保證支持文檔的高精確率。最后將支持文檔構(gòu)建成一個圖節(jié)點(diǎn)為問題、句子和實(shí)體的多粒度圖,并利用一種新穎的異步更新機(jī)制從多粒度圖上進(jìn)行答案預(yù)測以及支撐事實(shí)預(yù)測。實(shí)驗(yàn)結(jié)果證明了該模型的有效性。在未來工作中,希望結(jié)合文本構(gòu)建圖形的新進(jìn)展來解決更困難的推理問題。此外,希望在其他多跳問答數(shù)據(jù)集上評估該模型。