杜會芳，王昊奮，史英慧，王萌

1. 同濟大學設計創(chuàng)意學院，上海 200092；

2. 東南大學網(wǎng)絡空間與安全學院，江蘇 無錫 214100；

3. 東南大學計算機科學與工程學院，江蘇 南京 211189

1 引言

1.1 背景介紹

隨著大數(shù)據(jù)時代的來臨，幫助用戶在海量信息中快速找到想要的信息尤為重要。知識圖譜（knowledge graph，KG）以三元組的形式結構化存儲海量信息，一個三元組可以表示為，其中eh表示頭實體，et表示尾實體，r表示頭實體與尾實體之間存在的關系。知識圖譜三元組之間也存在關聯(lián)關系，如上述三元組中的頭實體eh可能是另外一個三元組的尾實體。知識圖譜把海量互聯(lián)網(wǎng)信息表達成客觀世界可認知的語義表示，具有強大的語義表達、存儲和表達能力[1]，在工業(yè)界和學術界得到了廣泛關注和研究應用。智能問答系統(tǒng)[2]旨在針對用戶提出的復雜信息需求，允許用戶用自然語言問句的形式提問，并為用戶直接返回精準的答案。得益于知識圖譜技術的快速發(fā)展，基于知識圖譜的問答（knowledge graph based question answering，KGQA）技術利用其豐富的結構化語義信息，能夠深入理解用戶的問題，并給出準確的答案[3]，為用戶提供7×24小時的智能問答服務，在醫(yī)療、教育、金融等多個領域凸顯出重要的應用價值[4-6]。

傳統(tǒng)KGQA以實體、屬性等單一具體對象為主，而在實際應用場景中，用戶不再滿足于單跳的知識問答，如在醫(yī)療領域中的咨詢問題“常見的治療感冒藥物有哪些?”。用戶更多地傾向表達復雜的多跳問答推理問題，如“請問伴有中耳炎并發(fā)癥的感冒能用哪種藥物治療?”。而知識圖譜多跳問答（以下簡稱多跳知識問答）[7-8]即針對包含多跳關系的問題，在知識圖譜上進行多步推理，繼而推斷得到答案的一項任務。

1.2 多跳知識問答推理分類

相比單跳問答，多跳知識問答需要在包含大量知識的知識圖譜中找到多個有關聯(lián)的三元組，并建模多跳長路徑，這是更加具有挑戰(zhàn)性的任務。同時知識圖譜又是不完備的，長路徑中任意一個三元組的不完整都會導致找不到正確的答案，這為多跳知識問答帶來了更大的挑戰(zhàn)。為了解決沒有明顯答案的復雜多跳查詢問題，模型需要基于知識圖譜已有知識進行推理。作為多跳知識問答的關鍵技術支撐，推理為知識圖譜智能問答更快落地實際應用發(fā)揮了重要作用。

本文總結多跳知識問答推理的最新研究方法，并將這些方法分為基于嵌入的多跳知識問答推理、基于路徑的多跳知識問答推理和基于邏輯的多跳知識問答推理3類方法。其中，基于嵌入的多跳知識問答推理方法是將知識圖譜元素（如實體、關系等）關聯(lián)到低維連續(xù)向量空間[9]，然后通過定義得分函數(shù)或解碼器對目標查詢對象進行排名來得到答案。而基于路徑的多跳知識問答推理方法首先需要確定問題中的主題實體，然后在知識圖譜上隨機游走找到答案實體[10-11]，代表性的工作有路徑排序算法（path ranking approach，PRA）。關于基于邏輯的多跳知識問答推理方法，本文將重點介紹以一階邏輯為主的熱點研究方法。圖1所示為基于知識圖譜的多跳問答推理方法分類，接下來綜述這些分類中最新方法的研究進展、基本思路和存在的挑戰(zhàn)等。

2 基于嵌入的多跳知識問答推理

基于嵌入的多跳知識問答推理方法是將問題和候選答案轉(zhuǎn)化為公共向量空間中的語義向量表示來進行操作的方法，基于嵌入的具體操作方法可以分為基于語義匹配的方法、基于圖神經(jīng)網(wǎng)絡的方法和基于記憶網(wǎng)絡的方法。

（1）基于語義匹配的方法

本類方法首先計算問題和候選答案分布式表示之間的語義匹配，然后通過排序候選答案來得到最終答案。Bordes A等人[12]將問題和知識圖譜三元組用嵌入的方式表示來表達特征的語義。然而，與翻譯模型TransE[13]、TransH[14]、TransR[15]等 關注嵌入表示的模型類似，這些方法只能回答簡單問題[12,16-17]。為了實現(xiàn)多跳問答推理以及應對多跳知識高效建模的挑戰(zhàn)，很多基于語義匹配的方法被提出。Bordes A等人[18]在原來三元組表示方法[12]的基礎上做了改進，通過對知識圖譜中的問答路徑和周圍子圖進行編碼得到語義更加豐富的表示來推理得到答案。Dong L等人[19]提出的多列卷積神經(jīng)網(wǎng)絡（multi-column convolutional neural network，MCCNN）模型進一步地利用具有更強學習能力的神經(jīng)網(wǎng)絡模型來學習答案路徑、答案背景信息以及答案類型的分布式表示，并理解問題，在不使用手動特征及詞庫等的條件下，在問答數(shù)據(jù)集WebQuestions[20]上取得了不錯的結果。其中，答案路徑是答案節(jié)點和被詢問實體之間的一組關系；答案上下文指的是連接到答案路徑的單跳實體和關系；答案類型是如人名、日期等的類型。Hao Y C等人[21]認為MC-CNN模型沒有充分并合理地考慮候選答案的相關信息來訓練問題嵌入的表示，提出了Cross-Attention機制的神經(jīng)網(wǎng)絡模型來學習知識圖譜的全局信息，取得了更好的結果。但是以上幾種方法只能完成淺層多跳知識問答推理，對復雜長路徑多跳問題的處理能力依然不足。

圖1 基于知識圖譜的多跳問答推理方法分類

Saxena A等人[22]提出的EmbedKGQA模型通過基于知識圖譜嵌入模型進行鏈接預測來緩解多跳問答面臨的數(shù)據(jù)不完整問題，使其具有可以在復雜長路徑上的多跳推理能力。EmbedKGQA模型使用C omplEx模型[23]將知識圖譜中的實體和關系嵌入復數(shù)向量空間，同時采用ComplEx的打分函數(shù)φ預測答案。具體而言，對于一個給定的問題q，首先使用RoBERTa[24]模型編碼初始向量，然后通過一個前饋神經(jīng)網(wǎng)絡將該向量表示投射到復數(shù)嵌入向量空間。問題q和其主題實體h以及知識圖譜中的任一實體a可以構成三元組，其嵌入向量分別表示為q、h和a，如果a是q的目標答案實體，則將(h,q,a)視為正樣本，并且使，否則將(h,q,a)視為負樣本，并使，負樣本可通 過將正樣 本中的答案實體替換為知識圖譜中其他非答案實體來獲得。EmbedKGQA使用大量的正負樣本訓練數(shù)據(jù)學習問題和實體的嵌入向量表示，在推理階段則在嵌入空間中通過打分函數(shù)選擇得分最高的實體作為可能的目標答案。

He G L等人[25]認為多跳知識問答推理算法只接收最終答案的反饋會使學習不穩(wěn)定或無效，學習推理過程中的監(jiān)督信號也非常重要，同時也能提升模型的可解釋性。由此，He G L等人提出了一種創(chuàng)新的Teacher-Student模型。Teacher-Student框架最早由Hinton G[26]等人提出，用來做知識蒸餾，其中復雜的Teacher模型的預測被視為“軟標簽”，一個輕量級Student模型被用于訓練擬合軟標簽。后來，一些Teacher-Student框架的研究逐漸被應用到問答任務中[27]來加快模型的推理速度。在He G L等人[25]提出的模型中，Student網(wǎng)絡的目標是找到問題的正確答案，而Teacher網(wǎng)絡試圖學習預測過程中的監(jiān)督信號，以提高學生網(wǎng)絡的推理能力。Teacher網(wǎng)絡利用了正向和逆向雙向推理產(chǎn)生可靠的中間監(jiān)督信號來增強中間實體分布表示學習。在3個公開的數(shù)據(jù)集上證明了該模型的有效性。

基于語義匹配的方法多采用弱監(jiān)督學習，減少了人工標注的工作量，同時該方法能夠反映出用戶問題和知識圖譜知識的相似語義，為多跳推理問答的實現(xiàn)做了很好的基礎。如何讓基于語義匹配的方法學到更豐富和全面的知識圖譜信息是這種方法的關鍵。另外，增強表示方法的可解釋性也是重要的考慮因素。

（2）基于圖神經(jīng)網(wǎng)絡的方法

圖卷積神經(jīng)網(wǎng)絡（graph convolutional network，GCN）[28]通過聚合知識圖譜中每個實體的鄰居實體來傳遞消息。GCN因為其在圖結構上的有效性和可伸縮性而受到廣泛利用，它是多跳推理方法采用的復雜圖神經(jīng)網(wǎng)絡的基礎，如圖2所示。Schlichtkrull M等人[29]提出關系圖卷積網(wǎng)絡（relational graph convolutional network，R-GCN），最早將圖卷積神經(jīng)網(wǎng)絡用于知識圖譜鏈接預測的研究任務，通過聚合特定關系來擴展GCN，使其適用于編碼多關系圖來預測多跳問題的答案。R-GCN模型整體是一個encoderdecoder架構，encoder通過圖卷積神經(jīng)網(wǎng)絡將實體的鄰域信息進行聚合，更新實體的表示；decoder基于更新后的實體表示，采用打分函數(shù)來預測邊。然而，該模型缺乏透明度，無法為關系選擇提供可解釋的依據(jù)。相比R-GCN，Teru K等人[30]提出的GraIL框架采用一種基于注意力機制的多關系圖神經(jīng)網(wǎng)絡模型來解決在知識圖譜上進行歸納式關系預測的問題。該注意力機制不僅和兩個相鄰實體以及它們之間的關系有關，也和需要被預測的目標關系有關。最終利用兩個目標實體的表示、子圖的表示以及預測關系的表示進行打分，將最高得分作為預測結果。歸納學習方法GraIL顯式編碼知識圖譜中的規(guī)則以及利用的注意力機制增強了模型的可解釋性。

圖2 圖卷積神經(jīng)網(wǎng)絡

近年來，BERT（bidirectional encoder representations from transformers）[31]、 RoBERTa等預訓練語言模型在智能問答等自然語言處理（natural language processing，NLP）任務中取得了巨大的成功。但是預訓練模型的知識是隱式學習的，無法明確表示出來，因此無法提供可解釋的預測。為了利用預訓練模型學習到的豐富知識，并且結合知識圖譜中的顯式知識提高可解釋性，許多預訓練模型結合知識圖譜的問答模型[32-34]被提出，F(xiàn)eng Y L等人[33]提出的多跳圖關系網(wǎng)絡（multi-hop graph relation network，MHGRN）模型就是其中一種。MHGRN模型是一種新穎的多跳圖關系網(wǎng)絡模型，它結合了基于路徑的模型，具有可解釋性和基于GNN模型擴展性強的優(yōu)點，利用圖神經(jīng)網(wǎng)絡通過在實體之間傳遞消息來編碼結構化信息，同時為了進一步使模型具有顯式建模關系路徑的能力，將圖分解為路徑，并類似Lin B Y等人[32]提出的知識感知型圖神經(jīng)網(wǎng)絡（knowledge-aware graph network，KagNet）采用長短期記憶（long shortterm memory，LSTM）網(wǎng)絡[35]對限定連接長度的問題實體和答案實體的所有路徑進行編碼，然后通過注意力機制聚合所有路徑嵌入來預測結果。

傳統(tǒng)智能問答解決方法是單獨從知識圖譜或者文本中推斷出答案。文本雖然是非結構化的知識，但是可以提供豐富的上下文信息，將文本與知識圖譜結構化的優(yōu)勢結合是最新的研究熱點。

GRAFT-Net（graphs of relations among facts and text network）[36]和PullNet（pull network）[37]將外部文本語料庫和知識圖譜結合起來完成多跳問答任務。GRAFT-Net將Wikipedia語料庫中的文檔和知識圖譜中的實體建模作為節(jié)點，將實體和文檔的鏈接關系（句子中包含此實體名詞）以及知識圖譜中實體之間存在的關系建模為邊，構建問題子圖，以執(zhí)行多跳推理。具體而言，GRAFT-Net從問題出發(fā)，首先由問題主題實體鏈接一些種子實體，再以種子實體為起點，通過個性化頁面排名（personalized pagerank，PPR）[38]算法從它們的鄰居實體中取出PPR分數(shù)最高的幾個實體及相關聯(lián)的邊，并將它們都加入問題子圖中。同時從文本語料庫中檢索出5個與問題高度相關的句子，并將可以鏈接到這些句子的實體一并加入問題子圖中。最終問題子圖由句子節(jié)點、實體節(jié)點以及句子和實體之間的鏈接關系、實體和實體之間的關系構成。GRAFT-Net將實體節(jié)點隨機初始化為一個固定長度的向量，然后基于圖卷積神經(jīng)網(wǎng)絡學習和更新問題子圖中節(jié)點的向量表示，最后對問題子圖中的實體節(jié)點進行二分類來預測出哪些是答案實體，以完成推理過程。GRAFT-Net使用啟發(fā)式算法構建的問題子圖規(guī)模過大，并且很多時候可能不包含答案。PullNet同樣基于圖卷積網(wǎng)絡，但不同于GRAFT-Net，PullNet不要求將整個子圖一步構建完成，而是迭代式學習構建的過程。PullNet迭代地構建問題子圖，初始子圖只包括問題及其中的實體，每一次迭代時，首先使用圖卷積網(wǎng)絡計算將子圖中的實體節(jié)點加入下一個迭代過程的概率，確定所有輸出概率大于設定閾值的實體，然后對每一個被選擇的實體，從文本語料庫檢索出相關的句子集合，從知識圖譜檢索出相關的三元組集合，將新檢索到的句子、三元組、句子中的實體以及三元組的頭實體和尾實體都視為新的節(jié)點，將新節(jié)點之間的聯(lián)系視為新邊，用新節(jié)點和新邊更新問題子圖。子圖構建完成后，PullNet使用與GRAFT-Net相同的方法對節(jié)點進行分類，找出最可能的答案實體。

基于圖神經(jīng)網(wǎng)絡的方法在處理知識圖譜數(shù)據(jù)時具有更強的表達力，能夠充分考慮問題中主題實體在圖譜中的相關實體和關系信息，但是依然存在實體鄰居信息稀疏時語義表示效果較差的挑戰(zhàn)。另外，隨著實體和關系不斷加入子圖中，計算成本和內(nèi)存消耗會迅速增加。盡管基于注意力機制的圖神經(jīng)網(wǎng)絡能夠自適應地學習鄰居的重要性權重，但是依然不能完全解決此類問題。

（3）基于記憶網(wǎng)絡的方法

傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN）、LSTM網(wǎng)絡等深度學習模型使用隱藏層狀態(tài)作為其記憶模塊，但是這種方法產(chǎn)生的記憶力太短程，無法精確記住被轉(zhuǎn)化為稠密向量的長路徑知識。Weston J等人[39]提出了一種可讀寫的外部記憶模塊，聯(lián)合記憶模塊保存場景信息，以實現(xiàn)長期記憶的目標。該方法中的記憶網(wǎng)絡包括I（input feature map）、G（generalization）、O（output feature map）、R（response）4個組件。I用來將輸入轉(zhuǎn)化為內(nèi)部特征向量表示；G用來更新記憶，并插入記憶槽中；O根據(jù)新的輸入和當前的記憶狀態(tài)輸出特征映射表示；R把組件O的結果轉(zhuǎn)化為想要的輸出形式，如文本回答。該模型是本文接下來要介紹的復雜記憶網(wǎng)絡多跳知識問答推理方法的基礎，如圖3所示。

基于Weston J等人[39]提出的記憶網(wǎng)絡模型，Miller A等人[40]提出了鍵值記憶網(wǎng)絡（key-value memory network，KVMemNN）模型，通過迭代更新存儲鍵值對（key-value）的記憶槽來完成多跳推理任務。此處的key指三元組中頭實體和關系的組合，value指尾實體。與Weston J等人[39]提出的記憶網(wǎng)絡相比，該模型能夠處理結構復雜的知識圖譜知識。該模型通過以下過程完成一次迭代更新：首先使用向量表示用戶問題和知識圖譜三元組，通過用戶問題檢索知識圖譜得到相關子集，并作為鍵值記憶槽，然后計算每一個key和問題的相關程度評分，根據(jù)評分對每個value加權求和，最后用得到的value向量更新問題向量。經(jīng)過以上N步迭代后，對問題向量進行分類，最終得到多跳問題的答案。KV-MemNN模型結構簡單，通用性強，通過向量的迭代更新來進行隱式推理。然而，復雜問題需要進行多次迭代表示，同時需要對應構造記憶槽，容易造成內(nèi)存不足以及訓練時間慢等問題?；贙VMemNN模型，Xu K等人[34]提出了一個新的用戶問題表示更新機制，即在更新時不考慮問題中已經(jīng)定位到的key值。該模型將問題分解為針對記憶的查詢序列，基于上述更新機制，可以增強多跳復雜問題的推理能力。但是上述方法對問題和知識圖譜三元組分開進行編碼，忽略了兩者之間的交互作用。因此，Chen Y等人[41]提出了雙向注意記憶網(wǎng)絡模型，該模型利用注意機制捕捉問題與知識圖譜信息之間的相關性，并利用此相關性增強問題的表征來提高推理答案的能力。

圖3 記憶網(wǎng)絡模型框架

Das R等人[42]在2017年提出采用記憶網(wǎng)絡并基于通用模式在知識圖譜和文本上進行多跳知識問答推理，該框架通過將結構化知識圖譜和非結構化文本在一個公共嵌入空間中對齊，相比單獨使用知識圖譜或文本取得了更好的效果。動態(tài)記憶網(wǎng)絡（dynamic memory network，DMN）模型和動態(tài)記憶張量網(wǎng)絡（dynamic memory tensor network，DMTN）模型[43-44]采用動態(tài)記憶網(wǎng)絡，允許模型將注意力集中在之前迭代的輸入和結果上，形成情景記憶，然后在一個層次遞歸序列模型中推理得到答案。兩者不同的是，DMN采用門函數(shù)實現(xiàn)注意力機制，而DMTN采用的是神經(jīng)張量網(wǎng)絡，以實現(xiàn)更好的推理效果。

以上記憶網(wǎng)絡模型都取得了不錯的效果，但是模型依然具有“黑盒”特性，可解釋性差。為了使多跳知識問答推理過程更加可信，一些方法在保證模型準確率的同時也嘗試增強模型的可解釋性。Zhou M T等人[45]提出的解釋推理網(wǎng)絡（interpretable reasoning network，IRN）是一種新穎的具有可解釋性的記憶網(wǎng)絡推理模型，它采用可解釋的逐跳推理過程來回答問題。該模型可以動態(tài)地決定輸入問題的哪一部分應該在哪一跳進行分析，預測與當前解析結果相對應的關系，并利用預測的關系更新問題表示和推理過程的狀態(tài)，然后驅(qū)動下一跳推理。該模型可以為推理分析和故障診斷提供可追蹤和可觀察的中間預測，從而允許人工操作來預測最終答案，這個過程提高了模型的透明度和可信賴度。

3 基于路徑的多跳知識問答推理

為了更好地建模多跳知識，基于路徑的方法受到了廣泛關注。知識圖譜中的結構化知識以三元組的形式存在，基于路徑的多跳知識問答推理以用戶問題中的主題實體為源實體，沿著知識圖譜多個三元組的頭實體、關系、尾實體的逐跳路徑進行搜索，找到答案實體或者關系，通常包括3個階段：處理輸入問題、對知識圖譜進行推理、預測答案。以下將基于路徑的多跳知識問答推理方法分為基于強化學習的方法、基于查詢圖的方法。

（1）基于強化學習的方法

路徑排序算法（path-ranking algorithm，PRA）[46]是一種有效的大規(guī)模知識圖譜推理路徑學習方法?；诼窂脚判蛩惴ǖ亩嗵R問答推理方法的主要思想是利用實體之間的復雜路徑特征來學習隨機游走器，進而推斷出答案。

與PRA基于隨機游走的路徑查找模型不同，Xiong W H等人[47]提出的DeepPath是一種創(chuàng)新的可控多跳推理方法。該方法將路徑搜索轉(zhuǎn)化為強化學習過程，該過程允許通過控制所找到的路徑的屬性來減小搜索空間。模型如圖4所示，該強化學習方法包括兩部分：第一部分是被建模為馬爾可夫決策過程的外部環(huán)境，指定智能體和知識圖譜之間的動態(tài)交互；第二部分是策略網(wǎng)絡智能體，將狀態(tài)向量映射到隨機策略中。在每一步中，通過與環(huán)境的交互，智能體學習選擇一個關系鏈接來擴展推理路徑。為了更好地指導強化學習智能體學習到目標關系路徑，與之前的研究相比，該方法更多地考慮了獎勵的設置，在準確性、多樣性和精確度3個方面采用獎勵機制，監(jiān)督每一跳的行動，具體方式如下。

圖4 DeepPath模型

在環(huán)境設置中，強化學習智能體的決策數(shù)量包括正確決策的數(shù)量以及錯誤決策的數(shù)量，總體數(shù)量很大。其中，錯誤決策序列的數(shù)量會隨著路徑的長度呈指數(shù)增長。鑒于此挑戰(zhàn)，DeepPath模型添加的第一個獎勵函數(shù)定義如下：

相比長路徑，短路徑通常能提供更多可靠的推理證據(jù)。短路徑鏈條通過限制智能體與環(huán)境交互的長度，提升推理的效率。因此，DeepPath定義高效獎勵如下：

知識圖譜中存在很多語義相似的實體，這導致智能體有可能尋找到具有相似語法和語義的路徑，這些路徑通常包含冗余信息。為了鼓勵智能體找到多樣化的路徑，DeepPath使用當前路徑和已有路徑之間的余弦相似度定義一個多樣化獎勵函數(shù)：

Meilicke C等人[48]提出的AnyBRUL（reinforced anytime bottom up rule learning）方法同樣利用強化學習對路徑進行采樣，基于采樣路徑構造基本規(guī)則，并將其推廣為抽象規(guī)則。DeepPath和AnyBRUL都要求首先對頭實體和尾實體之間的所有路徑進行取樣，然后利用它們來評估尾實體是否為正確的答案，因此，它無法應對找不到尾實體的情況。與DeepPath和AnyBRUL需要預先計算路徑的方式不同，有些方法通過給定的頭實體和查詢關系利用訓練模型來獲得正確的答案實體。在這些模型中，Das R等人[49]在2018年提出的MINERVA（meandering in networks of entities to reach verisimilar answer）是一個代表性模型。與DeepPath不同的是，MINERVA的狀態(tài)由查詢關系和部分路徑的嵌入組成，在抽樣過程中不需要嵌入答案實體。

強化學習模型通常采用一個0/1的硬獎勵來監(jiān)督抽樣過程，指示抽樣實體是否為正確的答案實體。Lin X V等人[50]提出的RS（reward shaping）在最后一步采用基于正確答案實體和采樣實體之間的軟獎勵，而不是使用0/1的硬獎勵。此外，受dropout技術的啟發(fā)，RS模型在訓練過程中為了避免選擇大量的重復路徑，緩解過擬合，采用了dropout技術。Shen Y L等人[51]提出的M-Walk引入了一種基于值的強化學習方法，并使用蒙特卡洛樹搜索來克服稀疏正獎勵的挑戰(zhàn)。Chen W H等人[52]提出的DIVA將推理任務當作一個由尋找路徑和答案推理組成的統(tǒng)一模型，其中路徑建模為隱變量，采用AEVB（autoencoding variational Bayes）[53]對模型進行求解。

基于強化學習的方法把多跳知識問答推理任務當作序列決策過程，只需一些目標即可得到泛化能力較強的模型，無須大量的標注語料。但是在面臨復雜的多跳知識推理場景時，智能體的決策能力往往不足。

（2）基于查詢圖的方法

基于路徑排序的方法容易造成搜索空間爆炸，而基于查詢圖的方法是基于路徑方法的擴展，與基于路徑的方法生成從主題實體到答案的路徑方式不同，基于查詢圖的方法使用圖來表示問題，并圍繞主題實體擴展出一個子圖，基于查詢圖的方法比基于路徑的方法更具表示能力。

早期的基于語義解析的方法 將自然語言問題轉(zhuǎn)換為結構化的查詢（如SPARQL查詢），在知識圖譜上執(zhí)行查詢可以得到問題的答案。Reddy S等人[54]等人充分使用了組合范疇語法（combinatory categorial grammar，CCG）的表示能力，并提出Graph Parser模型來解析問題，受此啟發(fā)，Yih W T等人[20]在2015年定義了查詢圖的概念，并提出了一個分階段的查詢圖生成（staged query graph generation，STAGG）模型來處理知識圖譜問答，查詢圖可以直接匹配為問題的邏輯形式，進而翻譯成查詢，因此語義解析問題可歸結為查詢圖生成問題。STAGG定義了3個階段來生成查詢圖：首先，使用現(xiàn)有的實體鏈接工具獲取候選主題實體，并對其評分；然后，STAGG探索主題實體和答案節(jié)點之間的所有關系路徑，為了限制搜索空間，它僅在下一跳的節(jié)點是一個復合類型（compound value type，CVT）節(jié)點時，探索長度為2的路徑，否則只考慮長度為1的路徑，使用深度卷積神經(jīng)網(wǎng)絡對所有關系路徑進行打分，以判斷當前選擇的關系與問題的匹配程度；最后，根據(jù)啟發(fā)式規(guī)則將約束節(jié)點附加到關系路徑上。在這3個階段的每個階段，都使用對數(shù)線性模型對當前的部分查詢圖進行評分，并輸出最佳的最終查詢圖來查詢知識圖譜。STAGG有效地使用了知識圖譜中的信息來裁剪語義解析空間，從而簡化了任務難度。

針對STAGG無法回答涵蓋復雜約束的問題，Bao J W等人[55]擴展了約束類型和運算符，新增了類型約束以及顯式和隱式時間約束等，將多重約束問題轉(zhuǎn)化為多重約束查詢圖（multi-constraint query graph，MulCG）來實現(xiàn)推理，MulCG仍然遵循STAGG的框架，但提供了更多規(guī)則，以應對復雜問題。STAGG和MulCG等方法都要求首先將問題中的候選主題實體鏈接到知識圖譜的實體上，實體鏈接的質(zhì)量將影響后續(xù)的推理效果。Yu M等人[56]將知識 圖譜問答分為實體鏈接和關系檢測兩個關鍵的子任務，并提出了一個殘差學習增強的分級的雙向LSTM（hierarchical residual bidirectional LSTM，HRBiLSTM）用于關系檢測。對于實體鏈接，他們觀察到，在SimpleQuestions數(shù)據(jù)集上主題實體識別的Top-1準確率只有72.7%，因此在由實體鏈接器產(chǎn)生初始的候選主題實體后，又將問題文本輸入HR-BiLSTM中，HR-BiLSTM對問題以及在知識圖譜中與候選主題實體相關聯(lián)的關系進行不同抽象級別的編碼，并計算兩者的相似度得分，僅保留與那些得分較高的關系相關聯(lián)的候選主題實體。在確定了新的主題實體后，同樣使用HR-BiLSTM選擇新的關系，以逐步地生成查詢。在處理問題約束時，HRBiLSTM也遵循STAGG中的慣例。

為了限制搜索空間，STAGG只能探索2跳之內(nèi)的路徑，無法回答涉及更多跳推理的問題。Lan Y S等人[57]改進了STAGG方法，使其可以應對更長的關系路徑，即在擴展路徑的同時加入約束，而不是只在建立關系路徑之后再添加約束，如此可以有效地縮減搜索空間，改進的分級查詢圖生成方法可以同時處理包含約束的問答和涉及多跳的問答，該方法在WebQuestionsSP（WebQSP）[58]系列數(shù)據(jù)集上取得了優(yōu)異的表現(xiàn)。

基于路徑的多跳知識問答推理方法具有較好的可解釋性。但只能處理關系型知識，在處理屬性型、事實型知識時，建模復雜。

4 基于邏輯的多跳知識問答推理

基于符號邏輯規(guī)則的方法因其準確率高、可解釋性強等優(yōu)點，在多跳知識問答推理研究中被廣泛探討。其中，作為邏輯規(guī)則的主要方法，或結合概率邏輯方法，或結合知識嵌入方法，一階邏輯近幾年已成為研究熱點。本節(jié)重點介紹基于一階邏輯的多跳知識推理方法的思路。

結合一階邏輯的自然性和概率邏輯模型的不確定性優(yōu)點，馬爾可夫邏輯網(wǎng)絡方法已被證明在知識圖推理上的有效性[59-60]。然而，在大規(guī)模知識圖譜上由于三元組之間的復雜結構，以上方法推理過程困難，效率較低?；谧⒁饬C制的圖神經(jīng)網(wǎng)絡擅長處理高度復雜的圖問題，Vardhan V H等人[61]提出的概率邏輯圖注意力網(wǎng)絡（probabilistic logic graph attention network，pGAT）用變分EM算法優(yōu)化了由馬爾可夫邏輯網(wǎng)絡定義的所有可能三元組的聯(lián)合分布。這有助于模型有效地結合一階邏輯和圖注意力網(wǎng)絡。該推理模型的提出為多跳知識問答提供了有利的參考。

近年來，為了解決知識圖譜存在的規(guī)模龐大和不完整問題，邏輯規(guī)則與知識嵌入相結合的研究[61-66]受到很多關注。圖查詢嵌入（graph query embedding，GQE）[62]、Query2Box[67]以及BetaE[63]等方法將查詢表示成有向無環(huán)的計算圖，計算圖指明了在知識圖譜上進行多跳推理以獲得目標答案的步驟。這些方法將一階邏輯運算符看作可通過訓練習得的幾何操作，它們都以查詢包含的主題實體的嵌入向量為起點，迭代地使用幾何操作生成查詢的嵌入向量，然后通過在向量空間中計算實體嵌入與查詢嵌入的距離來預測答案。

GQE主要關注一階邏輯查詢的一個子集，即只涉及存在量詞和合取運算的查詢。GQE提出了兩個核心的幾何運算符P（projection）和I（intersection），其中P負責根據(jù)下一跳的關系r將當前生成的查詢嵌入q投射為新的查詢嵌入向量，I負責聚集計算圖中出邊指向同一個節(jié)點的所有頂點的嵌入向量表示，以模擬邏輯合取運算。P和I由式（4）實現(xiàn)：

其中，Rr和Wr是關于關系r的可訓練的參數(shù)矩陣，NNk是一個k層的前饋神經(jīng)網(wǎng)絡，Ψ是一個對稱的向量函數(shù)。

GQE將查詢嵌入為向量空間中的一個點。Query2Box認為復雜的一階邏輯查詢對應一個答案實體集合，但目前一個點不能有效地建模一個集合，并且在向量空間中對兩個點做邏輯運算也不自然，故Query2Box將查詢嵌入為向量空間中的box。box由中心點和偏移兩部分組成，答案實體嵌入為一個點應包含在對應的box中，關系嵌入也表示成中心點和偏移項兩部分。查詢包含的實體節(jié)點的嵌入被初始化為偏移項為0的box，對于當前輸入的box嵌入p和下一跳關系嵌入r，關系嵌入也表示成中心點和偏移項兩部分，P操作通過在向量空間中將p和r相加產(chǎn)生新的box，I操作取多個box的交集作為結果，按照計算圖中的運算逐步推理，即可生成查詢最終的box嵌入。Query2Box還在GQE的基礎上增加了析取V運算，擴充了邏輯查詢的功能。GQE和Query2Box等方法將查詢嵌入為閉區(qū)域，比如歐幾里得空間中的一個點或一個box，而因為對閉區(qū)域取補并不能得到閉區(qū)域，所以這些方法不能支持邏輯取負運算，并且不能對不確定性進行建模。有別于Query2Box等，BetaE將實體和查詢嵌入為[0,1]區(qū)間上的β分布，并為β向量定義了概率關系投射、概率交和概率取負3個概率邏輯運算符，以支持任何形式的一階邏輯查詢。對β分布的參數(shù)取倒數(shù)即實現(xiàn)了取負運算，即將高概率密度區(qū)域轉(zhuǎn)換為低概率密度區(qū)域，反之亦然。對于概率投射，BetaE為每一種關系類型學習一個多層感知器，以將一個β向量通過下一跳的關系r匹配到另一個β向量，BetaE將概率交定義為多個β向量的帶權積。同樣，按照計算圖中的推理次序?qū)ζ鹗嫉摩孪蛄孔鲎儞Q，即可生成查詢對應的β分布，然后在嵌入空間選擇與查詢嵌入概率最相近的實體集作為答案。

基于一階邏輯查詢的多跳知識問答推理方法具有嚴密性、自然性，且準確率高。為了模擬不確定性，一些研究將邏輯運算和概率邏輯結合，或者將邏輯運算轉(zhuǎn)換為嵌入向量空間的幾何操作，理論上可以進行任意跳數(shù)的推理。但這些模型都不能很好地處理復雜知識查詢。

5 實驗評測

對多跳知識問答推理模型在現(xiàn)有的數(shù)據(jù)集上進行評估可以驗證模型的性能表現(xiàn)。目前常用的自然語言問答數(shù)據(jù)集有MetaQA、WebQuestionsSP和ComplexWebQuestions（CWQ）等，另外，鏈接預測領域常用的數(shù)據(jù)集（如FB15k和FB15k-237等）也被用來構造查詢形式的問答，實現(xiàn)在知識圖譜上的推理。本節(jié)將介紹這些常用的評測數(shù)據(jù)集及評測指標，并對前文所述方法在以上數(shù)據(jù)集上的表現(xiàn)進行了對比分析。

永貞元年，呂溫得以從吐蕃平安回歸朝廷。呂溫雖未能親自參加永貞革新，但最終未能逃脫被貶的命運。元和八年，呂溫與宰相李吉甫有間隙，被貶為道州任刺史，因政績突出，又調(diào)往衡州做刺史，后人稱之為“呂衡州”。呂溫在道州任職期間，著力解決當?shù)匕傩丈钪写嬖诘膯栴}。其《道州律令要錄序》中“昭昭吏師，長在屋壁，后之貪虐放肆以生人為戲者，獨不愧于心?”[6]6337這類語句就表達了他的政治理想，抨擊了那些不關心下層百姓疾苦的官吏。呂溫任道州刺史一年半后，又被調(diào)任到衡州，在衡州任刺史期間，當?shù)匚迕傩铡傲敼悾瑺幐跋绕凇?，因“溪水阻深”而不幸溺死。呂溫為此作了《衡州祭柘里渡溺死百姓文》?/p>

5.1 評測數(shù)據(jù)集

（1）MetaQA數(shù)據(jù)集

MetaQA數(shù)據(jù)集[68]是基于WikiMovies[40]數(shù)據(jù)集構建的多跳問答數(shù)據(jù)集，它包含超過40萬個電影領域的多跳問題，這些問題有Vanilla、NTM和Audio 3個版本。Vanilla版本的MetaQA常被用于多跳知識問答推理任務，它除了包含1跳、2跳和3跳3種類型的問答數(shù)據(jù)，還包含一個知識圖譜，其有約135 000個三元組、43 000個實體以及9種關系。

（2）WebQuestionsSP數(shù)據(jù)集

Yih W T等人[58]對WebQuestions數(shù)據(jù)集改進后提出了WebQuestionsSP數(shù)據(jù)集。WebQuestions是為了解決真實問題而構造的數(shù)據(jù)集，其問題來源于谷歌建議應用程序接口（Google suggest API），答案由眾包平臺Amazon Mechanic Turk通過人工標注生成。WebQuestions只包含了問題的答案，沒有提供問題對應的查詢語句，針對此缺點，WebQSP為每個問題構造了其對應的SPARQL查詢表達，并刪除了一些表達有歧義以及無清晰意圖或答案的問題。WebQSP包含4 737個1跳或2跳問題，問題的答案可以在Freebase[69]知識庫中找到。

（3）ComplexWebQuestions數(shù)據(jù)集

Talmor A等人[70]基于WebQSP構建了ComplexWebQuestions數(shù)據(jù)集。首先從WebQSP中采樣問題及其SPARQL查詢，并自動地構造更復雜的包含組合、連接、比較級以及最高級等形式的SPARQL查詢，最后由Amazon Mechanic Turk眾包平臺將這些SPARQL查詢重組為自然語言問題，問題的答案通過在Freebase中執(zhí)行SPARQL查詢獲得。CWQ共包含34 689個問題及其對應的答案和SPARQL查詢。

（4）其他數(shù)據(jù)集

FB15k[14]是Freebase的一個子集，也是知識圖譜補全領域的一個基準數(shù)據(jù)集，由三元組構成。為了解決FB15k測試集數(shù)據(jù)泄露的問題，Toutanova K等人[71]在FB15k的基礎上構建了FB15k-237，并且移除了FB15k中反向的關系。NELL995[47]數(shù)據(jù)集由NELL系統(tǒng)構建而來。

5.2 評測指標

Hits@1、F1分數(shù)、平均倒數(shù)排名（mean reciprocal rank，MRR）和平均精度均值（mean average precision，MAP）是常用來評估多跳知識問答模型效果的指標。把問答視為問題答案檢索任務，Hits@1是指正確答案是最終排序的第一個的占比。F1分數(shù)是指檢索到的答案的精確率和召回率的調(diào)和平均，取在所有問題上的F1分數(shù)的平均作為模型最終的F1結果。MRR指所有正確答案實體排名的倒數(shù)的均值。MAP指對所有查詢的平均正確率（average precision，AP）取均值的結果。

5.3 實驗結果及分析

表1列出了部分多跳知識推理方法在相同實驗數(shù)據(jù)集（MetaQA、WebQSP和CWQ）上Hits@1的結果[25]，“-”表示在原文獻中對應指標的結果未給出，1-hop、2-hop和3-hop表示由源實體到目標答案實體推理時分別需要經(jīng)過1跳、2跳和3跳。

表1 模型在MetaQA、WebQSP、CWQ上的Hits@1

由表1可以看出，在MetaQA數(shù)據(jù)集上，對于單跳問題，幾個模型的Hits@1結果相近，而隨著推理跳數(shù)增加，KVMemNN和GRAFT-Net兩個模型的性能有了明顯的下降。相較于KV-MemNN和GRAFT-Net，PullNet在3跳問題上仍然取得了不錯的表現(xiàn)，且PullNet在3個數(shù)據(jù)集上都取得了顯著的結果，充分顯示了其提出的迭代構建問題子圖方法的有效性以及圖神經(jīng)網(wǎng)絡在基于知識圖譜的多跳推理問題上的適用性。相比KV-MemNN、GRAFT-Net和PullNet，EmbedKGQA在MetaQA數(shù)據(jù)集的平均Hits@1值更高，在WebQSP數(shù)據(jù)集上也表現(xiàn)突出，證明了EmbedKGQA基于語義匹配的方法在解決多跳問答問題上的有效性。NSM+h[25]總體上優(yōu)于表1中的其他所有模型，表明了使用Teacher-Student網(wǎng)絡模型學習中間監(jiān)督信號可以很好地提升推理能力。

表2列出了基于邏輯的模型（GQE、Q2B（Query2Box）、BetaE）在FB15k、FB15k-237和NELL-995 3個數(shù)據(jù)集上多跳推理的結果[63]。

對比它們的結果可以看出，對于表2中所有數(shù)據(jù)集，Q2B在1-hop、2-hop、3-hop問題上的表現(xiàn)均優(yōu)于GQE，證明了在理論上將查詢（問題）嵌入為向量空間中的一個box而不是一個點的思想更合理，而且在實際中也能取得更好的結果。3個模型中BetaE在多跳推理任務上的平均MRR最大，顯示了概率嵌入在邏輯查詢領域相對于傳統(tǒng)方法的有效性。

表3列出了部分基于強化學習的多跳知識問答方法[48-51]在FB15k、FB15k-237和NELL-995 3個數(shù)據(jù)集上的結果，采用的評測指標有Hits@1和MAP，“-”表示在原文獻中對應指標的結果未給出。由表3可以看出，在FB15k-237數(shù)據(jù)集上，RewardShaping[50]的Hits@1結果比MINERVA高出了11%，這很可能因為MINERVA中的智能體在訓練時會受到假負樣本的影響，導致低質(zhì)量的獎勵，并且由于缺乏正確的動作序列用于訓練，智能體可能被假搜索軌跡誤導卻偶然地被引向了正確答案。RewardShaping針對以上問題做了改進，使智能體探索更廣泛的路徑集合，以抵消對虛假路徑的敏感度。但在NELL-995數(shù)據(jù)集上，RewardShaping模型的表現(xiàn)并不強于MINERVA，因為RewardShaping適合處理一對多的關系類型，而NELL-995數(shù)據(jù)集中的關系類型大多是一對一的。從MAP結果來看，DIVA比DeepPath效果要好，這是因為DeepPath關注于找到實體對間的路徑，缺少了對實體對是正樣本還是負樣本的判斷，導致實驗結果對噪聲和對抗樣本敏感，而DIVA更擅長處理噪聲和應對更復雜的推理場景。M-Walk使用RNN編碼狀態(tài)，并將蒙特卡洛搜索樹與神經(jīng)策略結合來應對稀疏獎勵的挑戰(zhàn)，與DIVA、DeepPath相比，取得了更好的結果。

6 結束語

近年來，國內(nèi)外涌現(xiàn)了很多基于知識圖譜的多跳問答推理方法，這些方法都取得了一定的進展，但仍然存在一些挑戰(zhàn)。

隨著KGQA技術的不斷發(fā)展，智能問答越來越多地深入人們的日常生活中，為人們的生活帶來便利。而在復雜的實際場景中，人們更加傾向表達更加復雜的多跳問題，這使得多跳知識智能問答成為必需，知識圖譜多跳問答推理方法也得到越來越多的關注。本文基于3個主流分類，總結了近年來多跳知識問答推理的研究方法。本文中很多方法是多種方式結合的形式，而分類方法是按照具體研究方法的重點創(chuàng)新和貢獻來劃分的。比如基于邏輯的分類中，BetaE方法雖然將知識圖譜實體表示為嵌入的方式，但是該方法表達的是一階邏輯求解答案的思想，是神經(jīng)網(wǎng)絡增強符號邏輯的一種方法體現(xiàn)，故本文將該方法歸類為基于邏輯的方法。本文也闡述了常用的公開數(shù)據(jù)集、評價指標，以及不同方法在每個數(shù)據(jù)集上的最新表現(xiàn)和分析。

本文闡述的方法在實際應用中依然存在瓶頸，主要面臨以下3個挑戰(zhàn)。

● 多跳知識問答建模問題：難以充分理解用戶復雜多跳問題以及建模知識圖譜中的多跳關系。

● 小樣本學習問題：在知識資源和訓練數(shù)據(jù)有限的條件下，難以有效表征知識和推理答案。

● 可解釋性：深度學習在多跳知識問答任務中有卓越的表現(xiàn)，但是可解釋性差，導致模型缺少可信度。

表2 GQE、Q2B、BetaE的MRR結果

表3 基于強化學習的模型的結果

各類多跳知識問答推理方法的優(yōu)點和不足見表4。

未來，將從以下兩方面進行更深入的研究。

● 隨著BERT等預訓練模型的出現(xiàn)，多項自然語言處理任務（如智能問答的性能）被刷新紀錄。隨著各類基于Transformer注意力機制的預訓練模型層出不窮，很多研究者看好預訓練模型和知識圖譜結合的方法。通過兩者結合，知識圖譜中的知識可以顯式指導要學習的知識，進而增強BERT對背景知識或常識信息的編碼能力，同時文本上下文和知識上下文的融合能夠增強多跳推理中長路徑的特征表示，從而提升多跳知識問答推理任務的表現(xiàn)性能。

表4 基于知識圖譜的多跳問答推理方法優(yōu)缺點

● 越來越多的互聯(lián)網(wǎng)數(shù)據(jù)以及行業(yè)數(shù)據(jù)呈現(xiàn)出多模態(tài)的特點，表現(xiàn)為對同一事物采用圖譜知識、文本描述、圖像、信息圖表以及視頻等多種模態(tài)進行表達。不久的未來將有更多關于多模態(tài)知識圖譜多跳問答的研究，滿足人們?nèi)找嬖鲩L的理解和認知服務需求。多模態(tài)知識圖譜能夠提升知識的相關性和多樣性，從而更完整地表達對應的圖譜中的知識。通過多模態(tài)豐富的知識表示，能夠進一步保障多模態(tài)知識圖譜多跳問答推理的效果。