李鳳英 何曉蝶 董榮勝

知識(shí)圖譜是對(duì)真實(shí)世界信息的結(jié)構(gòu)化表示.在知識(shí)圖譜中,節(jié)點(diǎn)表示實(shí)體,標(biāo)簽表示連接它們的關(guān)系類(lèi)型,邊表示連接兩個(gè)具有關(guān)系的實(shí)體的特定事實(shí).由于知識(shí)圖譜能以機(jī)器可讀的方式建模結(jié)構(gòu)化的復(fù)雜數(shù)據(jù),現(xiàn)廣泛應(yīng)用于知識(shí)問(wèn)答、信息檢索、基于內(nèi)容的推薦系統(tǒng)等[1-2]領(lǐng)域.目前已構(gòu)建的各種結(jié)構(gòu)化知識(shí)圖譜有:Freebase[3]、WordNet[4]、DBpe-dia[5].目前由于信息抽取、知識(shí)融合等關(guān)鍵技術(shù)水平的限制,這些知識(shí)圖譜仍處于一個(gè)不完備的狀態(tài).因此,知識(shí)推理受到廣泛關(guān)注.

在經(jīng)典的知識(shí)圖譜推理模型中,基于翻譯的模型將關(guān)系看作頭實(shí)體到尾實(shí)體的翻譯向量,Bordes等[6]提出TransE.針對(duì)TransE無(wú)法有效建模復(fù)雜關(guān)系的缺點(diǎn),學(xué)者們相繼提出為每個(gè)關(guān)系構(gòu)建獨(dú)立超平面的TransH(Translation on Hyperplanes)[7]、引入關(guān)系投影的TransR[8]及使用向量運(yùn)算替換矩陣運(yùn)算的TransD[9].基于語(yǔ)義匹配的模型是通過(guò)衡量實(shí)體和關(guān)系的語(yǔ)義信息以衡量三元組的真實(shí)性,例如：Yang等[10]提出DistMult,Nickel等[11]提出HolE(Holographic Embeddings)等.由于翻譯模型和語(yǔ)義匹配模型都是在低維向量空間中進(jìn)行訓(xùn)練,不能較好地提取深層次特征，因此為了提高模型提取特征的能力,深度學(xué)習(xí)方法被引入知識(shí)圖譜表示學(xué)習(xí)領(lǐng)域中,例如：Dettmers等[12]提出ConvE,將實(shí)體和關(guān)系表示成一維嵌入,然后使用卷積層提取特征.

上述三種知識(shí)推理模型雖然在預(yù)測(cè)目標(biāo)實(shí)體方面表現(xiàn)出強(qiáng)大實(shí)力,但由于是通過(guò)向量計(jì)算得出推理答案的,無(wú)法對(duì)其決策進(jìn)行解釋,導(dǎo)致可解釋性較差.

為了獲得更具解釋性的知識(shí)圖譜推理,近年來(lái),多跳推理得到廣泛研究.多跳推理通過(guò)在知識(shí)圖譜中充分挖掘和利用實(shí)體間多步關(guān)系組成的路徑信息,從而完成知識(shí)推理.最初的多跳推理模型大多通過(guò)隨機(jī)游走算法搜索推理路徑，如Yang等[13]提出的Neural LP(Neural Logic Programming).但是知識(shí)圖譜中連接大量節(jié)點(diǎn)的超級(jí)節(jié)點(diǎn)會(huì)影響推理的準(zhǔn)確性，因此,Xiong等[14]提出DeepPath,將多跳推理建模成序列決策問(wèn)題,利用強(qiáng)化學(xué)習(xí)算法進(jìn)行有效的路徑搜索.智能體從源實(shí)體e_s出發(fā),每前進(jìn)一步,就使用策略網(wǎng)絡(luò)選擇最有前途的關(guān)系擴(kuò)展它的路徑,直到抵達(dá)目標(biāo)實(shí)體e_target.然而DeepPath必須先通過(guò)預(yù)訓(xùn)練得到完整的路徑后,才能進(jìn)行策略網(wǎng)絡(luò)的訓(xùn)練.因此,Das等[15]提出MINERVA(Mean-dering in Networks of Entities to Reach Verisimilar Answers),引入長(zhǎng)短期記憶模塊(Long Short Term Me-mory, LSTM)記憶智能體走過(guò)的路徑,改進(jìn)Deep-Path的不足.Lin等[16]提出Multi-hop KG,加入獎(jiǎng)勵(lì)重塑和動(dòng)作掩膜,進(jìn)一步提升多跳路徑推理的性能.Zhou等[17]提出PAAR(Path Additional Action-Space Ranking),認(rèn)為現(xiàn)有的基于強(qiáng)化學(xué)習(xí)的多跳推理模型無(wú)法利用知識(shí)圖譜中的層次信息,因此引入雙曲知識(shí)圖譜嵌入模型,捕捉層次信息，并擴(kuò)展用于推理的動(dòng)作空間.Zhu等[18]認(rèn)為在大多數(shù)知識(shí)圖譜中,由于同對(duì)(頭實(shí)體,關(guān)系)連接的尾實(shí)體有多個(gè),導(dǎo)致強(qiáng)化學(xué)習(xí)的智能體學(xué)習(xí)困難.為了解決該問(wèn)題,Zhu等將經(jīng)典強(qiáng)化學(xué)習(xí)框架分層,分成一個(gè)檢測(cè)關(guān)系的高級(jí)過(guò)程和一個(gè)推理實(shí)體的低級(jí)過(guò)程.

然而在稀疏知識(shí)圖譜上,現(xiàn)有的多跳推理模型存在兩個(gè)問(wèn)題:1)數(shù)據(jù)稀少.相比大型知識(shí)圖譜,稀疏知識(shí)圖譜包含信息更少,導(dǎo)致一些推理路徑中斷,不能推出正確的答案實(shí)體.2)路徑不可靠[19].由于智能體是在知識(shí)圖譜上游走尋找推理路徑的,沒(méi)有中間監(jiān)督,因此可能會(huì)出現(xiàn)推理結(jié)果正確,但推理過(guò)程不可靠的現(xiàn)象.

近年來(lái)的多跳推理模型大多通過(guò)擴(kuò)充智能體用于路徑搜索的動(dòng)作空間以解決數(shù)據(jù)稀少的問(wèn)題.Fu等[20]提出CPL(Collaborative Policy Learning),從背景語(yǔ)料庫(kù)中抽取新的事實(shí),添加到動(dòng)作空間中,擴(kuò)充智能體下一步路徑的搜索范圍.Lü等[21]提出DacKGR,根據(jù)當(dāng)前智能體所在位置的狀態(tài)信息,通過(guò)概率預(yù)測(cè)與當(dāng)前狀態(tài)最接近的事實(shí),動(dòng)態(tài)擴(kuò)充智能體，用于下一步路徑搜索的動(dòng)作空間.

面對(duì)路徑不可靠的問(wèn)題,大多數(shù)研究者通過(guò)多樣化獎(jiǎng)勵(lì)反饋解決此問(wèn)題.DeepPath鼓勵(lì)智能體推理的路徑長(zhǎng)度越短越好,因?yàn)榇蠖鄶?shù)推理結(jié)果表明：推理路徑越短,推理的準(zhǔn)確性越高; 路徑越長(zhǎng),冗余關(guān)系的干擾性越強(qiáng).Multi-hop KG將嵌入模型得分添入獎(jiǎng)勵(lì)函數(shù)中,通過(guò)鼓勵(lì)“預(yù)測(cè)結(jié)果不正確但有推理價(jià)值”的路徑,反向抑制“預(yù)測(cè)結(jié)果正確但推理不可靠”的路徑.

為了解決現(xiàn)有多跳推理模型存在的兩個(gè)問(wèn)題,本文提出融合語(yǔ)義信息的知識(shí)圖譜多跳推理模型(Multi-hop Inference Model for Knowledge Graphs Incorporating Semantic Information, MIMKGISI).在通過(guò)表示學(xué)習(xí)方法構(gòu)建強(qiáng)化學(xué)習(xí)的外部環(huán)境之后,利用查詢關(guān)系和關(guān)系路徑的語(yǔ)義信息,擴(kuò)充智能體的動(dòng)作空間,擴(kuò)大智能體路徑搜索的范圍,解決推理過(guò)程中數(shù)據(jù)稀少的問(wèn)題.路徑搜索結(jié)束之后,使用推理路徑和查詢關(guān)系的語(yǔ)義相似度作為獎(jiǎng)勵(lì)反饋給智能體,通過(guò)反饋路徑可靠度的形式,提高智能體選擇路徑的質(zhì)量,提升多跳推理的性能.在4個(gè)公開(kāi)的稀疏數(shù)據(jù)集上的實(shí)驗(yàn)表明，相比多跳推理的基準(zhǔn)模型,MIMKGISI具有更好的推理效果和可解釋性.

1 融合語(yǔ)義信息的知識(shí)圖譜多跳推理模型

本文提出融合語(yǔ)義信息的知識(shí)圖譜多跳推理模型(MIMKGISI),框架如圖1所示.在資源層,使用實(shí)體、關(guān)系、三元組表示知識(shí)圖譜;在編碼層,使用ConvE將實(shí)體關(guān)系三元組嵌入向量空間,輸出對(duì)應(yīng)的表示向量；在多跳推理層,通過(guò)強(qiáng)化學(xué)習(xí)中外部環(huán)境和智能體之間的動(dòng)態(tài)交互,學(xué)習(xí)得到一個(gè)用于搜索推理路徑的最佳策略.給定一個(gè)查詢?nèi)M(源實(shí)體,查詢關(guān)系,？),根據(jù)最終訓(xùn)練得到的策略,直接輸出預(yù)測(cè)的目標(biāo)實(shí)體及推理路徑.

圖1 MIMKGISI框架圖Fig.1 Framework of MIMKGISI

1.1 問(wèn)題定義

將知識(shí)圖譜表示為G=(ε,R)的形式,其中,ε表示實(shí)體集,R表示關(guān)系集.知識(shí)圖譜中的每條有向連接l=(es,r,eo)表示一個(gè)三元組.

給定一個(gè)查詢(es,rq,?),其中,es為源實(shí)體,rq為查詢關(guān)系,對(duì)G進(jìn)行有效搜索,并收集可能的答案集Eo={eo}，其中,(es,rq,eo)?G,因?yàn)橹R(shí)圖譜G是不完整的.

1.2 強(qiáng)化學(xué)習(xí)框架

近年來(lái),利用強(qiáng)化學(xué)習(xí)算法進(jìn)行多跳推理的問(wèn)題,被定義為馬爾可夫決策過(guò)程(Markov Decision Process, MDP)[15]:給定一個(gè)查詢?nèi)M(es,rq,?),智能體從es出發(fā),不斷通過(guò)選擇當(dāng)前實(shí)體對(duì)應(yīng)的出邊(關(guān)系)到達(dá)新的實(shí)體,直到抵達(dá)目標(biāo)實(shí)體.具體來(lái)說(shuō),MDP主要由如下4部分構(gòu)成.

1)狀態(tài).在多跳推理過(guò)程中,每跳的狀態(tài)可定義為st=(et,ht,rq,ep)∈S,其中,et為智能體在第t跳到達(dá)的實(shí)體,ht為前t-1跳的歷史路徑,rq為查詢關(guān)系,ep為ε中每個(gè)實(shí)體為目標(biāo)實(shí)體的概率.

2)動(dòng)作.當(dāng)智能體處于狀態(tài)st=(et,ht,rq,ep)時(shí),當(dāng)前實(shí)體et對(duì)應(yīng)的出邊(r′,e′)稱為動(dòng)作,狀態(tài)st對(duì)應(yīng)的所有動(dòng)作組成當(dāng)前動(dòng)作空間

At={(r′,e′)|(et,r′,e′)∈G}.

此外,在每個(gè)動(dòng)作空間中,都添加一個(gè)自循環(huán)邊.因?yàn)槎嗵评淼奶鴶?shù)是固定不變的,不能中斷,需設(shè)置一個(gè)自循環(huán)作為推理結(jié)束標(biāo)志.

3)轉(zhuǎn)移.每跳的轉(zhuǎn)移函數(shù)定義為S×At=S,具體地,如果當(dāng)前狀態(tài)選擇動(dòng)作(r′,e′)∈At,那么就會(huì)轉(zhuǎn)移到新的狀態(tài)st+1=(e′,ht+1,rq,ep).

4)獎(jiǎng)勵(lì).若最終第T跳智能體到達(dá)的實(shí)體eT恰好就是目標(biāo)實(shí)體,即eT=eo,反饋的獎(jiǎng)勵(lì)就為1;否則,反饋的獎(jiǎng)勵(lì)為實(shí)體eT是目標(biāo)實(shí)體的概率,即嵌入模型分?jǐn)?shù)f(es,rq,eT).具體表達(dá)式如下：

策略網(wǎng)絡(luò)指導(dǎo)智能體在不同狀態(tài)下選擇有前途的動(dòng)作,進(jìn)行路徑搜索完成多跳推理,主要通過(guò)狀態(tài)信息和動(dòng)作信息進(jìn)行參數(shù)化.具體地,G中的實(shí)體和關(guān)系,被表示為低維連續(xù)向量e和r.由關(guān)系向量和實(shí)體向量的拼接向量at=[r;e]表示動(dòng)作(r,e)∈At,動(dòng)作空間At由At中的所有動(dòng)作表示向量堆疊組成.狀態(tài)中提到的歷史路徑ht由LSTM編碼,即

h0=LSTM(0,[r0;es]),

ht=LSTM(ht-1,at-1),t>0,

其中,r0為增加的一個(gè)特殊關(guān)系(無(wú)實(shí)義),便于將源實(shí)體es的信息添加到歷史路徑中.

策略網(wǎng)絡(luò)π定義成

πθ(at|st)=

σ(At×W2×ReLU(W1×[et;ht;rq;ep])),

(1)

其中,W1、W2為2個(gè)全連接網(wǎng)絡(luò),ReLU(·)為激活函數(shù),σ為softmax運(yùn)算符,θ為參數(shù).

本文采用REINFORCE算法[22]優(yōu)化策略網(wǎng)絡(luò),并通過(guò)隨機(jī)梯度下降更新參數(shù):

基于強(qiáng)化學(xué)習(xí)的多跳推理訓(xùn)練細(xì)節(jié)如下所示.

算法基于強(qiáng)化學(xué)習(xí)的多跳推理訓(xùn)練過(guò)程

輸入給定的三元組集合

輸出策略網(wǎng)絡(luò)πθ

1.Initializeθ

2.Pre-train the embedding vectore,r

3.forn←1 to Epoch num do

4. fort←1 to Time step do

5. Calculateht←LSTM(ht-1,at-1)

6. Calculatest

7. Sample actionat～πθ(at|st) by Eqs.(1)

8. Update hidden stateht

9. end for

10. Obtain rewardsR

11. Optimizeθusing

12.end for

算法中,第2行通過(guò)預(yù)訓(xùn)練嵌入模型生成實(shí)體和關(guān)系向量,第4～9行進(jìn)行策略網(wǎng)絡(luò)的多跳推理,第3～12行迭代訓(xùn)練強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò).

本文模型在嵌入模型預(yù)訓(xùn)練三元組向量表示的基礎(chǔ)上進(jìn)行知識(shí)推理.在強(qiáng)化學(xué)習(xí)訓(xùn)練階段,通過(guò)給定的查詢頭節(jié)點(diǎn),對(duì)圖進(jìn)行遍歷的時(shí)間復(fù)雜度為O((|V|+|R|)L+1L),其中，|V|為實(shí)體集大小,|R|為關(guān)系集大小,L為推理跳數(shù).因此本文模型的時(shí)間復(fù)雜度為O((|V|+|R|)L+1L).

上述就是目前通用的強(qiáng)化學(xué)習(xí)框架,然而應(yīng)用到稀疏知識(shí)圖譜領(lǐng)域時(shí),由于數(shù)據(jù)稀少,導(dǎo)致智能體的動(dòng)作空間可能缺乏當(dāng)前推理所需的關(guān)鍵動(dòng)作,本文模型利用查詢關(guān)系和關(guān)系路徑的語(yǔ)義信息擴(kuò)充動(dòng)作空間,緩解推理過(guò)程中關(guān)鍵關(guān)系缺失的現(xiàn)象.另一方面,對(duì)于強(qiáng)化學(xué)習(xí)搜索的推理路徑,大多模型都僅通過(guò)預(yù)測(cè)目標(biāo)的正確度反饋指導(dǎo)智能體的搜索方向,未對(duì)推理路徑的可靠性進(jìn)行評(píng)判.因此,本文模型通過(guò)推理路徑和查詢關(guān)系的語(yǔ)義相似度評(píng)價(jià)推理路徑的可靠性,并作為獎(jiǎng)勵(lì)反饋指導(dǎo)智能體的搜索策略.

1.3 動(dòng)作空間擴(kuò)展

由于稀疏知識(shí)圖譜中包含的事實(shí)相對(duì)較少,導(dǎo)致智能體在搜索路徑時(shí),經(jīng)常出現(xiàn)關(guān)鍵路徑中斷,不能正確推導(dǎo)目標(biāo)實(shí)體的現(xiàn)象.本文采用擴(kuò)充動(dòng)作空間的方法,緩解多跳推理中數(shù)據(jù)量不足的問(wèn)題,但與DacKGR注重狀態(tài)層次的關(guān)系注意力不同,MIMK-GISI注重語(yǔ)義層次的關(guān)系注意力.

當(dāng)智能體搜索路徑時(shí),由于缺乏中間監(jiān)督,會(huì)出現(xiàn)一條推理路徑上前后關(guān)系跳脫、無(wú)語(yǔ)義聯(lián)系性的現(xiàn)象,稱為“跳脫型推理”.針對(duì)該現(xiàn)象,本文通過(guò)上一跳關(guān)系和查詢關(guān)系的語(yǔ)義信息抑制智能體的跳脫型推理行為,同時(shí)指導(dǎo)智能體的路徑搜索方向.換句話說(shuō),MIMKGISI在每跳智能體選擇有前途的動(dòng)作之前,利用與當(dāng)前查詢關(guān)系和上一跳推理關(guān)系最相似的(關(guān)系,實(shí)體)對(duì)，擴(kuò)充當(dāng)前實(shí)體的動(dòng)作空間.

擴(kuò)充動(dòng)作空間的過(guò)程如圖2所示.假設(shè)查詢?nèi)M(es,rq,?),智能體當(dāng)前位于實(shí)體et上,上一跳經(jīng)過(guò)的出邊(關(guān)系)為rt-1,首先計(jì)算關(guān)系集R中所有關(guān)系與rq和rt-1的相似度:

sim(r|rq,rt-1)=

rq·[r1,r2,…,r|R |]+rt-1·[r1,r2,…,r|R |],

其中,ri為關(guān)系集R中第i個(gè)關(guān)系向量,“·”為點(diǎn)乘運(yùn)算.

然后,選擇前k個(gè)與rq和rt-1最相似的關(guān)系,使用底層的ConvE嵌入模型,預(yù)測(cè)對(duì)應(yīng)的尾實(shí)體組成(關(guān)系,實(shí)體)對(duì)，擴(kuò)充動(dòng)作空間At.

圖2 動(dòng)作空間擴(kuò)充結(jié)構(gòu)圖Fig.2 Structure of action space expansion

1.4 獎(jiǎng)勵(lì)函數(shù)重構(gòu)

強(qiáng)化學(xué)習(xí)過(guò)程中沒(méi)有中間監(jiān)督,智能體根據(jù)延遲的獎(jiǎng)勵(lì)反饋,學(xué)習(xí)得到正確的搜索策略.因此,智能體會(huì)搜索“結(jié)果正確但推理不可靠”的路徑.從語(yǔ)義層次上看,對(duì)于每個(gè)查詢?nèi)M(es,rq,?),推理路徑path應(yīng)由從源實(shí)體es出發(fā)到目標(biāo)實(shí)體eo的一組關(guān)系組成的,而查詢關(guān)系rq理論上是連接源實(shí)體es和目標(biāo)實(shí)體eo的直接關(guān)系.因此,可靠的推理路徑和查詢關(guān)系的語(yǔ)義應(yīng)相近,不可靠的推理路徑與查詢關(guān)系的語(yǔ)義應(yīng)相差很大.

本文采用TransE的基本思想表示路徑向量:將每個(gè)三元組(es,rq,eo)中的關(guān)系rq看作從頭實(shí)體es到尾實(shí)體eo的翻譯.具體地,就是頭實(shí)體向量加上關(guān)系向量近似等于尾實(shí)體向量:

es+rq≈eo.

因此,將推理路徑path=(r0,r1,…,rT)表示成關(guān)系向量的累加,即

path=r0+r1+…+rT.

如圖3所示,左邊是推理路徑在低維向量空間中的累加示意圖,右邊是推理路徑的實(shí)際結(jié)構(gòu)圖.

(a)累加示意圖 (b)實(shí)際結(jié)構(gòu)圖

本文通過(guò)抑制不可靠的推理行為,達(dá)到鼓勵(lì)智能體進(jìn)行可靠路徑推理的目的.換句話說(shuō),本文使用推理路徑和查詢關(guān)系的相似度,作為獎(jiǎng)勵(lì)反饋給智能體,相似度越高,表示該條推理路徑越可靠,反之不可靠.

獎(jiǎng)勵(lì)函數(shù)為:

R_global(sT)=R(sT)+cos〈path,rq〉,

其中,cos〈·,·〉表示余弦相似度,path表示推理路徑,rq表示查詢關(guān)系.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文針對(duì)稀疏知識(shí)圖譜,選擇在NELL23K、WD-singer、FB15K-237-10%、FB15K-237-20%這4個(gè)公開(kāi)數(shù)據(jù)集[21]上進(jìn)行實(shí)驗(yàn)，具體數(shù)據(jù)集信息見(jiàn)表1.NELL23K數(shù)據(jù)集為NELL數(shù)據(jù)集的子集,WD-singer數(shù)據(jù)集取自Wiki百科數(shù)據(jù)集(僅選擇其中與歌手相關(guān)的內(nèi)容),FB15K-237-10%、FB15K-237-20%數(shù)據(jù)集分別為FB15K-237數(shù)據(jù)集隨機(jī)采樣10%、20%數(shù)據(jù)后生成.

表1 實(shí)驗(yàn)數(shù)據(jù)集Table 1 Experimental datasets

2.2 基線模型

對(duì)于知識(shí)圖譜多跳推理,本文選擇如下基線模型進(jìn)行對(duì)比分析.

1)NTP(Neural Theorem Provers)[23].結(jié)合神經(jīng)網(wǎng)絡(luò)模型和基于規(guī)則的系統(tǒng),使模型能獲得可解釋性的規(guī)則，學(xué)習(xí)反向傳播過(guò)程中的表示,為預(yù)測(cè)過(guò)程提供邏輯解釋.

2)MINERVA[15].利用LSTM模塊,將智能體經(jīng)歷的歷史信息編碼到狀態(tài)中.

3)CPL[20].聯(lián)合策略學(xué)習(xí)框架,不僅訓(xùn)練推理智能體,而且利用事實(shí)提取部件,從背景語(yǔ)料庫(kù)中抽取新的事實(shí)以填充動(dòng)作空間.

4)Multi-hop KG[16].利用預(yù)訓(xùn)練嵌入模型估計(jì)未觀察到的獎(jiǎng)勵(lì),提出隨機(jī)掩膜邊機(jī)制,探索更多樣化的路徑.

5)DacKGR[21].提出動(dòng)態(tài)預(yù)測(cè)和補(bǔ)全,動(dòng)態(tài)擴(kuò)充動(dòng)作空間,探索更多的推理路徑.

6)PAAR[17].提出雙曲知識(shí)圖譜嵌入模型,捕捉知識(shí)圖譜中的層次信息,擴(kuò)展動(dòng)作空間.

7)文獻(xiàn)[18]模型.提出分層強(qiáng)化學(xué)習(xí)框架,將推理任務(wù)分解為一個(gè)檢測(cè)關(guān)系的高級(jí)過(guò)程和一個(gè)推理實(shí)體的低級(jí)過(guò)程.

2.3 度量方法

本文采用鏈接預(yù)測(cè)方法評(píng)價(jià)知識(shí)推理任務(wù),并對(duì)比其它模型.鏈接預(yù)測(cè)的具體過(guò)程是,將測(cè)試數(shù)據(jù)集上的每個(gè)三元組(es,rq,eo),轉(zhuǎn)換成三元組查詢(es,rq,?),然后使用嵌入模型或多跳推理模型得出目標(biāo)實(shí)體的排名.本文實(shí)驗(yàn)使用“過(guò)濾后”的實(shí)驗(yàn)結(jié)果[6].

本文使用命中率(Hits@3、Hits@10)和平均倒數(shù)排名(Mean Reciprocal Rank, MRR)這兩個(gè)評(píng)價(jià)指標(biāo).Hits@3和Hits@10分別表示測(cè)試數(shù)據(jù)集中真實(shí)三元組排名達(dá)到前3名或前10名的概率,MRR表示測(cè)試數(shù)據(jù)集中真實(shí)三元組的平均倒數(shù)排名.在鏈接預(yù)測(cè)實(shí)驗(yàn)中,這兩個(gè)指標(biāo)越高,表示該模型推理準(zhǔn)確性越高.

2.4 對(duì)比實(shí)驗(yàn)結(jié)果

各模型在4個(gè)數(shù)據(jù)集上的鏈接預(yù)測(cè)結(jié)果如表2所示，表中黑體數(shù)字表示最優(yōu)值，MIMKGISI-action表示MIMKGISI刪除動(dòng)作空間擴(kuò)展后重構(gòu)的模型，MIMKGISI-reward表示MIMKGISI刪除獎(jiǎng)勵(lì)函數(shù)后重構(gòu)的模型.實(shí)驗(yàn)中NTP、MINERVA、Multi-hop KG、CPL和DacKGR的實(shí)驗(yàn)結(jié)果引自DacKGR[21],PAAR和文獻(xiàn)[18]模型的實(shí)驗(yàn)結(jié)果直接引自原文獻(xiàn).

由表2可見(jiàn),MIMKGISI在WD-singer、NELL-23K、FB15K-237-10%數(shù)據(jù)集上的推理性能有明顯提升.但是在FB15K-237-20%數(shù)據(jù)集上,MIMKGISI的推理性能并未提升,MRR、Hits@3和Hits@10指標(biāo)分別下降0.1%、0.3%和0.3%.根據(jù)表1中4個(gè)數(shù)據(jù)集的特征可看出,FB15K-237-20%數(shù)據(jù)集的稀疏程度最低,并且一對(duì)多關(guān)系的占比最大,可能是由于該數(shù)據(jù)集的數(shù)據(jù)量較充足,語(yǔ)義信息對(duì)推理的指導(dǎo)作用不大，導(dǎo)致模型性能沒(méi)有提升.而文獻(xiàn)[18]也提出,相比其它數(shù)據(jù)集,FB15K-237數(shù)據(jù)集的實(shí)體和關(guān)系涵蓋太多領(lǐng)域,可能會(huì)混淆智能體的推理.

表2 各模型在4個(gè)數(shù)據(jù)集上的鏈接預(yù)測(cè)結(jié)果Table 2 Link prediction results of different models on 4 datasets

MIMKGISI、MIMKGISI-action、MIMKGISI-reward在4個(gè)數(shù)據(jù)集上的收斂曲線如圖4所示.由表2和圖4可看出,MIMKGISI-action和MIMKGISI-reward的綜合性能都不及MIMKGISI,表明移除動(dòng)作空間擴(kuò)展或獎(jiǎng)勵(lì)函數(shù)重構(gòu)任一部分都會(huì)削弱模型的推理性能,這兩個(gè)策略都對(duì)模型有一定貢獻(xiàn).

(a)WD-singer (b)NELL23K

2.5 推理路徑分析

為了驗(yàn)證MIMKGISI對(duì)知識(shí)推理的可解釋性,從智能體在FB15K-237-10%數(shù)據(jù)集上搜索的推理路徑中,選擇如下三元組和3條推理路徑：

三元組查詢:(Lorenzo Ferrero,category,?)

目標(biāo)實(shí)體:Pianist

其中箭頭表示關(guān)系的方向.針對(duì)“Lorenzo Ferrero的類(lèi)型”的查詢,第1條推理路徑的關(guān)系鏈為instrumentalists_inv→instrumentalists→category,即根據(jù)彈奏同一樂(lè)器Piano的同行Thelonious Monk的類(lèi)型為鋼琴師,從而判斷Lorenzo Ferrero的類(lèi)型也為鋼琴師.其它推理路徑類(lèi)似,不再展開(kāi)分析.由此可看出，MIMKGISI對(duì)知識(shí)圖譜的推理具有較好的可解釋性.

3 結(jié) 束 語(yǔ)

本文提出融合語(yǔ)義信息的知識(shí)圖譜多跳推理模型(MIMKGISI),充分考慮知識(shí)圖譜中的推理路徑和查詢關(guān)系的語(yǔ)義信息.首先,利用知識(shí)圖譜表示學(xué)習(xí)方法將實(shí)體和關(guān)系嵌入低維向量空間中,并將該空間作為強(qiáng)化學(xué)習(xí)的外部環(huán)境.然后,選擇與查詢關(guān)系和關(guān)系路徑最相似的動(dòng)作,擴(kuò)充智能體的搜索空間.最后,計(jì)算推理路徑和查詢關(guān)系的相似度并反饋給智能體.在WD-singer、NELL23K、FB15K-237-10%數(shù)據(jù)集上的實(shí)驗(yàn)表明,MIMKGISI可提升多跳推理的性能,特別是稀疏知識(shí)圖譜上的推理任務(wù).然而MIMKGISI在FB15K-237-20%數(shù)據(jù)集上的推理性能并未提升,可能是由于該數(shù)據(jù)集稀疏程度較低、數(shù)據(jù)量充足,導(dǎo)致語(yǔ)義信息的指導(dǎo)作用無(wú)法體現(xiàn)而造成的.本文還進(jìn)行消融實(shí)驗(yàn),分析動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)的影響.通過(guò)對(duì)推理路徑的分析,驗(yàn)證MIMKGISI對(duì)知識(shí)推理可解釋性具有增強(qiáng)作用.今后將考慮研究路徑的外部語(yǔ)義信息,如實(shí)體的描述信息,進(jìn)一步增強(qiáng)多跳推理路徑的可靠性.