趙曉娟，賈焰，李愛平，陳愷

（1.國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410073；2.湖南工業(yè)大學(xué)商學(xué)院，湖南 株洲 412007）

1 引言

在資源描述框架（RDF,resource description framework）下，知識(shí)可以表示為事實(shí)三元組，即(頭實(shí)體,關(guān)系,尾實(shí)體)的形式，例如“A 是一名運(yùn)動(dòng)員”可表示為(A,職業(yè),運(yùn)動(dòng)員)，其中，“A”“職業(yè)”“運(yùn)動(dòng)員”分別是三元組的頭實(shí)體、關(guān)系和尾實(shí)體。知識(shí)也可以表示為有向多關(guān)系圖，即知識(shí)圖譜，其中，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)實(shí)體，連接節(jié)點(diǎn)的每條邊對(duì)應(yīng)一種關(guān)系。知識(shí)圖譜中的一個(gè)三元組或者事實(shí)h,r,t表示一對(duì)實(shí)體及實(shí)體之間的關(guān)系。圖1為RDF 表示與知識(shí)圖譜表示的示例。

圖1 RDF 表示與知識(shí)圖譜表示的示例

知識(shí)圖譜嵌入旨在學(xué)習(xí)知識(shí)圖譜中的每個(gè)元素（實(shí)體和關(guān)系）在連續(xù)低維度向量空間中的潛在表示，使知識(shí)圖譜具有可計(jì)算性，并且更容易與深度學(xué)習(xí)模型集成。它支撐著許多實(shí)際應(yīng)用，包括知識(shí)問答[1-3]、推薦系統(tǒng)[4-6]和其他自然語(yǔ)言理解任務(wù)[7-9]。然而，即使YAGO[10]、DBPedia[11]、Freebase[12]這樣包含了數(shù)十億個(gè)事實(shí)的大型知識(shí)圖譜，也不能避免關(guān)系或者節(jié)點(diǎn)缺失的問題[2,13-14]，從而引出了知識(shí)圖譜補(bǔ)全任務(wù)的研究。這類研究任務(wù)一方面利用知識(shí)圖譜中已經(jīng)存在的信息來(lái)自動(dòng)推斷缺失的事實(shí)，另一方面預(yù)測(cè)三元組是否有效。

在知識(shí)圖譜中，實(shí)體存在的意義很大程度上取決于其連邊的關(guān)系類型，同一個(gè)實(shí)體在不同的關(guān)系下，其表示的重點(diǎn)也應(yīng)有所不同。例如，對(duì)于圖1中的實(shí)體“A”作為(A,職業(yè),運(yùn)動(dòng)員)的頭實(shí)體，在嵌入表示時(shí)更多地體現(xiàn)作為一個(gè)運(yùn)動(dòng)員的屬性；作為(A,畢業(yè)于,華東師范大學(xué))的頭實(shí)體，在嵌入表示時(shí)則更多地體現(xiàn)作為學(xué)生的一些屬性。考慮(A,國(guó)籍,?)這樣一個(gè)鏈接預(yù)測(cè)問題，根據(jù)問題中的關(guān)系“國(guó)籍”可知，“職業(yè)”和“獲獎(jiǎng)”這2 種關(guān)系對(duì)推理“國(guó)籍”的貢獻(xiàn)不會(huì)比“出生于”和“畢業(yè)于”這樣的關(guān)系大，因?yàn)榕c“出生于”和“畢業(yè)于”相連的尾實(shí)體才是與國(guó)籍有關(guān)的地點(diǎn)。

事實(shí)上，當(dāng)使用知識(shí)圖譜嵌入技術(shù)將實(shí)體和關(guān)系投影到低維連續(xù)向量空間時(shí)，根據(jù)已知事實(shí)(A,出生于,上海)和(上海,屬于,中國(guó))，本文可以把“A”和“中國(guó)”都映射到“上?！备浇南蛄靠臻g，所以它們?cè)谙蛄靠臻g中的距離比較近，而且，在關(guān)系嵌入的向量空間中，相對(duì)于“職業(yè)”和“獲獎(jiǎng)”，“出生于”與“國(guó)籍”的嵌入向量所表達(dá)的語(yǔ)義更接近。因此，通過“出生于”推導(dǎo)出“國(guó)籍”的尾實(shí)體比通過“職業(yè)”或“獲獎(jiǎng)”推導(dǎo)出的結(jié)果更可信。

深度學(xué)習(xí)的注意力機(jī)制模擬人類的選擇性視覺注意力，從眾多信息中選擇與當(dāng)前預(yù)測(cè)目標(biāo)最相關(guān)的信息，并根據(jù)這些信息做出預(yù)測(cè)，近年來(lái)被各個(gè)領(lǐng)域的不同任務(wù)廣泛采用。文獻(xiàn)[15]提出一種在知識(shí)圖譜推理中關(guān)注關(guān)系的方法，對(duì)不同的關(guān)系賦予不同的注意力，但是該方法與其他圖神經(jīng)網(wǎng)絡(luò)一樣，在訓(xùn)練過程中，隨著網(wǎng)絡(luò)層數(shù)的增加和迭代次數(shù)的增加，每個(gè)節(jié)點(diǎn)的隱層表征會(huì)趨向于收斂到同一個(gè)值，即通常所說(shuō)的過度平滑問題。

基于前述問題，本文提出一種新的層級(jí)注意力機(jī)制的鏈接預(yù)測(cè)模型。模型的主要思想是通過分層聚合來(lái)避免過度平滑問題，同時(shí)，在關(guān)系子圖之間的信息聚合時(shí)，設(shè)計(jì)一種更簡(jiǎn)潔的關(guān)系注意力機(jī)制，可以根據(jù)預(yù)測(cè)問題中的目標(biāo)關(guān)系對(duì)知識(shí)圖譜中給定實(shí)體不同類型的關(guān)系給予不同的注意力。具體來(lái)說(shuō)，在低維向量空間中，學(xué)習(xí)給定實(shí)體及其多跳鄰域的實(shí)體和關(guān)系的特征，根據(jù)與目標(biāo)關(guān)系的距離分配注意力，通過將更多的注意力分配給語(yǔ)義更接近的關(guān)系來(lái)獲得更準(zhǔn)確的尾實(shí)體預(yù)測(cè)結(jié)果。

本文的主要貢獻(xiàn)是設(shè)計(jì)了一種基于分層注意力機(jī)制的嵌入模型，并將模型應(yīng)用在知識(shí)圖譜鏈接預(yù)測(cè)任務(wù)中。分層注意力機(jī)制除了關(guān)注多跳鄰居實(shí)體特征外，能更加關(guān)注關(guān)系特征以找到符合目標(biāo)關(guān)系的關(guān)系類型。

2 相關(guān)研究工作

以圖神經(jīng)網(wǎng)絡(luò)（GNN,graph neural network）[16]為基礎(chǔ)的圖卷積網(wǎng)絡(luò)（GCN,graph convolutional network）[17]能同時(shí)對(duì)節(jié)點(diǎn)特征信息與結(jié)構(gòu)信息進(jìn)行端對(duì)端學(xué)習(xí)，是目前對(duì)圖數(shù)據(jù)學(xué)習(xí)任務(wù)的最佳選擇。從GCN 開始，研究者越來(lái)越多地關(guān)注將卷積運(yùn)算引入圖領(lǐng)域，這里的圖是指圖論中用頂點(diǎn)和邊建立相應(yīng)關(guān)系的拓?fù)鋱D。但是，傳統(tǒng)的離散卷積在知識(shí)圖譜這種非歐幾里得數(shù)據(jù)上無(wú)法保持平移不變性，如何定義能夠處理大小可變的鄰居集和共享參數(shù)的操作是一個(gè)具有挑戰(zhàn)性的問題。

為了解決這個(gè)問題，文獻(xiàn)[18]提出GraphSAGE（graph sample and aggregate）模型，從每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)中提取固定數(shù)量的節(jié)點(diǎn)，然后使用聚合函數(shù)融合這些鄰居節(jié)點(diǎn)的信息。當(dāng)然，這也意味著模型不能采樣到所有的鄰居。與文獻(xiàn)[18]類似，圖注意力（GAT,graph attention）[19]也是該研究領(lǐng)域一個(gè)典型的模型，這個(gè)模型是基于所有鄰居節(jié)點(diǎn)，而且對(duì)鄰居節(jié)點(diǎn)的順序沒有要求。雖然該模型在圖網(wǎng)絡(luò)結(jié)構(gòu)中取得了成功，但不能直接用于知識(shí)圖譜，因?yàn)檫@個(gè)模型僅考慮了節(jié)點(diǎn)，而忽略了知識(shí)圖譜中非常重要的一部分信息，即知識(shí)圖譜中實(shí)體之間的關(guān)系。本質(zhì)上，GCN[17]和GAT[19]都是將鄰居節(jié)點(diǎn)的特征聚合到中心節(jié)點(diǎn)，利用圖上的局部平衡狀態(tài)學(xué)習(xí)新的節(jié)點(diǎn)特征表達(dá)式；不同之處在于GCN 使用了拉普拉斯矩陣，而GAT 使用的是注意力機(jī)制。CompGCN[20]是一個(gè)考慮多種關(guān)系信息的圖神經(jīng)網(wǎng)絡(luò)框架，它通過共同學(xué)習(xí)多關(guān)系知識(shí)圖譜中關(guān)系和節(jié)點(diǎn)的向量表示，解決了傳統(tǒng)GCN 的難點(diǎn)。為了避免隨著關(guān)系數(shù)量增加，參數(shù)數(shù)量顯著增加的問題，CompGCN 使用一組基作為可學(xué)習(xí)的基向量，而不是為每個(gè)關(guān)系定義嵌入。

實(shí)際上，對(duì)于每個(gè)節(jié)點(diǎn)，模型選取它的一些鄰居，每個(gè)鄰居對(duì)節(jié)點(diǎn)都有一定的影響，但每個(gè)鄰居的影響力都可能不同，文獻(xiàn)[17,20]沒考慮每個(gè)鄰居對(duì)節(jié)點(diǎn)的影響力的差異。因此，文獻(xiàn)[21]提出了一種端到端的模型，該模型在聚合每一層節(jié)點(diǎn)特征時(shí)考慮了知識(shí)圖譜中的關(guān)系，但是，該模型在計(jì)算注意力時(shí)只考慮了關(guān)系和實(shí)體表示的簡(jiǎn)單拼接，并沒有反映不同關(guān)系對(duì)特定推理任務(wù)的重要程度不同。文獻(xiàn)[22]的Minerva模型將每一種關(guān)系設(shè)置為一種任務(wù)類型，在預(yù)訓(xùn)練中針對(duì)特定任務(wù)進(jìn)行模型訓(xùn)練，這實(shí)際上是一種考慮知識(shí)圖譜中不同類型關(guān)系的實(shí)踐，該模型根據(jù)關(guān)系對(duì)三元組進(jìn)行分類，并沒有分別考慮鄰居節(jié)點(diǎn)和關(guān)系對(duì)目標(biāo)節(jié)點(diǎn)嵌入的影響。

3 任務(wù)描述

在知識(shí)圖譜鏈接預(yù)測(cè)任務(wù)中，目標(biāo)是當(dāng)u或v丟失時(shí)，推斷一個(gè)三元組(u,r,v)是否是有效三元組，即給定(r,v)推導(dǎo)u或者給定(u,r)推導(dǎo)v，本文研究的任務(wù)包括(u,r,?)和 (？,r,v)。對(duì)于這2 種情形，本文并沒有單獨(dú)為每一種情況訓(xùn)練一個(gè)模型，而是訓(xùn)練了同一個(gè)模型用于這2 種情況的評(píng)估。對(duì)于每個(gè)測(cè)試三元組(u,r,v)，本文用知識(shí)圖譜中存在的所有實(shí)體替換每個(gè)頭實(shí)體，構(gòu)造(n-1)個(gè)被損壞的三元組，然后對(duì)每一個(gè)這樣的三元組評(píng)分。最后將這些分?jǐn)?shù)按升序排序，得到正確的三元組的排列。本文也可以用同樣的方法替換三元組的尾實(shí)體。

知識(shí)圖譜用G=(E,R,V)表示，這里的E、R、V分別表示實(shí)體、關(guān)系、三元組的集合。V={(u,r,v)∈E×R×E}，其中，u,v∈E是實(shí)體，r∈R是實(shí)體之間的關(guān)系。嵌入模型嘗試學(xué)習(xí)一個(gè)有效的函數(shù)f(g)，對(duì)于給定的輸入三元組T=(u,r,v)，f(T) 給出T是一個(gè)有效三元組的可能性。

4 模型設(shè)計(jì)

4.1 模型整體框架

本節(jié)將詳細(xì)描述本文提出的模型。異構(gòu)圖注意力[23]在異構(gòu)圖神經(jīng)網(wǎng)絡(luò)中使用分層注意力機(jī)制，包括節(jié)點(diǎn)級(jí)別的注意力和語(yǔ)義級(jí)別的注意力。受該思想的啟發(fā)，本文提出了一種新的基于層級(jí)注意力機(jī)制的鏈接預(yù)測(cè)模型。整個(gè)鏈接預(yù)測(cè)模型主要由兩部分組成：編碼部分和解碼部分，RAKGR（relation attention based knowledge graph reasoning）作為編碼器，ConvKB[24]作為解碼器。RAKGR 由多層組成，整體框架如圖2 所示，其每一層由GAT 和關(guān)系注意力（RAT,relation attention）兩部分組成。每一個(gè)GAT 和RAT 都由多個(gè)注意力頭組成。本文假設(shè)RAT和GAT 的注意力個(gè)數(shù)相同。圖2 中的多頭注意力拼接展示了將每個(gè)注意力頭的輸出結(jié)果concat 之后再降維，也可以直接求各個(gè)注意力頭輸出的平均值。ConvKB 由一個(gè)二維卷積Conv2D 表示，其相關(guān)內(nèi)容詳見文獻(xiàn)[24]。

圖3 給出了某一層中的某個(gè)注意力頭“GAT+RAT”示例，來(lái)說(shuō)明圖 2 中所示的“GAT+RAT”的工作原理。這里僅表示單一注意力頭，且僅說(shuō)明其中一層的情況。中心節(jié)點(diǎn)0 有9 個(gè)一階直接鄰居，將這些鄰居分成3 個(gè)鄰居子圖{1,2}、{3,4,5,6}、{7,8,9}，這3 個(gè)子圖與中心節(jié)點(diǎn)之間的關(guān)系分別為r1、r2和r3。圖3 中右側(cè)黑色圓圈表示每個(gè)中心節(jié)點(diǎn)0 為每個(gè)鄰居子圖設(shè)置的對(duì)應(yīng)的虛擬節(jié)點(diǎn)。相應(yīng)地，分別對(duì)應(yīng)基于關(guān)系r1、r2和r3的子圖在聚合鄰居信息后的中心節(jié)點(diǎn)0 的嵌入表示。首先，用GAT 聚合子圖內(nèi)部各節(jié)點(diǎn)的信息；然后，用關(guān)系注意力機(jī)制聚合這3 個(gè)虛擬節(jié)點(diǎn)的信息，以獲得更新后的中心節(jié)點(diǎn)0的嵌入表示。

圖2 RAKGR 整體框架

圖3 某一層中的某個(gè)注意力頭“GAT+RAT”示例

4.2 構(gòu)建鄰居子圖

給定三元組(u,r,v)∈G，分別表示u、r、v對(duì)應(yīng)的初始嵌入。本文用TransE[25]獲得模型的初始嵌入，然后分別用2 種類型的轉(zhuǎn)換矩陣VW和WR將節(jié)點(diǎn)和關(guān)系投射到相同的特征空間。本文將某個(gè)中心節(jié)點(diǎn)的所有一階鄰居根據(jù)其與中心節(jié)點(diǎn)之間的關(guān)系類型分成不同的子圖，也就是說(shuō)，中心節(jié)點(diǎn)與它的一階鄰居之間有多少種類型的關(guān)系，就會(huì)生成多少個(gè)鄰居子圖。每個(gè)子圖中所有節(jié)點(diǎn)與中心節(jié)點(diǎn)之間的關(guān)系是一樣的。與文獻(xiàn)[23]類似，本文將聚合的過程分為2 個(gè)級(jí)別：子圖內(nèi)部的信息聚合和關(guān)系子圖之間的信息聚合。

4.3 子圖內(nèi)部的信息聚合

為了獲得節(jié)點(diǎn)v的新的嵌入表示，本文將與該節(jié)點(diǎn)相連的每一個(gè)實(shí)體表示為

其中，W1為一個(gè)線性變換矩陣。

在考慮鄰居節(jié)點(diǎn)對(duì)目標(biāo)節(jié)點(diǎn)的重要性時(shí)，本文用auv表示注意力的絕對(duì)值。然后，類似于GAT[19]，將上述注意力的絕對(duì)值進(jìn)行歸一化，如式(2)所示。

其中，為節(jié)點(diǎn)u與節(jié)點(diǎn)v在關(guān)系r下的相關(guān)權(quán)重系數(shù)，N(v) 為與節(jié)點(diǎn)v直接相連的鄰居節(jié)點(diǎn)的集合。根據(jù)式(2)中得到的相關(guān)性權(quán)重系數(shù)，用式(3)將子圖中每個(gè)鄰居的信息進(jìn)行聚合。

其中，為關(guān)系rt下節(jié)點(diǎn)v聚合鄰居節(jié)點(diǎn)信息后的嵌入表示；N(vrt)為與節(jié)點(diǎn)v之間存在關(guān)系rt的鄰居節(jié)點(diǎn)的集合。

使用多頭注意力機(jī)制可以獲取更多關(guān)于鄰居節(jié)點(diǎn)的信息，因此，對(duì)應(yīng)多頭注意力機(jī)制的情況，可將式(3)轉(zhuǎn)換為

其中，||表示拼接操作，是一種集成多個(gè)注意力頭輸出結(jié)果的聚合方式。多頭和單頭的區(qū)別在于每個(gè)注意力頭的權(quán)重系數(shù)不一樣，但模型是一樣的。

假設(shè)用一個(gè)虛擬節(jié)點(diǎn)來(lái)表示某個(gè)鄰居子圖的所有信息，那么中心節(jié)點(diǎn)與鄰居子圖之間的關(guān)系就簡(jiǎn)化成了節(jié)點(diǎn)與節(jié)點(diǎn)之間的關(guān)系。對(duì)應(yīng)于關(guān)系tr的虛擬節(jié)點(diǎn)可表示為

其中,f(·) 是轉(zhuǎn)換函數(shù)，是中心節(jié)點(diǎn)v在高維空間中的嵌入表示。由此可以得到T組特定關(guān)系的節(jié)點(diǎn)嵌入為{hN(vr1),hN(vr2),…,hN(vrt)}。

4.4 關(guān)系子圖之間的信息聚合

根據(jù)目標(biāo)關(guān)系給每個(gè)鄰居子圖分配不同的注意力值，也稱為關(guān)系子圖級(jí)別的聚合。本文要給每個(gè)鄰居子圖計(jì)算一個(gè)注意力分?jǐn)?shù)atr。區(qū)別于A2N（attending to neighbor）[15]的注意力機(jī)制，本文將子圖之間信息聚合環(huán)節(jié)的注意力分?jǐn)?shù)表示為

對(duì)上述注意力分?jǐn)?shù)atr進(jìn)行標(biāo)準(zhǔn)化處理，得到每個(gè)鄰居子圖對(duì)中心節(jié)點(diǎn)v的相關(guān)性權(quán)重值為

將學(xué)習(xí)到的權(quán)重作為系數(shù)，聚合這些特定關(guān)系的嵌入，得到節(jié)點(diǎn)v更新后的嵌入表示為

其中，代表與中心節(jié)點(diǎn)之間存在關(guān)系rt的鄰居集對(duì)中心節(jié)點(diǎn)v的嵌入表示的影響，也就是hN(vrt)對(duì)hv的影響；hv是中心節(jié)點(diǎn)v更新后的嵌入表示。上述過程僅描述了RAKGR 模型的單層單頭注意力聚合過程。同理，可以采用多頭注意力機(jī)制獲得更豐富的鄰居信息。類似地，M個(gè)注意力的情況表示為

上述聚合過程可以擴(kuò)展到多層，使模型具有高階傳播的特點(diǎn)，即

對(duì)于一個(gè)節(jié)點(diǎn)與另一個(gè)節(jié)點(diǎn)之間存在多個(gè)關(guān)系的情況，本文將這個(gè)節(jié)點(diǎn)復(fù)制n次得到n個(gè)不同的節(jié)點(diǎn)，因此，本文在后續(xù)知識(shí)圖譜推理的應(yīng)用中根據(jù)知識(shí)圖譜中邊的數(shù)量來(lái)構(gòu)建鄰居子圖。

4.5 模型優(yōu)化目標(biāo)

本文的模型第一階段訓(xùn)練目標(biāo)借鑒了TransE[25]的平移平分函數(shù)的思想。對(duì)于一個(gè)給定三元組=(u,r,v)，學(xué)習(xí)一種嵌入表示，其能量函數(shù)定義為

本文使用基于邊際的評(píng)分函數(shù)作為訓(xùn)練目標(biāo)，定義為

其中，[x]+表示取x正的部分，γ＞0 表示一個(gè)邊際超參數(shù)，(u,r,v)∈T，T表示有效三元組集合，也稱之為正樣本，而T-則是負(fù)樣本，表示為

本文通過用其他實(shí)體替換三元組的頭實(shí)體或者尾實(shí)體來(lái)得到負(fù)樣本。

第二階段的ConvKB 采用與文獻(xiàn)[21]類似的方法，定義評(píng)分函數(shù)為

其中，ei、er和ej分別表示頭實(shí)體的最終嵌入、關(guān)系的最終嵌入和尾實(shí)體的最終嵌入；concat 表示將這些嵌入表示拼接起來(lái)；*表示卷積操作；κ表示卷積核的個(gè)數(shù)；ωm表示第m個(gè)卷積核；W表示一個(gè)線性變換矩陣，用于計(jì)算三元組的最終得分。本文使用soft-margin 損失對(duì)模型進(jìn)行訓(xùn)練，表示為

表1 數(shù)據(jù)集的統(tǒng)計(jì)情況

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)數(shù)據(jù)集

本文提出的層級(jí)注意力機(jī)制中，子圖之間的注意力分配重點(diǎn)考慮了關(guān)系在預(yù)測(cè)任務(wù)中的意義，所以，本文選取FB15k-237[26]、WN18RR[27]這2 個(gè)數(shù)據(jù)集評(píng)估前述模型。一方面，F(xiàn)B15k-237 中有237 種關(guān)系，是一種典型的多關(guān)系數(shù)據(jù)集，可以用來(lái)驗(yàn)證本文的模型在關(guān)系類型較多的情況下其優(yōu)勢(shì)更加明顯，WN18RR 的節(jié)點(diǎn)數(shù)比較多，但關(guān)系只有11 種；另一方面，由于WN18[28]和FB15K[25]中存在很多逆關(guān)系，這些逆關(guān)系會(huì)影響本文預(yù)測(cè)任務(wù)的結(jié)果，因此，本文使用的是WN18 和FB15K 刪除了逆關(guān)系之后的子集WN18RR 和FB15k-237。數(shù)據(jù)集的統(tǒng)計(jì)情況如表1 所示。

5.2 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)中用到的初始實(shí)體嵌入和關(guān)系嵌入用TransE[25]獲得。模型的訓(xùn)練分成2 個(gè)步驟。首先，使用RAKGR 模型對(duì)知識(shí)圖譜中的實(shí)體和關(guān)系進(jìn)行編碼；然后，使用ConvKB 對(duì)得到的節(jié)點(diǎn)和關(guān)系表示進(jìn)行解碼，以得到符合鏈接預(yù)測(cè)任務(wù)的知識(shí)表示方式。

在這類任務(wù)中，通常的做法是將正確答案的排列順序記錄在有序列表中，以便確定是否可以將正確答案排列在錯(cuò)誤答案之前。常用的3 個(gè)評(píng)估指標(biāo)是平均排序（MR,mean rank）、平均倒數(shù)排序（MRR,mean reciprocal rank）和N個(gè)正確排序所占的比例（Hits@N）。MR 是所有排序的均值；MRR 與MR 類似，但是MRR 是一種比MR 更穩(wěn)健的衡量方法，因?yàn)槟骋坏奶貏e糟糕的排名可以在很大程度上影響平均排名；Hits@N中的N可以取1、3 和10。對(duì)于本文模型，MRR 和Hits@N的值越大意味著模型性能越好，MR 的值越小意味著模型性能越好。本文選擇MRR 和Hits@1、Hits@3、Hits@10 作為評(píng)估指標(biāo)。

為了評(píng)估RAKGR 模型性能，本文選擇了幾類目前較先進(jìn)的知識(shí)圖譜嵌入模型進(jìn)行對(duì)比，包括A2N[15]、Minerva[22]、ConvKB[24]、TransE[29]、DistMult[29]、Complex[30]、ConvE[28]。

5.3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)結(jié)果如表2～表5 所示。A2N、DistMult、Complex、ConvE 的實(shí)驗(yàn)結(jié)果來(lái)自文獻(xiàn)[15]，該文獻(xiàn)下載了公開的源代碼來(lái)復(fù)現(xiàn)所有的結(jié)果；ConvKB、TransE 在2 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果是本文下載公開源代碼并復(fù)現(xiàn)的結(jié)果；Minerva 在2 個(gè)數(shù)據(jù)集上的結(jié)果來(lái)自文獻(xiàn)[22]。文獻(xiàn)[21]指出，對(duì)于一個(gè)n層模型，其輸入信息是從n跳的鄰域上累積的。所以，本文實(shí)驗(yàn)設(shè)置為2 層模型，相當(dāng)于聚合了2 跳鄰域的信息。當(dāng)然，本文提出的模型是可以擴(kuò)展到任意層數(shù)的。

表2 數(shù)據(jù)集FB15k-237 預(yù)測(cè)尾實(shí)體的實(shí)驗(yàn)結(jié)果

表3 數(shù)據(jù)集FB15k-237 預(yù)測(cè)尾實(shí)體或者頭實(shí)體的實(shí)驗(yàn)結(jié)果

表4 數(shù)據(jù)集WN18RR 預(yù)測(cè)尾實(shí)體的實(shí)驗(yàn)結(jié)果

表5 數(shù)據(jù)集WN18RR 預(yù)測(cè)尾實(shí)體或者頭實(shí)體的實(shí)驗(yàn)結(jié)果

表2 和表4 中提到的預(yù)測(cè)尾實(shí)體是指單獨(dú)針對(duì)(h,r,?)這樣的任務(wù)模型得到的結(jié)果，ConvKB、TransE 的源代碼中并沒有提供單獨(dú)預(yù)測(cè)尾實(shí)體的代碼，所以本文沒有展示其結(jié)果。表3 和表5 中的結(jié)果是指測(cè)試集中同時(shí)存在頭實(shí)體缺失(？,r,v)或者尾實(shí)體缺失(u,r,)？這2 種情況。文獻(xiàn)[21]沒有提供Minerva 在同時(shí)預(yù)測(cè)頭實(shí)體或者尾實(shí)體缺失情況下的實(shí)驗(yàn)結(jié)果，所以在本文的表3和表 5 中沒有相應(yīng)的結(jié)果展示。表 2 展示了FB15k-237 在已知頭實(shí)體和關(guān)系，預(yù)測(cè)尾實(shí)體的結(jié)果?？梢钥闯觯疚哪Ｐ偷乃? 個(gè)評(píng)價(jià)指標(biāo)都具有較顯著的優(yōu)越性。表3 展示了在測(cè)試集中同時(shí)存在頭實(shí)體缺失或者尾實(shí)體缺失的情況，盡管這種情況下模型性能比表2 中展示的結(jié)果稍遜色，但本文模型性能明顯優(yōu)于其他模型。

表4 和表5 展示了WN18RR 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。可以發(fā)現(xiàn)，在WN18RR 數(shù)據(jù)集上，本文模型性能與A2N 接近，并沒有絕對(duì)優(yōu)勢(shì)。因?yàn)閃N18RR 有40 943 個(gè)實(shí)體，但是僅有11 種類型的關(guān)系。本文模型在較多關(guān)系的數(shù)據(jù)集上具有優(yōu)勢(shì)，對(duì)于這一類關(guān)系較少而節(jié)點(diǎn)數(shù)又較多的數(shù)據(jù)集并不能很好地體現(xiàn)模型的優(yōu)越性。

從上述結(jié)果可以看到，所有的模型在已知頭實(shí)體和鏈接預(yù)測(cè)尾實(shí)體情況下的實(shí)驗(yàn)結(jié)果普遍比同時(shí)預(yù)測(cè)尾實(shí)體或者頭實(shí)體的情況好。這是因?yàn)镕B15k-237 與WN18RR 中刪除了逆關(guān)系，這種逆關(guān)系對(duì)于已知尾實(shí)體和關(guān)系預(yù)測(cè)頭實(shí)體的情況會(huì)有影響，但對(duì)已知頭實(shí)體和關(guān)系預(yù)測(cè)尾實(shí)體的情況基本沒有影響。另外，在2 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型具有較好的穩(wěn)健性，在不同的數(shù)據(jù)集上性能穩(wěn)定。

5.4 模型的輸出結(jié)果測(cè)試實(shí)例

為了對(duì)層級(jí)注意力機(jī)制有更加清晰的支持和解釋，本文從 UMLS（unified medical language system）數(shù)據(jù)集[31]的測(cè)試集中隨機(jī)選取了一個(gè)實(shí)體n79和一個(gè)關(guān)系r40來(lái)進(jìn)行鏈接，然后預(yù)測(cè)(n79,r40,?)，這個(gè)測(cè)試用例在訓(xùn)練集中是沒有出現(xiàn)過的。模型的輸出結(jié)果測(cè)試實(shí)例如圖4 所示，中心節(jié)點(diǎn)n79的一階鄰居節(jié)點(diǎn)共56 個(gè)，關(guān)系類型共8 種。其中，17 個(gè)節(jié)點(diǎn)與n79之間的關(guān)系是r17，9 個(gè)節(jié)點(diǎn)與n79之間的關(guān)系是r10，21 個(gè)節(jié)點(diǎn)與n79之間的關(guān)系是r0。為了簡(jiǎn)化，圖4 只表示了主要關(guān)系和節(jié)點(diǎn)，鄰居節(jié)點(diǎn)集合分別用N(vr17)、N(vr10)、N(vr0)表示，且這3 個(gè)鄰居節(jié)點(diǎn)集合中所有節(jié)點(diǎn)在訓(xùn)練集中都沒有作為n90的頭實(shí)體。將式(6)進(jìn)行修改，直接用類似RAT 的機(jī)制計(jì)算關(guān)系注意力分?jǐn)?shù)，如式(16)所示。

觀察圖4 可以得到以下2 個(gè)重要的結(jié)果。

1) 圖4(a)是用修改后的RAT 得到的結(jié)果。注意力分?jǐn)?shù)排名前三的關(guān)系分別為r0(0.321 4)、r10(0.140 7)、r17(0.230 5)。n79有56 個(gè)一階鄰居，該方法中，注意力分?jǐn)?shù)在56 個(gè)三元組中進(jìn)行分配，前述注意力分?jǐn)?shù)對(duì)應(yīng)所有與n79之間存在該類關(guān)系的三元組注意力分?jǐn)?shù)之和；三元組(n79,r43,n41)、(n79,r43,n39)、(n79,r43,n29)得到的注意力分?jǐn)?shù)分別是0.020 3、0.0180 4、0.016 5。圖4(b)是利用本文的層級(jí)注意力機(jī)制得到的結(jié)果，排名前三的關(guān)系分別為r43(0.136 6)、r0(0.131 7)、r38(0.111 4)。該方法中，注意力分?jǐn)?shù)在8 種不同的關(guān)系中進(jìn)行分配。

2) 注意力模型可以加強(qiáng)鏈接預(yù)測(cè)結(jié)果的可解釋性。從關(guān)系的語(yǔ)義可以看到，本測(cè)試實(shí)例的關(guān)系r40(adjacent_to,與…相鄰)屬于空間上相關(guān)，r43(surrounds,包圍)也屬于空間上相關(guān)，兩者在語(yǔ)義上比較接近；排名第二的關(guān)系r0(location_of,位于)屬于空間上相關(guān)；排名第三的關(guān)系r38(developmental form of,…的發(fā)育階段)屬于概念上相關(guān)。

圖4 模型的輸出結(jié)果測(cè)試實(shí)例

6 結(jié)束語(yǔ)

本文介紹了一種基于層級(jí)注意力機(jī)制的鏈接預(yù)測(cè)模型，并將其應(yīng)用于知識(shí)圖譜鏈接預(yù)測(cè)任務(wù)。所提模型取得了比目前較先進(jìn)的模型更好的結(jié)果。在未來(lái)的工作中，可以擴(kuò)展所提模型，針對(duì)不同類型的節(jié)點(diǎn)設(shè)計(jì)不同的線性變換矩陣，在考慮知識(shí)圖譜結(jié)構(gòu)的同時(shí)，考慮節(jié)點(diǎn)的語(yǔ)義信息。另外，可以考慮在嵌入表示時(shí)融合知識(shí)圖譜中實(shí)體和關(guān)系的相關(guān)描述信息和文本信息，從而進(jìn)一步提高知識(shí)圖譜推理的性能，而不是僅考慮知識(shí)圖譜內(nèi)在的信息。本文提出的模型具有高階傳播特性，可以捕獲給定實(shí)體周圍多跳的關(guān)系信息，在未來(lái)的工作中可以考慮將該模型應(yīng)用在基于知識(shí)圖譜的多跳推理以及基于知識(shí)圖譜的復(fù)雜關(guān)系問答等應(yīng)用中。