姜曉全

(遼東學(xué)院 信息工程學(xué)院，遼寧 丹東 118003)

知識(shí)表示學(xué)習(xí)是將知識(shí)圖譜中的實(shí)體和關(guān)系轉(zhuǎn)化為一種低維稠密的向量表示形式，這種向量的表示形式本身具有強(qiáng)大的語(yǔ)義，可以被直接應(yīng)用到其他任務(wù)中[1-4]。目前常見(jiàn)的知識(shí)表示學(xué)習(xí)模型主要基于“翻譯”模型，包括TransE[5]模型及在此基礎(chǔ)上演化而來(lái)的TransR[6]、TransH[7]和TransD[8]等模型。這一類模型的核心思想是將知識(shí)圖譜中的實(shí)體和關(guān)系抽象成一個(gè)三元組(E1，R，E2)，通過(guò)關(guān)系R將E1翻譯成E2，即E2=E1+R，并通過(guò)訓(xùn)練樣本不斷調(diào)整E1、E2和R的表示向量，使上述等式盡可能成立。但這類模型每次只能針對(duì)某一特定的三元組進(jìn)行訓(xùn)練，而忽略了知識(shí)圖譜中其他實(shí)體和關(guān)系對(duì)三元組中實(shí)體和關(guān)系的影響，進(jìn)而導(dǎo)致模型訓(xùn)練得到的實(shí)體和關(guān)系的表示向量語(yǔ)義不夠充分，影響它在實(shí)際應(yīng)用中的效果。

為解決上述問(wèn)題，知識(shí)表示學(xué)習(xí)模型借鑒網(wǎng)絡(luò)表示學(xué)習(xí)理論，通過(guò)設(shè)計(jì)隨機(jī)游走算法對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行采樣并形成序列樣本，再利用Word2Vec等神經(jīng)網(wǎng)絡(luò)模型對(duì)序列樣本進(jìn)行訓(xùn)練學(xué)習(xí)，從而得到網(wǎng)絡(luò)節(jié)點(diǎn)的表示向量[9-11]。這種方法充分考慮了網(wǎng)絡(luò)結(jié)構(gòu)對(duì)表示學(xué)習(xí)過(guò)程的影響，可有效提升表示向量的語(yǔ)義效果。為此，本研究基于隨機(jī)游走和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory，LSTM)設(shè)計(jì)了一種知識(shí)表示學(xué)習(xí)模型。

1 知識(shí)表示學(xué)習(xí)模型的設(shè)計(jì)

1.1 知識(shí)圖譜網(wǎng)絡(luò)節(jié)點(diǎn)的采樣

1.1.1 知識(shí)圖譜網(wǎng)絡(luò)的重構(gòu)

本文所建模型首先需要對(duì)知識(shí)圖譜網(wǎng)絡(luò)進(jìn)行重構(gòu)，目的是在不破壞原有網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上將關(guān)系由邊轉(zhuǎn)化為節(jié)點(diǎn)，使重構(gòu)后的知識(shí)圖譜網(wǎng)絡(luò)更加接近一般網(wǎng)絡(luò)的結(jié)構(gòu)。重構(gòu)過(guò)程如圖1所示。

1.1.2 面向重構(gòu)后的知識(shí)圖譜網(wǎng)絡(luò)的隨機(jī)游走策略

由于重構(gòu)后的知識(shí)圖譜網(wǎng)絡(luò)包含實(shí)體和關(guān)系2種節(jié)點(diǎn)，并具有不同的網(wǎng)絡(luò)結(jié)構(gòu)屬性，因此，本文設(shè)計(jì)2種隨機(jī)游走策略。

1)當(dāng)前節(jié)點(diǎn)為實(shí)體節(jié)點(diǎn)的隨機(jī)游走策略(圖2)

由圖2可知，當(dāng)前節(jié)點(diǎn)為實(shí)體節(jié)點(diǎn)S1，它的下一個(gè)節(jié)點(diǎn)可能為下述3種情況：

a)回到上一個(gè)關(guān)系節(jié)點(diǎn)，即實(shí)體節(jié)點(diǎn)S1回到關(guān)系節(jié)點(diǎn)R2；

b)選擇另一個(gè)關(guān)系節(jié)點(diǎn)，即實(shí)體節(jié)點(diǎn)S1到關(guān)系節(jié)點(diǎn)R1；

c)選擇另一個(gè)與之連接的實(shí)體節(jié)點(diǎn)，即實(shí)體節(jié)點(diǎn)S1到實(shí)體節(jié)點(diǎn)S2。

第1種情況在知識(shí)圖譜網(wǎng)絡(luò)的隨機(jī)游走中是不允許的，因?yàn)檫@種游走沒(méi)有任何實(shí)際意義，節(jié)點(diǎn)轉(zhuǎn)移參數(shù)代表隨機(jī)游走中從當(dāng)前節(jié)點(diǎn)跳轉(zhuǎn)到某一個(gè)節(jié)點(diǎn)的概率，所以節(jié)點(diǎn)轉(zhuǎn)移參數(shù)α設(shè)置為0；第2種情況為理想情況，可將α設(shè)置為1；第3種情況并不是一種理想的情況，隨機(jī)游走生成的節(jié)點(diǎn)序列最好是“實(shí)體-關(guān)系-實(shí)體”的形式,所以將α設(shè)置為1/q,其中q為超參數(shù),可自行設(shè)定。本文將q設(shè)置為一個(gè)較大的值,讓這種情況出現(xiàn)的概率減小。

第1種隨機(jī)游走策略aq(t,x)的數(shù)學(xué)表達(dá)式為

(2)

式中:t為當(dāng)前節(jié)點(diǎn)的上一個(gè)節(jié)點(diǎn),x為當(dāng)前節(jié)點(diǎn)可以選擇的下一個(gè)節(jié)點(diǎn),dtx為從上一個(gè)節(jié)點(diǎn)t到下一個(gè)節(jié)點(diǎn)x的最短距離,dtx的取值只可能是{0,1,2}。

2)當(dāng)前節(jié)點(diǎn)為關(guān)系節(jié)點(diǎn)的隨機(jī)游走策略(圖3)

由圖3可知,當(dāng)前節(jié)點(diǎn)為關(guān)系節(jié)點(diǎn)R。它的下一個(gè)節(jié)點(diǎn)可能為下述3種情況:

a)回到上一個(gè)實(shí)體節(jié)點(diǎn),即關(guān)系節(jié)點(diǎn)R回到實(shí)體節(jié)點(diǎn)S1;

b)選擇一個(gè)與上一個(gè)實(shí)體節(jié)點(diǎn)存在關(guān)系的實(shí)體節(jié)點(diǎn),即關(guān)系節(jié)點(diǎn)R到實(shí)體節(jié)點(diǎn)S2;

c)選擇一個(gè)與上一個(gè)實(shí)體節(jié)點(diǎn)不存在關(guān)系的實(shí)體節(jié)點(diǎn),即關(guān)系節(jié)點(diǎn)R到實(shí)體節(jié)點(diǎn)S3。

第1種情況是不允許的,因?yàn)檫@種隨機(jī)游走沒(méi)有任何實(shí)際意義,所以α設(shè)置為0;第2種情況是理想情況,因而α設(shè)置為1;第3種情況并不是一種理想的情況,因?yàn)楫?dāng)前關(guān)系節(jié)點(diǎn)的上一個(gè)和下一個(gè)實(shí)體節(jié)點(diǎn)不存在連接關(guān)系,這樣形成的“實(shí)體-關(guān)系-實(shí)體”序列沒(méi)有意義,所以將α設(shè)置為1/p,其中p為超參數(shù),可自行設(shè)定,本文將p設(shè)置為一個(gè)較大的值,讓這種情況出現(xiàn)的概率減小。

第2種隨機(jī)游走策略αq(t,x)的數(shù)學(xué)表達(dá)式為

(3)

1.1.3 基于MPI的節(jié)點(diǎn)采樣優(yōu)化算法的實(shí)現(xiàn)

本文針對(duì)知識(shí)圖譜網(wǎng)絡(luò)的特殊性，使用MPI并行計(jì)算框架，根據(jù)節(jié)點(diǎn)的度數(shù)動(dòng)態(tài)設(shè)置節(jié)點(diǎn)采樣次數(shù)，優(yōu)化隨機(jī)游走效果。該算法不僅可以增加知識(shí)圖譜網(wǎng)絡(luò)中影響力大的節(jié)點(diǎn)的采樣次數(shù)，還具有高并行性。采樣優(yōu)化算法步驟如下：

1)使用MPI框架在機(jī)器上開(kāi)啟多個(gè)進(jìn)程。

2)每個(gè)進(jìn)程先計(jì)算網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的度數(shù)，并找到最大度數(shù)。

3)每個(gè)進(jìn)程針對(duì)不同度數(shù)的節(jié)點(diǎn)進(jìn)行下列2種不同的遍歷：

a)如果該節(jié)點(diǎn)度數(shù)大于設(shè)定的閾值，則按照最大遍歷次數(shù)進(jìn)行遍歷；

b)如果該節(jié)點(diǎn)度數(shù)小于設(shè)定的閾值，則按照比例計(jì)算需要遍歷的次數(shù)并進(jìn)行遍歷。

4)所有進(jìn)程完成采樣工作后匯總形成一組序列樣本。

優(yōu)化算法的數(shù)學(xué)表達(dá)式為

(4)

式中：Nx為x節(jié)點(diǎn)的采樣次數(shù)，Nmax為設(shè)定的最大采樣次數(shù)，Dx為x節(jié)點(diǎn)的度數(shù)，Dmax為網(wǎng)絡(luò)中最大的節(jié)點(diǎn)度數(shù)，T為度數(shù)的閾值。

1.2 使用LSTM對(duì)序列樣本進(jìn)行訓(xùn)練

本文使用單向LSTM和雙向LSTM對(duì)序列樣本進(jìn)行訓(xùn)練。相比于單向LSTM，雙向LSTM更適合知識(shí)表示學(xué)習(xí)，因?yàn)橹R(shí)圖譜中的實(shí)體和關(guān)系并不遵從某個(gè)單一方向，這與一般的序列學(xué)習(xí)任務(wù)不同，雙向LSTM可以更好地對(duì)實(shí)體和關(guān)系的序列樣本進(jìn)行建模，從而訓(xùn)練得到語(yǔ)義更充分的表示向量。單向LSTM和雙向LSTM訓(xùn)練過(guò)程如圖4和圖5所示。

由圖4可知，單向LSTM只包含一個(gè)神經(jīng)網(wǎng)絡(luò)，訓(xùn)練是從序列樣本中的第一個(gè)節(jié)點(diǎn)開(kāi)始，到最后一個(gè)節(jié)點(diǎn)結(jié)束。

由圖5可知，雙向LSTM包含2個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)網(wǎng)絡(luò)訓(xùn)練時(shí)一般從序列樣本第一個(gè)節(jié)點(diǎn)開(kāi)始到最后一個(gè)節(jié)點(diǎn)結(jié)束；另一個(gè)網(wǎng)絡(luò)訓(xùn)練時(shí)從最后一個(gè)節(jié)點(diǎn)開(kāi)始到第一個(gè)節(jié)點(diǎn)結(jié)束。

2 實(shí)驗(yàn)與分析

2.1 評(píng)價(jià)指標(biāo)

本文研究重點(diǎn)關(guān)注表示向量語(yǔ)義的充分性，因而可將知識(shí)圖譜中某個(gè)實(shí)體(或關(guān)系)的實(shí)體相似(或關(guān)系相似)的召回率R作為評(píng)價(jià)指標(biāo)，R的計(jì)算公式為

(5)

式中：N為排序后選擇節(jié)點(diǎn)的總數(shù)量；Nsim為在N個(gè)節(jié)點(diǎn)中與當(dāng)前節(jié)點(diǎn)具備相似性的節(jié)點(diǎn)的數(shù)量，N的取值可根據(jù)實(shí)際需要進(jìn)行設(shè)定。

在計(jì)算召回率時(shí)，首先計(jì)算當(dāng)前實(shí)體節(jié)點(diǎn)與所有實(shí)體節(jié)點(diǎn)(或當(dāng)前關(guān)系節(jié)點(diǎn)和所有關(guān)系節(jié)點(diǎn))表示向量的空間距離，然后按照距離數(shù)值大小進(jìn)行排序并計(jì)算前N個(gè)節(jié)點(diǎn)中與當(dāng)前節(jié)點(diǎn)具備相似性的節(jié)點(diǎn)所占的比例。例如，在排名前N個(gè)節(jié)點(diǎn)中有n個(gè)與當(dāng)前節(jié)點(diǎn)具備相似性的節(jié)點(diǎn)，則當(dāng)前節(jié)點(diǎn)的相似節(jié)點(diǎn)的召回率為n/N。

2.2 數(shù)據(jù)集設(shè)定

本文選擇FB15K(1)FB15K數(shù)據(jù)集地址：https：∥paperswithcode.com/dataset/fb15k。和WN18(2)WN18數(shù)據(jù)集地址：https：∥paperswithcode.com/dataset/wn18。2個(gè)知識(shí)圖譜作為實(shí)驗(yàn)的數(shù)據(jù)集。其中，F(xiàn)B15K是Google公司發(fā)布的知識(shí)圖譜集，約包含上萬(wàn)個(gè)實(shí)體和上千個(gè)關(guān)系；WN18是WordNet發(fā)布的知識(shí)圖譜集，約包含上千個(gè)實(shí)體和18個(gè)關(guān)系。

2.3 實(shí)驗(yàn)測(cè)試及結(jié)果分析

本文主要驗(yàn)證本文所提模型相較于TransE基準(zhǔn)模型訓(xùn)練得到的表示向量是否具備更充分的語(yǔ)義并能有效提升訓(xùn)練的效率。

2.3.1 模型表示向量語(yǔ)義充分性測(cè)試

在FB15K和WN18 2個(gè)數(shù)據(jù)集上進(jìn)行表示向量語(yǔ)義充分性測(cè)試，超參數(shù)p和q分別設(shè)置為10和100，召回率測(cè)試中選取排序后節(jié)點(diǎn)數(shù)量N設(shè)置為10，召回率測(cè)試結(jié)果如圖6和圖7所示。

由圖6和圖7可知：無(wú)論是單向LSTM還是雙向LSTM均取得了比基準(zhǔn)模型TransE更好的效果；雙向LSTM訓(xùn)練得到的表示向量相比于單向LSTM訓(xùn)練得到的表示向量具有更加充分的語(yǔ)義，這與本文之前的結(jié)論一致；應(yīng)用本文所提算法，單向LSTM和雙向LSTM的訓(xùn)練效果均得到了一定提升。

2.3.2 模型訓(xùn)練效率測(cè)試

本文在FB15K和WN18 2個(gè)數(shù)據(jù)集上基于MPI計(jì)算框架對(duì)單進(jìn)程訓(xùn)練和多進(jìn)程(4個(gè)進(jìn)程)并行訓(xùn)練進(jìn)行測(cè)試實(shí)驗(yàn)，記錄訓(xùn)練所需時(shí)間，實(shí)驗(yàn)結(jié)果見(jiàn)表3。

由表1可知，基于MPI計(jì)算框架實(shí)現(xiàn)的并行訓(xùn)練方法相比于普通的單進(jìn)程訓(xùn)練可極大地提升模型的訓(xùn)練效率。

表1 單進(jìn)程訓(xùn)練和多進(jìn)程并行訓(xùn)練實(shí)驗(yàn)結(jié)果 單位：s

3 結(jié)語(yǔ)

本文提出了一種基于隨機(jī)游走和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的知識(shí)表示學(xué)習(xí)模型，該模型相比于目前常見(jiàn)的知識(shí)表示學(xué)習(xí)模型更加關(guān)注實(shí)體和關(guān)系節(jié)點(diǎn)在網(wǎng)絡(luò)中所在位置。實(shí)驗(yàn)結(jié)果表明，本文提出的模型不僅可以訓(xùn)練得到語(yǔ)義更充分的表示向量，并可有效提升模型訓(xùn)練的效率。