劉正銘 馬宏 劉樹(shù)新 李海濤 常圣

摘 要：為融合節(jié)點(diǎn)描述信息提升網(wǎng)絡(luò)表示學(xué)習(xí)質(zhì)量，針對(duì)社會(huì)網(wǎng)絡(luò)中節(jié)點(diǎn)描述屬性信息存在的語(yǔ)義信息分散和不完備性問(wèn)題，提出一種融合節(jié)點(diǎn)描述屬性的網(wǎng)絡(luò)表示（NPA-NRL）學(xué)習(xí)算法。首先，對(duì)屬性信息進(jìn)行獨(dú)熱編碼，并引入隨機(jī)擾動(dòng)的數(shù)據(jù)集增強(qiáng)策略解決屬性信息不完備問(wèn)題;然后，將屬性編碼和結(jié)構(gòu)編碼拼接作為深度神經(jīng)網(wǎng)絡(luò)輸入，實(shí)現(xiàn)兩方面信息的相互補(bǔ)充制約;最后，設(shè)計(jì)了基于網(wǎng)絡(luò)同質(zhì)性的屬性相似性度量函數(shù)和基于SkipGram模型的結(jié)構(gòu)相似性度量函數(shù)，通過(guò)聯(lián)合訓(xùn)練實(shí)現(xiàn)融合語(yǔ)義信息挖掘。在GPLUS、OKLAHOMA和UNC三個(gè)真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，和經(jīng)典的DeepWalk、TADW（Text-Associated DeepWalk）、UPP-SNE（User Profile Preserving Social Network Embedding）和SNE（Social Network Embedding）算法相比，NPA-NRL算法的鏈路預(yù)測(cè)AUC（Area Under Curve of ROC）值平均提升2.75%，節(jié)點(diǎn)分類(lèi)F1值平均提升7.10%。

關(guān)鍵詞：?節(jié)點(diǎn)描述屬性信息;信息融合;網(wǎng)絡(luò)表示學(xué)習(xí);深度學(xué)習(xí);復(fù)雜網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-9081（2019）04-1012-09

Abstract： In order to enhance the network representation learning quality with node profile information， and focus on the problems of semantic information dispersion and incompleteness of node profile attribute information in social network，

a network representation learning algorithm incorporated with node profile information was proposed， namely NPA-NRL. Firstly， attribute information were encoded by one-hot encoding， and a data augmentation method of random perturbation was introduced to overcome the incompleteness of node profile attribute information. Then， attribute coding and structure coding were combined as the input of deep neural network to realize mutual complementation of the two types of information. Finally， an attribute similarity measure function based on network homogeneity and a structural similarity measure function based on SkipGram model were designed to mine fused semantic information through joint training. The experimental results on three real network datasets including GPLUS， OKLAHOMA and UNC demonstrate that， compared with the classic DeepWalk， Text-Associated DeepWalk （TADW）， User Profile Preserving Social Network Embedding （UPP-SNE） and Social Network Embedding （SNE） algorithms， the proposed NPA-NRL algorithm has a 2.75% improvement in average Area Under Curve of ROC （AUC） value on link prediction task， and a 7.10% improvement in average F1 value on node classification task.

Key words： node profile attribute information; information fusion; network representation learning; deep learning; complex network

0?引言

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展演化，諸如Facebook、Twitter、微信和微博等社交網(wǎng)絡(luò)應(yīng)用迅猛發(fā)展，社會(huì)網(wǎng)絡(luò)數(shù)據(jù)逐漸呈現(xiàn)出規(guī)模復(fù)雜非線(xiàn)性和類(lèi)型多樣性等特點(diǎn)[1]，給基于特征工程抽取節(jié)點(diǎn)特征的網(wǎng)絡(luò)分析技術(shù)帶來(lái)嚴(yán)峻挑戰(zhàn)。

近年來(lái)，受表示學(xué)習(xí)方法啟發(fā)，大量學(xué)者提出針對(duì)網(wǎng)絡(luò)分析任務(wù)的網(wǎng)絡(luò)表示學(xué)習(xí)算法，旨在利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)網(wǎng)絡(luò)節(jié)點(diǎn)的自動(dòng)特征抽取，進(jìn)而快速高效地應(yīng)用于后續(xù)網(wǎng)絡(luò)分析任務(wù)，如節(jié)點(diǎn)分類(lèi)[2-4]和鏈路預(yù)測(cè)[4-6]等。

然而，大部分算法僅考慮網(wǎng)絡(luò)結(jié)構(gòu)信息進(jìn)行表示學(xué)習(xí)[2-6]，忽略了現(xiàn)實(shí)世界中網(wǎng)絡(luò)節(jié)點(diǎn)包含的豐富節(jié)點(diǎn)描述屬性信息，如性別、住址和畢業(yè)院校等。從社會(huì)心理學(xué)角度來(lái)看，節(jié)點(diǎn)之間的屬性相似性對(duì)連邊關(guān)系的形成具有重要影響[7]，因而整個(gè)網(wǎng)絡(luò)呈現(xiàn)出同質(zhì)性的特點(diǎn)，即具有連邊關(guān)系的節(jié)點(diǎn)通常具有相似的屬性信息[8-9]。為驗(yàn)證上述觀點(diǎn)，本文基于俄克拉何馬州大學(xué)（University of Oklahoma， OKLAHOMA）和北卡羅來(lái)納大學(xué)教堂山分校（University of North Carolina at Chapel Hill， UNC）兩個(gè)真實(shí)Facebook高校網(wǎng)絡(luò)數(shù)據(jù)集[10]進(jìn)行統(tǒng)計(jì)分析。如圖1所示，本文分析了具有連邊關(guān)系的節(jié)點(diǎn)對(duì)中具有相同描述屬性值的占比情況。從統(tǒng)計(jì)結(jié)果可看出，具有連邊關(guān)系的節(jié)點(diǎn)對(duì)中具有相同描述屬性信息的節(jié)點(diǎn)對(duì)平均占比37%，在部分描述屬性信息上甚至超過(guò)90%（如圖1中的節(jié)點(diǎn)狀態(tài)標(biāo)記屬性）。該現(xiàn)象再次印證了結(jié)合節(jié)點(diǎn)描述屬性信息進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)的重要意義。

值得注意的是，已有一些算法考慮利用節(jié)點(diǎn)文本內(nèi)容屬性信息進(jìn)行表示學(xué)習(xí)[11-13]，如科學(xué)引文網(wǎng)絡(luò)中節(jié)點(diǎn)的文本特征。然而，這類(lèi)方法并不能有效利用社會(huì)網(wǎng)絡(luò)中節(jié)點(diǎn)的描述屬性信息。主要原因有以下兩點(diǎn)：一是節(jié)點(diǎn)文本內(nèi)容屬性信息通常具有話(huà)題中心性，圍繞某個(gè)中心內(nèi)容而展開(kāi)。如引文網(wǎng)絡(luò)中的文章摘要、社交網(wǎng)絡(luò)中的評(píng)論內(nèi)容等。相比之下，節(jié)點(diǎn)描述屬性信息包含多種不同類(lèi)型的節(jié)點(diǎn)屬性表示，語(yǔ)義信息相對(duì)分散。二是社會(huì)網(wǎng)絡(luò)中的用戶(hù)需要手動(dòng)增加描述屬性信息，出于用戶(hù)個(gè)人保密以及平臺(tái)隱私保護(hù)等原因?qū)е虏杉降挠脩?hù)描述屬性信息存在不同程度缺失（在Facebook數(shù)據(jù)集[10]上的統(tǒng)計(jì)分析發(fā)現(xiàn)，屬性信息平均缺失比例接近20%，單一屬性信息缺失最高達(dá)到50%），描述屬性信息的不完備性導(dǎo)致信息部分丟失，融合難度較大。

針對(duì)上述問(wèn)題，本文提出了一種融合節(jié)點(diǎn)描述屬性信息的網(wǎng)絡(luò)表示（Network Representation Learning with Node Profile Attributes， NPA-NRL）學(xué)習(xí)算法。

首先，在數(shù)據(jù)編碼階段引入基于隨機(jī)擾動(dòng)的數(shù)據(jù)集增強(qiáng)策略迫使模型學(xué)習(xí)更加魯棒的表示向量，解決屬性信息不完備問(wèn)題。

其次，采用將結(jié)構(gòu)編碼和屬性編碼拼接作為神經(jīng)網(wǎng)絡(luò)輸入的優(yōu)先融合策略，實(shí)現(xiàn)訓(xùn)練過(guò)程中兩方面信息的相互補(bǔ)充與制約;同時(shí)，利用深度前饋神經(jīng)網(wǎng)絡(luò)的深度特征抽取能力，獲得更加精準(zhǔn)的特征表示。

最后，分別設(shè)計(jì)了基于結(jié)構(gòu)相似性和屬性相似性保留的優(yōu)化損失函數(shù)，通過(guò)聯(lián)合訓(xùn)練，實(shí)現(xiàn)兩方面信息的融合表示學(xué)習(xí)，充分挖掘語(yǔ)義信息。通過(guò)在多個(gè)公開(kāi)數(shù)據(jù)集上的鏈路預(yù)測(cè)和節(jié)點(diǎn)分類(lèi)實(shí)驗(yàn)，驗(yàn)證了本文算法的有效性。

1?相關(guān)工作

DeepWalk算法[2]首次提出了隨機(jī)游走思想：首先在基于網(wǎng)絡(luò)結(jié)構(gòu)的采樣中得到隨機(jī)游走序列，然后將其作為自然語(yǔ)言處理中SkipGram詞向量模型[14]的輸入來(lái)建模網(wǎng)絡(luò)結(jié)構(gòu)信息，最終得到節(jié)點(diǎn)表示向量。在此基礎(chǔ)上，UPP-SNE（User Profile Preserving Social Network Embedding）算法[15]提出了融合節(jié)點(diǎn)描述屬性信息進(jìn)行表示學(xué)習(xí)的思路：首先通過(guò)K核映射[16]對(duì)節(jié)點(diǎn)描述屬性信息進(jìn)行非線(xiàn)性映射得到表示向量 f（v），然后利用DeepWalk框架將網(wǎng)絡(luò)結(jié)構(gòu)信息編碼到f（v）中，實(shí)現(xiàn)結(jié)構(gòu)和屬性信息的相互約束補(bǔ)充。溫雯等[17]提出了GeVI（Graph embedding by incorporating prior knowledge on Vertices Information）算法，通過(guò)重定義SkipGram模型中條件概率分布為已知節(jié)點(diǎn)屬性特征向量和節(jié)點(diǎn)表示向量的內(nèi)積，實(shí)現(xiàn)兩方面信息的融合表示。

文獻(xiàn)[18]將基于矩陣分解的方法概括為同一框架：1）構(gòu)建節(jié)點(diǎn)間的關(guān)系矩陣;2）對(duì)該矩陣進(jìn)行矩陣分解操作得到節(jié)點(diǎn)表示向量。Yang等[11]提出了TADW（Text-Associated DeepWalk）算法，證明了DeepWalk算法等價(jià)于將特定關(guān)系矩陣M∈RV*V分解為W∈Rd*V和H∈Rd*V。在此基礎(chǔ)上，將節(jié)點(diǎn)文本內(nèi)容屬性信息矩陣T∈Rm*V嵌入到M的矩陣分解中，最終將W和T拼接得到節(jié)點(diǎn)的表示向量。Huang等[19]提出了AANE（Accelerated Attributed Network Embedding）算法：首先通過(guò)節(jié)點(diǎn)屬性信息構(gòu)造屬性相似性矩陣，再對(duì)其進(jìn)行矩陣分解得到節(jié)點(diǎn)的表示向量。最后，在損失函數(shù)增加了基于連接關(guān)系約束的正則項(xiàng)，使得連接關(guān)系緊密的節(jié)點(diǎn)具有相近的表示向量，實(shí)現(xiàn)兩方面信息的融合學(xué)習(xí)。

近年來(lái)，深度學(xué)習(xí)在圖像、文本和語(yǔ)音等領(lǐng)域取得較大進(jìn)展，這主要得益于深度神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜非線(xiàn)性關(guān)系的強(qiáng)大表示能力[20]。而大規(guī)模社會(huì)網(wǎng)絡(luò)信息也具有復(fù)雜非線(xiàn)性的特點(diǎn)，因此出現(xiàn)了大量基于深度神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)算法[4，13，21-22]。SDNE（Structural Deep Network Embedding）算法[4]首次將深度自編碼神經(jīng)網(wǎng)絡(luò)用于網(wǎng)絡(luò)表示學(xué)習(xí)，將網(wǎng)絡(luò)節(jié)點(diǎn)間一階和二階鄰居關(guān)系分別作為自編碼神經(jīng)網(wǎng)絡(luò)的有監(jiān)督和無(wú)監(jiān)督信息進(jìn)行訓(xùn)練，有效實(shí)現(xiàn)了網(wǎng)絡(luò)節(jié)點(diǎn)間的一、二階相似性保留。DNGR（Deep Neural Networks for Graph Representations）算法[21]從保留網(wǎng)絡(luò)全局信息的角度出發(fā)，提出使用隨機(jī)沖浪模型生成的PPMI（Positive Pointwise Mutual Information）矩陣作為堆疊自編碼神經(jīng)網(wǎng)絡(luò)的輸入來(lái)進(jìn)行表示學(xué)習(xí)，并從理論上分析了基于矩陣分解的方法是一種線(xiàn)性映射關(guān)系，難以有效挖掘網(wǎng)絡(luò)的復(fù)雜非線(xiàn)性關(guān)系。SNE（Social Network Embedding）算法[22]考慮融合節(jié)點(diǎn)屬性信息進(jìn)行表示學(xué)習(xí)，將獨(dú)熱編碼的節(jié)點(diǎn)ID（IDentifier）編碼向量和節(jié)點(diǎn)屬性信息編碼向量作為神經(jīng)網(wǎng)絡(luò)輸入，再通過(guò)多層感知機(jī)提取低維特征表示，最后以最大化原始網(wǎng)絡(luò)節(jié)點(diǎn)鄰居共現(xiàn)概率為優(yōu)化目標(biāo)訓(xùn)練得到最優(yōu)的神經(jīng)網(wǎng)絡(luò)參數(shù)。

從表示學(xué)習(xí)模型上來(lái)看：上述基于網(wǎng)絡(luò)結(jié)構(gòu)或者融合節(jié)點(diǎn)屬性的表示方法中，其核心模型可以歸結(jié)為三類(lèi)：詞向量模型、矩陣分解模型和深度神經(jīng)網(wǎng)絡(luò)模型。詞向量模型的優(yōu)勢(shì)在于訓(xùn)練過(guò)程只依賴(lài)于局部信息，便于在線(xiàn)處理，訓(xùn)練速度較快;然而由于詞向量模型屬于淺層模型，難以充分挖掘網(wǎng)絡(luò)復(fù)雜非線(xiàn)性關(guān)系。矩陣分解模型已被證明屬于線(xiàn)性映射過(guò)程，也不適合網(wǎng)絡(luò)復(fù)雜非線(xiàn)性關(guān)系挖掘[21]。相比之下，深度神經(jīng)網(wǎng)絡(luò)作為一種有效的非線(xiàn)性特征提取手段，其主要優(yōu)勢(shì)有以下兩點(diǎn)：一是基于參數(shù)共享的正則化策略?；诰仃嚪纸夂碗S機(jī)游走的方法給每個(gè)節(jié)點(diǎn)獨(dú)立映射為一個(gè)參數(shù)向量，而神經(jīng)網(wǎng)絡(luò)共享唯一一組參數(shù)，參數(shù)共享策略可以作為一種有效的正則化手段[23]。二是有效捕獲網(wǎng)絡(luò)復(fù)雜非線(xiàn)性關(guān)系。神經(jīng)網(wǎng)絡(luò)通過(guò)非線(xiàn)性激活函數(shù)可有效實(shí)現(xiàn)非線(xiàn)性映射。

從信息融合方式上來(lái)看：上述融合節(jié)點(diǎn)屬性的表示方法中，除SNE算法外，均是采用先表示得到節(jié)點(diǎn)屬性信息的表示向量，再考慮結(jié)構(gòu)信息進(jìn)行優(yōu)化更新，這種先表示后融合的訓(xùn)練方式在后續(xù)實(shí)驗(yàn)中被驗(yàn)證是一種低效的融合方式，不能有效發(fā)揮節(jié)點(diǎn)結(jié)構(gòu)信息和屬性信息之間的相互補(bǔ)充與制約。相比之下，SNE算法提出的直接將兩方面信息的原始表示拼接作為輸入數(shù)據(jù)進(jìn)行訓(xùn)練的先融合后表示的策略，能夠更好實(shí)現(xiàn)兩方面信息的融合表示。

2?結(jié)合節(jié)點(diǎn)描述屬性信息的網(wǎng)絡(luò)表示學(xué)習(xí)

2.1?相關(guān)定義

為更好地描述所提模型及其具體算法，首先給出相關(guān)定義及其主要符號(hào)表示如表1所示。

2.2?模型框架

本文的網(wǎng)絡(luò)表示學(xué)習(xí)方法應(yīng)當(dāng)滿(mǎn)足以下要求：一是能夠應(yīng)對(duì)節(jié)點(diǎn)描述屬性信息存在的語(yǔ)義信息相對(duì)分散和不完備等問(wèn)題，二是能夠有效保留網(wǎng)絡(luò)結(jié)構(gòu)相似性和屬性相似性信息。針對(duì)上述要求，本文提出了NPA-NRL算法，其模型框架如圖2所示。下面分別從數(shù)據(jù)編碼、特征提取和數(shù)據(jù)解碼三個(gè)階段詳細(xì)描述。

2.2.1?數(shù)據(jù)編碼

為方便進(jìn)一步采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，首先分別對(duì)節(jié)點(diǎn)網(wǎng)絡(luò)結(jié)構(gòu)信息和描述屬性信息分別進(jìn)行編碼表示。

結(jié)構(gòu)信息編碼：對(duì)于任意網(wǎng)絡(luò)G，其鄰接矩陣S編碼了全部網(wǎng)絡(luò)結(jié)構(gòu)信息。因此，對(duì)于任意節(jié)點(diǎn)vi，將其在S中的對(duì)應(yīng)列向量si作為其結(jié)構(gòu)信息的編碼向量，包含其所有的局部鄰居結(jié)構(gòu)信息。

屬性信息編碼：在實(shí)際網(wǎng)絡(luò)中，節(jié)點(diǎn)描述屬性信息通常是分類(lèi)型數(shù)據(jù)，如性別只包含{男，女}兩種情況。分類(lèi)數(shù)據(jù)的主要特點(diǎn)是：數(shù)據(jù)模式較為復(fù)雜，各個(gè)屬性之間無(wú)直接聯(lián)系，屬性值有限且沒(méi)有明顯的順序和大小之分。因此，本文采用獨(dú)熱編碼將屬性分類(lèi)數(shù)據(jù)編碼為二值特征向量，例如，一個(gè)性別為男性的節(jié)點(diǎn)，該屬性的表示向量為[1，0]。這樣做的好處是能夠保證在編碼空間屬性值的獨(dú)立性，保證屬性值的無(wú)序性。對(duì)于任意節(jié)點(diǎn)vi，考慮到各個(gè)屬性之間的獨(dú)立性，本文將各屬性的表示向量拼接作為最終的節(jié)點(diǎn)屬性信息編碼向量ai。設(shè)aij為節(jié)點(diǎn)vi對(duì)應(yīng)屬性pij的編碼向量，表示向量拼接，則

針對(duì)屬性信息不完備問(wèn)題，傳統(tǒng)方法是利用統(tǒng)計(jì)學(xué)原理對(duì)缺失數(shù)據(jù)進(jìn)行填補(bǔ)，如通過(guò)對(duì)數(shù)據(jù)集已有屬性值取眾數(shù)和平均值等手段賦予缺失屬性一個(gè)缺省值。然而這種處理方法未有效結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)信息，處理結(jié)果往往加劇了數(shù)據(jù)噪聲。因此，本文設(shè)計(jì)了兩個(gè)方面的措施應(yīng)對(duì)該問(wèn)題：一方面將結(jié)構(gòu)編碼和屬性編碼拼接作為神經(jīng)網(wǎng)絡(luò)輸入，實(shí)現(xiàn)結(jié)構(gòu)信息和屬性信息的相互補(bǔ)充，這部分工作將在下一節(jié)中詳細(xì)闡述;另一方面，受文獻(xiàn)[24]啟發(fā)，通過(guò)隨機(jī)擾動(dòng)策略實(shí)現(xiàn)數(shù)據(jù)集增強(qiáng)。

隨機(jī)擾動(dòng)策略的基本思想是：對(duì)于任意輸入數(shù)據(jù)樣本a，本文以概率ε對(duì)其添加隨機(jī)擾動(dòng)，ε為擾動(dòng)概率。通過(guò)隨機(jī)映射q（a）得到部分損壞的作為模型訓(xùn)練的輸入向量。為貼合節(jié)點(diǎn)描述屬性信息部分缺失的情況，本文將隨機(jī)擾動(dòng)設(shè)置為隨機(jī)將部分屬性置零作為輸入向量。通過(guò)訓(xùn)練過(guò)程中數(shù)據(jù)變換，迫使神經(jīng)網(wǎng)絡(luò)挖掘更具區(qū)分性的特征表示。

2.2.2?特征提取

在得到節(jié)點(diǎn)結(jié)構(gòu)編碼向量和屬性編碼向量后，希望通過(guò)深度神經(jīng)網(wǎng)絡(luò)獲得更加抽象的數(shù)據(jù)特征，挖掘更加準(zhǔn)確的節(jié)點(diǎn)表示，應(yīng)對(duì)存在的屬性信息不完備問(wèn)題。

一方面，在輸入向量構(gòu)造上，采用提前融合策略促進(jìn)知識(shí)交互。如圖2所示，本文直接將節(jié)點(diǎn)結(jié)構(gòu)信息編碼向量和節(jié)點(diǎn)描述屬性信息編碼向量拼接作為深度神經(jīng)網(wǎng)絡(luò)輸入。這種提前融合策略在大量端到端的深度學(xué)習(xí)模型都取得了較好性能[12-22]，能夠有效實(shí)現(xiàn)兩方面信息的相互補(bǔ)充制約。定義輸入向量xi表示如下：xi=sii（2）

另一方面，在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)上，采用塔式結(jié)構(gòu)的深度前饋網(wǎng)絡(luò)提取數(shù)據(jù)的抽象特征表示。萬(wàn)能近似定理表明，深度前饋網(wǎng)絡(luò)具有非常強(qiáng)大的數(shù)據(jù)擬合能力[25]，在網(wǎng)絡(luò)數(shù)據(jù)特征抽取中也表現(xiàn)出較好性能[4，22]。因此，如圖2所示，將節(jié)點(diǎn)輸入向量xi送入深度前饋網(wǎng)絡(luò)，通過(guò)逐層減少隱藏層單元數(shù)量，獲得更加抽象的節(jié)點(diǎn)特征表示。記隱層輸出向量為y（1）i、 y（2）i、…、 y（K）i，具體定義如下：

2.2.3?數(shù)據(jù)解碼

表示學(xué)習(xí)的目的在于有效保留原始網(wǎng)絡(luò)信息，挖掘潛在特征表示，更好地服務(wù)于后續(xù)的數(shù)據(jù)挖掘任務(wù)[20]。為充分挖掘原始網(wǎng)絡(luò)語(yǔ)義信息，本文算法得到的節(jié)點(diǎn)表示向量 y應(yīng)當(dāng)同時(shí)實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)相似性保留和節(jié)點(diǎn)屬性相似性保留。因此，分別設(shè)計(jì)相應(yīng)的優(yōu)化損失函數(shù)如下：結(jié)構(gòu)相似性保留：文獻(xiàn)[6]指出，節(jié)點(diǎn)鄰居節(jié)點(diǎn)集合對(duì)于推理節(jié)點(diǎn)間的結(jié)構(gòu)相似性關(guān)系具有重要作用。因此，類(lèi)似于SkipGram詞向量模型[14]中通過(guò)詞向量來(lái)預(yù)測(cè)上下文詞，可以將節(jié)點(diǎn)鄰居節(jié)點(diǎn)看作一種“上下文”，通過(guò)最大化節(jié)點(diǎn)預(yù)測(cè)其鄰居“上下文”節(jié)點(diǎn)的概率，實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)相似性保留。定義結(jié)構(gòu)優(yōu)化損失函數(shù)Lstr如下：

屬性相似性保留：網(wǎng)絡(luò)同質(zhì)性表明，具有連接關(guān)系的節(jié)點(diǎn)間通常具有相似的屬性信息[7-9]。因此，本文提出了基于連接關(guān)系約束的屬性相似性保留方法，使得具有連接關(guān)系的節(jié)點(diǎn)間的表示向量在表示空間距離相近，實(shí)現(xiàn)節(jié)點(diǎn)屬性信息相似性保留。定義損失函數(shù)如下：

算法1在預(yù)處理階段：一方面通過(guò)對(duì)網(wǎng)絡(luò)邊集隨機(jī)采樣劃分訓(xùn)練集和驗(yàn)證集，訓(xùn)練集用于梯度計(jì)算及參數(shù)更新，驗(yàn)證集用于判斷模型收斂情況;

另一方面，使用Xavier[26]初始化方法進(jìn)行神經(jīng)網(wǎng)絡(luò)隱層參數(shù)θh初始化，作為“上下文”節(jié)點(diǎn)的輔助參數(shù)使用高斯分布進(jìn)行初始化θc～N（0，1）。

在模型訓(xùn)練階段，采用學(xué)習(xí)率自適應(yīng)的Adam優(yōu)化方法[27]計(jì)算參數(shù)更新，將動(dòng)量并入梯度計(jì)算中，實(shí)現(xiàn)算法的快速收斂。

然而，片面追求最優(yōu)解并非算法的最終目標(biāo)，模型泛化能力才是關(guān)注重點(diǎn)，因此，采用提前終止策略防止模型過(guò)擬合。鏈路預(yù)測(cè)任務(wù)能夠反映節(jié)點(diǎn)表示向量的網(wǎng)絡(luò)重構(gòu)能力，因此，本文中迭代停止條件設(shè)置為：驗(yàn)證集上的鏈路預(yù)測(cè)AUC指標(biāo)值小于前10次的平均值。

2.4?算法時(shí)間復(fù)雜度分析

NPA-NRL算法訓(xùn)練過(guò)程包括數(shù)據(jù)編碼和參數(shù)更新兩部分，下面分別進(jìn)行相應(yīng)的時(shí)間復(fù)雜度分析。

在輸入數(shù)據(jù)編碼過(guò)程中，引入了隨機(jī)噪聲到數(shù)據(jù)編碼中，時(shí)間復(fù)雜度為O（nd），其中：n為網(wǎng)絡(luò)中的節(jié)點(diǎn)個(gè)數(shù)，d為迭代次數(shù)。該過(guò)程的復(fù)雜度與輸入數(shù)據(jù)規(guī)模呈線(xiàn)性關(guān)系。

綜上所述，由于r，nin（i），nout（i）n，NPA-NRL算法整體時(shí)間復(fù)雜度為O（n），與網(wǎng)絡(luò)規(guī)模呈線(xiàn)性關(guān)系，適合大規(guī)模數(shù)據(jù)處理中的實(shí)際應(yīng)用。

3?實(shí)驗(yàn)與結(jié)果分析

3.1?實(shí)驗(yàn)設(shè)定

3.1.1?實(shí)驗(yàn)數(shù)據(jù)集

本文在三個(gè)真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)仿真，實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)指標(biāo)如表2所示。數(shù)據(jù)集介紹如下：GPLUS（Google Plus）[28]：來(lái)自一個(gè)Google Plus用戶(hù)的自中心網(wǎng)絡(luò)，節(jié)點(diǎn)表示用戶(hù)的“朋友”，連邊表示有社交聯(lián)系的用戶(hù)。包含4450個(gè)節(jié)點(diǎn)和1473709條連邊，每一個(gè)節(jié)點(diǎn)包含6個(gè)用戶(hù)描述屬性信息：性別、機(jī)構(gòu)、職業(yè)、姓氏、地區(qū)、大學(xué)。本文使用性別作為類(lèi)別標(biāo)簽。

OKLAHOMA、UNC[10]： 來(lái)自Traud等[10]以高校為單位采集的Facebook社交關(guān)系數(shù)據(jù)集中的兩個(gè)。其中OKLAHOMA包含17425個(gè)節(jié)點(diǎn)和892528條連邊，UNC包含18163個(gè)節(jié)點(diǎn)和766800條連邊。每一個(gè)節(jié)點(diǎn)包含7個(gè)用戶(hù)描述屬性信息：學(xué)生/教師狀態(tài)標(biāo)記、性別、主修、輔修、住址、年級(jí)、高中。本文使用狀態(tài)標(biāo)記作為類(lèi)別標(biāo)簽。

3.1.2?評(píng)價(jià)任務(wù)及其指標(biāo)

本文通過(guò)現(xiàn)有文獻(xiàn)中最為常見(jiàn)的鏈路預(yù)測(cè)和節(jié)點(diǎn)分類(lèi)兩個(gè)任務(wù)，來(lái)評(píng)測(cè)網(wǎng)絡(luò)表示學(xué)習(xí)算法性能。鏈路預(yù)測(cè)任務(wù)用來(lái)評(píng)價(jià)節(jié)點(diǎn)表示的重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)能力，節(jié)點(diǎn)分類(lèi)任務(wù)用于評(píng)價(jià)節(jié)點(diǎn)表示能否有效應(yīng)用到后續(xù)的網(wǎng)絡(luò)分析任務(wù)。

1）鏈路預(yù)測(cè)。參考文獻(xiàn)[4，22]，隨機(jī)選擇10%網(wǎng)絡(luò)連邊作為測(cè)試集，另10%作為驗(yàn)證集用于超參數(shù)調(diào)節(jié)，剩余80%作為訓(xùn)練集。本文使用AUC指標(biāo)[29]從整體上衡量算法的精確度。

在鏈路預(yù)測(cè)實(shí)驗(yàn)中，使用余弦相似性作為節(jié)點(diǎn)間具有連邊的得分值。AUC可以理解為在測(cè)試集中邊的得分值比隨機(jī)選擇一條不存在的邊的分?jǐn)?shù)值高的概率。獨(dú)立比較n次，記測(cè)試集中邊的分?jǐn)?shù)值大于不存在的邊的分?jǐn)?shù)值的比較次數(shù)為n′，分?jǐn)?shù)值相等的比較次數(shù)為n"，則AUC定義為：

AUC=n′+0.5n"n（21）

2）節(jié)點(diǎn)分類(lèi)。模型訓(xùn)練超參數(shù)設(shè)置與鏈路預(yù)測(cè)任務(wù)中參數(shù)設(shè)置保持一致。訓(xùn)練集中包含80%的網(wǎng)絡(luò)連邊和所有的節(jié)點(diǎn)描述屬性信息（不包括類(lèi)別標(biāo)簽）。然后，對(duì)于所有模型，使用LibLinear工具包[30]中的線(xiàn)性支持向量機(jī)（Support Vector Machine， SVM）構(gòu)建分類(lèi)器。為反映表示向量在所有節(jié)點(diǎn)上的分類(lèi)性能綜合評(píng)價(jià)，本文采用F1指標(biāo)作為衡量表示向量在所有節(jié)點(diǎn)上的分類(lèi)性能的綜合評(píng)價(jià)指標(biāo)。

3.1.3?對(duì)比算法及其參數(shù)設(shè)置

實(shí)驗(yàn)對(duì)比算法如下：DeepWalk[2]：基于截?cái)嚯S機(jī)游走和SkipGram模型獲得節(jié)點(diǎn)表示向量。該算法僅利用了網(wǎng)絡(luò)結(jié)構(gòu)信息，作為其他融合算法的參考。

TADW[11]：基于矩陣分解形式的融合算法，結(jié)合節(jié)點(diǎn)屬性信息矩陣進(jìn)行聯(lián)合矩陣分解，獲得節(jié)點(diǎn)的融合表示向量。該算法作為基于矩陣分解的融合對(duì)比算法。

UPP-SNE[15]：在DeepWalk算法基礎(chǔ)上，改進(jìn)SkipGram模型，通過(guò)向量?jī)?nèi)積實(shí)現(xiàn)兩方面信息的知識(shí)交互。該算法作為基于隨機(jī)游走的融合對(duì)比算法。

SNE[22]：基于深度神經(jīng)網(wǎng)絡(luò)的融合算法，利用深度神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性特征提取能力，挖掘節(jié)點(diǎn)間的復(fù)雜非線(xiàn)性關(guān)系，實(shí)現(xiàn)節(jié)點(diǎn)融合表示向量特征提取。該算法作為基于深度神經(jīng)網(wǎng)絡(luò)的融合對(duì)比算法。

NPA-NRL：本文提出的一種基于深度神經(jīng)網(wǎng)絡(luò)的融合算法。通過(guò)在訓(xùn)練過(guò)程引入基于網(wǎng)絡(luò)同質(zhì)性原理的屬性相似性度量函數(shù)以及基于隨機(jī)擾動(dòng)的數(shù)據(jù)集增強(qiáng)策略，有效應(yīng)對(duì)節(jié)點(diǎn)描述屬性信息存在的語(yǔ)義信息分散和屬性不完備問(wèn)題。NPA-NRL（-）是該算法的退化算法，在訓(xùn)練過(guò)程中未加入隨機(jī)擾動(dòng)，作為對(duì)比算法驗(yàn)證增加屬性相似性度量函數(shù)和數(shù)據(jù)集增強(qiáng)策略發(fā)揮的不同作用。

本文中對(duì)比算法的實(shí)驗(yàn)參數(shù)參考相應(yīng)文獻(xiàn)的推薦設(shè)置：所有算法的表示向量維度統(tǒng)一設(shè)置為128維，與文獻(xiàn)[15]保持一致。除表示向量維度外，基于矩陣分解的SVD算法和UPP-SNE算法無(wú)其他參數(shù)?；陔S機(jī)游走的DeepWalk算法和UPP-SNE算法按照文獻(xiàn)[15]中提供參數(shù)進(jìn)行設(shè)置，每個(gè)節(jié)點(diǎn)的隨機(jī)游走次數(shù)r=40，隨機(jī)游走長(zhǎng)度l=40，窗口大小t=10，迭代次數(shù)d=40?；谏疃壬窠?jīng)網(wǎng)絡(luò)的SNE算法按照[22]中提供的最優(yōu)參數(shù)進(jìn)行設(shè)置，對(duì)于新增數(shù)據(jù)集GPLUS，批量訓(xùn)練大小參數(shù)為bs=64，初始學(xué)習(xí)率為η=0.0001，輸入屬性串接權(quán)重λ=0.8。本文NPA-NRL算法的參數(shù)設(shè)置參考文獻(xiàn)[22]思路，通過(guò)比較給定參數(shù)空間內(nèi)驗(yàn)證集上的鏈路預(yù)測(cè)性能，得到最優(yōu)參數(shù)設(shè)定如表3所示。

3.2?結(jié)果分析

3.2.1?鏈路預(yù)測(cè)實(shí)驗(yàn)分析

表4記錄了NPA-NRL算法和其他對(duì)比算法在三個(gè)實(shí)驗(yàn)數(shù)據(jù)集上的鏈路預(yù)測(cè)AUC值。從實(shí)驗(yàn)結(jié)果可看出，相對(duì)于其他對(duì)比算法，本文算法性能提高了0.83%～6.30%，平均提升2.75%。融合算法（TADW、UPP-SNE、SNE和NPA-NRL）和僅考慮網(wǎng)絡(luò)結(jié)構(gòu)信息的DeepWalk算法相比，平均提高3.14%，這也驗(yàn)證了融合網(wǎng)絡(luò)節(jié)點(diǎn)屬性信息進(jìn)行表示學(xué)習(xí)的重要意義。

3.2.2?節(jié)點(diǎn)分類(lèi)實(shí)驗(yàn)分析

下面通過(guò)節(jié)點(diǎn)分類(lèi)實(shí)驗(yàn)，進(jìn)一步分析網(wǎng)絡(luò)節(jié)點(diǎn)表示應(yīng)用到后續(xù)網(wǎng)絡(luò)分析任務(wù)中性能表現(xiàn)。通過(guò)設(shè)置不同比例的有標(biāo)簽數(shù)據(jù)訓(xùn)練分類(lèi)器，評(píng)估各算法得到的表示向量的節(jié)點(diǎn)分類(lèi)性能。每個(gè)訓(xùn)練率下，重復(fù)50次實(shí)驗(yàn)，記節(jié)點(diǎn)分類(lèi)的平均F1值如表5～7所示（括號(hào)內(nèi)為標(biāo)準(zhǔn)差），下面進(jìn)行具體分析：首先，和鏈路預(yù)測(cè)結(jié)果一樣，僅利用網(wǎng)絡(luò)結(jié)構(gòu)信息的DeepWalk算法性能最低，這再次驗(yàn)證節(jié)點(diǎn)屬性信息對(duì)于更加精確的節(jié)點(diǎn)表示的重要作用。其次，本文算法與同樣考慮兩方面信息的TADW算法及UPP-SNE算法相比仍然具有優(yōu)勢(shì)。在訓(xùn)練數(shù)據(jù)較少的情況下，TADW算法在OKLAHOMA和UNC兩個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類(lèi)性能甚至低于DeepWalk算法。這是因?yàn)門(mén)ADW算法是基于線(xiàn)性映射的方式得到節(jié)點(diǎn)表示向量，難以有效應(yīng)對(duì)節(jié)點(diǎn)描述屬性信息中數(shù)據(jù)不完備問(wèn)題。相比之下，UPP-SNE算法利用SkipGram模型有效實(shí)現(xiàn)兩方面信息的融合，節(jié)點(diǎn)分類(lèi)性能進(jìn)一步提高。然而SkipGram模型這種淺層模型難以有效挖掘節(jié)點(diǎn)網(wǎng)絡(luò)結(jié)構(gòu)信息和描述屬性信息之間的復(fù)雜非線(xiàn)性關(guān)系，因此性能并非最優(yōu)。

最后，和同樣采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行融合表示學(xué)習(xí)的SNE算法相比，本文算法利用節(jié)點(diǎn)描述屬性信息的能力上效果更顯著：一方面，由于在訓(xùn)練過(guò)程中考慮基于連接關(guān)系約束的屬性相似性保留優(yōu)化損失函數(shù)，NPA-NRL（-）算法更加充分利用了節(jié)點(diǎn)屬性同質(zhì)性信息，在三個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類(lèi)性能平均提高2.28%;另一方面，通過(guò)在訓(xùn)練過(guò)程中引入對(duì)輸入數(shù)據(jù)的隨機(jī)擾動(dòng)，使得NPA-NRL算法能夠在節(jié)點(diǎn)屬性信息不完備的情況下，獲得具有魯棒性的表示向量。

在訓(xùn)練率僅為2%的情況下，本文NPA-NRL算法和SNE算法相比，節(jié)點(diǎn)分類(lèi)性能分別提高了6.05%（GPLUS）、6.13%（OKLAHOMA）和4.12%（UNC），表明NPA-NRL算法所得表示向量具有較強(qiáng)區(qū)分性。和對(duì)比算法相比，NPA-NRL算法在三個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類(lèi)性能平均提升7.10%。

3.3?參數(shù)敏感性分析

本節(jié)進(jìn)一步分析超參數(shù)對(duì)NPA-NRL算法性能影響。如圖3所示，測(cè)試了算法在不同參數(shù)選擇下的節(jié)點(diǎn)分類(lèi)性能指標(biāo)F1值的變化趨勢(shì)。在實(shí)驗(yàn)過(guò)程中，除測(cè)試參數(shù)外，其余參數(shù)設(shè)定為默認(rèn)值，分類(lèi)器訓(xùn)練數(shù)據(jù)比例設(shè)置為10%。

首先，從如圖3（a）的對(duì)比實(shí)驗(yàn)中發(fā)現(xiàn)，隨著表示向量維度增加，節(jié)點(diǎn)分類(lèi)性能逐步提升，當(dāng)表示向量增加到一定程度后，算法性能有輕微的增長(zhǎng)且趨于穩(wěn)定。同時(shí)發(fā)現(xiàn)：在OKLAHOMA和UNC兩個(gè)相對(duì)稀疏的網(wǎng)絡(luò)中，節(jié)點(diǎn)分類(lèi)性能隨著表示向量維度增加，節(jié)點(diǎn)分類(lèi)性能提升較快。這是因?yàn)樵谙∈杈W(wǎng)絡(luò)中，節(jié)點(diǎn)結(jié)構(gòu)特征相對(duì)分散，需要更多的維度來(lái)表示節(jié)點(diǎn)間的相似性和差異性。因此， 本文算法仿真中設(shè)置默認(rèn)值為128，在保證較優(yōu)性能的同時(shí)使用較少的特征維度。

其次，通過(guò)調(diào)整λ取值，進(jìn)一步研究屬性權(quán)重大小對(duì)節(jié)點(diǎn)分類(lèi)性能的影響。當(dāng)λ較小時(shí)，隨著λ增加，節(jié)點(diǎn)分類(lèi)性能逐漸提升。如圖3（b）所示，當(dāng)λ在0.3附近時(shí)在三個(gè)數(shù)據(jù)集中均取得較優(yōu)性能。當(dāng)λ較大時(shí)，節(jié)點(diǎn)分類(lèi)性能逐漸下降，這是因?yàn)檩^大的λ使得所有節(jié)點(diǎn)表示向量趨于相同，減弱了節(jié)點(diǎn)間結(jié)構(gòu)特征信息對(duì)表示向量的影響，導(dǎo)致分類(lèi)性能下降。因此， 本文算法仿真中設(shè)置默認(rèn)值為0.3。

最后，圖3（c）給出了節(jié)點(diǎn)分類(lèi)F1值隨隨機(jī)擾動(dòng)概率的變化趨勢(shì)。隨著隨機(jī)擾動(dòng)概率增加，節(jié)點(diǎn)分類(lèi)性能逐漸提升。當(dāng)ε超過(guò)一定值時(shí)，節(jié)點(diǎn)分類(lèi)性能逐漸下降，說(shuō)明過(guò)量隨機(jī)噪聲引入導(dǎo)致節(jié)點(diǎn)屬性的關(guān)鍵信息丟失。因此， 本文算法仿真中設(shè)置默認(rèn)值為0.5。

4?結(jié)語(yǔ)

本文針對(duì)融合節(jié)點(diǎn)描述屬性進(jìn)行表示學(xué)習(xí)過(guò)程中面臨的節(jié)點(diǎn)描述屬性信息語(yǔ)義信息分散和信息不完備問(wèn)題，分別提出了兩項(xiàng)優(yōu)化策略：一是設(shè)計(jì)了基于網(wǎng)絡(luò)同質(zhì)性原理的節(jié)點(diǎn)屬性相似性度量函數(shù)和基于SkipGram模型的結(jié)構(gòu)相似性度量函數(shù)，通過(guò)聯(lián)合訓(xùn)練實(shí)現(xiàn)融合語(yǔ)義信息挖掘。二是設(shè)計(jì)了基于隨機(jī)擾動(dòng)的數(shù)據(jù)集增強(qiáng)策略，結(jié)合優(yōu)先融合策略，有效實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)信息和描述屬性信息的相互補(bǔ)充制約，在屬性信息不完備的情況下，能夠獲得較為魯棒的節(jié)點(diǎn)表示。實(shí)驗(yàn)結(jié)果表明，本文算法能夠有效提升節(jié)點(diǎn)表示向量在鏈路預(yù)測(cè)和節(jié)點(diǎn)分類(lèi)任務(wù)中性能。然而，本文算法僅適用于同質(zhì)信息網(wǎng)絡(luò)的表示學(xué)習(xí)，網(wǎng)絡(luò)同質(zhì)性原理在異質(zhì)信息網(wǎng)絡(luò)中不再成立。后續(xù)將對(duì)此展開(kāi)深入分析研究。

參考文獻(xiàn)（References）

[1] 丁兆云， 賈焰， 周斌.微博數(shù)據(jù)挖掘研究綜述[J]. 計(jì)算機(jī)研究與發(fā)展， 2014， 51（4）： 691-706. （DING Z Y， JIA Y， ZHOU B. Survey of data mining for microblogs [J]. Journal of Computer Research and Development， 2014， 51（4）： 691-706.）

[2] PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations [C]// KDD 2014： Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710.

[3] TANG J， QU M， WANG M， et al. LINE： large-scale information network embedding [C]// WWW 2015： Proceedings of the 24th International Conference on World Wide Web. Geneva， Switzerland： International World Wide Web Conferences Steering Committee， 2015： 1067-1077.

[4] WANG D， CUI P， ZHU W. Structural deep network embedding [C]// KDD 2016： Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1225-1234.

[5] 李志宇， 梁循， 周小平， 等. 一種大規(guī)模網(wǎng)絡(luò)中基于節(jié)點(diǎn)結(jié)構(gòu)特征映射的鏈接預(yù)測(cè)方法[J]. 計(jì)算機(jī)學(xué)報(bào)， 2016， 39（10）： 1947-1964. （LI Z Y， LIANG X， ZHOU X P， et al. A link prediction method for large-scale networks [J]. Chinese Journal of Computers， 2016， 39（10）： 1947-1964.）

[6] WANG Z， CHEN C， LI W. Predictive network representation learning for link prediction [C]// SIGIR 2017： Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 969-972.

[7] YANG J， McAULEY J， LESKOVEC J. Community detection in networks with node attributes [C]// ICDM 2013： Proceedings of the 2013 IEEE 13th International Conference on Data Mining. Piscataway， NJ： IEEE， 2013： 1151-1156.

[8] McPHERSON M， SMITH-LOVIN L， COOK J M. Birds of a feather： homophily in social networks [J]. Annual Review of Sociology， 2001， 27（1）： 415-444.

[9] AIELLO L M， BARRAT A， SCHIFANELLA R， et al. Friendship prediction and homophily in social media[J]. ACM Transactions on the Web， 2012， 6（2）： 1-33.

[10] TRAUD A L， MUCHA P J， PORTER M A. Social structure of Facebook networks [J]. Physica A： Statistical Mechanics and its Applications， 2012， 391（16）： 4165-4180.

[11] YANG C， LIU Z， ZHAO D， et al. Network representation learning with rich text information [C]// IJCAI 2015： Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 2111-2117.

[12] ZHANG D， YIN J， ZHU X， et al. Homophily， structure， and content augmented network representation learning [C]// ICDM 2016： Proceedings of the 16th IEEE International Conference on Data Mining Series. Piscataway， NJ： IEEE， 2016： 609-618.

[13] LI H， WANG H， YANG Z， et al. Variation autoencoder based network representation learning for classification [C]// ACL 2017： Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA， USA： ACL， 2017： 56-61.

[14] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality [C]// NIPS 2013： Proceedings of the Twenty-Seventh Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2013： 3111-3119.

[15] ZHANG D， YIN J， ZHU X， et al. User profile preserving social network embedding [C]// IJCAI 2017： Proceedings of the 26th International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2017： 3378-3384.

[16] RAHIMI A， RECHT B. Random features for large-scale kernel machines [C]// NIPS 2008： Proceedings of the Twenty-Second Annual Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2008： 1177-1184.

[17] 溫雯， 黃家明， 蔡瑞初， 等. 一種融合節(jié)點(diǎn)先驗(yàn)信息的圖表示學(xué)習(xí)方法[J]. 軟件學(xué)報(bào)， 2018， 29（3）： 786-798. （WEN W， HUANG J M， CAI R C， et al. Graph embedding by incorporating prior knowledge on vertex information[J]. Journal of Software， 2018， 29（3）： 786-798.）

[18] YANG C， SUN M， LIU Z， et al. Fast network embedding enhancement via high order proximity approximation [C]// IJCAI 2017： Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2017： 19-25.

[19] HUANG X， LI J， HU X. Accelerated attributed network embedding [C]// SDM 2017： Proceedings of the 2017 SIAM International Conference on Data Mining. Philadelphia： SIAM， 2017： 633-641.

[20] LeCUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[21] CAO S， LU W， XU Q. Deep neural networks for learning graph representations [C]// AAAI 2016： Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2016： 1145-1152.

[22] LIAO L， HE X， ZHANG H， et al. Attributed social network embedding[J]. IEEE Transactions on Knowledge and Data Engineering， 2018， 30（12）： 2257-2270.

[23] HAMILTON W L， YING R， LESKOVEC J. Representation learning on graphs： methods and applications[EB/OL]. [2018-05-10]. https：//arxiv.org/pdf/1709.05584.

[24] SIETSMA J， DOW R J F. Creating artificial neural networks that generalize[J]. Neural Networks， 1991， 4（1）： 67-79.

[25] HORNIK K， STINCHCOMBE M， WHITE H. Multilayer feedforward networks are universal approximators[J]. Neural Networks， 1989， 2（5）： 359-366.

[26] GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks [C]// AISTATS 2010： Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics. Cambridge， MA： MIT Press， 2010： 249-256.

[27] KINGMA D P， BA J. Adam： a method for stochastic optimization[EB/OL]. [2018-05-10]. https：//arxiv.org/pdf/1412.6980.

[28] LESKOVEC J， MCAULEY J J. Learning to discover social circles in ego networks [C]// NIPS 2012： Proceedings of the Twenty-sixth Annual Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2012： 539-547.

[29] 呂琳媛. 復(fù)雜網(wǎng)絡(luò)鏈路預(yù)測(cè)[J]. 電子科技大學(xué)學(xué)報(bào)， 2010， 39（5）： 651-661. （LYU L Y. Link prediction on complex networks [J]. Journal of University of Electronic Science and Technology of China， 2010， 39（5）： 651-661.）

[30] FAN R E， CHANG K W， HSIEH C J， et al. LIBLINEAR： a library for large linear classification[J]. Journal of Machine Learning Research， 2008， 9： 1871-1874.