富坤，郝玉涵，孫明磊，劉贏華

基于優(yōu)化圖結(jié)構(gòu)自編碼器的網(wǎng)絡(luò)表示學(xué)習(xí)

富坤*，郝玉涵，孫明磊，劉贏華

（河北工業(yè)大學(xué) 人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300401）（ ? 通信作者電子郵箱fukun@hebut.edu.cn）

網(wǎng)絡(luò)表示學(xué)習(xí)（NRL）旨在學(xué)習(xí)網(wǎng)絡(luò)頂點(diǎn)的潛在、低維表示，再將得到的表示用于下游的網(wǎng)絡(luò)分析任務(wù)。針對(duì)現(xiàn)有采用自編碼器的NRL算法不能充分提取節(jié)點(diǎn)屬性信息，學(xué)習(xí)時(shí)容易產(chǎn)生信息偏差從而影響學(xué)習(xí)效果的問題，提出一種基于優(yōu)化圖結(jié)構(gòu)自編碼器的網(wǎng)絡(luò)表示學(xué)習(xí)模型（NR-AGS），通過優(yōu)化圖結(jié)構(gòu)的方式提高準(zhǔn)確率。首先，融合結(jié)構(gòu)和屬性信息來生成結(jié)構(gòu)和屬性聯(lián)合轉(zhuǎn)移矩陣，進(jìn)而形成高維表示；其次，利用自編碼器學(xué)習(xí)低維嵌入表示；最后，通過在學(xué)習(xí)過程中加入深度嵌入聚類算法，對(duì)自編碼器的訓(xùn)練過程和節(jié)點(diǎn)的類別分布劃分形成自監(jiān)督機(jī)制，并且通過改進(jìn)的最大均值差異（MMD）算法減小學(xué)習(xí)得到的低維嵌入潛在表示層分布和原始數(shù)據(jù)分布的差距。此外，NR-AGS使用自編碼器的重構(gòu)損失、深度嵌入聚類損失和改進(jìn)的MMD損失共同優(yōu)化網(wǎng)絡(luò)。應(yīng)用NR-AGS對(duì)3個(gè)真實(shí)數(shù)據(jù)集進(jìn)行學(xué)習(xí)，再使用得到的低維表示完成下游的節(jié)點(diǎn)分類和節(jié)點(diǎn)聚類任務(wù)。實(shí)驗(yàn)結(jié)果表明，與深度圖表示模型DNGR（Deep Neural networks for Graph Representations）相比，NR-AGS在Cora、Citeseer、Wiki數(shù)據(jù)集上的Micro-F1值分別至少提升了7.2、13.5和8.2個(gè)百分點(diǎn)?？梢?，NR-AGS可以有效提升NRL的學(xué)習(xí)效果。

網(wǎng)絡(luò)表示學(xué)習(xí)；屬性信息；自編碼器；深度嵌入聚類；最大均值差異

0 引言

隨著信息技術(shù)的廣泛使用，分析社交網(wǎng)絡(luò)、生物網(wǎng)絡(luò)和引文網(wǎng)絡(luò)等信息網(wǎng)絡(luò)能夠提取社會(huì)生活的各方面潛在的信息，在許多學(xué)科的各種新興應(yīng)用程序中發(fā)揮著重要的作用［1-3］。例如，在社交網(wǎng)絡(luò)中，將用戶分類為不同的社會(huì)群體有助于現(xiàn)實(shí)中的一些任務(wù)，如用戶搜索、有針對(duì)性的廣告和推薦等；在通信網(wǎng)絡(luò)中，檢測(cè)網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)可以幫助更好地理解謠言的傳播過程。然而，對(duì)這些網(wǎng)絡(luò)的有效分析依賴于網(wǎng)絡(luò)的表示學(xué)習(xí)［4］。

網(wǎng)絡(luò)表示學(xué)習(xí)（Network Representation Learning， NRL）的目的是學(xué)習(xí)網(wǎng)絡(luò)頂點(diǎn)的潛在、低維嵌入表示，同時(shí)保留網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、頂點(diǎn)內(nèi)容和其他邊信息［5］。在學(xué)習(xí)了新的頂點(diǎn)低維嵌入表示后，可以輕松有效地執(zhí)行網(wǎng)絡(luò)分析任務(wù)，如節(jié)點(diǎn)聚類、節(jié)點(diǎn)分類、鏈路預(yù)測(cè)等［6］。相關(guān)NRL模型有：基于結(jié)構(gòu)信息的模型，如DeepWalk［7］、Node2Vec［8］、DNGR（Deep Neural Networks For Graph Representations）［9］、O2MAC （One2Multi graph Autoencoder for multi-view graph Clustering）［10］等；基于結(jié)構(gòu)和屬性信息的模型，如TADW （Text-Associated DeepWalk）［11］、DFCN（Deep Fusion Clustering Network）［12］、變分圖自動(dòng)編碼器（Variational Graph Auto-Encoder， GVAE）［13］等。但是，當(dāng)前的NRL方法存在以下兩個(gè)關(guān)鍵問題：1）網(wǎng)絡(luò)中的屬性信息可以補(bǔ)償結(jié)構(gòu)信息，因此有效提取屬性信息是很重要的［14］；2）在生成低維表示的學(xué)習(xí)過程中存在一定的信息偏差，影響網(wǎng)絡(luò)表示學(xué)習(xí)的效果。

針對(duì)以上問題，本文提出了基于優(yōu)化圖結(jié)構(gòu)自編碼器的網(wǎng)絡(luò)表示學(xué)習(xí)模型（Network Representation learning model based on Autoencoder with optimized Graph Structure， NR-AGS），該模型能夠充分利用網(wǎng)絡(luò)中的結(jié)構(gòu)和屬性信息，提高網(wǎng)絡(luò)節(jié)點(diǎn)的聚集性，減小低維嵌入表示與原始數(shù)據(jù)分布的差距，優(yōu)化低維表示空間的結(jié)構(gòu)。

本文主要工作如下：

1）通過隨機(jī)游走算法，將結(jié)構(gòu)和屬性信息聯(lián)合形成結(jié)構(gòu)和屬性聯(lián)合轉(zhuǎn)移矩陣PPMI（Positive Pointwise Mutual Information），該矩陣使結(jié)構(gòu)和屬性信息的聯(lián)系更加緊密，并且相互補(bǔ)充、制約，能夠更加充分利用網(wǎng)絡(luò)的信息學(xué)習(xí)。

2）在運(yùn)用自編碼器（Autoencoder）學(xué)習(xí)低維嵌入表示時(shí)，引入深度嵌入聚類損失和改進(jìn)的最大均值差異（Maximum Mean Discrepancy， MMD）損失共同訓(xùn)練網(wǎng)絡(luò)。深度嵌入聚類損失使學(xué)習(xí)得到的數(shù)據(jù)中同類別的節(jié)點(diǎn)更加聚集，將聚類和自動(dòng)編碼器統(tǒng)一在一個(gè)框架中。使用聚類分布指導(dǎo)網(wǎng)絡(luò)表示的學(xué)習(xí)，反之，低維嵌入目標(biāo)也監(jiān)督聚類的生成，形成自監(jiān)督機(jī)制，利用該機(jī)制優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)表示學(xué)習(xí)的效果。改進(jìn)的MMD損失使學(xué)習(xí)到的低維嵌入表示分布更加接近原始數(shù)據(jù)分布，有利于保持它們的一致性。

3）運(yùn)用NR-AGS學(xué)習(xí)的低維嵌入在Cora（https：//linqs-data.soe.ucsc.edu/public/lbc/cora.tgz）、Citseer（https：//linqs-data.soe.ucsc.edu/public/lbc/citeseer.tgz）、Wiki（https：//dumps.wikimedia.org/wikidatawiki/entities/）這3個(gè)公開經(jīng)典數(shù)據(jù)集上的下游任務(wù)結(jié)果表明了NR-AGS的有效性，提升了網(wǎng)絡(luò)表示學(xué)習(xí)的結(jié)果。

1 相關(guān)工作

給定一個(gè)信息網(wǎng)絡(luò)（，，，），其中：是節(jié)點(diǎn)集合，是邊集合，是節(jié)點(diǎn)屬性，是節(jié)點(diǎn)標(biāo)簽。網(wǎng)絡(luò)表示學(xué)習(xí)研究的目標(biāo)是：面對(duì)大規(guī)模并且稀疏的網(wǎng)絡(luò)，設(shè)計(jì)能夠滿足保留網(wǎng)絡(luò)的局部和全局結(jié)構(gòu)，并有效利用頂點(diǎn)屬性信息，最終得到的節(jié)點(diǎn)低維嵌入表示能夠高效地完成下游網(wǎng)絡(luò)分析任務(wù)，如節(jié)點(diǎn)分類、節(jié)點(diǎn)聚類、社區(qū)檢測(cè)等。

一部分網(wǎng)絡(luò)表示學(xué)習(xí)模型只學(xué)習(xí)結(jié)構(gòu)信息：DeepWalk［7］利用隨機(jī)游走將網(wǎng)絡(luò)嵌入問題轉(zhuǎn)化為一個(gè)詞嵌入問題；Node2Vec［8］在DeepWalk的基礎(chǔ)上增加了廣度優(yōu)先和深度優(yōu)先以探索不同的節(jié)點(diǎn)鄰域，既考慮了局部信息又考慮了宏觀的信息，具有很高的適應(yīng)性；DNGR［9］運(yùn)用隨機(jī)游走算法計(jì)算節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)的高維表示，再輸入去噪自編碼器學(xué)習(xí)低維表示；LINE（Large-scale Information Network Embedding）［14］不再采用隨機(jī)游走的方法，它在圖上定義了兩種相似度——一階相似度和二階相似度，并基于這兩種相似度獲得節(jié)點(diǎn)表示；GraRep（learning Graph Representations with global structural information）［15］改進(jìn)LINE，提出一種獲取階關(guān)系信息的圖表示方法，可以更好地獲得節(jié)點(diǎn)的高階信息；SDNE（Structural Deep Network Embedding）［16］通過深層神經(jīng)網(wǎng)絡(luò)自編碼器實(shí)現(xiàn)學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)表示，直接將一階相似度和二階相似度保留在嵌入表示中。

上述模型都只使用了拓?fù)浣Y(jié)構(gòu)信息，但是真實(shí)的社會(huì)網(wǎng)絡(luò)不僅有結(jié)構(gòu)信息，還有豐富的屬性信息，屬性信息可以補(bǔ)償結(jié)構(gòu)信息：TADW［11］運(yùn)用矩陣分解的方法結(jié)合屬性信息和結(jié)構(gòu)信息；AANE（Accelerated Attributed Network Embedding）［17］將屬性信息作為被分解的信息之一，使得矩陣分解能夠受到結(jié)構(gòu)和屬性信息的共同影響；DVNE（Deep Variational Network Embedding in Wasserstein space）［18］在SDNE的基礎(chǔ)上考慮屬性信息并提出了一種新的度量，相較于SDNE學(xué)習(xí)效果更好；ANAE（Attributed Network Auto-Encoder）［19］從屬性化的局部子圖中聚合屬性信息，并將目標(biāo)節(jié)點(diǎn)的表示擴(kuò)散到局部子圖中的其他節(jié)點(diǎn)，以重建它們的屬性，更好地獲得了節(jié)點(diǎn)上下文信息。

為了優(yōu)化網(wǎng)絡(luò)中的結(jié)構(gòu)，有些模型引用聚類思想使網(wǎng)絡(luò)結(jié)構(gòu)更加聚集，有些模型通過引入MMD損失減小目標(biāo)分布和原始分布的差異優(yōu)化圖結(jié)構(gòu)。IDEC（Improved Deep Embedded Clustering with local structure preservation）［20］顯式地定義聚類損失，模擬監(jiān)督深度學(xué)習(xí)中的分類誤差，通過學(xué)習(xí)表示和聚類聯(lián)合優(yōu)化特征。結(jié)構(gòu)化深度聚類網(wǎng)絡(luò)（Structural Deep Clustering Network， SDCN）［21］結(jié)合了自動(dòng)編碼器和圖卷積算法的優(yōu)點(diǎn)，將結(jié)構(gòu)化信息明確地應(yīng)用到深度嵌入聚類中。DFCN［12］在此基礎(chǔ)上將圖結(jié)構(gòu)和節(jié)點(diǎn)屬性聯(lián)合建模，并捕獲了全局聚類結(jié)構(gòu)。最大均值差異（MMD），即兩個(gè)概率分布之間的距離度量，在MMDnets［22］中，MMD被用于直接比較生成的樣本與真實(shí)樣本；DSNs（Domain Separation Networks）［23］將MMD融合到編碼?解碼的網(wǎng)絡(luò)中，減小源域和目標(biāo)域的差異，提高模型性能；MMD-GAN（Maximum Mean Difference-Generative Adversarial Network）［24］則將它的作為損失函數(shù)擴(kuò)展到GAN框架中，明顯改善性能。

根據(jù)以上研究，同時(shí)利用結(jié)構(gòu)和屬性信息的模型普遍比只利用單個(gè)信息的模型學(xué)習(xí)效果更好，同時(shí)在網(wǎng)絡(luò)中融入聚類和MMD可以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，獲得更優(yōu)的表示。

2 基于優(yōu)化圖結(jié)構(gòu)自編碼器

NR-AGS的總體框架如圖1所示。它的設(shè)計(jì)思路如下：首先，為了充分利用結(jié)構(gòu)信息和屬性信息，引入了DNGR中的PPMI矩陣，并在此基礎(chǔ)上融合了屬性信息解決數(shù)據(jù)稀疏導(dǎo)致學(xué)習(xí)效率低的問題；其次，為了優(yōu)化自編碼器學(xué)習(xí)到的表示結(jié)構(gòu)，在使用自動(dòng)編碼器學(xué)習(xí)低維嵌入表示的過程中，加入深度嵌入聚類和MMD共同優(yōu)化深度網(wǎng)絡(luò)。綜上所述，本文在自編碼器重構(gòu)損失的基礎(chǔ)上，添加了深度聚類損失和MMD損失兩個(gè)信息約束項(xiàng)。

圖1　NR-AGS框架

2.1　PPMI矩陣構(gòu)建

DNGR通過隨機(jī)游走算法構(gòu)建的PPMI矩陣只融合了結(jié)構(gòu)信息，本文在此基礎(chǔ)上又融入了屬性信息，利用結(jié)構(gòu)和屬性信息共同提取特征信息，有助于獲得更好的節(jié)點(diǎn)表示。

在網(wǎng)絡(luò)表示學(xué)習(xí)過程中，首先結(jié)合結(jié)構(gòu)信息和屬性信息形成結(jié)構(gòu)?屬性聯(lián)合轉(zhuǎn)移矩陣，再通過隨機(jī)沖浪算法形成共現(xiàn)概率矩陣，最后轉(zhuǎn)化為高密度的PPMI矩陣。

為了綜合運(yùn)用節(jié)點(diǎn)的兩個(gè)信息源，結(jié)合結(jié)構(gòu)轉(zhuǎn)移矩陣和屬性轉(zhuǎn)移矩陣形成結(jié)構(gòu)和屬性聯(lián)合轉(zhuǎn)移矩陣，計(jì)算方法如下：

其中：表示各個(gè)轉(zhuǎn)移矩陣的第行；（0<<1）為平衡系數(shù)。該聯(lián)合方法通過以下方法使屬性網(wǎng)絡(luò)更加密集：1）如果在網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)間沒有連邊，但是它們的前個(gè)的節(jié)點(diǎn)屬性相似，則它們之間就會(huì)連上一條新邊，使網(wǎng)絡(luò)之間聯(lián)系更加緊密；2）如果兩個(gè)節(jié)點(diǎn)已經(jīng)存在連邊，則將通過參數(shù)（0<<1）平衡結(jié)構(gòu)和屬性信息在運(yùn)用中的比重，值越小，屬性信息對(duì)最終的節(jié)點(diǎn)低維表示的影響越大［9］。

其次，沿用DNGR中的兩個(gè)步驟：1）通過步迭代，每次以的概率隨機(jī)沖浪轉(zhuǎn)化為共現(xiàn)概率矩陣；2）通過共現(xiàn)概率矩陣構(gòu)造信息率密度較高的PPMI矩陣。

2.2　基于最大均值差異的結(jié)構(gòu)優(yōu)化

本文通過引入改進(jìn)的MMD度量低維嵌入表示和輸入之間的差異，通過減小該差異優(yōu)化自編碼器學(xué)到的低維嵌入表示。編碼器的中間層的潛在低維嵌入表示會(huì)保存原始數(shù)據(jù)的重要信息，從而形成兩個(gè)不同但相關(guān)的域，即源域（原始數(shù)據(jù)分布）和目標(biāo)域（編碼器中間的低維嵌入表示分布），即最小化源域和目標(biāo)域的差異，使目標(biāo)域的結(jié)果更加準(zhǔn)確。MMD就是通過核函數(shù)將一個(gè)分布映射到再生希爾伯特空間上，之后度量在再生希爾伯特空間中兩個(gè)分布的距離。MMD的損失如下：

其中：sup表示求上界；E表示求期望；（?）表示映射函數(shù)，函數(shù)指在再生希爾伯特空間中的范數(shù)應(yīng)該小于等于1；在本文中指原始數(shù)據(jù)，指編碼器產(chǎn)生的低維嵌入表示。MMD的核函數(shù)是高斯核函數(shù)：

由于高斯核函數(shù)是非線性的，耗時(shí)長(zhǎng)，所以本文對(duì)它進(jìn)行改進(jìn)，運(yùn)用線性的二次有理核代替高斯核函數(shù)提高運(yùn)算效率，改進(jìn)的二次有理核通常具有和高斯核函數(shù)相同的效果，核函數(shù)如下所示：

其中為二次有理核的超參數(shù)：較小的會(huì)使決策表面更平滑；較高的使結(jié)果更加準(zhǔn)確，但可能會(huì)過擬合。在實(shí)際應(yīng)用中會(huì)取多個(gè)值，分別求核函數(shù)后再取和，作為最后的核函數(shù)［26］。

本文通過引入改進(jìn)的MMD使得兩個(gè)域之間的差距越來越小，使編碼器的低維嵌入表示越來越準(zhǔn)確。其中，核方法的非線性映射具有面向具體應(yīng)用問題設(shè)計(jì)的特性，因此便于集成問題相關(guān)的先驗(yàn)知識(shí)；此外，線性學(xué)習(xí)器相較于非線性學(xué)習(xí)器具有更好的過擬合控制，可以更好地保證泛化性能。綜上，選擇MMD有明顯的優(yōu)勢(shì)。

2.3　基于深度聚類的結(jié)構(gòu)優(yōu)化

在網(wǎng)絡(luò)中節(jié)點(diǎn)結(jié)構(gòu)間具有內(nèi)聚的宏觀特性，同類節(jié)點(diǎn)之間距離較近，不同類節(jié)點(diǎn)距離較遠(yuǎn)，為了使得本文利用自編碼器學(xué)習(xí)節(jié)點(diǎn)的低維嵌入表示更加準(zhǔn)確地反映這種宏觀特性，優(yōu)化節(jié)點(diǎn)結(jié)構(gòu)，需要增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)中節(jié)點(diǎn)的內(nèi)聚性。本文在編碼過程中引入深度嵌入聚類算法指導(dǎo)監(jiān)督編碼器，深度嵌入聚類作用在深度神經(jīng)網(wǎng)絡(luò)形成的低維嵌入表示空間，具體步驟［27］如下。

1）計(jì)算由t分布測(cè)量的軟標(biāo)簽分配矩陣。先運(yùn)用傳統(tǒng)的-means算法求出聚類第個(gè)中心，q是以t分布測(cè)量的空間中的第個(gè)樣本與第個(gè)聚類中心的的相似性度量，又稱為軟標(biāo)簽概率，q真實(shí)地反映了節(jié)點(diǎn)的數(shù)據(jù)類分布概率。q組成的矩陣即為∈R，為節(jié)點(diǎn)總數(shù)，為數(shù)據(jù)集類目數(shù)目。q的計(jì)算公式如下：

3）計(jì)算和的KL散度。在求得的軟標(biāo)簽分配概率矩陣和目標(biāo)分布概率矩陣后，運(yùn)用KL散度（Kullback-Leibler Divergence）衡量它們之間的差距。KL散度可以衡量在選擇近似分布時(shí)損失的信息量，KL散度值越小，表示和的差距越小，越真實(shí)地衡量目標(biāo)分布。聚類損失的計(jì)算公式如下。

量化聚類損失是深度嵌入聚類的核心步驟，將加入統(tǒng)一的損失函數(shù)中訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，進(jìn)一步強(qiáng)化監(jiān)督低維嵌入表示的生成。在網(wǎng)絡(luò)訓(xùn)練過程中，通過調(diào)整，使得更好地衡量真實(shí)的數(shù)據(jù)分布，更新低維嵌入表示空間的聚類中心和深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，使得該表示空間每個(gè)類中的樣本分布更加密集［28］。

2.4　NR-AGS總體設(shè)計(jì)

NR-AGS在訓(xùn)練過程中共考慮3部分損失：自動(dòng)編碼器重構(gòu)損失、MMD損失和聚類損失。自編碼器用于學(xué)習(xí)低維嵌入表示，學(xué)習(xí)到的低維表示可以較好地保留數(shù)據(jù)中的信息；MMD損失可以減小原始數(shù)據(jù)分布和編碼器中間的低維嵌入表示分布之間的差異；聚類損失可以調(diào)整嵌入空間的結(jié)構(gòu)達(dá)到聚類效果，有利于學(xué)習(xí)到的低維嵌入的節(jié)點(diǎn)分布更加清晰，更好地體現(xiàn)網(wǎng)絡(luò)中節(jié)點(diǎn)間具有社區(qū)內(nèi)聚的宏觀特性。NR-AGS的整體損失如下：

其中：和分別為深度嵌入聚類損失和MMD損失的權(quán)重。使用深度嵌入聚類損失和改進(jìn)的MMD損失共同優(yōu)化深度神經(jīng)網(wǎng)絡(luò)，可以得到更加準(zhǔn)確的低維嵌入表示。算法偽代碼如算法1所示。

算法1 NR-AGS。

輸入 鄰接矩陣、屬性信息矩陣、平衡系數(shù)、Top-值、隨機(jī)沖浪迭代步數(shù)、重啟概率、嵌入空間維度、簇中心個(gè)數(shù)、迭代次數(shù)；

輸出 特征向量矩陣。

1）初始化模型所有權(quán)重矩陣

8） for=1 todo

12） end for

由上面分析可以得出，NR-AGS的時(shí)間復(fù)雜度主要取決于PPMI矩陣、自編碼器、深度嵌入聚類和改進(jìn)的MMD，令為低維嵌入維度，則NR-AGS的時(shí)間復(fù)雜度為（2）。

3 實(shí)驗(yàn)與結(jié)果分析

為了測(cè)試NR-AGS的性能，將本文模型與幾種常用的方法在3個(gè)真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行比較，通過本文模型和它的變體學(xué)習(xí)的低維嵌入表示在下游任務(wù)的實(shí)驗(yàn)，驗(yàn)證本文模型在網(wǎng)絡(luò)表示學(xué)習(xí)方面的有效性。

本文實(shí)驗(yàn)環(huán)境是基于64核、內(nèi)存4 GB的CPU環(huán)境，編程語言為Python3.6，實(shí)驗(yàn)框架為PyTorch1.8.1。

3.1　實(shí)驗(yàn)設(shè)置

3.1.1數(shù)據(jù)集

本文選取研究網(wǎng)絡(luò)表示學(xué)習(xí)時(shí)常用的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別是兩個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和一個(gè)網(wǎng)頁網(wǎng)絡(luò)數(shù)據(jù)集Wiki。

Cora數(shù)據(jù)集包含2 708篇機(jī)器學(xué)習(xí)論文和論文間的5 429篇鏈接，這些鏈接是文檔之間的引用關(guān)系，每個(gè)節(jié)點(diǎn)的屬性信息對(duì)應(yīng)每篇論文的一個(gè)1 443維向量表示，節(jié)點(diǎn)的標(biāo)簽按論文研究領(lǐng)域分為7個(gè)類別，分別為神經(jīng)網(wǎng)絡(luò)、遺傳算法、基于案例、概率方法、強(qiáng)化學(xué)習(xí)、規(guī)則學(xué)習(xí)和理論。

Citeseer數(shù)據(jù)集包含3 312篇論文、4 732個(gè)鏈接和1 433個(gè)屬性，節(jié)點(diǎn)的標(biāo)簽按論文研究領(lǐng)域分為數(shù)據(jù)庫、機(jī)器學(xué)習(xí)、代理、信息檢索、人工智能和人機(jī)交互這6類。

Wiki數(shù)據(jù)集是一個(gè)包含2 405個(gè)網(wǎng)頁和12 761個(gè)鏈接的網(wǎng)頁網(wǎng)絡(luò)數(shù)據(jù)集，每個(gè)網(wǎng)頁表示一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)之間的邊是連接到其他網(wǎng)頁的超鏈接，每個(gè)網(wǎng)頁的文本內(nèi)容作為該網(wǎng)頁的屬性信息。按網(wǎng)頁類別賦予不同的標(biāo)簽，如藝術(shù)、歷史、科學(xué)等，共17類。相較于Cora和Citeseer數(shù)據(jù)集，Wiki數(shù)據(jù)集的節(jié)點(diǎn)數(shù)少、連接多、類別多。具體數(shù)據(jù)信息如表1所示。

表1　網(wǎng)絡(luò)數(shù)據(jù)集詳情

3.1.2基準(zhǔn)方法

本文運(yùn)用SVD（Singular Value Decomposition）算法進(jìn)行只利用網(wǎng)絡(luò)中屬性信息的網(wǎng)絡(luò)表示學(xué)習(xí)。與經(jīng)典的網(wǎng)絡(luò)表示學(xué)習(xí)算法對(duì)比：1）DeepWalk［7］將網(wǎng)絡(luò)嵌入問題轉(zhuǎn)化為一個(gè)詞嵌入問題；2）Node2Vec［8］通過增加廣度優(yōu)先和深度優(yōu)先探索不同的節(jié)點(diǎn)鄰域，既考慮了局部信息又考慮了宏觀的信息，具有很高的適應(yīng)性；3）DNGR［9］首先運(yùn)用隨機(jī)沖浪算法獲取網(wǎng)絡(luò)的高維節(jié)點(diǎn)表示，其次使用去噪自編碼器學(xué)習(xí)節(jié)點(diǎn)的低維表示，但只融合了結(jié)構(gòu)信息。

其他對(duì)比的先進(jìn)網(wǎng)絡(luò)表示學(xué)習(xí)算法：1）TADW［11］是基于矩陣分解形式的DeepWalk算法，并在訓(xùn)練過程中融合了節(jié)點(diǎn)的屬性信息；2）AANE［17］將屬性信息作為被分解的信息之一，使得學(xué)習(xí)到的表示結(jié)果能夠保持結(jié)構(gòu)上距離相近和屬性相似的節(jié)點(diǎn)向量表示比較接近；3）ANAE［19］通過從屬性化的局部子圖中聚合屬性信息重建屬性，獲得了節(jié)點(diǎn)上下文信息；4）DFCN［12］利用深度嵌入聚類形成三重監(jiān)督機(jī)制，能更有效地融合網(wǎng)絡(luò)中的信息，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)；5）dSAFNE（dynamic Structure and vertex Attributes Fusion Network Embedding）［29］通過引入了一種屬性驅(qū)動(dòng)的拉普拉斯空間優(yōu)化方法收斂結(jié)構(gòu)特征提取和屬性特征提取的過程，使得具有相似屬性但拓?fù)渚嚯x較遠(yuǎn)的頂點(diǎn)在嵌入空間中也保持相鄰。

3.1.3實(shí)驗(yàn)參數(shù)設(shè)置

由于DNGR也是網(wǎng)絡(luò)表示學(xué)習(xí)模型，同時(shí)也可將此模型用于本文實(shí)驗(yàn)的數(shù)據(jù)集（具體情況可見文獻(xiàn)［30］），本文實(shí)驗(yàn)也符合DNGR的環(huán)境，所以結(jié)構(gòu)屬性聯(lián)合轉(zhuǎn)移矩陣時(shí)使用的屬性相似性調(diào)整參數(shù)Top-、平衡結(jié)構(gòu)和屬性信息的超參數(shù)、隨機(jī)沖浪算法形成共現(xiàn)概率矩陣的重啟概率參數(shù)、隨機(jī)沖浪算法每次迭代步數(shù)的參數(shù)設(shè)置沿用DNGR模型相同的設(shè)置［9］。改進(jìn)的MMD部分核函數(shù)的超參數(shù)，該參數(shù)在實(shí)際應(yīng)用中會(huì)取多個(gè)值，本文取值集合為｛2××0.1，2××0.2，2××0.5，2××1，2××2，2××5，2××10｝，為自編碼器形成的低維嵌入維度，再分別按照式（13）求出核函數(shù)，將所得的核函數(shù)求和，作為最后的核函數(shù)。深度嵌入聚類損失權(quán)重和MMD損失權(quán)重在模型運(yùn)行中影響的具體分析見3.6節(jié)。

3.2　節(jié)點(diǎn)分類實(shí)驗(yàn)

節(jié)點(diǎn)分類是評(píng)價(jià)網(wǎng)絡(luò)表示學(xué)習(xí)模型的一個(gè)重要下游任務(wù)，本文在3個(gè)數(shù)據(jù)集上先運(yùn)用本文模型學(xué)習(xí)低維嵌入表示之后，再進(jìn)行下游節(jié)點(diǎn)分類的實(shí)驗(yàn)。在節(jié)點(diǎn)分類實(shí)驗(yàn)中抽出一定比率帶標(biāo)記的節(jié)點(diǎn)嵌入表示，作為訓(xùn)練集，其余作為測(cè)試集，其中訓(xùn)練集比例分別為10%、30%、50%、70%、90%，做10次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果取均值。表2～4中分別為不同模型在3個(gè)數(shù)據(jù)集節(jié)點(diǎn)分類任務(wù)中的Micro-F1指標(biāo)的結(jié)果。

從表2～3可以看出，在Cora和Citeseer數(shù)據(jù)集上，在不同比例的訓(xùn)練集下，NR-AGS均優(yōu)于基準(zhǔn)方法；從表4可以看出，在Wiki數(shù)據(jù)集上訓(xùn)練比例為10%和50%時(shí)，NR-AGS的Micro-F1值略差于其他對(duì)比基準(zhǔn)模型，其余訓(xùn)練比例的Micro-F1值均優(yōu)于其他對(duì)比基準(zhǔn)模型。具體地，與DNGR相比，在Cora、Citeseer和Wiki數(shù)據(jù)集上，NR-AGS的Micro-F1分別提升了7.2～8.8、13.5～25.3和8.2～12.1個(gè)百分點(diǎn)。

數(shù)據(jù)結(jié)果顯示，由于NR-AGS有效地結(jié)合了節(jié)點(diǎn)結(jié)構(gòu)和屬性信息，使得它們相互補(bǔ)充和制約；聯(lián)合深度嵌入聚類損失共同優(yōu)化網(wǎng)絡(luò)，使得不同類別節(jié)點(diǎn)分布更加聚集；引入MMD損失，使得學(xué)習(xí)到的低維嵌入表示能夠更加接近真實(shí)的數(shù)據(jù)。通過以上兩個(gè)損失約束使得NR-AGS取得了比其他基準(zhǔn)模型在大多數(shù)節(jié)點(diǎn)分類的實(shí)驗(yàn)中更好的效果并且較為穩(wěn)定。由于Wiki數(shù)據(jù)集類別較多，數(shù)據(jù)較復(fù)雜，對(duì)節(jié)點(diǎn)分類的效果有一定的影響，NR-AGS的學(xué)習(xí)效果存在個(gè)別不穩(wěn)定的情況。

表2　Cora數(shù)據(jù)集上的節(jié)點(diǎn)分類結(jié)果的Micro-F1值

表3　Citeseer數(shù)據(jù)集上的節(jié)點(diǎn)分類結(jié)果Micro-F1值

表4　Wiki數(shù)據(jù)集上的節(jié)點(diǎn)分類結(jié)果的Micro-F1值

3.3　可視化實(shí)驗(yàn)

本節(jié)運(yùn)用t-SNE（t-distributed Stochastic Neighbor Embedding）工具［31］可視化Cora和Citeseer數(shù)據(jù)集的下游節(jié)點(diǎn)分類實(shí)驗(yàn)結(jié)果。圖2展示了DeepWalk、TADW、AANE和NR-AGS在Cora數(shù)據(jù)集上的效果，其中，不同顏色的點(diǎn)表示數(shù)據(jù)集的不同類別。Cora數(shù)據(jù)集有7個(gè)類別，從圖2可以看出，DeepWalk各個(gè)類別的數(shù)據(jù)點(diǎn)界限不清晰，分布較為混亂，而TADW、AANE的每個(gè)類別的分布結(jié)果較平均，但是邊界不夠清晰，而NR-AGS能夠清晰地體現(xiàn)每類數(shù)據(jù)的界限，對(duì)應(yīng)結(jié)構(gòu)更緊湊，呈現(xiàn)較好的可視化效果。圖3展現(xiàn)了上述4種模型在Citeseer數(shù)據(jù)集上的可視化效果，Citeseer具有6個(gè)類別，從圖3可以看出，DeepWalk、TADW、AANE的圖示中各個(gè)類別節(jié)點(diǎn)分布混亂，邊界也不清晰，而NR-AGS呈現(xiàn)出同類節(jié)點(diǎn)明顯聚集的效果。從上述可視化的實(shí)驗(yàn)結(jié)果可以看出，NR-AGS由于引入了深度嵌入聚類與自編碼器形成自監(jiān)督，在學(xué)習(xí)的過程中優(yōu)化了圖結(jié)構(gòu)，使網(wǎng)絡(luò)中節(jié)點(diǎn)的聚集性更加顯著，可視化效果優(yōu)于其他基準(zhǔn)模型。

圖2　Cora數(shù)據(jù)集的可視化

圖3　Citeseer數(shù)據(jù)集的可視化

3.4　消融實(shí)驗(yàn)

為了驗(yàn)證添加深度嵌入聚類損失和改進(jìn)的MMD損失的有效性，本節(jié)提出3個(gè)NR-AGS的變體模型，進(jìn)行消融實(shí)驗(yàn)。3個(gè)NR-AGS的變體模型分別為：1）NR-AGS-a，表示無深度嵌入聚類損失和MMD損失；2）NR-AGS-ac，表示僅使用深度嵌入聚類損失；3）NR-AGS-am，表示僅使用MMD損失。NR-AGS表示同時(shí)使用深度嵌入聚類損失和MMD損失的完全體。分別在3個(gè)數(shù)據(jù)集上先運(yùn)用上述4種模型學(xué)習(xí)低維嵌入表示之后，進(jìn)行訓(xùn)練集比例為50%的節(jié)點(diǎn)分類實(shí)驗(yàn)，Micro-F1、Macro-F1作為評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表5所示。

從表5可以看出：

1）在Cora和Citeseer數(shù)據(jù)集上，同時(shí)使用深度嵌入聚類損失和MMD損失的完全體NR-AGS的Micro-F1、Macro-F1值均優(yōu)于其他3個(gè)變體模型，表明了同時(shí)使用這兩種約束會(huì)提升模型的分類性能。

2）在Wiki數(shù)據(jù)集上的節(jié)點(diǎn)分類實(shí)驗(yàn)中，同時(shí)使用深度嵌入聚類損失和MMD損失的完全體NR-AGS的Micro-F1、Macro-F1值低于NR-AGS-ac、NR-AGS-am；這是因?yàn)閃iki數(shù)據(jù)集較大，類別數(shù)較多，影響深度嵌入聚類損失和MMD損失共同約束的效果，調(diào)參更加復(fù)雜，導(dǎo)致共同約束的節(jié)點(diǎn)分類效果較不穩(wěn)定。

3）NR-AGS-ac、NR-AGS-am和NR-AGS在所有數(shù)據(jù)集上的節(jié)點(diǎn)分類結(jié)果均優(yōu)于NR-AGS-a，表明了單獨(dú)使用或同時(shí)使用兩個(gè)約束均會(huì)提升模型的分類性能，結(jié)果驗(yàn)證了這兩個(gè)損失約束的有效性。

表5　NR-AGS及其變體模型的節(jié)點(diǎn)分類結(jié)果

3.5　節(jié)點(diǎn)聚類實(shí)驗(yàn)

在3個(gè)數(shù)據(jù)集上先運(yùn)用本文模型學(xué)習(xí)得到低維嵌入表示之后，再進(jìn)行下游節(jié)點(diǎn)聚類［32］的實(shí)驗(yàn)，評(píng)估指標(biāo)選用標(biāo)準(zhǔn)化互信息（Normalized Mutual Information， NMI）和正確率（ACC），實(shí)驗(yàn)結(jié)果如圖4所示。從圖4中可以得出以下結(jié)論：1）利用節(jié)點(diǎn)結(jié)構(gòu)信息和屬性信息的網(wǎng)絡(luò)表示學(xué)習(xí)模型大部分比只運(yùn)用節(jié)點(diǎn)結(jié)構(gòu)信息的模型能獲得更好的節(jié)點(diǎn)聚類效果，說明節(jié)點(diǎn)屬性信息能為節(jié)點(diǎn)聚類任務(wù)提供有效支持信息；2）相較于其他利用了結(jié)構(gòu)和屬性信息的基準(zhǔn)模型，NR-AGS取得了更好或者相當(dāng)?shù)男Ч?，說明NR-AGS可以獲得更高質(zhì)量的節(jié)點(diǎn)低維嵌入表示，進(jìn)而有益于節(jié)點(diǎn)聚類任務(wù)。

圖4　在3個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)聚類結(jié)果

3.6　參數(shù)敏感性分析

本節(jié)通過實(shí)驗(yàn)分析NR-AGS中自編碼器的低維嵌入表示的維數(shù)、MMD的參數(shù)、深度嵌入聚類損失權(quán)重和MMD損失權(quán)重對(duì)下游節(jié)點(diǎn)分類任務(wù)性能的影響。當(dāng)分析一個(gè)參數(shù)時(shí)，固定其他非分析參數(shù)，改變?cè)摲治鰠?shù)的數(shù)值研究它的影響。

自編碼器生成的低維嵌入表示的維度對(duì)模型的學(xué)習(xí)效果有一定的影響，在3個(gè)數(shù)據(jù)集上先運(yùn)用本文模型學(xué)習(xí)低維嵌入表示之后，再進(jìn)行下游節(jié)點(diǎn)分類的實(shí)驗(yàn)。訓(xùn)練集比例為50%，Micro-F1作為評(píng)價(jià)指標(biāo)，分別設(shè)置=64、128、192、256、320、324、448、512維，結(jié)果如圖5（a）所示。從圖5（a）可以看出，Micro-F1值逐漸上升，但在256維時(shí)，存在較為明顯的拐點(diǎn)，即當(dāng)?shù)途S嵌入表示的維度高于256維時(shí)，節(jié)點(diǎn)分類的效果沒有穩(wěn)步上升，反而有所下降。由實(shí)驗(yàn)結(jié)果可知NR-AGS在=256時(shí)性能較好。

MMD的參數(shù)依照DSNs中的經(jīng)驗(yàn)，較小的會(huì)使決策表面更平滑，而較大的使結(jié)果更加準(zhǔn)確，但可能過擬合。為了保持穩(wěn)定性，在實(shí)際應(yīng)用中會(huì)取多個(gè)值，分別求核函數(shù)。本文實(shí)驗(yàn)中以維度的兩倍為基數(shù)，以1為中心點(diǎn)，?。?.1，0.2，0.5，1，2，5，10｝，再另=｛0.1，0.2，0.5，1，2，5，10｝形成多核進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，從圖5（b）中可以看出，當(dāng)取時(shí)，實(shí)驗(yàn)結(jié)果比取單個(gè)核函數(shù)效果更好。

圖5（c）顯示深度嵌入聚類損失權(quán)重對(duì)節(jié)點(diǎn)分類性能的影響，實(shí)驗(yàn)中將它的取值從0.01調(diào)整到10?？梢园l(fā)現(xiàn)，在3個(gè)數(shù)據(jù)集上，隨著權(quán)重的增加，NR-AGS的Micro-F1值會(huì)發(fā)生變化，說明模型對(duì)參數(shù)的敏感性較高。綜合考慮，在深度嵌入聚類損失的權(quán)重取1時(shí)，在3個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類性能都相對(duì)較好。

圖5（d）展示了MMD損失權(quán)重對(duì)模型節(jié)點(diǎn)分類性能的影響。在10-3至103時(shí)，NR-AGS的分類表現(xiàn)都較穩(wěn)定，說明NR-AGS對(duì)參數(shù)的敏感性較低。在3個(gè)數(shù)據(jù)集上，取值為1時(shí)，模型分類效果較好。

圖5　不同參數(shù)對(duì)Micro-F1值的影響

4 結(jié)語

為了充分利用網(wǎng)絡(luò)中的結(jié)構(gòu)和屬性信息，本文提出基于優(yōu)化圖結(jié)構(gòu)自編碼器的網(wǎng)絡(luò)表示學(xué)習(xí)模型（NR-AGS）。引入PPMI矩陣將結(jié)構(gòu)和屬性信息相融合，得到數(shù)據(jù)的高維嵌入表示，再利用自編碼器學(xué)習(xí)低維嵌入表示，在學(xué)習(xí)過程中融合深度嵌入聚類和改進(jìn)的最大均值差異共同優(yōu)化學(xué)習(xí)過程。使用NR-AGS學(xué)習(xí)得到的低維嵌入表示進(jìn)行下游的節(jié)點(diǎn)分類實(shí)驗(yàn)、可視化實(shí)驗(yàn)和節(jié)點(diǎn)聚類等實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了NR-AGS具有較好的網(wǎng)絡(luò)表示學(xué)習(xí)效果。實(shí)驗(yàn)結(jié)果表明使用PPMI矩陣將結(jié)構(gòu)和屬性信息結(jié)合的學(xué)習(xí)方法能更加高效率地利用網(wǎng)絡(luò)的真實(shí)信息，在學(xué)習(xí)過程中融合聚類算法可以更好地使用數(shù)據(jù)分布的內(nèi)聚性優(yōu)化數(shù)據(jù)結(jié)構(gòu)，改進(jìn)的最大均值差異使學(xué)習(xí)到的低維嵌入表示更加接近真實(shí)數(shù)據(jù)，通過聯(lián)合優(yōu)化以上3種損失，改善了學(xué)習(xí)到的低維表示在下游任務(wù)上的性能。在未來的研究中，可以將該模型進(jìn)一步應(yīng)用于大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)，還可以將模型應(yīng)用于稀疏或缺失數(shù)據(jù)集，進(jìn)一步改進(jìn)模型，提高它的學(xué)習(xí)能力。

[1] 孫金清，周慧，趙中英. 網(wǎng)絡(luò)表示學(xué)習(xí)方法研究綜述［J］. 山東科技 大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 40（1）：117-128.（SUN J Q， ZHOU H， ZHAO Z Y. A survey of network representation learning methods［J］. Journal of Shandong University of Science and Technology （Natural Science）， 2021， 40（1）： 117-128.）

[2] ZHANG D， YIN J， ZHU X， et al. Network representation learning： a survey［J］. IEEE Transactions on Big Data， 2020， 6（1）： 3-28.

[3] WU Z， PAN S， CHEN F， et al. A comprehensive survey on graph neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（1）： 4-24.

[4] HOU Y， CHEN H， LI C， et al. A representation learning framework for property graphs［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 65-73.

[5] AHMED N K， ROSSI R A， LEE J B， et al. Role-based graph embeddings［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（5）： 2401-2415.

[6] 劉昱陽，李龍杰，單娜，等. 融合聚集系數(shù)的鏈接預(yù)測(cè)方法［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（1）： 28-35.（LIU Y Y， LI L J， SHAN N， et al. Link prediction method fusing clustering coefficients［J］. Journal of Computer Applications， 2020， 40（1）： 28-35.）

[7] PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710.

[8] GROVER A， LESKOVEC J. node2vec： scalable feature learning for networks［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864.

[9] CAO S， LU W， XU Q. Deep neural networks for learning graph representations［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 1145-1152.

[10] FAN S， WANG X， SHI C， et al. One2Multi graph autoencoder for multi-view graph clustering［C］// Proceedings of the Web Conference 2020. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2020： 3070-3076.

[11] YANG C， LIU Z， ZHAO D， et al. Network representation learning with rich text information［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2111-2117.

[12] TU W， ZHOU S， LIU X， et al. Deep fusion clustering network［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 9978-9987.

[13] BEHROUZI T， HATZINAKOS D. Graph variational auto-encoder for deriving EEG-based graph embedding［J］. Pattern Recognition， 2022， 121： No.108202.

[14] TANG J， QU M， WANG M， et al. LINE： large-scale information network embedding［C］// Proceedings of the 24th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2015：1067-1077.

[15] CAO S， LU W， XU Q. GraRep： learning graph representations with global structural information［C］// Proceedings of the 24th ACM International Conference on Information and Knowledge Management. New York： ACM， 2015： 891-900.

[16] WANG D， CUI P， ZHU W. Structural deep network embedding［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1225-1234.

[17] HUANG X， LI J， HU X. Accelerated attributed network embedding［C］// Proceedings of the 2017 SIAM International Conference on Data Mining. Philadelphia， PA： SIAM， 2017：633-641.

[18] ZHU D， CUI P， WANG D， et al. Deep variational network embedding in Wasserstein space［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 2827-2836.

[19] CEN K， SHEN H， GAO J， et al. ANAE： learning node context representation for attributed network embedding［EB/OL］. （2020-07-06） ［2022-07-12］. https：//arxiv.org/pdf/1906.08745.pdf.

[20] GUO X， GAO L， LIU X， et al. Improved deep embedded clustering with local structure preservation［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 1753-1759.

[21] YANG Y. SDCN： a species-disease hybrid convolutional neural network for plant disease recognition［C］// Proceedings of the 2022 International Conference on Artificial Neural Networks， LNCS 13532. Cham： Springer， 2022： 769-780.

[22] LI Y， SWERSKY K， ZEMEL R. Generative moment matching networks［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 1718-1727.

[23] BOUSMALIS K， TRIGEORGIS G， SILBERMAN N， et al. Domain separation networks ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 343-351.

[24] WANG W， SUN Y， HALGAMUGE S. Improving MMD-GAN training with repulsive loss function［EB/OL］ （2019-02-08） ［2022-07-12］.https：//arxiv.org/pdf/1812.09916，pdf.

[25] KINGMA D P， WELLING M. Auto-encoding variational Bayes［EB/OL］. （2014-05-01） ［2022-07-12］.https：//arxiv.org/pdf/1312.6114.pdf.

[26] TZENG E， HOFFMAN J， ZHANG N， et al. Deep domain confusion： maximizing for domain invariance［EB/OL］. （2014-12-10） ［2022-07-12］.https：//arxiv.org/pdf/1412.3474.pdf.

[27] TANG Y， REN F， PEDRYCZ W. Fuzzy C-Means clustering through SSIM and patch for image segmentation［J］. Applied Soft Computing， 2020， 87： No.105928.

[28] 尤坊州，白亮. 關(guān)鍵節(jié)點(diǎn)選擇的快速圖聚類算法［J］. 計(jì)算機(jī)科學(xué)與探索， 2021， 15（10）： 1930-1937.（YOU F Z， BAI L. Fast graph clustering algorithm based on selection of key nodes［J］. Journal of Frontiers of Computer Science and Technology， 2021， 15（10）： 1930-1937.）

[29] HU S， ZHANG B， LV H， et al. Improving network representation learning via dynamic random walk， self-attention and vertex attributes-driven Laplacian space optimization［J］. Entropy， 2022， 24（9）： No.1213.

[30] 張蕾，錢峰，趙姝，等. 利用變分自編碼器進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)［J］. 計(jì)算機(jī)科學(xué)與探索， 2019， 13（10）：1733-1744.（ZHANG L， QIAN F， ZHAO S， et al. Network representation learning via variational auto-encoder［J］. Journal of Frontiers of Computer Science and Technology， 2019， 13（10）：1733-1744.）

[31] WANG Y， SONG Z， ZHANG R， et al. An overview of t-SNE optimization algorithms［J］. International Core Journal of Engineering， 2021， 7（2）： 422-432.

[32] LI X， KAO B， REN Z， et al. Spectral clustering in heterogeneous information networks［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 4221-4228.

Network representation learning based on autoencoder with optimized graph structure

FU Kun*， HAO Yuhan， SUN Minglei， LIU Yinghua

（，，300401，）

The aim of Network Representation Learning （NRL） is to learn the potential and low-dimensional representation of network vertices， and the obtained representation is applied for downstream network analysis tasks. The existing NRL algorithms using autoencoder extract information about node attributes insufficiently and are easy to generate information bias， which affects the learning effect. Aiming at these problems， a Network Representation learning model based on Autoencoder with optimized Graph Structure （NR-AGS） was proposed to improve the accuracy by optimizing the graph structure. Firstly， the structure and attribute information were fused to generate the joint transition matrix， thereby forming the high-dimensional representation. Secondly， the low-dimensional embedded representation was learnt by an autoencoder. Finally， the deep embedded clustering algorithm was introduced during learning to form a self-supervision mechanism in the processes of autoencoder training and the category distribution division of nodes. At the same time， the improved Maximum Mean Discrepancy （MMD） algorithm was used to reduce the gap between distribution of the learnt low-dimensional embedded representation and distribution of the original data. Besides， in the proposed model， the reconstruction loss of the autoencoder， the deep embedded clustering loss and the improved MMD loss were used to optimize the network jointly. NR-AGS was applied to the learning of three real datasets， and the obtained low-dimensional representation was used for downstream tasks such as node classification and node clustering. Experimental results show that compared with the deep graph representation model DNGR （Deep Neural networks for Graph Representations）， NR-AGS improves the Micro-F1 score by 7.2， 13.5 and 8.2 percentage points at least and respectively on Cora， Citeseer and Wiki datasets. It can be seen that NR-AGS can improve the learning effect of NRL effectively.

Network Representation Learning (NRL); attribute information; autoencoder; deep embedded clustering; Maximum Mean Discrepancy (MMD)

This work is partially supported by National Natural Science Foundation of China （62072154）.

FU Kun， born in 1979， Ph. D.， associate professor. Her research interests include social network analysis， network representation learning.

HAO Yuhan， born in 1997， M. S. candidate. Her research interests include network representation learning.

SUN Minglei， born in 1992， M. S. candidate. His research interests include network representation learning.

LIU Yinghua， born in 1996， M. S. candidate. His research interests include social network analysis.

1001-9081（2023）10-3054-08

10.11772/j.issn.1001-9081.2022101494

2022?10?12；

2023?02?10；

國(guó)家自然科學(xué)基金資助項(xiàng)目（62072154）。

富坤（1979—），女，遼寧遼陽人，副教授，博士，主要研究方向：社會(huì)網(wǎng)絡(luò)分析、網(wǎng)絡(luò)表示學(xué)習(xí)； 郝玉涵（1997—），女，河北張家口人，碩士研究生，主要研究方向：網(wǎng)絡(luò)表示學(xué)習(xí)； 孫明磊（1992—），男，河北承德人，碩士研究生，主要研究方向：網(wǎng)絡(luò)表示學(xué)習(xí)； 劉贏華（1996—），男，河北邯鄲人，碩士研究生，主要研究方向：社會(huì)網(wǎng)絡(luò)分析。

TP391

A

2023?02?15。