賈香恩，董一鴻，朱 鋒，錢江波

寧波大學 信息科學與工程學院，浙江 寧波315211

深度學習已經(jīng)在各個領(lǐng)域取得巨大的進展。盡管深度學習能提升歐幾里德數(shù)據(jù)分析效果，但是傳統(tǒng)的深度學習方法對于非結(jié)構(gòu)化的圖數(shù)據(jù)卻不適用。在現(xiàn)實世界中普遍存在著網(wǎng)絡(luò)關(guān)系，如社交網(wǎng)絡(luò)[1]、蛋白質(zhì)相互作用網(wǎng)絡(luò)[2]和用戶與商品交互網(wǎng)絡(luò)[3]等，這些網(wǎng)絡(luò)中存在相互作用的節(jié)點信息和邊的信息。近年來，圖挖掘是數(shù)據(jù)挖掘領(lǐng)域的研究熱點，引起了許多學者和工業(yè)界的關(guān)注。如在電子商務(wù)中，基于用戶與商品的交互圖構(gòu)建的推薦系統(tǒng)模型，給用戶提供實時的商品推薦服務(wù)。這些圖數(shù)據(jù)分析的復雜性給機器學習領(lǐng)域帶來了挑戰(zhàn)。由于圖數(shù)據(jù)的不規(guī)則，節(jié)點的鄰居數(shù)目不固定且無序，不能直接利用卷積神經(jīng)網(wǎng)絡(luò)提取其中的特征。為此構(gòu)建了圖卷積網(wǎng)絡(luò)用來處理圖數(shù)據(jù)。圖卷積網(wǎng)絡(luò)有三個關(guān)鍵點[4]：（1）處理的圖數(shù)據(jù)是一種局部結(jié)構(gòu)；（2）網(wǎng)絡(luò)中的權(quán)重共享，降低訓練成本；（3）多層結(jié)構(gòu)設(shè)計，適應不同的數(shù)據(jù)特征。為了挖掘圖數(shù)據(jù)中的各種語義信息，適應不同的任務(wù)，圖卷積網(wǎng)絡(luò)迅速發(fā)展，已經(jīng)成為圖表示學習的最重要的方法之一。

圖卷積網(wǎng)絡(luò)應用于很多的信息網(wǎng)絡(luò)分析中，現(xiàn)在大多數(shù)工作將網(wǎng)絡(luò)構(gòu)建成為同構(gòu)信息網(wǎng)絡(luò)，即在一個網(wǎng)絡(luò)中節(jié)點和其連接關(guān)系只有一種類型，沒有表達出其中的異構(gòu)性，造成了不可逆的信息損失。然而，現(xiàn)實中的大多數(shù)網(wǎng)絡(luò)是異構(gòu)的，網(wǎng)絡(luò)中有不同的節(jié)點類型和不同的邊類型，其中的異構(gòu)性蘊含大量的語義信息。如圖1，在電影數(shù)據(jù)網(wǎng)絡(luò)中將電影、導演和演員作為節(jié)點，其中存在電影和導演之間，指導和被指導的關(guān)系、演員和電影之間存在出演和演出的關(guān)系。在圖挖掘的網(wǎng)絡(luò)中，應該保留這種豐富的語義關(guān)系和結(jié)構(gòu)，可以使獲得的語義信息更加豐富。相較于同構(gòu)網(wǎng)絡(luò)，異構(gòu)網(wǎng)絡(luò)中的異構(gòu)性對于網(wǎng)絡(luò)分析十分重要。在大數(shù)據(jù)時代中，異構(gòu)網(wǎng)絡(luò)更符合現(xiàn)實場景的結(jié)構(gòu)化數(shù)據(jù)的建模，如在電商數(shù)據(jù)中，將商品與用戶看成兩種不同類型的節(jié)點，并構(gòu)建兩種不同的連接關(guān)系：購買和被購買的關(guān)系。很自然地將現(xiàn)實場景中網(wǎng)絡(luò)構(gòu)建成異構(gòu)網(wǎng)絡(luò)。并且在異構(gòu)網(wǎng)絡(luò)中融合更豐富的語義信息，包含不同的節(jié)點類型和鏈接語義。

圖1 電影信息網(wǎng)絡(luò)

異構(gòu)網(wǎng)絡(luò)具有融合各種語義信息的優(yōu)勢，已經(jīng)成為圖數(shù)據(jù)挖掘中的熱點問題。但是，其中的異構(gòu)性給建模帶來了更高的要求。有許多研究者為了捕捉其中的異構(gòu)性信息，將異構(gòu)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)在圖數(shù)據(jù)中的信息提取能力結(jié)合，將學習到的嵌入向量應用到下游任務(wù)，其性能得到了顯著的提升。異構(gòu)網(wǎng)絡(luò)也在各領(lǐng)域廣泛應用，如電商平臺和網(wǎng)絡(luò)異常檢測中，其性能也到了提升。

目前已有一些文獻對異構(gòu)網(wǎng)絡(luò)表示學習進行了綜述。文獻[5]是從模型角度進行了總結(jié)，提出了四個基準的數(shù)據(jù)集，并給出了一些開源源碼。也有一些作者對圖卷積網(wǎng)絡(luò)的方法即應用進行了闡述，如文獻[4]闡述圖卷積網(wǎng)絡(luò)的發(fā)展應用和未來工作。目前，還沒有針對異構(gòu)圖卷積網(wǎng)絡(luò)方法的總結(jié)性工作。

本文針對異構(gòu)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)結(jié)合的方法進行總結(jié)，整理了圖卷積網(wǎng)絡(luò)的發(fā)展歷程，介紹兩類異構(gòu)圖卷積網(wǎng)絡(luò)表示學習模型以及應用場景，并基于發(fā)展趨勢和已有的工作，進一步提出未來的發(fā)展方向。

1 異構(gòu)圖卷積網(wǎng)絡(luò)發(fā)展

在傳統(tǒng)的網(wǎng)絡(luò)表示學習[6]中，將忽略其網(wǎng)絡(luò)的節(jié)點和邊的類型構(gòu)成的同構(gòu)網(wǎng)絡(luò)作為建模網(wǎng)絡(luò)數(shù)據(jù)。模型將網(wǎng)絡(luò)中的節(jié)點表示成為低維稠密的向量，使得向量在空間中具有表示和推理能力。來自于自然語言處理中詞嵌入技術(shù)的靈感，在2014 提出了里程碑式的工作Deepwalk[7]，將隨機游走與skip-gram[8]結(jié)合建立了深度游走模型來表示節(jié)點嵌入向量。Node2vec[9]選用有偏參數(shù)來控制游走策略更傾向于深度游走還是廣度游走，來提高網(wǎng)絡(luò)的嵌入效果。為了更好地適應近鄰稀疏性的網(wǎng)絡(luò)，LINE[10]利用二階鄰居相似度豐富一階鄰居相似度語義。現(xiàn)實中的網(wǎng)絡(luò)節(jié)點上有豐富的文本屬性信息，TADW[11]結(jié)合結(jié)構(gòu)和屬性進行表示學習用來獲得更豐富的語義。并且節(jié)點之間存在著非線性的關(guān)系，SDNE[12]認為可以利用深度自編碼器保持二階鄰居的相似性，來捕捉這種非線性關(guān)系和局部關(guān)系。然而隨著節(jié)點數(shù)量的增大，自編碼器的參數(shù)數(shù)量也隨之增加，導致自編碼器的效率較低。圖卷積網(wǎng)絡(luò)（GCN[13]）使用了共享聚合參數(shù)，可以從圖的結(jié)構(gòu)對信息進行聚合。GAT[14]用注意力機制對鄰近節(jié)點特征進行加權(quán)求和，其權(quán)重完全依賴于節(jié)點特征，獨立于結(jié)構(gòu)。為了適應大規(guī)模網(wǎng)絡(luò)表示學習，GraphSAGE[15]使用一種歸納學習的方式進行訓練。近些年來，一些文獻中提出了通用的框架，如MPNN[16]將圖卷積網(wǎng)絡(luò)模型總結(jié)為消息傳遞和節(jié)點更新這兩個階段；概括了很多圖卷積網(wǎng)絡(luò)的NLNN[17]模型；更加靈活通用的GN[18]模型。GCN的出現(xiàn)加速了整個網(wǎng)絡(luò)表示學習的發(fā)展。

大多數(shù)現(xiàn)實中的網(wǎng)絡(luò)都是包含不同的節(jié)點類型和邊類型的異構(gòu)網(wǎng)絡(luò)，多類型對象之間蘊含著豐富的語義信息。在傳統(tǒng)的異構(gòu)網(wǎng)絡(luò)挖掘中，首先要在網(wǎng)絡(luò)上定義元路徑，然后將其作為機器學習模型的特征。為了更好捕獲這種圖異構(gòu)性，Metapath2vec[19]被提出，其采用基于元路徑隨機游走的方式，元路徑限定其只能在特定的節(jié)點類型之間游走，利用負采樣的skip-gram 來學習節(jié)點的嵌入表示。HIN2VEC[20]直接將元路徑視為上下文來學習節(jié)點嵌入。HEER[21]從多個空間考察語義關(guān)系。結(jié)合注意力機制的GATNE[22]將該框架拓展到多路異構(gòu)網(wǎng)絡(luò)，并且TapEm[23]進一步將節(jié)點對與元路徑的嵌入結(jié)合。HERec[24]模型根據(jù)自定義的元路徑，將異構(gòu)網(wǎng)絡(luò)在多個維度投影，然后在每個投影中使用Metapath2vec學習節(jié)點嵌入，然而HueRec[25]方法認為不同的元路徑之間存在相互關(guān)系，并將它們統(tǒng)一到一個端到端的框架中。許多基于skip-gram 嵌入模型為了加快網(wǎng)絡(luò)學習，APE[26]采用負采樣的方式訓練網(wǎng)絡(luò)。進一步，基于對抗生成網(wǎng)絡(luò)的HeGAN[27]的生成器目標是學習節(jié)點分布，進而在異構(gòu)網(wǎng)絡(luò)中生成更好的負樣本。這些方法都是基于網(wǎng)絡(luò)結(jié)構(gòu)的異構(gòu)性，來獲取其中的語義信息。

2 異構(gòu)圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)在圖表示學習的很多任務(wù)中都表現(xiàn)優(yōu)越。相較于傳統(tǒng)的淺層模型，圖卷積網(wǎng)絡(luò)能在信息網(wǎng)絡(luò)中捕捉更復雜的非線性關(guān)系，并且能提取出更豐富的語義。近些年，一些學者將圖卷積網(wǎng)絡(luò)與異構(gòu)網(wǎng)絡(luò)挖掘中的一些方法結(jié)合，在節(jié)點分類、鏈路預測等任務(wù)上取得了較好的結(jié)果。因此，圖卷積網(wǎng)絡(luò)已經(jīng)成為異構(gòu)網(wǎng)絡(luò)挖掘的主流方法，成為工業(yè)界和學術(shù)界的研究熱點。本文將異構(gòu)圖卷積網(wǎng)絡(luò)模型總結(jié)為基于元路徑和自適應異構(gòu)信息這兩種方法。其中，基于元路徑的方法通過鄰域?qū)＜叶x元路徑，將異構(gòu)圖轉(zhuǎn)為同構(gòu)圖進行處理；自適應異構(gòu)信息的方法能自適應獲取圖中的異構(gòu)信息，不需要元路徑的參與。

2.1 基于元路徑

隨機游走在同構(gòu)網(wǎng)絡(luò)中，表現(xiàn)的是節(jié)點之間的可達性，反映的是網(wǎng)絡(luò)的結(jié)構(gòu)信息。在同構(gòu)網(wǎng)絡(luò)中節(jié)點類型和邊類型是相同的，然而在異構(gòu)網(wǎng)絡(luò)中有更豐富的語義信息，其節(jié)點和邊的類型是不同的。如圖1，在電影信息網(wǎng)絡(luò)中，有演員（A）、電影（M）和導演（D）這三種類型的節(jié)點，其中有演員和電影之間有出演關(guān)系和導演與電影之間有指導關(guān)系等語義關(guān)系。為了刻畫異構(gòu)網(wǎng)絡(luò)更復雜的語義，提出了基于元路徑隨機游走的方法。通過定義特定語義的元路徑用于提取網(wǎng)絡(luò)中豐富的語義信息。比如在電影信息網(wǎng)絡(luò)中，定義元路徑AMA 表示的是演員共同出演的語義信息，定義元路徑MDM表示的是由相同導演指導的語義信息。不同的元路徑代表著不同的語義信息，在元路徑指導下的隨機游走更能反映出節(jié)點序列的特定意義。HAN[28]結(jié)合元路徑提出了基于層次化注意力機制的異構(gòu)圖卷積網(wǎng)絡(luò)，其中涉及節(jié)點級和語義級的注意力機制，如圖2。節(jié)點級注意力網(wǎng)絡(luò)主要學習節(jié)點在相同元路徑下鄰居節(jié)點間的權(quán)重，并通過加權(quán)求和來獲取節(jié)點嵌入。

每種元路徑只代表特定語義信息，在獲取單個元路徑的節(jié)點嵌入后，通過語義級注意力機制融合不同的語義信息。首先通過非線性轉(zhuǎn)化，將嵌入的重要性轉(zhuǎn)換為嵌入的相似度來度量，再通過注意力機制獲取節(jié)點的表示向量。類似于HAN的分層注意力機制，HAHE[29]使用了元路徑注意力層和路徑實例化注意力層兩層的注意力機制。元路徑注意力層學習的是每個節(jié)點在元路徑上的個性化偏好，而路徑實例化注意力層能捕獲節(jié)點在特定語義空間上的偏好信息，并基于半監(jiān)督學習的方式進行訓練。

Meta-GNN[30]使用多層的元圖卷積層，并利用元圖注意力機制為每個元圖節(jié)點分配權(quán)重，其在更高的層面對異構(gòu)網(wǎng)絡(luò)進行建模分析并能獲取全局的語義信息。Meta-GNN 先使用基于元圖的圖卷積網(wǎng)絡(luò)來獲取基于元圖的節(jié)點嵌入向量，再利用注意力機制融合元圖節(jié)點來獲取最終的節(jié)點向量。

以上模型都是在異構(gòu)圖上定義多個元路徑或元圖，捕獲路徑之間的復合關(guān)系并指導鄰居選擇。但是在這些模型中，有的忽略了節(jié)點的內(nèi)容特性，有的模型在元路徑隨機游走過程中忽略了中間的節(jié)點。MAGNN[31]提出通過節(jié)點內(nèi)容轉(zhuǎn)換來封裝節(jié)點屬性，再利用元路徑內(nèi)部聚合來獲取中間節(jié)點的語義，最后使用元路徑間的聚合來結(jié)合多個元路徑的消息，從而削弱單個元路徑對嵌入表示的影響，如圖3。為了捕獲到異構(gòu)圖上的高階語義，HOHGCN[32]基于元路徑設(shè)計了高階異構(gòu)圖卷積網(wǎng)絡(luò)，不僅能獲取一些元路徑的語義，而且還捕獲重要的高階元路徑的高階關(guān)系，如圖4。它還設(shè)計了一種高階元路徑的鄰接矩陣的計算方式，在每一步的消息聚合中，都會線性聚合高階基于元路徑的鄰居信息，此模型也適用于大規(guī)模異構(gòu)圖。

圖2 HAN模型框架

圖3 MAGNN模型框架

圖4 HOHGCN模型框架

為了保留更多異構(gòu)網(wǎng)絡(luò)中的結(jié)構(gòu)信息和語義信息，MetaGATE[33]基于多個元路徑隨機游走并結(jié)合skip-gram模型進行預訓練。然后，通過圖注意力網(wǎng)絡(luò)來聚合異構(gòu)信息，挖掘更高層次的語義。為了保證模型的穩(wěn)定性，模型將多個獨立的自注意力過程的嵌入串聯(lián)形成節(jié)點向量。GraphInception[34]利用元路徑將異構(gòu)圖轉(zhuǎn)換為多通道網(wǎng)絡(luò)，再通過圖卷積網(wǎng)絡(luò)學習每個通道節(jié)點嵌入。GraphInception 為了平衡關(guān)系特征的復雜程度，將傳統(tǒng)的Inception 模型遷移應用到非歐式數(shù)據(jù)中。此模型能自動生成從簡單到復雜關(guān)系的層次結(jié)構(gòu)，能有效地學習網(wǎng)絡(luò)中關(guān)系的有效特征，最后將所有卷積結(jié)果拼接形成最后的嵌入向量。

以上提及的異構(gòu)圖卷積網(wǎng)絡(luò)模型都需要手工構(gòu)建元路徑，路徑的選擇對于模型的準確率造成很大的影響。為了準確提取網(wǎng)絡(luò)中有價值的語義信息，GTNs[35]可以在圖上識別未直接連接節(jié)點之間的有用連接，通過轉(zhuǎn)換器來學習有用的多條連接，將輸入的圖轉(zhuǎn)化為對任務(wù)有用的元路徑圖。GTNs 首先通過圖轉(zhuǎn)換器挑選出有用的元路徑，然后再通過多個圖變換層堆疊來獲取元路徑的表示，最后通過拼接操作得到節(jié)點的嵌入表示，如圖5。

圖5 GTNs模型框架

大多數(shù)的異構(gòu)網(wǎng)絡(luò)中包含了多種類型的節(jié)點和邊，但是其節(jié)點的屬性只有一種。然而對于多重屬性異構(gòu)網(wǎng)絡(luò)，每個節(jié)點都有不同的屬性。其網(wǎng)絡(luò)中的節(jié)點之間存在著多種關(guān)系連接，產(chǎn)生了多視圖的網(wǎng)絡(luò)，建模網(wǎng)絡(luò)信息需要面臨復用邊、歸納學習和可擴展性這三個問題。GATNE[22]提出了GATNE-T 和GATNE-I 分別處理直推式學習和歸納學習，來解決這三個問題。其中GATNE-T 聚合鄰居節(jié)點的信息，利用注意力機制為每種類型的邊都分配對應的注意力。GATNE-I 將節(jié)點的嵌入分為三個部分，分別為基向量、邊向量和屬性向量，其中基向量和屬性向量是共享的；邊向量是由鄰居聚合信息得到，最后通過元路徑指導下的隨機游走結(jié)合skip-gram 模型進行優(yōu)化。GATNE 解決了在多重屬性異構(gòu)網(wǎng)絡(luò)建模挖掘的問題，并在實際的推薦系統(tǒng)中落地應用。

對于現(xiàn)有的面向異構(gòu)網(wǎng)絡(luò)的圖卷積網(wǎng)絡(luò)仍然存在兩個缺陷：（1）無法探索所有可能的元路徑，也無法提取最有效的元路徑，不僅影響了可解釋性而且影響模型的有效性。（2）利用中間元路徑生成稠密圖，導致了較高的計算時間復雜度。為了應對以上問題，ie-HGCN[36]，采用分層聚合的架構(gòu)，首先進行對象級聚合，然后進行類型級聚合，這個模型可以為每個對象提取有用的元路徑，從而使模型具有很好的解釋性。并且模型避免了異構(gòu)網(wǎng)絡(luò)的變換，從而提高了模型的計算效率。在異構(gòu)網(wǎng)絡(luò)挖掘中，盡管基于元路徑的方法已經(jīng)取得了很大的成功，但是大多數(shù)的方法如HAN[28]、HAHE[29]和MAGNN[31]等仍然要依賴于領(lǐng)域?qū)＜叶x元路徑。然而，人工很難詳盡地選擇有價值的元路徑。并且基于元路徑生成節(jié)點對的過程中，一些模型沒有考慮元路徑內(nèi)部的節(jié)點，其中蘊含的信息會被丟失導致嵌入效果較差。HAN在將異構(gòu)網(wǎng)絡(luò)轉(zhuǎn)化為多個基于元路徑的圖時，只考慮元路徑兩端的鄰居節(jié)點，沒有采用中間節(jié)點，造成中間節(jié)點信息丟失。MAGNN雖然考慮元路徑內(nèi)部結(jié)構(gòu)，但是依然需要人工構(gòu)建元路徑。相對于人工構(gòu)建元路徑，GTNs 能自動生成元路徑，其在節(jié)點分類任務(wù)中的性能已經(jīng)超過了HAN。這些模型均在元路徑層面上對異構(gòu)網(wǎng)絡(luò)進行建模分析，Meta-GNN 利用多層元圖卷積層，在更高的層面上對異構(gòu)網(wǎng)絡(luò)進行分析，拓展了模型的感受野，從而能捕獲網(wǎng)絡(luò)中的高階語義關(guān)系。

2.2 自適應異構(gòu)信息

現(xiàn)有的異構(gòu)網(wǎng)絡(luò)挖掘的建模方法，大多數(shù)是基于元路徑將異構(gòu)圖轉(zhuǎn)化為同構(gòu)圖進行處理。這些方法構(gòu)建同構(gòu)圖時非常耗時，而且在選取元路徑需要領(lǐng)域?qū)＜抑R，并且很難選取有價值的元路徑。通過元路徑構(gòu)建同構(gòu)圖可能會損失語義信息，冗余的元路徑將會給模型帶來噪聲信息，影響模型的性能?；诖颂岢隽薍etGNN[37]，首先通過隨機游走采樣固定的鄰居，并按照鄰居類型分類，提取出每種鄰居類型中出現(xiàn)頻率最高的節(jié)點，再按照不同屬性來編碼異構(gòu)信息，然后按照不同的鄰居類型分別聚合節(jié)點信息，最后通過注意力機制來融合節(jié)點信息獲取最終的嵌入向量。由于隨機游走采樣鄰居花費計算時間成本較大，HetSANN[38]模型提出不需要游走采樣，直接對異構(gòu)網(wǎng)絡(luò)進行建模分析。其使用類型感知注意力層，將在不同語義空間上的節(jié)點轉(zhuǎn)換到相同的低維空間上，然后使用注意力機制在此語義空間上對鄰居進行聚合。HetSANN的聚合是基于節(jié)點之間的直接連邊，而不是元路徑，對于不同的異構(gòu)圖都能自適應學習其中的異構(gòu)性和結(jié)構(gòu)信息。相比于對節(jié)點類型的感知的HetSANN，RSHN[39]是對關(guān)系結(jié)構(gòu)感知異構(gòu)圖卷積網(wǎng)絡(luò)。其通過粗化的線性圖卷積網(wǎng)絡(luò)，挖掘以邊為中心的關(guān)系結(jié)構(gòu)特征，獲取不同類型邊的潛在關(guān)聯(lián)。之后，利用異構(gòu)圖卷積網(wǎng)絡(luò)獲取異構(gòu)圖中相鄰節(jié)點間傳播的邊的隱含信息。因此，不同類型的節(jié)點和邊可以通過相互融合來增強其嵌入性。區(qū)分關(guān)系類型的模型能更好地捕捉異構(gòu)網(wǎng)絡(luò)中的結(jié)構(gòu)信息。由于異構(gòu)網(wǎng)絡(luò)中有很少的監(jiān)督信息，為了最大程度利用有監(jiān)督的信息，ActiveHNE[40]提出了鑒別性的異構(gòu)網(wǎng)絡(luò)和異構(gòu)網(wǎng)絡(luò)主動查詢，主要考慮的是節(jié)點的異構(gòu)性，將異構(gòu)圖分解為多個只有兩種節(jié)點類型構(gòu)成的子圖。ActiveHNE 分別學習節(jié)點在每個子圖中的嵌入，通過網(wǎng)絡(luò)中心度、卷積信息熵和卷積信息密度結(jié)合強化學習中的多臂老虎機機制，從異質(zhì)圖中選取有價值的節(jié)點，利用這些節(jié)點可以更好地學習節(jié)點嵌入表示。通過網(wǎng)絡(luò)輸出的節(jié)點嵌入拼接得到節(jié)點的最終的表示。

相較于ActiveHNE，R-GCN[41]考慮的是邊的異構(gòu)信息。對于多種邊類型的異構(gòu)圖，每種邊對應一個可學習的權(quán)重矩陣，如圖6。在消息傳遞的過程中，基于相同邊類型相連的鄰居將被聚合在一起并被歸一化處理。為了防止由于關(guān)系過多產(chǎn)生過擬合，R-GCN 采用基參數(shù)化減輕稀疏關(guān)系過擬合問題。在R-GCN的基礎(chǔ)上，將聚合鄰居的方式替換為注意力機制方式，構(gòu)建出R-GAT[42]模型，有更好的表現(xiàn)效果。R-GCN 和R-GAT 更適合稀疏邊的異構(gòu)網(wǎng)絡(luò)。大多數(shù)的模型都將所有的關(guān)系嵌入到模型中，沒有區(qū)別考慮不同類型的關(guān)系，不能充分挖掘異構(gòu)網(wǎng)絡(luò)中的信息。異構(gòu)圖中的節(jié)點和邊有不同的類型，其中蘊含著不同的語義信息。多關(guān)系網(wǎng)絡(luò)建模更符合實際的應用價值，類似于R-GCN，CompGCN[43]設(shè)計了一種針對多關(guān)系的圖卷積網(wǎng)絡(luò)，同時來學習節(jié)點和關(guān)系的表示。為了降低大量的類型關(guān)系帶來參數(shù)的增長，CompGCN 設(shè)計一種分解操作，將關(guān)系表示為一組加權(quán)組合，這樣參數(shù)的數(shù)量只和基的數(shù)量有關(guān)。以上的模型都是使用節(jié)點或邊緣類型來確定權(quán)重矩陣，對于那些沒有足夠出現(xiàn)次數(shù)的關(guān)系，很難學習到準確的關(guān)系特定權(quán)重，導致模型不能充分挖掘異構(gòu)圖中關(guān)系之間交互的語義。HGT[44]提出了基于消息傳遞的方式，通過多層圖卷積網(wǎng)絡(luò)將高階鄰接信息納入其中。為了解決異構(gòu)性問題，通過依賴于節(jié)點和邊的類型引入注意力機制。而且結(jié)合相對時間編碼能夠處理動態(tài)異構(gòu)圖，增強了HGT。為了應對大規(guī)模數(shù)據(jù)，HGT 設(shè)計了異構(gòu)子圖采樣算法——HGSampling。這種算法與傳統(tǒng)的采樣算法不同，可以使得不同節(jié)點類型采樣保持相似分布，并且信息損失小。

圖6 R-GCN模型框架

自適應異構(gòu)信息的方法不需要領(lǐng)域?qū)＜叶x元路徑，直接在異構(gòu)圖上進行建模分析。其中，HetGNN 通過隨機游走采樣鄰居，按鄰居類型進行聚合，但是其計算復雜度較高。面對這個問題，HetSANN 將不同的類型節(jié)點轉(zhuǎn)換到同一語義空間，通過注意機制進行節(jié)點聚合，直接對異構(gòu)網(wǎng)絡(luò)進行分析。相對于感知節(jié)點類型的模型，RSHN 是對關(guān)系結(jié)構(gòu)感知的異構(gòu)圖卷積網(wǎng)絡(luò)，可以獲取異構(gòu)圖中相鄰節(jié)點間邊的隱含信息，能增強網(wǎng)絡(luò)的嵌入性。ActiveHNE 將異構(gòu)網(wǎng)絡(luò)分解成多個只有兩種節(jié)點的子圖，分別進行建模分析，也不需要隨機游走采樣序列。對于蘊含多關(guān)系和多類型節(jié)點的異構(gòu)網(wǎng)絡(luò)，R-GCN 和CompGCN 等單獨為某類型的節(jié)點或邊分配可學習的矩陣，但是會造成不能充分挖掘異構(gòu)信息。HGT 采用節(jié)點類型和邊類型有依賴的注意力機制，通過不同的邊類型連接的節(jié)點可以傳遞和交互信息，并且可以跨越不同層次獲取高階信息。HGT還可以結(jié)合相對時間編碼處理動態(tài)異構(gòu)網(wǎng)絡(luò)。但是大多數(shù)自適應異構(gòu)信息網(wǎng)絡(luò)的參數(shù)較多，造成計算復雜度較高并且難以訓練。一些學者面對此問題做出了嘗試，如CompGCN利用分解操作，將關(guān)系表示為一組加權(quán)組合使得參數(shù)的數(shù)量只和基的數(shù)量有關(guān)。

2.3 聚合方法

圖卷積網(wǎng)絡(luò)中的聚合方法將鄰居信息進行整合，形成節(jié)點表示向量，其中不僅蘊含本身節(jié)點的特征還有鄰居節(jié)點的特征，如圖7。應用于同構(gòu)網(wǎng)絡(luò)分析的圖卷積網(wǎng)絡(luò)，其聚合方法有平均、最大化、LSTM和注意力機制聚合等。如在GraphSage[15]中有：

圖7 鄰域聚合

其中，φ為元路徑；aφ為在元路徑φ下的節(jié)點級注意力向量；hi′和hj′表示節(jié)點i和j的特征向量；表示拼接操作。獲取節(jié)點在每個元路徑下的表示之后，通過語義注意力機制來權(quán)衡不同的元路徑，得到節(jié)點最終的嵌入表示Z。

其中，q是語義級注意力向量；b表示偏置參數(shù)。

在R-GCN中，為了獲取異構(gòu)網(wǎng)絡(luò)中的異構(gòu)信息，對于每一種關(guān)系都有設(shè)計不同的權(quán)重矩陣。在k+1 層輸出的節(jié)點向量表示為：

這里Attention(·)用于估計每個源節(jié)點的重要性；Message(·)只用源節(jié)點s提取消息；Aggregate(·)按權(quán)重聚合鄰居消息。

以上提到的聚合函數(shù)主要以基于注意力機制的方式為主，主要是因為注意力機制的自適應特性，能針對不同的任務(wù)自動調(diào)整對于不同鄰居節(jié)點權(quán)重。LSTM聚合能獲得更加豐富的鄰域信息，但平均及最大化的聚合方式能節(jié)省計算時間。

2.4 模型歸納與概括

2.4.1 模型歸納

現(xiàn)有的異構(gòu)圖卷積網(wǎng)絡(luò)可以概括為基于元路徑和自適應異構(gòu)信息的模型。如表1 歸納和總結(jié)了主要模型的發(fā)表時間、應用任務(wù)和數(shù)據(jù)集。從表1中看出異構(gòu)網(wǎng)絡(luò)的研究，已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域的研究熱點，并做出了大量重要的工作。

其中，基于元路徑的方法逐漸從最初的專家定義元路徑，轉(zhuǎn)換到模型自動獲取有效的元路徑，如GTNs[35]利用圖轉(zhuǎn)換器挑選出有用的元路徑。此類方法中大多數(shù)的模型，應用的任務(wù)集中在節(jié)點分類、可視化和聚類任務(wù)中。相較于此類方法，自適應異構(gòu)信息的模型更關(guān)注在節(jié)點分類和鏈路預測任務(wù)上模型的表現(xiàn)。說明自適應異構(gòu)信息的模型，更關(guān)注于節(jié)點之間的鏈路關(guān)系。自適應的方法在最近的一段時間里得到了長足的發(fā)展，在許多學術(shù)會議中都有相關(guān)工作貢獻。

表1 異構(gòu)圖卷積網(wǎng)絡(luò)歸納

2.4.2 模型歸納

表2對模型聚合方法、模型策略和模型特點進行分析比較。

模型聚合方法包括平均、最大化、LSTM 和注意力機制等聚合方法。其中，大多數(shù)模型都采用注意力機制的聚合方法。注意力機制能帶給模型可解釋性。如在基于元路徑的模型中，注意力機制為不同元路徑自適應賦予相應的權(quán)重，并且權(quán)重隨著任務(wù)的不同而自動調(diào)整，增加模型適應能力。在基于自適應異構(gòu)信息的模型中，注意力機制為不同類型的邊和節(jié)點能自適應分配權(quán)重，能選擇出重要的異構(gòu)信息。

表2 異構(gòu)圖卷積網(wǎng)絡(luò)概括

從模型策略中，基于元路徑的模型多采用層次化和分層的網(wǎng)絡(luò)結(jié)構(gòu)，不僅可以獲取鄰居信息，也可以捕捉不同元路徑的語義信息。自適應異構(gòu)信息的模型更多利用的是多關(guān)系及多類型的網(wǎng)絡(luò)結(jié)構(gòu)，通過為每種節(jié)點或邊類型分配不同的權(quán)重，能自適應捕獲異構(gòu)網(wǎng)絡(luò)中的異構(gòu)信息。

不同的模型為獲得特定的信息，其特點有所差異。在基于元路徑的模型中，大多數(shù)都是通過定義多種元路徑來獲取不同的語義信息，結(jié)合注意力機制或直接拼接多個元路徑形成的嵌入獲取最終的節(jié)點嵌入。在自適應異構(gòu)信息的模型中，大多數(shù)的模型都是將不同的節(jié)點類型或基于不同邊類型的節(jié)點，轉(zhuǎn)換到同一低維語義空間下進行聚合。

許多模型存在空間或時間復雜度較高的問題，因而引入輕量化方式來解決。輕量化的方式主要可以概括為：預計算、改變聚合方式、正則化、參數(shù)共享和可訓練矩陣。

（1）預計算。一些模型為了獲取不同的鄰域信息，需要重復計算許多的矩陣。如果在模型訓練中不斷計算這些矩陣，會增加計算開銷。預計算方式通過預先算出需要重復使用的矩陣來避免重復計算。Meta-GNN預計算出所有元圖的矩陣張量，減少計算量。

（2）改變聚合方式。雖然預先計算可以減少重復計算，但是會加大內(nèi)存開銷。對于鄰域過大的節(jié)點，注意力機制中的softmax 計算效率低下，通過改變聚合方式提高效率。ie-HGCN 利用分層聚合結(jié)構(gòu)代替鄰域注意力聚合從而增加計算效率。不同類型的節(jié)點具有不同的語義信息，HetGNN使用Bi-LSTM來聚合不同類型節(jié)點的特征，它結(jié)構(gòu)簡潔，參數(shù)相對較少，使模型容易實現(xiàn)和調(diào)整。

（3）正則化。在自適應異構(gòu)信息網(wǎng)絡(luò)模型中，需要考慮不同的關(guān)系和節(jié)點類型的權(quán)重矩陣，造成參數(shù)數(shù)量過多。為了防止模型過擬合，一些模型引入正則化的方式減少模型參數(shù)。CompGCN 等引入基分解減少參數(shù)，但是基的個數(shù)難以確定。R-GCN采用塊分解將關(guān)系矩陣進行稀疏約束，將其隱含的特征分解為向量表示，從而減少模型參數(shù)。

（4）參數(shù)共享。隨著異構(gòu)網(wǎng)絡(luò)規(guī)模的增加，模型參數(shù)也會增加，造成模型參數(shù)取決于數(shù)據(jù)規(guī)模。參數(shù)共享是解決這個問題的較好方案。HAN將節(jié)點級注意力和語義級注意力參數(shù)進行共享，降低參數(shù)量緩解模型過擬合。為了更好地實現(xiàn)參數(shù)共享，HGT 在保留關(guān)系的特征的基礎(chǔ)上，將權(quán)重矩陣進行參數(shù)化為源和目標節(jié)點及邊的映射，減少模型訓練參數(shù)。

（5）可訓練矩陣。采用參數(shù)共享方式的模型雖然加快了計算速度，但是計算量并沒有明顯地減少。另外，矩陣運算消耗的計算資源相對較大，HetSANN 利用可訓練矩陣代替逆矩陣，避免了逆矩陣的計算，從而加快了模型訓練，但是參數(shù)化的矩陣只適用于逆矩陣的近似表示。

3 應用

圖卷積網(wǎng)絡(luò)除了完成基本數(shù)據(jù)挖掘任務(wù)，在現(xiàn)實場景應用下也有較好的表現(xiàn)。如推薦系統(tǒng)、生物化學、異常檢測和自然語言處理等相關(guān)實際應用領(lǐng)域。

3.1 推薦系統(tǒng)

近些年，電商網(wǎng)絡(luò)產(chǎn)生了大量的用戶和商品的交互數(shù)據(jù)，在交互數(shù)據(jù)中蘊含著多種的多種關(guān)系，如收藏、購買和瀏覽等。這些信息中含有豐富的語義信息，為了給用戶良好的體驗，工業(yè)界和學術(shù)界將這些數(shù)據(jù)構(gòu)建成異構(gòu)網(wǎng)絡(luò)，進行建模分析，更加準確地將相關(guān)商品推薦給有真實需求的相關(guān)用戶。這些異構(gòu)網(wǎng)絡(luò)能準確刻畫出真實的用戶交互信息，對于傳統(tǒng)的推薦系統(tǒng)，只將用戶對商品的評分矩陣建模，采用協(xié)同過濾的方法對數(shù)據(jù)進行分析，不能完整刻畫出用戶畫像。IntentGC[45]融合了多種異構(gòu)網(wǎng)絡(luò)中的輔助信息進行建模分析，通過圖卷積網(wǎng)絡(luò)對用戶的行為和商品的信息進行建模分析，來提取其中的偏好和異構(gòu)關(guān)系。除了建模提取異構(gòu)性信息能力外，IntentGC 還能自動學習不同關(guān)系權(quán)重的重要性，并在實際的推薦系統(tǒng)中上線使用，提升了推薦效果。MEIRec[46]利用電商系統(tǒng)中的用戶、物品及其交互數(shù)據(jù)進行建模分析，提出一種元路徑指導下的異構(gòu)圖卷積網(wǎng)絡(luò)，來學習意圖推薦中對象的嵌入。為了緩解巨大的學習參數(shù)，MEIRec 將對象嵌入到相同的語義空間中。RecoGCN[47]使用元路徑為每個節(jié)點劃分具有具體語義的感知域。為了有效地融合從不同元路徑中學到的嵌入內(nèi)容，它利用共同注意力機制，利用參與的用戶、銷售代理商和商品之間的三向互動，為不同的元路徑動態(tài)分配權(quán)重，獲取節(jié)點的表示。以上在電商系統(tǒng)的推薦模型都是基于單模態(tài)屬性的推薦，然而現(xiàn)實中的商品展示不僅有文字的說明還有圖片的展示，并且在微視頻平臺中還有視頻和語音的信息。這些信息有更加豐富的特征信息，并且現(xiàn)在的自然語言處理和計算視覺模型都能從這些模態(tài)中提取有效的信息，如何融合這些特征信息成為一個研究熱點。MMGCN[48]提出將每種模態(tài)構(gòu)建成單模態(tài)的異構(gòu)圖，通過圖卷積網(wǎng)絡(luò)形成單模態(tài)的向量，然后再將每種模態(tài)信息進行融合形成統(tǒng)一表示。通過用戶和項目的表示之間的相似性進行推薦，效果均超過傳統(tǒng)的推薦模型。

圖8 蛋白質(zhì)結(jié)構(gòu)的圖卷積

3.2 推薦系統(tǒng)

在生物化學領(lǐng)域，預測蛋白質(zhì)內(nèi)部氨基酸之間的聯(lián)系是一個有挑戰(zhàn)性的問題，并在藥品的發(fā)現(xiàn)和設(shè)計中起到重要的作用。Fout等[49]提出使用圖卷積網(wǎng)絡(luò)，預測蛋白質(zhì)內(nèi)部氨基酸序列之間的聯(lián)系。首先將蛋白質(zhì)進行結(jié)構(gòu)化，然后通過圖卷積對其節(jié)點進行表示，最后通過其表示之間的距離度量來預測連接，如圖8。

MR-GNN[50]使用基于多維度的架構(gòu)，從每個節(jié)點的不同鄰域中提取節(jié)點特征。并且它使用了基于雙圖的長短期記憶網(wǎng)絡(luò)（LSTMs）來聚合每個圖的局部特征，并提取圖之間的交互特征。圖變換策略網(wǎng)絡(luò)GTPN[51]結(jié)合了圖卷積網(wǎng)絡(luò)和強化學習，將反應物和試劑分子表示為同一個圖，從反應物分子生成產(chǎn)物分子的過程可以制定為一個圖變換的序列。其具有端到端學習的特點，為了引導模型搜索有效地通過復雜的離散空間的鍵變化集，通過增加有用的約束條件來擴展標準策略梯度損失。許多的模型只是用原子（節(jié)點）之間的距離將分子表示為一個圖，沒有考慮一個原子到另一個原子的空間方向。為了緩解這一局限性，DimeNet[52]提出了方向性信息傳遞，基于信息之間的角度轉(zhuǎn)換來使用方向信息，在一些數(shù)據(jù)集上取得了優(yōu)秀的效果。

3.3 異常檢測

在異常檢測方面，GeniePath[53]使用一種基于圖卷積網(wǎng)絡(luò)可拓展的方法，并結(jié)合自適應路徑層，在檢查惡意賬戶上有不俗的表現(xiàn)，如圖9。在電商系統(tǒng)實際中，每天用戶都會對商品發(fā)表很多的評論。一般評論會影響客戶的購買決定，惡意的垃圾評論會誤導買家，干擾平臺的正常運行。針對此Li等設(shè)計出CSA[54]，將閑魚數(shù)據(jù)用戶、商品和用戶評論分別構(gòu)建異構(gòu)圖和同構(gòu)圖，利用圖卷積網(wǎng)絡(luò)對數(shù)據(jù)進行分析并過濾出垃圾評論，從而提高用戶的購物體驗。CSA 也獲得了2019 年CIKM 最佳論文獎。相較于惡意評論的檢測，在支付環(huán)境下的異常檢測要求更為嚴苛。GEM[55]總結(jié)了攻擊者要受到計算成本和攻擊時間的限制，主要會表現(xiàn)出設(shè)備聚集和行為聚集這兩個特征。因此，GEM 將設(shè)備和賬戶之間的關(guān)系構(gòu)建成異構(gòu)圖，利用圖卷積網(wǎng)絡(luò)進行建模分析，同時考慮了賬戶的局部行為特征。GEM判斷賬戶正常與否取決于賬戶是否與異常用戶共享設(shè)備。在消費級信貸中，用戶套現(xiàn)會給企業(yè)的資金鏈造成了消極影響。檢測套現(xiàn)用戶可以降低經(jīng)濟損失，Hu 等人[56]提出了一種基于層次化注意力機制的用戶套現(xiàn)檢測模型——HACUD。特別地，Hu 等人根據(jù)不同類型的對象及其豐富的屬性和交互關(guān)系構(gòu)建出屬性異構(gòu)網(wǎng)絡(luò)。HACUD 模型通過提取出網(wǎng)絡(luò)中的結(jié)構(gòu)信息，增強了節(jié)點的特征表示。此外，HACUD 中設(shè)計了分層注意機制，以基于用戶對屬性和元路徑的偏好進行建模，能自適應感知網(wǎng)絡(luò)中的信息。

圖9 欺詐檢測案例

3.4 自然語言處理

詞嵌入已在多個自然語言處理應用中廣泛采用[57]?，F(xiàn)有的大多數(shù)詞嵌入方法都利用單詞的上下文來學習其嵌入。盡管已經(jīng)嘗試了利用單詞的句法上下文，但是這種方法導致詞匯量的爆炸式增長。序列模型能提取出長句中的依賴關(guān)系，但是它依賴于上下文的局部信息，從而限制了模型的可擴展性。現(xiàn)有的大多數(shù)傳統(tǒng)詞嵌入方法對文本的表示效果不佳。在自然語言處理中，抽取文檔中的摘要是從長文檔中抽取關(guān)鍵的句子作為文章的摘要。所構(gòu)建的模型要能提取出蘊含在句子之間的相互關(guān)系，才能獲取有效的句子表示?；谌中畔⒌膱D結(jié)構(gòu)的模型相對于傳統(tǒng)模型，能獲取到全局的文檔信息。Wang等人[58]提出了提取文檔摘要的異構(gòu)圖卷積網(wǎng)絡(luò)（HeterSumGraph），獲取詞和句子構(gòu)建的異構(gòu)圖中的不同粒度的節(jié)點語義。通過這些節(jié)點充當句子之間的中介，并豐富了跨句之間關(guān)系。并且，HeterSumGraph能從提取單一文檔的摘要任務(wù)拓展到多文檔的摘要提取。隨著網(wǎng)絡(luò)社交媒體和電子商務(wù)的快速發(fā)展，網(wǎng)絡(luò)短文應用于廣泛的領(lǐng)域之中。對于短文本分類幫助用戶查找相關(guān)信息，在新聞等媒體形式中得到重要的應用。由于短文本標記數(shù)據(jù)的稀疏性和局限性，現(xiàn)有的模型在短文本上的表現(xiàn)不盡人意。Hu等人[59]提出了基于異構(gòu)圖卷積網(wǎng)絡(luò)的半監(jiān)督短文本分類方法——HGAT，該方法克服了標記數(shù)據(jù)少和未標記數(shù)據(jù)大的特點，實現(xiàn)了信息在圖上傳播。它可以集成任何類型的附加信息，并捕獲它們之間的關(guān)系來解決語義稀疏性。HGAT 基于節(jié)點級和類型級的雙重注意機制可以學習不同相鄰節(jié)點的重要性，以及不同信息類型對當前節(jié)點的重要性。相較于單文檔的理解，問答系統(tǒng)需要對多跳文檔進行理解，才能得到完備的答案。這是一個具有挑戰(zhàn)性的任務(wù)。Tu 等人[60]將文檔和實體建立異構(gòu)文檔實體圖。此圖蘊含不同粒度級別的信息，包括特定文檔上下文中的候選項、文檔和實體。其中，節(jié)點使用基于注意力的上下文編碼器進行初始化，并利用圖卷積網(wǎng)絡(luò)在圖上進行消息傳遞。最終獲得節(jié)點表示包含了文檔和候選項之間的空間結(jié)構(gòu)信息。

4 總結(jié)及未來工作

由于異構(gòu)網(wǎng)絡(luò)能融合大量的語義信息，并且圖卷積網(wǎng)絡(luò)在同構(gòu)網(wǎng)絡(luò)分析上的優(yōu)異表現(xiàn)，近幾年吸引了大量的學者的研究。本文總結(jié)了最近幾年異構(gòu)圖卷積網(wǎng)絡(luò)的一些重要工作。雖然這些工作在異構(gòu)網(wǎng)絡(luò)挖掘任務(wù)中取得了一些成就，但是仍然存在著一些限制和挑戰(zhàn)。對于未來，仍然還有很多問題要進一步探究。

（1）多模態(tài)信息處理。在現(xiàn)實場景中，描述同一個事物的特征，不僅可以用文本描述，也可以用圖片或者視頻，從多個方面表現(xiàn)事物的特征。因此，在真實業(yè)務(wù)場景中構(gòu)建的異構(gòu)網(wǎng)絡(luò)節(jié)點信息可能包含這些多模態(tài)信息，對于這種多模態(tài)異構(gòu)網(wǎng)絡(luò)的挖掘的研究還不充分。多模態(tài)的信息含有更豐富的語義信息，不同模態(tài)相互之間存在依賴關(guān)系，但模態(tài)之間存在語義鴻溝。如何融合這些語義信息是一個研究熱點?？梢詾槊總€模態(tài)構(gòu)建二部圖[61]，通過圖卷積網(wǎng)絡(luò)學習每個模態(tài)的表示，最后把節(jié)點上每個模態(tài)的表示拼接來獲取最終的節(jié)點表示。并且，對于多模態(tài)異構(gòu)網(wǎng)絡(luò)的挖掘需要與更多領(lǐng)域知識相結(jié)合。不同的模態(tài)對于節(jié)點的重要程度可能不同，對于不同的模態(tài)如果按照同一種度量表征，可能會造成表示模型效果較差。如何學習不同模態(tài)對于節(jié)點嵌入表示的重要性，也是一個需要考慮的重要問題?？梢酝ㄟ^注意力機制學習不同模態(tài)的重要程度。在流媒體盛行的時代，視頻信息也可以作為節(jié)點中的一個模態(tài)信息。由于視頻通常所占的存儲空間較大，并且相關(guān)處理算法速度相較于圖片處理速度較慢。如果直接將所有節(jié)點的視頻內(nèi)容輸入到表示模型中，會造成模型時間和空間復雜度較高。如何將具有豐富語義的流媒體形式的信息融入到表示學習模型中，也是一個值得考慮的問題。MMGCN[62]將視頻提取關(guān)鍵幀再利用卷積神經(jīng)網(wǎng)絡(luò)提取特征來表示視頻模態(tài)信息。

（2）減少人工構(gòu)建元路徑。元路徑對于異構(gòu)網(wǎng)絡(luò)研究與發(fā)展具有重要意義。對于現(xiàn)實場景下豐富且復雜的異構(gòu)網(wǎng)絡(luò)，難以提取其中有價值元路徑。并且，元路徑的設(shè)置需要專家領(lǐng)域知識，不能充分反映語義的元路徑將削弱模型的表示能力，冗余的元路徑會給模型帶來噪聲信息?；谠窂綐?gòu)建子圖或者隨機游走，也需要巨大的計算資源。特定的元路徑針對特定的任務(wù)，因此人工構(gòu)建元路徑將會給異構(gòu)網(wǎng)絡(luò)挖掘帶來限制。為了充分探索異構(gòu)網(wǎng)絡(luò)蘊含的各種語義并減少其中的信息損失，因此需要在不預定義元路徑的前提下自適應學習網(wǎng)絡(luò)中的結(jié)構(gòu)和屬性信息。

（3）動態(tài)性?，F(xiàn)實中的網(wǎng)絡(luò)是動態(tài)演變的，分析動態(tài)網(wǎng)絡(luò)可以捕獲到實時的網(wǎng)絡(luò)變化狀態(tài)，但動態(tài)網(wǎng)絡(luò)的建模是一個難題。對于購物網(wǎng)絡(luò)，可以反映出用戶隨著時間推移需求的變動。然而，在大對數(shù)的異構(gòu)網(wǎng)絡(luò)建模中都是基于靜態(tài)的網(wǎng)絡(luò)建模，很難反應動態(tài)網(wǎng)絡(luò)的演化特征。大多數(shù)的方法將動態(tài)網(wǎng)絡(luò)基于時間戳分成多個網(wǎng)絡(luò)，分別進行建模分析，這樣忽略了結(jié)構(gòu)與時間的依賴性。因此，跨不同層的結(jié)構(gòu)和時間依賴性通常被忽略。如何結(jié)合結(jié)構(gòu)與時間語義關(guān)系成為一個研究熱點。HGT[44]利用相對時間編碼來捕獲任意時間長度的動態(tài)結(jié)構(gòu)依賴關(guān)系。

（4）深度計算。圖卷積網(wǎng)絡(luò)作為網(wǎng)絡(luò)表示學習中的主要方法，大多數(shù)模型都應用于同構(gòu)網(wǎng)絡(luò)，并且對于圖卷積網(wǎng)絡(luò)，不能將其層次堆疊到很深。由于圖卷積網(wǎng)絡(luò)通過不斷更新和聚合局部信息獲得全局信息，深層次的圖卷積網(wǎng)絡(luò)將會產(chǎn)生過平滑現(xiàn)象，但是淺層的圖神經(jīng)網(wǎng)絡(luò)不能混合高階的語義信息。如何獲得更高階的語義信息并且適用于異構(gòu)網(wǎng)絡(luò)成為一個研究熱點。可以結(jié)合ResNet[63]中的殘差連接將網(wǎng)絡(luò)層次加深，來獲取高階語義。另外，對于海量數(shù)據(jù)的場景下，模型的穩(wěn)定性和泛化能力至關(guān)重要。但是，圖卷積網(wǎng)絡(luò)易受到模型結(jié)構(gòu)設(shè)計的干擾造成脆弱性，如何設(shè)計出具有魯棒性的模型是值得關(guān)注的問題。HAN利用節(jié)點級注意力網(wǎng)絡(luò)獲取節(jié)點在多個特定元路徑下的表示，再使用語義級注意力網(wǎng)絡(luò)學習每個元路徑的權(quán)重，最后加權(quán)融合這些特定的表示形成節(jié)點嵌入。HAN[28]利用層次化的注意力機制網(wǎng)絡(luò)獲取節(jié)點的表示，可以獲取不同層次的語義信息，從而增加模型的魯棒性。MAGNN[31]使用多層元路徑聚合網(wǎng)絡(luò)不僅能獲取多條元路徑的語義信息，而且能獲取元路徑中間節(jié)點的信息，減少人工構(gòu)建元路徑造成的信息損失。自適應異構(gòu)信息的方式不需要人工構(gòu)建元路徑，HetSANN[38]將不同類型的節(jié)點通過類型矩陣映射到相同的低維空間中，再利用注意力網(wǎng)絡(luò)聚合鄰居信息。因此，HetSANN對于不同的異構(gòu)網(wǎng)絡(luò)，都能自適應感知異構(gòu)信息。為了設(shè)計出更具魯棒性的網(wǎng)絡(luò)結(jié)構(gòu)，應進一步將自適應異構(gòu)信息的網(wǎng)絡(luò)設(shè)計為層次化的網(wǎng)絡(luò)結(jié)構(gòu)，這樣不僅能獲取不同層次的信息，還能自適應不同的異構(gòu)網(wǎng)絡(luò)。

（5）多主干網(wǎng)絡(luò)。在異構(gòu)網(wǎng)絡(luò)挖掘中，現(xiàn)有的大多數(shù)圖卷積網(wǎng)絡(luò)都不能獲得淺層和深層的組合網(wǎng)絡(luò)特征，限制了特征表示的能力。如何獲得淺層和深層的組合特征語義是一個值得研究的問題。在計算機視覺中，Res2Net[64]在殘差塊內(nèi)部增加多個具有層次化的更小的殘差塊，最后將每個小殘差塊進行融合。這種網(wǎng)絡(luò)結(jié)構(gòu)不僅可以增加每層網(wǎng)絡(luò)的感受野，而且能獲得多層度的特征。CBNET[65]組合多個主干網(wǎng)絡(luò)將前一層輸出的特征輸入到下一個主干網(wǎng)絡(luò)對應層次中，用最后一層網(wǎng)絡(luò)輸出特征作為最終特征輸出。通過這種多組主干網(wǎng)絡(luò)組合方式，輸出的特征蘊含了原始圖片的淺層和深層特征。圖卷積網(wǎng)絡(luò)也可以利用這種網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，獲得淺層和深層的網(wǎng)絡(luò)特征。MGN[66]是多分支的網(wǎng)絡(luò)結(jié)構(gòu)，其中一個分支用來獲取全局的特征表示，另外兩個分支用于提取局部特征表示。MGN對不同區(qū)域的感知形成特征表示蘊含多粒度的信息，增強特征表示。圖卷積網(wǎng)絡(luò)可以設(shè)計為多分支網(wǎng)絡(luò)，不僅可以獲得局部鄰居信息，也能獲得高階鄰居信息。