陳 明 魏哲巍

中國人民大學 北京 100872

引言

近年來，人工智能技術取得了巨大的成功，影響到了人們生活的方方面面，其中，深度學習(Deep Learning)作為人工智能技術中最關鍵的一部分，發(fā)展尤為迅速。深度學習推進了模式識別和數(shù)據(jù)挖掘領域的研究，將現(xiàn)實世界中的每一個概念都定義為更加抽象的概念，即通過深度神經(jīng)網(wǎng)絡來提取樣本特征。目標檢測、機器翻譯、語音識別等許多機器學習任務曾高度依賴手工特征工程來提取信息特征，但多種端到端深度學習方式(卷積神經(jīng)網(wǎng)絡、長短期記憶網(wǎng)絡和自編碼器)改變了這種狀況。深度學習在多個領域的成功主要歸功于計算資源的快速發(fā)展(如GPU)、大量訓練數(shù)據(jù)的收集，還有深度學習從歐幾里得數(shù)據(jù)(如圖像、文本和視頻)中提取潛在表征的有效性。盡管深度學習已經(jīng)在歐幾里得數(shù)據(jù)中取得了很大的成功，但許多領域存在非歐幾里德空間的底層結構數(shù)據(jù)，包括計算社會科學中的社會網(wǎng)絡、通信中的傳感器網(wǎng)絡以及腦成像中的功能網(wǎng)絡等等，這樣的數(shù)據(jù)龐大且復雜，它們需要有效分析。例如，在電子商務領域，一個基于圖的學習系統(tǒng)能夠利用用戶和產(chǎn)品之間的交互以實現(xiàn)高度精準的推薦；在化學領域，分子被建模為圖，新藥研發(fā)需要測定其生物活性；在論文引用網(wǎng)絡中，論文之間通過引用關系互相連接，需要將它們分成不同的類別，圖神經(jīng)網(wǎng)絡(Graph Neural Networks，GNNs)應運而生。從視覺推理到開放性閱讀理解問題，從藥物分子的研發(fā)到醫(yī)療診斷，從交通流量預測到3D點云數(shù)據(jù)的學習，幾年時間，圖神經(jīng)網(wǎng)絡技術的相關應用研究已經(jīng)拓展到了極其寬廣的局面上，展示出了極其重要且極具滲透性的應用能力，并帶來極高的產(chǎn)業(yè)價值。

1 圖神經(jīng)網(wǎng)絡

圖(Graph)是計算機科學中一類重要的數(shù)據(jù)結構，與“文本”“圖像”“語音”共同構成數(shù)字世界的基礎組成部分。圖結構通過將現(xiàn)實場景中的實體轉化為節(jié)點，將實體間的關系轉化為邊，借助節(jié)點和邊的數(shù)據(jù)結構對實體及其關系進行抽象建模。在“萬物互聯(lián)”的大環(huán)境下，圖結構對現(xiàn)實場景中研究對象間的作用關系具有很強的表達能力。

將傳統(tǒng)的深度學習算法應用于圖時存在諸多挑戰(zhàn)，與圖像、音頻和文本具有清晰的網(wǎng)格結構不同，圖具有不規(guī)則的結構，如圖1所示，與網(wǎng)格結構相比，圖的節(jié)點無序，圖中的每個節(jié)點都與其周圍的其它節(jié)點存在復雜的依賴關系[1]。因此現(xiàn)有的深度學習算法，例如，卷積神經(jīng)網(wǎng)絡(CNNs)僅適用于網(wǎng)格結構數(shù)據(jù)(圖像)，遞歸神經(jīng)網(wǎng)絡(RNNs)僅適用于序列(文本)數(shù)據(jù)。圖神經(jīng)網(wǎng)絡的核心在于建模節(jié)點間的依賴關系，從而對圖節(jié)點進行表示，并對接下游機器學習任務。

圖1 網(wǎng)格數(shù)據(jù)(左)與圖數(shù)據(jù)(右)

基本的圖神經(jīng)網(wǎng)絡模型最初由譜方法導出，將卷積核作用在譜空間的輸入信號上，并利用卷積定理實現(xiàn)圖卷積，以完成節(jié)點之間的信息聚合。在信號上的卷積被定義為

1.1 圖神經(jīng)網(wǎng)絡的空間鄰域聚合

從研究層面來說，GCN將圖神經(jīng)網(wǎng)絡從譜域卷積的研究轉向了空間域卷積的研究。為了適應現(xiàn)實世界中復雜的圖數(shù)據(jù)，研究人員通過設計不同聚合函數(shù)來結合中心節(jié)點和其鄰域節(jié)點信息。一個有效方法是將注意力機制融入到圖學習方案中。注意力機制通過允許模型專注于輸入中最相關的部分，從而幫助模型做出決策，在融合注意力機制的GNN模型中，圖鄰接矩陣僅被用來定義鄰域節(jié)點，而節(jié)點間的權重計算則依賴于節(jié)點特征。例如圖注意力網(wǎng)絡GAT[4]的注意力權重計算公式為其中可學習參數(shù)用于計算節(jié)點間的注意力權重。如圖2所示，得到注意力權重后每個鄰居節(jié)點按照不同的權重聚合信息到目標節(jié)點。大量研究表明，注意力機制在生物分子領域尤為重要。相比GCN和GraphSAGE[5]等僅利用均值權重聚合的模型，GAT和GrapStar[6]等方法學習到的權重分布方差更大，在標準的蛋白質功能分類任務中的預測精度可以提升20%左右。注意力也使模型的結果更易于解釋。例如，通過分析模型對醫(yī)學本體圖中不同組件的關注度，可以確定導致特定醫(yī)療狀況的主要因素[7]。然而目前基于注意力機制的圖模型參數(shù)量大，運行效率不高；其次，大多數(shù)基于注意力的圖神經(jīng)網(wǎng)絡僅通過節(jié)點特征學習聚合權重，忽視了圖結構信息。因此如何使注意力機制結合圖結構信息，如何提升注意力圖模型的運行效率仍然具有很大的挑戰(zhàn)。

圖2 圖注意力網(wǎng)絡根據(jù)權重聚合信息

1.2 深度圖神經(jīng)網(wǎng)絡

盡管目前圖神經(jīng)網(wǎng)絡的表現(xiàn)力得到了廣泛的認可，但目前大多數(shù)GNN模型都是淺層網(wǎng)絡，如GCN和GAT等都在兩層模型中實現(xiàn)了最佳預測性能。這種淺層結構限制了它們從高階鄰居中提取信息的能力。然而，疊加更多網(wǎng)絡層并增加非線性往往會降低這些模型的性能，隨著層數(shù)的增加，GNN中節(jié)點的表示傾向于收斂到某個值，因此節(jié)點變得不可區(qū)分，這種現(xiàn)象被稱為過度平滑。有許多研究工作表明這種過度平滑更深層的原因是隨機游走的穩(wěn)態(tài)分布(Steady-State Distribution)，因此阻礙或改變穩(wěn)態(tài)分布的收斂是緩解過度平滑的可行方式。例如通過密集跳躍連接來組合模型每一層的輸出，來學習不同圖子結構的不同階表示，以保持節(jié)點表示的局部性；或者在訓練時從輸入圖中隨機刪除一些邊，以此緩解過度平滑的收斂速度并提高模型泛化能力。這些方法在全監(jiān)督的直推式或歸納式學習中將圖模型層數(shù)增加至16到32層，且大幅度提升了模型預測性能。然而增加的模型層數(shù)使得模型訓練時更易受到過擬合的影響，因此如何在學習高階交互信息的同時保證模型泛化性是該研究中需要重點關注的。另一方面，還可以將GNN中的信息傳播和特征變換解耦，用PPR(Personalized PageRank)或者HKPR(熱核PageRank)等存在局部性的圖傳播方案代替原本GNN中的高階概率轉移方案，從而避免過平滑，例如SGC[8]、APPNP[9]、GDC[10]等方法。雖然可以在學習圖中高階交互關系時避免過平滑，但這些方法只是對每一層的鄰域特征進行線性組合，失去了深層非線性結構的強大表達能力，可能會限制相應的GNN模型性能。目前的深度圖神經(jīng)網(wǎng)絡理論集中于同質圖的研究，而在具有多種節(jié)點和邊類型的異構圖中，如何訓練深層模型，從而盡可能的捕獲高階交互所帶來的收益，是一個重要研究方向。

2 圖神經(jīng)網(wǎng)絡的訓練技術

隨著互聯(lián)網(wǎng)中數(shù)據(jù)量的高速增長，現(xiàn)實世界的圖很容易有數(shù)千萬甚至數(shù)十億個節(jié)點和邊。因此，如何設計可伸縮模型，最好是相對于圖節(jié)點數(shù)量或邊數(shù)量具有線性時間復雜度的模型，是一個關鍵問題。經(jīng)典的GCN使用的是一階拉普拉斯多項式濾波器近似圖上的卷積操作，并使用全批量訓練網(wǎng)絡，時間復雜度與卷積層數(shù)呈線性關系，但需要將全部圖結構及其節(jié)點特征加載進顯存，無法支持大規(guī)模圖數(shù)據(jù)的訓練。GraphSAGE[4]利用小批量訓練提高GCN模型的收斂性并通過隨機游走采樣來減少學習節(jié)點的表示所需的鄰域大小，緩解“鄰居爆炸”問題，但是訓練的時間復雜度和GCN階數(shù)仍呈指數(shù)關系，僅能支持淺層模型的訓練，無法發(fā)揮深層神經(jīng)網(wǎng)絡的優(yōu)勢。Cluster-GCN[11]使用圖聚類算法預先將圖分割為多個子圖，每個子圖作為一個批量來進行GCN的訓練，將訓練的時間復雜度和GCN階數(shù)降為線性關系，但對于大規(guī)模的圖數(shù)據(jù)，標注數(shù)據(jù)非常稀少，圖聚類無法控制將指定個數(shù)的標注節(jié)點分配到同一個子圖，影響了小批量訓練的效果。最近，GraphSAINT[12]提出了多種輕量級采樣算法(例如節(jié)點采樣、隨機游走采樣)來代替圖聚類，提高了采樣的速度與靈活性，可以支持只包含少量標記數(shù)據(jù)的半監(jiān)督學習任務。但是如何在大規(guī)模圖數(shù)據(jù)中學習遠距離節(jié)點之間的關系、提高圖模型推理速度仍然是有待解決的問題。

另外有很多研究者嘗試從系統(tǒng)角度提高圖學習效率。PyG[13]是幾何深度學習庫，利用稀疏GPU加速和高效的小批量處理來實現(xiàn)高數(shù)據(jù)吞吐量，并為不規(guī)則數(shù)據(jù)(圖、點云、流形)提供統(tǒng)一易用的接口。Wang等人構建的圖上深度學習軟件包DGL[14]，可以集成不同深度學習框架(PyTorch、TensorFlow、MXNet)，提供send、recv兩種基本原語執(zhí)行圖計算，自動檢測操作模型并進行優(yōu)化，在生命科學、知識圖、推薦系統(tǒng)、自然語言處理和圖像處理等不同領域為用戶提供靈活的接口。Euler[15]是阿里提出的工業(yè)級分布式圖學習框架，通過緩存批訓練過程中的中間結果，優(yōu)化批訓練所需的指數(shù)級計算力，并利用分布式并行支持數(shù)十億級別圖的訓練。阿里還搭建了綜合圖神經(jīng)網(wǎng)絡平臺AliGraph[16]，根據(jù)度分布優(yōu)化緩存，在分布式環(huán)境中優(yōu)化圖存儲、分割及采樣算子，并利用異步訓練等技術提高圖模型訓練效率，應用于多種業(yè)務場景。

3 圖神經(jīng)網(wǎng)絡的應用

圖神經(jīng)網(wǎng)絡被廣泛應用在計算機視覺、自然語言處理、推薦系統(tǒng)、網(wǎng)絡分析、交通、分子預測、組合優(yōu)化等領域。下面介紹了圖神經(jīng)網(wǎng)絡幾種具有代表性的應用場景。

3.1 計算機視覺

圖形神經(jīng)網(wǎng)絡的最大應用領域之一是計算機視覺，在圖像分類、視覺推理、語義分割、場景圖生成和動作識別等多個方面都存在利用圖結構的方法。

圖像分類是計算機視覺領域中一項非常基礎和重要的任務，受到了廣泛的關注。利用圖神經(jīng)網(wǎng)絡可以將結構信息融合到圖像分類中。例如可以構建知識圖，其中每個節(jié)點對應一個對象類別，并將節(jié)點的單詞嵌入作為預測不同類別分類器的輸入，由此構建的知識圖可以作為零樣本識別的額外信息。此時GNN可以在圖像之間進行消息傳遞，學習圖像之間的相似性，實現(xiàn)零樣本或少樣本識別。相比于基于CNN的分類模型，上述方法在零樣本識別任務中的預測精度提升約4%左右。隨著圖的增大，基于CNN的模型性能幾乎沒有改變，而基于GNN的分類效果可以持續(xù)上升。此外，捕獲到圖交互信息的分類模型可以穩(wěn)健地處理知識庫中的臟數(shù)據(jù)。但是零樣本識別任務完全依靠類別間的消息傳遞進行學習，存在非平衡環(huán)境的問題，即因為某條消息的錯誤而擴大錯誤范圍面導致識別的不可靠性，因此在今后的工作中可以嘗試添加主動學習，即在識別過程中添加少量與用戶的問答，及時糾正錯誤。

計算機視覺系統(tǒng)通常需要結合空間和語義信息進行推理。因此，為推理任務生成圖是很自然的。典型的視覺推理任務是視覺問答，即回答給定圖片的相關問題。為回答該問題，需要學習圖中各個部分的空間關系，但是傳統(tǒng)的基于CNN或者LSTM的視覺問答算法受只能編碼單一向量的限制而只能處理圖中某一部分，如CNN特征向量不能有效地捕捉多個對象實例、LSTM將問題處理為一系列的詞因此不能反映語言結構的真實復雜性。相反，Teney等人[17]分別構建圖像場景圖和問題句法圖，然后用GNN來訓練嵌入以預測最終答案。實驗表明通過使用GNN，在“抽象場景”多項選擇基準測試中，準確率從71.2%提高到74.4%，在更具挑戰(zhàn)性的“平衡”場景中，準確率從34.7%提高到39.1%。除了學習圖像的空間信息，Norcliffebrown等人[18]還構造了問句間的關系圖，從而執(zhí)行更精細的關系探索和更可解釋的推理過程。雖然視覺問答研究已經(jīng)取得一些研究，但就從目前發(fā)展形勢來看仍然面臨一定局限性。比如現(xiàn)有方法整體準確率不夠高，特別是在較有挑戰(zhàn)性的“平衡”場景下，準確率遠低于人類水平。改進方向可以關注在如何提升圖像和文本之間的關系特征，現(xiàn)有方法分別關注在這兩方面的各自表示而沒有將它們很好地融合。

此外，視覺推理還可用于目標檢測、交互檢測和區(qū)域分類。在目標檢測中，GNN可以用于計算感興趣區(qū)域特征；在交互檢測中，GNN可以用作人與目標之間的消息傳遞工具，如圖3所示，其中紅色標記人，綠色標記物，白色為交互行為生成的圖；在區(qū)域分類中，GNN可以對連接區(qū)域和類的圖進行推理[19]。

圖3 人-物交互圖

語義分割是圖像理解的重要一步。這里的任務是為圖像中的每個像素分配唯一的標簽(或類別)，即密集的分類問題。近年來興起的自動駕駛、虛擬現(xiàn)實、增強現(xiàn)實等應用都需要用到語義分割技術。由于圖像中的區(qū)域通常不是網(wǎng)格狀的，并且三維語義分割和點云分類等需要利用更多的幾何信息，因此很難用二維CNN進行建模。因此可以在點云的基礎上構造了k近鄰圖，圖中的每個節(jié)點都對應了一組點，并與一個隱藏的表示向量相關聯(lián)，利用GNN作為傳播模型，按一定的時間步長展開后，以每個節(jié)點的隱藏狀態(tài)為輸入，預測其語義標簽。GNN利用了二維顯示信息和三維幾何關系，能夠捕獲圖像中的長期依賴關系，是傳統(tǒng)方法難以建模得到的。但是目前已有的數(shù)據(jù)集并不能滿足語義分割發(fā)展的需求，因此構建數(shù)據(jù)量大、種類豐富且有效的數(shù)據(jù)集非常重要。此外，現(xiàn)有的三維數(shù)據(jù)較為單一，大部分局限于室內場景和城市街道場景，而少有戶外點云場景數(shù)據(jù)集與遙感三維數(shù)據(jù)集。

圖形神經(jīng)網(wǎng)絡在計算機視覺中應用的可能方向也在不斷增加，例如基于結構化場景圖的生成圖像方法，可以顯式地描述對象和關系，并生成具有許多可識別對象的復雜圖像；將人體骨骼連接形成圖，應用時空神經(jīng)網(wǎng)絡識別視頻中的人類動作有助于從機器方面更好地理解視頻內容。

3.2 自然語言處理

雖然文本是單詞序列，圖神經(jīng)網(wǎng)絡仍可以應用于多種基于文本的任務，例如文本分類、機器翻譯、關系抽取等。文本分類是自然語言處理中一個重要而經(jīng)典的問題，可用于文檔組織、新聞過濾、垃圾郵件檢測、觀點挖掘等應用中。傳統(tǒng)的文本分類模型如RNN和CNN等，都能很好地捕捉局部連續(xù)詞序列中的語義和句法信息，但可能會忽略具有非連續(xù)和遠距離語義的語料庫中的全局詞共現(xiàn)。運用GNN便可解決上述問題，有三種建模方式。第一，通過詞共現(xiàn)網(wǎng)絡建模文本信息從而進行文本分類，其中詞共現(xiàn)網(wǎng)絡的節(jié)點是非停用詞、連邊是在給定窗口下的詞共現(xiàn)關系。第二，利用文檔間的結構信息構建文檔關系網(wǎng)絡進行文本分類。第三，將文檔和單詞同時作為節(jié)點來構建異構語料庫圖，使用異構圖神經(jīng)網(wǎng)絡直接來學習單詞和文檔的嵌入。多種基準評測表明，在沒有任何外部詞嵌入或者知識庫的情況下，基于GNN的文本分類效果要優(yōu)于基于RNN或CNN的分類效果。此外，隨著訓練數(shù)據(jù)百分比的降低，基于GNN的文本分類效果相對于其他方法變得更加突出，這表明基于GNN的文本分類對較少訓練數(shù)據(jù)具有魯棒性?；贕NN的文本分類效果最佳的主要原因是建模成圖既能捕捉文檔詞關系，又能捕捉全局詞關系。但是值得注意的是，傳統(tǒng)GNN不適合做情感分類任務，例如在電影評論數(shù)據(jù)集MR[20]上GNN的效果不如CNN和RNN，這是因為傳統(tǒng)GNN無法建模在情感分類中非常重要的詞序，且MR構建的圖結構較為稀疏，限制了節(jié)點間消息的傳遞。因此如何在GNN模型中建模節(jié)點順序信息，并提升GNN模型在稀疏圖上的性能，是一個重大的挑戰(zhàn)。

機器翻譯旨在利用神經(jīng)網(wǎng)絡將文本從源語言自動翻譯成目標語言，它通常被任務是一個“序列到序列”的任務，使用序列編解碼器完成。例如Transformer[21]引入注意力機制，代替了傳統(tǒng)RNN模型。實際上，Transformer假設所有單詞之間有一個完全連通的圖形結構，這就給基于GNN的機器翻譯帶來了可能。傳統(tǒng)序列編解碼器缺乏任何語法或語言層次結構的明確建模，因此添加句法信息并不會對翻譯效果帶來提升。而依賴GNN實現(xiàn)的編碼器可以實現(xiàn)自動將源語句的句法鄰域信息合并到特征向量中，從而潛在地提高翻譯輸出的質量。Bastings等人[22]首次完全依賴GNN實現(xiàn)機器翻譯，GNN使用源語句的預測句法依賴樹來產(chǎn)生對其句法領域敏感的單詞表示，即編碼器的隱藏層。輸入源語句至GNN，模型會返回目標語句。此外，Marcheggiani[23]等人利用句法GNN整合了關于源句謂詞論元結構的信息，即語義角色表征，并比較了僅整合句法信息、僅整合語義信息和兩者的結果。相比傳統(tǒng)的序列化算法，GNN的使用使得對象之間的復雜的語義關系得到了有效的挖掘[24]，在各項自然語言處理任務上都出現(xiàn)了一定的提升。

3.3 推薦系統(tǒng)

不論是電商還是社交網(wǎng)絡，用戶和商品的交互關系、用戶和用戶的關注關系天然形成了圖結構，因此圖神經(jīng)網(wǎng)絡在推薦系統(tǒng)中變得無處不在。在基于圖的推薦系統(tǒng)中，以項目和用戶為節(jié)點，其中的文本圖像等信息形成節(jié)點特征，項目與項目、用戶與用戶、用戶與項目之間的關系形成邊，推薦系統(tǒng)的關鍵是評價一個項目對用戶的重要性。因此，可以將其轉換為一個鏈路預測問題，目標是預測用戶和項目之間丟失的鏈接。RNN等序列模型只能對相鄰的兩個項目或物品的單向轉移關系進行建模，忽略了其他項目，而GNN可以捕獲節(jié)點間的高階交互關系從而學習出高質量的節(jié)點表示。雖然基于GNN的推薦系統(tǒng)已經(jīng)取得了很大的進展，但一些挑戰(zhàn)仍然沒有得到很好的解決，因此需要作出更多的努力。首先，在現(xiàn)實世界中，對象(包括用戶和項目)以及它們之間的關系隨著時間的推移而變化，從而產(chǎn)生的是動態(tài)圖而非靜態(tài)圖。這種動態(tài)可能會對推薦結果產(chǎn)生重大影響，甚至會隨著時間的推移而改變。然而這種情況往往被忽視或研究較少。其次，是基于因果推理的關系圖學習。因果推理是發(fā)現(xiàn)對象或動作之間因果關系的主要技術。盡管在可解釋的推薦方面已經(jīng)取得了一些進展，但是我們還遠遠沒有完全理解用戶選擇的原因和意圖，這對于做出可靠的、可解釋的推薦是非常關鍵的。

3.4 其他領域

除了以上三個領域外，圖神經(jīng)網(wǎng)絡還可以應用于眾多領域，如交通流量預測，通過將路網(wǎng)數(shù)據(jù)轉換為時空圖結構，利用GNN結合RNN在時空圖上進行多元時間序列預測，從而進行出行路線指導；將原子和化學鍵轉換為圖結構從而進行分子性質預測；將不同模態(tài)的醫(yī)學影像利用圖神經(jīng)網(wǎng)絡結合，學習腦功能分區(qū)對雙向情感障礙的影響等等。

4 結語

圖神經(jīng)網(wǎng)絡的出現(xiàn)，很好地填補了將深度學習應用于關系數(shù)據(jù)建模的技術空白，實現(xiàn)了圖數(shù)據(jù)與深度學習技術的有效結合。隨著圖神經(jīng)網(wǎng)絡研究的發(fā)展與落地，超大規(guī)模圖數(shù)據(jù)、動態(tài)圖數(shù)據(jù)、實時交互式等應用場景也為圖學習的研究帶來了新的挑戰(zhàn)。例如，如何在連續(xù)時間內對網(wǎng)絡變化進行建模，如何支持模型參數(shù)的增量更新，如何保證可解釋性和魯棒性等。圖上深度學習是關系數(shù)據(jù)建模的一個重要組成部分，這是一個很有前途和快速發(fā)展的研究領域，也是朝著人工智能技術未來邁出的重要一步。