林晶晶 冶忠林 趙海興 李卓然

1 （青海師范大學(xué)計(jì)算機(jī)學(xué)院 西寧 810008）

2 （藏語智能信息處理及應(yīng)用國家重點(diǎn)實(shí)驗(yàn)室（青海師范大學(xué)） 西寧 810008）

3 （西寧城市職業(yè)技術(shù)學(xué)院信息工程系 西寧 810003）

（ljj_mail@126.com）

卷積神經(jīng)網(wǎng)絡(luò)[1]（convolutional neural network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)[2]（recurrent neural network， RNN）等傳統(tǒng)的深度學(xué)習(xí)模型在圖像、音頻等任務(wù)中取得較好的效果，這取決于它們被具有平移不變性和局部連通性的歐氏數(shù)據(jù)來表示.CNN 的核心思想局部連接、參數(shù)共享、池化采樣和多層使用[3]，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量，卻未減弱其表達(dá)能力.RNN 擁有處理可變長度的序列數(shù)據(jù)的能力，能夠挖掘數(shù)據(jù)中的時(shí)序信息和語義信息. 長短期記憶[4]（long short-term memory，LSTM）是一種采用門控機(jī)制改進(jìn)的RNN，而門控遞歸單元[5]（gated recurrent unit，GRU）是LSTM 的變體，只包含重置門和更新門，簡化了LSTM 的架構(gòu). 盡管這些傳統(tǒng)的深度學(xué)習(xí)方法能夠有效地提取歐氏數(shù)據(jù)的特征，但許多實(shí)際應(yīng)用場景中還存在一種用圖結(jié)構(gòu)表示的非歐氏數(shù)據(jù)，如社交網(wǎng)絡(luò)、交通網(wǎng)絡(luò)、知識(shí)圖譜和蛋白質(zhì)網(wǎng)絡(luò)等[6-8]. 因此，研究者對(duì)深度學(xué)習(xí)方法在圖數(shù)據(jù)上的擴(kuò)展越來越感興趣.

近年來，受CNN 和RNN 的啟發(fā)，研究者們創(chuàng)新性地設(shè)計(jì)了用于處理圖數(shù)據(jù)的深度學(xué)習(xí)方法，統(tǒng)稱為圖神經(jīng)網(wǎng)絡(luò)（graph neural networks，GNNs）. 由于GNNs具有豐富的表達(dá)能力、靈活的建模能力和端到端的訓(xùn)練能力，被廣泛地應(yīng)用于圖分析領(lǐng)域，突破性地優(yōu)化和提高了節(jié)點(diǎn)分類[9-11]、預(yù)測[12-13]、視覺分析[14]和自然語言處理[15-16]等任務(wù)的性能. 在文獻(xiàn)[17] 中將GNNs 分為循環(huán)圖神經(jīng)網(wǎng)絡(luò)、卷積圖神經(jīng)網(wǎng)絡(luò)、圖自動(dòng)編碼器和時(shí)空圖神經(jīng)網(wǎng)絡(luò). 其中，卷積圖神經(jīng)網(wǎng)絡(luò)也可稱為圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolution networks，GCNs）是最流行和發(fā)展最快的圖神經(jīng)網(wǎng)絡(luò)之一. 與CNN 相比，GCNs 需要在圖上設(shè)計(jì)卷積操作來刻畫節(jié)點(diǎn)的鄰域結(jié)構(gòu). 依據(jù)卷積操作定義方式的不同，GCNs分為譜域方法和空域方法. 譜域方法通過卷積定理在譜域定義卷積操作； 空域方法通過聚合函數(shù)匯集每個(gè)頂點(diǎn)及其鄰域節(jié)點(diǎn)的方式定義卷積操作.

在現(xiàn)實(shí)世界的網(wǎng)絡(luò)中，雖然圖可以很好地刻畫對(duì)象間的成對(duì)關(guān)系，但是對(duì)象間還存在大量比成對(duì)關(guān)系更加復(fù)雜的非成對(duì)關(guān)系. 如果簡單地用圖表示對(duì)象間的復(fù)雜高階關(guān)系，可能會(huì)導(dǎo)致信息丟失或信息冗余. 例如，多位作者撰寫了一篇文章，每位作者視為頂點(diǎn)，若這幾位作者中的任何2 位都非必要直接聯(lián)系[18]，用圖直接將他們兩兩連接，會(huì)產(chǎn)生信息冗余，無法恰當(dāng)?shù)孛枋龀龆嗳俗珜懳恼碌暮现P(guān)系，使得展示的信息不準(zhǔn)確. 超圖由頂點(diǎn)集和超邊集組成，每條超邊可以連接多個(gè)頂點(diǎn)而非僅2 個(gè)頂點(diǎn). 故超圖擁有描述頂點(diǎn)間復(fù)雜高階關(guān)系的能力，可用于建模具有高階相互作用的復(fù)雜網(wǎng)絡(luò)和系統(tǒng). 因此，若用一條超邊連接多位合著者，能夠更加簡潔和準(zhǔn)確地刻畫出多位作者的合著關(guān)系.

近3 年來，受GNNs 和超圖建模優(yōu)勢的啟發(fā)，研究者們開始關(guān)注如何將GNNs 擴(kuò)展到超圖，設(shè)計(jì)出基于超圖的神經(jīng)網(wǎng)絡(luò)，改善具體應(yīng)用的性能.2019 年，F(xiàn)eng 等人[19]提出第1 個(gè)超圖神經(jīng)網(wǎng)絡(luò) （hypergraph neural networks，HGNN），將GCNs 的譜方法很自然地?cái)U(kuò)展到超圖上，并設(shè)計(jì)了超圖卷積操作. 同年，Yadati等人[20]設(shè)計(jì)HyperGCN 實(shí)現(xiàn)在超圖上處理半監(jiān)督分類問題. 隨后，陸續(xù)出現(xiàn)的大量超圖神經(jīng)網(wǎng)絡(luò)模型被充分運(yùn)地用到計(jì)算機(jī)視覺[21-22]、推薦系統(tǒng)[23-24]、生物化學(xué)[25-26]等領(lǐng)域并取得顯著的成績. 超圖神經(jīng)網(wǎng)絡(luò)已逐漸成為一個(gè)新的研究熱點(diǎn). 目前，對(duì)于上文中提到的CNN、GNNs 和GCNs，存在多篇經(jīng)典的綜述性文獻(xiàn)對(duì)它們進(jìn)行全面的歸納和總結(jié). 例如，文獻(xiàn)[17]提供了一種劃分GNNs 的策略，總結(jié)了GNNs 的數(shù)據(jù)集、開源代碼和模型評(píng)估等. 在文獻(xiàn)[27]中詳細(xì)地介紹了GNNs 模型及其變體，從結(jié)構(gòu)場景、非結(jié)構(gòu)場景和其他場景詳細(xì)地概括了GNNs 的應(yīng)用；同時(shí)探討了4個(gè)開放性問題. 文獻(xiàn)[28]系統(tǒng)地總結(jié)了CNN 的發(fā)展史、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練方法及應(yīng)用場景等. 文獻(xiàn)[6]全面梳理了GCNs 的譜域方法和空域方法、最新進(jìn)展、相關(guān)應(yīng)用和發(fā)展趨勢. 除此之外，還有大量的文獻(xiàn)[29?31]從非歐空間、具體應(yīng)用領(lǐng)域等方面總結(jié)和展望了GNNs.

Gao 等人[32]詳細(xì)介紹了超圖學(xué)習(xí)方法，但關(guān)于超圖神經(jīng)網(wǎng)絡(luò)的分類方法、模型分析和應(yīng)用領(lǐng)域等方面的探討和總結(jié)仍為空白. 因此，系統(tǒng)地綜述現(xiàn)有超圖神經(jīng)網(wǎng)絡(luò)模型十分必要，有助于推動(dòng)超圖神經(jīng)網(wǎng)絡(luò)今后在更多的領(lǐng)域中發(fā)展和應(yīng)用. 本文全面地梳理了超圖神經(jīng)網(wǎng)絡(luò)近3 年的發(fā)展歷程、代表性模型及其未來研究方向. 根據(jù)設(shè)計(jì)模型采用的方法不同，將超圖神經(jīng)網(wǎng)絡(luò)分為超圖卷積神經(jīng)網(wǎng)絡(luò)、超圖循環(huán)神經(jīng)網(wǎng)絡(luò)和超圖生成對(duì)抗網(wǎng)絡(luò)3 類，并根據(jù)實(shí)現(xiàn)卷積的方法細(xì)分超圖卷積神經(jīng)網(wǎng)絡(luò). 重點(diǎn)闡述了每類中的代表性模型，并做分析和比較. 同時(shí)討論了超圖神經(jīng)網(wǎng)絡(luò)未來的研究工作.

1 研究歷程

在過去的幾年里，GNNs 作為一種強(qiáng)大且實(shí)用的工具，推動(dòng)深度學(xué)習(xí)在圖數(shù)據(jù)上快速發(fā)展. 大量研究表明GNNs 在計(jì)算機(jī)視覺[33-35]、自然語言處理[36-37]、交通網(wǎng)絡(luò)[38-40]、推薦系統(tǒng)[41-43]、生物化學(xué)[44-46]、知識(shí)圖譜[47-49]等各領(lǐng)域獲得成功.GNNs 主要處理圖數(shù)據(jù)，但現(xiàn)實(shí)網(wǎng)絡(luò)中還存在超越二元的關(guān)系，若用圖簡單地表示，會(huì)丟失對(duì)象之間潛在的高階關(guān)系. 超圖[50]是一種建模復(fù)雜關(guān)系的靈活工具，其包含頂點(diǎn)集和超邊集，利用每條超邊連接多個(gè)頂點(diǎn)表示潛在的高階關(guān)系. 本質(zhì)上，每條超邊是頂點(diǎn)的子集，即一條超邊連接多個(gè)頂點(diǎn)，而非只連接2 個(gè)頂點(diǎn). 因此，超圖作為圖的一種推廣，可以刻畫出更加豐富的信息，充分地挖掘圖中頂點(diǎn)之間潛在的高階交互.

在過去3 年中，超圖神經(jīng)網(wǎng)絡(luò)吸引了很多研究者探究如何在超圖上設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，以及如何將其應(yīng)用于各個(gè)領(lǐng)域. 借鑒GNNs 中的卷積運(yùn)算、注意力機(jī)制、生成對(duì)抗等技術(shù)，超圖神經(jīng)網(wǎng)絡(luò)迅速發(fā)展. 研究者們在超圖上開發(fā)出超圖卷積、超圖注意力和超圖生成對(duì)抗網(wǎng)絡(luò)等，相繼地涌現(xiàn)出大量的超圖神經(jīng)網(wǎng)絡(luò)模型.圖1 詳細(xì)地展示了從2019—2022 年初超圖神經(jīng)網(wǎng)絡(luò)模型發(fā)展進(jìn)程的時(shí)序情況，橫軸表示時(shí)間（以年為間隔），縱軸表示模型，著重列出了每個(gè)模型的簡稱和作者信息.

Fig. 1 The sequential development of hypergraph neural network model圖1 超圖神經(jīng)網(wǎng)絡(luò)模型的發(fā)展時(shí)序

從圖1 中可以清晰地看出超圖神經(jīng)網(wǎng)絡(luò)模型的數(shù)量逐年遞增，研究重心也發(fā)生了變化，具體如下所述. 首先，超圖神經(jīng)網(wǎng)絡(luò)建模的超圖結(jié)構(gòu)從無向超圖擴(kuò)展到有向超圖，以及從靜態(tài)超圖結(jié)構(gòu)拓展到動(dòng)態(tài)超圖結(jié)構(gòu). 分別設(shè)計(jì)出有向超圖神經(jīng)網(wǎng)絡(luò)，如有向超圖卷積網(wǎng)絡(luò) （directed hypergraph convolutional networks，DHGCN）[62]和有向超圖神經(jīng)網(wǎng)絡(luò)（directed hypergraph neural network，DHN）[104]；以及動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò),如DHGNNa（dynamic hypergraph neural network）[52]、自適應(yīng)超圖神經(jīng)網(wǎng)絡(luò)（adaptive hypergraph neural network，AdaHGNN）[71]和自適應(yīng)超圖卷積網(wǎng)絡(luò)（adaptive hypergraph convolutional network，AHGCN）[94]. 其次，超圖神經(jīng)網(wǎng)絡(luò)的消息傳遞方式從單純的超圖卷積轉(zhuǎn)變到引入注意力機(jī)制、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)，再通過組合它們，設(shè)計(jì)出基于注意力機(jī)制的超圖神經(jīng)網(wǎng)絡(luò)， 如Hyper-SAGN[25]、 超圖注意力網(wǎng)絡(luò)HANs[60]和HyperGAT[75]；超圖卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（hypergraph convolutional recurrent neural network，HGCRNN）[66]；超圖生成對(duì)抗網(wǎng)絡(luò) （hypergraph generative adversarial network，HGGAN）[101]和多模態(tài)表示學(xué)習(xí)與對(duì)抗超圖融合（multimodal representation learning and adversarial hypergraph fusion，MRL-AHF）[102]框架. 再次，超圖神經(jīng)網(wǎng)絡(luò)的維度從單通道超圖卷積升級(jí)到多通道，設(shè)計(jì)出雙通道和多通道超圖神經(jīng)網(wǎng)絡(luò)，如雙通道超圖協(xié)同濾波（dual channel hypergraph collaborative filtering，DHCF）[67]、雙通道超圖卷積網(wǎng)絡(luò) （dual channel hypergraph convolutional network，DHCN）[62]和多通道超圖卷積網(wǎng)絡(luò) （multi-channel hypergraph convolutional network, MHCN）[83]. 最后，超圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用從最初的引文網(wǎng)絡(luò)分類任務(wù)拓展到推薦系統(tǒng)、自然語言處理、股票和交通預(yù)測等任務(wù)，設(shè)計(jì)出多種適用于各領(lǐng)域下游任務(wù)的超圖神經(jīng)網(wǎng)絡(luò)，如信號(hào)超圖卷積網(wǎng)絡(luò) （signed hypergraph convolutional network，SHCN）[24]、2HR-DR[62]、時(shí)空超圖卷積網(wǎng)絡(luò)（spatio-temporal hypergraph convolution network，STHGCN）[76]和地理-語義-時(shí)間超圖卷積網(wǎng)絡(luò)（geographic-semantic-temporal hypergraph convolutional network，GST-HCN）[55].

2 定 義

本節(jié)給出了涉及的定義及常見符號(hào)的含義，有助于理解本文中的公式. 下面依次給出符號(hào)描述，以及圖、超圖和有向超圖的定義.

2.1 符號(hào)定義

本文中用到的符號(hào)及其含義如表1 所示.

Table 1 The Symbol Description表1 符號(hào)描述

2.2 圖

G=(VG,EG,WG)是一個(gè)圖，其中VG是頂點(diǎn)的集合，EG是邊的集合.|VG|=NG和|EG|=MG，NG∈R，MG∈R分別表示圖中頂點(diǎn)和邊的數(shù)目. 若令和是G中的頂點(diǎn)，則eij=(,)∈EG代表G中連接和的一條邊.WG是邊的權(quán)重矩陣. 圖的鄰接矩陣A∈RNG×NG定義為

其 中aij表示A中的元素，i,j=1,2,…,NG.

2.3 超 圖

G=(VG,EG,WG)代表一個(gè)超圖，VG是頂點(diǎn)集，EG是超邊集. G包含|VG|=NG個(gè)頂點(diǎn)和|EG|=MG條超邊. 若令是頂點(diǎn)，則超邊其中1 ≤me≤NG，1 ≤ne≤NG.WG表示超邊的權(quán)重矩陣.

通常情況下，超圖用關(guān)聯(lián)矩陣HG∈RNG×MG表示，定義為

其中hij是HG的元素，i=1,2,…,NG，j=1,2,…,MG.

若∈VG，節(jié)點(diǎn)的度指包含的超邊的數(shù)目，記為

若∈EG，超邊的度指超邊中包含的頂點(diǎn)的數(shù)目，記為

DVG和DEG分別表示頂點(diǎn)和超邊的度矩陣. 有關(guān)超圖的詳細(xì)說明可參見文獻(xiàn)[50].

事實(shí)上，圖是超圖的一個(gè)特例，當(dāng)超圖中的每條超邊只包含2 個(gè)頂點(diǎn)時(shí)，超圖就退化為一個(gè)普通圖.如圖2（a）是一個(gè)普通圖，每條邊連接2 個(gè)頂點(diǎn)；圖2（b）是一個(gè)超圖，每條超邊連接3 個(gè)或4 個(gè)頂點(diǎn). 當(dāng)圖2（b）中的每條超邊只連接2 個(gè)頂點(diǎn)時(shí)，超圖就退化為一個(gè)圖，即圖2（c）（d）.

Fig. 2 Hypergraph and graph圖2 超圖和圖

2.4 有向超圖

GD=(VGD,EGD,WGD)代表有向超圖，VGD是頂點(diǎn)集，EGD是超弧集，WGD表示超弧的權(quán)重矩陣.|VGD|=NGD和|EGD|=MGD分別表示頂點(diǎn)和超弧的數(shù)目.每條超弧，其中表示超弧的弧頭，∈VGD表示超弧的弧尾. 且關(guān)于有向超圖的其他描述可參見文獻(xiàn)[50，57].

3 超圖神經(jīng)網(wǎng)絡(luò)模型

在本節(jié)中，梳理出一種超圖神經(jīng)網(wǎng)絡(luò)的分類，依據(jù)設(shè)計(jì)模型采用的方法不同，將現(xiàn)有超圖神經(jīng)網(wǎng)絡(luò)模型劃分為超圖卷積神經(jīng)網(wǎng)絡(luò)、超圖循環(huán)神經(jīng)網(wǎng)絡(luò)和超圖生成對(duì)抗網(wǎng)絡(luò). 進(jìn)一步將超圖卷積神經(jīng)網(wǎng)絡(luò)細(xì)分為3 類，詳細(xì)地介紹每類中的代表性模型.

3.1 超圖卷積神經(jīng)網(wǎng)絡(luò)

超圖卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是將GCNs 顯式或隱式地?cái)U(kuò)展得到超圖上，又或者引入注意力機(jī)制，設(shè)計(jì)出適用于超圖上的卷積操作. 根據(jù)設(shè)計(jì)卷積算子的策略不同，將超圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步細(xì)分為基于譜域的超圖卷積神經(jīng)網(wǎng)絡(luò)、基于普通圖的超圖神經(jīng)網(wǎng)絡(luò)和基于注意力機(jī)制的超圖神經(jīng)網(wǎng)絡(luò).

3.1.1 基于譜域的超圖卷積神經(jīng)網(wǎng)絡(luò)

基于譜域的超圖卷積神經(jīng)網(wǎng)絡(luò)是利用圖信號(hào)和超圖譜理論，巧妙地借助傅里葉變換和小波變換，將GCNs 隱式地?cái)U(kuò)展到超圖上. 本節(jié)根據(jù)超圖結(jié)構(gòu)是否有向、是否動(dòng)態(tài)將基于譜域的超圖卷積神經(jīng)網(wǎng)絡(luò)細(xì)分為無向超圖神經(jīng)網(wǎng)絡(luò)、有向超圖神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò).

首先回顧一下譜域的GCN[114]，可以幫助讀者更好地理解基于譜域的超圖卷積神經(jīng)網(wǎng)絡(luò)的演化.Spectral CNN[115]最早利用卷積定理在圖上設(shè)計(jì)譜卷積算子，但它的計(jì)算復(fù)雜度高. 為解決這一問題，ChebyNet（ChebyShev network）[116]采用K階切比雪夫多項(xiàng)式近似卷積核，此時(shí)圖卷積算子僅依賴于頂點(diǎn)的K階鄰居. Kipf 等人[114]繼續(xù)簡化參數(shù)，提出只考慮1 階鄰居的GCN，提升了圖上半監(jiān)督學(xué)習(xí)的性能. GCN 的卷積層定義為：

其中H(l)和H(l+1)分別是第l和l+1層頂點(diǎn)的隱層表示，是參數(shù)矩陣.

3.1.1.1 無向超圖神經(jīng)網(wǎng)絡(luò)

通常情況下超圖都是無向超圖，即超邊不具有方向性，本節(jié)主要介紹以無向超圖為拓?fù)浣Y(jié)構(gòu)的超圖的神經(jīng)網(wǎng)絡(luò)模型.

1）HGNN

利用超圖建模數(shù)據(jù)間的高階關(guān)系，充分地考慮了對(duì)象間的高階關(guān)系和多模態(tài)特性. 為更好地理解HGNN 定義的卷積，首先要理解超圖的拉普拉斯矩陣. Zhou 等人[117]定義了超圖拉普拉斯矩陣，其特征分解為其中 Λ是特征值的對(duì)角矩陣，UG是特征向量矩陣. 依據(jù)超圖的拉普拉斯矩陣的定義，將GCN 類比到超圖上，設(shè)計(jì)出超圖卷積算子.

對(duì)于超圖上的信號(hào)x，首先將x經(jīng)過傅里葉變換從空域轉(zhuǎn)換到譜域，再在譜域上執(zhí)行卷積操作，然后利用傅里葉逆變換將卷積結(jié)果從譜域轉(zhuǎn)換到空域.因此，通過傅里葉變換和逆變換，信號(hào)x與濾波器g的譜卷積可定義為

其中g(shù)(Λ)是傅里葉系數(shù)的函數(shù).

由于傅里葉變換及其逆變換的計(jì)算成本高，采用截?cái)嗲斜妊┓蚨囗?xiàng)式作為其近似多項(xiàng)式，譜卷積被重新定義為

其中Tk(y)=2yT(k?1)(y)?T(k?2)(y)代表切比雪夫多項(xiàng)式的遞歸形式，Tk()是變量為拉普拉斯算子的截?cái)嗲斜妊┓蚨囗?xiàng)式.

若令K=1 且λGmax=2，降低階數(shù)和減少計(jì)算的譜卷積定義為

其中 Θ0和 Θ1是參數(shù). 若用式（10）中的 Θ表示 Θ0和Θ1來進(jìn)一步約束參數(shù)數(shù)量：

則式（10）代入式（9）得到1 階卷積為

最終，采用矩陣形式表示HGNN 的超圖卷積層定義為

其中和分別是第l和l+1層頂點(diǎn)的隱層表示.若令則式（12）可重寫為

從式（6）（13）可以發(fā)現(xiàn)GCN 和HGNN 的卷積計(jì)算形式很相似，都是矩陣相乘，只是兩者描述數(shù)據(jù)關(guān)系所使用的建模工具不同，分別是圖和超圖，用SG和PG表示. 與傳統(tǒng)的超圖學(xué)習(xí)方法相比，HGNN 未使用超圖拉普拉斯矩陣的逆運(yùn)算，節(jié)約了計(jì)算成本.

2）行歸一化超圖卷積層

文獻(xiàn)[118]給出另一種超圖卷積的形式，即行歸一化超圖卷積層，定義為

3）MultiHGNN

Huang 等人[93]提出多超圖神經(jīng)網(wǎng)絡(luò) （multi-hypergraph neural network，MultiHGNN）學(xué)習(xí)具有多模態(tài)特性的數(shù)據(jù)，用超圖建模每種模態(tài)，分別在每個(gè)超圖上執(zhí)行卷積操作，采用均值方法生成頂點(diǎn)的最終表示；而HGNN 在拼接所有模態(tài)對(duì)應(yīng)的超圖后，執(zhí)行卷積操作得到頂點(diǎn)的最終表示.HGNN 與MultiHGNN 的具體框架比較如圖3 所示.

Fig. 3 Comparison of HGNN and MultiHGNN圖3 HGNN 與MultiHGNN 的比較

4）HplapGCN

Ma 等人[119]將超圖拉普拉斯LG推廣到超圖p-拉普拉斯LpG. 鑒于超圖p-拉普拉斯能夠保存超圖概率分布的幾何特性，F(xiàn)u 等人[54]專門為超圖p-拉普拉斯設(shè)計(jì)了超圖p-拉普拉斯圖卷積網(wǎng)絡(luò) （hypergraph p-Laplacian graph convolutional network，HpLapGCN）.HpLapGCN 的卷積層定義為

5）HWNN

為避免耗時(shí)的拉普拉斯分解，Sun 等人[72]采用多項(xiàng)式近似的小波變換代替傅里葉變換，設(shè)計(jì)出適用于異構(gòu)超圖的超圖小波神經(jīng)網(wǎng)絡(luò)（hypergraph wavelet neural network，HWNN）. 用小波變換替換式（7）中的傅里葉變換，可得到基于小波變換的超圖卷積定義：

根據(jù)Stone-Weierstrass 定理[120]得到小波變換及其逆變換的近似多項(xiàng)式和其中LG是的1 階多項(xiàng)式. 這2 個(gè)近似多項(xiàng)式避免了HGNN 中的拉普拉斯分解操作. 將它們代入式（16）后，基于小波變換的超圖卷積定義為

最終的HWNN 的卷積層定義為

其中是特征投影矩陣，是濾波器.HGNN 中的傅里葉變換和HWNN 中的小波變換的詳細(xì)描述如表2 所示.

Table 2 Fourier Transform and Wavelet Transform表2 傅里葉變換和小波變換

6） HGWNN

HGWNN[22]是另一種引用小波的超圖小波神經(jīng)網(wǎng)絡(luò)，直接采用截?cái)嗲斜妊┓蚨囗?xiàng)式近似小波系數(shù).它的卷積層定義為

除此之外，HNHN[61]是一種對(duì)頂點(diǎn)和超邊加入非線性激活函數(shù)和歸一化操作的超圖卷積網(wǎng)絡(luò). 超圖卷積過程包含歸一化節(jié)點(diǎn)、更新超邊、歸一化超邊和更新節(jié)點(diǎn)4 個(gè)階段. 雙超圖卷積網(wǎng)絡(luò)（dual hypergraph convolutional network，DualHGCN）[85]通過2 個(gè)同構(gòu)超圖建模多重二分網(wǎng)絡(luò)，根據(jù)二分網(wǎng)絡(luò)的特性設(shè)計(jì)消息內(nèi)和消息間的傳遞策略，促進(jìn)信息共享.Wu等人[106]提出用于屬性圖學(xué)習(xí)的雙視圖超圖神經(jīng)網(wǎng)絡(luò)（dual-view hypergraph neural network，DHGNNb），采用屬性超圖和結(jié)構(gòu)超圖，分別表示頂點(diǎn)的屬性和拓?fù)浣Y(jié)構(gòu)；再送入共享超邊卷積層、特定超邊卷積層和注意力層，生成頂點(diǎn)的最終表示.

從上述可知，無向超圖卷積神經(jīng)網(wǎng)絡(luò)都是以譜理論為基礎(chǔ)，通過傅里葉變換或小波變換實(shí)現(xiàn)超圖卷積，同時(shí)也可加入非線性變換、歸一化操作、無監(jiān)督等增強(qiáng)學(xué)習(xí)能力.

3.1.1.2 有向超圖神經(jīng)網(wǎng)絡(luò)

有向超圖是一種特殊的超圖，有向超邊攜帶重要的方向信息，本節(jié)主要介紹以有向超圖為拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型.

1）基于有向超圖拉普拉斯的超圖神經(jīng)網(wǎng)絡(luò)

Tran 等人[57]提出基于有向超圖拉普拉斯算子的有向超圖神經(jīng)網(wǎng)絡(luò)，應(yīng)用于有向超圖的半監(jiān)督學(xué)習(xí).首先用D和表示有向超圖

有向超圖拉普拉斯算子LGD定義為

基于此，有向超圖卷積層被定義為

其中表示超弧的頭度矩陣，表示頂點(diǎn)的尾度矩陣，S是對(duì)角矩陣，表示第l層可學(xué)習(xí)的參數(shù)矩陣，和是第l和l+1層頂點(diǎn)的隱層表示.

2） DHGCN

在超圖卷積運(yùn)算中融入方向信息，DHGCN 的卷積層定義為

3）DHConv

有向超圖卷積（directed hypergraph convolution，DHConv）[112]包含頂點(diǎn)聚合和有向超邊聚合2 個(gè)階段.DHConv 中有向超圖的關(guān)聯(lián)矩陣∈定義為

4） DHN

其中是超邊在第l層的隱層表示，是有向超圖對(duì)應(yīng)的無向超圖的關(guān)聯(lián)矩陣，和分別是第l和l+1層頂點(diǎn)的隱層表示，表示可學(xué)習(xí)的參數(shù)矩陣，[·,·]代表拼接運(yùn)算. 從式（27）可以看出，當(dāng)DHN更新頂點(diǎn)的特征表示時(shí)，考慮到頂點(diǎn)表示、有向超邊表示和無向超圖結(jié)構(gòu).

從上述可知，有向超圖神經(jīng)網(wǎng)絡(luò)模型中的超邊都帶方向信息. 其中，DHN 將有向超圖轉(zhuǎn)換為有向圖，卷積操作中融入了無向超圖的結(jié)構(gòu). 而其他3 種有向超圖神經(jīng)網(wǎng)絡(luò)都定義了含有方向信息的有向超圖關(guān)聯(lián)矩陣，但各自具體的定義方式不同.

3.1.1.3 動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò)

在無向超圖和有向超圖神經(jīng)網(wǎng)絡(luò)中，建模數(shù)據(jù)的超圖結(jié)構(gòu)都是靜態(tài)的，超圖結(jié)構(gòu)沒有隨著頂點(diǎn)特征的更新而動(dòng)態(tài)調(diào)整，這會(huì)影響模型性能. 為了動(dòng)態(tài)地構(gòu)建和更新超圖結(jié)構(gòu)，學(xué)者們設(shè)計(jì)出動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò)模型.

1） DHGNNa

最初始構(gòu)造的超圖可能不適合表示最終的數(shù)據(jù)結(jié)構(gòu)，Jiang 等人[52]提出一種動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò)DHGNNa，包含動(dòng)態(tài)超圖構(gòu)建（dynamic hypergraph construction，DHG）和超圖卷積（hypergraph convolution，HGC）2 個(gè)模塊. 其中，HGC 模塊由頂點(diǎn)卷積VertexConv 和超邊卷積HyperedgeConv 組成. VertexConv 聚合超邊e包含的所有頂點(diǎn)特征，生成超邊特征xe=VertexConv(XGu)；HyperedgeConv 引入注意力機(jī)制聚合包含頂點(diǎn)u的超邊特征，生成u的新特征xu=HyperedgeConv(xe). 然后根據(jù)更新后的頂點(diǎn)特征重新構(gòu)建超圖，堆疊多層DHG 和HGC 實(shí)現(xiàn)動(dòng)態(tài)地構(gòu)建超圖.

2） AdaHGNN

AdaHGNN 通過關(guān)聯(lián)矩陣自動(dòng)學(xué)習(xí)，構(gòu)造自適應(yīng)超圖，進(jìn)而學(xué)習(xí)高階語義關(guān)系. 在構(gòu)造超圖的過程中，超邊被定義為頂點(diǎn)之間的一種抽象關(guān)系，可在訓(xùn)練階段自動(dòng)地學(xué)習(xí).HGA表示自適應(yīng)超圖的關(guān)聯(lián)矩陣，AdaHGNN 的超圖卷積層定義為

3） AHGCN

AHGCN 采用自適應(yīng)超邊的構(gòu)造方法生成基于位置的超圖Gloc和基于內(nèi)容的超圖Gcon，并引入批量歸一化[121]和殘差連接加速和穩(wěn)定訓(xùn)練，AHGCN 的超圖卷積層定義為

其中BN(·)是批量歸一化，和是第l和l+1層頂點(diǎn)的隱層表示，和代表可學(xué)習(xí)的參數(shù)，HG由Gloc和Gcon組成.

從上可知，本節(jié)提到的超圖神經(jīng)網(wǎng)絡(luò)通過不同的方式動(dòng)態(tài)地優(yōu)化超圖的建模過程. 其中，DHGNNa利用更新后的頂點(diǎn)特征構(gòu)建新的超圖，AdaHGNN 在訓(xùn)練階段自動(dòng)地學(xué)習(xí)頂點(diǎn)間的抽象關(guān)系，AHGCN 用一種自適應(yīng)超邊的構(gòu)造方法生成超圖. 除此之外，半動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò)（semi-dynamic hypergraph neural network，SD-HNN）[64]通過構(gòu)建靜態(tài)超圖和動(dòng)態(tài)超圖捕獲人體運(yùn)動(dòng)學(xué).Zhang 等人[97]設(shè)計(jì)一個(gè)可以自適應(yīng)優(yōu)化超圖結(jié)構(gòu)的超圖拉普拉斯適配器 （hypergraph laplacian adaptor，HERALD），動(dòng)態(tài)地更新超圖結(jié)構(gòu). 基于張量的動(dòng)態(tài)超圖學(xué)習(xí)（tensor-based dynamic hyperg raph learning，t-DHL）[32]采用張量表示建模超圖結(jié)構(gòu)，在學(xué)習(xí)的過程中動(dòng)態(tài)地更新超圖結(jié)構(gòu).

3.1.2 基于普通圖的超圖神經(jīng)網(wǎng)絡(luò)

在介紹本節(jié)內(nèi)容之前，需要明確本節(jié)涉及的普通圖的含義，具體可參見2.2 節(jié)中圖的定義，每條邊僅連接2 個(gè)頂點(diǎn). 本節(jié)介紹基于普通圖的超圖神經(jīng)網(wǎng)絡(luò)，顯示地將圖卷積網(wǎng)絡(luò)擴(kuò)展到超圖上. 它們具有共同的特點(diǎn)，即首先采用特定的方法將超圖轉(zhuǎn)換成普通圖，然后在這個(gè)普通圖上執(zhí)行圖卷積神經(jīng)網(wǎng)絡(luò).

1） HyperGCN

HyperGCN 是一種對(duì)超圖運(yùn)用圖卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方法. 超圖譜理論[122-123]可以將超圖轉(zhuǎn)換為一個(gè)帶權(quán)普通圖. 具體地，選取每條超邊中信號(hào)特征最大的2 個(gè)頂點(diǎn)，形成一條邊來表示該超邊，超邊中的其他頂點(diǎn)被刪除，將導(dǎo)致信息的丟失. 因此，HyperGCN引入由刪除的頂點(diǎn)組成的中介，將中介中的每個(gè)頂點(diǎn)與代表超邊選取的2 個(gè)頂點(diǎn)相連接，使用Chan 等人[124]的方法定義超圖拉普拉斯. HyperGCN 本質(zhì)是用帶權(quán)的普通圖代替超圖，每條超邊退化為帶權(quán)重的邊，然后在帶權(quán)重的普通圖上執(zhí)行圖卷積操作即可.

2） LHCN

線超圖卷積網(wǎng)絡(luò) （line hypergraph convolution network，LHCN）[56]首次引入超圖的線圖這一概念，超圖的線圖是一個(gè)普通圖. 首先將超圖G映射到一個(gè)加權(quán)帶屬性的線圖L(G)，其次對(duì)線圖L(G)執(zhí)行圖卷積操作，超圖的線圖的卷積定義為

3） HAIN

LHCN 需要顯式地計(jì)算線圖，計(jì)算成本高，超圖注意力同構(gòu)網(wǎng)絡(luò) （hypergraph attention isomorphism network，HAIN）[79]用一種隱式的方式生成線圖來解決此問題. 超圖G 被隱式地生成線圖表示融入超圖結(jié)構(gòu)的鄰接矩陣. 由于線圖中的頂點(diǎn)代表的是超圖中的超邊，HAIN 采用自注意力機(jī)制學(xué)習(xí)線圖中頂點(diǎn)的權(quán)重，衡量了不同超邊對(duì)頂點(diǎn)的重要性. 受圖同構(gòu)網(wǎng)絡(luò)（graph isomorphism network，GIN）[125]的啟發(fā)，HAIN 每層定義為

4） HI-GCN

超圖誘導(dǎo)圖卷積網(wǎng)絡(luò)（hypergraph induced graph convolutional network，HI-GCN）[77]將超圖結(jié)構(gòu)植入到圖卷積運(yùn)算中來更新頂點(diǎn)嵌入.HI-GCN 的卷積層定義為

其中DGc是Gc的度矩陣，Gc是超圖通過團(tuán)擴(kuò)張生成的普通圖，WGc是超邊權(quán)重矩陣，是可學(xué)習(xí)權(quán)重矩陣，和是第l和l+1層頂點(diǎn)的隱層表示.HI-GCN 有效包含了圖和超圖的信息.

從上述4 個(gè)模型可知，基于普通圖的超圖神經(jīng)網(wǎng)絡(luò)的共同點(diǎn)是采用一定的策略先將超圖轉(zhuǎn)化為普通圖，然后以圖或者超圖作為拓?fù)浣Y(jié)構(gòu)開發(fā)模型. 與上述4 個(gè)模型類似，神經(jīng)超鏈接預(yù)測器（neural hyperlink predictor， NHP）[26]采用無向超圖和有向超圖建模數(shù)據(jù)，利用團(tuán)擴(kuò)張將2 種超圖轉(zhuǎn)化為普通圖后實(shí)現(xiàn)超圖鏈路預(yù)測.Hou 等人[78]提出將加權(quán)有向超圖轉(zhuǎn)換為加權(quán)超邊圖，而加權(quán)超邊圖就是一個(gè)普通圖. 除此之外，文獻(xiàn)[59]提出一種超圖轉(zhuǎn)換為普通圖的方法，線擴(kuò)張 （line expansion，LE），將超圖中的頂點(diǎn)-超邊對(duì)作為普通圖中的一個(gè)頂點(diǎn)，稱之為線頂點(diǎn)，如果線頂點(diǎn)（頂點(diǎn)-超邊對(duì)）之間有公共的頂點(diǎn)或超邊，連接這2個(gè)線頂點(diǎn)形成一條邊，依次執(zhí)行，最終得到與之對(duì)應(yīng)的普通圖.

3.1.3 基于注意力機(jī)制的超圖神經(jīng)網(wǎng)絡(luò)

注意力機(jī)制常用于圖神經(jīng)網(wǎng)絡(luò)中權(quán)衡頂點(diǎn)和邊的重要性，取得顯著成效. 同樣，超圖神經(jīng)網(wǎng)絡(luò)也可引入注意力機(jī)制來體現(xiàn)頂點(diǎn)和超邊等的重要性. 本節(jié)對(duì)現(xiàn)有的超圖神經(jīng)網(wǎng)絡(luò)以注意力機(jī)制為關(guān)鍵技術(shù)的模型進(jìn)行歸納和總結(jié)，具體如下所述.

1） Hyper-SAGNN

Hyper-SAGNN 是一種用于超圖學(xué)習(xí)的框架，能夠處理同構(gòu)和異構(gòu)超圖、一致和非一致超圖，并利用學(xué)習(xí)到的節(jié)點(diǎn)嵌入預(yù)測非一致異構(gòu)超圖中的超邊.Hyper-SAGNN 包含靜態(tài)嵌入模塊、動(dòng)態(tài)嵌入模塊和預(yù)測模塊，在動(dòng)態(tài)嵌入模塊中引入多頭注意力機(jī)制生成動(dòng)態(tài)嵌入.

2） HANs

HANs 調(diào)整輸入的多種模態(tài)之間的信息層次，將它們整合到同一信息層次. 采用符號(hào)圖定義不同的模態(tài)之間的公共語義空間，在語義空間中構(gòu)建共同注意力映射以獲取不同模態(tài)的聯(lián)合表示.

3） HyperGAT

HyperGAT 設(shè)計(jì)雙注意力機(jī)制學(xué)習(xí)有鑒別力的表示，用于歸納式文本分類和降低計(jì)算成本.HyperGAT 層定義為

其中和是第l+1層的頂點(diǎn)vi和超邊ei的表示.超邊聚合函數(shù)HyperedgeAGG(·)將包含頂點(diǎn)的所有超邊的特征聚合到該頂點(diǎn)，并通過超邊級(jí)注意力機(jī)制為每條超邊分配權(quán)重以表明每條超邊對(duì)該頂點(diǎn)的貢獻(xiàn)度；節(jié)點(diǎn)聚合函數(shù)VertexAGG(·)將超邊中所有頂點(diǎn)的特征聚合到該超邊，并通過頂點(diǎn)級(jí)注意力機(jī)制為每個(gè)頂點(diǎn)分配權(quán)重以表明每個(gè)頂點(diǎn)對(duì)于超邊的貢獻(xiàn)度.

4） HGATs

與HyperGAT 類似，超圖注意力網(wǎng)絡(luò)（hypergraph attention networks，HGATs）[21]也是基于雙注意力機(jī)制的超圖注意力網(wǎng)絡(luò)，包含注意力頂點(diǎn)聚合和注意力超邊聚合，在聚合特征的過程中引入注意力機(jī)制為頂點(diǎn)和超邊分配不同的權(quán)重.

5） SAHDL

稀疏注意超圖正則化字典學(xué)習(xí)（sparse attention hypergraph regularized dictionary learning，SAHDL）[73]算法設(shè)計(jì)出一種新的稀疏注意力機(jī)制為每個(gè)頂點(diǎn)分配重要性權(quán)重，并將權(quán)重值融入到構(gòu)建超圖的過程中. 引入稀疏注意力的超圖關(guān)聯(lián)矩陣HSA定義為

其中eSA代表一條超邊，dis(·)表示計(jì)算2 點(diǎn)之間的距離，表示頂點(diǎn)i的注意力權(quán)重值，可通過公式計(jì)算得到.aSA是權(quán)重向量，PK表示從K個(gè)最近鄰居中選取的樣本的特征， τ是控制稀疏性的超參數(shù).

6） STHAN-SR

時(shí)空超圖注意力網(wǎng)絡(luò)（spatiotemporal hypergraph attention network，STHAN-SR）[82]利用超圖注意力巧妙地將時(shí)間霍克斯注意力與空間超圖卷積相結(jié)合，捕捉時(shí)空相關(guān)性.表示引入注意力機(jī)制的超圖關(guān)聯(lián)矩陣，STHAN-SR 的超圖卷積層定義為

它采用多頭注意力機(jī)制確保訓(xùn)練穩(wěn)定.

7） HGTAN

超圖三注意力網(wǎng)絡(luò)（hypergraph tri-attention network，HGTAN）[100]設(shè)計(jì)了超邊內(nèi)、超邊間和超圖間3 個(gè)注意力模塊，考慮頂點(diǎn)、超邊和超圖的重要性. 其中，超邊內(nèi)注意力和超邊間注意力與HyperGAT 和HGATs類似，但HGTAN 中采用超圖間注意力模塊，權(quán)衡不同超圖的重要性.

從上述可知，該類超圖神經(jīng)網(wǎng)絡(luò)模型的共同之處是利用注意力機(jī)制突顯頂點(diǎn)、超邊或超圖在消息聚合過程中各自的重要性. 除此之外，有向超圖注意力網(wǎng)絡(luò)（directed hypergraph attention network，DHAT）[112]結(jié)合3.1.1.2 節(jié)中介紹的DHConv 和注意力機(jī)制挖掘數(shù)據(jù)間的潛在關(guān)系.Sun 等人[126]提出一種基于多級(jí)超邊蒸餾策略的超圖神經(jīng)網(wǎng)絡(luò)，采用節(jié)點(diǎn)級(jí)、超邊級(jí)和語義級(jí)注意力學(xué)習(xí)和更新頂點(diǎn)表示.

3.2 超圖循環(huán)神經(jīng)網(wǎng)絡(luò)

本節(jié)重點(diǎn)介紹引入RNN 構(gòu)建超圖神經(jīng)網(wǎng)絡(luò)模型，RNN 主要用于捕獲時(shí)間特性.

1）HGC-RNN

HGC-RNN 是一種能夠預(yù)測結(jié)構(gòu)化時(shí)間序列傳感器網(wǎng)絡(luò)數(shù)據(jù)的模型. 它使用超圖卷積提取數(shù)據(jù)的結(jié)構(gòu)特征，同時(shí)采用RNN 結(jié)構(gòu)提取數(shù)據(jù)序列中的時(shí)間依賴性. 隨時(shí)間演化的HGC-RNN 層定義為

其中FRNN是循環(huán)神經(jīng)網(wǎng)絡(luò)，如GRU.FHGC1和FHGC2是用于更新頂點(diǎn)表示的超圖卷積操作.

2） 基于卷積、注意力和GRU 的超圖神經(jīng)網(wǎng)絡(luò)

Xia 等人[127]開發(fā)了一種基于時(shí)間的超圖神經(jīng)網(wǎng)絡(luò)，集成了超圖卷積、GRU 和注意力機(jī)制，有效地學(xué)習(xí)超圖中異構(gòu)數(shù)據(jù)之間的高階相關(guān)性.

上述2 種超圖神經(jīng)網(wǎng)絡(luò)有效地組合RNN 與超圖卷積. 與它們不同的是3.1.3 節(jié)中的HGTAN 結(jié)合RNN 和超圖注意力機(jī)制，使用GRU 從時(shí)間序列數(shù)據(jù)中捕捉頂點(diǎn)的時(shí)間動(dòng)態(tài)性，再將其送入HGTAN 更新節(jié)點(diǎn)的表示. 1）和2）都充分地考慮了數(shù)據(jù)間的時(shí)間特性和拓?fù)浣Y(jié)構(gòu).

3.3 超圖生成對(duì)抗網(wǎng)絡(luò)

受生成對(duì)抗網(wǎng)絡(luò)的啟發(fā)，研究者引入生成對(duì)抗網(wǎng)絡(luò)設(shè)計(jì)出超圖神經(jīng)網(wǎng)絡(luò)模型，本節(jié)詳細(xì)地介紹這類網(wǎng)絡(luò).

1） HGGAN

HGGAN 提出用交互式超邊神經(jīng)元模塊（interactive hyperedge neurons module，IHEN）作為生成器捕獲數(shù)據(jù)間的復(fù)雜關(guān)系；鑒別器是MLP.IHEN 的定義為：

2） MRL-AHF

MRL-AHF 利用多模態(tài)間的互補(bǔ)和多模態(tài)內(nèi)的交互，提升表示學(xué)習(xí)能力和多模態(tài)融合性能. 潛在表示分別送入編碼器EA 和EB 得到表示和，且生成的2 個(gè)超圖用關(guān)聯(lián)矩陣HEA和HEB表示. 通過對(duì)抗訓(xùn)練策略實(shí)現(xiàn)超圖融合，得到頂點(diǎn)的特征.

其中DVEA和DVEB分別是HEA和HEB的頂點(diǎn)度矩陣，DEEA和DEEB分別是HEA和HEB的超邊度矩陣，ΘEB是權(quán)重矩陣.

從上述可知，HGGAN 和MRL-AHF 巧妙地在生成對(duì)抗網(wǎng)絡(luò)中融入超圖結(jié)構(gòu)，提升了模型學(xué)習(xí)表示的能力.

3.4 其他模型

文獻(xiàn)[128] 通過低秩濾波器設(shè)計(jì)高效的超圖卷積. 非線性超圖擴(kuò)散 （nonlinear hypergraph diffusion，HyperND）[87]沿著超圖結(jié)構(gòu)傳播特征和標(biāo)簽. 受雙曲圖卷積神經(jīng)網(wǎng)絡(luò)[129]的啟發(fā)，Li 等人[103]提出一種帶有預(yù)訓(xùn)練階段的雙曲超圖表示學(xué)習(xí)方法（hyperbolic hypergraph representation learning method for sequential recommenddation，H2SeqRec）有效地緩解超圖的稀疏性和長尾數(shù)據(jù)分布問題，通過雙曲空間超圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)動(dòng)態(tài)嵌入. DHT（dual hypergraph transformation）[96]是一種邊表示學(xué)習(xí)框架. Srinivasan 等人[130]設(shè)計(jì)了一種用于學(xué)習(xí)頂點(diǎn)、超邊和完全超圖表示的超圖神經(jīng)網(wǎng)絡(luò). 受GCNII[131]的啟發(fā)，殘差增強(qiáng)多超圖神經(jīng)網(wǎng)絡(luò)（residual enhanced multihypergraph neural network，ResMultiHGNN）[93]緩解加深HGNN 引起的過平滑等問題. Lin 等人[113]使用采樣超邊等方式設(shè)計(jì)出一種深層超圖神經(jīng)網(wǎng)絡(luò)（deep gypergraph neural network，DeepHGNN）. 深度超邊 （deep hyperedges，DHE）[132]利用上下文和集合成員對(duì)超圖進(jìn)行轉(zhuǎn)導(dǎo)和歸納式學(xué)習(xí). G-MPNN[70]統(tǒng)一不同結(jié)構(gòu)的消息傳遞神經(jīng)網(wǎng)絡(luò)（message passing neural network，MPNN）[133]，對(duì)多關(guān)系有序超圖有強(qiáng)大的歸納能力. UniGNN[95]是一種將經(jīng)典的GNNs，如GCN，GAT（graph attention network）等推廣到超圖上的統(tǒng)一框架. HyperSAGE[74]受GraphSAGE（graph sample and aggregate） [134]的啟發(fā)，設(shè)計(jì)出一種歸納式超圖學(xué)習(xí)框架. HyperGene[92]是一種基于GNNs 的超圖預(yù)訓(xùn)練框架. NetVec[86]是一個(gè)能夠提高運(yùn)行速度，用于解決大型超圖的多層超圖嵌入框架.AllSet [99]將傳播規(guī)則描述為2 個(gè)多集函數(shù)的組合，并將多集函數(shù)的學(xué)習(xí)問題與超圖神經(jīng)網(wǎng)絡(luò)聯(lián)系起來.

4 應(yīng) 用

現(xiàn)實(shí)生活中很多數(shù)據(jù)間的交互關(guān)系可以很自然地用超圖表示，雖然超圖神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程較短，但它已經(jīng)被廣泛地應(yīng)用到不同領(lǐng)域的任務(wù)中并取得成功. 本節(jié)詳細(xì)地介紹超圖神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域中的實(shí)際應(yīng)用.

4.1 社交網(wǎng)絡(luò)

4.1.1 引文網(wǎng)絡(luò)分類

在引文網(wǎng)絡(luò)中，超圖可用于建模論文的引用關(guān)系和論文的合著關(guān)系. 引文網(wǎng)絡(luò)分類任務(wù)屬于節(jié)點(diǎn)級(jí)任務(wù)，常用的數(shù)據(jù)集有Cora，DBLP，Pubmed，Citeseer，具體描述如表3 所示. HGNN， HyperGCN， DHGNNa，HyperSAGE， LHCN， iHGAN[80]，HNHN ，HyperND 等都可用于引文網(wǎng)絡(luò)分類. 表4 列舉了應(yīng)用于引文網(wǎng)絡(luò)分類的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

Table 3 Common Datasets of Citation Network表3 引文網(wǎng)絡(luò)常用數(shù)據(jù)集

Table 4 Hypergraph Neural Network Models, Datasets and Evaluations Applied for Citation Network Classification表4 應(yīng)用于引文網(wǎng)絡(luò)分類的超圖神經(jīng)網(wǎng)絡(luò)模型、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

對(duì)于半監(jiān)督節(jié)點(diǎn)分類任務(wù)，表5 羅列了3 種超圖神經(jīng)網(wǎng)絡(luò)模型與經(jīng)典的GCN 在Cora 上的比較，實(shí)驗(yàn)中的訓(xùn)練集和測試集數(shù)目分別為140 和1 000.其中DHGNNa和iHGAN 的準(zhǔn)確度分別比GCN 提升了1%和1.4%，展現(xiàn)了超圖神經(jīng)網(wǎng)絡(luò)的有效性.

Table 5 Experimental Results of Different Models on Cora Dataset表5 不同模型在Cora 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果%

4.1.2 情感識(shí)別

多超圖神經(jīng)網(wǎng)絡(luò)（multi-hypergraph neural network，MHGNNa）[51]利用生理信號(hào)識(shí)別人類情緒，每種類型的生理信號(hào)建模為一個(gè)超圖，超圖中的頂點(diǎn)是一個(gè)受試對(duì)象和刺激物的二元組，超邊代表受試者之間的相關(guān)性. 若存在多種生理信號(hào)，則采用多個(gè)超圖建模. 每個(gè)超圖上執(zhí)行卷積后融合多個(gè)超圖卷積的輸出結(jié)果，得到頂點(diǎn)的最終表示. 文獻(xiàn)[53]中提出一種利用生理信號(hào)識(shí)別情緒的邊加權(quán)超圖神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練的過程中同時(shí)學(xué)習(xí)超邊權(quán)重和濾波器參數(shù).

4.2 推薦系統(tǒng)

序列超圖增強(qiáng)下一項(xiàng)推薦（sequential hypergraphs to enhance next-item recommendation，HyperRec）[23]是一種端到端的框架，該框架利用序列超圖描述項(xiàng)目之間的短期相關(guān)性，結(jié)合超圖卷積層生成有效的項(xiàng)目動(dòng)態(tài)嵌入. H2SeqRec 在雙曲空間中設(shè)計(jì)超圖卷積，從年度、季度和月度多個(gè)時(shí)間維度學(xué)習(xí)項(xiàng)目的嵌入.DHCF 是雙通道協(xié)同過濾框架，它采用分治策略學(xué)習(xí)用戶和項(xiàng)目的不同表示. 用戶間和項(xiàng)目間的高階相關(guān)性建模為用戶超圖和項(xiàng)目超圖，并利用超圖卷積學(xué)習(xí)用戶和項(xiàng)目的表示. 雙通道的設(shè)置使得在集成用戶和項(xiàng)目一起推薦的同時(shí)，又保持各自的屬性.SHCN 是基于用戶評(píng)論的信號(hào)超圖卷積網(wǎng)絡(luò)，設(shè)計(jì)了符號(hào)超邊卷積操作，通過自定義的鄰域聚合策略有效地傳遞用戶偏好，改進(jìn)特征感知的推薦性能.

DHCN, SHARE[90], HGNNA[110]是基于會(huì)話推薦的超圖神經(jīng)網(wǎng)絡(luò)模型. DHCN 是結(jié)合超圖和超圖線圖設(shè)計(jì)的雙通道超圖卷積網(wǎng)絡(luò)，其中超圖卷積負(fù)責(zé)捕獲項(xiàng)目級(jí)的高階關(guān)系，超圖的線圖卷積負(fù)責(zé)學(xué)習(xí)會(huì)話級(jí)關(guān)系. S2-DHCN 是加入了自監(jiān)督學(xué)習(xí)的DHCN變體. SHARE 用一個(gè)超圖表示每個(gè)會(huì)話，項(xiàng)目是超圖中的頂點(diǎn)，超邊連接一個(gè)上下文窗口中所有的項(xiàng)目.引入超圖注意力機(jī)制來衡量項(xiàng)目對(duì)會(huì)話的重要性和會(huì)話對(duì)項(xiàng)目的影響. HGNNA 是基于超圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的推薦模型. HGNNA 首先利用超圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)項(xiàng)目間的關(guān)聯(lián)，然后引入自注意力機(jī)制聚合會(huì)話信息，最后通過圖注意機(jī)制挖掘出會(huì)話間的相關(guān)性.

STAMP（short-term attention/memory priority）[135]和SR-GNN（session-based recommendation with graph neural networks）[136]是2 個(gè)先進(jìn)的基線模型，分別通過引入注意力機(jī)制和GNNs 來增強(qiáng)基于會(huì)話的推薦.表6 記錄了基于會(huì)話推薦常用的數(shù)據(jù)集YooChoose和Diginetica. 從表7 中可以看出，超圖神經(jīng)網(wǎng)絡(luò)模型SHARE，DHCN， S2-DHCN 優(yōu)于SR-GNN，在Yoochoose 1/4 上平均倒數(shù)排名（mean reciprocal ranking，MRR）的MRR@K 值分別提升了0.22%，4.83 %，8.24%；在Diginetica 上MRR@K 值分別提升了0.46%，12.99%，13.35%. 而HGNNA 的性能也優(yōu)于STAMP，證明了超圖神經(jīng)網(wǎng)絡(luò)模型在該任務(wù)中的成效顯著.

Table 6 Common Datasets of Session-Based Recommendation表6 基于會(huì)話推薦的常用數(shù)據(jù)集

Table 7 Results of Different Models for Session-Based Recommendation（MRR@K）表7 基于會(huì)話推薦不同模型的結(jié)果（MRR@K） %

MHCN，HASRE[109]，SHGCN[111]都是用于社會(huì)推薦的超圖神經(jīng)網(wǎng)絡(luò)模型.MHCN 是多通道超圖卷積網(wǎng)絡(luò)，它利用多通道，如社交通道、聯(lián)合通道和購買通道分別編碼用戶的高階關(guān)系，在超圖卷積網(wǎng)絡(luò)的訓(xùn)練中引入自監(jiān)督學(xué)習(xí)增強(qiáng)推薦性能. HASRE 是基于超圖注意力網(wǎng)絡(luò)的社會(huì)推薦算法，超圖建模用戶之間的高階關(guān)系，引入圖注意力機(jī)制為用戶的好友分配合適的權(quán)重，反映出好友對(duì)用戶的不同影響.SHGCN 主要解決非同質(zhì)社會(huì)推薦問題，利用超圖表示復(fù)雜的三元社交關(guān)系（用戶-用戶-項(xiàng)目），設(shè)計(jì)超圖卷積網(wǎng)絡(luò)學(xué)習(xí)社會(huì)影響和用戶偏好.

LightGCN[137]是一個(gè)非常具有競爭力的基線模型，它對(duì)GCN 的內(nèi)部結(jié)構(gòu)進(jìn)行了調(diào)整，大多數(shù)情況下在社會(huì)推薦任務(wù)中表現(xiàn)出最好或次優(yōu)的性能. LastFM，Douban，Yelp 是常用于社會(huì)推薦的數(shù)據(jù)集，詳情如表8 所示. 表9 記錄了LightGCN 與超圖神經(jīng)網(wǎng)絡(luò)模型DHCF，MHCN，HASRE 的比較，實(shí)驗(yàn)結(jié)果引用自HASRE，故這里的訓(xùn)練集、驗(yàn)證集和測試集的占比與HASRE 一樣，分別為80%，10%，10%. 除了DHCF，其他3 個(gè)超圖神經(jīng)網(wǎng)絡(luò)模型的性能都優(yōu)于LightGCN.其中，HASRE 在3 個(gè)數(shù)據(jù)集中均表現(xiàn)出最佳的效果，展現(xiàn)了超圖神經(jīng)網(wǎng)絡(luò)模型在社會(huì)推薦任務(wù)中具有顯著的效果.

Table 8 Common Datasets of Social Recommendation表8 社會(huì)推薦的常用數(shù)據(jù)集

Table 9 Results of Different Models for Social Recommendation表9 社會(huì)推薦不同模型的結(jié)果%

群體推薦的分層超圖學(xué)習(xí)框架HHGR[107]分別在用戶級(jí)和組級(jí)超圖上設(shè)計(jì)超圖卷積網(wǎng)絡(luò)，捕獲用戶之間的組內(nèi)和組間的交互. HyperTeNet[108]用于實(shí)現(xiàn)任務(wù)中的個(gè)性化列表延續(xù)任務(wù)，構(gòu)建3 一致超圖，采用Hyper-SAGNN 學(xué)習(xí)用戶、項(xiàng)目和列表之間的三元關(guān)系. Liu 等人[89]設(shè)計(jì)的知識(shí)感知超圖神經(jīng)網(wǎng)絡(luò)（knowledge-aware hypergraph neural network，KHNN），從知識(shí)圖譜學(xué)習(xí)用戶、項(xiàng)目和實(shí)體之間的高階關(guān)系. 表10介紹了應(yīng)用于推薦的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

Table 10 Hypergraph Neural Network Models, Datasets and Evaluation Applied for Recommendation System表10 應(yīng)用于推薦系統(tǒng)的超圖神經(jīng)網(wǎng)絡(luò)模型、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

4.3 計(jì)算機(jī)視覺

4.3.1 圖像任務(wù)

Wadhwa 等人[138]提出一種基于超圖卷積的圖像補(bǔ)全技術(shù)，從輸入的數(shù)據(jù)中學(xué)習(xí)超圖結(jié)構(gòu). 超圖卷積中代表超圖結(jié)構(gòu)的關(guān)聯(lián)矩陣包含每個(gè)頂點(diǎn)對(duì)超邊的貢獻(xiàn)信息，由空間特征的互相關(guān)計(jì)算貢獻(xiàn)權(quán)重. HGCNN（hypergraph convolutional neural networks）[63]是解決3D 人臉反欺騙問題的超圖卷積神經(jīng)網(wǎng)絡(luò). 每張人臉構(gòu)建一個(gè)超圖，利用超圖卷積學(xué)習(xí)深度特征和紋理特征，將它們拼接起來作為用于分類的最終表示. 譜-空間超圖卷積神經(jīng)網(wǎng)絡(luò)（spectral-spatial hypergraph convolutional neural network，S2HCN）[105]是用于高光譜圖像分類的超圖卷積神經(jīng)網(wǎng)絡(luò)，首先從高光譜圖像中挖掘譜特征和空間特征，然后分別基于這2 個(gè)特征構(gòu)建超圖，并將這些超圖融合為一個(gè)超圖，最后將超圖和初始高光譜圖像作為超圖卷積的輸入. 多粒度超圖（multi-granular hypergraph，MGH）學(xué)習(xí)框架[98]能夠同時(shí)運(yùn)用時(shí)間和空間線索完成視頻身份識(shí)別，故超圖神經(jīng)網(wǎng)絡(luò)可用于探索視頻序列中的多粒度時(shí)空線索之間的高階相關(guān)性.

HI-GCN 和AdaHGNN 用于多標(biāo)簽圖像分類任務(wù).HI-GCN 采用數(shù)據(jù)驅(qū)動(dòng)的方式為標(biāo)簽構(gòu)建一個(gè)自適應(yīng)超圖，再利用超圖誘導(dǎo)圖卷積網(wǎng)絡(luò)更新標(biāo)簽嵌入. AdaHGNN 用自動(dòng)學(xué)習(xí)關(guān)聯(lián)矩陣的方法來構(gòu)造自適應(yīng)超圖，利用超圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多標(biāo)簽之間的高階語義關(guān)系. HI-GCN 和AdaHGNN 構(gòu)建的超圖中，每個(gè)標(biāo)簽作為一個(gè)頂點(diǎn)，但定義超邊的方法不同. Dang等人[139]設(shè)計(jì)一種用于解決帶噪聲的標(biāo)簽學(xué)習(xí)問題的超圖神經(jīng)網(wǎng)絡(luò).

4.3.2 視覺對(duì)象抽取

Zheng 等人[140]為視覺事件推理任務(wù)設(shè)計(jì)了一種多模態(tài)模型，稱為超圖增強(qiáng)圖推理. 該模型通過有效地集成圖卷積、超圖卷積和自注意力機(jī)制，提升模型的視覺推理和視覺敘述能力. 超圖構(gòu)建采用KNN 算法，其中頂點(diǎn)代表視覺特征和文本特征，超圖卷積操作與HGNN 類似.

4.3.3 視覺問答

多模式學(xué)習(xí)的主要任務(wù)是處理來自多個(gè)不同來源的信息，視覺問答（VQA）是一種典型的多模式學(xué)習(xí)任務(wù)，它的任務(wù)目標(biāo)是回答關(guān)于圖像場景的文本問題，需要處理包括圖像和文本的信息.HANs 是用于多模態(tài)學(xué)習(xí)的超圖注意力網(wǎng)絡(luò).

4.3.4 行為識(shí)別

Hyper-GNN[84]是基于骨骼的動(dòng)作識(shí)別的超圖神經(jīng)網(wǎng)絡(luò)，通過三流超圖神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)地融合關(guān)節(jié)流、骨骼流和運(yùn)動(dòng)流3 種特征，并充分地利用它們之間的互補(bǔ)性和多樣性. SD-HNN 通過半動(dòng)態(tài)超圖神經(jīng)網(wǎng)絡(luò)從2D 姿勢重新估計(jì)人體的3D 姿勢，用超圖建模人體，使用靜態(tài)超圖和動(dòng)態(tài)超圖分別表示關(guān)節(jié)之間的局部和全局運(yùn)動(dòng)約束，有效地刻畫了人體關(guān)節(jié)之間的復(fù)雜運(yùn)動(dòng)學(xué)關(guān)系.

4.3.5 視覺對(duì)象分類

視覺對(duì)象分類任務(wù)中，每個(gè)對(duì)象作為頂點(diǎn)，采用KNN 算法生成超邊，運(yùn)用HGNN 和HGATs 實(shí)現(xiàn)對(duì)象識(shí)別任務(wù). HGNN 完全依賴超圖結(jié)構(gòu)，沒有突顯出頂點(diǎn)和超邊的重要性；HGATs 不依賴于超圖結(jié)構(gòu)，對(duì)頂點(diǎn)和超邊賦予不同的重要性，可以用于歸納學(xué)習(xí). 對(duì)于多模態(tài)數(shù)據(jù)，MultiHGNN 拼接（采用均值）的是卷積結(jié)果，而HGNN 拼接的是超圖結(jié)構(gòu). HGWNN 是引入小波變換設(shè)計(jì)的超圖小波神經(jīng)網(wǎng)絡(luò)，采用最遠(yuǎn)點(diǎn)采樣（FPS）算法和球查詢方法構(gòu)建超圖. 多尺度超圖神經(jīng)網(wǎng)絡(luò)（multi-scale hypergraph neural network，MHGNNb）[91]的超圖卷積操作與HGNN 類似，但它融合了每層超圖卷積的頂點(diǎn)特征；而HGNN 僅使用最后一層特征，未考慮每一層的頂點(diǎn)特征信息，顯得信息比較單一. DeepHGNN 是一種加深HGNN 的超圖神經(jīng)網(wǎng)絡(luò).

NTU 和ModelNet40 是超圖神經(jīng)網(wǎng)絡(luò)常用于視覺對(duì)象分類的數(shù)據(jù)集，具體細(xì)節(jié)如表11 所示. 表12 記錄了6 個(gè)超圖神經(jīng)網(wǎng)絡(luò)與GCN 在2 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，可以觀察到超圖神經(jīng)網(wǎng)絡(luò)模型在NTU 上的分類準(zhǔn)確率都高于84%，比GCN 至少提高了8%， 其中HGWNN 和ResMultiHGNN 分類準(zhǔn)確率分別提高了15%和16%. 同樣地，超圖神經(jīng)網(wǎng)絡(luò)模型在Model-Net40 上的分類準(zhǔn)確率也都優(yōu)于GCN，充分地展現(xiàn)出超圖神經(jīng)網(wǎng)絡(luò)在這類任務(wù)中的優(yōu)勢. 表13 總結(jié)了應(yīng)用于計(jì)算機(jī)視覺的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

Table 11 Common Datasets of Visual Object Classification表11 視覺對(duì)象分類常用數(shù)據(jù)集

Table 12 Results of Different Models for Visual Object Classification （Accuracy）表12 視覺對(duì)象分類不同模型的結(jié)果（Accuracy）%

Table 13 Hypergraph Neural Network Models, Datasets and Evaluations Applied for Computer Vision表13 應(yīng)用于計(jì)算機(jī)視覺的超圖神經(jīng)網(wǎng)絡(luò)模型、數(shù)據(jù)集和評(píng)價(jià)

4.4 自然語言處理

4.4.1 文本分類

HyperGAT 是針對(duì)文本分類任務(wù)設(shè)計(jì)的基于雙注意力機(jī)制的超圖注意力網(wǎng)絡(luò)，使用文檔級(jí)超圖建模每個(gè)文本文檔，頂點(diǎn)表示文檔中的單詞，存在順序超邊和語義超邊. 采用頂點(diǎn)級(jí)和邊級(jí)注意力學(xué)習(xí)高階關(guān)系和有判別力的表示. 該模型適用于歸納式訓(xùn)練.

4.4.2 生物事件抽取

生物醫(yī)學(xué)事件抽取是涉及生物醫(yī)學(xué)概念的一項(xiàng)抽取任務(wù)，需要從生物醫(yī)學(xué)的上下文本中提取有用的基本信息. Zhao 等人[141]提出一個(gè)用于解決該任務(wù)的端到端的文檔2 級(jí)聯(lián)合框架，通過堆疊 HANN 層，有效地建模生物醫(yī)學(xué)文檔中局部和全局上下文之間的相互關(guān)聯(lián).

4.4.3 知識(shí)圖譜

DHGCN 是在超圖卷積操作中融入方向信息的有向超圖卷積網(wǎng)絡(luò)，它很自然地將超圖卷積擴(kuò)展到有向超圖，提出基于有向超圖卷積網(wǎng)絡(luò)的多跳知識(shí)庫問答模型2HR-DR. 受CompGCN [142]和遞歸超圖的啟發(fā)，Yadati 等人[143]引入遞歸超圖建模知識(shí)庫，提出遞歸超圖網(wǎng)絡(luò)（recursive hypergraph network， Rec-HyperNet），用于知識(shí)庫問答任務(wù). Han 等人[144]提出基于文本增強(qiáng)知識(shí)圖譜的開放領(lǐng)域問答模型，利用文本語義信息增強(qiáng)實(shí)體表示和文本結(jié)構(gòu)補(bǔ)充知識(shí)庫中的關(guān)系. 其中每個(gè)文本視為一條超邊，用于連接該文本中的實(shí)體，然后對(duì)文本超邊形成的超圖執(zhí)行超圖卷積，更新實(shí)體信息. Fatemi 等人[65]提出HSimplE和HypE 直接對(duì)知識(shí)超圖進(jìn)行鏈路預(yù)測.

知識(shí)庫問答是自然語言處理中的一種任務(wù)，常用的傳統(tǒng)模型有KV-MemNet（key- value memory network）[145]和 GraftNet（graphs of relations among facts and text networks）[146]，前者將知識(shí)庫事實(shí)以鍵-值的結(jié)構(gòu)存儲(chǔ)；后者用文本信息和實(shí)體一起構(gòu)建圖，并將 GCN應(yīng)用于推理. 常用數(shù)據(jù)集MetaQA 和WebQuestionsSP的描述如表14 所示. 雖然傳統(tǒng)模型有各自的優(yōu)勢，但從表15 可以看出超圖神經(jīng)網(wǎng)絡(luò)模型2HR-DR 和RecHyperNet 的性能更優(yōu). 特別地，RecHyperNet 在2個(gè)數(shù)據(jù)集上比GraftNet 分別提升了2.1 個(gè)百分點(diǎn)和1.6 個(gè)百分點(diǎn)，表明超圖神經(jīng)網(wǎng)絡(luò)模型的可行性和有效性. 實(shí)驗(yàn)結(jié)果來自RecHyperNet 中的實(shí)驗(yàn)，故具有可比性. 表16 總結(jié)了應(yīng)用于自然語言處理的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

Table 14 Common Datasets of Knowledge Base Question Answering表14 知識(shí)庫問答常用數(shù)據(jù)集

Table 15 Results of Different Models for Knowledge Base Question Answering（Hits@1）表15 知識(shí)庫問答不同模型的結(jié)果（Hits@1）%

Table 16 Hypergraph Neural NetWork Models, Datasets and Evaluations Applied for Natural Language Processing表16 應(yīng)用于自然語言處理的超圖神經(jīng)網(wǎng)絡(luò)模型、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

4.5 股票預(yù)測

時(shí)空超圖卷積網(wǎng)絡(luò)STHGCN、時(shí)空超圖注意力網(wǎng)絡(luò)STHAN-SR 和超圖三注意力網(wǎng)絡(luò)HGTAN 都是用于預(yù)測股票趨勢的模型. 具體地，STHGCN 用超圖表示股票間的產(chǎn)業(yè)關(guān)系，設(shè)計(jì)時(shí)空超圖卷積學(xué)習(xí)股票價(jià)格的時(shí)間演化和股票之間的關(guān)系. STHAN- SR將股票預(yù)測任務(wù)刻畫為一個(gè)學(xué)習(xí)排序問題，結(jié)合超圖卷積和時(shí)間霍克斯注意機(jī)制探索股票之間的空間復(fù)雜關(guān)系和時(shí)間依賴性. HGTAN 引入分層注意力機(jī)制，設(shè)計(jì)超邊內(nèi)、超邊間和超圖間的注意力分別衡量頂點(diǎn)、超邊和超圖在股票間信息傳遞中的重要性，從而挖掘出股票運(yùn)動(dòng)的潛在關(guān)系. 表17 記錄了應(yīng)用于預(yù)測股票趨勢的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

Table 17 Hypergraph Neural Network Models, Datasets and Evaluation Applied for Stock Trend Prediction表17 應(yīng)用于預(yù)測股票趨勢的超圖神經(jīng)網(wǎng)絡(luò)模型、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

4.6 化學(xué)和醫(yī)療

Hyper-SAGNN 能夠?qū)W習(xí)有效的細(xì)胞嵌入，有助于理解高階基因組的細(xì)胞間變化. NHP 采用有向超圖和無向超圖建?；瘜W(xué)反應(yīng)網(wǎng)絡(luò)，2 個(gè)變體NHP-D（有向）和NHP-U（無向）用于化學(xué)反應(yīng)預(yù)測，通過團(tuán)擴(kuò)張將超圖轉(zhuǎn)化為普通圖后實(shí)現(xiàn)超圖鏈路預(yù)測. Hou等人[78]用加權(quán)有向超圖建模細(xì)胞之間的多對(duì)多關(guān)系，將加權(quán)有向超圖轉(zhuǎn)換為超邊圖，并在超邊圖上運(yùn)用MCL （Markov cluster algorithm）[147]和Louvain[148]社區(qū)檢測算法.

HGGAN 是用于分析阿爾茨海默病的超圖生成對(duì)抗網(wǎng)絡(luò). MRL-AHF 是用于診斷阿爾茨海默病的框架，由多模態(tài)表示學(xué)習(xí)和對(duì)抗性超圖融合組成.HUNet（hypergraph U-Net）[68]利用超圖結(jié)構(gòu)學(xué)習(xí)數(shù)據(jù)樣本的嵌入和高階關(guān)系，應(yīng)用于腦圖的嵌入和分類.Banka 等人[69]設(shè)計(jì)超圖自編碼器學(xué)習(xí)大腦區(qū)域間的高階關(guān)系，實(shí)現(xiàn)腦狀態(tài)分類. Madine 等人[149]設(shè)計(jì)了診斷自閉癥譜系障礙的超圖神經(jīng)網(wǎng)絡(luò)，提出用無監(jiān)督多核學(xué)習(xí)增強(qiáng)超圖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力. 表18 描述了應(yīng)用于生化醫(yī)療領(lǐng)域的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

4.7 交通機(jī)械

地理-語義-時(shí)間超圖卷積網(wǎng)絡(luò)GST-HCN 用于預(yù)測交通流，利用地理-時(shí)間圖卷積和語義-時(shí)間超圖卷積聯(lián)合學(xué)習(xí)地理、語義和時(shí)間的高階相關(guān)性. 動(dòng)態(tài)時(shí)空超圖圖卷積網(wǎng)絡(luò)（dynamic spatio-temporal hypergraph graph convolution network，DSTHGCN）[88]用于預(yù)測地鐵客流，超圖建模軌道交通數(shù)據(jù)，充分地考慮了地鐵的拓?fù)浣Y(jié)構(gòu)和乘客出行方式的多樣化，設(shè)計(jì)超圖卷積和時(shí)間卷積學(xué)習(xí)頂點(diǎn)的時(shí)空特征，進(jìn)而提高預(yù)測性能. 鑒于有向超圖可以同時(shí)刻畫空間信息和有向關(guān)系， DHAT 采用了有向超圖建模道路網(wǎng)絡(luò)，基于有向超圖設(shè)計(jì)有向超圖卷積挖掘交通序列之間的空間關(guān)系，并結(jié)合注意力機(jī)制實(shí)現(xiàn)有效的交通預(yù)測. 表19描述了應(yīng)用于交通預(yù)測的超圖神經(jīng)網(wǎng)絡(luò)模型及其采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo).

Table 19 Hypergraph Neural Network Models, Datasets and Evaluation Applied for Traffic Forecast表19 應(yīng)用于交通預(yù)測的超圖神經(jīng)網(wǎng)絡(luò)模型、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

化學(xué)機(jī)械拋光（chemical mechanical planarization，CMP）是半導(dǎo)體行業(yè)中的一種關(guān)鍵工藝，其表面平整度在很大程度上影響制造質(zhì)量. 材料去除率（material removal rate, MRR）在這個(gè)過程處于重要的地位. Xia等人[127]開發(fā)了一種基于時(shí)間的超圖卷積網(wǎng)絡(luò)，用于預(yù)測CMP 過程中的MRR，通過超圖卷積、超圖注意力和GRU 學(xué)習(xí)異構(gòu)數(shù)據(jù)之間的相關(guān)性.

5 未來研究方向

近3 年，在圖神經(jīng)網(wǎng)絡(luò)的成功和超圖建模的優(yōu)勢的推動(dòng)下，超圖神經(jīng)網(wǎng)絡(luò)快速發(fā)展并取得顯著的成果，但由于超圖神經(jīng)網(wǎng)絡(luò)的研究還處于新起階段，因此存在需要迫切解決的問題，并可將其作為進(jìn)一步研究的方向.

5.1 超圖建模方法

采用圖建模數(shù)據(jù)在設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)時(shí)扮演著重要的角色，與構(gòu)建圖神經(jīng)網(wǎng)絡(luò)一樣，構(gòu)建超圖在設(shè)計(jì)超圖神經(jīng)網(wǎng)絡(luò)模型的過程中也具有重要的地位，會(huì)直接影響模型性能. 現(xiàn)有的超圖神經(jīng)網(wǎng)絡(luò)利用超圖建模數(shù)據(jù)間的高階復(fù)雜關(guān)系，構(gòu)建超圖的常用方法有基于距離、基于表示、基于屬性和基于網(wǎng)絡(luò)的方法[32].然而，這些方法所構(gòu)建出的超圖結(jié)構(gòu)是靜態(tài)的，在學(xué)習(xí)的過程中沒有隨著頂點(diǎn)表示的更新而動(dòng)態(tài)調(diào)整.雖然DHGNNa和AHGCN 等模型中已經(jīng)考慮動(dòng)態(tài)地構(gòu)造超圖，但是都有各自的局限性. 如在加入新數(shù)據(jù)時(shí)需要重新訓(xùn)練等問題. 現(xiàn)有的適用于超圖神經(jīng)網(wǎng)絡(luò)的超圖構(gòu)造方法的研究工作比較少，故對(duì)于如何構(gòu)造切實(shí)有助于從結(jié)構(gòu)上提升模型性能的超圖十分必要.

5.2 深層超圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)關(guān)于深層模型的探索已取得令人鼓舞的成果，如JK-Nets（jumping knowledge networks）[150]，DropEdge[151]，GCNII 等. 盡管近3 年來超圖神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域都有廣泛的應(yīng)用，但它們大多是淺層模型. 在不犧牲性能的前提下，關(guān)于深層模型的研究很少， 如ResMultiHGNN，DeepHGNN，UniGNN， 其中ResMultiHGNN 和UniGCN 引入GCNII 中的方法，將其直接地從圖結(jié)構(gòu)推廣到超圖上. DeepHGNN 提出用采樣超邊等方式加深網(wǎng)絡(luò)，但局限于加深的模型有限，并未提出一個(gè)超圖神經(jīng)網(wǎng)絡(luò)通用的深層框架.因此，在加深的過程中是否會(huì)遇到與加深GNNs 時(shí)相同的問題，如過擬合、過平滑等；是否會(huì)出現(xiàn)GNNs中未遇到的其他問題；通過什么技術(shù)可以有效地緩解出現(xiàn)的問題都需要在將來加以解決和研究.

5.3 超圖神經(jīng)網(wǎng)絡(luò)的理論

現(xiàn)有的超圖神經(jīng)網(wǎng)絡(luò)模型大多數(shù)是顯式或隱式地推廣圖神經(jīng)網(wǎng)絡(luò)模型到超圖建模的數(shù)據(jù)上. 圖和超圖刻畫和表示數(shù)據(jù)相關(guān)性不同，但現(xiàn)有探討超圖神經(jīng)網(wǎng)絡(luò)模型的文獻(xiàn)中涉及模型理論研究的很少.這些文獻(xiàn)的重點(diǎn)是在具體任務(wù)中提升模型性能，少有從理論的角度解釋模型. 超圖除了擁有靈活的建模能力外，還具有其他屬性和性質(zhì)，因此，如何使用這些屬性和性質(zhì)構(gòu)建更好的超圖神經(jīng)網(wǎng)絡(luò)，如何將超圖理論作為工具探究和解釋模型也是值得研究的工作.

5.4 超圖神經(jīng)網(wǎng)絡(luò)的深度應(yīng)用

現(xiàn)實(shí)生活中存在很多關(guān)系復(fù)雜的網(wǎng)絡(luò)，雖然現(xiàn)有超圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用涉及社交網(wǎng)絡(luò)、推薦系統(tǒng)、計(jì)算機(jī)視覺、自然語言處理、金融、生物化學(xué)和交通預(yù)測等，但在具體的領(lǐng)域中涉及的任務(wù)較少且單一，如金融領(lǐng)域僅考慮了股票趨勢預(yù)測的任務(wù). 因此，研究如何將超圖神經(jīng)網(wǎng)絡(luò)深度地應(yīng)用于各個(gè)領(lǐng)域也十分有意義.

6 總 結(jié)

從2019 年Feng 等人[19]首次提出的超圖神經(jīng)網(wǎng)絡(luò)HGNN，到DHGCN，DHGNNa，HWNN，HyperGAT，HGC-RNN，HGGAN, MHCN 等不同模型. 這些模型不斷豐富和完善超圖神經(jīng)網(wǎng)絡(luò)家族. 雖然超圖神經(jīng)網(wǎng)絡(luò)發(fā)展的時(shí)間短、起步晚，但它借助可以挖掘數(shù)據(jù)間的潛在高階關(guān)系吸引越來越多的研究者從事這方面的探索和鉆研. 他們主要的工作是優(yōu)化和改進(jìn)模型算法、超圖結(jié)構(gòu)，推動(dòng)超圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于各個(gè)領(lǐng)域并取得不俗的表現(xiàn). 因此，通過閱讀大量文獻(xiàn)，本文全面地回顧和綜述了超圖神經(jīng)網(wǎng)絡(luò)模型的研究歷程.

本文概括和分析了近3 年出現(xiàn)的超圖神經(jīng)網(wǎng)絡(luò)模型和框架，將超圖神經(jīng)網(wǎng)絡(luò)分為超圖卷積神經(jīng)網(wǎng)絡(luò)、超圖循環(huán)神經(jīng)網(wǎng)絡(luò)和超圖生成對(duì)抗網(wǎng)絡(luò)3 類. 在第3 節(jié)中詳細(xì)地介紹了這3 類中代表性的模型算法并做比較. 第4 節(jié)中歸納了超圖神經(jīng)網(wǎng)絡(luò)在社交網(wǎng)絡(luò)、推薦系統(tǒng)、計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域的應(yīng)用，并列舉了所采用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo). 通過第5節(jié)探討了存在于超圖神經(jīng)網(wǎng)絡(luò)中一些需要解決的關(guān)鍵研究問題.

總之，超圖神經(jīng)網(wǎng)絡(luò)作為一種新興的研究方向，由于其發(fā)展歷程較短，現(xiàn)有的模型存在自身的不足和局限性，有待改進(jìn)和提升的空間很大. 因此，其具有豐富的可研究內(nèi)容. 未來，隨著更多研究者的加入，這些問題會(huì)得到不斷改善和解決，同時(shí)會(huì)開發(fā)出更多優(yōu)秀的模型來擴(kuò)充超圖神經(jīng)網(wǎng)絡(luò)體系，拓展其應(yīng)用的廣度和深度.

作者貢獻(xiàn)聲明：林晶晶收集和分析相關(guān)參考文獻(xiàn)，負(fù)責(zé)論文撰寫和校對(duì)；冶忠林、趙海興提出指導(dǎo)意見并修改論文；李卓然收集和整理相關(guān)文獻(xiàn).