摘 要：

半監(jiān)督超圖節(jié)點(diǎn)分類任務(wù)旨在利用少量節(jié)點(diǎn)的標(biāo)簽信息，預(yù)測未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，在復(fù)雜網(wǎng)絡(luò)分析和應(yīng)用中具有重要意義?，F(xiàn)有半監(jiān)督超圖節(jié)點(diǎn)分類模型主要存在以下兩點(diǎn)不足：a） 神經(jīng)網(wǎng)絡(luò)層數(shù)增加后，忽視隱藏的高階關(guān)系；b） 模型時間復(fù)雜度高。因此，提出了一種新的動態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)（dynamic hypergraph wavelet neural network，DHGWNN），解決半監(jiān)督超圖節(jié)點(diǎn)分類問題。一方面，提出了一種基于k-NN、k-Hop和注意力機(jī)制的超圖動態(tài)構(gòu)建方法，挖掘節(jié)點(diǎn)之間隱藏的高階關(guān)系，進(jìn)一步豐富超圖特征嵌入；另一方面，使用超圖上的小波變換，構(gòu)建了一種超圖小波卷積網(wǎng)絡(luò)，并重新推導(dǎo)了卷積更新公式，以解決模型時間復(fù)雜度高的問題。四個引文網(wǎng)絡(luò)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法的分類性能優(yōu)于基線模型。

關(guān)鍵詞：超圖；半監(jiān)督學(xué)習(xí)；節(jié)點(diǎn)分類；小波變換

中圖分類號：TP391"" 文獻(xiàn)標(biāo)志碼：A""" 文章編號：1001-3695（2024）12-028-3735-07

doi： 10.19734/j.issn.1001-3695.2024.05.0129

Semi-supervised hypergraph node classification based on dynamic hypergraph wavelet neural network

Pang Jun1，2， Cheng Jun’ao1， Lin Xiaoli1，2， Wang Mengxiang3

（1.College of Computer Science amp; Technology， Wuhan University of Science amp; Technology， Wuhan 430065， China; 2.Hubei Province Key Laboratory of Intelligent Information Processing amp; Real-time Industrial System， Wuhan 430065， China; 3.China Institute of Standardization， Beijing 100088， China）

Abstract：

The semi-supervised hypergraph node classification task aims to predict the labels of unlabeled nodes using the labeling information of a small number of nodes， which is important in complex network analysis and applications. Existing semi-supervised hypergraph node classification models have the following two main shortcomings： a） neglecting hidden higher-order relations with the number of neural network layers increasing. b） high model time complexity. Therefore， this paper proposed a new dynamic hypergraph wavelet neural network （DHGWNN） to solve the semi-supervised hypergraph node classification problem. On the one hand， it proposed a hypergraph dynamic construction method based on k-NN， k-Hop and attention mecha-nism to mine the hidden higher-order relationships between nodes， which further enriched the hypergraph feature embedding. On the other hand， it constructed a hypergraph wavelet convolutional network using wavelet transform on hypergraph and rederived the convolutional update formula to solve the problem of high time complexity of the model. Experimental results on four real datasets of citation networks show that the classification performance of the proposed method is better than the baseline models.

Key words：hypergraph; semi-supervised learning; node classification; wavelet transform

0 引言

圖數(shù)據(jù)由節(jié)點(diǎn)和邊組成，可表示各種關(guān)系和網(wǎng)絡(luò)結(jié)構(gòu)，如社交網(wǎng)絡(luò)、知識圖譜和分子結(jié)構(gòu)等。半監(jiān)督圖節(jié)點(diǎn)分類任務(wù)旨在利用少量標(biāo)記節(jié)點(diǎn)的標(biāo)簽信息，預(yù)測未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，使得模型能夠?qū)⒐?jié)點(diǎn)分配到正確的類別中。該任務(wù)具有廣泛的應(yīng)用領(lǐng)域，例如社交媒體分析［1］、推薦系統(tǒng)［2，3］、生物信息學(xué)［4］、計算機(jī)視覺［5］等。

現(xiàn)有半監(jiān)督節(jié)點(diǎn)分類方法多面向普通圖（即簡單二元關(guān)系圖，參見圖1（b）），主要采用圖神經(jīng)網(wǎng)絡(luò)（graph neural networks，GNN）處理非歐幾里德數(shù)據(jù)，以實(shí)現(xiàn)節(jié)點(diǎn)分類。例如，Kipf等人［6］在譜理論的基礎(chǔ)上結(jié)合深度學(xué)習(xí)，提出了一種圖卷積模型GCN并將其應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類任務(wù)。Velickovic等人［7］關(guān)注節(jié)點(diǎn)鄰域特征，為鄰域中不同節(jié)點(diǎn)指定不同權(quán)重來更新節(jié)點(diǎn)特征，并利用自注意層來解決圖卷積只關(guān)注鄰居節(jié)點(diǎn)而無法捕捉圖結(jié)構(gòu)中更遠(yuǎn)距離的節(jié)點(diǎn)關(guān)系的不足。此外，GraphSAGE［8］模型使用采樣方法，GraphGAN［9］模型加入生成對抗網(wǎng)絡(luò)。

這些方法針對普通圖，聚焦成對關(guān)系。然而現(xiàn)實(shí)世界中許多對象之間的關(guān)系并非簡單的成對關(guān)系。例如，多位作者合作完成一篇論文，多位用戶討論同一話題等。雖然這些高階關(guān)系可轉(zhuǎn)換為成對關(guān)系進(jìn)行表示，但是存在信息丟失或信息冗余問題［10］。因此，可用超圖直接建模這些高階關(guān)系［11］。超圖是由節(jié)點(diǎn)和超邊組成的圖，超邊可以連接任意數(shù)量的節(jié)點(diǎn)。下文給出一個用普通圖或超圖表示引文網(wǎng)絡(luò)的示例。

例1 如圖1（a）所示，已知作者合作發(fā)表論文的相關(guān)信息（張?zhí)m、李奧、王東合作發(fā)表了論文A等），這些信息的普通成對圖和超圖表示分別如圖1（b）（c）所示。節(jié)點(diǎn)表示論文，邊表示所關(guān)聯(lián)的論文有共同的作者。圖1（c）虛線框起來的超邊表示論文A、B、C有共同作者。顯然從圖1（b）很難判斷多篇論文是否有共同作者（如只能判斷論文A、B、C兩兩分別有共同作者，而不能判別這三篇論文有共同的作者），而從圖1（c）卻可清晰地辨識。

采用超圖直接建模高階關(guān)系后，半監(jiān)督圖節(jié)點(diǎn)分類轉(zhuǎn)換為半監(jiān)督超圖節(jié)點(diǎn)分類。半監(jiān)督超圖節(jié)點(diǎn)分類具有廣泛的應(yīng)用。例如：a） 圖1中引文網(wǎng)絡(luò)的例子，通過對論文分類可以識別出不同的研究領(lǐng)域和學(xué)科的論文，在實(shí)際的應(yīng)用中這有助于了解各領(lǐng)域的發(fā)展?fàn)顩r和趨勢；b） 圖2中社交網(wǎng)絡(luò)的例子，通過對用戶節(jié)點(diǎn)進(jìn)行分類，可以更好地了解用戶的興趣和行為，從而提供個性化的內(nèi)容推薦。已有不少學(xué)者研究了半監(jiān)督超圖節(jié)點(diǎn)分類方法，根據(jù)處理方式的不同可分為兩類：基于譜分析的方法［10，12］和基于神經(jīng)網(wǎng)絡(luò)的方法［13～20］?；谧V分析的方法是一類以譜理論為基礎(chǔ)的分析方法。例如：Agarwal等人［10］在譜理論的基礎(chǔ)上提出星式展開和團(tuán)式展開，將超圖轉(zhuǎn)換為普通圖，從而將超圖問題轉(zhuǎn)換為普通圖問題，進(jìn)而采用普通圖方法進(jìn)行解決，該方法存在信息丟失、信息冗余的問題。Zhou等人［12］定義了超圖上的拉普拉斯算子，首次提出超圖學(xué)習(xí)，并將超圖應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類，但該方法有存在孤立節(jié)點(diǎn)時拉普拉斯算子失效的問題。該類方法通常有著嚴(yán)密的推導(dǎo)過程，同時相關(guān)的理論基礎(chǔ)對其他類型算法的設(shè)計有著重要的指導(dǎo)意義。

基于神經(jīng)網(wǎng)絡(luò)的方法首先根據(jù)已知信息進(jìn)行超圖建模，接著將超圖表示為關(guān)聯(lián)矩陣，并采用卷積、注意力等技術(shù)來提取節(jié)點(diǎn)的特征表示，最后基于上一步獲取的節(jié)點(diǎn)嵌入表示訓(xùn)練一個分類器來預(yù)測未分類節(jié)點(diǎn)的類別［13，14］。例如：Feng等人［13］受圖卷積網(wǎng)絡(luò)的啟發(fā)，將Zhou等人［12］提出的拉普拉斯矩陣引入圖卷積網(wǎng)絡(luò)，從而設(shè)計超圖卷積運(yùn)算并將其應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類任務(wù)。Wu等人［14］提出一種節(jié)點(diǎn)-超邊網(wǎng)絡(luò)的超圖卷積來對節(jié)點(diǎn)和超邊進(jìn)行過濾，并使用交叉熵?fù)p失和超圖重構(gòu)損失進(jìn)行反向傳播。該類方法主要存在以下兩點(diǎn)不足：a） 當(dāng)前大部分神經(jīng)網(wǎng)絡(luò)模型都采用靜態(tài)超圖結(jié)構(gòu)，在神經(jīng)網(wǎng)絡(luò)層數(shù)增加的過程中，忽視了隱藏的高階關(guān)系；b） 當(dāng)前普遍使用文獻(xiàn)［13］中提出的超圖卷積網(wǎng)絡(luò)，該卷積網(wǎng)絡(luò)由于正反傅里葉變換及大量矩陣分解操作，模型訓(xùn)練的時間復(fù)雜度過高。本文研究第二類方法。

針對第一個問題，本文提出了一種針對半監(jiān)督超圖節(jié)點(diǎn)分類的超圖動態(tài)構(gòu)建方法，通過在每一層神經(jīng)網(wǎng)絡(luò)后添加超圖動態(tài)構(gòu)建模塊，使用由超圖小波卷積網(wǎng)絡(luò)和注意力機(jī)制提取的節(jié)點(diǎn)特征，重新構(gòu)建新的超圖結(jié)構(gòu)。該方法結(jié)合k-NN和k-Hop算法以及注意力機(jī)制帶來的先驗(yàn)信息，迭代學(xué)習(xí)超圖中節(jié)點(diǎn)之間更深層次的隱藏高階關(guān)系信息。針對第二個問題，本文提出了一種超圖上的小波變換，使用超圖小波變換和超圖拉普拉斯矩陣設(shè)計出了一種超圖小波卷積網(wǎng)絡(luò)，并推導(dǎo)出新的卷積更新公式，通過超圖小波變換稀疏且易于計算的特點(diǎn)降低模型時間復(fù)雜度?；谏鲜龉ぷ?，本文提出了一種新的動態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)解決半監(jiān)督超圖節(jié)點(diǎn)分類問題。與DHGNN［19］相比，本文使用k-NN和k-Hop算法構(gòu)建超邊集，通過等量融合方法形成超圖。k-NN算法利用注意力權(quán)重選擇相關(guān)性高的鄰居節(jié)點(diǎn)，提供局部信息，減少噪聲。k-Hop算法通過聚合目標(biāo)節(jié)點(diǎn)k跳內(nèi)的所有節(jié)點(diǎn)，提供全局信息。與小波卷積網(wǎng)絡(luò)相比，本文利用超圖小波變換構(gòu)建了超圖小波卷積網(wǎng)絡(luò)，推導(dǎo)了新的卷積公式，并引入注意力機(jī)制增強(qiáng)節(jié)點(diǎn)特征表達(dá)能力。

本文的主要貢獻(xiàn)包括：

a）提出了一種新的超圖動態(tài)構(gòu)建方法，使用k-NN和k-Hop算法以及注意力機(jī)制帶來的先驗(yàn)信息構(gòu)建新的超圖，作為下一層神經(jīng)網(wǎng)絡(luò)的輸入，迭代學(xué)習(xí)深層隱藏高階關(guān)系，進(jìn)一步豐富節(jié)點(diǎn)嵌入特征。

b）提出了一種基于小波變換的超圖小波卷積網(wǎng)絡(luò)，使用超圖小波變換重新推導(dǎo)了新的卷積更新公式，利用小波變換稀疏的特點(diǎn)以降低模型訓(xùn)練的時間復(fù)雜度；為進(jìn)一步提升模型表達(dá)能力，采用注意力權(quán)重矩陣聚合節(jié)點(diǎn)特征。

c）在四個公開的引文網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了本文方法的節(jié)點(diǎn)分類準(zhǔn)確率優(yōu)于所有baseline方法。

1 相關(guān)工作

1.1 面向普通圖的半監(jiān)督節(jié)點(diǎn)分類方法

最早期的簡單圖嵌入方法，如DeepWalk［21］、node2vec［22］等側(cè)重于捕獲節(jié)點(diǎn)之間的鄰域鄰近性。近些年，圖神經(jīng)網(wǎng)絡(luò)因?yàn)槠鋸?qiáng)大的表示學(xué)習(xí)能力，在一些任務(wù)上取得了優(yōu)秀的成績，例如節(jié)點(diǎn)分類任務(wù)、社交網(wǎng)絡(luò)分析任務(wù)等?，F(xiàn)有基于圖神經(jīng)網(wǎng)絡(luò)的半監(jiān)督節(jié)點(diǎn)分類方法可分為兩類［23］：基于譜方法的半監(jiān)督節(jié)點(diǎn)分類方法和基于空間方法的半監(jiān)督節(jié)點(diǎn)分類方法。第一類方法通過圖的傅里葉變換在譜域中定義卷積過程。由于該方法涉及拉普拉斯矩陣分解的操作，導(dǎo)致算法復(fù)雜度升高。為了降低計算復(fù)雜度，Defferrard等人［24］通過圖拉普拉斯的切比雪夫展開來參數(shù)化卷積濾波器。為了進(jìn)一步提高圖卷積性能，Kipf等人［6］在卷積的每一層采用切比雪夫一階多項式，在有效性和效率上取得良好的性能。第二類方法利用空間采樣器和聚合器來獲取鄰居的特征表示。Hamilton等人［8］提出了GraphSAGE方法，通過采樣選擇相鄰節(jié)點(diǎn)，然后將其饋送到聚合函數(shù)。注意力機(jī)制可以改進(jìn)卷積方法，Velickovic等人［7］將注意力機(jī)制引入到神經(jīng)網(wǎng)絡(luò)對節(jié)點(diǎn)信息聚合的過程中，提出了圖注意力網(wǎng)絡(luò)GAT。陳東洋等人［15］提出了SC-HGANN模型，使用單純復(fù)形提取網(wǎng)絡(luò)高階結(jié)構(gòu)，并結(jié)合注意力網(wǎng)絡(luò)完成半監(jiān)督節(jié)點(diǎn)分類任務(wù)。然而，這些方法是針對成對關(guān)系而設(shè)計，直接應(yīng)用于非成對的高階關(guān)系時，因未充分考慮多節(jié)點(diǎn)之間的組合關(guān)系，造成信息丟失；這些方法還會使圖規(guī)模急劇增大，引發(fā)信息冗余問題。

1.2 面向超圖的半監(jiān)督節(jié)點(diǎn)分類方法

根據(jù)使用技術(shù)的不同，該類方法可分為基于譜分析的方法和基于神經(jīng)網(wǎng)絡(luò)的方法兩類。

第一類是譜分析的方法。Zhou等人［12］將普通圖上的矩陣分解方法推廣到超圖上提出了N-cut算法，進(jìn)一步推動了超圖上譜分析方法的發(fā)展，為后續(xù)的其他方法提供了一個良好的工具。Agarwal等人［10］提出了星式展開和團(tuán)式展開兩種經(jīng)典的展開方法，將超圖分解為普通圖，然后使用普通圖的方法完成半監(jiān)督節(jié)點(diǎn)分類任務(wù)，但展開存在信息丟失或者信息冗余的問題。然而，由于理論的限制，這類方法通常泛化性較差，且不夠靈活，神經(jīng)網(wǎng)絡(luò)類方法能夠很好地彌補(bǔ)譜分析方法的缺陷。

第二類是神經(jīng)網(wǎng)絡(luò)的方法。Feng等人［13］提出了第一個超圖神經(jīng)網(wǎng)絡(luò)HGNN，將圖卷積神經(jīng)網(wǎng)絡(luò)的思想自然地擴(kuò)展到了超圖上，設(shè)計了超圖上的卷積操作，然而矩陣分解操作和傅里葉變換使得模型復(fù)雜度升高。同年，Yadati等人［16］認(rèn)為HGNN在信息融合過程中有太多噪聲，使用采樣展開的方式提出了HyperGCN并將其應(yīng)用到超圖半監(jiān)督學(xué)習(xí)中。之后，陸續(xù)出現(xiàn)在超圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行神經(jīng)網(wǎng)絡(luò)模型改進(jìn)的研究。Bai等人［17］在HGNN［13］中的卷積網(wǎng)絡(luò)基礎(chǔ)上加入了注意力機(jī)制，通過利用自注意力層進(jìn)一步增強(qiáng)了表示學(xué)習(xí)的能力。吳越等人［18］將HGNN［13］的應(yīng)用范圍擴(kuò)充至異質(zhì)網(wǎng)絡(luò)，使用網(wǎng)絡(luò)模體來構(gòu)造超邊，將異質(zhì)網(wǎng)絡(luò)轉(zhuǎn)換為超圖。該模型通過超圖卷積網(wǎng)絡(luò)和注意力機(jī)制聚合超圖內(nèi)部不同類型節(jié)點(diǎn)的信息，完成半監(jiān)督超圖節(jié)點(diǎn)分類任務(wù)。Jiang等人［19］認(rèn)為構(gòu)造的初始超圖可能不適合最終的數(shù)據(jù)表示，隨后首次提出了一種動態(tài)超圖神經(jīng)網(wǎng)絡(luò)DHGNN用于進(jìn)行半監(jiān)督超圖節(jié)點(diǎn)分類等任務(wù)。Wu等人［14］受DHGNN［19］的啟發(fā)，使用節(jié)點(diǎn)特征重構(gòu)超圖結(jié)構(gòu)的方法，加強(qiáng)模型發(fā)掘信息的能力。同時，引入超圖重建損失函數(shù)和交叉熵?fù)p失函數(shù)，加強(qiáng)反向傳播的效果，從而提升半監(jiān)督超圖節(jié)點(diǎn)分類的性能。Gao等人［20］在HGNN［13］的工作基礎(chǔ)上，將卷積進(jìn)一步擴(kuò)展到空間域中，提出HGNN+。Li等人［25］提出HGTN模型，利用不同類型的節(jié)點(diǎn)和超邊之間的通信能力，學(xué)習(xí)高階關(guān)系，并使用多尺度的注意力模塊聚合節(jié)點(diǎn)嵌入。此外，Gu等人［26］研究了超圖的并行加速處理。

綜上所述，現(xiàn)有神經(jīng)網(wǎng)絡(luò)類方法忽視了節(jié)點(diǎn)間隱藏的高階關(guān)系，存在卷積網(wǎng)絡(luò)時間復(fù)雜度高的問題。本文通過超圖動態(tài)構(gòu)建和超圖小波卷積網(wǎng)絡(luò)解決了這些問題。

2 問題形式化定義

Xi+1=σ（D－1/2vHWD－1eHTD－1/2vXiΘ）（1）

其中：Xi+1、Xi分別是卷積第i+1和i層的特征矩陣；Θ是在訓(xùn)練過程中需要學(xué)習(xí)的參數(shù)；σ是非線性激活函數(shù)。

定義3 半監(jiān)督超圖節(jié)點(diǎn)分類。假設(shè)給定一個超圖G=（V， E），其中V表示節(jié)點(diǎn)的集合，E表示邊的集合。對于每個節(jié)點(diǎn)，可以用特征向量Xv表示節(jié)點(diǎn)的特征。半監(jiān)督超圖節(jié)點(diǎn)分類的目標(biāo)是，通過少量已知的節(jié)點(diǎn)標(biāo)簽信息和超圖中的高階關(guān)系，學(xué)習(xí)一個函數(shù)f：V→C，將每個節(jié)點(diǎn)v映射到其所屬的類別或標(biāo)簽。

3 DHGWNN模型

3.1 DHGWNN框架

DHGWNN模型的主要思想是：首先，通過節(jié)點(diǎn)特征構(gòu)建超圖，并獲得超圖關(guān)聯(lián)矩陣；然后，將關(guān)聯(lián)矩陣和初始節(jié)點(diǎn)特征傳入超圖小波卷積網(wǎng)絡(luò)，得到卷積后的節(jié)點(diǎn)特征；接著，使用注意力權(quán)重對節(jié)點(diǎn)特征加權(quán)聚合，采用聚合后的節(jié)點(diǎn)特征和超圖動態(tài)構(gòu)建和重建超圖結(jié)構(gòu)，并重復(fù)上述步驟直至達(dá)到停止條件（設(shè)定的模型層數(shù)）；最后將最終的節(jié)點(diǎn)特征送入分類器中訓(xùn)練，并對未分類節(jié)點(diǎn)進(jìn)行類別預(yù)測。模型整體框架結(jié)構(gòu)如圖3所示。DHGWNN模型主要包括超圖小波卷積網(wǎng)絡(luò)、注意力加權(quán)聚合、超圖動態(tài)構(gòu)建三個模塊。下文分別展開介紹這三個模塊。

3.2 超圖小波卷積網(wǎng)絡(luò)

本節(jié)提出一種新的超圖小波卷積網(wǎng)絡(luò)。該卷積網(wǎng)絡(luò)與第2章中介紹的超圖譜卷積不同，其使用超圖上的小波變換重新構(gòu)建了網(wǎng)絡(luò)，并推導(dǎo)了新的卷積更新公式。尺度sgt;0的超圖小波基定義如式（2）所示。

Ψs=（ψs，1|ψs，2|…|ψs，N）=UGsUT（2）

其中：Gs=diag（g（sλ1），g（sλ2），…，g（sλN））是在圖拉普拉斯矩陣上定義的拉伸濾波器。通過將超圖小波基應(yīng)用到單個節(jié)點(diǎn)上，則節(jié)點(diǎn)vi上尺度為s的超圖小波定義如式（3）所示。

ψs，i=UGsUTδi（3）

其中：δi是一個向量，其第i項為1，其他項為0。信號x的超圖小波系數(shù)Cx（s，i）是由超圖小波基與信號x的內(nèi)積而產(chǎn)生的。計算過程如式（4）所示。

Cx（s，i）=〈ψs，i，x〉=ψTs，ix（4）

然而，通過式（1）定義的小波變換需要計算超圖拉普拉斯矩陣的完整特征值和特征向量，計算成本太高使處理速度大幅下降。為了解決該問題，使用切比雪夫多項式來近似超圖小波系數(shù)。那么尺度s節(jié)點(diǎn)vi上的超圖小波系數(shù)可近似為

Cx（s，i）≈12cs，0x+∑Mm=1cs，mTm（）x（5）

其中：Tm（）為切比雪夫多項式；cs，m為切比雪夫系數(shù)?；谑剑?）中定義的超圖小波變換，尺度s上第l+1層卷積更新如式（6）所示。

Xl+1=σ12cs，0I+∑MM=1cs，mTm（）XlΘ（6）

其中：Xl+1和Xl分別為卷積第l+1層和卷積第l層的節(jié)點(diǎn)特征矩陣；Θ是在訓(xùn)練過程中需要學(xué)習(xí)的參數(shù)矩陣；I是單位矩陣；σ是非線性激活函數(shù)。為了方便計算機(jī)運(yùn)算，將其改寫為矩陣形式，同時使用切比雪夫多項式令M=1，λmax=1，Δ=I－D－1/2vHWD－1eHTD－1/2v，將其代入式（6）中，得到矩陣形式的卷積更新公式，如式（7）所示。

Xl+1=σ（（（12cs，0+cs，1）I－

2cs，1D－1/2vHWD－1eHTD－1/2v）XlΘ）（7）

如圖3中超圖小波卷積網(wǎng)絡(luò)所示，超圖小波卷積層可以進(jìn)行“節(jié)點(diǎn)-超邊-節(jié)點(diǎn)”變換，完成節(jié)點(diǎn)到超邊再到節(jié)點(diǎn)的信息傳播過程，這樣可以更好地細(xì)化節(jié)點(diǎn)特征。首先通過可學(xué)習(xí)的參數(shù)矩陣Θ對初始的節(jié)點(diǎn)特征進(jìn)行處理，然后通過節(jié)點(diǎn)特征聚合到超邊中形成超邊特征，即通過乘以關(guān)聯(lián)矩陣H的轉(zhuǎn)置來實(shí)現(xiàn)。最后通過聚合超邊特征生成這層最終輸出的節(jié)點(diǎn)特征，即通過乘以關(guān)聯(lián)矩陣H來實(shí)現(xiàn)。

3.3 注意力加權(quán)聚合

本節(jié)介紹了注意力權(quán)重的計算、注意力權(quán)重使用和節(jié)點(diǎn)特征融合的過程。因?yàn)榕c目標(biāo)節(jié)點(diǎn)相距太遠(yuǎn)的節(jié)點(diǎn)提供信息有限，所以本文將節(jié)點(diǎn)注意力權(quán)重計算的范圍限制在2跳內(nèi)的所有鄰居節(jié)點(diǎn)。

為了通過注意力機(jī)制獲得足夠的表達(dá)能力，將輸入的節(jié)點(diǎn)特征轉(zhuǎn)換為更高級別的特征，本文遵循GAT［7］中的設(shè)置。注意力權(quán)重的計算過程如式（8）所示。

eij=a（Wxi，Wxj）（8）

其中：eij表示節(jié)點(diǎn)j的特征對節(jié)點(diǎn)i的重要性；W為權(quán)重矩陣；a為一種共享注意力機(jī)制。本文設(shè)置只需要計算節(jié)點(diǎn)j∈Euclid Math OneNApi的注意力權(quán)重eij，其中，Euclid Math OneNApi是節(jié)點(diǎn)i的某個鄰域。為了使不同節(jié)點(diǎn)之間的注意力權(quán)重易于比較，使用softmax函數(shù)對節(jié)點(diǎn)i鄰域內(nèi)的所有節(jié)點(diǎn)j進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化過程如式（9）所示。

aij=softmax（eij）=exp（eij）∑k∈Euclid Math OneNApiexp（eik）（9）

獲得歸一化的注意力權(quán)重后，將其用于計算對應(yīng)特征的線性組合，作為每個節(jié)點(diǎn)的輸出特征，計算過程如式（10）所示。

x′i=σ（∑j∈Euclid Math OneNApiaijWxi）（10）

其中：σ為非線性激活函數(shù)。

通過對超圖節(jié)點(diǎn)特征執(zhí)行上述超圖小波卷積網(wǎng)絡(luò)和注意力機(jī)制后，獲得了最終的節(jié)點(diǎn)嵌入表示X′，接著將其用于學(xué)習(xí)基于標(biāo)記節(jié)點(diǎn)的分類器。本文使用softmax函數(shù)作為激活函數(shù)，并且同時評估所有樣本的交叉熵?fù)p失函數(shù)，計算公式如式（11）（12）所示。

X^i=softmax（xi+b）（11）

Euclid Math OneLApcross-entropy=－∑l∈CL ∑Kk=1ClklnX^lk（12）

其中：xi為節(jié)點(diǎn)特征向量；b為偏置項；CL為具有標(biāo)簽節(jié)點(diǎn)的索引集。

3.4 超圖動態(tài)構(gòu)建

本節(jié)介紹提出的超圖動態(tài)構(gòu)建方法。超圖構(gòu)建方法基于注意力加權(quán)聚合后的節(jié)點(diǎn)特征，重新獲得超邊，使得超圖結(jié)構(gòu)可以獲得更多的隱藏高階關(guān)系。受到DHGNN［26］超圖動態(tài)構(gòu)建的啟發(fā)，本文使用兩種不同的超邊集構(gòu)建策略來構(gòu)建超邊，還將注意力權(quán)重作為k-NN方法的先驗(yàn)信息，最后通過等量融合方法構(gòu)成超圖。具體如算法1所示。

算法1 超圖動態(tài)構(gòu)建

輸入：經(jīng)過神經(jīng)網(wǎng)絡(luò)處理后的節(jié)點(diǎn)特征X、k-NN方法中的k值k1、k-Hop方法中的k值k2。

輸出：超圖關(guān)聯(lián)矩陣H。

函數(shù)：k近鄰算法k-NN、k跳鄰居算法k-Hop、拼接算法cancat、獲取關(guān)聯(lián)矩陣算法GETH。

1 for u in range（len（X）） do //循環(huán)開始

2 "Eknn=k-NN（X［u］， X， k1）" /*通過k-NN函數(shù)選擇目標(biāo)節(jié)點(diǎn)x的k1個鄰居形成超邊Eknn*/

3 "KNNE.insert（Eknn） //將超邊Eknn插入到超邊集KNNE中

4 "Ekhop=k-Hop（X［u］， X， k2） /*通過k-Hop函數(shù)選擇目標(biāo)節(jié)點(diǎn)x的k2跳內(nèi)的所有節(jié)點(diǎn)形成超邊Ekhop*/

5 "KHOPE.insert（Ekhop） /*將超邊Ekhop插入到超邊集KHOPE中*/

6 end for //循環(huán)結(jié)束

7 H1=GETH（KNNE） /*通過GETH函數(shù)獲得超邊集KNNE的關(guān)聯(lián)矩陣H1*/

8 H2=GETH（KHOPE） /*通過GETH函數(shù)獲得超邊集KHOPE的關(guān)聯(lián)矩陣H2*/

9 H=concat（H1， H2） /*通過concat函數(shù)拼接H1和H2得到超圖的關(guān)聯(lián)矩陣H*/

10 return H //返回關(guān)聯(lián)矩陣H

算法結(jié)束

算法1描述了超圖動態(tài)構(gòu)建流程。第1～6行循環(huán)執(zhí)行直到遍歷完所有節(jié)點(diǎn)。首先，通過k-NN算法選擇目標(biāo)節(jié)點(diǎn)的k1個鄰居節(jié)點(diǎn)形成超邊，并插入到超邊集KNNE中（第2、3行）。然后，通過k-Hop算法選擇目標(biāo)節(jié)點(diǎn)的k2跳內(nèi)的所有節(jié)點(diǎn)形成超邊，并插入到超邊集KHOPE中（第4、5行）。接著，根據(jù)兩個超邊集分別獲得H1和H2關(guān)聯(lián)矩陣（第7、8行）。最后通過concat操作獲得最終的超圖關(guān)聯(lián)矩陣（第9行）。構(gòu)建出的具有更多隱藏高階關(guān)系的新超圖結(jié)構(gòu)可以作為下一層神經(jīng)網(wǎng)絡(luò)的輸入。

接下來，給出一個根據(jù)上述兩種不同策略構(gòu)建超邊的示例，如圖4所示。

例1 已知圖4（a）所示的普通圖，分別根據(jù)k-Hop方法和k-NN方法構(gòu)建超邊組。使用k-Hop方法來生成超邊組如圖4（b）所示，圖中選擇v1作為中心節(jié)點(diǎn)。當(dāng)k值設(shè)置為1時，將節(jié)點(diǎn)v1和其1跳范圍內(nèi)的所有節(jié)點(diǎn)連接形成超邊Ek-Hop1（v1）插入超邊集，如圖中內(nèi)圈橢圓所示。當(dāng)k值設(shè)置為2時，將外圈橢圓內(nèi)所有節(jié)點(diǎn)連接起來形成超邊Ek-Hop2（v1）插入超邊集。這類超邊可以捕捉到節(jié)點(diǎn)之間更遠(yuǎn)距離的相關(guān)性。使用k-NN算法生成超邊組如圖4（c）所示，圖中選擇v1作為中心節(jié)點(diǎn)。當(dāng)k值設(shè)置為2時，將中心節(jié)點(diǎn)及其2個鄰居節(jié)點(diǎn)連接起來形成超邊Ek-NN2（v1）插入超邊集。當(dāng)k值設(shè)置為4時，將中心節(jié)點(diǎn)及其4個鄰居節(jié)點(diǎn)連接起來形成超邊Ek-NN4（v1）插入超邊集。由于中心節(jié)點(diǎn)每個鄰居對中心節(jié)點(diǎn)的貢獻(xiàn)度是不同的，所以采用注意力機(jī)制選擇中心節(jié)點(diǎn)的k個鄰居，以達(dá)到更好的效果。

3.5 訓(xùn)練過程

算法2描述了DHGWNN模型的訓(xùn)練過程。第2～9行不斷迭代執(zhí)行，迭代次數(shù)由模型層數(shù)Item決定，其處理過程如下：首先根據(jù)節(jié)點(diǎn)特征和關(guān)聯(lián)矩陣等信息，使用卷積公式計算下一層的節(jié)點(diǎn)特征（第3行），然后根據(jù)節(jié)點(diǎn)特征計算注意力權(quán)重，并使用注意力權(quán)重對節(jié)點(diǎn)特征進(jìn)行加權(quán)聚合得到新的節(jié)點(diǎn)特征（第4、5行），接著計算交叉熵?fù)p失進(jìn)行反向傳播（第6、7行），最后根據(jù)新的節(jié)點(diǎn)特征，使用超圖動態(tài)構(gòu)建模塊得到新的超圖繼續(xù)迭代（第8行）。

算法2 DHGWNN模型訓(xùn)練過程

輸入：節(jié)點(diǎn)特征X、模型層數(shù)Item。

輸出：節(jié)點(diǎn)特征X′、節(jié)點(diǎn)類別C。

根據(jù)普通圖構(gòu)建初始超圖，獲得超圖關(guān)聯(lián)矩陣H

for i range（Item） do

由式（7）計算i+1層節(jié)點(diǎn)特征Xi+1

由式（8）計算注意力權(quán)重矩陣E

由式（11）計算融合注意力權(quán)重后的節(jié)點(diǎn)特征X′i+1

根據(jù)節(jié)點(diǎn)特征X′i+1使用超圖動態(tài)構(gòu)建模塊構(gòu)建出新的超圖結(jié)構(gòu)并獲得超圖關(guān)聯(lián)矩陣H′

end for

根據(jù)神經(jīng)網(wǎng)絡(luò)最后一層聚合后的節(jié)點(diǎn)特征X′訓(xùn)練一個分類器classifier

使用分類器對未分類節(jié)點(diǎn)預(yù)測得到節(jié)點(diǎn)類別C

由式（13）計算交叉熵?fù)p失函數(shù)Lc-e

進(jìn)行反向傳播

return X′ and C

算法結(jié)束

4 實(shí)驗(yàn)

本章在四個廣泛使用的公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，對比了本文DHGWNN模型和baseline模型的節(jié)點(diǎn)分類準(zhǔn)確率、macro-F1、micro-F1和模型運(yùn)行時間。此外，還報道和分析了相關(guān)消融實(shí)驗(yàn)、參數(shù)分析和案例實(shí)驗(yàn)。下文分別介紹數(shù)據(jù)集、實(shí)驗(yàn)設(shè)置、基線模型、相關(guān)實(shí)驗(yàn)結(jié)果和分析。

4.1 數(shù)據(jù)集

本文實(shí)驗(yàn)采用四個用于節(jié)點(diǎn)分類任務(wù)的引文網(wǎng)絡(luò)數(shù)據(jù)集：Cora［13］、Pumbed［13］、Citeseer［15］和DBLP［15］。

表1展示了這些數(shù)據(jù)集的統(tǒng)計信息，其中，nodes、edges、feature和class分別表示數(shù)據(jù)集中節(jié)點(diǎn)數(shù)量、邊的數(shù)量、特征數(shù)和節(jié)點(diǎn)類別數(shù)。

4.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用的操作系統(tǒng)為Ubuntu，CPU為IntelCore i5-10400F，GPU為NVIDIA GeForce RTX 3070，在PyCharm平臺上進(jìn)行開發(fā)和調(diào)試。使用PyTorch框架實(shí)現(xiàn)DHGWNN模型。

對于所有數(shù)據(jù)集，從每個類別隨機(jī)選擇10個樣本作為訓(xùn)練集，剩余樣本50%作為測試集，另外50%作為驗(yàn)證集。例如，Cora數(shù)據(jù)集中節(jié)點(diǎn)有7種類型，在每個類型的節(jié)點(diǎn)中隨機(jī)選擇10個節(jié)點(diǎn)作為訓(xùn)練集，剩余節(jié)點(diǎn)分別作為測試集和驗(yàn)證集。隱藏層的特征維數(shù)被設(shè)置為16，并且使用dropout drop率p=0.5以避免過擬合。選擇ReLU作為非線性激活函數(shù)。在訓(xùn)練過程中，使用Adam優(yōu)化器使交叉熵?fù)p失函數(shù)最小化，學(xué)習(xí)率設(shè)置為l=0.001。

4.3 基線模型和評價指標(biāo)

本文采用目前流行的節(jié)點(diǎn)分類模型作為基線模型，包括：

a）基于普通圖的模型GCN［6］、GraphSAGE［8］、GAT［7］、SC-HGANN［15］。

b）基于超圖的模型HyperGCN［16］、Hyper-Atten［17］、HGNN［13］、HCNH［14］、HGTN［25］、HGNN+［20］。

評價指標(biāo)選擇節(jié)點(diǎn)分類常用的評價標(biāo)準(zhǔn)，即節(jié)點(diǎn)分類準(zhǔn)確率（accuracy）［13］、macro-F1［14］和micro-F1［14］。這三者值越大代表模型性能越好。

4.4 實(shí)驗(yàn)結(jié)果分析

本節(jié)報道并分析了本文提出模型與基線模型的節(jié)點(diǎn)分類準(zhǔn)確率、macro-F1、micro-F1、模型訓(xùn)練時間。

4.4.1 節(jié)點(diǎn)分類準(zhǔn)確率

本節(jié)分別在Cora、Pumbed、Citeseer和DBLP四個數(shù)據(jù)集上對比本文DHGWNN模型與Baseline方法的節(jié)點(diǎn)分類準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表2所示。其中，加粗的數(shù)據(jù)為每項評價指標(biāo)的最優(yōu)結(jié)果。

從表2的實(shí)驗(yàn)結(jié)果中可以看到，DHGWNN模型在四個數(shù)據(jù)集上的節(jié)點(diǎn)分類準(zhǔn)確率均優(yōu)于其他基線模型。其中，相較于每個數(shù)據(jù)集中準(zhǔn)確率最高的方法，DHGWNN模型在四個數(shù)據(jù)集上的節(jié)點(diǎn)分類準(zhǔn)確率分別提升了2.71、2.04、1.59、2.58百分點(diǎn)。一方面，本文DHGWNN模型使用了超圖動態(tài)構(gòu)建，能夠更好地適應(yīng)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中節(jié)點(diǎn)特征的變化，構(gòu)建出更好的超圖結(jié)構(gòu)；同時在使用k-NN策略構(gòu)建超邊時，使用上一層模型中的注意力權(quán)重作為先驗(yàn)知識，提高了節(jié)點(diǎn)對鄰居節(jié)點(diǎn)特征的聚合能力。另一方面，使用超圖上的小波變換構(gòu)建了新的超圖小波卷積網(wǎng)絡(luò)，使得卷積網(wǎng)絡(luò)能夠更有效地聚合節(jié)點(diǎn)的鄰居信息，并將信息

傳播到更遠(yuǎn)的節(jié)點(diǎn)，從而獲取更全局的超圖結(jié)構(gòu)信息。

綜上所述，在公開數(shù)據(jù)集Cora、Pumbed、Citeseer和DBLP上的實(shí)驗(yàn)結(jié)果表明，相較于基線模型，DHGWNN模型在節(jié)點(diǎn)分類準(zhǔn)確性中取得了最優(yōu)結(jié)果，驗(yàn)證了該模型的有效性。

4.4.2 F1得分與模型訓(xùn)練時間

為了能夠更好地評估DHGWNN模型的性能，還與HGNN對比了F1得分及模型的運(yùn)行時間。

F1得分結(jié)果如表3所示，從表中可以看出，DHGWNN模型在各個數(shù)據(jù)集上的macro-F1和micro-F1得分都要比HGNN模型高。因?yàn)樵诔瑘D動態(tài)構(gòu)建中加入的k-Hop方法可以同時獲得鄰居的信息、鄰居的鄰居信息，使得超圖不僅更全面地描述了節(jié)點(diǎn)之間的關(guān)系，還能夠獲得更多的鄰居節(jié)點(diǎn)信息，與k-NN方法獲得的鄰居信息互補(bǔ)，有利于發(fā)現(xiàn)節(jié)點(diǎn)的相似性。表3的實(shí)驗(yàn)結(jié)果也驗(yàn)證了DHGWNN模型捕獲節(jié)點(diǎn)信息的能力更強(qiáng)，節(jié)點(diǎn)分類的效果更好。

圖5展示了DHGWNN和DHGNN模型分別在四個實(shí)驗(yàn)數(shù)據(jù)集上的訓(xùn)練時間。DHGNN模型為將本文DHGWNN模型中的超圖小波卷積網(wǎng)絡(luò)替換為文獻(xiàn)［13］中提出的超圖卷積網(wǎng)絡(luò)，其他模塊與本文提出的模型保持一致。訓(xùn)練過程中兩種模型的神經(jīng)網(wǎng)絡(luò)層數(shù)都設(shè)置為2。從圖中可知，DHGWNN模型在四個數(shù)據(jù)集上的訓(xùn)練時間均少于DHGNN模型，驗(yàn)證了DHGWNN模型使用的超圖小波卷積網(wǎng)絡(luò)能夠更快地完成卷積操作。通過使用超圖上的小波變換構(gòu)建的超圖小波卷積網(wǎng)絡(luò)，可通過快速算法獲得，不需要進(jìn)行正反傅里葉變換，節(jié)省時間。此外，小波變換是稀疏的計算，計算效率比傅里葉變換高。

綜上，DHGWNN模型的節(jié)點(diǎn)分類準(zhǔn)確率、F1得分、模型訓(xùn)練時間均優(yōu)于其他基線模型。

4.5 消融實(shí)驗(yàn)

本節(jié)將通過消融實(shí)驗(yàn)來驗(yàn)證DHGWNN超圖動態(tài)構(gòu)建模塊和超圖小波卷積網(wǎng)絡(luò)的有效性，其結(jié)果如表4所示。w/o DHG表示只使用超圖小波卷積網(wǎng)絡(luò)在數(shù)據(jù)集上進(jìn)行分類，w/o HGWNN表示去除超圖小波卷積網(wǎng)絡(luò)只使用動態(tài)構(gòu)建模塊進(jìn)行節(jié)點(diǎn)分類實(shí)驗(yàn)。

從表4可見，DHGWNN模型的半監(jiān)督超圖節(jié)點(diǎn)分類性能優(yōu)于單獨(dú)使用超圖動態(tài)構(gòu)建模塊或超圖小波卷積網(wǎng)絡(luò)的模型。這驗(yàn)證了使用超圖動態(tài)構(gòu)建模塊可以發(fā)現(xiàn)更多的隱藏高階關(guān)系，且使用超圖小波卷積網(wǎng)絡(luò)能夠?qū)ο蟮木植刻卣鬟M(jìn)行更好地捕捉。將超圖動態(tài)構(gòu)建方法和超圖小波卷積網(wǎng)絡(luò)相結(jié)合，兩者相輔相成、相互促進(jìn)，可挖掘出更多隱藏高階關(guān)系，提高了半監(jiān)督超圖節(jié)點(diǎn)分類的準(zhǔn)確率。

4.6 參數(shù)分析

為了探究動態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)的層數(shù)對超圖半監(jiān)督節(jié)點(diǎn)分類效果的影響，在Pumbed和Citeseer數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6所示。

從圖6可見，隨著超圖小波卷積網(wǎng)絡(luò)層數(shù)的增加，本文模型的分類準(zhǔn)確率先增加后下降。因?yàn)楫?dāng)動態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)層數(shù)較少時，增加模型層數(shù)能夠有效提取節(jié)點(diǎn)之間的高階關(guān)系，從而提高節(jié)點(diǎn)嵌入質(zhì)量，但持續(xù)增加模型層數(shù)，可能會出現(xiàn)梯度消失或者是過擬合的情況，使得模型難以得到優(yōu)化和調(diào)整，從而導(dǎo)致分類準(zhǔn)確率開始出現(xiàn)不同程度的下降。

4.7 案例分析

本節(jié)進(jìn)行案例實(shí)驗(yàn)與分析。從數(shù)據(jù)集Cora中選取多個經(jīng)典案例進(jìn)行實(shí)驗(yàn)評估，實(shí)驗(yàn)結(jié)果如表5所示。表5中第1列是各種測試案例；第2、3列中數(shù)字表示對于不同模型，在測試案例中模型預(yù)測論文正確類別的概率排名結(jié)果，其直觀反映出模型預(yù)測論文類別的準(zhǔn)確率。已知11 148、35 922、30 901號論文的ground truth類標(biāo)簽分別是rule_learning、probabilistic_methods、theory。

以（11148， belong to， ？， 25413， 193354， 1131719）案例為例，其中編號為11148的論文ground truth類標(biāo)簽為rule_lear-ning，問號代表待模型預(yù)測的論文類別，問號后的數(shù)字表示11148號論文引用的論文編號。該案例在DHGWNN模型中，正確論文類別“rule_learning”的預(yù)測排名是第1；而在HGNN+模型中，其排名為第5。實(shí)驗(yàn)結(jié)果表明，對于未出現(xiàn)在訓(xùn)練樣本中的測試論文，DHGWNN模型節(jié)點(diǎn)分類的準(zhǔn)確性高于其他基線模型，這再次驗(yàn)證了DHGWNN模型的有效性。

5 結(jié)束語

本文提出了一種新的動態(tài)超圖小波神經(jīng)網(wǎng)絡(luò)DHGWNN，解決半監(jiān)督超圖節(jié)點(diǎn)分類問題。與目前最優(yōu)方法相比，DHGWNN模型提出了一種新的超圖動態(tài)構(gòu)建方法，根據(jù)神經(jīng)網(wǎng)絡(luò)處理后的節(jié)點(diǎn)特征動態(tài)調(diào)整超圖結(jié)構(gòu)，挖掘節(jié)點(diǎn)之間更多隱藏的高階關(guān)系。為了降低模型訓(xùn)練的時間復(fù)雜度，本文提出了一種超圖小波卷積網(wǎng)絡(luò)，依靠小波變換相較于傅里葉變換稀疏易于計算的優(yōu)勢，可以減少卷積網(wǎng)絡(luò)的時間復(fù)雜度，進(jìn)而減少模型的訓(xùn)練時間。在四個公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的半監(jiān)督節(jié)點(diǎn)分類模型優(yōu)于其他基線模型。未來的工作將研究在不影響模型性能的前提下，通過對注意力機(jī)制進(jìn)行優(yōu)化，進(jìn)一步降低模型訓(xùn)練的時間復(fù)雜度和加快超圖動態(tài)構(gòu)建方法構(gòu)建新超圖的時間。

參考文獻(xiàn)：

［1］Antonio P， Gianvito P， Domenico R， et al. SAIRUS： spatially-aware identification of risky users in social networks ［J］. Information Fusion， 2023， 92： 435-449.

［2］吳相帥， 孫福振， 張文龍， 等. 基于圖注意力的異構(gòu)圖社交推薦網(wǎng)絡(luò) ［J］. 計算機(jī)應(yīng)用研究， 2023， 40（10）： 3076-3081， 3106. （Wu Xiangshuai， Sun Fuzhen， Zhang Wenlong， et al. GAT based heterogeneous graph neural network for social recommendation ［J］. Application Research of Computers， 2023， 40（10）： 3076-3081， 3106.）

［3］Su Yuhang， Gu Yu， Wang Zhigang， et al. Efficient subhypergraph matching based on hyperedge features ［J］. IEEE Trans on Know-ledge and Data Engineering， 2023， 35（6）： 5808-5822.

［4］Huang Yufei， Li Siyan， Wu Lirong， et al. Protein 3D graph structure learning for robust structure-based protein property prediction ［C］// Proc of the 38th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2024： 12662-12670.

［5］Wei Zhou， Xia Zhiwu， Dou Peng， et al. Double attention based on graph attention network for image multi-label classification ［J］. ACM Trans on Multimedia Computing Communications and Applications， 2023， 19（1）： 1-28.

［6］Kipf N T， Welling M. Semi-supervised classification with graph con-volutional networks ［EB/OL］ （2016） ［2017-02-22］. https：//arxiv. org/abs/1609. 02907.

［7］Velickovic P， Cucurull G， Casanova A， et al. Graph attention networks ［EB/OL］ （2017） ［2018-02-04］. https：//arxiv. org/abs/1710. 10903.

［8］Hamilton W， Ying R， Leskovec J. Inductive representation learning on large graphs ［C］// Proc of the 31st Neural Information Processing Systems. San Diego： NIPS Foundation， 2017： 1024-1034.

［9］Wang Hangwei， Wang Jia， Wang Jialin， et al. GraphGAN： graph representation learning with generative adversarial nets ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 2508-2515.

［10］Agarwal S， Branson K， Belongie S. Higher order learning with graphs ［C］// Proc of the 23rd International Conference on Machine Lear-ning. New York： ICML Press， 2006： 17-24.

［11］Berge C. Hypergraphs： combinatorics of finite sets ［M］. New York： Elsevier Science amp; Technology Books， 1984.

［12］Zhou Dengyong， Huang Jiayuan， Schlkopf B. Learning with hyper-graphs： clustering， classification， and embedding ［C］// Proc of the 20th Neural Information Processing Systems. San Diego： NIPS Foundation， 2006： 1601-1608.

［13］Feng Yifan， You Haoxuan， Zhang Zizhao， et al. Hypergraph neural networks ［C］// Proc of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3558-3565.

［14］Wu Hanrui， NG M K. Hypergraph convolution on nodes-hyperedges network for semi-supervised node classification ［J］. ACM Trans on Knowledge Discovery from Data， 2022， 16（4）： 1-19.

［15］陳東洋， 郭進(jìn)利. 基于圖注意力的高階網(wǎng)絡(luò)節(jié)點(diǎn)分類方法 ［J］. 計算機(jī)應(yīng)用研究， 2023， 40（4）： 1095-1100， 1136. （Chen Dong-yang， Guo Jinli. Node classification method of higher order network based on graph attention ［J］. Application Research of Compu-ters， 2023， 40（4）： 1095-1100， 1136.）

［16］Yadati N， Nimishakavi M， Yadav P， et al. HyperGCN： a new method of training graph convolutional networks on hypergraphs ［C］// Proc of the 33rd Neural Information Processing Systems. San Diego： NIPS Foundation， 2019： 1511-1522.

［17］Bai Song， Zhang Feihu， Torr P H S. Hypergraph convolution and hypergraph attention ［J］. Pattern Recognition， 2021， 110： 107637.

［18］吳越， 王英， 王鑫，等. 基于超圖卷積的異質(zhì)網(wǎng)絡(luò)半監(jiān)督節(jié)點(diǎn)分類 ［J］. 計算機(jī)學(xué)報， 2021， 44（11）： 2248-2260. （Wu Yue， Wang Ying， Wang Xin， et al. Motif-based hypergraph convolution network for semi-supervised node classification on heterogeneous graph ［J］. Chinese Journal of Computers， 2021， 44（11）： 2248-2260.）

［19］Jiang Jianwen， Wei Yuxuan， Feng Yifan， et al. Dynamic hypergraph neural networks ［C］// Proc of the 28th International Joint Conference on Artificial Intelligence. San Francisco： Morgan Kaufmann， 2019： 2635-2641.

［20］Gao Yue， Feng Yifan， Ji Shuyi， et al. HGNN+： general hypergraph neural networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2023， 45（3）： 3181-3199.

［21］Perozzi B， Al-Rfou R， Skiena S. DeepWalk： online learning of social representations ［C］// Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2014： 701-710.

［22］Grover A， Leskovec J. node2vec： scalable feature learning for networks ［C］// Proc of the 22nd ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining. New York： ACM Press， 2016： 855-864.

［23］馬帥， 劉建偉， 左信. 圖神經(jīng)網(wǎng)絡(luò)綜述 ［J］. 計算機(jī)研究與發(fā)展， 2022， 59（1）： 47-80. （Ma Shuai， Liu Jianwei， Zuo Xin. Survey on graph neural network ［J］. Journal of Computer Research and Development， 2022， 59（1）： 47-80.）

［24］Defferrard M， Bresson X， Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering ［C］// Proc of the 30th Neural Information Processing Systems. San Diego： NIPS Foundation， 2016： 3844-3852.

［25］Li Mengran， Zhang Yong， Li Xiaoyong， et al. Hypergraph transformer neural networks ［J］. ACM Trans on Knowledge Discovery from Data， 2023， 17（5）： 1-22.

［26］Gu Yu， Yu Laiqiang， Song Zhen， et al. Distributed hypergraph processing using intersection graphs ［J］. IEEE Trans on Knowledge and Data Engineering， 2022， 34（7）： 3182-3195.