柏 玉,宋 敏，劉士虎，唐 軼，楊昔陽(yáng)

(1.云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，云南 昆明 650504;2.泉州師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 泉州 362000)

圖數(shù)據(jù)作為一種通用語(yǔ)言，用于建模結(jié)構(gòu)化和關(guān)系數(shù)據(jù)，例如社交網(wǎng)絡(luò)、點(diǎn)云和交通網(wǎng)絡(luò).近年來(lái)，許多研究關(guān)注于開(kāi)發(fā)圖數(shù)據(jù)的深度學(xué)習(xí)方法，導(dǎo)致了圖神經(jīng)網(wǎng)絡(luò)(graph neural networks, GNNs)領(lǐng)域的快速發(fā)展.GCNs是一種常用而高效的GNNs方法，其在半監(jiān)督節(jié)點(diǎn)分類(lèi)[1]、推薦系統(tǒng)[2]和鏈接預(yù)測(cè)[3]等任務(wù)上取得了很大的成功.GCNs主要有2種方法，即基于譜域的方法和基于空間的方法. 然而，由于其簡(jiǎn)單性、較低的計(jì)算成本和對(duì)大型圖更好的可擴(kuò)展性，基于空間的方法最近變得越來(lái)越流行.遵循空間方法的 GCNs模型的操作可以表示為2個(gè)階段，即消息傳遞階段和讀出階段.在消息傳遞階段，圖中的一個(gè)節(jié)點(diǎn)從它的鄰居接收消息，其中每個(gè)消息都是從一個(gè)鄰居節(jié)點(diǎn)的特征或連接到該節(jié)點(diǎn)的邊的特征計(jì)算出來(lái)的.在消息傳遞階段經(jīng)常執(zhí)行的兩個(gè)步驟是聚合和更新步驟.在聚合步驟中，節(jié)點(diǎn)通過(guò)執(zhí)行加權(quán)求和操作.在更新步驟中，將對(duì)聚合的消息應(yīng)用非線性轉(zhuǎn)換，以生成更新的節(jié)點(diǎn)表示.在GCNs模型中，消息傳遞階段通常使用圖卷積層來(lái)實(shí)現(xiàn).通過(guò)疊加多個(gè)圖卷積層，可以建立一個(gè)深度GCNs模型，并允許在相隔不止一跳的節(jié)點(diǎn)之間傳遞消息，以及通過(guò)一系列非線性轉(zhuǎn)換學(xué)習(xí)抽象的中間節(jié)點(diǎn)嵌入.在讀出階段，學(xué)習(xí)到的節(jié)點(diǎn)嵌入被轉(zhuǎn)換為節(jié)點(diǎn)或整個(gè)圖的最終表示.然后將這些表示提供給分類(lèi)器，根據(jù)下游任務(wù)產(chǎn)生合適的輸出.

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNNs) 在許多領(lǐng)域中都取得了優(yōu)越的性能， CNNs的成功受益于它們能夠設(shè)計(jì)和訓(xùn)練一個(gè)深層的網(wǎng)絡(luò)模型.受此啟發(fā)，研究者們可能期望通過(guò)堆疊更多的圖卷積層，使GCNs具有更好的表現(xiàn)力來(lái)表征更豐富的鄰居拓?fù)?而構(gòu)建深層并有表達(dá)性的GCNs并不容易實(shí)現(xiàn).這是因?yàn)樯顚覩CNs實(shí)際上受到了主要由過(guò)平滑[4]引起的表達(dá)能力的損害，該問(wèn)題指出，重復(fù)使用圖卷積使不同類(lèi)的節(jié)點(diǎn)表示無(wú)法區(qū)分.

構(gòu)建深層GCNs的嘗試可以追溯到GCN模型[1]，其應(yīng)用了殘差機(jī)制.出乎意料的是，當(dāng)深度為3層及以上時(shí)，殘差GCN的表現(xiàn)仍然較差.文獻(xiàn)[4]首先指出了構(gòu)建深層網(wǎng)絡(luò)的主要困難在于過(guò)平滑，但遺憾的是，他們未提出解決這個(gè)問(wèn)題的方法.后續(xù)研究[5]通過(guò)使用個(gè)性化的PageRank解決了過(guò)平滑問(wèn)題，該P(yáng)ageRank還將根節(jié)點(diǎn)加入到消息傳遞循環(huán)中.文獻(xiàn)[6]提出了寬度拓展的方法，即采用多階近鄰連接和序列化連接來(lái)緩解深層GCNs的過(guò)平滑現(xiàn)象.文獻(xiàn)[7]采用密集連接進(jìn)行多跳消息傳遞，用于構(gòu)建深層GCNs.最近,文獻(xiàn)[8]通過(guò)首先將表示轉(zhuǎn)換與傳播解耦，利用自適應(yīng)調(diào)整機(jī)制來(lái)平衡每個(gè)節(jié)點(diǎn)的局部和全局鄰居之間的信息來(lái)改進(jìn)GCNs的體系結(jié)構(gòu).文獻(xiàn)[9]從理論上證明了深層GCNs的節(jié)點(diǎn)特征會(huì)收斂到子空間而導(dǎo)致信息丟失，通過(guò)考慮ReLu函數(shù)和卷積濾波器，推廣了文獻(xiàn)[4]中的結(jié)論.文獻(xiàn)[10]提出了DropEdge的方法，可以將其視為消息傳遞減速器，應(yīng)用該方法可以去除某些邊使得節(jié)點(diǎn)連接更加稀疏，從而在一定程度上避免了深層GCNs存在的過(guò)平滑問(wèn)題.文獻(xiàn)[11]在文獻(xiàn)[4]結(jié)論的基礎(chǔ)上開(kāi)發(fā)了一種過(guò)平滑度量，并提出了一種基于監(jiān)督優(yōu)化的方法來(lái)緩解過(guò)平滑.最近其他一些防止過(guò)度平滑的研究采用激活歸一化[12]和雙殘留連接[13]，它們與文獻(xiàn)[10]中的DropEdge是互補(bǔ)的.最近的一種方法[14]將殘差層、密集連接和膨脹卷積納入GCNs, 以促進(jìn)深層結(jié)構(gòu)的發(fā)展.然而，該模型的目標(biāo)是圖分類(lèi)，其中沒(méi)有討論過(guò)平滑.

1 預(yù)備知識(shí)

為了行文簡(jiǎn)潔及后文敘述的需要，這里給出文中要用到的一些基本知識(shí)的相關(guān)數(shù)學(xué)表示.

1.1 符號(hào)

設(shè)G=(V,E)表示無(wú)權(quán)無(wú)向圖，其中V是節(jié)點(diǎn)的集合，E?V×V是V中節(jié)點(diǎn)之間的邊的集合，|V|=n和|E|=m分別是節(jié)點(diǎn)數(shù)和邊數(shù).整個(gè)圖的拓?fù)湫畔⒂舌徑泳仃嘇∈Rn×n描述，其具有如下性質(zhì):

用D=diag(d1,d2,…,dn)∈Rn×n表示圖G的節(jié)點(diǎn)對(duì)角度矩陣，其中du=∑vA(u,v)，其矩陣形式為

節(jié)點(diǎn)特征矩陣表示為X∈Rn×d, 其中每行xv∈Rd表示節(jié)點(diǎn)v的特征向量，d是節(jié)點(diǎn)特征的維數(shù).X也可使用矩陣的形式表示

1.2 圖卷積運(yùn)算

大多數(shù)GCNs中的圖卷積運(yùn)算遵循鄰域聚合方式[16]，通過(guò)傳播其鄰居的表示并在此之后應(yīng)用變換來(lái)學(xué)習(xí)節(jié)點(diǎn)表示.一般圖卷積運(yùn)算的第l層可以描述為

(1)

不失一般性，在下面的分析中重點(diǎn)討論GCN模型，這是最具代表性的圖卷積運(yùn)算. 每個(gè)GCN層(GCN Layer, GCL)定義為:

(2)

一般來(lái)說(shuō)，GCN模型中的2層可以得到很好的效果.兩層時(shí)，GCN模型可簡(jiǎn)化為

Z=Softmax(σ(XW(0))W(1)).

(3)

采用GCN分類(lèi)模型，驗(yàn)證文中的方法在緩解該模型加深時(shí)存在的過(guò)平滑現(xiàn)象上的有效性，從而提高了其在半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)上的性能.

1.3 半監(jiān)督節(jié)點(diǎn)分類(lèi)

半監(jiān)督節(jié)點(diǎn)分類(lèi)在訓(xùn)練階段同時(shí)包含有標(biāo)簽的節(jié)點(diǎn)和無(wú)標(biāo)簽的節(jié)點(diǎn)，通常無(wú)標(biāo)簽節(jié)點(diǎn)遠(yuǎn)遠(yuǎn)多于有標(biāo)簽節(jié)點(diǎn)，與使用所有有標(biāo)簽節(jié)點(diǎn)的模型相比，其訓(xùn)練成本更低且效果更好.具體地，對(duì)于圖G=(V,E),VL表示z(0

2 深層GCNs模型的實(shí)證分析

在本節(jié)中，目的是驗(yàn)證深層GCNs性能下降的主要原因是過(guò)平滑.為此，首先引入一個(gè)平滑度的定量度量來(lái)度量圖節(jié)點(diǎn)表示的平滑性.然后，利用這一指標(biāo)以及Zachary空手道俱樂(lè)部數(shù)據(jù)集來(lái)驗(yàn)證過(guò)平滑是影響更深層的GCNs模型性能下降的主要因素.

2.1 平滑度的定量度量

眾所周知，平滑度是反映節(jié)點(diǎn)表示的相似性的指標(biāo).由于歐氏距離是一種簡(jiǎn)單而有效的度量節(jié)點(diǎn)表示的相似性的方法，特別是在高維空間中，首先用歐式距離表示節(jié)點(diǎn)u和節(jié)點(diǎn)v的表示之間的相似性度量

(4)

其中xu為節(jié)點(diǎn)u的特征表示，‖·‖為歐氏范數(shù).歐式距離值越小，表示的相似性越高.為了消除特征表示大小的影響，我們使用歸一化節(jié)點(diǎn)表示來(lái)計(jì)算它們的歐氏距離，從而將D(xu,xv)限制在[0,1]的范圍內(nèi).

基于公式(4)中的相似性度量，提出節(jié)點(diǎn)u的平滑度度量QMSu(quantitative metric for smoothness),用于計(jì)算節(jié)點(diǎn)u到其他節(jié)點(diǎn)的平均距離

(5)

其中，n為圖G中的節(jié)點(diǎn)數(shù).因此，QMSu度量節(jié)點(diǎn)u的表示與整個(gè)圖的相似性.進(jìn)一步，可以使用QMSG來(lái)表示整個(gè)圖G的平滑度度量值.其數(shù)學(xué)表達(dá)式定義為

(6)

這里，QMSG的值越小，則圖G中節(jié)點(diǎn)表示的整體平滑度越高.

2.2 深層的GCNs模型性能下降的原因

基于上述研究，該部分主要探討深層的GCNs性能下降的原因.為此，研究了具有不同層數(shù)的GCN模型，并在Cora數(shù)據(jù)集上對(duì)它們進(jìn)行了評(píng)估.在該數(shù)據(jù)集上對(duì)GCN模型進(jìn)行100次運(yùn)行，使用與文獻(xiàn)[1]相同的數(shù)據(jù)分割方案.

圖1 在Cora上對(duì)不同GCN層數(shù)的節(jié)點(diǎn)表示的測(cè)試精度和平滑度度量值

在Cora數(shù)據(jù)集上的結(jié)果如圖1所示.可以觀察到，模型深度為2層時(shí)測(cè)試精度是最高的，但從3層開(kāi)始精度隨著層數(shù)的增加而減小.同時(shí)不難發(fā)現(xiàn)，GCN的平滑度度量值隨著其層數(shù)的增加而變小.說(shuō)明不同GCN層數(shù)所導(dǎo)出的不同標(biāo)簽的節(jié)點(diǎn)表示變得難以分離，整個(gè)圖的表示不可避免地出現(xiàn)了過(guò)平滑現(xiàn)象.

除了從定量的角度使用上述度量外，還采用Zachary空手道俱樂(lè)部數(shù)據(jù)集的可視化說(shuō)明這一點(diǎn)，該數(shù)據(jù)集被分為2個(gè)類(lèi)別，有34個(gè)頂點(diǎn)和78條邊.在這里，GCN未經(jīng)過(guò)訓(xùn)練，其權(quán)重參數(shù)是隨機(jī)初始化的，隱藏層的維數(shù)為16，輸出層的維數(shù)為2.在這個(gè)數(shù)據(jù)集上應(yīng)用具有不同層數(shù)的GCN模型，不同層的GCN模型的輸出在圖2中被繪制為二維平面上的點(diǎn).通過(guò)圖2,可以觀察到不同層數(shù)的GCN模型對(duì)這個(gè)小數(shù)據(jù)集的影響.當(dāng)GCN模型的層數(shù)為1層時(shí)，這些點(diǎn)沒(méi)有很好地分離(圖2a).當(dāng)應(yīng)用2層圖卷積時(shí)，來(lái)自2個(gè)類(lèi)別的點(diǎn)被相對(duì)較好地分離(圖2b).而應(yīng)用多個(gè)圖卷積層時(shí)，這些點(diǎn)很快發(fā)生了混合，生成的節(jié)點(diǎn)表示很難分離(圖2c、d、e、f).

圖2 不同層數(shù)的GCN在Zachary空手道俱樂(lè)部網(wǎng)絡(luò)上的頂點(diǎn)嵌入

3 從拓?fù)涞慕嵌染徑膺^(guò)平滑問(wèn)題

在GCNs中，相鄰節(jié)點(diǎn)間的消息傳遞是通過(guò)連接2個(gè)節(jié)點(diǎn)之間的邊來(lái)實(shí)現(xiàn)的，用DropEdge技術(shù)隨機(jī)刪除掉一些邊就可以讓節(jié)點(diǎn)連接更加稀疏.與此同時(shí)，GCNs具有局部連接的特點(diǎn)，而混合階傳播能夠包含更多的局部信息.它們能夠在一定程度上避免深層GCNs存在的過(guò)平滑問(wèn)題.因此，我們提出了一種DropEdge技術(shù)和混合階傳播結(jié)合的方法，從拓?fù)涞慕嵌葋?lái)緩解過(guò)平滑問(wèn)題(relieving over-smoothing problem from the topological view, ROPTV).在本節(jié)中，首先解釋DropEdge技術(shù)和混合階傳播結(jié)合的方法如何緩解GCNs的過(guò)平滑問(wèn)題.然后，將緩解了過(guò)平滑現(xiàn)象的深層GCNs用于半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)，預(yù)測(cè)未標(biāo)記節(jié)點(diǎn)的標(biāo)簽.

3.1 DropEdge技術(shù)和混合階傳播結(jié)合的方法

DropEdge是一種簡(jiǎn)單而有效的技術(shù)，尤其是在緩解深層GCNs存在的過(guò)平滑現(xiàn)象方面.每次訓(xùn)練時(shí)，DropEdge技術(shù)會(huì)隨機(jī)刪除原始圖中固定比例的邊.由于文中遵循文獻(xiàn)[1]中對(duì)鄰接矩陣進(jìn)行重歸一化技巧的思想，所以該技術(shù)是在對(duì)稱(chēng)歸一化鄰接矩陣上隨機(jī)選取Vp個(gè)非零元素，然后將它們置為零，其中超參數(shù)p∈[0,1]表示刪除邊的概率.刪除后得到鄰接矩陣DE, 用公式表示為

DE=-′,

(7)

(8)

3.2 半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)

(9)

(10)

(11)

對(duì)于半監(jiān)督多分類(lèi)問(wèn)題，評(píng)估所有有標(biāo)記節(jié)點(diǎn)的交叉熵?fù)p失

(12)

其中yL是具有標(biāo)簽的節(jié)點(diǎn)集合.

針對(duì)文中的研究目的，從拓?fù)涞慕嵌葢?yīng)用DropEdge技術(shù)和混合階傳播結(jié)合的方法來(lái)緩解深層GCNs模型存在的過(guò)平滑現(xiàn)象，將改進(jìn)的更深層的GCNs模型應(yīng)用于半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù).可以將這個(gè)過(guò)程總結(jié)為ROPTV算法.

4 實(shí)驗(yàn)

本節(jié)在3個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集上對(duì)半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)進(jìn)行實(shí)驗(yàn)，以評(píng)估本文提出的ROPTV的優(yōu)越性.首先介紹需使用的數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置.然后將ROPTV與代表2種不同類(lèi)別的8個(gè)深度為2層的GCNs基線進(jìn)行比較，包括6種圖卷積: GCN[1]、 APPNP[5]、 N-GCN[6]、 Dropedge[9]、 GAT[17]、 SGC[18]; 2個(gè)基于采用的GCNs: GraphSAGE[19]和 FastGCN[20].此外，還對(duì)過(guò)平滑問(wèn)題進(jìn)行實(shí)驗(yàn)分析.驗(yàn)證ROPTV在緩解深層GCNs存在的過(guò)平滑現(xiàn)象上的有效性，并能提高其在半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)上的性能.ROPTV算法模型為：

輸出 預(yù)測(cè)Z.

步驟：

3) 執(zhí)行特征轉(zhuǎn)換：由公式(10)來(lái)執(zhí)行特征轉(zhuǎn)換.

4) 由公式(11)來(lái)預(yù)測(cè)節(jié)點(diǎn)類(lèi)別分布.

5) 由公式(12)計(jì)算半監(jiān)督節(jié)點(diǎn)分類(lèi)損失.

4.1 數(shù)據(jù)集

本文對(duì)3個(gè)公開(kāi)的引文網(wǎng)絡(luò)數(shù)據(jù)集Cora, Citeseer和Pubmed[21]進(jìn)行實(shí)驗(yàn)，表2匯總了數(shù)據(jù)集的統(tǒng)計(jì)信息.通過(guò)將科學(xué)論文視為節(jié)點(diǎn)，論文之間的引用視為邊，為這些數(shù)據(jù)集構(gòu)建圖，每個(gè)節(jié)點(diǎn)由從相應(yīng)文檔中提取的詞袋(Bag-of-words)特征向量來(lái)表示.針對(duì)Cora, Citeseer和Pubmed的預(yù)處理腳本是參考文獻(xiàn)[22]的代碼實(shí)現(xiàn)的.在每個(gè)基準(zhǔn)數(shù)據(jù)集上，使用與半監(jiān)督圖學(xué)習(xí)[1,17]完全相同的實(shí)驗(yàn)設(shè)置，例如特征和數(shù)據(jù)分割，并使用100個(gè)隨機(jī)數(shù)種子對(duì)每個(gè)數(shù)據(jù)集上的所有結(jié)果進(jìn)行了100次實(shí)驗(yàn).

4.2 實(shí)驗(yàn)設(shè)置

使用 Pytorch 框架和Pytorch Geometric來(lái)實(shí)現(xiàn)所提出的方法和一些必要的基線，Pytorch Geometric是一個(gè)基于Pytorch構(gòu)建的用于對(duì)不規(guī)則結(jié)構(gòu)化數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的庫(kù). GCN的代碼參考GCN模型的PyTorch版本實(shí)現(xiàn).使用Glorot正態(tài)初始化器來(lái)初始化分類(lèi)器的權(quán)重矩陣，采用Adam優(yōu)化器來(lái)優(yōu)化模型的參數(shù)，并采用基于驗(yàn)證損失的早期停止控制訓(xùn)練周期.另外，只在訓(xùn)練集上使用DropEdge技術(shù)，在驗(yàn)證集和測(cè)試集上不再使用. 對(duì)于GCNs的過(guò)平滑問(wèn)題的實(shí)驗(yàn)，用GCN模型[1]做對(duì)比實(shí)驗(yàn)，將GCN模型和ROPTV模型的層數(shù)l設(shè)置為2到32層不等，而ROPTV模型的傳播步長(zhǎng)k被設(shè)置為2.

表1 基準(zhǔn)數(shù)據(jù)集統(tǒng)計(jì)

所有實(shí)驗(yàn)都是在16GB內(nèi)存大小的11th Gen Intel(R) Core(TM) i5-11300H @ 3.10GHz 3.11 GHz上進(jìn)行的.服務(wù)器操作系統(tǒng)為Windows 10.對(duì)于軟件版本，使用Python3.7.3, PyTorch 1.2.0, NumPy 1.16.4, SciPy 1.3.0.

4.3 實(shí)驗(yàn)結(jié)果總體分析

半監(jiān)督節(jié)點(diǎn)分類(lèi)結(jié)果匯總在表2，其中每一列的最高精度用粗體加下劃線突出顯示.方法顯示在表格的最后一行.

表2 總體分類(lèi)準(zhǔn)確率 %

從表2的頂部可以觀察到，在Cora和Citeseer數(shù)據(jù)集上，ROPTV在所有基線上實(shí)現(xiàn)了較大幅度的超越，在Pubmed數(shù)據(jù)集上表現(xiàn)的不是很好，但是和其他基線差距不大，說(shuō)明文中提出的方法是有效的.具體來(lái)說(shuō)，ROPTV在Cora和Citeseer數(shù)據(jù)集上的精度比GCN分別提高了3.3%和3.6%, 而GCN相比較，GAT的精度分別只提高了1.5%和2.2%.與最近的基于正則化的模型DropEdge相比，所提出的方法實(shí)現(xiàn)了2.0%和1.6%的改進(jìn)，而DropEdge對(duì)GCN的改進(jìn)分別僅為1.3%, 2.0%和0.6%.

此外，與基于節(jié)點(diǎn)采樣的方法——GraphSAGE和FastGCN相比，可以看到ROPTV在Cora, Citeseer和Pubmed數(shù)據(jù)集上的精度都得到了大幅度的提升.具體來(lái)說(shuō)，ROPTV在3個(gè)數(shù)據(jù)集上的精度比GraphSAGE分別提高了5.9%, 6.5%和0.6%, 比FastGCN分別提高了3.4%, 5.1%和0.8%.該方法也被稱(chēng)為DropNode，其對(duì)刪除邊的影響是面向節(jié)點(diǎn)的和間接的.這說(shuō)明本文從拓?fù)浣嵌瘸霭l(fā)，采用面向邊的DropEdge方法，其可以為訓(xùn)練保留所有節(jié)點(diǎn)特征，比DropNode方法表現(xiàn)出了更大的靈活性.

4.4 過(guò)平滑問(wèn)題分析

當(dāng)增加模型層數(shù)時(shí)，許多GCNs面臨過(guò)平滑的問(wèn)題——不同標(biāo)簽的節(jié)點(diǎn)變得難以區(qū)分.通過(guò)使用MADGap[13]來(lái)研究ROPTV是如何緩解這個(gè)現(xiàn)象的.MADGap是衡量節(jié)點(diǎn)表示的過(guò)平滑度的指標(biāo)，MADGap值越小，說(shuō)明節(jié)點(diǎn)表示越難以區(qū)分，因此過(guò)平滑問(wèn)題越嚴(yán)重.具體實(shí)驗(yàn)結(jié)果如圖3所示.

PORTV和GCN模型在Cora數(shù)據(jù)集上的過(guò)平滑現(xiàn)象，分別表示模型的MADGap值和不同層數(shù)的分類(lèi)結(jié)果.可以觀察到，隨著模型層數(shù)加深到32層，GCN的2個(gè)指標(biāo)都顯著下降——MADGap值從70.10%下降到20.3%, 精度從81.5%下降到60.30%.這表明，隨著模型層數(shù)的加深，由于發(fā)生了過(guò)平滑現(xiàn)象，模型性能急劇下降，即半監(jiān)督節(jié)點(diǎn)分類(lèi)的結(jié)果較差.然而，ROPTV方法隨著模型層數(shù)的增加，雖然2個(gè)指標(biāo)都在下降，但在模型加深到10層之前，下降的比較緩慢.并且直到層數(shù)加深到32層時(shí)，ROPTV的MADGap值和分類(lèi)精度遠(yuǎn)高于GCN.這表明，隨著模型層數(shù)的加深，當(dāng)現(xiàn)有的代表性GCN模型非常容易受到過(guò)平滑的影響時(shí)，ROPTV在一定程度上緩解了過(guò)平滑現(xiàn)象，從而提高了深層GCNs在半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)上的性能.

(a)MADGap (b)分類(lèi)結(jié)果圖3 在Cora上的過(guò)平滑現(xiàn)象分析

5 結(jié)語(yǔ)

針對(duì)深層GCNs存在過(guò)平滑現(xiàn)象，從而影響其在半監(jiān)督節(jié)點(diǎn)分類(lèi)任務(wù)上的性能的問(wèn)題，對(duì)GCNs的過(guò)平滑問(wèn)題進(jìn)行了定量的研究.引入了一個(gè)平滑度的定量度量，驗(yàn)證深層GCNs性能下降的主要原因是過(guò)平滑.然后從拓?fù)涞慕嵌瘸霭l(fā)，應(yīng)用DropEdge技術(shù)和混合階傳播結(jié)合的方法來(lái)緩解深層GCNs存在的過(guò)平滑現(xiàn)象.實(shí)驗(yàn)結(jié)果表明，文中提出的方法緩解了深層GCNs模型存在的過(guò)平滑現(xiàn)象，在一定程度上提高了半監(jiān)督節(jié)點(diǎn)分類(lèi)的精度.