楊潔祎 董一鴻 錢江波

（寧波大學(xué)信息科學(xué)與工程學(xué)院 浙江寧波 315211）

（浙江省移動(dòng)網(wǎng)絡(luò)應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室（寧波大學(xué)） 浙江寧波 315211）

（17858878879@163.com）

深度學(xué)習(xí)能夠很好地實(shí)現(xiàn)復(fù)雜問題的學(xué)習(xí)，然而，深度學(xué)習(xí)需要大量帶標(biāo)注的訓(xùn)練數(shù)據(jù)[1].而在現(xiàn)實(shí)場(chǎng)景中，某些類別僅有少量標(biāo)注數(shù)據(jù).與此相反，人類只需通過少量數(shù)據(jù)就能做到快速學(xué)習(xí).受到人類學(xué)習(xí)方式的啟發(fā)[2]，小樣本學(xué)習(xí)（few-shot learning,FSL）[3-5]的概念被提出，即使在僅有少量數(shù)據(jù)或標(biāo)記數(shù)據(jù)的情況下，也能學(xué)習(xí)到具有良好性能的模型.

小樣本學(xué)習(xí)方法包括基于模型微調(diào)、基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)3 類方法[6].基于模型微調(diào)的主要策略是首先使用大規(guī)模數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，然后針對(duì)只有少量訓(xùn)練樣本的特定任務(wù)對(duì)模型進(jìn)行微調(diào).然而該類模型存在過擬合[7]問題，即在實(shí)例不足的情況下無(wú)法建模新任務(wù)的數(shù)據(jù)分布.基于數(shù)據(jù)增強(qiáng)的學(xué)習(xí)旨在應(yīng)用數(shù)據(jù)增強(qiáng)[8]或數(shù)據(jù)混合[9]的技術(shù)來擴(kuò)大訓(xùn)練集.雖然數(shù)據(jù)增強(qiáng)的方法在有限的數(shù)據(jù)狀態(tài)下緩解了過擬合問題，但在擴(kuò)增數(shù)據(jù)的同時(shí)可能引入噪聲數(shù)據(jù)，對(duì)模型效果產(chǎn)生消極影響.基于遷移學(xué)習(xí)的方法是目前較為前沿的方法，可細(xì)分為基于度量學(xué)習(xí)、基于元學(xué)習(xí)（meta-learning,ML）和基于圖神經(jīng)網(wǎng)絡(luò)（graph neural network,GNN）3 類方法[5].基于度量學(xué)習(xí)的方法通過計(jì)算樣本之間的距離，從而根據(jù)有標(biāo)注樣本確定未知樣本類別.但在樣本數(shù)量較少的情況下，這類基于度量的思想使模型效果的提升遇到瓶頸.元學(xué)習(xí)方法的出現(xiàn)使FSL 更靠近人類的學(xué)習(xí)模式，以任務(wù)為訓(xùn)練單位，使模型開始具備學(xué)習(xí)的能力.然而純粹的元學(xué)習(xí)方法復(fù)雜度較高，且忽視了對(duì)FSL 問題中樣本間關(guān)系的探索.圖神經(jīng)網(wǎng)絡(luò)[10]能夠通過消息傳遞機(jī)制迭代地執(zhí)行來自鄰居的特征聚合，因此可以表達(dá)數(shù)據(jù)實(shí)例間的復(fù)雜交互.由于小樣本學(xué)習(xí)算法已被證明需要充分利用支持集和查詢集[11-13]之間的關(guān)系，因此GNN 具有解決FSL問題的巨大潛力.GNN 在節(jié)點(diǎn)分類、圖分類和鏈接預(yù)測(cè)等應(yīng)用中表現(xiàn)出良好的效果和可解釋性[14]，并成為一種廣泛應(yīng)用的圖分析方法[15-16].現(xiàn)今，使用GNN 來解決FSL 問題已逐漸成為國(guó)內(nèi)外的研究熱點(diǎn).基于GNN 的FSL 方法遵循元學(xué)習(xí)的情景訓(xùn)練策略，將任務(wù)視為訓(xùn)練樣本，任務(wù)中的數(shù)據(jù)實(shí)例能構(gòu)成一個(gè)無(wú)向無(wú)環(huán)圖，每個(gè)樣本被視為圖中節(jié)點(diǎn).如何準(zhǔn)確有效地捕獲樣本間的關(guān)系是解決FSL 問題的關(guān)鍵.而GNN 能夠通過在圖上進(jìn)行消息傳遞來聚合更新信息，在僅有少量實(shí)例的任務(wù)中度量樣本間距離并探索樣本間的關(guān)系.因此GNN 被視為一種度量工具在FSL 問題中的廣泛應(yīng)用.

基于GNN 的FSL 方法融合了度量學(xué)習(xí)和元學(xué)習(xí)的優(yōu)點(diǎn)，相較于基于元學(xué)習(xí)的方法，GNN 能夠精準(zhǔn)地捕捉樣本的類間和類內(nèi)關(guān)系.相較于基于度量學(xué)習(xí)的方法，GNN 模型能夠挖掘節(jié)點(diǎn)間的潛在關(guān)系，從而提升模型性能.基于GNN 的FSL 方法在FSL 圖像分類、文本分類[17-19]、視頻分類[20]、疾病診斷[21]和疾病的相似性[22]等研究領(lǐng)域取得了一定的進(jìn)展.基于GNN 的FSL 方法旨在利用GNN 能夠在圖上傳播信息的特點(diǎn)，構(gòu)建不同的特征信息并在圖上傳播，利用更新后的特征信息完成下游任務(wù).

研究人員對(duì)FSL 和GNN 的相關(guān)工作分別進(jìn)行了總結(jié).文獻(xiàn)[6,23]從不同的角度出發(fā)，分別構(gòu)建了不同的FSL 方法劃分體系.這些工作系統(tǒng)地歸納了各類FSL 方法的基本思想，并對(duì)各類FSL 方法中的經(jīng)典模型進(jìn)行了具體分析.文獻(xiàn)[14,24]概括了GNN的不同框架，對(duì)各類GNN 方法進(jìn)行了詳細(xì)介紹，并說明了GNN 在不同實(shí)際場(chǎng)景中的應(yīng)用.GNN 作為近幾年的熱點(diǎn)模型被成功地應(yīng)用于FSL 問題，基于GNN 的FSL 方法較為新穎，且近2 年出現(xiàn)了大量基于GNN 的FSL 方法.然而以往的綜述工作中缺乏對(duì)該類FSL 方法的具體討論與研究，因此本文對(duì)基于GNN 的一系列FSL 方法進(jìn)行深入的研究，對(duì)不同方法進(jìn)行系統(tǒng)分類，并詳細(xì)地闡述了劃分依據(jù)與各類方法的整體思想，主要貢獻(xiàn)有3 點(diǎn)：

1）首次對(duì)基于GNN 的FSL 方法進(jìn)行歸納總結(jié)，并給出了基于GNN 的FSL 范式，該范式明確地闡明了基于GNN 的FSL 目標(biāo)是什么以及如何解決該類問題.這一定義有助于確定基于GNN 的FSL 領(lǐng)域的研究目標(biāo).

2）整理歸納了近幾年涌現(xiàn)的基于GNN 的FSL方法并對(duì)其進(jìn)行系統(tǒng)地分類，首次給出了基于GNN的FSL 的分類方法.總結(jié)了不同類別方法的特點(diǎn)并深入地探討對(duì)比了各類方法的優(yōu)劣勢(shì).

3）基于GNN 的FSL 方法的弱點(diǎn)，提出了基于GNN 的FSL 面臨的挑戰(zhàn)，并給出了其未來可能的探索方向，為解決FSL 問題提供新的解決思路.

1 FSL 的研究進(jìn)展

FSL 領(lǐng)域的研究試圖從有限的標(biāo)記數(shù)據(jù)中提取信息，并對(duì)未知的數(shù)據(jù)做出準(zhǔn)確的預(yù)測(cè).模型微調(diào)的方法是FSL 方法中最直觀且最有效的方法.文獻(xiàn)[25]提供了一種基于模型微調(diào)的方法，該方法通過在再訓(xùn)練階段中采用更低的學(xué)習(xí)率，以及在微調(diào)過程中采用自適應(yīng)的梯度優(yōu)化器來實(shí)現(xiàn)優(yōu)化的目的.為了在微調(diào)階段學(xué)習(xí)到更加適應(yīng)目標(biāo)數(shù)據(jù)域的知識(shí)，文獻(xiàn)[26]將未標(biāo)記的查詢樣本的熵作為正則項(xiàng)加入損失函數(shù)，通過利用無(wú)標(biāo)簽數(shù)據(jù)的信息來緩解可用樣本量不充足的問題.這一類基于微調(diào)的模型較為簡(jiǎn)單，但由于在實(shí)際場(chǎng)景中目標(biāo)數(shù)據(jù)集與源數(shù)據(jù)集分布相差較大，采用模型微調(diào)的方法可能導(dǎo)致模型在目標(biāo)數(shù)據(jù)集上發(fā)生過擬合.

基于數(shù)據(jù)增強(qiáng)方法借助輔助數(shù)據(jù)或輔助信息，對(duì)既有的小樣本數(shù)據(jù)集進(jìn)行擴(kuò)充，以克服FSL 中樣本量不充足的困難.文獻(xiàn)[27]提出的數(shù)據(jù)增強(qiáng)方法結(jié)合了元學(xué)習(xí)的訓(xùn)練策略，該方法通過將現(xiàn)有圖像的一些屬性和特征變化遷移到新樣本上來生成新數(shù)據(jù)圖像，以達(dá)到擴(kuò)充樣本量的目的，并通過端到端聯(lián)合訓(xùn)練的模式生成模型和分類算法.文獻(xiàn)[28]提出了一種特征遷移網(wǎng)絡(luò)，用于描述物體姿態(tài)變化引起的運(yùn)動(dòng)軌跡變化.該網(wǎng)絡(luò)通過對(duì)數(shù)據(jù)樣本的特征進(jìn)行增強(qiáng)，即用物體的運(yùn)動(dòng)軌跡特征來擴(kuò)充原有的物體姿態(tài)特征，以此達(dá)到數(shù)據(jù)增強(qiáng)的目的.文獻(xiàn)[29]提出了一種新的特征增強(qiáng)網(wǎng)絡(luò)（feature augmentation network,FAN）用于對(duì)小樣本的無(wú)約束掌紋圖像識(shí)別，在缺乏其他外部信息的前提下，F(xiàn)AN 可用于減少因無(wú)約束信息獲取而導(dǎo)致的圖像改變，其目的是解決由于圖像噪聲帶來的模型效果不佳的問題.此外FAN從少數(shù)支持樣本中增強(qiáng)它們的特征表示，即通過對(duì)數(shù)據(jù)特征的強(qiáng)化來達(dá)到數(shù)據(jù)增強(qiáng)的目的.基于數(shù)據(jù)增強(qiáng)的方法在一定程度上解決了僅用少量樣本訓(xùn)練深度學(xué)習(xí)模型所產(chǎn)生的過擬合現(xiàn)象，但由于數(shù)據(jù)增強(qiáng)方法生成的數(shù)據(jù)為虛擬數(shù)據(jù)，生成的數(shù)據(jù)越多引入的噪聲數(shù)據(jù)可能越多，因此模型的性能不隨數(shù)據(jù)量正比增強(qiáng)，導(dǎo)致模型性能在得到了一定的提升后就停留在瓶頸期.

基于遷移學(xué)習(xí)的方法是目前較為前沿的方法.其中基于度量方法的FSL 模型，例如，匹配網(wǎng)絡(luò)[30]結(jié)合了注意力機(jī)制和記憶機(jī)制，并利用情景訓(xùn)練的訓(xùn)練模式，將未標(biāo)記的查詢樣本標(biāo)簽與各個(gè)類中的少量帶標(biāo)記支持樣本的標(biāo)簽進(jìn)行匹配，根據(jù)匹配結(jié)果從而確定未標(biāo)記樣本的標(biāo)簽.原型網(wǎng)絡(luò)[31]則學(xué)習(xí)了一個(gè)判別度量空間，通過計(jì)算查詢樣本和每個(gè)類的原型表示之間的距離來進(jìn)行分類，每個(gè)類的原型表示通過計(jì)算該類支持樣本的均值得到.文獻(xiàn)[32]利用協(xié)方差度量網(wǎng)絡(luò)構(gòu)造了一個(gè)嵌入的局部協(xié)方差表示來提取每個(gè)類的2 階統(tǒng)計(jì)信息，并定義了一個(gè)協(xié)方差矩陣來衡量查詢樣本和支持樣本之間分布的一致性.MSML[33]模型提出了一種用于層次度量學(xué)習(xí)的多尺度關(guān)系生成網(wǎng)絡(luò)，該模型中引入了特征金字塔結(jié)構(gòu)，旨在結(jié)合高層語(yǔ)義特征和低層視覺特征，以及提取多尺度特征用于映射生成樣本間的多尺度關(guān)系.元學(xué)習(xí)[34]是一種模仿生物利用先前已有的知識(shí)，迅速學(xué)習(xí)新的未見事物能力的一種學(xué)習(xí)定式.元學(xué)習(xí)的目標(biāo)是使模型能夠利用學(xué)習(xí)到的知識(shí)，快速適應(yīng)未見過的新任務(wù)，這與實(shí)現(xiàn)人工智能的目標(biāo)相契合[35].元學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)前沿的研究框架，被廣泛地應(yīng)用到小樣本學(xué)習(xí)的任務(wù)中.Metalearner LSTM[36]的隨機(jī)梯度下降更新規(guī)則可解釋為一個(gè)帶有可訓(xùn)練參數(shù)的門控遞歸模型學(xué)習(xí)模型參數(shù)的更新規(guī)則.MAML[37]則尋求通過2 階梯度下降來進(jìn)行適當(dāng)?shù)膮?shù)初始化，從而使模型在經(jīng)過幾步梯度下降后能夠獲得更好的泛化能力.不同于深度學(xué)習(xí)模型的目標(biāo)旨在通過梯度下降法得到最優(yōu)的模型參數(shù)，MAML 模型旨在得到能夠從少量的數(shù)據(jù)中進(jìn)行幾步更新就可以得到具有較好分類效果的初始化參數(shù).Meta-SGD[38]在MAML 的基礎(chǔ)上更進(jìn)一步提出在一步內(nèi)學(xué)習(xí)權(quán)重初始化、梯度更新方向和學(xué)習(xí)速率.基于記憶的方法提取在元訓(xùn)練階段獲得的有價(jià)值的知識(shí)以協(xié)助元測(cè)試.表1 總結(jié)了各類FSL 方法的優(yōu)劣勢(shì)，其中基于GNN 的FSL 方法是目前較為前沿且性能最好的一類，然而由于基于GNN 的FSL 是近幾年才興起的，其需要改進(jìn)和發(fā)展的方面還有很多.

Table 1 Comparison of Advantages and Disadvantages of Few-Shot Learning Methods表1 小樣本學(xué)習(xí)方法優(yōu)缺點(diǎn)對(duì)比

2 相關(guān)概念

2.1 符號(hào)說明

為了更好地理解基于GNN 的FSL 模型框架，本節(jié)首先簡(jiǎn)要介紹了相關(guān)的基本概念和專業(yè)術(shù)語(yǔ)，并給出了基于GNN 的FSL 方法的說明范式和一般流程.為行文方便，對(duì)本文使用的符號(hào)進(jìn)行說明，如表2 所示.

Table 2 Symbol Description表2 符號(hào)說明

2.2 基于GNN 的FSL 基本概念

基于GNN 的FSL 遵循元學(xué)習(xí)的情景訓(xùn)練策略[39-40].情景訓(xùn)練的核心思想是構(gòu)造一系列FSL 任務(wù)用于訓(xùn)練，訓(xùn)練目的是使模型能夠快速適應(yīng)并解決類似的新FSL 任務(wù).訓(xùn)練任務(wù)用于訓(xùn)練FSL 模型，相當(dāng)于深度學(xué)習(xí)中的訓(xùn)練樣本；測(cè)試任務(wù)則用于評(píng)估模型性能，即評(píng)估模型在新任務(wù)上的泛化能力.

情景訓(xùn)練將數(shù)據(jù)集劃分為訓(xùn)練集Dbase=和測(cè)試集Cnovel}，其中mbase和mnovel為Dbase和Dnovel中的樣本數(shù)，Cbase和Cnovel分別是Dbase和Dnovel對(duì)應(yīng)的類集合，且Cbase∩Cnovel=?.FSL 旨在Dbase上學(xué)習(xí)一個(gè)模型，該模型能夠很好地推廣到未見過的測(cè)試集Dnovel.情景訓(xùn)練分別在Dbase和Dnovel中采樣一系列的任務(wù)作為FSL框架中的訓(xùn)練樣本和測(cè)試樣本.其中每個(gè)分類任務(wù)由支持集和查詢集構(gòu)成，支持集S由N個(gè)類中抽取的K個(gè)樣本（N-wayK-shot 設(shè)置）構(gòu)成，這些樣本作為標(biāo)記實(shí)例.從同樣的N個(gè)類中抽取另外的H個(gè)樣本作為查詢集這些樣本為待預(yù)測(cè)的未標(biāo)記樣本.

設(shè)p(T) 為任務(wù)T的分布，情景訓(xùn)練從p(T)中采樣一系列訓(xùn)練任務(wù)Ttrain～p(T)作為訓(xùn)練階段樣本，對(duì)于訓(xùn)練任務(wù)Ttrain在特定于該任務(wù)的N個(gè)類的部分?jǐn)?shù)據(jù)上操作，為這N個(gè)類的集合，訓(xùn)練任務(wù)中的支持集和查詢集均來自每個(gè)任務(wù)中的數(shù)據(jù)采樣如圖1 所示.

Fig.1 ?llustration of task data setup圖1 任務(wù)數(shù)據(jù)設(shè)置示意圖

基于GNN 的FSL 通常將GNN 作為分類器或特征適應(yīng)模塊，調(diào)整特征嵌入后再分類，GNN 模型在整體訓(xùn)練過程中相當(dāng)于元模型，所有任務(wù)的GNN 模型共享元參數(shù).

基于GNN 的FSL 方法通常將每個(gè)任務(wù)中的支持樣本和查詢樣本進(jìn)行全連接構(gòu)圖，構(gòu)建得到的圖輸入到元GNN 模塊中.其目的是基于節(jié)點(diǎn)分類的基本思想，利用GNN 對(duì)查詢樣本進(jìn)行分類，即可得到每個(gè)任務(wù)中查詢樣本的預(yù)測(cè)結(jié)果.最終通過計(jì)算預(yù)測(cè)結(jié)果與觀測(cè)結(jié)果的分類損失來更新元GNN 模型中的模型參數(shù) θ.如圖2 所示為基于GNN 的FSL 方法中，GNN 模型的訓(xùn)練思想，其模型參數(shù) θ學(xué)習(xí)目標(biāo)如式（1）所示.

Fig.2 Process of training stage圖2 訓(xùn)練階段流程

在訓(xùn)練過程中，選取使得所有任務(wù)的總損失最小的模型參數(shù)作為元GNN 模型的最優(yōu)參數(shù).其中Lθ(Ttrain) 為模型在任務(wù)Ttrain上的損失函數(shù)，其計(jì)算過程如式（2）所示.

通過計(jì)算訓(xùn)練任務(wù)中查詢樣本的預(yù)測(cè)標(biāo)簽與觀測(cè)標(biāo)簽的交叉熵?fù)p失作為該訓(xùn)練任務(wù)的分類損失，其中為任務(wù)Ttrain中查詢樣本的集合，對(duì)應(yīng)集合中某一查詢樣本，分別表示該樣本的預(yù)測(cè)標(biāo)簽和實(shí)際觀測(cè)標(biāo)簽.基于GNN 的FSL 方法要求在訓(xùn)練任務(wù)上訓(xùn)練得到的模型能夠泛化到測(cè)試任務(wù)Ttest～p(T) 上.測(cè)試任務(wù)中的類CN}∈Cnovel取自與訓(xùn)練任務(wù)類集合Cbase不相交的新類.將訓(xùn)練任務(wù)中的元知識(shí)遷移到測(cè)試任務(wù)上，并在測(cè)試任務(wù)上評(píng)估模型性能.與深度學(xué)習(xí)訓(xùn)練的“樣本”概念類似，情景訓(xùn)練策略采用“任務(wù)”作為訓(xùn)練的基本單位.

在小樣本學(xué)習(xí)中，GNN 作為一個(gè)強(qiáng)大的后處理工具，能夠獲取魯棒的特征表示.

假設(shè)F=(f1,f2,…,fN×K+N×H)∈R(N×K+N×H)×p是分類任務(wù)Ti中支持和查詢樣本經(jīng)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neuaral network，CNN）[41]提取的特征矩陣，其中p為特征維度，fj(j=1,2,…,N×K+N×H) 則為任務(wù)Ti中的某一實(shí)例j的特征向量.給定GNN 的初始特征輸入F0=F及初始 鄰接矩 陣輸入A0=A，GNN 在 隱藏層中按層級(jí)傳播如式（3）所示.

其中l(wèi)=0,1,…,L-1，D=diag(d1,d2,...,dn)為視度矩陣,由計(jì)算得到，σ()通常為激活函數(shù)或可訓(xùn)練的特征轉(zhuǎn)換函數(shù).

基于GNN 的FSL 方法通過利用GNN 挖掘圖上更深入的結(jié)構(gòu)關(guān)系來獲取判別性的樣本表示及更精確的樣本間關(guān)系，預(yù)測(cè)查詢樣本的標(biāo)簽.其預(yù)測(cè)整體過程如圖3 所示.

Fig.3 Basic flow of FSL method based on GNN圖3 基于GNN 的FSL 方法基本流程

經(jīng)特征提取器提取得到的樣本特征通過構(gòu)圖模塊后輸入到GNN 中，節(jié)點(diǎn)、邊等圖中特征通過特征聚合在圖上傳播，以此更新圖中信息.而后，基于更新后的特征信息推理查詢樣本的標(biāo)簽.查詢樣本的最終預(yù)測(cè)結(jié)果如式（4）所示.

其中M為基于GNN 的模型，F(xiàn)S和FQ分別為支持集和查詢集的樣本特征矩陣，YS和分別為支持集中樣本的觀測(cè)標(biāo)簽矩陣和查詢集中樣本的預(yù)測(cè)標(biāo)簽矩陣.

3 基于GNN 的FSL 方法

GNN 能夠自然地適用于FSL，GNN 能夠通過在有限實(shí)例構(gòu)造的圖上進(jìn)行消息傳遞來聚合更新信息，探索樣本間的關(guān)系，并學(xué)習(xí)得到具有代表性的節(jié)點(diǎn)特征表示.GNN 的本質(zhì)是聚合鄰居信息[42]，對(duì)于圖中任意節(jié)點(diǎn)，其特征每更新一次，就聚合了更高一階的鄰居節(jié)點(diǎn)信息.基于GNN 的FSL 方法利用GNN 的這些特點(diǎn)能夠?qū)W習(xí)具有判別性的節(jié)點(diǎn)表示以及探索圖中查詢節(jié)點(diǎn)和支持節(jié)點(diǎn)間豐富的關(guān)系.

根據(jù)模型利用圖上不同粒度級(jí)別的特征進(jìn)行預(yù)測(cè)，將基于GNN 的FSL 問題分為基于節(jié)點(diǎn)特征的方法、基于邊緣特征的方法、基于節(jié)點(diǎn)對(duì)特征的方法和基于類級(jí)特征這4 類方法.

3.1 基于節(jié)點(diǎn)特征的方法

基于節(jié)點(diǎn)特征的方法通常將卷積網(wǎng)絡(luò)提取到的樣本特征與其1 維標(biāo)簽向量進(jìn)行拼接得到節(jié)點(diǎn)特征向量，全連接構(gòu)圖后計(jì)算其鄰接矩陣，輸入到GNN模型，在節(jié)點(diǎn)特征更新的過程中將支持樣本的標(biāo)簽信息傳遞給查詢樣本，最終通過查詢節(jié)點(diǎn)特征確定查詢樣本類別.

GNN-FSL 模型[43]首次提出利用GNN 模型來解決FSL 問題.模型中的節(jié)點(diǎn)嵌入表示其中 φ(xi) 為 卷積網(wǎng)絡(luò)提 取的特征向 量，h(yi)為節(jié)點(diǎn)的one-hot 標(biāo)簽向量.將支持節(jié)點(diǎn)與查詢節(jié)點(diǎn)進(jìn)行全連接構(gòu)圖后，第k層網(wǎng)絡(luò)中節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的邊由式（5）構(gòu)建得到：

其中 φ是由神經(jīng)網(wǎng)絡(luò)參數(shù)化的對(duì)稱函數(shù)，φ可從當(dāng)前節(jié)點(diǎn)的特征表示中學(xué)習(xí)圖的鄰接矩陣，從在2 個(gè)節(jié)點(diǎn)向量的絕對(duì)差異后堆疊多層感知器得到，為可學(xué)習(xí)參數(shù).模型通過GNN 更新節(jié)點(diǎn)嵌入向量，進(jìn)一步更新邊向量，最終利用學(xué)習(xí)到的查詢節(jié)點(diǎn)特征來評(píng)估查詢樣本所屬的類別.其模型框架圖如圖4 所示.GNN-FSL 模型將標(biāo)簽信息編碼為節(jié)點(diǎn)特征的一部分，并利用圖的消息傳遞機(jī)制在圖上進(jìn)行節(jié)點(diǎn)特征的傳播.將支持樣本的標(biāo)簽信息通過信息傳遞的形式編碼進(jìn)與其實(shí)例特征相似的查詢節(jié)點(diǎn)中，因此最終得到的查詢節(jié)點(diǎn)特征中隱含了其可能的類別信息.

Fig.4 The frame diagram of GNN-FSL model [43]圖4 GNN-FSL 模型框架圖[43]

與標(biāo)簽傳播的思想一致，TPN[44]模型直接利用圖卷積（graph convolution network,GCN）顯式地進(jìn)行標(biāo)簽信息的傳播，并在圖卷積過程中融合標(biāo)簽信息.TPN 首次在基于GCN 的FSL 學(xué)習(xí)中明確地建模轉(zhuǎn)導(dǎo)推理[45].在歸納推理[46]中，模型對(duì)每個(gè)查詢樣本獨(dú)立預(yù)測(cè)，利用支持樣本標(biāo)簽推理查詢樣本標(biāo)簽.而在轉(zhuǎn)導(dǎo)推理中可將查詢樣本和支持樣本一起用于推理，能夠同時(shí)對(duì)整個(gè)查詢集進(jìn)行預(yù)測(cè)，而不是獨(dú)立預(yù)測(cè)單個(gè)查詢樣本.

GNN-FSL 和TPN 這2 種基于GNN 的FSL 模型證明了相較于傳統(tǒng)的FSL 方法，GNN 在解決FSL 問題上的優(yōu)越性能.但隨著GNN 層的疊加，模型不可避免地出現(xiàn)了節(jié)點(diǎn)過平滑和過擬合的問題[47].AGNN（attentive GNN）[48]模型引入圖注意力（graph attentive,GAT）[49]機(jī)制來緩解GNN 中的節(jié)點(diǎn)過平滑問題.AGNN 首先通過節(jié)點(diǎn)自注意力機(jī)制更新節(jié)點(diǎn)的樣本特征和標(biāo)簽向量.其次通過引入鄰居節(jié)點(diǎn)注意力機(jī)制來限制參與聚合的鄰居節(jié)點(diǎn)個(gè)數(shù)，通過稀疏性約束構(gòu)建鄰接矩陣，避免由于節(jié)點(diǎn)過度混合而造成節(jié)點(diǎn)特征趨于一致的問題.使用層注意力機(jī)制保留并融合節(jié)點(diǎn)特征的早期“記憶信息”.AGNN 的三重注意力機(jī)制有效地緩解了GNN 的過平滑和過擬合問題.

基于節(jié)點(diǎn)特征的FSL 問題通常只提取一個(gè)模態(tài)的信息作為節(jié)點(diǎn)特征.AMGNN（auto-metric GNN）[21]模型被用于阿爾茲海默癥的診斷，該模型有效地融合多模態(tài)特征作為節(jié)點(diǎn)特征.AMGNN 將樣本的風(fēng)險(xiǎn)因子、認(rèn)知評(píng)分等先驗(yàn)知識(shí)模態(tài)和磁共振成像特征模態(tài)進(jìn)行拼接得到節(jié)點(diǎn)特征，并用樣本的先驗(yàn)知識(shí)計(jì)算邊緣概率矩陣來約束磁共振成像特征計(jì)算得到的鄰接矩陣，從而融合樣本的多模態(tài)信息，將更新后的節(jié)點(diǎn)特征輸入到softmax 層和歸一化層后得到節(jié)點(diǎn)的最終標(biāo)簽.AMGNN 在保證良好分類性能的同時(shí)提高了靈活性，促進(jìn)了GNN 向小樣本的疾病診斷方向的發(fā)展.AMGNN 將多模態(tài)GNN 應(yīng)用于FSL 問題，文獻(xiàn)[50]則提出利用多尺度GNN 來對(duì)任務(wù)建模，該方法首先利用特征提取網(wǎng)絡(luò)提取3 種不同尺度的圖像特征，將不同尺度的特征輸入對(duì)應(yīng)尺度的GNN 網(wǎng)絡(luò)中進(jìn)行特征聚合，最終得到多尺度的預(yù)測(cè)結(jié)果，并用原始特征尺度的預(yù)測(cè)結(jié)果來限制其余2 種尺度的預(yù)測(cè)結(jié)果，從而確保多尺度GNN 預(yù)測(cè)結(jié)果的準(zhǔn)確性.

文獻(xiàn)[21,43-45,48-49]通過拼接樣本特征和標(biāo)簽特征的方法融合了同一節(jié)點(diǎn)的2 種視角信息作為節(jié)點(diǎn)特征，繼而借助GNN 探索樣本節(jié)點(diǎn)之間的關(guān)系.雙模態(tài)超圖小樣本學(xué)習(xí)（dual-modal hypergraph FSL,DMH-FSL）[51]在此基礎(chǔ)上，通過引入超圖卷積[52]的思想，來模擬樣本之間的高階關(guān)系.超圖提供了一種靈活而自然的建模工具來表示樣本間超越成對(duì)的關(guān)系.GCN 中的每條邊只能和2 個(gè)頂點(diǎn)連接；而對(duì)于超圖來說，其超邊可以和任意數(shù)量的頂點(diǎn)連接.每個(gè)邊所包含的頂點(diǎn)數(shù)都是相同且為k時(shí)，該圖被稱為k階超圖.DMH-FSL 首先使用特征模態(tài)超圖構(gòu)造了具有樣本特征的關(guān)聯(lián)矩陣，標(biāo)簽?zāi)B(tài)超圖構(gòu)造了帶有樣本標(biāo)簽的關(guān)聯(lián)矩陣.通過特征和標(biāo)簽2 種模態(tài)來聚合節(jié)點(diǎn)特征嵌入，并利用超圖卷積對(duì)不同模態(tài)的樣本進(jìn)行靈活聚合.

基于節(jié)點(diǎn)特征的方法將節(jié)點(diǎn)特征在圖上傳播，將支持節(jié)點(diǎn)的信息傳遞給查詢節(jié)點(diǎn)，從而確定查詢節(jié)點(diǎn)的類別.該類方法通過拓展原始的GNN 網(wǎng)絡(luò)，使節(jié)點(diǎn)特征信息在圖上高效傳播，獲取具有判別性的節(jié)點(diǎn)嵌入表示，利用最終學(xué)習(xí)到的節(jié)點(diǎn)嵌入確定查詢節(jié)點(diǎn)類別.

3.2 基于邊緣特征的方法

不同于利用節(jié)點(diǎn)特征的方法，利用邊緣特征的方法從另一方面進(jìn)行考慮，對(duì)圖中的邊緣特征進(jìn)行建模，利用邊緣特征表示節(jié)點(diǎn)間的相關(guān)性.相比之下，基于邊緣特征的模型能夠考慮樣本間更豐富的關(guān)系與建模更靈活的信息交互形式.這類方法通常仍采用緊密連接的圖結(jié)構(gòu)，將實(shí)例特征視為節(jié)點(diǎn)特征，通過不同的方法構(gòu)建邊緣初始特征及邊緣更新網(wǎng)絡(luò)，最終利用學(xué)習(xí)到的邊特征表示樣本間的相關(guān)性，從而對(duì)未標(biāo)記樣本進(jìn)行分類.

文獻(xiàn)[53]提出的EGNN 模型由多個(gè)層組成，其中每一層都由1 個(gè)節(jié)點(diǎn)更新塊和1 個(gè)邊緣更新塊組成.EGNN 首先初始化邊緣特征，使用2 維的邊特征向量，其中第1 維表示相連的2 個(gè)節(jié)點(diǎn)屬于同一類的概率，即節(jié)點(diǎn)間相似性，第2 維表示相連的2 個(gè)節(jié)點(diǎn)不屬于同一類的概率即節(jié)點(diǎn)間差異性.如式（6）所示：

該邊向量作為注意力權(quán)重聚合對(duì)應(yīng)的鄰居節(jié)點(diǎn)特征，得到更新后的節(jié)點(diǎn)向量.使用可訓(xùn)練函數(shù)度量節(jié)點(diǎn)間的相似度和不相似度，分別作為自注意力系數(shù)更新邊緣特征中第1 維和第2 維的值，以此更新邊緣特征.查詢樣本標(biāo)簽的預(yù)測(cè)則利用其最終的邊緣特征與邊相連的支持節(jié)點(diǎn)來確定.圖5 為EGNN 的整體框架圖，其中邊緣特征的強(qiáng)度用正方形中的顏色深度表示.盡管每條邊都有2 維特征，但為了簡(jiǎn)單起見，圖5 中只描述了第1 個(gè)維度.EGNN 模型在小樣本圖像分類數(shù)據(jù)集上的優(yōu)越性能證明了該模型的有效性.EGNN-FSL[54]模型將EGNN 模型應(yīng)用于高光譜圖像（hyperspectral image,HS?）分類問題中，對(duì)HS? 中像素之間的關(guān)聯(lián)進(jìn)行明確地考慮和探索，特別是像素之間的類內(nèi)關(guān)聯(lián)和類間關(guān)聯(lián).EGNN 模型在進(jìn)行節(jié)點(diǎn)和邊緣特征更新時(shí)，同時(shí)將節(jié)點(diǎn)信息和節(jié)點(diǎn)間的關(guān)系在圖上進(jìn)行消息傳遞.模型旨在最大化類內(nèi)相似性和類間差異性以提高模型的預(yù)測(cè)性能.在EGNN 模型的基礎(chǔ)上，MDEGNN（multi-dimensional EGNN）[55]使用多維特征作為邊緣特征，所有的邊緣特征被初始化成一個(gè)p維向量，若2 個(gè)節(jié)點(diǎn)屬于同一類，則它們之間的邊特征是1 個(gè)全1 向量，若2 個(gè)節(jié)點(diǎn)屬于不同類，則它們之間的邊特征是全0 維向量，邊緣特征初始化如式（7）所示.

Fig.5 The framework of EGNN model[53]圖5 EGNN 模型框架

與EGNN 類似，MDEGNN 將多維邊緣特征作為權(quán)值來聚合鄰域節(jié)點(diǎn)信息.邊緣更新網(wǎng)絡(luò)則利用更新后的節(jié)點(diǎn)特征生成多維相似度注意矩陣對(duì)多維邊緣特征進(jìn)行更新.最后利用聚合網(wǎng)絡(luò)對(duì)不同維數(shù)的邊緣特征進(jìn)行加權(quán)，得到最終的節(jié)點(diǎn)間關(guān)系表示.基于邊緣特征的方法通?；诠?jié)點(diǎn)的標(biāo)簽信息進(jìn)行邊緣特征的構(gòu)建.相較于基于圖像特征建模的邊，基于標(biāo)簽信息建模的邊對(duì)異常樣本點(diǎn)不敏感，且不會(huì)由于圖像較為相似使得邊緣特征較大而導(dǎo)致不適當(dāng)?shù)奶卣骶酆?然而標(biāo)簽信息忽略了特定于樣本的特征信息，因此在標(biāo)簽的更新中通常會(huì)融合節(jié)點(diǎn)圖像特征信息.文獻(xiàn)[56]提出一個(gè)將條件隨機(jī)場(chǎng)（conditional random field,CRF）[57]和GCN 結(jié)合的模型MCGN（mutual CRF-GNN），該模型利用樣本標(biāo)簽信息和特征信息來構(gòu)建邊緣特征.MCGN 構(gòu)建了一個(gè)以標(biāo)簽和特征為條件的CRF，支持?jǐn)?shù)據(jù)的標(biāo)簽和特征被 RF以有概率的方式推斷GNN 親和力.由此利用CRF 實(shí)現(xiàn)了特征信息和標(biāo)簽信息的融合，即在特征空間利用標(biāo)簽特征相似度進(jìn)行聚合.MCGN 訓(xùn)練時(shí)同時(shí)關(guān)注CRF 和GNN 的輸出，從而共同促進(jìn)CRF 和GNN.

由于節(jié)點(diǎn)標(biāo)簽和節(jié)點(diǎn)特征是最容易獲得的節(jié)點(diǎn)信息，因此很容易度量得到節(jié)點(diǎn)間關(guān)系.然而標(biāo)簽和節(jié)點(diǎn)特征信息都只關(guān)注于實(shí)例級(jí)信息而忽略了全局性信息，分布傳播圖網(wǎng)絡(luò)（distribution propagation graph network,DPGN）[58]模型則通過引入節(jié)點(diǎn)的1-vsn分布關(guān)系來構(gòu)建節(jié)點(diǎn)關(guān)系，利用全局觀測(cè)信息和單個(gè)實(shí)例信息來度量節(jié)點(diǎn)間相似度.DPGN 提出了一個(gè)對(duì)偶圖的架構(gòu)：一個(gè)點(diǎn)圖和一個(gè)分布圖.點(diǎn)圖通過在實(shí)例上收集1-vs-n關(guān)系來生成分布圖，而分布圖通過傳遞每對(duì)例子之間的分布關(guān)系來細(xì)化點(diǎn)圖.通過點(diǎn)圖和分布圖交替更新相互傳遞信息的形式將節(jié)點(diǎn)特征和節(jié)點(diǎn)分布特征編碼到邊緣特征中，最終通過點(diǎn)圖最后一層中相應(yīng)的邊緣特征及其相連的支持樣本來確定與其相連查詢樣本的標(biāo)簽.與DPGN 利用分布特征的思想類似，MDGN 模型[59]同時(shí)利用節(jié)點(diǎn)特征與節(jié)點(diǎn)分布信息對(duì)邊緣特征進(jìn)行建模.不同的是MDGN 通過混合高斯模型和期望最大算法來估算節(jié)點(diǎn)的分布特征，邊緣特征由節(jié)點(diǎn)的分布特征相似度和實(shí)例特征相似度輸入到多層感知器網(wǎng)絡(luò)中得到.大多數(shù)基于邊緣特征的模型將支持節(jié)點(diǎn)和查詢節(jié)點(diǎn)以全連接的方式關(guān)聯(lián)，通過迭代更新邊緣特征得到查詢節(jié)點(diǎn)和支持節(jié)點(diǎn)屬于同一類的概率作為邊緣預(yù)測(cè)結(jié)果.但事實(shí)上對(duì)于某查詢節(jié)點(diǎn)，大部分支持節(jié)點(diǎn)與其不同類，這些支持節(jié)點(diǎn)傳遞的信息可能會(huì)引入噪聲對(duì)其造成負(fù)面影響.因此雙池化圖神經(jīng)網(wǎng)絡(luò)（dual pooling graph neural network，DPGNN）[60]設(shè)計(jì)了一種邊緣池化模塊，該模塊能自適應(yīng)地消除樣本間的負(fù)面關(guān)系，模型能夠成功地應(yīng)用于小樣本的視頻分類任務(wù).邊緣池化模塊首先采用可訓(xùn)練的投影矩陣得到每條邊的池化分?jǐn)?shù)，對(duì)于支持節(jié)點(diǎn)vi和查詢節(jié)點(diǎn)vq得到2 節(jié)點(diǎn)間邊的池化分?jǐn)?shù)為si,q.為保留重要的邊緣特征，基于池化分?jǐn)?shù)來設(shè)計(jì)掩碼，該掩碼定義如式（8）所示.

其中k′為保留的邊緣數(shù)，即保留池化分?jǐn)?shù)最大的k′條邊.將掩碼mi,q和對(duì)應(yīng)邊相乘，以保留查詢節(jié)點(diǎn)到與其相關(guān)的支持節(jié)點(diǎn)的邊.

相較于基于節(jié)點(diǎn)特征的圖網(wǎng)絡(luò)，基于邊緣特征的方法能夠挖掘樣本之間的相似性和差異性，將圖驅(qū)動(dòng)成一個(gè)更易于分類的結(jié)構(gòu).然而這些模型缺乏一種關(guān)系歸納偏差，它決定了實(shí)體如何相互作用.在FSL 的GNN 方法中，節(jié)點(diǎn)之間的關(guān)系是一個(gè)模糊而主觀的概念，因此一些模型通常使用全連接的方式進(jìn)行構(gòu)圖.受模糊理論[61]啟發(fā)，模糊圖神經(jīng)網(wǎng)絡(luò)（fuzzy GNN，F(xiàn)GNN）[62]能夠在每個(gè)情景中獲得優(yōu)越的關(guān)系歸納偏差，被用于FSL.FGNN 首先利用節(jié)點(diǎn)特征相似度構(gòu)建了邊緣特征，并設(shè)計(jì)了一個(gè)模糊隸屬度函數(shù)為節(jié)點(diǎn)分類實(shí)現(xiàn)了更精確的邊特征建模.隸屬度函數(shù)由邊緣特征來定義，其中δ ＞＞η，如式（9）所示.

基于邊緣特征的方法在考慮節(jié)點(diǎn)特征的基礎(chǔ)上對(duì)邊緣特征進(jìn)行建模，通過這種方式能夠更好地表示樣本間關(guān)系.邊緣特征既可以表示節(jié)點(diǎn)間的相關(guān)性，也可以用于控制相鄰節(jié)點(diǎn)的聚合程度.基于邊緣特征的方法通常在標(biāo)簽空間建模邊緣特征，部分方法還結(jié)合了分布特征來豐富邊緣特征的表示.這類方法的重點(diǎn)在于邊特征的初始化和更新網(wǎng)絡(luò)的設(shè)計(jì)，如何有效準(zhǔn)確地將樣本間關(guān)系建模為邊特征是這類方法的難點(diǎn).

3.3 基于節(jié)點(diǎn)對(duì)特征的方法

基于節(jié)點(diǎn)對(duì)特征的方法與基于邊緣特征的方法旨在挖掘樣本之間的關(guān)系.但相較于利用邊特征建模節(jié)點(diǎn)關(guān)系的方式，基于節(jié)點(diǎn)對(duì)特征的方法對(duì)樣本間關(guān)系進(jìn)行顯式建模.這類方法將節(jié)點(diǎn)構(gòu)成節(jié)點(diǎn)對(duì)，節(jié)點(diǎn)對(duì)作為關(guān)系圖中單個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)對(duì)信息通過GNN在關(guān)系圖上進(jìn)行傳播，節(jié)點(diǎn)對(duì)通常稱為“關(guān)系節(jié)點(diǎn)”.

青蛙GNN（Frog-GNN）[17]是用于小樣本文本分類任務(wù)的一種方法，F(xiàn)rog-GNN 為避免信息丟失，保留了所有的查詢支持對(duì).首先，從預(yù)訓(xùn)練的語(yǔ)言模型中提取文本表示，生成實(shí)例特征，利用句子匹配任務(wù)的經(jīng)驗(yàn)[63]提取成對(duì)實(shí)例特征，隨后用對(duì)特征和實(shí)例特征初始化圖中節(jié)點(diǎn)其中分別表示節(jié)點(diǎn)對(duì)特征、支持實(shí)例特征和查詢實(shí)例特征.每對(duì)節(jié)點(diǎn)都能構(gòu)成關(guān)系圖中節(jié)點(diǎn)，并構(gòu)成一個(gè)緊密連接的圖.Frog-GNN 采用多角度聚合策略，分別執(zhí)行節(jié)點(diǎn)對(duì)特征更新和實(shí)例特征更新.計(jì)算相鄰關(guān)系節(jié)點(diǎn)中支持節(jié)點(diǎn)和查詢節(jié)點(diǎn)的特征相似度作為聚合權(quán)重系數(shù)來聚合鄰居關(guān)系節(jié)點(diǎn)中的節(jié)點(diǎn)對(duì)特征.計(jì)算相鄰關(guān)系節(jié)點(diǎn)中支持或查詢節(jié)點(diǎn)間相似度作為聚合權(quán)重系數(shù)來聚合鄰居關(guān)系節(jié)點(diǎn)中的支持節(jié)點(diǎn)特征或查詢節(jié)點(diǎn)特征.Frog-GNN 的整體模型框架圖如圖6 所示.模型將最終的關(guān)系節(jié)點(diǎn)輸入到全連接網(wǎng)絡(luò)中，得到表示相同類的查詢—支持對(duì)得分.根據(jù)查詢—支持對(duì)的支持部分，按類別平均預(yù)測(cè)得分，計(jì)算出查詢樣本屬于每個(gè)類的最終概率.Frog-GNN 被提出用于小樣本文本分類任務(wù).TPRN-T[64]是另一種通過構(gòu)建節(jié)點(diǎn)對(duì)特征來解決圖上的節(jié)點(diǎn)分類問題的模型，且其節(jié)點(diǎn)對(duì)特征的構(gòu)建更加復(fù)雜.TRPN-T 將每個(gè)支持—查詢對(duì)的實(shí)例特征拼接得到節(jié)點(diǎn)對(duì)特征并進(jìn)行構(gòu)圖.關(guān)系節(jié)點(diǎn)特征為vi=[gsupport,gq]，其中g(shù)support為支持節(jié)點(diǎn)特征，gquery為查詢節(jié)點(diǎn)特征.由于支持節(jié)點(diǎn)主導(dǎo)了關(guān)系節(jié)點(diǎn)，為防止查詢節(jié)點(diǎn)信息的丟失，TPRN-T進(jìn)一步引入偽關(guān)系節(jié)點(diǎn)，讓查詢樣本主動(dòng)參與到圖中，偽關(guān)系節(jié)點(diǎn)定義為vq=[gq,gq].由于相似的支持樣本通常與同一查詢樣本有相似的關(guān)系，因此TPRNT 可利用支持樣本之間的已知關(guān)系，在圖上進(jìn)行傳播，得到最終需預(yù)測(cè)的支持—查詢對(duì)關(guān)系.關(guān)系節(jié)點(diǎn)的鄰接矩陣由節(jié)點(diǎn)對(duì)中的主導(dǎo)的支持節(jié)點(diǎn)特征相似性度量得到.支持集的類內(nèi)共性和類間差異性在關(guān)系圖上進(jìn)行傳播和聚合，在關(guān)系傳播和特征聚合之后，對(duì)關(guān)系節(jié)點(diǎn)使用相似度函數(shù)來衡量支持—查詢對(duì)之間的相似度水平，并將其量化為相似度分?jǐn)?shù).與Frog-GNN 類似，根據(jù)相似度分?jǐn)?shù)及查詢—支持對(duì)中的支持樣本部分確定查詢樣本所屬的類別.為了彌合可見任務(wù)和不可見任務(wù)之間的鴻溝，在TPRN-T 的基礎(chǔ)上，TPRN-D[65]模型在訓(xùn)練時(shí)運(yùn)用解耦策略，在保持特征嵌入模塊的判別表示能力的同時(shí)，保證TRPN 能更好地提取可見任務(wù)和不可見任務(wù)之間的語(yǔ)義鴻溝.TPRN 的模型框架如圖7 所示.

Fig.6 The frame diagram of Frog-GNN model[17]圖6 Frog-GNN 模型框架圖[17]

Fig.7 The frame diagram of TPRN model[65]圖7 TPRN 模型框架圖[65]

基于節(jié)點(diǎn)對(duì)的方法通過構(gòu)建關(guān)系節(jié)點(diǎn)，即支持—查詢節(jié)點(diǎn)對(duì)的方法來建模節(jié)點(diǎn)間關(guān)系，并將關(guān)系表示在圖上顯式地傳播，基于此探索更豐富的節(jié)點(diǎn)間關(guān)系.該方法提出類似的支持節(jié)點(diǎn)與同一查詢節(jié)點(diǎn)有著相似的關(guān)系，利用已知的支持—支持節(jié)點(diǎn)間關(guān)系在關(guān)系圖上進(jìn)行傳播，得到消息聚合后的支持—查詢對(duì)關(guān)系.最終模型可直接根據(jù)支持—查詢對(duì)關(guān)系和基于支持節(jié)點(diǎn)判斷查詢節(jié)點(diǎn)的類型.基于節(jié)點(diǎn)對(duì)特征的方法能夠靈活地應(yīng)用節(jié)點(diǎn)間的相關(guān)性，聚合節(jié)點(diǎn)特征信息.

3.4 基于類級(jí)特征的方法

FSL 受到人類學(xué)習(xí)的啟發(fā)，人類能在僅有少量學(xué)習(xí)樣本時(shí)學(xué)習(xí)區(qū)分這些樣本所屬類別的能力.值得注意的是，人類可以很容易地從少數(shù)樣本中學(xué)習(xí)到類級(jí)知識(shí)，例如當(dāng)人類在學(xué)習(xí)如何區(qū)分手機(jī)和電腦這2 類時(shí)，會(huì)通過學(xué)習(xí)更加抽象的類級(jí)概念來更好地掌握區(qū)分2 類物品的能力.換句話說，類級(jí)知識(shí)可以理解為原型，即該類中所有樣本都應(yīng)具有的普遍特性等.但大多數(shù)現(xiàn)有的基于圖的FSL 方法旨在探索查詢樣本和支持樣本之間的相關(guān)性從而忽略了從樣本中提取類級(jí)知識(shí).這促使基于GNN 的FSL 方法考慮如何顯式地學(xué)習(xí)更豐富的類知識(shí)，以指導(dǎo)圖中查詢節(jié)點(diǎn)的信息推理.

分層GNN[66]提出具有層次結(jié)構(gòu)的GNN 來探索類別中可能具有的層次結(jié)構(gòu).對(duì)于FSL，從樣本中提取類別的區(qū)別特征非常重要.為解決這個(gè)問題，分層GNN 模型[67]提取類內(nèi)具有代表性的節(jié)點(diǎn)特征和保留類間難區(qū)分的節(jié)點(diǎn)特征即一些相似度高的類間節(jié)點(diǎn)進(jìn)行深層學(xué)習(xí).分層GNN 主要包含自下向上推理、自頂向下推理和跳過連接層3 部分.自下向上推理模塊利用GNN 探索節(jié)點(diǎn)間相關(guān)性并利用類內(nèi)k近鄰池化層為每個(gè)類保留離其類質(zhì)心最近的k個(gè)節(jié)點(diǎn)，即提取具有類內(nèi)共同特征的節(jié)點(diǎn)特征.為保留類間的區(qū)別特征，分層GNN 利用類間節(jié)點(diǎn)池化層保留相近的不同類來進(jìn)一步地探索.通過類內(nèi)和類間池化層對(duì)支持節(jié)點(diǎn)進(jìn)行下采樣，提取樣本中豐富的類級(jí)知識(shí).與自下向上推理模塊中的下采樣相反，自頂向下推理模塊對(duì)下采樣后的節(jié)點(diǎn)進(jìn)行上采樣恢復(fù)到原始個(gè)數(shù).相同級(jí)別的自下向上塊和自頂向下塊用跳過連接層連接，有效地融合了不同尺度的類級(jí)特征和節(jié)點(diǎn)特征.最后，利用映射函數(shù)將節(jié)點(diǎn)特征映射為節(jié)點(diǎn)標(biāo)簽.分層GNN 的模型框架如圖8 所示.

Fig.8 The frame diagram of hierarchical GNN[66]圖8 分層GNN 框架圖[66]

與利用池化模塊提取類級(jí)知識(shí)的方式不同，文獻(xiàn)[67]提出利用顯示類別知識(shí)傳播網(wǎng)絡(luò)（explicit class knowledge propagation network,ECKPN）來解決FSL 問題.ECKPN 由比較、壓縮和校準(zhǔn)3 個(gè)模塊組成.首先使用比較模塊來探索成對(duì)的樣本關(guān)系，以學(xué)習(xí)實(shí)例級(jí)圖中的樣本表示.隨后，壓縮模塊利用可訓(xùn)練的賦值矩陣壓縮實(shí)例圖來生成類級(jí)圖，即Vc=PTV(l)，其中為實(shí)例圖中的節(jié)點(diǎn)特征表示，r1為實(shí)例圖中節(jié)點(diǎn)個(gè)數(shù)，d為特征維度.為賦值矩陣，r為類級(jí)圖中節(jié)點(diǎn)個(gè)數(shù).其中每個(gè)元素puv表示原始圖中的節(jié)點(diǎn)u被分配給類級(jí)圖中的節(jié)點(diǎn)v的概率.將實(shí)例級(jí)圖壓縮為類級(jí)圖，有助于獲取類級(jí)的視覺知識(shí)，并對(duì)類間關(guān)系進(jìn)行建模.校準(zhǔn)模塊結(jié)合Glove[68]提取的標(biāo)簽語(yǔ)義嵌入，多模態(tài)地建模類間關(guān)系，獲得具有區(qū)別性的類級(jí)知識(shí)表示，并將類級(jí)知識(shí)與實(shí)例級(jí)樣本表示相結(jié)合，以指導(dǎo)查詢樣本的推理.分層GNN和ECKPN 利用池化的思想對(duì)原始實(shí)例圖中的節(jié)點(diǎn)進(jìn)行壓縮獲取具有高級(jí)表征的類級(jí)知識(shí)，并通過融合實(shí)例知識(shí)和類級(jí)知識(shí)獲取豐富的樣本表示.混合GNN[69]則從不同角度出發(fā)，旨在解決類邊界的樣本重疊和少量樣本離群、異常的問題.混合GNN 由實(shí)例GNN（instance GNN,?GNN）和原型GNN（prototypical GNN，PGNN）組成，通過減小類內(nèi)樣本距離和增大每個(gè)類原型間距離的方法對(duì)特征嵌入網(wǎng)絡(luò)學(xué)習(xí)到的特征進(jìn)行調(diào)整.PGNN 在類原型上操作，旨在解決類邊界的樣本重疊問題.每個(gè)類由類均值或類原型進(jìn)行初始化，以提取初始類級(jí)特征.類級(jí)特征在圖上進(jìn)行消息傳遞，以最小化類間重疊和增大類間距離為學(xué)習(xí)目標(biāo).學(xué)習(xí)到的PGNN 重新排列每個(gè)類原型的相對(duì)位置，使類特征變得更易分離.?GNN 通過實(shí)例消息傳遞專注于異常樣本識(shí)別和中和離群樣本，以最減小類內(nèi)樣本距離為目標(biāo)，調(diào)整樣本中異常樣本和離群樣本特征.最終通過計(jì)算PGNN 和?GNN 特征更新后的原型節(jié)點(diǎn)和查詢節(jié)點(diǎn)間的歐氏距離，將查詢樣本分配給具有更高可信度的類.除圖像分類任務(wù)的FSL 方法外，小樣本文本分類任務(wù)的方法研究通常是基于類級(jí)特征進(jìn)行的，即采用原型網(wǎng)絡(luò)來學(xué)習(xí)廣義類原型.然而在編碼過程中，一些方法關(guān)注支持實(shí)例和查詢實(shí)例間的交互和匹配信息，忽略了關(guān)于類內(nèi)相似性和類間差異性等類級(jí)信息.文獻(xiàn)[19]提出了一種負(fù)監(jiān)督膠囊圖神經(jīng)網(wǎng)絡(luò)（negative-supervised capsule GNN,NSCGNN），該網(wǎng)絡(luò)明確地利用樣本間相似性和差異性來進(jìn)行文本再現(xiàn)，使同一類型的點(diǎn)彼此更近、不同類型的點(diǎn)彼此更遠(yuǎn)，產(chǎn)生具有判別性的類原型表示.NSCGNN 同時(shí)學(xué)習(xí)實(shí)例特征表示和類級(jí)特征表示，采用具有負(fù)監(jiān)督的GNN 來學(xué)習(xí)所有支持和查詢實(shí)例的特征表示.類級(jí)表示過程受膠囊網(wǎng)絡(luò)[70]的啟發(fā)，將從GNN 中提取的節(jié)點(diǎn)特征視為基本膠囊，將類表示視為高級(jí)膠囊，采用動(dòng)態(tài)路由算法來學(xué)習(xí)類的原型表示.

EGNN-prot 模型[18]是另一種用于解決小樣本文本分類任務(wù)的方法，該模型將邊緣標(biāo)記圖神經(jīng)網(wǎng)絡(luò)和原型網(wǎng)絡(luò)結(jié)合，首先利用邊緣標(biāo)記圖神經(jīng)網(wǎng)絡(luò)建模文檔的類內(nèi)相似性和類間不相似性.不同于EGNN中通過邊緣特征直接計(jì)算查詢節(jié)點(diǎn)類別的方式，EGNN-prot 引入原型網(wǎng)絡(luò)，利用原型知識(shí)對(duì)未標(biāo)記文本進(jìn)行分類.原型網(wǎng)絡(luò)計(jì)算類中支持樣本的平均向量作為該類的原型向量表示.最終通過比較所有原型向量和查詢向量之間的距離，將查詢樣本分類到最接近的原型向量所在類中.與利用原型網(wǎng)絡(luò)提取類級(jí)知識(shí)不同，文獻(xiàn)[71]在分類階段利用最優(yōu)傳輸算法來確定類中心，間接地提取類級(jí)概念.文獻(xiàn)[72]利用最優(yōu)類分配模塊來確定查詢節(jié)點(diǎn)類別，即使用sinkhorn 算法[73]計(jì)算一個(gè)類分配矩陣，以最小的運(yùn)輸成本將未標(biāo)記的查詢樣本分配到類中心，并交替更新類中心和類分配矩陣.

基于類級(jí)特征的方法有2 種利用類級(jí)特征的形式：1）在GNN 前提取初始類級(jí)特征，并將類級(jí)特征在圖上傳播，通過GNN 學(xué)習(xí)得到構(gòu)建的目標(biāo)類級(jí)特征，以此達(dá)到提升模型性能的目的.2）在分類階段利用類級(jí)知識(shí)進(jìn)行分類，即在GNN 前不涉及類級(jí)特征，在GNN 后使用訓(xùn)練好的樣本特征提取原型特征作為所屬類的參考標(biāo)準(zhǔn)，由此將查詢樣本分類到具有更高可信度的類別中.

4 數(shù)據(jù)集與模型評(píng)估

4.1 數(shù)據(jù)集

在小樣本圖像分類任務(wù)中，一些標(biāo)準(zhǔn)數(shù)據(jù)集被廣泛使用.Mini?mageNet[74]和 Tiered?mageNet[75]是FSL 領(lǐng)域中最常用的數(shù)據(jù)集，同時(shí)CUB[76],C?FAR-100[77],Stanford Cars 等常用作細(xì)粒度小樣本圖像分類.

1）Mini?mageNet.該數(shù)據(jù)集是從?mageNet[78]分割得到的，包含?mageNet 的100 個(gè)類別，每個(gè)類別含有600 張圖片.將100 個(gè)類分為64 類、16 類、20 類分別用于訓(xùn)練、驗(yàn)證和測(cè)試.

2）Tiered?mageNet.該數(shù)據(jù)集是Ren 等人[75]在2018 年提出的數(shù)據(jù)集，是比Mini?mageNet 更大的屬于?mageNet 的子集，其類別高達(dá)608 種.

3）CUB-200-2011（caltech-UCSD birds）.該數(shù)據(jù)集是一個(gè)鳥類圖像數(shù)據(jù)集，包含200 種鳥類，共計(jì)11 788張圖像.通常將數(shù)據(jù)集劃分為130 類、20 類、50 類分別用于訓(xùn)練、驗(yàn)證和測(cè)試.

4）C?FAR-FS.該數(shù)據(jù)集共100 個(gè)類，每個(gè)類包含600 個(gè)圖像，分別包括500 個(gè)訓(xùn)練圖像和100 個(gè)測(cè)試圖像.C?FAR-100 中的100 個(gè)子類所屬于20 個(gè)父類，每個(gè)圖像都帶有一個(gè)子類標(biāo)簽和一個(gè)父類標(biāo)簽.

5）Stanford Cars.該數(shù)據(jù)集一般用于細(xì)粒度圖像分類任務(wù)，包括196 類車的樣本共計(jì)16 185 個(gè)圖像.數(shù)據(jù)集被劃分為130 類、17 類、49 類分別用于訓(xùn)練、驗(yàn)證和測(cè)試.表3 所示為各類數(shù)據(jù)集中的統(tǒng)計(jì)信息與數(shù)據(jù)集劃分情況.

Table 3 Statistics and Division of Datasets表3 數(shù)據(jù)集的統(tǒng)計(jì)與劃分

4.2 實(shí)施細(xì)節(jié)

本文對(duì)FSL 的GNN 方法中的一些著名模型在小樣本圖像分類任務(wù)數(shù)據(jù)集Mini?mageNet 和Tiered?mageNet 上的性能表現(xiàn)進(jìn)行了總結(jié).所有方法都選取了5-way 1-shot 和5-way 5-shot 設(shè)置的結(jié)果進(jìn)行展示.

FSL 通常使用CNN 作為特征提取網(wǎng)絡(luò)，比如Conv-4[37],ResNet12[79],WRN 等常用的特征提取網(wǎng)絡(luò).具體來說，Conv-4 和ResNet12 網(wǎng)絡(luò)將輸入圖像編碼為128 維的特征向量，Conv-4 和ResNet12 都由4 個(gè)區(qū)塊組成.Conv-4 中的每個(gè)塊都包含3×3 的卷積塊、1 個(gè)批處理標(biāo)準(zhǔn)化和1 個(gè)LeakyRelu 激活函數(shù).而ResNet12中的每個(gè)殘差塊包含3 個(gè)大小為3×3 的卷積層，每個(gè)卷積層之后是一個(gè)2×2 的最大池化層.而網(wǎng)絡(luò)將圖像編碼為64 維的特征向量.

部分模型利用了歸納學(xué)習(xí)和轉(zhuǎn)導(dǎo)學(xué)習(xí)的實(shí)驗(yàn)設(shè)置進(jìn)行模型性能的評(píng)估，其中歸納學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)或任務(wù)中學(xué)習(xí)共同的模式，并轉(zhuǎn)移到未知的任務(wù)和數(shù)據(jù)中，而轉(zhuǎn)導(dǎo)學(xué)習(xí)則直接從訓(xùn)練數(shù)據(jù)或任務(wù)推廣到給定的測(cè)試數(shù)據(jù).

4.3 實(shí)驗(yàn)結(jié)果

各類方法的實(shí)驗(yàn)結(jié)果具體如表4 所示.表4 選取了MiniimageNet 和Tiered?mageNet 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果作為對(duì)比參考.在FSL 的圖方法中，最優(yōu)的模型在5-shot 的圖像分類任務(wù)上能夠達(dá)到約88%的準(zhǔn)確率；這證明了基于GNN 的FSL 方法的優(yōu)越性.早期的基于GNN 的FSL 方法僅考慮在圖上傳播節(jié)點(diǎn)特征，且對(duì)于節(jié)點(diǎn)間關(guān)系的探索停留在利用計(jì)算樣本相似度來構(gòu)建鄰接矩陣的階段.因此這類方法雖然在性能上有一定的提升，但其分類準(zhǔn)確率仍處于較低水平.基于邊緣特征的方法總體上優(yōu)于基于節(jié)點(diǎn)特征的方法.EGNN 是最早的邊緣標(biāo)記圖GNN，該模型在Mini-?mageNet 數(shù)據(jù)集的1-shot 和5-shot 測(cè)試的準(zhǔn)確率分別達(dá)到了59%和76%.基于節(jié)點(diǎn)對(duì)特征和基于類級(jí)特征的模型效果整體處于較高水平.這2 類模型在5-shot 設(shè)置時(shí)性能有明顯的提升，因?yàn)楣?jié)點(diǎn)對(duì)特征和類級(jí)特征在支持樣本數(shù)量較多時(shí)有明顯優(yōu)勢(shì).

Table 4 Accuracy of GNN-Based Few-Shot Image Classification Learning Method on Two Datasets表4 基于GNN 的小樣本圖像分類學(xué)習(xí)方法在2 個(gè)數(shù)據(jù)集上的準(zhǔn)確率 %

5 模型歸納與總結(jié)

本節(jié)從主要研究?jī)?nèi)容、關(guān)鍵技術(shù)和具體應(yīng)用等方面對(duì)近幾年的基于GNN 的FSL 代表性研究算法進(jìn)行了相關(guān)內(nèi)容的整理，結(jié)果如表5 所示.

Table 5 Summary of Few-Shot Learning Methods Based on GNN表5 基于GNN 的小樣本學(xué)習(xí)方法總結(jié)

在GNN 中節(jié)點(diǎn)特征是最易獲取的信息，因此大多數(shù)算法將節(jié)點(diǎn)特征在圖上進(jìn)行消息傳遞，從而將已知標(biāo)簽的支持節(jié)點(diǎn)信息傳播到未知標(biāo)簽的查詢節(jié)點(diǎn)上，利用學(xué)習(xí)到的查詢節(jié)點(diǎn)特征確定其類別.在基于節(jié)點(diǎn)特征方法的基礎(chǔ)上，基于邊特征的方法還需考慮邊特征的構(gòu)建方法，不同于將樣本特征作為節(jié)點(diǎn)特征的直觀表示方法，邊緣特征的建模缺乏統(tǒng)一的標(biāo)準(zhǔn).邊緣特征不僅可以表達(dá)樣本間的關(guān)系，還可以控制消息聚合的程度.因此設(shè)計(jì)合理的初始邊緣特征和邊緣特征更新網(wǎng)絡(luò)非常關(guān)鍵.通過計(jì)算節(jié)點(diǎn)間的相似度來構(gòu)建邊緣特征是最簡(jiǎn)單的方式，然而當(dāng)2 個(gè)不屬于同類的樣本其特征較為相似時(shí)，此時(shí)將導(dǎo)致相似度引導(dǎo)的節(jié)點(diǎn)間邊特征值較大，從而導(dǎo)致信息發(fā)生不適當(dāng)?shù)男畔⒕酆?，因此邊緣特征的?gòu)建通常在標(biāo)簽空間進(jìn)行，因?yàn)闃?biāo)簽信息固定且對(duì)離群樣本不敏感.基于節(jié)點(diǎn)特征的方法旨在如何利用GNN 進(jìn)行有效的節(jié)點(diǎn)信息傳播，基于邊緣特征的方法則關(guān)注邊緣特征的學(xué)習(xí)希望最終的邊緣特征應(yīng)能反映節(jié)點(diǎn)間準(zhǔn)確的關(guān)系.類似于基于邊緣特征的方法，基于節(jié)點(diǎn)對(duì)特征的方法旨在挖掘節(jié)點(diǎn)間的深層關(guān)系.不同的是，基于節(jié)點(diǎn)對(duì)特征的方法不采用將“邊”表示為節(jié)點(diǎn)關(guān)系的固有思想，而構(gòu)建節(jié)點(diǎn)對(duì)作為“關(guān)系節(jié)點(diǎn)”，并將“關(guān)系節(jié)點(diǎn)”作為單個(gè)節(jié)點(diǎn)進(jìn)行構(gòu)圖得到關(guān)系圖.將已知的支持—支持節(jié)點(diǎn)對(duì)關(guān)系在圖上進(jìn)行傳播，以此推理支持—查詢節(jié)點(diǎn)對(duì)關(guān)系，從而確定查詢樣本標(biāo)簽.節(jié)點(diǎn)對(duì)的思想為基于GNN的FSL 方法提供了一個(gè)新思路，并在小樣本圖像分類任務(wù)上有著突出的性能.基于類級(jí)特征的方法模擬了人類能從學(xué)習(xí)中提取類級(jí)知識(shí)的行為，從實(shí)例圖上提取類級(jí)特征構(gòu)建類級(jí)圖，類級(jí)特征是一類樣本抽象出的概念，利用類級(jí)知識(shí)在圖上進(jìn)行傳播從而提取類內(nèi)相似性和類間差異性或利用類級(jí)知識(shí)進(jìn)行查詢樣本的匹配.基于類級(jí)特征的方法希望類特征能夠提煉類別的概念，從而將查詢樣本匹配給更高可信度的類.表5 中這4 類方法旨在利用不同粒度的特征進(jìn)行查詢樣本的預(yù)測(cè)，本文對(duì)這4 種方法做了總結(jié)，并且比較了它們的優(yōu)點(diǎn)和缺點(diǎn).

6 應(yīng)用場(chǎng)景

FSL 在一定程度上解決了樣本量少的問題，它能夠減少數(shù)據(jù)收集工作和計(jì)算成本，或作為模擬人類學(xué)習(xí)的墊腳石[81].因此，許多現(xiàn)實(shí)世界的應(yīng)用程序都涉及到FSL，在許多場(chǎng)景中也得到了應(yīng)用.

6.1 計(jì)算機(jī)視覺領(lǐng)域

基于GNN 的FSL 中最常用的數(shù)據(jù)集為圖像分類數(shù)據(jù)，這是因?yàn)橐曈X信息很容易獲取，并且得到了廣泛的研究[82].而基于GNN 的FSL 方法也已經(jīng)在小樣本圖像分類數(shù)據(jù)集Mini?mageNet 和TieredimageNet等數(shù)據(jù)集上獲得了較高的準(zhǔn)確率.因此，研究人員開始探索更多的圖像分類任務(wù).

圖像分類任務(wù)幾乎覆蓋了基于GNN 的FSL 方法的所有應(yīng)用場(chǎng)景，由于圖像分類問題的解決模式相對(duì)固定，解決思路相對(duì)簡(jiǎn)單，且很多圖像分類任務(wù)都有與其相對(duì)應(yīng)的圖像數(shù)據(jù)集.因此基于GNN 的FSL 方法在除?mgeNet 數(shù)據(jù)集圖像分類任務(wù)外的高光譜圖分類[20,54,83-85]、金屬表面分類[86-87]和遙感場(chǎng)景分類[88-89]等圖像分類任務(wù)中也取得了一定的研究進(jìn)展.文獻(xiàn)[20]提出了一種跨領(lǐng)域的對(duì)偶圖FSL 框架，試圖通過將FSL 與域?qū)R相結(jié)合來解決跨場(chǎng)景高光譜圖分類任務(wù).當(dāng)目標(biāo)數(shù)據(jù)出現(xiàn)新類時(shí)，該模型分類準(zhǔn)確率仍能穩(wěn)定在較高水平.缺陷分類對(duì)于金屬表面的缺陷檢測(cè)至關(guān)重要.而現(xiàn)今由于良好優(yōu)化的制造技術(shù)，在工業(yè)場(chǎng)景中收集缺陷圖像相當(dāng)困難，因此FSL 對(duì)于金屬表面缺陷檢測(cè)具有重要意義.文獻(xiàn)[86]提出利用圖嵌入與分布變換（graph embedding and distribution transformation,GEDT）模塊和最優(yōu)傳輸（optimal transport,OPT）模塊來解決小樣本金屬表面分類任務(wù).GEDT 模塊能夠充分利用支持集和查詢集中不同特征之間的關(guān)聯(lián)信息，保證圖嵌入結(jié)果分布的一致性.OPT 模塊以轉(zhuǎn)導(dǎo)的方式實(shí)現(xiàn)小樣本分類.場(chǎng)景分類是遙感技術(shù)的一項(xiàng)基礎(chǔ)性工作，具有廣泛的應(yīng)用前景.隨著在數(shù)據(jù)緊急情況下滿足高方差情況的需求的增加，為大量的遙感場(chǎng)景進(jìn)行標(biāo)注可能需要耗費(fèi)大量的人力，因此少鏡頭遙感場(chǎng)景分類研究越來越受到人們的關(guān)注，其重點(diǎn)是利用少量訓(xùn)練樣本建立分類模型.文獻(xiàn)[88]提出了一種基于連續(xù)元學(xué)習(xí)原理的小樣本場(chǎng)景分類算法，該算法通過在元訓(xùn)練或元測(cè)試階段融合來自一系列任務(wù)的更多歷史先驗(yàn)知識(shí)來增強(qiáng)任務(wù)間的相關(guān)性.

6.2 疾病診斷領(lǐng)域

探究疾病預(yù)測(cè)領(lǐng)域的FSL 方法促進(jìn)了計(jì)算機(jī)輔助技術(shù)在疾病預(yù)測(cè)領(lǐng)域的實(shí)際應(yīng)用.一些計(jì)算機(jī)輔助技術(shù)往往基于傳統(tǒng)的深度學(xué)習(xí)算法，然而，由于醫(yī)學(xué)數(shù)據(jù)具有隱私保護(hù)性強(qiáng)以及標(biāo)注成本高的特點(diǎn)，疾病領(lǐng)域的數(shù)據(jù)往往難以獲取，缺乏大型的醫(yī)學(xué)數(shù)據(jù)集.疾病診斷是疾病預(yù)測(cè)領(lǐng)域中一項(xiàng)至關(guān)重要的技術(shù)，隨著深度學(xué)習(xí)的蓬勃發(fā)展，許多計(jì)算機(jī)輔助診斷技術(shù)用于醫(yī)學(xué)疾病的診斷，根據(jù)醫(yī)學(xué)影像進(jìn)行疾病診斷是計(jì)算機(jī)輔助技術(shù)最常見的一種診斷形式.醫(yī)學(xué)影像的產(chǎn)生來源于病例,而通常少量的病例使一些深度學(xué)習(xí)模型失效.GNN 由于其能夠融合多模態(tài)特征可以自然地將醫(yī)學(xué)影像數(shù)據(jù)和受試者表型數(shù)據(jù)同時(shí)利用起來.在疾病預(yù)測(cè)領(lǐng)域，利用GNN 進(jìn)行節(jié)點(diǎn)分類或者圖分類來對(duì)受試者做出疾病預(yù)測(cè)的方法已經(jīng)得到了廣泛的運(yùn)用.文獻(xiàn)[21]提出了一種用于疾病診斷的自動(dòng)度量GNN 模型，通過引入基于度量的元學(xué)習(xí)策略和設(shè)計(jì)了一個(gè)具有概率約束的GNN層進(jìn)行節(jié)點(diǎn)多分類任務(wù)，實(shí)現(xiàn)獨(dú)立測(cè)試的歸納學(xué)習(xí).該方法不僅緩解了當(dāng)數(shù)據(jù)量較少時(shí)診斷準(zhǔn)確率較低的問題，還克服了傳統(tǒng)節(jié)點(diǎn)分類方法中固定大型圖結(jié)構(gòu)不適用于獨(dú)立測(cè)試的問題.

6.3 自然語(yǔ)言處理

除計(jì)算機(jī)視覺領(lǐng)域外，基于GNN 的FSL 方法在自然語(yǔ)言處理領(lǐng)域也取得了一定的進(jìn)展，在自然語(yǔ)言處理領(lǐng)域中的文本分類[17-19,90-91]任務(wù)中有較多涉及GNN 的FSL 學(xué)習(xí)方法.隨著深度學(xué)習(xí)和預(yù)訓(xùn)練語(yǔ)言模型的發(fā)展，自然語(yǔ)言處理領(lǐng)域中的各種研究方法已經(jīng)取得了巨大的成功.然而，這些模型取決于訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量.由于數(shù)據(jù)稀缺和語(yǔ)義復(fù)雜性，F(xiàn)SL 在自然語(yǔ)言處理中仍然是一個(gè)具有挑戰(zhàn)性的問題.

文本分類任務(wù)與圖像分類任務(wù)同屬于小樣本分類問題，且文本數(shù)據(jù)也可以和圖像數(shù)據(jù)一樣映射到特征嵌入空間中，然后通過文本語(yǔ)義特征來建模樣本之間的關(guān)系.但相較于圖像數(shù)據(jù)，文本數(shù)據(jù)的表現(xiàn)形式更加豐富，且文本之間的關(guān)系更加復(fù)雜.文獻(xiàn)[90]提出了一種新的猶豫模糊圖神經(jīng)網(wǎng)絡(luò)模型（hesitant fuzzy GNN,HFGNN）來探索樣本之間的多屬性關(guān)系，并將HFGNN 與原型網(wǎng)絡(luò)結(jié)合，以實(shí)現(xiàn)小樣本的文本分類.文獻(xiàn)[17]提出了一種基于多角度聚合的GNN,分別關(guān)注支持和查詢實(shí)例以及支持—查詢節(jié)點(diǎn)對(duì)的更新和聚合，利用GNN 將節(jié)點(diǎn)間關(guān)系顯式地在圖上傳播，進(jìn)行文本分類.

7 存在的問題與挑戰(zhàn)

盡管近年來基于GNN 的FSL 已取得了一定進(jìn)展，但仍面臨著6 個(gè)挑戰(zhàn).

1）基于GNN 的FSL 方法遵循元學(xué)習(xí)的情景訓(xùn)練策略，因此模型的訓(xùn)練雖然在特定任務(wù)上只需要少量標(biāo)注實(shí)例，但仍需大量訓(xùn)練任務(wù)作為“訓(xùn)練樣本”，這致使“小樣本學(xué)習(xí)”在一定程度上變成了偽命題，從本質(zhì)上來看，與FSL 的定義背道而馳[92].因此從根本上解決訓(xùn)練樣本量的問題對(duì)于未來FSL 的圖方法是一個(gè)巨大的挑戰(zhàn).

2）基于GNN 的FSL 方法通過構(gòu)建一系列的訓(xùn)練任務(wù)作為訓(xùn)練樣本用于訓(xùn)練，其目的是使模型能夠解決類似的FSL 任務(wù)，這些任務(wù)構(gòu)建的圖結(jié)構(gòu)共享圖模型的參數(shù).然而基于GNN 的FSL 方法中，GNN 專注于任務(wù)內(nèi)節(jié)點(diǎn)關(guān)系的建模，忽略了任務(wù)間的高階關(guān)系.由于每個(gè)任務(wù)的樣本是隨機(jī)采樣的，即使在相同的圖構(gòu)建方式下，最終構(gòu)建得到的圖結(jié)構(gòu)仍有特定于任務(wù)的度量范圍與特征空間，而這與GNN 模型的參數(shù)共享思想矛盾，使得在訓(xùn)練過程中很難找到一個(gè)最優(yōu)的元參數(shù).如何構(gòu)建適合所有任務(wù)的元GNN 模型或建立任務(wù)間的高階關(guān)系是基于GNN 的FSL 方法的一個(gè)難點(diǎn).

3）基于GNN 的FSL 方法在訓(xùn)練任務(wù)上訓(xùn)練GNN 模型并使其能夠泛化到測(cè)試任務(wù).雖然訓(xùn)練任務(wù)與測(cè)試任務(wù)來自相同數(shù)據(jù)集，但測(cè)試任務(wù)中的類是訓(xùn)練任務(wù)中未出現(xiàn)過的，測(cè)試任務(wù)與訓(xùn)練任務(wù)的樣本特征分布跨度較大.在元學(xué)習(xí)中，訓(xùn)練階段的模型應(yīng)用到測(cè)試任務(wù)時(shí)，模型會(huì)在支持樣本上微調(diào)，而基于GNN 的FSL 中的圖模型將任務(wù)間的樣本統(tǒng)一建模為圖網(wǎng)絡(luò)，無(wú)法使用微調(diào)的方法，此時(shí)GNN 作為度量函數(shù)的泛化能力將面臨巨大的考驗(yàn).

4）基于GNN 的FSL 學(xué)習(xí)框架通常通過聯(lián)合元學(xué)習(xí)與特征提取器以達(dá)到特征重用和快速學(xué)習(xí)的目的，但基于GNN 的元學(xué)習(xí)分類器與特征提取器的訓(xùn)練本質(zhì)上是矛盾的，因?yàn)榉诸惼餍杩焖龠m應(yīng)不同的任務(wù)，而特征嵌入模塊則不需要，因此這種聯(lián)合元學(xué)習(xí)和特征嵌入模塊的訓(xùn)練模式亟待改變.若直接將特征嵌入模塊與元學(xué)習(xí)分類器分離，可能導(dǎo)致提取到的特征與特定任務(wù)所需的特征有所偏離，因此如何校準(zhǔn)特征嵌入模塊與元學(xué)習(xí)分類器之間的特征分布差異值得考慮.

5）在FSL 的圖方法中通常將GNN 視為分類器，GNN 的本質(zhì)是進(jìn)行消息傳遞，將支持樣本標(biāo)簽傳遞給查詢樣本，此時(shí)GNN 執(zhí)行分類器的功能.此外GNN 也可以通過鄰居節(jié)點(diǎn)聚合學(xué)習(xí)具有代表性的節(jié)點(diǎn)表示.因此GNN 是否能在FSL 中執(zhí)行除分類器以外的功能是值得考慮的問題.突破GNN 在整體訓(xùn)練框架中僅作為分類器的固有模式對(duì)于未來FSL 的圖方法研究工作是一項(xiàng)挑戰(zhàn).

6）GNN 不可避免地存在過平滑問題，當(dāng)任務(wù)內(nèi)采樣的樣本屬于同類但特征較為相似時(shí)，會(huì)導(dǎo)致邊權(quán)較大而發(fā)生不適當(dāng)?shù)男畔⒕酆?，此時(shí)樣本間的差異性信息可能會(huì)隨著GNN 網(wǎng)絡(luò)的加深被中和，節(jié)點(diǎn)的特征趨于一致.在基于GNN 的FSL 方法中，節(jié)點(diǎn)特征由于較為相似而丟失了具有區(qū)別性的信息，因此過平滑問題是模型性能欠佳的一大隱患.在節(jié)點(diǎn)信息發(fā)生充分交互的前提下，如何緩解過平滑問題是基于GNN 的FSL 方法的又一難點(diǎn).

8 未來研究方向

由于真實(shí)世界中樣本稀缺的問題，F(xiàn)SL 越來越受到人們的重視.基于圖神經(jīng)網(wǎng)絡(luò)的FSL 的分類問題已經(jīng)在計(jì)算機(jī)視覺等領(lǐng)域有了深入的研究，通過對(duì)當(dāng)前FSL 的圖方法研究進(jìn)展的梳理，可以展望未來基于圖的FSL 的發(fā)展方向.

1）先驗(yàn)知識(shí)的利用.現(xiàn)有的基于GNN 的FSL 使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為特征提取模塊提取樣本特征，因此特征提取模塊仍需要大量數(shù)據(jù)用于訓(xùn)練.未來可以嘗試?yán)闷渌闰?yàn)知識(shí)訓(xùn)練模型，或者合理利用無(wú)標(biāo)注數(shù)據(jù).探索更多不依賴模型預(yù)訓(xùn)練、使用先驗(yàn)知識(shí)就能取得較好效果的方法.

2）彌合任務(wù)間的差異性.GNN 由于能夠挖掘樣本間的關(guān)系在FSL 領(lǐng)域展現(xiàn)出優(yōu)秀的性能，但基于GNN 的FSL 方法僅關(guān)注任務(wù)內(nèi)問題的建模，而任務(wù)間的差異不僅影響了模型最優(yōu)參數(shù)的確定也使模型由訓(xùn)練任務(wù)遷移到測(cè)試任務(wù)時(shí)性能大大降低，未來可以通過建模任務(wù)間的高階關(guān)系來彌合任務(wù)間的差異性，建立適用于所有任務(wù)的全局一致的特征空間和度量標(biāo)準(zhǔn)可能是解決任務(wù)差異帶來的問題的一個(gè)切入點(diǎn).在基于元學(xué)習(xí)的FSL 方法中，對(duì)每個(gè)任務(wù)，元模型在支持集上微調(diào)后得到特定于該任務(wù)的模型，基于GNN 的FSL 方法可借鑒這種學(xué)習(xí)框架利用微調(diào)的方式間接地提高模型的泛化能力.

3）彌合模塊間差異性.在基于GNN 的FSL 方法中，存在GNN 模塊特征與特征提取模塊提取得到的特征分布不匹配問題，這嚴(yán)重影響了GNN 的模型效率，因此對(duì)特征提取模塊提取到的特征進(jìn)行分布校準(zhǔn)或特征對(duì)齊是解決該矛盾的有效途徑.例如可以通過高斯分布變換等方法來對(duì)分布進(jìn)行校準(zhǔn).考慮設(shè)計(jì)合理的分布校準(zhǔn)模塊，彌合特征網(wǎng)絡(luò)與圖網(wǎng)絡(luò)的特征分布間差異可以作為未來基于GNN 的FSL方法的突破點(diǎn)之一.

4）應(yīng)用場(chǎng)景和圖結(jié)構(gòu)的創(chuàng)新.相較于傳統(tǒng)的FSL方法，基于GNN 的FSL 方法性能好且可解釋性強(qiáng)，但其應(yīng)用場(chǎng)景較少.在有相應(yīng)小樣本數(shù)據(jù)集的條件下，探索除圖像分類外新場(chǎng)景中FSL 的圖方法利用是一個(gè)較佳的想法.此外如何設(shè)計(jì)創(chuàng)新圖網(wǎng)絡(luò)模型值得進(jìn)一步探究.例如GNN 可以很自然地進(jìn)行多模態(tài)信息的融合[93-95]，而現(xiàn)有FSL 的圖方法缺乏對(duì)多模態(tài)融合方法的探究，因此在未來的研究中可以考慮利用多模態(tài)信息挖掘更豐富的樣本間關(guān)系，或構(gòu)建具有多模態(tài)特征的節(jié)點(diǎn)特征來表示更準(zhǔn)確的樣本特征.

5）更先進(jìn)的FSL 方法.基于GNN 的FSL 需要一系列任務(wù)來進(jìn)行元訓(xùn)練.雖然這確實(shí)反映了人類的終身學(xué)習(xí)，但在一些應(yīng)用程序中，此類任務(wù)族的數(shù)據(jù)可能不可用.此外，對(duì)于某些FSL 任務(wù)，缺乏足夠的數(shù)據(jù)來構(gòu)建一系列的任務(wù).已知的無(wú)監(jiān)督元學(xué)習(xí)[5,96-97]和單任務(wù)元學(xué)習(xí)方法[98-100]可以幫助緩解這種問題，未來基于GNN 的FSL 方法可結(jié)合這類更先進(jìn)的元學(xué)習(xí)方法進(jìn)一步地研究.此外基于GNN 的FSL 方法可以尋求與其他FSL 方法的融合.數(shù)據(jù)作為深度學(xué)習(xí)的驅(qū)動(dòng)力，對(duì)于模型的訓(xùn)練至關(guān)重要.因此可通過融合數(shù)據(jù)增強(qiáng)的方法使基于GNN 的FSL 方法得到改進(jìn).

6）跨領(lǐng)域的小樣本學(xué)習(xí).在實(shí)際應(yīng)用中，訓(xùn)練任務(wù)中的數(shù)據(jù)和測(cè)試任務(wù)中的數(shù)據(jù)可能來自不同的數(shù)據(jù)集，而無(wú)論是傳統(tǒng)的FSL 方法還是基于GCN 的FSL 方法，其中訓(xùn)練任務(wù)和測(cè)試任務(wù)中的數(shù)據(jù)均來自同一數(shù)據(jù)集，這限制了FSL 方法的實(shí)際應(yīng)用.已知的跨域FSL 方法[101]提供了一個(gè)很好的學(xué)習(xí)框架，到目前為止，針對(duì)小樣本圖像分類的領(lǐng)域自適應(yīng)及領(lǐng)域泛化方法還很少.因此，基于GNN 進(jìn)行跨領(lǐng)域的FSL研究值得進(jìn)一步深入研究.

7）前沿的圖方法應(yīng)用.大部分基于GNN 的FSL方法利用GCN 模型來進(jìn)行學(xué)習(xí)，而GCN 僅僅是GNN中的一個(gè)分支，未來可以考慮使用一些前沿的圖方法來解決FSL 問題.例如可以使用超圖卷積來建模更復(fù)雜的節(jié)點(diǎn)間關(guān)系，在多模態(tài)數(shù)據(jù)下利用超圖卷積能夠更好地探索模態(tài)間的數(shù)據(jù)關(guān)系，更好地解決FSL 問題.除超圖卷積外，還可以通過使用圖transformer[102-103]等來提升圖結(jié)構(gòu)注意，在早期的FSL的圖方法中已經(jīng)嘗試結(jié)合GAT 來解決單純圖模型帶來的過擬合和過平滑問題，但該方法并沒有帶來明顯的性能提升.未來可以考慮使用圖強(qiáng)化學(xué)習(xí)、圖transformer 等更復(fù)雜的圖模型來解決FSL 問題.

9 總結(jié)

從小樣本的概念被提出，到基于元學(xué)習(xí)的FSL方法的興起，再到GNN 被用于解決FSL 問題以及各類FSL 方法在各個(gè)領(lǐng)域的廣泛應(yīng)用，F(xiàn)SL 在理論和實(shí)踐上經(jīng)歷了一個(gè)從無(wú)到有、從有到優(yōu)化的過程.FSL 的各類方法也在不斷地完善和發(fā)展.本文概括和提煉了目前主流的基于GNN 的FSL 方法，并對(duì)不同算法進(jìn)行劃分、歸納和總結(jié)，分析了基于GNN 的FSL 的應(yīng)用以及未來發(fā)展方向.基于GNN 的FSL 方法的出現(xiàn)為FSL 問題的解決提供了一個(gè)全新的思路.就模型性能而言，各類基于GNN 的FSL 方法已經(jīng)超越了大多數(shù)過往的FSL 方法，為FSL 的研究進(jìn)展做出了巨大的貢獻(xiàn).即便如此，基于GNN 的FSL 方法仍有較大的改進(jìn)空間.在未來研究的道路上，還有更多優(yōu)秀的FSL 的圖方法出現(xiàn)，為實(shí)現(xiàn)真正的FSL 和發(fā)展人工智能技術(shù)貢獻(xiàn)出一份力量.

作者貢獻(xiàn)聲明：楊潔祎負(fù)責(zé)資料收集、文獻(xiàn)歸納整理、研究方案的構(gòu)思和設(shè)計(jì)、論文撰寫及修訂；董一鴻提供研究思路、論文組織結(jié)構(gòu)的設(shè)計(jì)、論文審閱及修訂；錢江波負(fù)責(zé)論文審閱及修訂.