楊振宇, 胡新龍, 崔來平, 王 鈺, 馬凱洋

(齊魯工業(yè)大學(山東省科學院) 計算機科學與技術學院, 濟南 250353)

1 介紹

小樣本學習即從很少的例子中識別新物體類別的能力, 它展示了人類視覺智能的一個新水平. 在大量的訓練數(shù)據(jù)的加持下, 視覺識別系統(tǒng)的準確性已經(jīng)有了大幅度提高. 但是, 現(xiàn)實生活中有許許多多我們無法獲取大量數(shù)據(jù)的情況, 當我們無法獲取到大量的訓練數(shù)據(jù)時, 我們應該怎么辦呢. 小樣本學習便在這種情況下被人們重新重視.

從很少的例子中學習新概念——是人類視覺系統(tǒng)的一個標志, 小樣本學習便是希望學習到人類的這種能力. 例如, 給一個孩子看一張或幾張袋鼠的照片, 當下次他看到袋鼠時, 他可以輕易地分辨出袋鼠. 小樣本分類的目的是使利用大量可見類數(shù)據(jù)訓練好的分類模型, 在面對只有少量標注數(shù)據(jù)的不可見類時依然具有較好的分類性能.

目前, 小樣本學習面臨著兩個主要的難題, 一個是不可見類中標注數(shù)據(jù)過少的問題, 另一個是可見類和不可見類的樣本類別相互獨立, 將用可見類訓練好的模型應用到不可見類時, 由于泛化性太差而引起的過擬合問題. 對少量的標注數(shù)據(jù)進行擴充是一種簡單常用的方法, 在數(shù)據(jù)量較少的小樣本學習中利用這種方法也很有效. 擴充數(shù)據(jù)的方法通常有這兩種, 一種是以高斯噪聲為條件[1,2]學習數(shù)據(jù)生成器. 這種方法生成的模型問題在于對少量樣本進行訓練時, 往往表現(xiàn)欠佳.另一種方法是利用不可見類中的無標簽數(shù)據(jù)來擴充帶有標簽的數(shù)據(jù). 但是這種方法擴充的標簽數(shù)據(jù)準確度有時并不高, 從而影響分類效果. 我們引入了一種融合擴充標簽方法, 利用同一類別中的樣本數(shù)據(jù)變化規(guī)則來擴充另一類別的樣本數(shù)據(jù). 具體來說, 假如我們有兩張獅子的圖片, 其中一張是獅子在散步, 另一張是獅子在睡覺; 同時我們還有一張老虎在散步的照片, 我們利用獅子的姿勢變換規(guī)則, 融合出一個老虎睡覺的樣本,從而達到數(shù)據(jù)擴充的目的. 這種規(guī)則不僅可以是姿勢變換, 也可以是背景變換等.

面對過擬合問題, 人們利用模擬小樣本訓練過程的情景或元學習[3,4]的方式來解決這一問題. 但是這些現(xiàn)有的方法絕大多數(shù)只關注樣本整體的特征, 并沒有關注樣本中的局部特征. 因此Zhang等[5]提出一種基于圖像區(qū)域之間最佳匹配的小樣本圖像分類算法, 來關注樣本的局部特征. 但是這種方法的局限性在于過分關注樣本的局部特征, 反而忘記了樣本的整體特征的重要性. 我們認為同時關注到樣本的整體特征和局部特征, 這對于最后結(jié)果的調(diào)整是很有幫助的. 因此我們提出了一個雙重特征提取方法, 該模塊首先從整體出發(fā), 關注提取樣本的整體特征, 然后深入到樣本的局部特征, 通過整體和局部雙重特征, 關注到其中最相關的特征, 從而達到更好的分類效果.

綜上所述, 我們在本文的貢獻總結(jié)如下.

(1)我們引入了一種融合擴充方法, 該方法通過將同一類別樣本的變換規(guī)則泛化到另一類別, 能夠較好地將數(shù)據(jù)擴充至支持集, 從而實現(xiàn)數(shù)據(jù)擴充效果.

(2)我們提出了一個雙重特征提取方法, 該方法不僅可以關注到樣本的整體特征, 而且可以關注到樣本的局部特征.

(3)基于(1)和(2), 我們提出了一個小樣本圖片分類模型: 融合擴充-雙重特征提取模型. 該模型可以同時關注樣本整體和局部雙重特征, 找到樣本中對分類最為重要的特征, 從而更好地提高小樣本圖片分類的準確率.

本文的其余章節(jié)組織如下: 第2節(jié), 我們回顧了小樣本學習的相關工作. 第3節(jié)正式描述我們提出的模型. 第4節(jié), 我們進行了實驗設置并對實驗結(jié)果做了分析和討論. 第5節(jié)總結(jié)了全文.

2 相關工作

在描述小樣本學習的文獻中, 絕大多數(shù)可以分為兩類: 基于度量的方法和基于優(yōu)化的方法. 除此之外還有少量的其他方法.

2.1 基于度量的方法

基于度量的方法首先將圖像映射到一個度量空間,然后在空間內(nèi)應用某種度量方式來判別圖像間的差異性. 這類方法有很多, 例如, 匹配網(wǎng)絡[6]基于深度特征的度量學習和外部存儲器增強的神經(jīng)網(wǎng)絡啟發(fā), 通過計算支持集和查詢集之間的嵌入距離生成加權(quán)最近鄰分類器, 可以從小數(shù)據(jù)集中快速的學習新的概念, 同時避免微調(diào). Snell等提出的原型網(wǎng)絡[7]基于這樣的想法:每個類別都存在一個原型表達, 該類的原型是支持集在嵌入空間中的均值. 然后, 分類問題變成在嵌入空間中的最近鄰. 關系網(wǎng)絡[8]采用距離度量網(wǎng)絡來學習支持和查詢樣本中的逐點關系. 嵌入和度量學習方法另一類少鏡頭學習方法旨在使用度量學習方法優(yōu)化可轉(zhuǎn)移嵌入. Oreshkin等[9]設計了一種TEN結(jié)構(gòu), 可以將任務相關信息引入到特征提取網(wǎng)站中, 同時為度量函數(shù)增加了放縮系數(shù). Li等[10]將基礎類別和少量樣本的新類別一起訓練, 得到每個類別的全局類別表征, 從中選擇出與當前episode類別表征最相近的n個表征, 最后根據(jù)查詢集樣本和n個表征之間的歐氏距離進行分類. Li等受到樸素貝葉斯最近鄰算法的啟發(fā), 提出了DN4網(wǎng)絡[11], 通過比較圖像與類別間的局部描述子來尋找與輸入圖像最相似的類別. Li等[12]提出了一種特征學習模塊CTM, CTM可以提取樣本特征的類內(nèi)共同性和類間差異性, 從而找到與分類最為相關的特征,提高小樣本分類的準確性.

2.2 基于優(yōu)化的方法

基于優(yōu)化的方法主要在于調(diào)整模型參數(shù), 使其能夠適應不可見類的新任務. MAML[13]是一種基于梯度優(yōu)化的方法, 該算法提出的模型使用少量的梯度迭代步驟就可以學習到適用于新任務的參數(shù), 它將元學習器設計為一個優(yōu)化器, 可以學習更新模型參數(shù), 能夠匹配任何使用梯度下降法訓練的模型. Antoniou等[2]對MAML進行了一定優(yōu)化, 使得系統(tǒng)的泛化性能進一步提高, 網(wǎng)絡的收斂速度進一步加快. LEO[14]利用編碼器-解碼器體系結(jié)構(gòu)挖掘潛在的生成表示, 對空間中的每個點都進行分類預測, 保留訓練好的參數(shù), 使其可以在極低數(shù)據(jù)區(qū)域預測高維參數(shù). Chen等[15]提出了一個基準模型, 用于評估小樣本泛化能力, 通過實驗發(fā)現(xiàn)若是特征提取網(wǎng)絡能力夠強, 類內(nèi)差異性的作用會大大減小. Jamal等[16]提出了一種基于任務無偏思想的元學習算法, 通過基于熵減最大化的TAML和基于最小化不平等性的TAML, 提高模型的泛化能力. 在文獻[17]中, Elsken等人將神經(jīng)架構(gòu)搜索引入到小樣本學習中,將神經(jīng)架構(gòu)搜索中的DARTS算法與小樣本學習中的Reptile算法結(jié)合, 在訓練權(quán)重參數(shù)的同時訓練結(jié)構(gòu)參數(shù).

2.3 其他方法

圖形神經(jīng)網(wǎng)絡最初是為處理圖形結(jié)構(gòu)數(shù)據(jù)[6,18]上的任務而設計的. 圖神經(jīng)網(wǎng)絡主要通過遞歸聚合和轉(zhuǎn)換相鄰節(jié)點來細化節(jié)點表示. 最近的方法[19-21]被提議在少鏡頭學習任務領域利用圖神經(jīng)網(wǎng)絡. TPN[19]提出一種直推式傳播網(wǎng)絡, 將轉(zhuǎn)換設置引入基于圖的小樣本學習. 首先將支持集和查詢集輸入特征網(wǎng)絡得到特征向量, 然后將每個樣本作為結(jié)點構(gòu)建圖模型. 利用圖拉普拉斯算子處理結(jié)點間的權(quán)重, 利用圖模型對查詢樣本進行預測. EGNN[21]提出了一種邊標簽圖卷積神經(jīng)網(wǎng)絡, 利用樣本之間的同異性來預測邊緣標簽特征,以求顯示類內(nèi)共同性和類間差異性. DLDL[3]是在分類和回歸任務中為每個實例分配離散分布而不是一個熱標簽的研究之一. CPNN[22]將特征和標簽作為輸入, 并生成框架中只有一個隱藏層的標簽分布. LDLFs[23]設計了一種基于決策樹算法的分布學習方法.

3 框架

3.1 問題定義

小樣本學習的訓練集中包含了很多的類別, 每個類別都有大量樣本. 訓練階段, 在訓練集中隨機抽取C個類別, 每個類別K個樣本(總共C×K個數(shù)據(jù)), 構(gòu)建一個元任務, 作為模型的支撐集; 再從這C個類中剩余的數(shù)據(jù)中抽取一批樣本作為模型的查詢集. 小樣本學習要求模型從C×K個數(shù)據(jù)中學會如何區(qū)分這C個類別, 這樣的任務被稱為C-way K-shot問題.

在這里我們假設訓練類為Ctrain, 測試類為Ctest. 訓練類與測試類的標簽是互不相交的. 我們有訓練數(shù)據(jù)集Dtrain={(Ii, yi), yi∈Ctrain}和測試數(shù)據(jù)Dtest={(Ii, yi), yi∈Ctest}. 訓練過程中, 每次都通過采樣不同的元任務進行訓練. 通過這種學習機制在訓練數(shù)據(jù)集上學到的模型, 在對測試數(shù)據(jù)集中的查詢集樣本進行分類時, 也能較好地進行分類.

3.2 模型概覽

我們提出了一個名為融合擴充-雙重特征提取的模型. 我們給出具體的模型圖(圖1), 以便于直觀地看到模型的組成. 它由融合擴充模塊、雙重特征提取模塊和分類模塊組成.

3.2.1 融合擴充模塊

小樣本學習需要解決的主要困難之一是支持集中數(shù)據(jù)樣本過少的問題. 通過數(shù)據(jù)擴充方法, 我們可以有效地緩解這個問題. 受到文獻[4]的啟發(fā), 我們引入了一種有效的數(shù)據(jù)擴充方法-融合擴充方法. 假如說有兩張圖片, 一張圖片中的黃鸝在休息, 另一張圖片中的黃鸝在飛行; 通過觀察黃鸝這兩種不同的狀態(tài), 我們?nèi)祟愒诳吹揭恢焕销椩谛菹r, 可以聯(lián)想到老鷹飛行的畫面. 這種方法就是模擬人類這種思維, 通過規(guī)則泛化來對支持集中的樣本進行擴充.

融合擴充模塊的具體過程如圖1所示, 直觀地說,我們希望融合器通過某一類別不同樣本之間的變換規(guī)則(例如不同的姿態(tài)或者背景等), 對另一種類別的樣本進行擴充. 我們將融合器表示為T(I, S; WT). 其中,I表示樣本示例, S表示規(guī)則向量, WT為融合器T 的參數(shù). 我們利用訓練集中的大量樣本數(shù)據(jù)來訓練融合器T, 不斷調(diào)整融合器的參數(shù), 使經(jīng)過融合器融合而成的樣本更加有效. 對于每個類別a樣本的變換規(guī)則(例如a1→a2) , 從另一個類別b中找到另一對規(guī)則b1→b2,使得a1→a2和 b1→b2之間的余弦距離最小. 利用所有余弦相似度大于零的例子來不斷訓練融合器, 不斷調(diào)整融合器的參數(shù). 然后, 假設b1的輸出為我們最小表 示輸出值與真實值b2之間的均方誤差. 經(jīng)過訓練集中大量數(shù)據(jù)的訓練與調(diào)整后, 我們得到融合器T , 我們將樣本示例I 和規(guī)則向量作為輸入, 融合器輸出融合示例I′. 融合器的目標是生成額外的支持集示例, 從而幫助分類算法構(gòu)建更好的分類器. 我們通過元學習直接訓練融合器, 在C-way Kshot問題中, 對于每個類, 我們都利用融合器T生成n個額外的示例.

圖1 融合擴充-雙重特征提取模型

具體來說, 在元測試過程中, 我們從支持集Support中隨機獲取一個真實的樣本(I, y)和一個規(guī)則矢量S,然后將其輸入到T , 得到一個融合示例(I′, y). 我們將I′表示為: I′= T(I, S; WT), (I, y)是從支持集中隨機采樣的示例.融合示例的集合為S upport′. 我們將這些融合示例添加到支持集S upport, 就可以得到擴充后的支持集S upport+.

3.2.2 雙重特征提取模塊

我們的模型是基于度量學習的模型. 學習一個映射函數(shù) f(·), 通過該函數(shù)將樣本映射到一個嵌入空間進行分類是度量學習方法的一個最重要思想. 在嵌入空間中, 越相似的樣本距離越接近, 通過Softmax分類器對嵌入點 f(I′)進行分類. 該分類器通常指最后一個全連接層, 然后是Softmax層. 我們通過最小化交叉熵損失來學習此類映射和分類器權(quán)重:

其中, Wk表示Softmax分類器的權(quán)重矩陣W的第k列.

我們通過文獻[4,24]發(fā)現(xiàn), 對嵌入向量和權(quán)重向量應用L2歸一化, 可以讓分類器具有更好的泛化性能. 因此我們首先對嵌入向量和權(quán)重向量進行L2歸一化:

為了確保在特殊情況下(例如類內(nèi)方差過大、類間方差太小數(shù)據(jù)分散在特征空間中), 也可以通過每個類別的一個或幾個樣本嵌入點構(gòu)造一個穩(wěn)定的決策邊界, 我們在學習分類器后給出一個約束: 特征點與其分類器權(quán)重要盡量接近. 總損失由式(7)給出:

其中, I是訓練圖像, Y是標簽, λ是加權(quán)參數(shù), s是式(7)中的比例因子.

雙重特征提取模塊如圖1所示. 從擴充后的支持集和查詢集中抽取的樣本, 經(jīng)過雙重特征提取器, 提取出整體特征和局部特征, 從而得到樣本的整體權(quán)重和局部特征權(quán)重, 通過與基類權(quán)重的比較, 找到其中最為重要的分類特征, 從而實現(xiàn)分類. 雖然局部特征在一定程度上不如整體特征的分辨力強, 但是在可見類和不可見類之間發(fā)生轉(zhuǎn)換時, 局部特征的一般性以及它的非具體性, 使得它對于描述不可見類的新概念有著非常重要的作用. 因此, 我們構(gòu)建一個局部特征提取器fi(I), 用于從早期層中提取局部特征. 我們在卷積層添加了一個全局最大池層, 并連接這些層中的所有池化功能, 將它們連接到給全連接層. 我們的整體特征提取fz(I)是倒數(shù)第二層-全局池化層. 因為該層可以提供整個圖像的信息.

雙重特征提取器的具體過程如圖2所示. 我們從經(jīng)典神經(jīng)網(wǎng)絡模型的不同層構(gòu)造兩個特征提取器, 分別命名為局部特征提取器fi(I)和整體特征提取器fz(I),然后通過以分類器為中心的余弦Softmax損耗, 在訓練集的大量數(shù)據(jù)上聯(lián)合學習這些表示. 一旦學習了表示, 我們就從新示例中提取樣本的雙重特征, 并將它們連接起來以構(gòu)造分類器權(quán)重. 然后, 使用通過代入獲得局部特征表示的損失:

圖2 局部特征提取器和整體特征提取器

總的來說, 可以通過最小化以下?lián)p失函數(shù)來學習多級和以分類器為中心的表示:

3.2.3 分類模塊

基本分類器的總權(quán)重矩陣也通過相應地連接其分類器權(quán)重來獲得:

給定一個新類別p的輸入訓練樣本 Ip, 我們通過fc=(Ip)提取特征向量, 并直接將其用作新類別c的分類器權(quán)重然后, 我們通過在分類器權(quán)重矩陣Wb中插入權(quán)重Wp來擴展基本分類器, 從而使整個系統(tǒng)能夠識別新概念p. 如果新的p類有多個可用的訓練示例, 我們將使用與文獻[24]中相同的方法使用平均嵌入. 給定訓練示例, 我們首先計算平均嵌入量, 計算方法為:

最后通過標準化得到權(quán)重向量Wp:

4 實驗

在本節(jié)中, 我們首先對實驗中所用的兩個數(shù)據(jù)集,評價指標以及參數(shù)設置進行了介紹, 之后將我們提出的方法與其他基線方法進行比較. 最后我們詳細分析了模型中不同模塊的設置所帶來的影響.

4.1 數(shù)據(jù)集

我們在Mini-ImageNet和Tiered-ImageNet兩個基準數(shù)據(jù)集上進行試驗. 針對C-way K-shot問題, 我們在實驗中設置不同的C, K值驗證論文所設計模型的性能.

Mini-ImageNet數(shù)據(jù)集總共有60 000張圖片, 是從ImageNet數(shù)據(jù)集[25]中的大量圖片提出而來, 在60 000張圖片共分為100個類別, 每個類別里有600張圖片,每張圖片的規(guī)格為84×84. 按照傳統(tǒng)的數(shù)據(jù)劃分, 我們將64, 16和20個類別分別當作訓練集, 驗證集和測試集[26]. 圖3為Mini-ImageNet數(shù)據(jù)集的5個類別, 每個類別5個示例.

圖3 Mini-ImageNet數(shù)據(jù)集示例

Tiered-ImageNet數(shù)據(jù)集是小樣本分類的常用數(shù)據(jù)集之一. 與Mini-ImageNet一樣, Tiered-ImageNet數(shù)據(jù)集也是由ImageNet數(shù)據(jù)集中的圖片提取得到. 但是,Tiered-ImageNet共有608個類, 并且每個類有1 281張圖像. 類似于將字符分組為字母的Omniglot一樣,Tiered-ImageNet將類別分為與ImageNet層次結(jié)構(gòu)中較高級別的節(jié)點相對應的更廣泛的類別. 根據(jù)文獻[27]中使用的數(shù)據(jù)劃分, 我們分別將35 197和160個類別作為訓練集, 驗證集和測試集. 圖4為Tiered-ImageNet數(shù)據(jù)集的5個示例.

圖4 Tiered-ImageNet數(shù)據(jù)集示例

4.2 實驗設置

我們的代碼在PyTorch深度學習平臺上實現(xiàn). 在5-way 1-shot和5-way 5-shot設置中實驗我們的方法.對于C-way K-shot設置, 每個epicode由C個類組成,每個類包含K個支持樣本. 為了方便比較, 我們在實驗中使用ResNet-12[28]作為特征提取器. ResNet-12帶有4個濾波器個數(shù)為64、128、256和512的殘差塊, 每個殘差塊由3×3個卷積層組成, 在每個殘差塊的末尾帶有2×2最大池化層, 可以用來減小輸出大小. 我們從零開始在基類上訓練我們的模型90個epoch, 輸入圖像大小設置為84×84. 學習率從0.1開始, 每30個epoch除以10, 固定權(quán)重衰減為0.000 1. 然后, 我們使用以分類器為中心的約束對模型進行進一步微調(diào), 學習率為0.000 1.

4.3 Baselines

我們選取了一些經(jīng)典的、具有代表性模型和目前比較先進的幾個模型與我們的模型進行比較. Relation-Net[8]采用距離度量網(wǎng)絡來學習支持和查詢樣本中的逐點關系. 嵌入和度量學習方法另一類少鏡頭學習方法旨在使用度量學習方法優(yōu)化可轉(zhuǎn)移嵌入; CAN[29]引入了一個交叉注意網(wǎng)絡, 該網(wǎng)絡包含一個交叉注意模塊, 可以用來突出目標區(qū)域, 從而是提取到的特征更具有代表性; DeepEMD[5]設計了一種交叉參考機制, 可以有效地減少類內(nèi)背景雜波和較大外觀變化的影響,并提出學習一個結(jié)構(gòu)化的全連接層, 可以對密集圖像表示進行分類; CTM[12]提出了一種新的目錄遍歷模塊,該模塊可以提取到類內(nèi)相同特征和類間不同特征, 從而提高分類準確率; TapNet[30]設計了一個與任務相關的分類空間, 在該空間內(nèi)進行距離度量, 而且每個類別的參考向量是通過學習更新得到的, 而不是根據(jù)訓練樣本的特征向量計算得到的. 除了基于度量的小樣本學習方法, 我們也從基于優(yōu)化和基于模型的小樣本學習方法中選擇幾個經(jīng)典模型作為參考, 包括MAML[13]提出一個模型無關的元學習算法, 該算法適用于任何一個可使用梯度下降更新訓練的模型, 并且可用于分類、回歸、強化學習等場景; MTL[27]使用了一個較深的網(wǎng)絡ResNet-12, 在預訓練模型的參數(shù)固定的前提下,對預訓練模型的每層參數(shù)重新學習一個縮放和平移,在保證預訓練模型不損失特性的前提下, 重新訓練了參數(shù), 減小了模型參數(shù); DSN[31]通過引入一個由少量樣本構(gòu)建的動態(tài)分類器, 為小樣本學習提供了一個框架.實驗結(jié)果如表1所示.

表1 FE-DF與其他方法在基準數(shù)據(jù)集上的實驗結(jié)果

4.4 實驗分類結(jié)果

從實驗結(jié)果分析, 我們可以看出我們提出的融合擴充-雙重特征提取模型是有效的. 與CAN相比, 我們的模型準確率有所提高, 這說明我們的雙重特征提取模塊和融合擴充模塊是有效的. CAN中使用了一個交叉注意模塊, 該模塊能夠突出支持集樣本和查詢集樣本之間的主要特征, 從而提取到有效特征進行分類; 我們的雙重特征提取模塊目的也是突出兩者直接的主要特征, 但是我們的模塊通過雙重特征比較, 與交叉注意模塊相比更加全面、簡單. ICI中提出了一種利用查詢集樣本擴充支持集樣本的數(shù)據(jù)擴充方法, 我們的融合擴充方法與這種方法相比更加簡單, 我們可以利用已有的方式對樣本進行擴充, 而且我們的融合擴充方法具有一定的泛化性, 可以用在其他的小樣本分類模型中.

4.5 消融實驗

在本節(jié)中, 我們通過一系列實驗證實了融合擴充-雙重特征提取模型中各個組成部分的有效性.

如表2、表3所示, 為了進一步驗證融合擴充模塊(FE)和雙重特征提取模塊(DF)的有效性, 我們將這2個模塊應用于3個經(jīng)典的小樣本分類模型: 匹配網(wǎng)絡[6]、原型網(wǎng)絡[7]和關系網(wǎng)絡[8]. 我們在Mini-ImageNet數(shù)據(jù)集上進行實驗, 通過實驗我們可以看到, 我們的融合擴充模塊(FE)和雙重特征提取模塊(DF)都具有不錯的泛化性, 可以提高這些原有模型的分類性能. 而且在低數(shù)據(jù)問題比較嚴重的1-shot中, 我們的融合擴充模塊(FE)效果要比5-shot更好, 這說明數(shù)據(jù)越少, 我們的數(shù)據(jù)擴充方法效果越明顯, 雙重特征提取模塊對于模型分類效果的提升甚至高于融合擴充模塊, 這說明進行小樣本分類時, 通過雙重特征關注到相關性最強的特征對于分類是很重要的.

表2 在不同的設置下, 融合擴充模塊(FE)應用于不同網(wǎng)絡的結(jié)果

表3 在不同的設置下, 雙重特征提取模塊(DF)應用于不同網(wǎng)絡的結(jié)果

如表4所示, 通過對3種不同提取特征圖的方法的比較, 我們可以發(fā)現(xiàn)我們的雙重特征提取特征圖的方法總體來看是具有優(yōu)勢的, 同時, 通過實驗比較發(fā)現(xiàn),我們的雙重特征提取方法在實驗中的收斂速度要更加高效.

表4 5-way 5-shot下, 3種不同特征提取方法的比較

圖5-圖7顯示了在5-way 5-shot設置下, 用Mini-ImageNet數(shù)據(jù)集對3個經(jīng)典模型進行實驗的實驗結(jié)果.

通過對圖5-圖7的分析觀察, 我們發(fā)現(xiàn)融合擴充模塊和雙重特征提取模塊都能夠?qū)Ψ诸惤Y(jié)果產(chǎn)生較好的提升, 這說明我們的方法是有效的, 而且我們的模塊可以與任意模型搭配使用, 具有較好的泛化性. 同時,通過圖5-圖7的實驗結(jié)果我們可以發(fā)現(xiàn), 在匹配網(wǎng)絡、原型網(wǎng)絡以及關系網(wǎng)絡這3個分類模型上添加我們的模塊后, 模型的收斂性能有了一定的提升, 特別是在關系網(wǎng)絡中, 效果更為明顯. 這說明我們的融合擴充模塊和雙重特征提取模塊在一定程度上能夠較好地提升模型的收斂速率.

圖5 在5-way 5-shot設置下, 融合擴充模塊和雙重特征提取模塊對匹配網(wǎng)絡的分類提升結(jié)果

圖6 在5-way 5-shot設置下, 融合擴充模塊和雙重特征提取模塊對原型網(wǎng)絡的分類提升結(jié)果

圖7 在5-way 5-shot設置下, 融合擴充模塊和雙重特征提取模塊對關系網(wǎng)絡的分類提升結(jié)果

5 結(jié)論

在本文中, 我們首先引入了一種融合擴充方法, 通過利用同類樣本間的變化規(guī)則, 泛化到其他類別樣本,從而達到擴充數(shù)據(jù)的目的. 其次, 我們提出了一種雙重特征提取方法, 通過訓練不同的特征提取器, 對同一樣本進行局部特征和整體特征分別進行采集, 使提取的特征更加全面有效, 從而更容易找到與分類最為相關的特征, 提高模型的分類準確度. 我們通過大量的實驗證明, 與現(xiàn)有的基線方法相比, 我們的模型在Mini-ImageNet和Tiered-ImageNet兩個基準數(shù)據(jù)集上都取得了不錯的效果.