王 翠,王 璐,解雪琴,楊建香,和麗華,侯俊龍,潘文林

(云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,云南 昆明 650500)

佤語(yǔ)是跨境的少數(shù)民族語(yǔ)言,對(duì)少數(shù)民族語(yǔ)言佤語(yǔ)的識(shí)別研究有利于國(guó)家安全和少數(shù)民族文化保護(hù).佤語(yǔ)作為中國(guó)語(yǔ)言資源保護(hù)工程采集的少數(shù)民族語(yǔ)言之一,專家在語(yǔ)料庫(kù)中抽樣發(fā)現(xiàn)人工標(biāo)注仍然存在很多問(wèn)題,說(shuō)明精準(zhǔn)的標(biāo)注不僅昂貴而且十分困難.然而,目前對(duì)佤語(yǔ)的研究主要停留在語(yǔ)音學(xué)的角度[1-2],主要包括音素,音節(jié),詞法分析等,這些研究為佤語(yǔ)的實(shí)驗(yàn)語(yǔ)音學(xué)發(fā)展提供準(zhǔn)確的人工標(biāo)注樣本奠定了語(yǔ)音學(xué)基礎(chǔ).佤語(yǔ)數(shù)據(jù)集包含1 860類孤立詞,每類僅包含20個(gè)樣本；imageNet數(shù)據(jù)集的分類類別大約在1 200類,每類超過(guò)1 000張圖片,所以本文的實(shí)驗(yàn)數(shù)據(jù)存在分類類別多,每類所包含的分類樣本數(shù)目少的情況.

由于深度學(xué)習(xí)的成功,許多領(lǐng)域利用深度學(xué)習(xí)的方法來(lái)處理識(shí)別和分類的研究問(wèn)題：語(yǔ)音[3],視覺(jué)[4]和語(yǔ)言[5].目前最好的機(jī)器學(xué)習(xí)系統(tǒng)需要成千上萬(wàn)的例子用于訓(xùn)練,例如：GoolNet[6]模型擁有22層神經(jīng)網(wǎng)絡(luò),ImageNet作為訓(xùn)練數(shù)據(jù)集,對(duì)1 000類進(jìn)行分類,訓(xùn)練數(shù)據(jù)達(dá)到120萬(wàn),準(zhǔn)確率達(dá)到93%；Inception[7-8]模型結(jié)合殘差連接,同樣以ImageNet作為訓(xùn)練數(shù)據(jù)集,準(zhǔn)確率達(dá)到96.7%.一些主流語(yǔ)言憑借大量數(shù)據(jù)樣本應(yīng)用深度學(xué)習(xí)方法的研究產(chǎn)品基本已落地：Google利用注意力機(jī)制LAS對(duì)英語(yǔ)的識(shí)別率達(dá)到94.6%；百度利用端到端模型[9-10]識(shí)別英語(yǔ)和漢語(yǔ)2種語(yǔ)言.Qingnan Wang[11]利用端到端模型對(duì)藏語(yǔ)的音節(jié)進(jìn)行識(shí)別.蔡琴[12]利用HTK對(duì)維吾爾語(yǔ)的連續(xù)數(shù)字短語(yǔ)的識(shí)別率達(dá)到80%,對(duì)詞的識(shí)別率達(dá)到91.19%.然而,佤語(yǔ)的手工標(biāo)注昂貴費(fèi)時(shí)且缺乏標(biāo)簽,尋找一種適合小樣本學(xué)習(xí)的方法對(duì)佤語(yǔ)的識(shí)別研究非常有幫助.

目前,常規(guī)分類方法對(duì)小樣本的識(shí)別研究主要有2種方案：①利用支持向量機(jī)對(duì)小樣本進(jìn)行研究；②通過(guò)擴(kuò)充數(shù)據(jù)樣本應(yīng)用深度學(xué)習(xí)的方法進(jìn)行研究.傅美君[13-14]通過(guò)提取佤語(yǔ)的2個(gè)動(dòng)態(tài)特征基因和共振峰,并基于遺傳支持向量機(jī)和免疫遺傳多核支持向量機(jī)完成對(duì)佤語(yǔ)的分類準(zhǔn)確率達(dá)到86%,精度還有一定的提升空間.機(jī)器學(xué)習(xí)在少量數(shù)據(jù)下學(xué)習(xí)新概念的能力欠缺,如果直接將深度學(xué)習(xí)方法應(yīng)用到小樣本學(xué)習(xí)容易發(fā)生過(guò)擬合現(xiàn)象,直接擴(kuò)大佤語(yǔ)的標(biāo)記樣本難以實(shí)現(xiàn),且效果不一定好.人類僅僅通過(guò)少量的學(xué)習(xí)便可以辨別不同物體,元學(xué)習(xí)模仿人類學(xué)習(xí)的能力適合小樣本學(xué)習(xí).王璐[15]采用元學(xué)習(xí)方法Reptile對(duì)小樣本的佤語(yǔ)進(jìn)行識(shí)別,最終識(shí)別率達(dá)到93%.MAML是Chelsea Finn[16]借助從其他任務(wù)學(xué)習(xí)到的經(jīng)驗(yàn)知識(shí)應(yīng)用到新任務(wù)的方法,加快小樣本中新任務(wù)的訓(xùn)練。MAML成為小樣本領(lǐng)域的一種主流方法, 具有快速學(xué)習(xí)的能力,本文選用MAML方法對(duì)小樣本的佤語(yǔ)孤立詞進(jìn)行識(shí)別研究.

1 相關(guān)工作

人類具有快速學(xué)習(xí)的能力,已經(jīng)證明人類在學(xué)習(xí)新事物時(shí)只需要少量的樣本且準(zhǔn)確率較高[17].借鑒人類的學(xué)習(xí)經(jīng)驗(yàn)僅僅通過(guò)少數(shù)的例子就可以快速學(xué)習(xí)新例子,元學(xué)習(xí)模仿人類的學(xué)習(xí)能力,讓模型學(xué)會(huì)學(xué)習(xí),元學(xué)習(xí)的快速發(fā)展將縮短人類和機(jī)器學(xué)習(xí)對(duì)小樣本識(shí)別的差距.元學(xué)習(xí)在小樣本識(shí)別[18]主要有2個(gè)研究方向：概念學(xué)習(xí)和經(jīng)驗(yàn)學(xué)習(xí).目前小樣本識(shí)別發(fā)展快速：谷歌的One-shot匹配網(wǎng)絡(luò)[19]通過(guò)在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上添加外部記憶,將學(xué)習(xí)到的新概念知識(shí)應(yīng)用到小樣本學(xué)習(xí),在imagenet數(shù)據(jù)集上的One-shot學(xué)習(xí)準(zhǔn)確率從87.6%提升到93.2%. Finn[16]提出MAML是小樣本識(shí)別領(lǐng)域非常好的方法之一,模型不僅簡(jiǎn)單而且功能強(qiáng)大,可以快速適應(yīng)深度網(wǎng)絡(luò),在不同任務(wù)上訓(xùn)練的模型可以快速適應(yīng)僅有少量樣本的新任務(wù),在圖像分類、回歸、微調(diào)的強(qiáng)化學(xué)習(xí)上產(chǎn)生不錯(cuò)的效果.

近兩年對(duì)MAML的研究及相關(guān)擴(kuò)展非常多,例如：Finn[20-21]通過(guò)在MAML模型上添加概率得到一種概率元學(xué)習(xí)算法,可以從模型分布中為新任務(wù)模擬目標(biāo)模型,處理小樣本的模糊性任務(wù)效果較好；Boney[22]將半監(jiān)督和無(wú)監(jiān)督方法擴(kuò)展到MAML模型,對(duì)無(wú)標(biāo)記的樣本效果明顯優(yōu)于其他方法；Triantafillou[23]構(gòu)造元數(shù)據(jù)集為了在不同的任務(wù)上得到更好的泛化性由大量種類繁多的數(shù)據(jù)組成,Prototypical網(wǎng)絡(luò)和MAML網(wǎng)絡(luò)在元數(shù)據(jù)上的表現(xiàn)欠佳,而在Proto-MAML表現(xiàn)良好.Antonious[24]提出的MAML++是針對(duì)MAML的改進(jìn)算法,明顯提升收斂速度和泛化性能； Singh Behl[25]提出的Alpha MAML合并在線超參數(shù)自適應(yīng)方案從而規(guī)避了MAML的穩(wěn)定性需要大量的參數(shù)調(diào)整.MAML成為小樣本領(lǐng)域的一種主流方法,對(duì)小樣本的研究,有助于對(duì)少量標(biāo)記語(yǔ)言的識(shí)別,本文主要解決小樣本的語(yǔ)音識(shí)別問(wèn)題.

2 元學(xué)習(xí)

2.1 元學(xué)習(xí)的基本單位——任務(wù)

(1)

(2)

表1 元學(xué)習(xí)基本單位(任務(wù))

2.2 元學(xué)習(xí)的學(xué)習(xí)過(guò)程

對(duì)于特定場(chǎng)景的模型學(xué)習(xí)分2個(gè)階段完成,模型訓(xùn)練階段和模型測(cè)試階段.同樣,元學(xué)習(xí)也不例外,由元訓(xùn)練Metatrain和元測(cè)試Metatest共同完成我們的任務(wù),所不同的是,針對(duì)模型的優(yōu)化程度、模型的靈敏度及模型的泛化性能,我們的元學(xué)習(xí)在Metatest階段針對(duì)不同場(chǎng)景存在2種處理方式,經(jīng)微調(diào)后完成元測(cè)試Metaindirect-test和直接元測(cè)試Metadirect-test,2個(gè)階段的數(shù)據(jù)設(shè)置如表2所示.Metatrain階段任務(wù)批次數(shù)為P,每個(gè)批次含有Q個(gè)任務(wù)；Metaindirect-test階段有O個(gè)任務(wù)用于Metatest,Metadirect-test階段有M個(gè)樣本用于Metatest.一般情況下,元訓(xùn)練Metatrain和元測(cè)試Metatest遵循兩不交叉原則：

1)元訓(xùn)練類別CMetatrain(taskpq(xij))和元測(cè)試類別CMetatest(taskp′q′(xi′j′))不能完全相同,即

(3)

2)元訓(xùn)練任務(wù)TMetatrain(taskpq)和元測(cè)試任務(wù)TMetatest(taskp′q′)遵循單個(gè)任務(wù)的兩不交叉原則.

表2 元訓(xùn)練和元測(cè)試設(shè)置

2.3 與模型無(wú)關(guān)的元學(xué)習(xí)——MAML

在特定批次的任務(wù)中(采樣p-th(1≤p≤P)批次,其中包含Q個(gè)任務(wù)),2個(gè)學(xué)習(xí)器的學(xué)習(xí)過(guò)程如下：

2.3.1 基學(xué)習(xí)器

2.3.2 元學(xué)習(xí)器

元訓(xùn)練過(guò)程如算法1所示.

表3 算法1： MAML-training[16]

表4 算法2：MAML-test[16]

整個(gè)MAML-Training階段所要完成的工作是對(duì)先驗(yàn)任務(wù)的經(jīng)驗(yàn)積累.內(nèi)循環(huán)(4～8)即快速學(xué)習(xí)階段,學(xué)習(xí)特定先驗(yàn)任務(wù)屬性；外循環(huán)(9)即元學(xué)習(xí)階段,將特定先驗(yàn)任務(wù)屬性元平攤給模型參數(shù)(元級(jí)參數(shù)).這樣,網(wǎng)絡(luò)一旦收斂,元級(jí)參數(shù)即為我們需要學(xué)習(xí)的初始化參數(shù).

MAML-test階段是將先驗(yàn)任務(wù)學(xué)習(xí)到的模型初始化參數(shù)(即經(jīng)驗(yàn))應(yīng)用到新任務(wù)上,該階段模型只需要幾步微調(diào)即可收斂.

2.4 Reptile

Reptile[26]基于元學(xué)習(xí)的一階梯度學(xué)習(xí)網(wǎng)絡(luò)的初始參數(shù),從而利用元知識(shí)快速適應(yīng)新任務(wù).Reptile能有效避免像二階微分近似所需的計(jì)算時(shí)間和計(jì)算量,所以收斂速度快.梯度下降的更新公式如下.

(4)

Retile通過(guò)學(xué)習(xí)不同任務(wù)的初始參數(shù)W,當(dāng)面對(duì)新任務(wù)時(shí)能夠通過(guò)公共最近快速找到新任務(wù)的梯度下降方向,如圖2所示.

3 實(shí)驗(yàn)

元學(xué)習(xí)能夠利用其他任務(wù)上的先驗(yàn)知識(shí)補(bǔ)充新任務(wù)數(shù)據(jù)不足的缺陷.采用不同大小的佤語(yǔ)訓(xùn)練任務(wù)5-way 1-short和5-way 5-short對(duì)新任務(wù)識(shí)別精度對(duì)比,發(fā)現(xiàn)MAML和Reptile不僅具有快速學(xué)習(xí)能力提升小樣本的識(shí)別精度,而且不會(huì)出現(xiàn)過(guò)學(xué)習(xí)現(xiàn)象.

3.1 數(shù)據(jù)說(shuō)明

佤語(yǔ)數(shù)據(jù)集作為實(shí)驗(yàn)的研究對(duì)象,數(shù)據(jù)集由兩男兩女對(duì)1 860類孤立詞進(jìn)行發(fā)音,每人對(duì)每類孤立詞讀5遍,總計(jì)37 200條佤語(yǔ)孤立詞語(yǔ)音.相比imageNet數(shù)據(jù)集中1 200類,每類1 000個(gè)樣本,佤語(yǔ)數(shù)據(jù)集中的數(shù)據(jù)類別多,每類所含數(shù)據(jù)少的特點(diǎn),訓(xùn)練樣本不足.將語(yǔ)音信號(hào)通過(guò)傅里葉變化轉(zhuǎn)換成對(duì)應(yīng)的語(yǔ)譜圖,分別選用元學(xué)習(xí)領(lǐng)域的Reptile和MAML對(duì)小樣本的佤語(yǔ)數(shù)據(jù)集進(jìn)行研究.以編號(hào)0078和1 550類語(yǔ)音信號(hào)為例,佤語(yǔ)語(yǔ)譜圖如圖3所示,橫坐標(biāo)表示時(shí)間,縱坐標(biāo)表示頻率,顏色的深淺表示能量.

3.2 模型

模型由4層卷積和一層全連接構(gòu)成,每個(gè)卷積層由64個(gè)3×3的卷積核構(gòu)成,每個(gè)卷積操作按先卷積,批量正則化,Relu激活函數(shù),2×2的最大池化順序進(jìn)行.

3.3 實(shí)驗(yàn)過(guò)程

MAML和Reptile模型對(duì)佤語(yǔ)數(shù)據(jù)集的超參數(shù)設(shè)置如下：訓(xùn)練周期epoch=100,epoch_len=400,evel_batches=40,meta_batch_size=4,inner_learning_rate=0.01,meta_learning_rate=0.001,n= 1,k= 5,q=5；n= 1,k= 5,q= 5代表1個(gè)任務(wù)總共有5類,每類訓(xùn)練樣本數(shù)為1測(cè)試樣本為5,即5-way 1-short 5-query任務(wù).利用公式(2)進(jìn)行梯度的迭代更新得到參數(shù)θ′.

3.4 實(shí)驗(yàn)結(jié)果

基于二階梯度更新的MAML模型和一階梯度更新的Reptile模型分別對(duì)5-way1-short任務(wù)和5way 5-short任務(wù)的實(shí)驗(yàn)結(jié)果顯示.圖4表示MAML的準(zhǔn)確率變化曲線：(a)在5-way 1-shot的訓(xùn)練準(zhǔn)確為89.7%,驗(yàn)證準(zhǔn)確率為78.6%；(b)在5-way 5-shot的訓(xùn)練準(zhǔn)確率為96.5%,驗(yàn)證準(zhǔn)確率為94.5%.圖5表示Reptile模型的準(zhǔn)確率變化曲線(a)在5-way 1-shot的訓(xùn)練準(zhǔn)確率接近100%,驗(yàn)證準(zhǔn)確率61.6%；(b)表示Reptile模型在5-way 5-shot的訓(xùn)練準(zhǔn)確率為100%,驗(yàn)證準(zhǔn)確率為93.6%.

實(shí)驗(yàn)結(jié)果分析：橫向比較,同類樣本數(shù)越多,識(shí)別率越高.而元學(xué)習(xí)是一種基于任務(wù)的平攤機(jī)制,學(xué)習(xí)任務(wù)之間的共性,單類樣本數(shù)對(duì)MAML模型的結(jié)果影響沒(méi)有Reptile模型敏感.縱向比較：基于相同網(wǎng)絡(luò)的迭代輪數(shù),一階梯度更新的Reptile模型明顯快于二階梯度更新的MMAL模型,可以使網(wǎng)絡(luò)快速的達(dá)到收斂狀態(tài).

4 結(jié)語(yǔ)

元學(xué)習(xí)使任務(wù)分配上的損失最小化,在同一任務(wù)的梯度更新內(nèi)積最大化,即使在小樣本學(xué)習(xí)的情況下也能達(dá)到不錯(cuò)的效果.MAML和Reptile模型在相同的實(shí)驗(yàn)設(shè)置下對(duì)佤語(yǔ)語(yǔ)譜圖進(jìn)行識(shí)別,實(shí)驗(yàn)結(jié)果表明MMAL達(dá)到的識(shí)別精度更高,而Reptile的收斂速度更快.本實(shí)驗(yàn)的佤語(yǔ)語(yǔ)譜圖并非全屏語(yǔ)譜圖,去除語(yǔ)譜圖的白邊信息提高語(yǔ)譜圖的有效區(qū)域可能改善實(shí)驗(yàn)的識(shí)別精度.充分考慮語(yǔ)譜圖之間的特性,佤語(yǔ)語(yǔ)譜圖之間存在高相似性這一特征,怎樣改進(jìn)元學(xué)習(xí)的方法使其充分利用這一特征將是一個(gè)有趣且值得探究的問(wèn)題.