遲春誠,李蔓菁,閆 紅,李付學(xué)

(1.沈陽化工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,遼寧 沈陽 110142;2.營口理工學(xué)院 電氣工程學(xué)院,遼寧 營口 115014)

近年來,神經(jīng)機(jī)器翻譯在許多場景下已經(jīng)超過統(tǒng)計機(jī)器翻譯模型,成為機(jī)器翻譯領(lǐng)域的主流范式.特別是文獻(xiàn)[1]中提出的Transformer模型,摒棄了傳統(tǒng)的基于循環(huán)神經(jīng)網(wǎng)絡(luò)和基于卷積網(wǎng)絡(luò)的方法,是一種完全基于注意力機(jī)制的模型結(jié)構(gòu),在眾多神經(jīng)機(jī)器翻譯模型中性能先進(jìn).該模型沿用經(jīng)典的端到端架構(gòu),僅依賴雙語平行數(shù)據(jù),通過注意力機(jī)制翻譯知識,整個過程無需人工參與.許多研究發(fā)現(xiàn)[2-5],雙語數(shù)據(jù)資源制約著神經(jīng)機(jī)器翻譯模型的性能,即使是數(shù)據(jù)資源豐富的語言對,在特定的垂直領(lǐng)域雙語平行資源也是稀缺的.如中英語言對中的旅游行業(yè)數(shù)據(jù),特別是在稀缺資源語言翻譯任務(wù)方面,譯文的質(zhì)量下降非常明顯.然而,收集和整理雙語平行數(shù)據(jù)是一項(xiàng)非常耗時且成本高昂的工作.因此,稀缺資源語言的翻譯成為研究的熱點(diǎn)問題.

數(shù)據(jù)增強(qiáng)是深度學(xué)習(xí)領(lǐng)域緩解數(shù)據(jù)稀疏的一個非常重要的技術(shù),它通過構(gòu)建額外的訓(xùn)練數(shù)據(jù)或?yàn)橐延袛?shù)據(jù)添加噪聲,進(jìn)而增強(qiáng)模型的魯棒性.數(shù)據(jù)增強(qiáng)已廣泛應(yīng)用在計算機(jī)視覺領(lǐng)域,如裁剪、翻轉(zhuǎn)圖像和調(diào)整圖像大小等.然而,在自然語言處理任務(wù)中,由于自然語言的復(fù)雜性,即使細(xì)微的變化,可能也會影響句子的語義,甚至出現(xiàn)語法或句法錯誤.因此,不能簡單地將應(yīng)用于計算機(jī)視覺領(lǐng)域的數(shù)據(jù)增強(qiáng)方法直接用于自然語言處理任務(wù)上.特別是在機(jī)器翻譯任務(wù)中,高質(zhì)量的偽雙語數(shù)據(jù)集難以生成,這給數(shù)據(jù)增強(qiáng)帶來了巨大的挑戰(zhàn).針對機(jī)器翻譯任務(wù),眾多學(xué)者提出了一些數(shù)據(jù)增強(qiáng)方法,開展了相關(guān)研究工作[3-5].針對稀缺資源語言對的翻譯任務(wù),本文提出了一種基于子樹交換的數(shù)據(jù)增強(qiáng)方法.該方法在成分句法分析的基礎(chǔ)上,運(yùn)用子樹交換算法,生成新的偽單語數(shù)據(jù),再通過反向翻譯模型為偽單語數(shù)據(jù)生成目標(biāo)譯文,構(gòu)成偽雙語平行數(shù)據(jù).通過這種方式產(chǎn)生的新句子結(jié)構(gòu)完整,符合語法規(guī)則,且無需借助額外的資源.

1 數(shù)據(jù)增強(qiáng)方法

數(shù)據(jù)增強(qiáng)(Data Augmentation)是指在機(jī)器學(xué)習(xí)中對原始數(shù)據(jù)集進(jìn)行變換、擴(kuò)展等操作,以產(chǎn)生更多、更豐富、更具代表性的數(shù)據(jù)集的方法.數(shù)據(jù)增強(qiáng)最早應(yīng)用在計算機(jī)視覺領(lǐng)域,目的是增加訓(xùn)練數(shù)據(jù)集的多樣性和覆蓋范圍,提高模型的泛化能力和魯棒性,減少模型的過擬合和提高模型的性能.數(shù)據(jù)增強(qiáng)在神經(jīng)機(jī)器翻譯領(lǐng)域中的應(yīng)用主要包括以下三種方式:一是對原始句子進(jìn)行隨機(jī)變換,如交換短語、替換同義詞、增加或刪除單詞等,以增加訓(xùn)練數(shù)據(jù)集的多樣性;二是在原始句子中引入噪聲,如加入語法錯誤、打亂單詞順序等;三是利用雙語數(shù)據(jù)中的對齊信息,將原始的句子進(jìn)行切割和組合,生成新句子對.

數(shù)據(jù)增強(qiáng)的作用在神經(jīng)機(jī)器翻譯中主要有以下三個方面:一是增加訓(xùn)練數(shù)據(jù)的多樣性和數(shù)量.通過數(shù)據(jù)增強(qiáng)可以產(chǎn)生更多的句子對,增加訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性,從而提高模型的泛化能力和翻譯質(zhì)量.二是提高模型的魯棒性.通過引入噪聲和隨機(jī)變換,可以使模型在面對真實(shí)世界中存在的各種語言變化時更加穩(wěn)健和可靠.三是通過數(shù)據(jù)增強(qiáng)可以降低模型的過擬合風(fēng)險.在數(shù)據(jù)增強(qiáng)領(lǐng)域內(nèi),眾多神經(jīng)機(jī)器翻譯研究人員通過研究和探索,提出了許多有效的方法,主要包含以下幾類:

一類數(shù)據(jù)增強(qiáng)方法是基于反向翻譯,利用引入單語數(shù)據(jù)來擴(kuò)充機(jī)器翻譯模型的訓(xùn)練數(shù)據(jù)集.對于使用源語言端單語數(shù)據(jù),文獻(xiàn)[4]提出了一種自學(xué)習(xí)方法,將源語言端單語數(shù)據(jù)翻譯成目標(biāo)語言以擴(kuò)充訓(xùn)練集,提升模型性能.對于使用目標(biāo)端單語數(shù)據(jù),文獻(xiàn)[6]提出了一種反向翻譯的數(shù)據(jù)增強(qiáng)方法,該方法將目標(biāo)端單語數(shù)據(jù)翻譯成對應(yīng)的源語言端句子以擴(kuò)充訓(xùn)練集;文獻(xiàn)[7]使用來自源語言端和目標(biāo)語言端的單語數(shù)據(jù)進(jìn)一步擴(kuò)展了反向翻譯方法.

另一類數(shù)據(jù)增強(qiáng)方法是基于詞替換.文獻(xiàn)[8-9]提出了在低資源語言中使用同義詞替換作為數(shù)據(jù)增強(qiáng)的手段.文獻(xiàn)[10]提出將源語言句子和目標(biāo)端句子中的詞替換為詞匯表中的其他詞.文獻(xiàn)[11]提出了兩種向句子中添加噪聲的方法:一是用占位符隨機(jī)替換句子中的單詞,二是用詞匯表中具有相似頻率分布的其他詞替換句子中的詞.文獻(xiàn)[12]提出隨機(jī)交換句子中距離相近的詞.文獻(xiàn)[13]提出的上下文增強(qiáng)可以看作是一種新的方法,它通過利用語言模型將一些詞替換為另一個詞,雖然這種方法可以保持基于上下文信息的語義,但這種增強(qiáng)仍然有局限性,即需生成具有足夠變化的新樣本,需要多次采樣.鑒于語言的詞匯量通常很大,幾乎不可能利用所有可能的候選詞來取得好的表現(xiàn).此外,由于序列的微小修改會導(dǎo)致其語義發(fā)生極端變化,因此,為神經(jīng)機(jī)器翻譯等一些艱巨的自然語言處理任務(wù)尋求簡單的對應(yīng)關(guān)系是一項(xiàng)艱巨的任務(wù).文獻(xiàn)[14]提出在句子中隨機(jī)丟棄一些詞,以通過編碼器幫助神經(jīng)機(jī)器翻譯訓(xùn)練.文獻(xiàn)[15]通過將目標(biāo)端句子中的詞與稀有詞替換并修改源語言句子中所對應(yīng)的詞來改進(jìn)神經(jīng)機(jī)器翻譯的訓(xùn)練樣本.文獻(xiàn)[16]提出了一種利用雙向語言模型來替換詞的數(shù)據(jù)增強(qiáng)方法.低資源數(shù)據(jù)的局限性使上述兩類數(shù)據(jù)增強(qiáng)方法難以得到預(yù)期的效果.與上述方法相比,本文提出的數(shù)據(jù)增強(qiáng)方法與詞交換的思想相似,可以通過設(shè)置子樹根節(jié)點(diǎn)的成分屬性值,進(jìn)而在原有的基礎(chǔ)上產(chǎn)生更多的樣本數(shù)據(jù).

2 神經(jīng)機(jī)器翻譯

2.1 神經(jīng)機(jī)器翻譯方法

自2013年起,神經(jīng)機(jī)器翻譯模型采用一種新型的端到端的架構(gòu),由編碼器-解碼器兩部分組成.編碼器-解碼器分別由多層循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)堆疊構(gòu)成.長短期記憶網(wǎng)絡(luò)(Long Short-term Memory Network)和門機(jī)制(Gate Mechanism)是循環(huán)神經(jīng)網(wǎng)絡(luò)的兩個優(yōu)秀變體,與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比,這兩種變體解決了多層循環(huán)神經(jīng)網(wǎng)絡(luò)梯度爆炸(消失)和長文本依賴問題.

編碼器將輸入的文本信息壓縮成向量表示并傳遞給解碼器,解碼器通過向量生成對應(yīng)的目標(biāo)端文本信息.然而,不管輸入的文本長度是多少,編碼器都要將其壓縮成一個固定長度的向量,這會給解碼過程帶來更大的復(fù)雜性和不確定性,尤其是輸入為長文本時.為解決這一問題,神經(jīng)機(jī)器翻譯模型引入了注意力機(jī)制(Attention Mechanism),當(dāng)解碼器生成當(dāng)前時刻句子中的詞時,可以基于注意力機(jī)制將其動態(tài)成一個加權(quán)文本向量(Context Vector),進(jìn)而通過此文本向量預(yù)測相應(yīng)的詞,顯著提升了神經(jīng)機(jī)器翻譯模型的翻譯性能.

2.2 Transformer模型

對循環(huán)神經(jīng)網(wǎng)絡(luò)相關(guān)的神經(jīng)機(jī)器翻譯方法而言,其模型對句子中的詞只能逐詞處理,訓(xùn)練速度較慢;而Transformer模型卻可以將句子作為整體處理,加快了訓(xùn)練進(jìn)程,提高了訓(xùn)練處理效率.Transformer模型架構(gòu)圖如圖1所示.該模型僅僅通過注意力機(jī)制[17]和前饋神經(jīng)網(wǎng)絡(luò)便擁有強(qiáng)大的特征表示能力,并且通過注意力機(jī)制巧妙地解決了機(jī)器翻譯中長距離依賴問題.因此,該模型非常適合處理語言文字序列這類任務(wù).Transformer模型通過堆疊多個相同的網(wǎng)絡(luò)結(jié)構(gòu),分別組成了編碼器和解碼器.

圖1 Transformer模型架構(gòu)圖

自注意力(Self-Attention)機(jī)制是Transformer模型的重要組成部分,也是傳統(tǒng)注意力機(jī)制的一種變體.自注意力機(jī)制相比于傳統(tǒng)的注意力機(jī)制,減少了對外部信息的依賴,專注于捕獲自身內(nèi)部相關(guān)性,進(jìn)而能夠更精準(zhǔn)地捕獲詞之間的句法特征或語義特征.在自注意力機(jī)制中,查詢(Query,Q)、鍵(Key,K)和值(Value,V)均來自同一向量.計算自注意力要先對三個矩陣分別進(jìn)行線性變換,然后進(jìn)行縮放點(diǎn)積操作,公式為

(1)

多頭注意力機(jī)制則采用h個注意力頭表示輸入信息,將多頭注意力的輸出拼接乘以權(quán)重矩陣得到向量輸出,公式為

(2)

其中,

這里h代表多頭注意力機(jī)制中頭的個數(shù).

編碼器中每個相同堆疊結(jié)構(gòu)都包含一個自注意力子層和一個前饋神經(jīng)網(wǎng)絡(luò)子層.為了能夠更好地優(yōu)化深層網(wǎng)絡(luò)結(jié)構(gòu),Transformer模型在每個子層使用了層正則化和殘差連接,公式為

LayerNorm(x+Sublayer(x))

(3)

相比于編碼器,解碼器同樣堆疊了多個相同的網(wǎng)絡(luò)結(jié)構(gòu).除了編碼器中的兩個子層,解碼器還額外包含一個子層,一般稱為編碼器-解碼器注意力子層.編碼器-解碼器注意力子層對編碼器的輸出向量再執(zhí)行一次注意力加權(quán)操作,用于捕獲當(dāng)前翻譯和編碼的特征向量之間的聯(lián)系.編碼器提取源語言句子中的信息,進(jìn)行多層的信息提取,最后頂層的輸出便是編碼端的特征表示.解碼器和編碼器類似,在每個子層后都包含層正則化和殘差連接操作.此外,解碼器的自注意力子層需要屏蔽未來的序列,因此一般稱為帶掩碼的自注意力子層.

所謂掩碼,是指自注意力加權(quán)計算過程中,在進(jìn)行縮放點(diǎn)積操作之后,將表示未來位置部分的權(quán)重設(shè)置為-∞,這樣在經(jīng)過softmax函數(shù)歸一化之后,未來位置的概率無限趨近于0.這樣做的意義在于,遮擋部分序列的內(nèi)容,使得解碼器在解碼的過程中,只能依賴當(dāng)前的預(yù)測結(jié)果進(jìn)行下一步預(yù)測.如果使用普通的自注意力機(jī)制,模型可以看到完整序列,也就是可以看到自己的預(yù)測結(jié)果,這樣會導(dǎo)致訓(xùn)練解碼不一致問題.因此,帶掩碼的自注意力層的引入有效解決了這個問題,同時,通過掩碼操作,在訓(xùn)練期間模型也無法獲得將來的信息,從而和解碼階段相匹配.

3 子樹交換數(shù)據(jù)增強(qiáng)方法

基于子樹交換的數(shù)據(jù)增強(qiáng)方法在原始數(shù)據(jù)集的基礎(chǔ)上,無需引入額外的資源,通過子樹交換算法生成新的偽雙語句對,提升訓(xùn)練數(shù)據(jù)的多樣性,增強(qiáng)模型的泛化能力和魯棒性,降低過擬合的風(fēng)險并提升翻譯質(zhì)量.該方法包含兩個步驟:第一,通過子樹交換算法產(chǎn)生新的目標(biāo)端單語句子;第二,利用反向翻譯方法翻譯目標(biāo)端句子生成偽雙語句對.

3.1 子樹交換算法

句法分析是自然語言處理中的基礎(chǔ)性工作,句法樹可以清晰描述句子的層次結(jié)構(gòu)和詞之間的相互關(guān)系.子樹交換算法依賴于成分句法分析,該算法具體步驟如下:

(1)使用Stanford CoreNLP[18]在目標(biāo)語言端構(gòu)建成分句法樹,遍歷句法樹,記錄第一個葉子節(jié)點(diǎn)所在的層,將其標(biāo)記為d,記錄最深層葉子節(jié)點(diǎn)的深度為n.

(2)將d層中所有節(jié)點(diǎn)(葉子節(jié)點(diǎn)和非葉子節(jié)點(diǎn))加入子樹交換候選節(jié)點(diǎn)集合S,并且設(shè)置要交換子樹的根結(jié)點(diǎn)成分屬性NP.

(3)對遍歷子樹交換候選節(jié)點(diǎn)集合S的每個節(jié)點(diǎn)進(jìn)行篩選和擴(kuò)展,規(guī)則如下:

a)若集合S中存在兩個成分屬性為NP的節(jié)點(diǎn),則交換這兩個以NP為根節(jié)點(diǎn)的子樹.

b)若集合S中存在兩個以上成分屬性為NP的節(jié)點(diǎn),則交換前兩個以NP為根節(jié)點(diǎn)的子樹.

c)若集合S中不存在相同的成分屬性為NP的節(jié)點(diǎn),則清空集合S,將d+1層中所有節(jié)點(diǎn)加入集合S,重復(fù)步驟(3).

d)若子樹成功交換一次,則算法終止;若當(dāng)前層為(n-1)層且不存在符合交換的子樹,則算法終止.

(4)子樹交換后生成新的成分句法樹,自左至右依次將葉子節(jié)點(diǎn)組合得到新句子.成分句法樹樣例如圖2所示.

圖2 成分句法樹樣例圖

3.2 偽雙語數(shù)據(jù)

使用子樹交換算法生成單語數(shù)據(jù)后,需要生成其對應(yīng)的譯文.為了構(gòu)造雙語平行數(shù)據(jù),使用原始的雙語數(shù)據(jù)訓(xùn)練一個反向機(jī)器翻譯模型,將生成的單語數(shù)據(jù)翻譯,構(gòu)成雙語平行的句子,生成偽雙語數(shù)據(jù)圖,如圖3所示.原始訓(xùn)練集和新生成的偽雙語數(shù)據(jù)混合,能得到數(shù)據(jù)增強(qiáng)后的訓(xùn)練集.

圖3 生成偽雙語數(shù)據(jù)圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)預(yù)處理與模型設(shè)置

4.1.1 數(shù)據(jù)預(yù)處理 為了驗(yàn)證本文方法的有效性,采用公開標(biāo)準(zhǔn)的IWSLT14和WMT18數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).為了便于與已有的數(shù)據(jù)增強(qiáng)方法進(jìn)行公平對比,將IWSLT14希伯來語-英語(He-En)和德語-英語(De-En)兩個翻譯任務(wù)的數(shù)據(jù)設(shè)置與文獻(xiàn)[19]相同.在IWSLT14意大利語-英語(It-En)翻譯任務(wù)中使用dev2014作為驗(yàn)證集,tst2014作為測試集,bpe編碼合并次數(shù)限制在10 K.WMT18土耳其-英語(Tr-En)翻譯任務(wù)的數(shù)據(jù)設(shè)置與文獻(xiàn)[20]相同.需要注意的是,部分句子不滿足子樹交換算法的條件,各個訓(xùn)練集子樹交換成功的句子數(shù)量如表1所示.

表1 目標(biāo)語言端子樹交換統(tǒng)計

4.1.2 模型設(shè)置 IWSLT14德語-英語采用標(biāo)準(zhǔn)的Transformer模型,其編碼器和解碼器兩端堆疊層數(shù)為6,每一層8個注意力頭,輸入詞向量維度設(shè)置為512,前饋全連接網(wǎng)絡(luò)的輸出維度為2 048.其他翻譯任務(wù)則采用Transformer_small模型,其編碼器和解碼器兩端堆疊層數(shù)為6,每一層4個注意力頭,輸入詞向量維度設(shè)置為512,前饋全連接網(wǎng)絡(luò)的輸出維度為1 024.所有實(shí)驗(yàn)均采用Adam優(yōu)化器進(jìn)行模型優(yōu)化[21],dropout設(shè)置為0.3,其他參數(shù)保持默認(rèn)設(shè)置.在譯文質(zhì)量評價方面,我們使用譯文測評工具BLEU對翻譯任務(wù)進(jìn)行評測[22],為保證結(jié)果的有效性,將波束搜索大小設(shè)為5.

4.2 實(shí)驗(yàn)與分析

4.2.1 多任務(wù)翻譯性能 使用基于子樹交換的數(shù)據(jù)增強(qiáng)方法生成偽雙語數(shù)據(jù)后,與原始訓(xùn)練集混合,在IWSLT14德語-英語、希伯來語-英語、意大利語-英語和WMT18土耳其語-英語四個翻譯任務(wù)上驗(yàn)證系統(tǒng)性能.實(shí)驗(yàn)數(shù)據(jù)如表2所示.從實(shí)驗(yàn)數(shù)據(jù)可以看出,本文的方法在所有翻譯任務(wù)上均有提升,特別是在希伯來語-英語任務(wù)上BLEU得分提高了0.78,展現(xiàn)出良好的性能.

表2 多任務(wù)翻譯性能

4.2.2 與其他數(shù)據(jù)增強(qiáng)方法對比 為了進(jìn)一步展示本文提出的數(shù)據(jù)增強(qiáng)方法的有效性,使用該方法與其他現(xiàn)有的數(shù)據(jù)增強(qiáng)方法進(jìn)行對比,結(jié)果如表3所示.為了公平比較實(shí)驗(yàn)結(jié)果,本文實(shí)驗(yàn)數(shù)據(jù)集的設(shè)置與數(shù)據(jù)來源(文獻(xiàn)[19])保持一致.從IWSLT14 希伯來語-英語(He-En)的翻譯任務(wù)可以看出,除了Smooth方法和SCA方法取得了較好的性能外,本文提出的方法優(yōu)于其他方法,可以證明本文方法的魯棒性.

表3 與其他數(shù)據(jù)增強(qiáng)方法比較

4.2.3 源語言端子樹交換 本文提出的方法是將子樹交換算法應(yīng)用于目標(biāo)語言生成偽單語數(shù)據(jù).為進(jìn)一步驗(yàn)證方法的穩(wěn)定性,本節(jié)將子樹交換算法應(yīng)用于源語言端,生成源語言的偽單語數(shù)據(jù),需要首先訓(xùn)練源語言-目標(biāo)語言的正向翻譯模型,最終生成偽雙語數(shù)據(jù).本文使用WMT18英語-土耳其語(En-Tr)的翻譯任務(wù)進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示.從表4可以看出,使用子樹交換算法作用于源語言端生成偽雙語數(shù)據(jù)后,模型的性能依然明顯提升(BLEU得分提高了0.4),從而進(jìn)一步證實(shí)了本文提出的數(shù)據(jù)增強(qiáng)方法的有效性.

5 結(jié)論

表4 源語言端子樹交換翻譯性能

本文提出一種稀缺資源神經(jīng)機(jī)器翻譯數(shù)據(jù)增強(qiáng)方法,使用子樹交換算法生成單語句子,再通過翻譯模型生成對應(yīng)的英文,構(gòu)建偽雙語數(shù)據(jù).通過多個稀缺資源語言對翻譯任務(wù)的實(shí)驗(yàn)結(jié)果看出,相對于基線系統(tǒng),該方法顯著提升了模型的翻譯性能.在未來的工作中,可以將該方法應(yīng)用于其他文本生成類的任務(wù)中,或繼續(xù)探索基于句法分析的數(shù)據(jù)增強(qiáng)方法.