王志洋，呂雅娟，劉 群

(1. 中國(guó)科學(xué)院 計(jì)算技術(shù)研究所, 中國(guó)科學(xué)院 智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京 100190；2. 中國(guó)科學(xué)院 研究生院，北京 100049)

1 引言

形態(tài)豐富語(yǔ)言的主要特征是高度豐富的形態(tài)變化，像曲折(Inflection)、派生(Derivation)、復(fù)合(Composition)等。給定一個(gè)詞根，通過(guò)形態(tài)變化可以衍生出成百上千種新的形式；例如蒙古語(yǔ)詞根UILED，理論上至少可以有1 710種變化形式[1]。如果將每一種變化形式都看作單獨(dú)的詞，這會(huì)大大增加詞匯量，導(dǎo)致語(yǔ)言模型參數(shù)估計(jì)的不可信，并提高未登錄詞(Out-Of-Vocabulary, OOV)的比例。對(duì)統(tǒng)計(jì)機(jī)器翻譯而言，這種數(shù)據(jù)稀疏現(xiàn)象會(huì)嚴(yán)重影響詞語(yǔ)對(duì)齊和翻譯的質(zhì)量。這類語(yǔ)言給自然語(yǔ)言處理，尤其是機(jī)器翻譯帶來(lái)了巨大的挑戰(zhàn)。

我國(guó)是一個(gè)多民族國(guó)家，很多少數(shù)民族都有自己的語(yǔ)言文字，并在本民族的各個(gè)領(lǐng)域中廣泛應(yīng)用。使用較多的少數(shù)民族語(yǔ)言，像維吾爾語(yǔ)、蒙古語(yǔ)、哈薩克語(yǔ)等都屬于形態(tài)豐富語(yǔ)言。研究這些少數(shù)民族語(yǔ)言與漢語(yǔ)之間的翻譯，對(duì)加強(qiáng)民族之間的溝通交流、文化傳播、經(jīng)濟(jì)發(fā)展有重要的意義。而在與中國(guó)海陸相鄰的二十一個(gè)國(guó)家中，除中國(guó)南部的極少數(shù)國(guó)家(像越南、緬甸、老撾等)，大部分國(guó)家使用的語(yǔ)言都有豐富的形態(tài)變化，像俄語(yǔ)、日語(yǔ)、韓語(yǔ)等。通過(guò)研究這些語(yǔ)言與漢語(yǔ)之間的翻譯，對(duì)維護(hù)地區(qū)穩(wěn)定、促進(jìn)交流合作等有重要作用。

本文主要研究形態(tài)豐富語(yǔ)言到漢語(yǔ)的翻譯。由于這類語(yǔ)言形態(tài)變化復(fù)雜，而且雙語(yǔ)資源相對(duì)匱乏。為了充分利用有限的雙語(yǔ)語(yǔ)料，緩解數(shù)據(jù)稀疏問(wèn)題，本文將這類語(yǔ)言表示為不同的粒度，并分別進(jìn)行翻譯，然后利用系統(tǒng)融合技術(shù)將不同粒度的翻譯結(jié)果進(jìn)行融合，以提高機(jī)器翻譯的性能。具體來(lái)說(shuō)，對(duì)同樣一份雙語(yǔ)語(yǔ)料，我們將源語(yǔ)言(形態(tài)豐富語(yǔ)言)用不同的粒度(詞、詞干、詞素等)表示，并使用同一個(gè)翻譯系統(tǒng)分別翻譯；然后將不同粒度的翻譯結(jié)果進(jìn)行詞級(jí)系統(tǒng)融合。維吾爾語(yǔ)、蒙古語(yǔ)到漢語(yǔ)的兩組翻譯實(shí)驗(yàn)表明，這種多粒度融合方法改善了翻譯效果，BLEU值[2]比最好的單系統(tǒng)分別提高了+1.41%和+2.03%。

2 相關(guān)工作

在機(jī)器翻譯任務(wù)中，當(dāng)源語(yǔ)言為形態(tài)豐富語(yǔ)言時(shí)，一般有以下幾種處理思路。一種是選擇合適的粒度，嘗試通過(guò)不同的詞干詞綴組合來(lái)改善翻譯效果。Lee[3]先對(duì)阿拉伯語(yǔ)進(jìn)行詞法分析，然后通過(guò)合并或刪除某些詞綴，來(lái)平衡阿拉伯語(yǔ)和英語(yǔ)之間的詞級(jí)語(yǔ)義；類似的工作還有文獻(xiàn)[4]等。另外一種方式是預(yù)調(diào)序，讓源句子的語(yǔ)序更接近目標(biāo)句子，最有代表性的是Collins等人的工作[5]，類似的預(yù)調(diào)序方式還有文獻(xiàn)[6-8]等。這類方法往往需要借助句法分析技術(shù)，這對(duì)很多語(yǔ)言，尤其是形態(tài)豐富語(yǔ)言往往是不可得的。還有一種思路是盡量利用形態(tài)句法信息。Koehn等[9]提出了基于要素(Factor)的模型，這能夠更好地融合形態(tài)和句法信息；但若使用要素過(guò)多，會(huì)影響調(diào)參效果和翻譯速度。Dyer等[10]將源句子詞法分析的結(jié)果表示為詞圖(Lattice)形式，使輸入更具容錯(cuò)性，在阿拉伯語(yǔ)到英語(yǔ)的翻譯任務(wù)上取得了一定的效果。

在本文中，我們將源語(yǔ)言切分表示為不同的粒度，分別抽取翻譯模型進(jìn)行翻譯；然后將不同粒度的翻譯結(jié)果進(jìn)行系統(tǒng)融合。相比Koehn等人[9]的方法，不同粒度的翻譯模型都是單獨(dú)調(diào)參的，這樣即使引入更多的粒度，也不會(huì)影響調(diào)參效果；跟基于詞圖的方法比，我們的方法簡(jiǎn)單而直接。

與本文工作類似的是Gispert等人的工作[11]，他們通過(guò)使用不同的切分工具對(duì)源語(yǔ)言切分，然后使用最小貝葉斯風(fēng)險(xiǎn)(Minimum Bayes Risk, MBR)[12]的方法對(duì)翻譯結(jié)果進(jìn)行融合。而本文使用同一個(gè)詞法分析工具，獲得源語(yǔ)言句子的不同粒度表示，像詞、詞干、詞綴等。此外，文獻(xiàn)[11]的融合方式是句子級(jí)的，更像是一種重排序(Re-rank)技術(shù)；而本文使用的是詞級(jí)系統(tǒng)融合，這往往能產(chǎn)生更好的融合效果[13]。

3 多粒度翻譯

在上一節(jié)中提到，翻譯中一個(gè)常見思路是選擇合適的粒度來(lái)表示形態(tài)豐富的語(yǔ)言端，然后再進(jìn)行翻譯。但合適的粒度往往與雙語(yǔ)語(yǔ)料的規(guī)模以及翻譯語(yǔ)言對(duì)本身有關(guān)。在本文中，我們使用不同的粒度進(jìn)行翻譯，然后再將翻譯結(jié)果進(jìn)行詞級(jí)融合。因?yàn)椴煌牧６缺碚髁苏Z(yǔ)言不同層面的特征；直覺上，不同粒度的翻譯結(jié)果融合應(yīng)該可以生成更好的結(jié)果。例如，詞(Word)粒度的翻譯規(guī)則更精確，但豐富形態(tài)變化導(dǎo)致的數(shù)據(jù)稀疏，會(huì)使規(guī)則覆蓋面有限；詞干(Stem)能表征詞的大部分語(yǔ)義，使用詞干粒度能夠大大緩解詞稀疏的問(wèn)題，但會(huì)引發(fā)某些歧義；而詞素(Morpheme)粒度，融入了更多的句法信息，可以生成更符合句法的結(jié)果，但詞素粒度過(guò)小，給詞語(yǔ)對(duì)齊和翻譯調(diào)序都帶來(lái)了負(fù)擔(dān)。

由于不同的粒度表示各有其優(yōu)缺點(diǎn)，我們將其分別翻譯，然后將翻譯結(jié)果融合，盡量利用各種粒度的優(yōu)點(diǎn)，以改善翻譯質(zhì)量。圖1是一個(gè)維語(yǔ)句子經(jīng)過(guò)詞法分析后，不同粒度表示的結(jié)果。

圖1 維語(yǔ)句子的不同粒度表示(對(duì)應(yīng)的中文是“分組審議”)

4 詞級(jí)系統(tǒng)融合

在自然語(yǔ)言處理中，幾個(gè)功能相似的系統(tǒng)執(zhí)行同一任務(wù)時(shí)，可能有多個(gè)輸出結(jié)果，系統(tǒng)融合就是將這些結(jié)果進(jìn)行融合，以改善最終結(jié)果。具體到機(jī)器翻譯任務(wù)，每個(gè)翻譯模型都有相應(yīng)的優(yōu)點(diǎn)，生成的譯文也有所差別；系統(tǒng)融合可以將多個(gè)系統(tǒng)的譯文融合起來(lái)，充分利用各種系統(tǒng)的優(yōu)點(diǎn)，輸出更好的譯文。

在機(jī)器翻譯中有多種系統(tǒng)融合方式，根據(jù)操作目標(biāo)語(yǔ)言句子粒度的不同，可以分為三類：

a) 句子級(jí)系統(tǒng)融合： 對(duì)同一個(gè)源語(yǔ)言句子，利用MBR解碼[12]或重打分的方法比較多個(gè)系統(tǒng)的翻譯結(jié)果，將最優(yōu)結(jié)果輸出。句子級(jí)系統(tǒng)融合方法不會(huì)產(chǎn)生新的翻譯假設(shè)(Hypothesis)，它只是在已有的翻譯假設(shè)中挑選出“最好”的一個(gè)，本質(zhì)上屬于一種重排序技術(shù)。

b) 短語(yǔ)級(jí)系統(tǒng)融合： 根據(jù)多個(gè)系統(tǒng)輸出的結(jié)果，重新抽取或生成與測(cè)試集相關(guān)的短語(yǔ)表，再利用新的短語(yǔ)表對(duì)測(cè)試集重新解碼。

c) 詞級(jí)系統(tǒng)融合： 首先將不同系統(tǒng)的輸出的翻譯結(jié)果利用詞對(duì)齊方法構(gòu)建混淆網(wǎng)絡(luò) (Confusion Network)，再選取一定的特征在混淆網(wǎng)絡(luò)上進(jìn)行解碼。

在實(shí)際融合性能上，Macherey等[13]對(duì)這三種融合方法進(jìn)行了經(jīng)驗(yàn)性的比較。實(shí)驗(yàn)結(jié)果顯示，相關(guān)度較小的翻譯系統(tǒng)之間進(jìn)行融合，在性能上詞級(jí)系統(tǒng)融合最好，句子級(jí)最差。本文采用的融合方法是詞級(jí)系統(tǒng)融合。

4.1 詞級(jí)系統(tǒng)融合

圖2(a)是傳統(tǒng)的詞級(jí)系統(tǒng)融合的流程圖。首先收集各系統(tǒng)的翻譯假設(shè)，然后按照MBR方法為每個(gè)系統(tǒng)選取一個(gè)基準(zhǔn)假設(shè)，按照一定的對(duì)齊方法將每個(gè)非基準(zhǔn)假設(shè)和基準(zhǔn)假設(shè)對(duì)齊以構(gòu)建混淆網(wǎng)絡(luò)。最后在構(gòu)建好的混淆網(wǎng)絡(luò)上搜索最優(yōu)路徑，將最優(yōu)路徑上的詞拼接起來(lái)便得到最終譯文。

圖2 詞級(jí)系統(tǒng)融合流程圖

詞語(yǔ)對(duì)齊在構(gòu)建混淆網(wǎng)絡(luò)的時(shí)候尤為重要，它影響最終譯文的生成。在基于混淆網(wǎng)絡(luò)的系統(tǒng)融合模型中，應(yīng)用最廣泛的是Rosti等[14]和He等[15]提出的方法。兩者的主要區(qū)別在于對(duì)齊方法的不同，前者采用類似編輯距離的TER(Translation Edit Rate)作為標(biāo)準(zhǔn)進(jìn)行對(duì)齊，后者采用基于間接隱馬爾科夫模型(Indirect HMM, IHMM)的方法來(lái)進(jìn)行對(duì)齊。由于IHMM的方法不僅考慮了兩個(gè)目標(biāo)詞之間的字面相似度，還考慮了它們之間的語(yǔ)義相似度，進(jìn)而取得了更好的對(duì)齊效果。本文采用了基于IHMM的對(duì)齊方法。

IHMM方法將基準(zhǔn)假設(shè)中的詞看成是隱馬模型的狀態(tài)，翻譯假設(shè)中的詞看作是隱馬模型的觀察序列，基準(zhǔn)假設(shè)和翻譯假設(shè)之間的詞對(duì)齊關(guān)系當(dāng)作隱變量，于是可以使用一階隱馬模型來(lái)估計(jì)翻譯假設(shè)相對(duì)于基準(zhǔn)假設(shè)的條件概率：

轉(zhuǎn)移概率p(aj|aj-1,I)對(duì)詞序重排進(jìn)行建模，它取決于對(duì)齊的詞之間的跳轉(zhuǎn)距離，一般將其分成幾類，并賦予一定的經(jīng)驗(yàn)值。由于是單語(yǔ)對(duì)齊，對(duì)同序的對(duì)齊給予獎(jiǎng)勵(lì)，而給非同序的對(duì)齊一定的懲罰。

最終的對(duì)齊結(jié)果可以通過(guò)Viterbi算法搜索得到：

在生成最終的譯文時(shí)，我們使用了一些特征來(lái)進(jìn)行打分，它們通過(guò)對(duì)數(shù)線性模型組合在一起。

E*=argmaxE(λALpAL+λLMpLM

+λNULLNNULL(E)+λWORDNWORD(E))

其中pAL為詞的置信度，pLM為語(yǔ)言模型得分，NNULL(E)為插入空詞的懲罰，NWORD(E)為長(zhǎng)度懲罰。λ為對(duì)應(yīng)的權(quán)重。

4.2 多粒度系統(tǒng)融合

圖2(b)是多粒度系統(tǒng)融合的流程圖。相比傳統(tǒng)的利用多個(gè)翻譯系統(tǒng)來(lái)進(jìn)行融合，本文只使用一個(gè)翻譯系統(tǒng)；并將源語(yǔ)言通過(guò)多種不同粒度來(lái)表示，而不是單一的表示。由于不同的粒度可以刻畫形態(tài)豐富語(yǔ)言不同層面的特征，使用同一個(gè)翻譯系統(tǒng)來(lái)翻譯不同的粒度，得到不同粒度的翻譯結(jié)果，再進(jìn)行詞級(jí)系統(tǒng)融合，直覺上可以生成更好的翻譯結(jié)果。

由于對(duì)源語(yǔ)言有不同粒度的表示，在翻譯假設(shè)對(duì)齊過(guò)程中，計(jì)算語(yǔ)義相似度時(shí)需要考慮不同的粒度，并使用相應(yīng)粒度的雙語(yǔ)詞典來(lái)計(jì)算單詞間的語(yǔ)義相似程度。

5 實(shí)驗(yàn)

形態(tài)豐富語(yǔ)言眾多，這里我們僅以維吾爾語(yǔ)和蒙古語(yǔ)為例。通過(guò)維吾爾語(yǔ)、蒙古語(yǔ)到漢語(yǔ)的翻譯實(shí)驗(yàn)，來(lái)驗(yàn)證我們的方法。

將源語(yǔ)言表示為多種粒度，需要通過(guò)詞法分析工具來(lái)完成。我們按照姜文斌等[17]的有向圖思想實(shí)現(xiàn)了維語(yǔ)詞法分析工具，重現(xiàn)了蒙古語(yǔ)詞法分析工具。這里我們使用了詞、詞干、詞素三種粒度來(lái)進(jìn)行融合。

基于短語(yǔ)的Moses*http://www.statmt.org/moses/，著名的開源工具。系統(tǒng)作為基線翻譯系統(tǒng)，翻譯質(zhì)量使用基于詞的BLEU-4來(lái)衡量。在利用Moses進(jìn)行翻譯時(shí)，語(yǔ)言模型是根據(jù)對(duì)應(yīng)訓(xùn)練集的中文部分，利用工具SRILM[18]訓(xùn)練的五元模型；系統(tǒng)融合時(shí)，語(yǔ)言模型是使用約41M的LDC中文語(yǔ)料*包括LDC2002E18, LDC2003E07, LDC2003E14, Hansards portion of LDC2004T07, LDC2004T08和LDC2005T06的中文部分。訓(xùn)練的五元模型。

5.1 維吾爾語(yǔ)到漢語(yǔ)翻譯

我們收集了面向新聞?lì)I(lǐng)域和政府文獻(xiàn)的約120K維—漢平行句對(duì)，通過(guò)去重，過(guò)濾掉單詞數(shù)超過(guò)100的句對(duì)，最終得到的有效句對(duì)數(shù)目為117 419句對(duì)。然后隨機(jī)各抽取出1 000句作為開發(fā)集和測(cè)試集，剩余部分作為訓(xùn)練集。這里，開發(fā)集和測(cè)試集均為單參考譯文。

在訓(xùn)練集上的統(tǒng)計(jì)信息如表1所示。經(jīng)過(guò)詞法分析后，數(shù)據(jù)稀疏現(xiàn)象得到較大緩解，詞干和詞素粒度都大大減少了詞匯量。

當(dāng)源語(yǔ)言使用不同粒度表示時(shí)，翻譯結(jié)果如表2所示。顯然使用詞干和詞素粒度都在一定程度上改善了翻譯效果。

然后我們將不同粒度的翻譯結(jié)果的100-best，進(jìn)行詞級(jí)系統(tǒng)融合。由于源語(yǔ)言采用不同粒度表示，因此在融合時(shí)需要選擇一個(gè)粒度作為基準(zhǔn)對(duì)齊，開發(fā)、測(cè)試集源端以及雙語(yǔ)詞典都使用同樣一種粒度表示。表3是實(shí)驗(yàn)結(jié)果，可以看出，不論使用哪種粒度作為基準(zhǔn)，系統(tǒng)融合的結(jié)果都有穩(wěn)定提高，BLEU值都提高了1個(gè)點(diǎn)以上。

表1 維—漢訓(xùn)練語(yǔ)料統(tǒng)計(jì)信息

表2 不同粒度表示的翻譯結(jié)果

表3 維—漢翻譯系統(tǒng)融合結(jié)果(和單系統(tǒng)最好結(jié)果比較)

實(shí)際上，在Moses生成的N-best結(jié)果中，有一些是重復(fù)的。表4是N-best列表去重前后的總數(shù)目的變化，有50%以上的翻譯假設(shè)都是重復(fù)的。

表4 N-best結(jié)果去重前后總數(shù)量對(duì)比

將去重后的N-best結(jié)果進(jìn)行系統(tǒng)融合，結(jié)果如表5所示。

表5 N-best去重后維—漢翻譯結(jié)果

總的來(lái)說(shuō)，N-best去重后再融合，詞和詞素粒度為基準(zhǔn)粒度時(shí)，BLEU值略有提高；但當(dāng)詞干粒度作為基準(zhǔn)系統(tǒng)時(shí)，反而有所下降，不如去重前的效果。

5.2 蒙古語(yǔ)到漢語(yǔ)翻譯

蒙漢翻譯實(shí)驗(yàn)使用的是CWMT09*http://www.icip.org.cn/cwmt2009/index.html的蒙漢語(yǔ)料的口語(yǔ)部分，共有34 135句對(duì)。各隨機(jī)抽出500句進(jìn)行開發(fā)測(cè)試，剩下的33 135句對(duì)作為訓(xùn)練集。

表6是不同粒度的翻譯結(jié)果，使用詞干和詞素粒度都改善了翻譯質(zhì)量，提高了2個(gè)點(diǎn)以上。

表6 蒙—漢不同粒度的翻譯結(jié)果

表7是取100-best進(jìn)行系統(tǒng)融合的結(jié)果。和維—漢翻譯的結(jié)果類似，這種多粒度系統(tǒng)融合的方式，都能帶來(lái)翻譯質(zhì)量的穩(wěn)定提高；跟最好的單系統(tǒng)結(jié)果相比，這里BLEU值也都有1個(gè)點(diǎn)左右的提高。尤其是詞素粒度作為基準(zhǔn)時(shí)，提高了1.69個(gè)點(diǎn)。

表7 蒙—漢翻譯系統(tǒng)融合結(jié)果(和單系統(tǒng)最好結(jié)果比較)

表8是對(duì)翻譯結(jié)果的N-best去重后的結(jié)果。去重后，融合結(jié)果相比去重前的結(jié)果，都有一定的提高。其中當(dāng)使用詞干粒度作為基準(zhǔn)粒度時(shí)，BLEU值比去重前提高了約1個(gè)點(diǎn)，共計(jì)提高了2.03個(gè)點(diǎn)。

表8 N-best去重后蒙—漢系統(tǒng)融合結(jié)果

總體來(lái)說(shuō)，在蒙—漢翻譯任務(wù)上，N-best去重后再進(jìn)行融合，結(jié)果更穩(wěn)健。

6 結(jié)論

當(dāng)待翻譯的源語(yǔ)言為形態(tài)豐富語(yǔ)言時(shí)，本文將其切分為不同的粒度，分別使用翻譯引擎進(jìn)行翻譯，并將不同粒度的翻譯結(jié)果通過(guò)詞級(jí)系統(tǒng)融合技術(shù)進(jìn)行融合優(yōu)化，從而改善翻譯質(zhì)量。通過(guò)將不同粒度的結(jié)果進(jìn)行詞級(jí)融合，可以優(yōu)勢(shì)互補(bǔ)，生成更好的譯文。在維漢和蒙漢機(jī)器翻譯實(shí)驗(yàn)上，本方法都取得了不錯(cuò)的效果。

本方法直接而有效，在下一步工作中，可以在其他形態(tài)豐富語(yǔ)言上進(jìn)行嘗試。此外，本文只是利用了三種粒度來(lái)進(jìn)行融合，可考慮融入更多的粒度并在可獲得的更大規(guī)模的平行語(yǔ)料庫(kù)上進(jìn)行實(shí)驗(yàn)，來(lái)進(jìn)一步改善翻譯質(zhì)量。

7 致謝

感謝內(nèi)蒙古大學(xué)和新疆大學(xué)提供的語(yǔ)料，感謝新疆大學(xué)的麥熱哈巴·艾力老師在維吾爾語(yǔ)知識(shí)層面的幫助。

[1] 那順烏日?qǐng)D,劉群,巴達(dá)瑪放德斯?fàn)? 面向機(jī)器翻譯的蒙古語(yǔ)生成[C]//全國(guó)第六屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集, 清華大學(xué)出版社, 2001.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation[C]//Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, 2002:311-318.

[3] Young-Suk Lee. Morphological Analysis for Statistical Machine Translation[C]//Proceedings of HLT-NAACL 2004, 2004:57-60.

[4] Sonja Nie?en and Hermann Ney. Statistical Machine Translation with Scarce Resources using Morpho-syntactic Information[J].Computational Linguistics, 2004, 30: 181-204.

[5] Michael Collins, Philipp Koehn, and Ivona Ivona Ku?erová. Clause restructuring for statistical machine translation[C]//Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, 2005:531-540.

[6] Marine Carpuat, Yuval Marton, and Nizar Habash. Improving Arabic-to-English Statistical Machine Translation by Reordering Post-verbal Subjects for Alignment[C]//Proceedings of the ACL 2010 Conference Short Papers, 2010: 178-183.

[7] Dmitriy Genzel. Automatically Learning Source-side Reordering Rules for Large Scale Machine Translation[C]//Proceedings of the 23rd International Conference on Computational Linguistics, 2010:376-384.

[8] Peng Xu, Jaeho Kang, Michael Ringgaard, Franz Josef Och. Using a Dependency Parser to Improve SMT for Subject-Object-Verb Languages[C]//Proceedings of 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, 2009:245-253.

[9] Philipp Koehn and Hieu Hoang. Factored Translation Models[C]//Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2007:868-876.

[10] C. Dyer, S. Muresan, and P. Resnik. Generalizing Word Lattice Translation[C]//Proceedings of ACL-08: HLT, 2008: 1012-1020.

[12] S. Kumar, W. Byrne. Minimum Bayes Risk Decoding for Statistical Machine Translation[C]//Proceedings of HLT-NAACL 2004, 2004:169-176.

[13] W. Macherey, F. J. Och. An Empirical Study on Computing Consensus Translations from Multiple Machine Translation Systems[C]//Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2007:986-995.

[14] Antti-Veikko I. Rosti, Spyros Matsoukas, and Richard Schwartz. Improved Word-level System Combination for Machine Translation[C]//Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, 2007:312-319.

[15] Xiaodong He, Mei Yang, Jangfeng Gao, Patrick Nguyen, and Robert Moore. Indirect-HMM-based Hypothesis Alignment for Computing Outputs from Machine Translation Systems[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, 2008:98-107.

[16] Frans J. Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models[J]. Computational Linguistics, 2003, 29:19-51.

[17] 姜文斌,吳金星,長(zhǎng)青,等. 蒙古語(yǔ)詞法分析的生成式統(tǒng)計(jì)建模[C]//少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展, 2010年.

[18] Andreas Stolcke. SRILM-an Extensible Language Modeling Toolkit[C]//Proceedings of International Conference on Spoken Language Processing, 2002:901-904.