李 楠，葉 娜，蔡東風(fēng)

(沈陽航空航天大學(xué) 知識工程研究中心，沈陽 110136)

計算機(jī)工程

基于多特征的英漢術(shù)語譯文質(zhì)量自動評價

李 楠，葉 娜，蔡東風(fēng)

(沈陽航空航天大學(xué) 知識工程研究中心，沈陽 110136)

該文通過深入分析術(shù)語的語言學(xué)特點和領(lǐng)域特點，引入了能充分刻畫術(shù)語譯文流利度、緊密度和忠實度的三類特征，即術(shù)語構(gòu)詞、互信息和術(shù)語實例庫，將其與基礎(chǔ)特征進(jìn)行組合，采用機(jī)器學(xué)習(xí)方法中的排序?qū)W習(xí)算法將列表排序問題分解成二分類問題，最后利用最大熵分類器預(yù)測多個翻譯系統(tǒng)的術(shù)語譯文質(zhì)量。實驗結(jié)果表明，在評價英漢術(shù)語翻譯任務(wù)上的多個系統(tǒng)的輸出譯文質(zhì)量時，該文引入的特征，可以進(jìn)一步提高術(shù)語譯文質(zhì)量評價結(jié)果和人工評價結(jié)果的一致性。

術(shù)語；特征；質(zhì)量評價；最大熵分類器

對機(jī)器翻譯譯文質(zhì)量自動評價的研究一直是國內(nèi)外機(jī)器翻譯界的研究熱點，它不僅能夠用來幫助用戶在多個翻譯系統(tǒng)提供的機(jī)器譯文中快速地選擇翻譯質(zhì)量最好的譯文，還可以把譯文質(zhì)量評價的結(jié)果作為反饋信息用來指導(dǎo)研究者們在系統(tǒng)開發(fā)過程中特征參數(shù)的調(diào)整，極大地促進(jìn)了機(jī)器翻譯系統(tǒng)的研究和開發(fā)。

機(jī)器翻譯譯文質(zhì)量自動評價分為有參自動評價和無參自動評價[1]兩種。前者是在有參考譯文的情況下通過比較機(jī)器翻譯輸出的譯文與參考譯文之間的相似性來評測譯文質(zhì)量，例如：BLEU[2]和NIST[3]等。但是，由于參考譯文在覆蓋多種語言現(xiàn)象上的稀疏性，導(dǎo)致它在句子級別譯文質(zhì)量評價結(jié)果上與人工評價結(jié)果的一致性偏低。所以，它們通常用在系統(tǒng)級別的機(jī)器翻譯譯文質(zhì)量自動評價中。

近幾年，研究者們把機(jī)器學(xué)習(xí)的方法引入到機(jī)器翻譯譯文質(zhì)量評價領(lǐng)域，提出了譯文質(zhì)量無參自動評價方法。它是在沒有參考譯文的情況下，以譯文人工評價的結(jié)果為標(biāo)準(zhǔn)，使用有監(jiān)督學(xué)習(xí)的方法對影響譯文質(zhì)量的特征進(jìn)行建模，因此，它能夠較好地融合多個特征來擬合譯文的人工評價結(jié)果，提高譯文質(zhì)量的預(yù)測準(zhǔn)確率和與人工評價的一致性。

在機(jī)器翻譯譯文質(zhì)量自動評價中引入機(jī)器學(xué)習(xí)方法，特征的選取對于系統(tǒng)性能有著很大影響。然而現(xiàn)有的特征提取，只是針對句子進(jìn)行特征挖掘，提取出的特征不能很好地反映術(shù)語譯文的相對質(zhì)量。術(shù)語作為領(lǐng)域內(nèi)某概念的抽象，在特定的專業(yè)領(lǐng)域中使用，它具有很強(qiáng)的語言學(xué)特點和領(lǐng)域特點。所以，針對術(shù)語的自身特點進(jìn)行特征提取在術(shù)語譯文質(zhì)量評價研究中具有重要意義。

基于此，本文通過對術(shù)語自身特點的深入分析，實現(xiàn)了基于多特征的英漢術(shù)語譯文質(zhì)量自動評價，該方法通過引入能充分刻畫術(shù)語譯文流利度、緊密度和忠實度的特征，即術(shù)語構(gòu)詞、互信息和術(shù)語實例庫三類特征，然后，將其與基礎(chǔ)特征進(jìn)行組合，采用機(jī)器學(xué)習(xí)方法中的排序?qū)W習(xí)算法將列表排序問題分解成二分類問題，最后利用最大熵分類器預(yù)測多個翻譯系統(tǒng)的術(shù)語譯文質(zhì)量。實驗結(jié)果表明，在評價英漢術(shù)語翻譯任務(wù)上的多個系統(tǒng)的輸出譯文質(zhì)量時，本文提出的每一類特征，都可以有效地提高術(shù)語譯文質(zhì)量自動評價結(jié)果和人工評價結(jié)果的一致性。

1 相關(guān)工作

在機(jī)器學(xué)習(xí)方法的研究上，常用的機(jī)器學(xué)習(xí)方法包括：分類[4-5]、回歸[6]和排序[7]。Blatz[8]等人最早將分類的思想引入到譯文質(zhì)量評價中，使用分類器來區(qū)分好和不好的輸出譯文。Joshua S Albrecht[9]等人使用回歸模型來給每個譯文打一個分?jǐn)?shù)以此來評價譯文質(zhì)量的好壞。Kevin Duh[10]等人把譯文質(zhì)量評價問題看作排序問題，認(rèn)為判斷譯文間的排序關(guān)系要比給每個譯文打一個分?jǐn)?shù)要簡單得多。如果評價的最終目標(biāo)是比較譯文間的相對質(zhì)量，那么在評價階段直接采用基于排序的策略更為便捷。

在特征選取研究工作中，Specia[11-12]等人采用的特征為“黑盒子特征”,即在只給定輸入(源語言句子)和翻譯結(jié)果輸出(目標(biāo)語言句子)條件下,如何從任意MT系統(tǒng)中得到更為通用和泛化的特征,如源語言和目標(biāo)語言句子的長度及其之間的比例關(guān)系等。Shah[13]等人利用一個特征選擇技術(shù)對影響譯文質(zhì)量評價的特征進(jìn)行了分析，發(fā)現(xiàn)通過對特征進(jìn)行選擇以后，應(yīng)用部分特征進(jìn)行譯文質(zhì)量評價可以達(dá)到與應(yīng)用全部特征不相上下甚至更好的效果。

2 特征

本文使用八類特征來刻畫術(shù)語譯文的質(zhì)量，包括雙向翻譯概率特征、語言模型特征、偽參考譯文特征、句子長度特征、單詞重合率特征、術(shù)語構(gòu)詞特征、互信息特征和術(shù)語實例庫特征，其中這八類特征我們又分為兩大類：基礎(chǔ)特征和新特征。基礎(chǔ)特征是先前研究者對句子進(jìn)行譯文質(zhì)量評價工作時使用效果較好的特征，在本文中我們把它們應(yīng)用在術(shù)語譯文質(zhì)量評價中，新特征是本文針對術(shù)語自身特點提出的?，F(xiàn)詳細(xì)敘述如下。

2.1 基礎(chǔ)特征

(1)雙向翻譯概率特征

為了描述術(shù)語譯文表達(dá)源語言術(shù)語信息量的多少，即術(shù)語譯文的忠實度，在缺少術(shù)語譯文和源語言術(shù)語詞對齊關(guān)系的情況下，我們使用公式(1)來近似地計算由含有m個詞的源語言術(shù)語f生成含有n個詞的術(shù)語譯文e的概率。

(1)

其中公式(1)中，p(ei|fj)是詞語間翻譯概率，可通過在雙語平行語料上訓(xùn)練詞對齊獲取。為了進(jìn)一步衡量術(shù)語譯文的忠實度，我們也采用類似的方法計算術(shù)語譯文生成源語言術(shù)語的近似概率。

(2)語言模型特征

語言模型是用來計算某個單詞序列是正常句子的概率，它能夠較好地刻畫譯文的流利程度。語言模型相關(guān)的特征包括：術(shù)語譯文詞語的語言模型概率和困惑度，術(shù)語譯文詞性的語言模型概率和困惑度。

(3)偽參考譯文特征

對某個翻譯系統(tǒng)的術(shù)語譯文，使用其他翻譯系統(tǒng)的術(shù)語譯文作為標(biāo)準(zhǔn)翻譯，計算對應(yīng)的術(shù)語譯文BLEU得分，這種特征已經(jīng)在譯文質(zhì)量評價研究中被廣泛使用，實驗結(jié)果已經(jīng)證明此類特征能夠有效的反映術(shù)語的相對翻譯質(zhì)量。

(4)句子長度特征

源語言術(shù)語包含的單詞個數(shù)和目標(biāo)語言術(shù)語包含的單詞個數(shù)的比值。

(5)單詞重合率特征

對于待估計術(shù)語譯文質(zhì)量的M個術(shù)語翻譯系統(tǒng)，依次計算每個術(shù)語候選所包含的單詞集合A與其他系統(tǒng)術(shù)語譯文所包含單詞集合B的交集C和差集D，使用特征|C|/|A|和|D|/|A|，|A|表示集合A中包含元素的個數(shù)。

2.2 新特征

(1)術(shù)語構(gòu)詞特征

本文從術(shù)語語言學(xué)知識的角度出發(fā)，分析了中文術(shù)語的構(gòu)詞結(jié)構(gòu)與其它詞語有明顯的不同，具體有以下兩個方面：

(a)從詞性角度看:中文術(shù)語構(gòu)成詞語主要以名詞、動詞和形容詞為主。例如：名詞+名詞(“磁電機(jī)軸”)、形容詞+名詞(“可變抗阻裝置”)、動詞+名詞(“超越離合器”)、動詞(名詞)+單字名詞(“導(dǎo)熱板”)，等等。

(b)從用字角度看：術(shù)語是領(lǐng)域?qū)＜矣脕砜坍嫛⒚鑼戭I(lǐng)域知識的基本信息承載單元，在用字上具有非常嚴(yán)謹(jǐn)?shù)奶攸c。有些字幾乎不可能出現(xiàn)在術(shù)語中，本文把這些字歸納如表1所示：

表1 中文術(shù)語中不含有的字

本文從詞性和字兩方面分析了術(shù)語構(gòu)詞特點，提出了術(shù)語構(gòu)詞特征。

術(shù)語構(gòu)詞特征包括：

詞性方面：分別統(tǒng)計術(shù)語譯文中名詞、動詞和形容詞的個數(shù)，然后把他們與術(shù)語譯文中所有詞個數(shù)的比值作為特征。

字方面：術(shù)語譯文中是否包含表1中的字。如果包含，在分類器中的相應(yīng)特征值取為-1，不包含特征值取為0。

(2)互信息特征

“中心詞”也稱中心語或定位詞，就是一句話或一個術(shù)語緊緊圍繞著進(jìn)行論述的詞。就是用來在文章中找位置的詞，有了中心詞就很容易找到答案，所以中心詞很重要的。

通過對術(shù)語翻譯譯文的分析，知道中心詞在術(shù)語譯文中的權(quán)重較大，利用中心詞與修飾詞的結(jié)合緊密程度可以在一定程度上衡量術(shù)語譯文的整體流暢度和緊密度。

互信息在信息論中是作為衡量兩個信號關(guān)聯(lián)程度的一種尺度，后來引申為對兩個隨機(jī)變量間的關(guān)聯(lián)程度進(jìn)行統(tǒng)計描述，可表示成這兩個隨機(jī)變量的概率的函數(shù)。在本文中互信息用來描述術(shù)語中心詞與修飾詞之間的結(jié)合緊密程度。設(shè)I(x,y)為隨機(jī)變量x和y的互信息，

(2)

公式(2)中p(x)和p(y)分別是x和y獨(dú)立出現(xiàn)的概率，p(x,y)是x和y同現(xiàn)的概率。I(x,y)≥0，表明x和y的關(guān)聯(lián)程度強(qiáng)；I(x,y)≈0表明x和y的關(guān)聯(lián)程度弱，它們的同現(xiàn)僅屬偶然；I(x,y)≤0，表明x和y互補(bǔ)分布，不存在關(guān)聯(lián)關(guān)系。

術(shù)語譯文按照中心詞在句中的權(quán)重不同，對每個翻譯結(jié)果T，通過公式計算各個修飾詞與中心詞的關(guān)聯(lián)程度，以此評價術(shù)語譯文的整體流暢度和緊密度。

(3)

其中公式(3)中HW為中心詞，MI(x,HW)為詞語x與中心詞HW的互信息，C(x)為詞語x在訓(xùn)練語料中出現(xiàn)的次數(shù)，n為所有詞的總次數(shù)。根據(jù)術(shù)語中心詞特點：術(shù)語的末尾詞往往是中心詞，如“管流式電泵”、“修井裝置”等。所以在這里我們選取HW為術(shù)語的末尾詞。

互信息特征具體計算過程如下：

(a)計算當(dāng)前術(shù)語譯文中的每個詞與中心詞的互信息，并對距離中心詞越遠(yuǎn)的詞進(jìn)行相應(yīng)的懲罰；

(b)將每一對詞的互信息累加。由此計算結(jié)果會傾向于選擇包含詞語個數(shù)較多的術(shù)語譯文，從而造成選擇偏置問題。我們將整個術(shù)語譯文除以其所包含的詞數(shù)，進(jìn)行簡單的歸一化處理；

互信息特征計算公式如下：

(4)

其中公式(4)中MIT為當(dāng)前術(shù)語譯文互信息特征值，|T|為當(dāng)前術(shù)語譯文包含的詞數(shù)，d(x,HW)是詞語x與中心詞HW的距離作為計算互信息特征值時的懲罰，MI(x,HW)為詞語x與中心詞HW的互信息。

(3)術(shù)語實例庫特征

術(shù)語，作為一個專業(yè)概念的約定性語言符號，具有較高的領(lǐng)域性，相同領(lǐng)域的術(shù)語在構(gòu)詞結(jié)構(gòu)和語言單位的組成上都具有較高的相似性。以機(jī)械領(lǐng)域術(shù)語為例，如“空壓機(jī)氣管連接裝置”、“外固定架彈性裝置”、“點火表存儲裝置”等，這幾個術(shù)語都是以“……裝置”作為結(jié)束詞?；诖耍疚奶岢鲂g(shù)語實例庫特征，其中，實例庫中的實例是與待翻譯術(shù)語相同領(lǐng)域的，通過實例庫中的術(shù)語實例來評價術(shù)語譯文質(zhì)量。

術(shù)語實例庫特征，主要借鑒于基于實例的機(jī)器翻譯[14]思想，使用預(yù)先處理過的雙語平行術(shù)語語料構(gòu)建術(shù)語實例庫。通過查找與待翻譯術(shù)語最匹配的翻譯術(shù)語實例來生成能反映術(shù)語譯文相對質(zhì)量的目標(biāo)術(shù)語，最后通過計算術(shù)語譯文與目標(biāo)術(shù)語的BLEU值作為術(shù)語實例庫特征。

術(shù)語實例庫特征具體計算過程如下：

(5)

我們找出與待翻譯術(shù)語相似的前五個翻譯術(shù)語實例。

在術(shù)語實例庫中，我們選取前五個與待翻譯術(shù)語相似的實例而不是選取一個最相似的翻譯術(shù)語實例，原因在于我們通過分析發(fā)現(xiàn)與待翻譯術(shù)語最相似的翻譯術(shù)語實例的譯文不一定能最好的反映待翻譯術(shù)語譯文的質(zhì)量。

(b)分別計算待翻譯術(shù)語譯文與術(shù)語實例庫中返回的前五個翻譯術(shù)語實例對應(yīng)譯文的BLEU值，把BLEU值最高的作為術(shù)語實例庫的特征值。

3 機(jī)器學(xué)習(xí)方法

3.1 排序?qū)W習(xí)算法

本文使用基于成對比較的機(jī)器學(xué)習(xí)排序算法對來自多個翻譯系統(tǒng)的術(shù)語譯文進(jìn)行質(zhì)量評價，基于成對比較的排序算法是由Kevin Duh[10]等人引入到機(jī)器翻譯譯文質(zhì)量評價領(lǐng)域的。主要思想是：將列表排序問題分解成二分類問題，然后從二分類問題的結(jié)果中得到列表排序結(jié)果。

3.2 分類器

本文采用最大熵模型進(jìn)行分類器的構(gòu)建。具體實現(xiàn)步驟如下：

(1)訓(xùn)練過程

每個訓(xùn)練實例包含一個類別標(biāo)簽c和能夠反映出術(shù)語譯文相對質(zhì)量差異的特征(f1,f2,K,fn)。類別標(biāo)簽計算如公式(6)所示：

(6)

標(biāo)簽c取決于ri和rj的相對大小，如果ri大于rj，那么標(biāo)簽為1，反之，則標(biāo)簽為-1。(ri,rj)是相應(yīng)的術(shù)語譯文對(ti,tj)的排序得分。在本文中，術(shù)語譯文對(ti,tj)的排序得分(ri,rj)由人工打分獲得。

(2)測試過程

把訓(xùn)練過程中在訓(xùn)練集上得出的排序統(tǒng)計模型應(yīng)用到測試集中，給出術(shù)語譯文對的二值分類結(jié)果，最后從這些二分類結(jié)果中恢復(fù)整個列表的排序結(jié)果。如圖1所示。

圖1 分類器流程圖

(3)重組排序

我們使用公式(7)，把術(shù)語譯文對的二分類結(jié)果進(jìn)行重組排序，恢復(fù)整個列表的排序。

(7)

其中，ri表示對術(shù)語譯文ti打分結(jié)果，ci,j是術(shù)語譯文對(ti,tj)分類結(jié)果。

4 實驗及結(jié)果分析

4.1 實驗語料

本文實驗語料來源于國家專利局英漢title(專利名稱)，我們將title是術(shù)語的提取出來，共挑選453 000對英漢術(shù)語，其中英文術(shù)語平均長度是5.14個詞，中文術(shù)語平均長度是5.07個詞，將其中45萬句用作訓(xùn)練詞對齊模型、語言模型、互信息模型和術(shù)語實例庫，3000句作為本文的訓(xùn)練和測試語料。

我們用三個基本翻譯系統(tǒng)對3000句英文術(shù)語進(jìn)行翻譯，得到三個系統(tǒng)的術(shù)語翻譯結(jié)果。在這個實驗中使用的基本翻譯系統(tǒng)是百度、谷歌和有道提供的在線翻譯服務(wù)，所有的術(shù)語譯文結(jié)果均從三個服務(wù)上抓取獲得，然后對獲得的術(shù)語譯文結(jié)果進(jìn)行人工排名評價。

在人工排名評價中，我們用5個翻譯人員對來自三個不同翻譯系統(tǒng)的術(shù)語譯文按照譯文質(zhì)量進(jìn)行排序，取在5個人中一致性比例高的那組排序結(jié)果作為我們的最終人工排名評價結(jié)果。

最后，我們把3000組術(shù)語譯文列表隨機(jī)分成兩份，一份是2000組用作訓(xùn)練語料，一份是1000組用作測試語料。

其中，分詞工具采用中科院的ICTCLAS；詞性標(biāo)注工具采用斯坦福大學(xué)的POStagger；語言模型工具采用SRI 口語技術(shù)與研究實驗室的SRILM；最大熵工具采用東北大學(xué)張樂開發(fā)的最大熵工具包。

4.2 實驗設(shè)計

本文首先將2000組按人工評價結(jié)果排好序的術(shù)語譯文列表分解成12000個術(shù)語譯文對，作為最大熵分類器的訓(xùn)練實例訓(xùn)練出排序模型，然后在1000組測試語料上進(jìn)行實驗，得出1000組術(shù)語譯文列表的排序結(jié)果，最后用1000組測試語料的人工評價結(jié)果來評價術(shù)語譯文質(zhì)量自動評價系統(tǒng)所得排序結(jié)果與人工評價結(jié)果的一致性。

為了測試本文提出的三類新特征對系統(tǒng)性能的影響。在實驗中我們會在基礎(chǔ)特征的基礎(chǔ)上逐一加上某一類新特征，重新訓(xùn)練排序模型，然后在測試集上進(jìn)行排序的實驗，獲得對應(yīng)的實驗結(jié)果。

4.3 評價指標(biāo)

對排序結(jié)果的分析，我們使用三個不同的評價指標(biāo)來評價其與人工評價結(jié)果的一致性，包括1-best rank accuracy、Pair-wise accuracy和Kendall′s Tau[15]。

(1)1-best rank accuracy

最佳排名預(yù)測準(zhǔn)確率(1-best rank accuracy)，即術(shù)語譯文列表中自動排名最高的術(shù)語譯文與人工評價中排名最高的術(shù)語譯文一致的比例。計算如公式(8)所示：

1-best=

(8)

(2)Pair-wise accuracy

成對比較預(yù)測準(zhǔn)確率(Pair-wise accuracy)，即一組術(shù)語譯文列表排名轉(zhuǎn)化成多對術(shù)語譯文質(zhì)量的兩兩比較，自動評價方法給出的兩兩比較結(jié)果與人工評價結(jié)果一致的比例。計算如公式(9)所示：

(9)

(3)Kendall′s Tau

Kendall′s Tau評價指標(biāo)用于衡量兩個排序結(jié)果的相似性，定義如下：

(10)

判斷一致的對數(shù)是指術(shù)語譯文列表自動排序結(jié)果與人工排序結(jié)果完全一致的個數(shù)。

4.4 實驗結(jié)果及分析

表2所示為對英漢術(shù)語譯文進(jìn)行質(zhì)量評價時在基礎(chǔ)特征(BASE)上依次加入術(shù)語構(gòu)詞(Word Formation)、互信息(Mutual Information)和術(shù)語實例庫(Example Library)三類特征時1-best rank accuracy、Pair-wise accuracy和Kendall′s Tau的變化情況。

從表2中可以看出在基礎(chǔ)特征上加入與術(shù)語自身特點有關(guān)的三類新特征進(jìn)行術(shù)語譯文質(zhì)量評價相比只采用基礎(chǔ)特征進(jìn)行術(shù)語譯文質(zhì)量評價，其評價結(jié)果和人工評價結(jié)果的一致性有較大提高。

從實驗結(jié)果可以看出，術(shù)語構(gòu)詞特征對一致性的提高影響最大，1-best rank accuracy、Pair-wise accuracy 和Kendall′s Tau相比基礎(chǔ)特征均提高了2.24%、3.48%和1.23%。其原因是術(shù)語構(gòu)詞特征可以很好的反映術(shù)語譯文的語言學(xué)特點，而中文術(shù)語的語言學(xué)特點在很大程度上可以反映中文術(shù)語的質(zhì)量。

表2 引入不同特征的實驗效果 (%)

從表2中的實驗結(jié)果還可以看出術(shù)語實例庫特征對譯文質(zhì)量自動評價結(jié)果和人工評價結(jié)果一致性的提高影響相對較小，可能有兩方面原因，一是本文用來計算術(shù)語相似度的方法較簡單，不能在術(shù)語實例庫中準(zhǔn)確找出與待翻譯術(shù)語相似的翻譯術(shù)語實例，從而使翻譯術(shù)語實例譯文不能很好的反映待翻譯術(shù)語譯文的相對質(zhì)量；二是術(shù)語實例庫中存在較少與待翻譯術(shù)語相似的翻譯術(shù)語實例。

5 總結(jié)和展望

本文通過對術(shù)語自身語言學(xué)特點和領(lǐng)域特點的深入分析，在機(jī)器學(xué)習(xí)方法中引入術(shù)語構(gòu)詞、互信息和術(shù)語實例庫特征，實現(xiàn)了基于多特征的英漢術(shù)語譯文質(zhì)量自動評價。實驗結(jié)果表明，本文引入的特征能較好地提高術(shù)語譯文質(zhì)量自動評價結(jié)果與人工評價結(jié)果的一致性。未來的工作，嘗試有效地引入更多描述術(shù)語譯文質(zhì)量的句法和語義特征，來進(jìn)一步提高術(shù)語譯文質(zhì)量評價結(jié)果與人工評價結(jié)果的一致性。

[1]Specia L,Raj D,Turchi M.Machine Translation evaluation versus quality estimation[J].Machine Translation,2010,24(1):39-50.

[2]Papineni K,Roukos S,Ward T,et al.BLEU:a method for automatic evaluation of machine translation[C].Proceedings of the 40th annual meeting on association for computational linguistics.Association for Computational Linguistics,2002:311-318.

[3]Doddington G.Automatic evaluation of machine translation quality using n-gram co-occurrence statistics[C].Proceedings of the second international conference on Human Language Technology Research.Morgan Kaufmann Publishers Inc.,2002:138-145.

[4]Corston-Oliver,M.Gamon,C.Brockett.Amachine learning approach to the automatic evaluation of machine translation[C].In ACL,2001.

[5]Kulesza and S.Shieber.A learning approach to improving sentence-level mt evaluation[C].In TMI,2004.

[6]Albrecht and R.Hwa.A re-examination of machine learning approaches for sentence-level MT evaluation[C].In ACL,2007.

[7]Vilar,G.Leusch,H.Ney,and R.Banchs.Human evaluation of machine translation through binary system comparisons[C].In ACL2007 SMT Workshop,2007.

[8]Blatz J,Fitzgerald E,Foster G,et al.Confidence estimation for machine translation[C].Proceedings of the 20th international conference on Computational Linguistics.Association for Computational Linguistics,2004:315.

[9]Joshua S Albrecht,RebeccaHwa.Regression for machine translation evaluation at the sentence level[J].Machine Translation,22(1-2):1-27.

[10]Kevin Duh.Ranking vs.regression in machine translation evaluation[C].In Proceedings of the Third Workshop on Statistical Machine Translation(StatMT ′08).Association for Computational Linguistics,2008:191-194.

[11]Specia L,Cancedda N,Dymetman M,et al.Estimating the sentence-level quality of machine translation systems[C].Proceedings of the 13th EAMT.Barcelona:European Association for Machine Translation,2009:28-35.

[12]Specia L,Saunders C,TurchiM,et al.Improving the confidence of machine translation quality estimates[C].Proceedings of the 12th MT Summit.Ottawa:Inter-national Association for Machine Translation,2009:136-143.

[13]Shah K,Cohn T,Specia L.An investigation on the effectiveness of features for translation quality estimation[C].Proceedings of MT Summit XIV(to appear),Nice,France,2013.

[14]Nagao M.A framework of a mechanical translation between Japanese and English by analogy principle[J].1984.

[15]Bojar O,Buck C,Callison-Burch C,et al.Findings of the 2013 workshop on statistical machine translation[C].Proceedings of the Eighth Workshop on Statistical Machine Translation,2013:1-44.

(責(zé)任編輯：劉劃 英文審校：宋曉英)

AutomaticqualityestimationforEnglish-Chinesetermtranslationbasedonmultiplefeatures

LI Nan，YE Na，CAI Dong-feng

(Knowledge Engineering Research Center,Shenyang Aerospace University,Shenyang 110136,China)

By analyzing term′s linguistic and domain characteristics,three kinds of features,namely,term word-formation,mutual information and term example library,whichcan adequately describe term-translation fluency,compactness and loyalty,were introduced.Then those three kinds of featureswerecombined with basic features.List ranking has been transformed into a binary classification problemwith the application of ranking algorithm.The quality of term-translation from multiple translation systems was predictedover the maximum entropy classifier.The results show that,the proposed features,when assessing the translation quality of the submitted systems outputs of English-Chinese term-translation tasks,canfurther improve the consistency between the results of the automatic estimation and human judgments.

term;feature;quality estimation;maximum entropy classifier

2014-09-24

國家“十二五”科技支撐計劃項目(項目編號：2012BAH14F00)

李楠(1989-)，男，遼寧葫蘆島人，碩士研究生，主要研究方向：自然語言處理，E-mail：linan_vip@126.com；蔡東風(fēng)(1958-)，男，河北霸縣人，教授，主要研究方向：人工智能、自然語言處理，E-mail：caidf@vip.163.com。

2095-1248(2014)06-0059-07

TP391.7

A

10.3969/j.issn.2095-1248.2014.06.011

機(jī)器學(xué)習(xí)方法的譯文質(zhì)量自動評價研究主要集中在兩方面，一是機(jī)器學(xué)習(xí)方法的研究；二是特征選取的研究。