肖欣延，劉 洋，劉 群，林守勛

（1.中國(guó)科學(xué)院 計(jì)算技術(shù)研究所 智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京100190；2.中國(guó)科學(xué)院 研究生院，北京100190）

1 引言

層次短語模型［1－2］是目前統(tǒng)計(jì)機(jī)器翻譯最好的模型之一。它簡(jiǎn)潔有效，在統(tǒng)計(jì)機(jī)器翻譯中得到了廣泛的應(yīng)用。這種模型使用同步上下文無關(guān)文法（SCFG）形式的規(guī)則進(jìn)行翻譯。SCFG規(guī)則將其左步重寫為右部，其中右部包含對(duì)齊的兩個(gè)部分：翻譯的源語言端及翻譯的目標(biāo)語言端。在本文中，我們將用中文端和英文端來表示這兩個(gè)部分。SCFG規(guī)則既包含完全詞匯化的規(guī)則，相當(dāng)于短語模型［3］中所使用的短語；同時(shí)也包括含變量的規(guī)則。我們分別稱這兩種規(guī)則為短語規(guī)則及泛化規(guī)則。如表1所示，規(guī)則（1）的中文端和英文端都是詞語，因此是短語規(guī)則；規(guī)則（2）是包含一個(gè)變量的泛化規(guī)則；而規(guī)則（3～5）則是包含兩個(gè)變量的泛化規(guī)則。

表1 SCFG規(guī)則

層次短語既能捕捉短距離調(diào)序，也能捕捉長(zhǎng)距離調(diào)序。短距離調(diào)序主要通過短語規(guī)則來實(shí)現(xiàn)，而長(zhǎng)距離調(diào)序則由泛化規(guī)則來捕捉。比如規(guī)則（4），變量X1在中文端處于“舉行”之前，在英文端它的位置被調(diào)整到X2之后。因?yàn)樽兞磕軌蚋采w較長(zhǎng)的短語塊，使用這樣的規(guī)則就能實(shí)現(xiàn)長(zhǎng)距離的調(diào)序。

然而，由于泛化規(guī)則中的變量能夠匹配任意的短語片段，因此在翻譯過程中引起了較大的歧義。圖1顯示翻譯中文片段“與 沙龍 舉行 會(huì)談”時(shí)使用的兩種調(diào)序選擇。X1泛化了（與 沙龍，with Sharon）的短語對(duì)；X2泛化了（會(huì)談，a talk）的短語對(duì)。雖然規(guī)則（3）、（4）都能夠匹配該中文片段，但翻譯效果迥異。規(guī)則（3）并不改變?cè)~語的中文端和英文端的相對(duì)位置關(guān)系；而規(guī)則（4）則大幅度調(diào)整X1所覆蓋的短語片段在英文端的位置。從語言學(xué)的角度來分析，規(guī)則（3）認(rèn)為X1是名詞性的成分，英文翻譯應(yīng)位于動(dòng)詞“held”之前；而規(guī)則（4）則將X1作為補(bǔ)語，因此在英文端應(yīng)該位于動(dòng)詞“held”后面。在當(dāng)前的上下文中顯然使用規(guī)則（4）更為合適。然而規(guī)則（3）在訓(xùn)練語料中十分常見，導(dǎo)致第一種翻譯被選擇的可能性更高。通過分析可以發(fā)現(xiàn)，調(diào)序與變量所覆蓋的短語片段是相關(guān)的。事實(shí)上，短語調(diào)序模型上的工作［4－7］已經(jīng)表明，詞匯化的信息對(duì)調(diào)序十分重要。

圖1 兩種調(diào)序選擇

為此我們提出面向?qū)哟味陶Z模型的詞匯化調(diào)序方法。我們?cè)谝?guī)則上定義了四種調(diào)序關(guān)系，并使用變量所泛化的短語片段的邊界詞信息來估計(jì)調(diào)序關(guān)系的概率。在判別式模型［8］的框架下，我們訓(xùn)練若干詞匯化調(diào)序模型并以特征的方式融入到基準(zhǔn)系統(tǒng)中，以達(dá)到消解調(diào)序歧義的目的。在大規(guī)模語料的漢語到英語的翻譯評(píng)測(cè)任務(wù)中，我們的方法在NIST 2003－2005 測(cè)試數(shù)據(jù)上獲得了 0.6～1.2 BLEU［9］值的提高。

文章的組織結(jié)構(gòu)如下：第2節(jié)簡(jiǎn)述詞匯化調(diào)序模型的相關(guān)工作；第3節(jié)詳細(xì)介紹面向?qū)哟味陶Z模型的詞匯化調(diào)序方法。首先定義調(diào)序關(guān)系；然后介紹詞匯化調(diào)序模型；第4節(jié)描述實(shí)驗(yàn)設(shè)置和結(jié)果；最后是總結(jié)和展望。

2 相關(guān)工作

調(diào)序是機(jī)器翻譯中非常重要的子問題之一，很多研究者對(duì)這個(gè)問題進(jìn)行了深入的研究。常見的詞匯化調(diào)序模型主要出現(xiàn)在短語模型［4－7］中，包括基于詞［5－6］、基于短語［4］、基于層次化短語［7］的調(diào)序。特別注意的是，這里所說的基于層次化短語的調(diào)序，并非指該模型使用了類似層次短語模型的SCFG規(guī)則進(jìn)行調(diào)序，而是該模型解碼時(shí)通過移近—規(guī)約的算法以支持任意長(zhǎng)度短語的調(diào)序。根據(jù)當(dāng)前短語對(duì)與前面短語對(duì)之間的位置關(guān)系，這些模型使用三種調(diào)序方向：?jiǎn)握{(diào)（Monotone）；交換（Swap）；非連續(xù)（Discontinuous）。

如圖2（a）所示，基于詞的調(diào)序模型［5－6］分析位置（s－1，u－1）與（s－1，v＋1）的關(guān)系。因?yàn)椋╯－1，v＋1）沒有詞語對(duì)齊，bp的調(diào)序方向定義為非連續(xù)?；诙陶Z的調(diào)序［4］判斷當(dāng)前短語對(duì)與位于（s－1，v＋1）的臨近短語對(duì)的關(guān)系，并將這里的調(diào)序方向定義為交換調(diào)序。層次化的短語調(diào)序模型［7］不需要限制短語的最大長(zhǎng)度。這種方法將圖2（b）定義為交換調(diào)序。

圖2 短語模型中的詞匯化調(diào)序

基于ITG模型的句法也使用詞匯化信息［10］。該方法考慮正序和逆序兩種調(diào)序規(guī)則，并將這兩種調(diào)序轉(zhuǎn)化為分類問題，而分類使用短語的邊界詞作為特征，并在詞語對(duì)齊語料上訓(xùn)練最大熵分類器?；谝?guī)則類型選擇（Rule Pattern Selection）的工作［11－12］將詞匯化信息引入到了層次短語中，文章［11］根據(jù)規(guī)則的類型（包括變量數(shù)目，是否調(diào)序）進(jìn)行分類，分類時(shí)使用詞匯化的信息。直接應(yīng)用這種方法到層次短語系統(tǒng)中將導(dǎo)致大量的分類器［11］，文章［12］將規(guī)則簡(jiǎn)化為七種源端類型、17種目標(biāo)端類型。因此這種方法受限于規(guī)則的種類，難于擴(kuò)展到規(guī)則類型復(fù)雜的翻譯模型上（如句法模型）。本文所使用方法的不同之處在于，本文直接定義變量的調(diào)序方向，因而模型更為簡(jiǎn)單緊湊，并且不受規(guī)則類型數(shù)量的影響。

3 面向?qū)哟味陶Z模型的詞匯化調(diào)序方法

3.1 基于層次短語規(guī)則的調(diào)序關(guān)系

由于翻譯模型的不同，短語模型的調(diào)序方向不能直接用于層次短語翻譯中。這里首先舉例說明本文使用的調(diào)序方向。層次短語的調(diào)序都是通過規(guī)則完成，我們只需定義規(guī)則的調(diào)序就能直接獲得翻譯的調(diào)序。本文的調(diào)序僅考慮變量與前后詞語的位置關(guān)系，因此只需分析泛化規(guī)則。這主要是由于短語規(guī)則本身就是完全詞匯化，其調(diào)序并沒有歧義性。同時(shí)本文僅區(qū)分單調(diào)（Monotone）及交換（Swap）兩種調(diào)序方向。單調(diào)調(diào)序是指詞語在中文端英文端的相對(duì)位置并不改變，而交換調(diào)序則表示相對(duì)位置發(fā)生了變化，如圖3所示。圖3是使用規(guī)則（5）進(jìn)行翻譯時(shí)的調(diào)序情況。變量X1與其前面的短語對(duì)（布什，Bush）在中文端和英文端的位置關(guān)系都是一致，因此是單調(diào)調(diào)序。而X1相對(duì)于短語對(duì)（舉行，held）則發(fā)生變化。雖然X1在中文端位于“舉行”之前，然而在英文端X1的位置被調(diào)整到了“held”的后面，因此這里的調(diào)序是交換調(diào)序。同樣的X2與“舉行”則是單調(diào)調(diào)序。具體的從圖上來看，如果變量的對(duì)齊連線與詞語的對(duì)齊連線并不交叉，則兩者的調(diào)序關(guān)系是單調(diào)，否則為交換調(diào)序。

圖3 使用規(guī)則（5）進(jìn)行翻譯的調(diào)序情況

形式化上，給定一個(gè)規(guī)則及其詞語對(duì)齊關(guān)系a＝｛（i，j）｝，根據(jù)變量與源端鄰接詞語的位置關(guān)系，我們定義了四種調(diào)序關(guān)系。需要注意的是，這里的對(duì)齊包含變量的對(duì)齊。變量必然是一對(duì)一的對(duì)齊，而中文端的一個(gè)詞語則可以對(duì)應(yīng)多個(gè)英文單詞。變量的對(duì)齊表示為（ix，jx）；源端詞語的對(duì)齊為aw＝｛（iw，jw）｝；源端鄰接單詞用 W 表示。我們考慮兩種情況，前一個(gè)詞（－1），后一個(gè)詞（＋1）；調(diào)序方向用O表示，共兩種情況單調(diào)（M）和交換（S）。根據(jù) W、O的取值情況，我們定義四種調(diào)序關(guān)系：

3.2 詞匯化調(diào)序模型

我們通過變量所泛化短語的邊界詞估計(jì)上述四種調(diào)序關(guān)系的概率。一個(gè)變量在中文端和英文端共有四個(gè)邊界詞分別是：中文端左邊界詞（flb）；中文端右邊界詞（frb）；英文端左邊界詞（elb）；英文端右邊界詞（rlb）。如圖3中變量X1四個(gè)邊界詞分別是：flb＝與；frb＝沙龍；elb＝with；erb＝sharon。我們按照如下方式估計(jì)變量X1與前一個(gè)詞“布什”的調(diào)序的概率：

P（O｜W＝－1，flb＝與，frb＝沙龍，elb＝with，erb＝sharon）

類似的，X1與“舉行”、X2與“舉行”調(diào)序的概率則為：

P（O｜W＝＋1，flb＝與，frb＝沙龍，elb＝with，erb＝sharon）

P（O｜W＝－1，flb＝會(huì)談，frb＝會(huì)談，elb＝a，erb＝talk）

給定變量的邊界詞以及變量與鄰接詞語的調(diào)序方向。我們估計(jì)參數(shù) P（O｜W，flb，frb，elb，erb）。這組參數(shù)同時(shí)考慮中文端和目標(biāo)端的邊界詞語。到目前為止，我們僅說明了規(guī)則上的調(diào)序情況。完整的詞匯化模型是定義在推導(dǎo)上的。所謂的推導(dǎo)就是生成翻譯結(jié)果的整個(gè)規(guī)則序列。這里的調(diào)序模型區(qū)分鄰接詞語的位置，因此共有兩個(gè)調(diào)序模型。具體定義如下。

· 與左邊鄰接詞語的調(diào)序模型：

· 與右邊鄰接詞語的調(diào)序模型：

其中D表示推導(dǎo)，r表示規(guī)則，x表示r中的變量。

我們還估計(jì)其他兩組類似的參數(shù)P（O｜W，flb，frb）；P（O｜W，elb，erb），這兩組參數(shù)僅依賴與中文端的邊界詞或者英文端的邊界詞。這兩組參數(shù)可以看作對(duì)P（O｜W，flb，frb，elb，erb）的回退。因?yàn)檫@三組參數(shù)十分相似，在下文中我們僅說明第一組參數(shù)。

概率估計(jì)。我們使用詞語對(duì)齊的語料來估計(jì)參數(shù)。當(dāng)一個(gè)規(guī)則被抽取的時(shí)候，同時(shí)記錄各種調(diào)序?qū)嵗?，以此來估?jì)參數(shù)。如圖3所示，當(dāng)規(guī)則（5）被抽取的時(shí)候，記錄如下的實(shí)例：

· O＝M，W＝－1，flb＝與，frb＝沙龍，elb＝with，erb＝sharon

· O＝S，W＝＋1，flb＝與，frb＝沙龍，elb＝with，erb＝sharon

· O＝S，W＝－1，flb＝會(huì)談，frb＝會(huì)談，elb＝a，erb＝talk

顯然這些實(shí)例能夠直接在規(guī)則抽取過程中同時(shí)被抽取。這里不再贅述。當(dāng)抽取完實(shí)例后，就可以直接用這些實(shí)例來估計(jì)上述的條件概率。我們使用加0.1的平滑來估計(jì)參數(shù)。

解碼時(shí)使用參數(shù)。在對(duì)數(shù)線性模型的框架下，我們將詞匯化調(diào)序概率的對(duì)數(shù)值以特征的方式加入到基準(zhǔn)系統(tǒng)中。參考Moses系統(tǒng)［6］，我們也把每一種調(diào)序情況當(dāng)作一個(gè)特征加入到系統(tǒng)中，即單調(diào)調(diào)序與交換調(diào)序各自作為一個(gè)特征，這里舉例說明與左邊鄰接詞語的調(diào)序模型中交換調(diào)序特征分?jǐn)?shù)的公式：

考慮到有四種調(diào)序關(guān)系，每種關(guān)系有三組估計(jì)的方式，因此我們共添加了3×4＝12個(gè)特征到基準(zhǔn)系統(tǒng)中。在抽取規(guī)則的過程中，保留規(guī)則的詞語對(duì)齊信息，以便估計(jì)這些概率。當(dāng)一個(gè)規(guī)則有多種對(duì)齊時(shí)，我們選擇最常見的一個(gè)。解碼過程中可能出現(xiàn)未發(fā)生事件。當(dāng)出現(xiàn)這種情況時(shí)，我們認(rèn)為兩種調(diào)序方向是等概率的，概率值都為0.5。特別注意的是，解碼過程中還將使用到粘貼規(guī)則（X→ ＜X1X2，X1X2＞）。這個(gè)規(guī)則確定性的使用單調(diào)調(diào)序，因此并不估計(jì)這個(gè)規(guī)則中變量的調(diào)序。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)

實(shí)驗(yàn)在漢語—英語方向上的翻譯進(jìn)行。所使用的語料如下。

· 雙語語料。約155萬平行句對(duì)。這些句對(duì)來自LDC語料的部分子集，包括：LDC2002E18；LDC2003E07； LDC2003E14； LDC2004T07 Hansards部分；LDC2004T08以及 LDC2005T06。雙語語料用于抽取規(guī)則和訓(xùn)練詞匯化調(diào)序模型。我們首先使用GIZAC＋＋［13］工具獲得漢英、英漢兩個(gè)方向的詞語對(duì)齊，然后使用grow－diag－final－and［3］的啟發(fā)式方法獲得多對(duì)多的詞語對(duì)齊。規(guī)則抽?。?］及詞匯化模型訓(xùn)練在多對(duì)多的詞語對(duì)齊數(shù)據(jù)上進(jìn)行。

·單語語料。包含GIGAWORD語料的新華部分，包含約2.38億的英語單詞。我們使用SRILM［14］工具訓(xùn)練四元的語言模型，使用Kneser－Ney平滑估計(jì)參數(shù)。

·評(píng)測(cè)語料。使用NIST2002年的評(píng)測(cè)語料（NIST02）作為開發(fā)集。2003～2005年的評(píng)測(cè)語料（NIST03－05）作為測(cè)試集。

我們使用最小錯(cuò)誤率訓(xùn)練［15］方法來優(yōu)化線性模型的參數(shù)。采用的評(píng)測(cè)指標(biāo)是大小寫不敏感BLEU－4。所使用的解碼器是層次短語解碼器的C＋＋重實(shí)現(xiàn)版本。該解碼器采用CKY方式進(jìn)行解碼，并使用Cube－Pruning的方法進(jìn)行減值減少搜索空間。實(shí)驗(yàn)所使用的棧為100。

4.2 實(shí)驗(yàn)結(jié)果

表2是實(shí)驗(yàn)結(jié)果。從最后一行的漲幅中，可以清楚的看到詞匯化調(diào)序特征能夠穩(wěn)定的提高翻譯的效果，提高幅度從0.6到1.2個(gè)點(diǎn)，平均漲幅約0.9個(gè)點(diǎn)，實(shí)驗(yàn)表明本文的方法是有效的。這也說明變量泛化的子短語的詞匯化信息有助于層次短語進(jìn)行調(diào)序。雖然層次短語規(guī)則本身已經(jīng)帶有一定的詞匯化信息，但是由于沒有考慮子短語的信息，因此歧義比較大。我們的詞匯化調(diào)序方法考慮了這一部分信息，因此一定程度上幫助系統(tǒng)在翻譯過程中選擇正確的調(diào)序方向。

表2 測(cè)試數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果

表3 兩個(gè)系統(tǒng)在NIST05測(cè)試集合上的結(jié)果

表4 不同參數(shù)組合對(duì)翻譯結(jié)果的影響

為了平衡翻譯速度和質(zhì)量間的關(guān)系，層次短語模型對(duì)于規(guī)則（僅指從語料中抽取的規(guī)則）所能覆蓋的中文端長(zhǎng)度進(jìn)行了限制，傳統(tǒng)的設(shè)置為10。對(duì)于超過長(zhǎng)度限制的短語都采用順序翻譯。表3比較了不同長(zhǎng)度限制下，基準(zhǔn)系統(tǒng)及加入詞匯化調(diào)序模型的系統(tǒng)在NIST05測(cè)試集上的結(jié)果。使用更大的長(zhǎng)度限制，潛在的調(diào)序空間也就更大。使用更大的長(zhǎng)度限制，兩個(gè)系統(tǒng)的BLEU值都有所增加，同時(shí)漲幅也就更大。這說明詞匯化調(diào)序特征在更大的調(diào)序空間有更好的效果，也進(jìn)一步驗(yàn)證了詞匯化信息對(duì)調(diào)序的重要性。

在文中我們使用了三種類型的參數(shù)P（O｜W，flb，frb，elb，erb）、P（O｜W，flb，frb）、P（O｜W，elb，erb），分別記為all、src、trg。src、trg參數(shù)分別使用源端和目標(biāo)端對(duì)all進(jìn)行回退。一個(gè)有趣的問題是，哪種回退更為有效。為此我們比較了不同參數(shù)組合的翻譯效果。如表4所示，僅使用all參數(shù)能夠提高翻譯效果（第2行），但漲幅有限。當(dāng)繼續(xù)增加src或者trg參數(shù)都能進(jìn)一步提高效果（第3～4行），所以這兩種參數(shù)都是有用的。特別注意到在NIST03上，trg未能進(jìn)一步提高效果，這可能與MERT權(quán)重優(yōu)化有關(guān)。此外，trg的效果通常比src好些，這說明目標(biāo)端的信息比源端的信息更有用。最后，同時(shí)使用三種參數(shù)（第5行）效果最佳，這說明目標(biāo)端與源端的信息都有用，它們的作用并不重疊。

5 總結(jié)與展望

本文提出了一種面向?qū)哟味陶Z的詞匯化調(diào)序方法，使用詞匯化的信息幫助層次短語的調(diào)序，提高了翻譯的質(zhì)量。本文的方法并不需要額外的數(shù)據(jù)集，簡(jiǎn)單有效。將來我們希望將這些詞匯化的信息也用到其他模型中，比如基于語言學(xué)句法的模型［16－17］。我們也希望使用其他的訓(xùn)練方法比如最大熵［10－11］來訓(xùn)練詞匯化調(diào)序模型。最后希望將ITG逆序調(diào)序規(guī)則加入到層次短語翻譯中，將通過詞匯化模型來指導(dǎo)該規(guī)則的使用。

［1］David Chiang.A hierarchical phrase－based model for statistical machine translation［C］／／Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics.2005：263－270.

［2］David Chiang.Hierarchical phrase－based translation［J］.Computational Linguistics.2007，33（2）：201－228.

［3］Philipp Koehn，F(xiàn)ranz Joseph Och，Daniel Marcu.Statistical Phrase－Based Translation［C］／／Proceedings of NAACL 2003.2003.

［4］Christoph Tillman.A unigram orientation model for statistical machine translation ［C］／／Proceedings of HLT－NAACL 2004：Short Papers.2004：101－104.

［5］Philipp Koehn，Amittai Axelrod，Alexandra Birch Mayne，et al.Edinburgh System Description for the 2005IWSLT Speech Translation Evaluation［C］／／Proceedings of IWSLT 2005，2005.

［6］Philipp Koehn，Hieu Hoang，Alexandra Birch，et al.Moses：Open Source Toolkit for Statistical Machine Translation ［C ］／／Proceeding of ACL 2007，demonstration session.2007.

［7］Michel Galley，Christopher D.Manning.A simple and effective hierarchical phrase reordering model［C］／／Proceedings of EMNLP 2008.2008：848－856.

［8］Franz Josef Och， Hermann Ney. Discriminative training and maximum entropy models for statistical machine translation ［C ］／／Proceedings of the 40thAnnual Meeting of the Association for Computational Linguistics.2002：295－302.

［9］Kishore Papineni，Salim Roukos，Todd Ward，et al.Bleu：a method for automatic evaluation of machine translation［C］／／Proceedings of ACL 2002.2002.

［10］Deyi Xiong，Qun Liu and Shouxun Lin.Maximum Entropy Based on Phrase Reordering Model for Statistical Machine Translation ［C］／／Proceedings of ACL 2006，2006.

［11］Zhongjun He，Qun Liu，Shouxun Lin.Improving statistical machine translation using lexicalized rule selection［C］／／Proceedings of EMNLP 2008，2008.

［12］Zhongjun He， Yao Meng， Hao Yu. Maximum Entropy Based Phrase Reordering for Hierarchical Phrase－based Translation ［C ］／／Proceedings of EMNLP 2010，2010.

［13］Franz Josef Och，Hermann Ney.A systematic comparison of various statistical alignment models［J］.Computational Linguistics，2004，29（1）：19－51.

［14］Andreas Stolcke.2002.Srilm－an extensible language modeling toolkit ［C］／／Proceedings of the 7th International Conference on Spoken Language Processing.2002：901－904.

［15］Franz Joseph Och.Minimum error rate training in statistical machine translation ［C］／／Proceedings of ACL 2003.2003.

［16］Yang Liu，Qun Liu，Shouxun Lin.Tree－to－String Alignment Template for Statistical Machine Translation［C］／／Proceedings of ACL 2006.2006.

［17］Michel Galley，Jonathan Graehl，Kevin Knight，et al.Scalable Inference and Training of Context－Rich Syntactic Translation Models ［C］／／Proceedings of ACL 2006.2006.