李 響，徐金安，姜文斌，呂雅娟，劉 群

(1. 中國(guó)科學(xué)院 計(jì)算技術(shù)研究所 智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京 100190;2. 北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044)

1 引言

作為自然語(yǔ)言處理領(lǐng)域一項(xiàng)具有挑戰(zhàn)性的技術(shù)，統(tǒng)計(jì)機(jī)器翻譯為克服語(yǔ)言障礙提供了一個(gè)解決方向。與此同時(shí)，嵌入式硬件的快速發(fā)展使移動(dòng)終端運(yùn)行復(fù)雜的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)成為可能。

最近，隨著機(jī)器翻譯研究的不斷深入，基于語(yǔ)料庫(kù)的自然語(yǔ)言處理技術(shù)的發(fā)展使現(xiàn)實(shí)環(huán)境中的語(yǔ)音翻譯成為可能，一些多語(yǔ)言語(yǔ)音翻譯系統(tǒng)已經(jīng)出現(xiàn)?？梢灶A(yù)見(jiàn)，在未來(lái)的國(guó)際交流和經(jīng)貿(mào)交往中，具有高效統(tǒng)計(jì)機(jī)器翻譯功能的移動(dòng)終端將會(huì)得到廣泛利用，將成為相關(guān)人士的必備工具。

目前，商用移動(dòng)終端上的機(jī)器翻譯主要采用基于規(guī)則的方法，這種方法需要針對(duì)源語(yǔ)言和目標(biāo)語(yǔ)言設(shè)計(jì)翻譯規(guī)則，而規(guī)則自動(dòng)獲取難度大，主要依靠人工編寫(xiě)，系統(tǒng)的造價(jià)和成本高，僅僅適用于受限的領(lǐng)域，系統(tǒng)不易擴(kuò)充、更新和維護(hù)；然而，基于統(tǒng)計(jì)的機(jī)器翻譯不依賴(lài)語(yǔ)言學(xué)知識(shí)，能夠很快的實(shí)現(xiàn)多語(yǔ)言互譯，但翻譯模型龐大，翻譯計(jì)算耗時(shí)長(zhǎng)，消耗系統(tǒng)資源較多[1-2]。

近年來(lái)，嵌入式硬件性能的不斷提升使移動(dòng)終端運(yùn)行統(tǒng)計(jì)機(jī)器翻譯成為可能，然而，統(tǒng)計(jì)機(jī)器翻譯需要大量的浮點(diǎn)運(yùn)算，無(wú)浮點(diǎn)運(yùn)算單元的中低端嵌入式處理器影響了翻譯速度。另一方面，面向移動(dòng)終端的語(yǔ)音翻譯也面臨同樣問(wèn)題。對(duì)此，本文提出了將統(tǒng)計(jì)機(jī)器翻譯解碼運(yùn)算定點(diǎn)化的方法。與統(tǒng)計(jì)機(jī)器翻譯的浮點(diǎn)解碼運(yùn)算相比，利用定點(diǎn)實(shí)現(xiàn)解碼運(yùn)算可以降低對(duì)計(jì)算資源的需求，獲得更好的翻譯性能。實(shí)驗(yàn)結(jié)果表明，在保證同等翻譯質(zhì)量的情況下，本方法可以有效地提高統(tǒng)計(jì)機(jī)器翻譯在移動(dòng)終端上的翻譯速度。

本文在第2節(jié)簡(jiǎn)要介紹了統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)，第3節(jié)介紹了計(jì)算機(jī)內(nèi)部數(shù)據(jù)的表示方法，第4節(jié)詳細(xì)闡述了利用定點(diǎn)處理浮點(diǎn)運(yùn)算的解碼器實(shí)現(xiàn)，第5節(jié)是實(shí)驗(yàn)結(jié)果，第6節(jié)是對(duì)本文的總結(jié)和對(duì)未來(lái)的展望。

2 統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)

本文以Xiong et al.的Bruin系統(tǒng)[3]為實(shí)驗(yàn)系統(tǒng)，重新實(shí)現(xiàn)了一個(gè)以定點(diǎn)運(yùn)算替代浮點(diǎn)運(yùn)算的統(tǒng)計(jì)機(jī)器翻譯解碼器。

Bruin系統(tǒng)主要由以下三個(gè)特征：

(1) 括號(hào)轉(zhuǎn)錄語(yǔ)法(BTG)[4]，并用對(duì)數(shù)線性形式的多種特征對(duì)規(guī)則賦予權(quán)重；

(2) 基于最大熵的調(diào)序模型，其特征通過(guò)雙語(yǔ)訓(xùn)練集自動(dòng)學(xué)習(xí)；

(3) 采用Beam Search的CKY類(lèi)型的解碼器。

下面，我們主要介紹通過(guò)BTG對(duì)翻譯過(guò)程的實(shí)現(xiàn)，如下式所示。

規(guī)則(3)將源短語(yǔ)x翻譯為目標(biāo)短語(yǔ)y，并生成一個(gè)塊A，規(guī)則(1)和(2)以正向或反向順序?qū)蓚€(gè)連續(xù)的塊合并為一個(gè)更大的塊。

Bruin采用對(duì)數(shù)線性模型計(jì)算規(guī)則概率，從而構(gòu)建一個(gè)BTG。對(duì)于規(guī)則(1)和(2)，指定的概率定義如公式(4)。

(4)

其中，Ω表示通過(guò)最大熵調(diào)序模型得到的A1和A2的重調(diào)序得分，λΩ表示Ω的權(quán)重；ΔPLM(A1,A2)表示根據(jù)調(diào)序結(jié)果得到的兩個(gè)塊的語(yǔ)言模型分?jǐn)?shù)增量，λLM表示ΔPLM(A1,A2)的權(quán)重。

規(guī)則(3)的概率定義如公式(5)。

Prl(A)=p(x|y)λ1·p(y|x)λ2·plex(x|y)λ3

·plex(y|x)λ4·exp(1)λ5

(5)

其中p(·)表示短語(yǔ)雙向翻譯概率，plex(·)表示詞匯化雙向翻譯概率，exp(L)表示短語(yǔ)懲罰，exp(|y|)表示單詞懲罰，λs表示特征權(quán)重，通過(guò)多種加權(quán)特征概率獲得規(guī)則概率。

3 計(jì)算機(jī)內(nèi)部的數(shù)據(jù)表示

下面主要介紹與本文密切相關(guān)的浮點(diǎn)與定點(diǎn)數(shù)據(jù)在計(jì)算機(jī)中的表示方法。

3.1 浮點(diǎn)數(shù)據(jù)表示方法

在廣泛采用的IEEE-754浮點(diǎn)標(biāo)準(zhǔn)中[4]，浮點(diǎn)數(shù)是將特定長(zhǎng)度的連續(xù)字節(jié)分割為特定長(zhǎng)度的符號(hào)域S，指數(shù)域E和尾數(shù)域M，其尾數(shù)域M由小數(shù)部分和一個(gè)隱含的小數(shù)點(diǎn)組成，同時(shí)指數(shù)域E的基數(shù)2也是隱含定義的。

IEEE-754標(biāo)準(zhǔn)明確定義了32位單精度浮點(diǎn)和64位雙精度浮點(diǎn)兩種基本浮點(diǎn)數(shù)據(jù)類(lèi)型的表示方式以及運(yùn)算法則。

單精度浮點(diǎn)格式表示如圖1，其中N共32位，其中S占1位，E占8位，M占23位。

圖1 單精度浮點(diǎn)格式

雙精度浮點(diǎn)格式表示如圖2，其中N共64位，其中S占1位，E占11位，M占52位。

圖2 雙精度浮點(diǎn)格式

3.2 定點(diǎn)數(shù)據(jù)表示方法

在計(jì)算機(jī)中，定點(diǎn)數(shù)據(jù)既可表示整數(shù)也可以表示小數(shù)。定點(diǎn)數(shù)是將特定長(zhǎng)度的連續(xù)字節(jié)分割為特定寬度的符號(hào)域S，整數(shù)域IWL和小數(shù)域FWL，如圖3所示[6]，當(dāng)設(shè)定隱含小數(shù)點(diǎn)在最低位時(shí)，定點(diǎn)數(shù)據(jù)只能表示整數(shù)，反之，則可以表示小數(shù)。

圖3 定點(diǎn)數(shù)據(jù)類(lèi)型的表示形式

定點(diǎn)數(shù)據(jù)類(lèi)型約定了參與運(yùn)算的數(shù)據(jù)的小數(shù)點(diǎn)隱含在某一固定位置上，而在對(duì)小數(shù)點(diǎn)位置做出選擇后，運(yùn)算中的所有數(shù)均應(yīng)統(tǒng)一為定點(diǎn)數(shù)據(jù)類(lèi)型，在運(yùn)算中不再考慮浮點(diǎn)數(shù)問(wèn)題。

4 解碼器運(yùn)算的定點(diǎn)化實(shí)現(xiàn)

由于無(wú)浮點(diǎn)運(yùn)算單元的嵌入式處理器本身不提供對(duì)浮點(diǎn)運(yùn)算支持的寄存器和指令集，即使可以通過(guò)編譯器實(shí)現(xiàn)浮點(diǎn)運(yùn)算，但這樣會(huì)頻繁產(chǎn)生CPU中斷，增加了系統(tǒng)延遲，降低了運(yùn)算效率。因此，為了提高無(wú)浮點(diǎn)運(yùn)算單元處理器運(yùn)行統(tǒng)計(jì)機(jī)器翻譯的解碼速度，在此類(lèi)嵌入式處理器上運(yùn)行的統(tǒng)計(jì)機(jī)器翻譯解碼算法中，我們需要用定點(diǎn)數(shù)據(jù)類(lèi)型來(lái)表示解碼算法中的浮點(diǎn)類(lèi)型及實(shí)現(xiàn)相應(yīng)運(yùn)算，在保證一定翻譯質(zhì)量的情況下，提高解碼器的翻譯速度，即解碼器運(yùn)算的定點(diǎn)化實(shí)現(xiàn)。

4.1 數(shù)據(jù)類(lèi)型的格式轉(zhuǎn)換

數(shù)的定標(biāo)是通過(guò)開(kāi)發(fā)人員來(lái)決定小數(shù)點(diǎn)在定點(diǎn)數(shù)據(jù)中的位置，從而確定實(shí)數(shù)的范圍和精度。Q格式是一種常用的定標(biāo)格式，其小數(shù)部分位數(shù)已經(jīng)設(shè)定，例如，Q15表示該定點(diǎn)數(shù)有15位小數(shù)。因此，針對(duì)移動(dòng)終端統(tǒng)計(jì)機(jī)器翻譯解碼，我們采用Q格式定點(diǎn)數(shù)來(lái)處理浮點(diǎn)數(shù)據(jù)和運(yùn)算?？梢酝ㄟ^(guò)改變定標(biāo)值，使程序更加靈活，適應(yīng)不同的處理器和統(tǒng)計(jì)機(jī)器翻譯解碼器。

將一個(gè)基本浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為Qn格式的W位定點(diǎn)數(shù)據(jù)所執(zhí)行的操作如下：

(1) 獲取存儲(chǔ)浮點(diǎn)數(shù)的連續(xù)字節(jié)內(nèi)容于一個(gè)W位整型變量；

(2) 根據(jù)IEEE-754標(biāo)準(zhǔn)對(duì)基本浮點(diǎn)數(shù)據(jù)的存儲(chǔ)格式定義，獲得浮點(diǎn)數(shù)的符號(hào)，指數(shù)和尾數(shù)；

(3) 根據(jù)指數(shù)對(duì)尾數(shù)進(jìn)行縮放，然后根據(jù)Qn格式，將縮放后的尾數(shù)轉(zhuǎn)換為相應(yīng)的定點(diǎn)數(shù)，并采用截?cái)喾绞教幚沓^(guò)定點(diǎn)字長(zhǎng)的位。

最后，我們以小數(shù)1.123 4為例說(shuō)明其轉(zhuǎn)換方式，其單精度浮點(diǎn)數(shù)存儲(chǔ)格式如圖4。

圖4 定點(diǎn)數(shù)值類(lèi)型表示形式

其中：

符號(hào)：S=0，表明該浮點(diǎn)數(shù)為正數(shù)；

指數(shù)：E=0x7F，實(shí)際指數(shù)E′=E-Bias=127-127=0；

尾數(shù)：M=0x8FCB92，實(shí)際尾數(shù)M′=M|0x800000=0x8FCB92。

下面采用Q8格式的16位整數(shù)類(lèi)型變量替換浮點(diǎn)數(shù)，則小數(shù)1.123 4的定點(diǎn)存儲(chǔ)格式如圖5。

圖5 實(shí)數(shù)1.123 4的Q8格式定點(diǎn)存儲(chǔ)格式

4.2 定點(diǎn)化類(lèi)

為了在SMT系統(tǒng)中采用不同精度定點(diǎn)運(yùn)算，我們用執(zhí)行效率更高的C++設(shè)計(jì)了一個(gè)定點(diǎn)化類(lèi)Fixed_SMT，該定點(diǎn)化類(lèi)主要包含兩個(gè)屬性：整數(shù)域長(zhǎng)度IWL和小數(shù)域長(zhǎng)度FWL，通過(guò)這兩個(gè)主要屬性來(lái)調(diào)整實(shí)數(shù)的表示范圍和精度，同時(shí)，該類(lèi)對(duì)+，-和×等相關(guān)運(yùn)算進(jìn)行了重載定義，使其滿足解碼運(yùn)算需求。這樣通過(guò)定點(diǎn)類(lèi)對(duì)象的運(yùn)算可以模擬浮點(diǎn)運(yùn)算。

4.3 解碼器定點(diǎn)化方案

用定點(diǎn)運(yùn)算模擬浮點(diǎn)運(yùn)算是整個(gè)解碼器定點(diǎn)化過(guò)程中的重點(diǎn)，需要預(yù)先知道解碼過(guò)程中參與浮點(diǎn)運(yùn)算的浮點(diǎn)類(lèi)型變量的范圍，然后用一定精度的定點(diǎn)類(lèi)型變量來(lái)表示它們，再通過(guò)定點(diǎn)運(yùn)算模擬實(shí)現(xiàn)原來(lái)的浮點(diǎn)運(yùn)算。

下面，我們介紹對(duì)Bruin系統(tǒng)解碼器的定點(diǎn)化工作。

(1) 由于解碼器采用的語(yǔ)言模型直接調(diào)用SRILM[7]接口，我們暫時(shí)無(wú)法實(shí)現(xiàn)其定點(diǎn)化，因此，我們?nèi)匀焕贸Ｒ?guī)的浮點(diǎn)運(yùn)算獲得語(yǔ)言模型和翻譯模型；

(2) 由于解碼器使用了語(yǔ)言模型、短語(yǔ)懲罰等九個(gè)特征，并為每個(gè)特征賦予權(quán)重，并采用式(6)計(jì)算當(dāng)前短語(yǔ)翻譯評(píng)分，因而我們便對(duì)其中的特征值和權(quán)重值分別進(jìn)行定點(diǎn)化。

(6)

圖6為解碼器的定點(diǎn)化的具體流程，通過(guò)分析解碼過(guò)程涉及的浮點(diǎn)變量的運(yùn)算范圍和精度，設(shè)置定點(diǎn)類(lèi)采用的Q格式，進(jìn)而替代解碼器的浮點(diǎn)變量和運(yùn)算，實(shí)現(xiàn)定點(diǎn)運(yùn)算模擬浮點(diǎn)運(yùn)算。最后，我們要對(duì)模擬結(jié)果進(jìn)行驗(yàn)證，從而調(diào)整定點(diǎn)格式設(shè)置以?xún)?yōu)化解碼運(yùn)算和翻譯精度。

圖6 解碼器定點(diǎn)化流程

通過(guò)上述處理，定點(diǎn)運(yùn)算在功能上完全和被替換的浮點(diǎn)運(yùn)算一樣，只是在精度上略遜于浮點(diǎn)運(yùn)算。當(dāng)把這樣的替換應(yīng)用到整個(gè)的解碼器代碼空間后，并且能保證翻譯結(jié)果在允許的誤差范圍內(nèi)時(shí)，相當(dāng)于消除了所有的浮點(diǎn)運(yùn)算，此時(shí)解碼器也已經(jīng)定點(diǎn)化。

5 實(shí)驗(yàn)

下面，我們將分別在PC和移動(dòng)終端上進(jìn)行定點(diǎn)解碼器和浮點(diǎn)解碼器的性能對(duì)比實(shí)驗(yàn)。

5.1 PC實(shí)驗(yàn)

本實(shí)驗(yàn)均是在漢英方向上進(jìn)行，并且使用FBIS(共239K雙語(yǔ)對(duì))作為訓(xùn)練集，NIST 2002漢英測(cè)試數(shù)據(jù)作為開(kāi)發(fā)集，NIST 2005漢英測(cè)試數(shù)據(jù)作為測(cè)試集。

我們使用SRILM工具包對(duì)訓(xùn)練語(yǔ)料的目標(biāo)端訓(xùn)練了一個(gè)四元語(yǔ)言模型，并采用Kneser-Ney[8]平滑方法。同時(shí)，我們使用大小寫(xiě)不敏感的BLEU[9]來(lái)衡量翻譯質(zhì)量。

表1 PC實(shí)驗(yàn)平臺(tái)配置信息

表2的PC實(shí)驗(yàn)結(jié)果表明，定點(diǎn)解碼器可以保證較好的翻譯質(zhì)量，而速度稍慢于浮點(diǎn)解碼器?？梢灶A(yù)測(cè)，將定點(diǎn)解碼器移植到無(wú)浮點(diǎn)運(yùn)算單元的移動(dòng)終端中，翻譯速度將會(huì)有較大提升。

表2 PC實(shí)驗(yàn)結(jié)果

由于統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)對(duì)內(nèi)存要求較大，限于硬件條件，我們采取在移動(dòng)終端上對(duì)定點(diǎn)和浮點(diǎn)數(shù)值運(yùn)算性能進(jìn)行對(duì)比試驗(yàn)，間接驗(yàn)證我們的統(tǒng)計(jì)機(jī)器翻譯定點(diǎn)化解碼器的解碼速度。

5.2 移動(dòng)終端實(shí)驗(yàn)

我們?cè)跓o(wú)浮點(diǎn)處理單元的移動(dòng)終端中進(jìn)行定點(diǎn)和浮點(diǎn)運(yùn)算性能對(duì)比實(shí)驗(yàn)，分別對(duì)定點(diǎn)數(shù)值和浮點(diǎn)數(shù)值進(jìn)行10 000 000次的循環(huán)運(yùn)算，其中運(yùn)算類(lèi)型采用統(tǒng)計(jì)機(jī)器翻譯解碼中運(yùn)算頻率較高的乘法和累加運(yùn)算。

由于實(shí)驗(yàn)采用的移動(dòng)終端沒(méi)有浮點(diǎn)處理單元，因此其浮點(diǎn)運(yùn)算采用內(nèi)核中非定義指令的異常中斷處理方式，浮點(diǎn)指令被截獲并由浮點(diǎn)模擬器模塊來(lái)執(zhí)行。

表4的實(shí)驗(yàn)結(jié)果表明，定點(diǎn)運(yùn)算性能較浮點(diǎn)運(yùn)算性能提高135.6%，從而可以間接驗(yàn)證，將本文設(shè)計(jì)的定點(diǎn)解碼器移植到無(wú)浮點(diǎn)運(yùn)算單元的移動(dòng)終端中，將會(huì)有效提高統(tǒng)計(jì)機(jī)器翻譯的解碼速度。

表3 移動(dòng)設(shè)備實(shí)驗(yàn)平臺(tái)配置信息

表4 移動(dòng)終端實(shí)驗(yàn)結(jié)果

6 總結(jié)與展望

近幾年，統(tǒng)計(jì)機(jī)器翻譯技術(shù)已經(jīng)取得大量成果，進(jìn)展迅速，實(shí)用性進(jìn)一步提高，同時(shí)，由于嵌入式移動(dòng)終端的廣泛普及和硬件性能的提高，統(tǒng)計(jì)機(jī)器翻譯可以在移動(dòng)終端中得到應(yīng)用。然而，由于大量的中低端低耗能的嵌入式處理器缺乏浮點(diǎn)處理單元，從而導(dǎo)致統(tǒng)計(jì)機(jī)器翻譯速度較慢的問(wèn)題。為了提高統(tǒng)計(jì)機(jī)器翻譯在移動(dòng)終端中的翻譯速度，我們提出了解碼運(yùn)算的定點(diǎn)化方法。實(shí)驗(yàn)結(jié)果表明，本文方法有效地提高了統(tǒng)計(jì)機(jī)器翻譯在浮點(diǎn)運(yùn)算能力薄弱的移動(dòng)終端上的翻譯速度，同時(shí)保持了較好的翻譯質(zhì)量。

另外，本文提出的方法也適用于語(yǔ)音識(shí)別、語(yǔ)音翻譯、圖像處理等相關(guān)領(lǐng)域，具有較高的實(shí)用價(jià)值。

在以后的研究中，我們希望完成以下方面的工作：

第一，實(shí)現(xiàn)對(duì)SRILM訓(xùn)練語(yǔ)言模型的定點(diǎn)化，進(jìn)一步提高移動(dòng)終端中統(tǒng)計(jì)機(jī)器翻譯性能；

第二，針對(duì)其他受限于浮點(diǎn)硬件的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)模塊，提出針對(duì)性的優(yōu)化方法；

第三，針對(duì)iPhone，Android等移動(dòng)平臺(tái)，結(jié)合具體移動(dòng)終端，利用我們的方法實(shí)現(xiàn)初步的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)。

[1] 徐金安. 機(jī)器翻譯展望[C]//2010海峽兩岸信息科學(xué)與信息技術(shù)學(xué)術(shù)交流會(huì)議. 秦皇島，2010：368-372.

[2] 劉群. 統(tǒng)計(jì)機(jī)器翻譯綜述[J]. 中文信息學(xué)報(bào)，2003，17(4)：1-12.

[3] Deyi Xiong, Qun Liu, Shouxun Lin. Maximum entropy based phrase reordering model for statistical machine translation[C]//Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics，Sydney，Australia，2006：521-528.

[4] Dekai Wu. Stochastic Inversion Transduction Grammars, with Application to Segmentation, Bracketing, and Alignment of Parallel Corpora[C]//Proceedings of IJCAI 1995，Montreal，Canada，1995：1328-1334.

[5] ANSI/IEEE. IEEE Std 754-1985，IEEE Standard for Binary Floating-Point Arithmetic[S]. 1985.

[6] K-l Kum, J. Kang, and W. Sung. A floating-point to fixed-point C converter for fixed-point digital signal processors[C]//Proc. 2nd SUIF Compiler Workshop, 1997.

[7] Andreas Stolcke. SRILM—An Extensible Language Modeling Toolkit[C]//Proc. Intl. Conf. on Spoken Language Processing，2002：901-904 .

[8] Stanley F. Chen and Joshua Goodman. An empirical study of smoothing techniques for language modeling[C]//Proc. 34th ACL，1996：310-318.

[9] Kishore Papineni，Salim Roukos，Todd Ward et al. BLEU: a method for automatic evaluation of machine translation[C]//Proceedings of ACL 2002，2002：311-318.

[10] David Goldberg. What Every Computer Scientist Should Know About Floating-Point Arithmetic[J]. ACM Computer Surveys，1991， 23(1)：5-48.

[11] 張海濱，李揮. 基于S3C2410的WMA開(kāi)源解碼程序優(yōu)化[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2009，30(1)：13-15.

[12] 曾微維，鄭善賢，成鋼. 基于統(tǒng)計(jì)的機(jī)器翻譯在嵌入式系統(tǒng)上的實(shí)現(xiàn)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2009,18(9)：1-4.