劉星宇，寧慧,2，張汝波

1. 哈爾濱工程大學(xué) 軟件學(xué)院，黑龍江 哈爾濱 150001

2. 哈爾濱工程大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001

3. 大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116600

如今，人工智能已經(jīng)逐步走進(jìn)人們的生活中，并不斷為人們提供高質(zhì)量的服務(wù)，所以自然語(yǔ)言處理技術(shù)也變得尤為重要。作為人工智能技術(shù)的核心，自然語(yǔ)言處理的詞性標(biāo)注分析在多個(gè)領(lǐng)域中都有所應(yīng)用，如機(jī)器翻譯、文本分析、問(wèn)題解答及機(jī)器人科學(xué)等領(lǐng)域都具有很高的應(yīng)用價(jià)值，在未來(lái)還會(huì)有更高的發(fā)展空間。而條件隨機(jī)場(chǎng)用于詞性分析有著更加準(zhǔn)確、靈活的特點(diǎn)，因此使用條件隨機(jī)場(chǎng)進(jìn)行詞性分析的研究具有重大的意義。

針對(duì)使用適當(dāng)?shù)哪Ｐ突蚪Y(jié)構(gòu)來(lái)提升詞性標(biāo)注結(jié)果準(zhǔn)確率的問(wèn)題，本文使用實(shí)驗(yàn)對(duì)隱馬爾可夫模型和條件隨機(jī)場(chǎng)模型進(jìn)行了模擬實(shí)現(xiàn)，同時(shí)使用條件隨機(jī)場(chǎng)的不同特征方程進(jìn)行了多組實(shí)驗(yàn)，并對(duì)比了每組實(shí)驗(yàn)的準(zhǔn)確率，結(jié)合實(shí)驗(yàn)結(jié)果得到最終結(jié)論。

1 相關(guān)技術(shù)

1.1 條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)是指在給定一組輸入隨機(jī)變量條件下，輸出另一組隨機(jī)變量的條件概率分布模型，并假設(shè)輸出的隨機(jī)變量構(gòu)成馬爾可夫隨機(jī)場(chǎng)。在條件隨機(jī)場(chǎng)的定義中，若要求條件概率分布P(Y|X)，要求條件隨機(jī)場(chǎng)符合在給定隨機(jī)變量X的情況下，隨機(jī)變量Y需滿足：

式中：w～v表示與v結(jié)點(diǎn)直接有邊連接的所有結(jié)點(diǎn)w；w≠v表示除了v結(jié)點(diǎn)本身以外的所有結(jié)點(diǎn)w[1]。

若式(1)對(duì)任意結(jié)點(diǎn)v成立，則P(Y|X)被稱(chēng)作是一個(gè)條件隨機(jī)場(chǎng)。

“條件”指它是個(gè)判別式模型P(Y|X)，“隨機(jī)場(chǎng)”指它是個(gè)無(wú)向圖模型，無(wú)向圖模型并不關(guān)注于每個(gè)事件是否有因果關(guān)系，并不涉及條件概率的分解。對(duì)于邊沒(méi)有方向的無(wú)向圖模型，它只代表2個(gè)事件是有聯(lián)系的[2]。條件隨機(jī)場(chǎng)最大的優(yōu)點(diǎn)是可以著眼于整個(gè)句子定義更靈活性的特征函數(shù)，并讓所有特征可以進(jìn)行全局歸一化，能夠求得全局的最優(yōu)解，甚至可以在特征函數(shù)中判斷句子是否以問(wèn)號(hào)結(jié)尾成為一個(gè)問(wèn)句，從而更加準(zhǔn)確地判斷每個(gè)位置的單詞更加接近正確的詞性。其中，利用了yt本身的特征稱(chēng)為狀態(tài)特征，利用了yt-1和yt之間關(guān)系的特征則稱(chēng)為轉(zhuǎn)移特征[3]。由于詞性標(biāo)注是一種鏈型結(jié)構(gòu)，所以可得條件隨機(jī)場(chǎng)模型的鏈型表示為圖1所示。

圖1 CRF鏈型模型

1.2 英文詞性標(biāo)注過(guò)程簡(jiǎn)介

對(duì)于詞性標(biāo)注問(wèn)題，可以分解為以下3點(diǎn)：learning問(wèn)題、marginal prob及MAP Inference。首先learning問(wèn)題就是進(jìn)行參數(shù)估計(jì)，也就是參數(shù)學(xué)習(xí)，即利用訓(xùn)練集來(lái)訓(xùn)練特征函數(shù)來(lái)生成并調(diào)整特征值，這里的訓(xùn)練集應(yīng)該由一個(gè)個(gè)已經(jīng)標(biāo)注好的樣本構(gòu)成，并且數(shù)量必須盡可能多才能將參數(shù)調(diào)整到概率上最為準(zhǔn)確[4]。marginal prob指的是邊緣概率計(jì)算問(wèn)題，即對(duì)于某一個(gè)單詞個(gè)體，標(biāo)注成某詞性yt的概率值，即可以用P(yt|x)來(lái)表示。MAP Inference指的就是decoding問(wèn)題，即用一定的算法，找到這樣的一種標(biāo)注序列，使得條件概率達(dá)到最大，最后選擇這種標(biāo)注作為結(jié)果標(biāo)注進(jìn)行預(yù)測(cè)[5]。

2 英文詞性標(biāo)注過(guò)程的研究

2.1 邊緣概率計(jì)算

對(duì)于邊緣概率計(jì)算，當(dāng)特征值通過(guò)一定算法學(xué)習(xí)好后，特征值就可以被使用進(jìn)行詞性的預(yù)測(cè)，而在對(duì)整個(gè)句子進(jìn)行預(yù)測(cè)時(shí)，實(shí)際上是對(duì)每個(gè)單詞相應(yīng)的算法進(jìn)行預(yù)測(cè)，這時(shí)就是要計(jì)算其邊緣概率，這里使用處于中間推導(dǎo)過(guò)程的勢(shì)函數(shù)乘積的公式[6]：

需要注意的是，這里為了運(yùn)算及表達(dá)方便，忽略考慮了邊界結(jié)點(diǎn)，相當(dāng)于在最初的y1結(jié)點(diǎn)前補(bǔ)充一個(gè)y0結(jié)點(diǎn)，方便運(yùn)算處理。式中，P(y|x)中的y代表的是y1,y2,…,yT的所有y值，然而，當(dāng)進(jìn)行邊緣概率計(jì)算時(shí)，即計(jì)算某一結(jié)點(diǎn)的標(biāo)注P(yt=i|x)時(shí)，需要將yt以外的結(jié)點(diǎn)值都進(jìn)行積分處理，又由于y的分布是離散分布，所以對(duì)于y的積分即為求和運(yùn)算，所以可以推導(dǎo)出：

對(duì)公式進(jìn)行簡(jiǎn)單的分解來(lái)簡(jiǎn)化表達(dá)，可以得出：

將原來(lái)的勢(shì)函數(shù)乘積公式(2)代入式(4)，可以得到：

對(duì)式(5)進(jìn)行時(shí)間復(fù)雜度分析，可以看出，若一個(gè)詞共有S種標(biāo)注方式，總共有T個(gè)yt構(gòu)成，也就是T個(gè)要標(biāo)注的詞，再計(jì)算最后T規(guī)模的連乘，總時(shí)間復(fù)雜度為O(|S|T×T)，是指數(shù)級(jí)的時(shí)間復(fù)雜度。對(duì)于指數(shù)級(jí)時(shí)間復(fù)雜度，計(jì)算量過(guò)大過(guò)于復(fù)雜，這種暴力求解的方法可以認(rèn)為是不可解的，所以需要對(duì)其進(jìn)行進(jìn)一步的化簡(jiǎn)，化簡(jiǎn)思路就是將連加進(jìn)行后移，移到連加運(yùn)算的主體參數(shù)上，使連加提前進(jìn)行，做到簡(jiǎn)化運(yùn)算?？梢詫⒐椒譃閮刹糠?，一部分是y1,y2,…,yt-1，一部分是yt+1,yt+2,…,yT，記為Δ左和Δ右，所以公式可化為式(6)的形式[7]：

下面分別來(lái)分析，首先對(duì)于Δ左，可以將其展開(kāi)以便觀察和化簡(jiǎn)為

其中，若一個(gè)詞共有S種標(biāo)注方式，yt是屬于S集合內(nèi)的。同理，相對(duì)于左側(cè)公式，也可以寫(xiě)出右側(cè)公式：

此時(shí)，可以根據(jù)動(dòng)態(tài)規(guī)劃的思想對(duì)公式進(jìn)行化簡(jiǎn)，就轉(zhuǎn)變成了前向-后向算法的形式。在Δ左中，對(duì)于一個(gè)線性鏈結(jié)構(gòu)，積分(對(duì)于離散分布也就是連加)可以按照鏈型的次序進(jìn)行，將每一步驟的積分結(jié)果作為下一步積分的公式參數(shù)，就形成了動(dòng)態(tài)規(guī)劃轉(zhuǎn)移方程的形式，即前向算法的形式。例如，對(duì)于 ψ1(y0,y1,x)這個(gè)式子，由于y0只存在于本式中，而y1除了本式中存在，還存在于ψ2(y1,y2,x)中，所以對(duì)于此式可以將y0進(jìn)行積分，僅保留y1作為下一步積分的公式參數(shù)，此時(shí)式子就可以寫(xiě)成：

進(jìn)一步思考后不難發(fā)現(xiàn)，y2既存在于此公式中，也存在于 ψ3(y2,y3,x)中，依此類(lèi)推，最后，Δ左式可以化為

為化簡(jiǎn)可以將式(9)中多余的括號(hào)去掉進(jìn)行合并，得到式(10)：

設(shè) αt(i)表示y0,y1,…,yt-1的所有勢(shì)函數(shù)以及yt=i的左半部分勢(shì)函數(shù)，根據(jù)前向算法以及概率圖模型中精準(zhǔn)推斷的變量消除法的思想，原式可以進(jìn)一步轉(zhuǎn)化為

所以同理，也可以寫(xiě)出yt右側(cè)的后向算法表達(dá)式轉(zhuǎn)化為

因此綜上所述可以得到邊緣概率

2.2 參數(shù)學(xué)習(xí)

在條件隨機(jī)場(chǎng)中的參數(shù)學(xué)習(xí)問(wèn)題就是求特征方程的特征值，這里可以使用梯度上升算法，即通過(guò)不斷找出偏導(dǎo)數(shù)的絕對(duì)值最大的方向進(jìn)行移動(dòng)，找到最大值[8]。設(shè)特征值分別為λ和η，則其表達(dá)式為

為簡(jiǎn)化運(yùn)算，又由于對(duì)數(shù)函數(shù)為單調(diào)函數(shù)，所以可以將公式對(duì)數(shù)化，將連乘轉(zhuǎn)化成連加的形式：

此時(shí)將argmax后的部分看成整體，作為一個(gè)函數(shù)，記為L(zhǎng)，根據(jù)梯度上升算法原理，需求出λ和η的 偏導(dǎo) ?λL和 ?ηL，尋找梯度最大方向，一步步找到λ和 η的最大值[4]。下面進(jìn)行求偏導(dǎo)，如式(7)：

式 中： logZ(x(i),λ,η)稱(chēng)作log-partition function，是一種配分函數(shù)，它在指數(shù)族分布中是一個(gè)非常重要的概念，對(duì)其求導(dǎo)所得到的是所對(duì)應(yīng)的充分統(tǒng)計(jì)量的期望，其偏導(dǎo)數(shù)經(jīng)過(guò)推理后可得

對(duì)于邊緣概率的計(jì)算，依然使用前向-后向算法來(lái)求解，即邊緣概率計(jì)算的過(guò)程，唯一的不同點(diǎn)在于本公式為對(duì)2個(gè)y變量的求解：

綜上所述，對(duì)于 ?λL和 ?ηL，整理可得：

根據(jù)梯度上升算法以及上述所求的結(jié)果，最后求得參數(shù)λ和η[9]：

2.3 詞性預(yù)測(cè)

條件隨機(jī)場(chǎng)的詞性預(yù)測(cè)所用核心算法為維特比算法，在機(jī)器學(xué)習(xí)中，維特比算法是一種應(yīng)用非常廣泛的算法，它基于動(dòng)態(tài)規(guī)劃思想，在求解隱馬爾可夫模型、條件隨機(jī)場(chǎng)的預(yù)測(cè)等問(wèn)題中均用到了該算法。實(shí)際上，維特比算法不僅是很多自然語(yǔ)言處理的解碼算法，也是現(xiàn)代數(shù)字通信中使用最頻繁的算法[10]。

維特比算法的目的是要求出圖2中的一條路徑，使得該路徑對(duì)應(yīng)的概率值最大。對(duì)應(yīng)圖2來(lái)講，假設(shè)每個(gè)時(shí)刻x可能取的值為3種，如果直接求解結(jié)果的話，會(huì)有3N的排列組合數(shù)，其中底數(shù)3為籬笆網(wǎng)絡(luò)寬度，指數(shù)N為籬笆網(wǎng)絡(luò)的長(zhǎng)度，因此時(shí)間復(fù)雜度達(dá)到無(wú)法運(yùn)算的指數(shù)級(jí)，計(jì)算量非常大，若設(shè)每個(gè)時(shí)刻x可能取的值為D種，則時(shí)間復(fù)雜度為O(DN)。維特比利用動(dòng)態(tài)規(guī)劃的思想來(lái)求解概率最大路徑，使得時(shí)間復(fù)雜度正比于序列長(zhǎng)度，復(fù)雜度為O(ND2)，從而很好地解決了問(wèn)題[11]。

圖2 維特比算法示意

3 實(shí)驗(yàn)過(guò)程與結(jié)果分析

3.1 隱馬爾可夫模型實(shí)驗(yàn)

在使用隱馬爾可夫模型來(lái)實(shí)現(xiàn)詞性標(biāo)注時(shí)，核心是隱馬爾可夫模型的三大矩陣[4]，分別是初始狀態(tài)概率分布矩陣(π矩陣)、輸出觀測(cè)矩陣(A矩陣)和狀態(tài)轉(zhuǎn)移矩陣(B矩陣)[12]。

其中，初始狀態(tài)概率分布矩陣指的是第一個(gè)單詞被標(biāo)注成各個(gè)詞性的概率矩陣，若設(shè)第一個(gè)結(jié)點(diǎn)前有一個(gè)虛擬的start結(jié)點(diǎn)，可以看成在start虛擬結(jié)點(diǎn)到第一個(gè)結(jié)點(diǎn)的概率。輸出觀測(cè)矩陣指的是在當(dāng)前位置為詞性n的情況下，出現(xiàn)單詞m的概率。狀態(tài)轉(zhuǎn)移矩陣指的是在前一個(gè)位置為詞性n’的情況下，當(dāng)前位置的詞性為n的概率[13]。

1)先將訓(xùn)練集讀入。在讀入的過(guò)程中將單詞和詞性轉(zhuǎn)化為編號(hào)數(shù)字存儲(chǔ)在數(shù)組中以便于進(jìn)行操作，同時(shí)記錄不同單詞總數(shù)M以及詞性種類(lèi)總數(shù)N。

2)根據(jù)M和N構(gòu)造相應(yīng)大小的初始狀態(tài)概率分布矩陣、輸出觀測(cè)矩陣和狀態(tài)轉(zhuǎn)移矩陣。

3)再次讀入訓(xùn)練集，對(duì)三大矩陣進(jìn)行填充。根據(jù)各個(gè)單詞是否是在首位置出現(xiàn)、出現(xiàn)當(dāng)前詞性時(shí)出現(xiàn)了當(dāng)前單詞的次數(shù)、上一個(gè)詞性到當(dāng)前詞性的組合出現(xiàn)的次數(shù)，對(duì)三大矩陣進(jìn)行不斷累加，訓(xùn)練完畢后將其概率化，即除以矩陣當(dāng)前行數(shù)組總長(zhǎng)，將當(dāng)前數(shù)字轉(zhuǎn)化為0-1之間的概率數(shù)字。

4)實(shí)現(xiàn)維特比算法的函數(shù)。輸入?yún)?shù)為所要預(yù)測(cè)的句子x、三大矩陣、最終預(yù)測(cè)總數(shù)組arr。將預(yù)測(cè)好的詞性標(biāo)注情況逐一增加到最終預(yù)測(cè)總數(shù)組中，以便于最后求解準(zhǔn)確度。并且在其中將矩陣間的乘積提前進(jìn)行對(duì)數(shù)化，將乘積化為加和，簡(jiǎn)化運(yùn)算，以加快運(yùn)算速度[14]。實(shí)現(xiàn)細(xì)節(jié)如下所示：

5)使用校驗(yàn)集來(lái)對(duì)所訓(xùn)練好的三大矩陣進(jìn)行運(yùn)算，將校驗(yàn)集切分為一個(gè)個(gè)的句子，不斷地使用維特比算法進(jìn)行計(jì)算，每次計(jì)算完都會(huì)將預(yù)測(cè)出的詞性標(biāo)注情況加入到最終預(yù)測(cè)總數(shù)組中，最后與校驗(yàn)集原有的正確標(biāo)注進(jìn)行對(duì)比，得出準(zhǔn)確率。實(shí)現(xiàn)細(xì)節(jié)如下：

3.2 條件隨機(jī)場(chǎng)模型實(shí)驗(yàn)

對(duì)于使用條件隨機(jī)場(chǎng)進(jìn)行詞性標(biāo)注模擬實(shí)現(xiàn)，這里使用的是Sklearn_crfsuite庫(kù)來(lái)對(duì)參數(shù)進(jìn)行學(xué)習(xí)和訓(xùn)練，同時(shí)為確保結(jié)果對(duì)比的有效性，訓(xùn)練集和校驗(yàn)集選用的仍然是和HMM相同的數(shù)據(jù)庫(kù)。

1)進(jìn)行數(shù)據(jù)集讀取。將訓(xùn)練集和校驗(yàn)集分割成一個(gè)個(gè)句子，由于句子之間是沒(méi)有聯(lián)系的，所以可以以每個(gè)句子為單獨(dú)樣本來(lái)進(jìn)行實(shí)驗(yàn)。將各個(gè)句子的單詞、詞性信息加入到train_sents和test_sents數(shù)組中。

2)進(jìn)行特征方程的構(gòu)造。這里用6組實(shí)驗(yàn)，利用不同的思想構(gòu)造了特征方程，下面分別介紹這6組特征方程組。

①對(duì)word2features0特征方程組，使用的是較為共有的特性，例如是否為數(shù)字、末尾幾個(gè)字母是否相同、首字母是否為大寫(xiě)等特性，來(lái)進(jìn)行參數(shù)訓(xùn)練。如下：

②對(duì)word2features1特征方程組進(jìn)一步思考是否可以將較為普遍的共性進(jìn)行具體化。根據(jù)這個(gè)思想，通過(guò)廣泛搜集信息，找到并整理出了較為完整的詞性后綴集合，通過(guò)對(duì)后綴的具體要求來(lái)構(gòu)造特征方程，將共性進(jìn)行具體化[15]，部分構(gòu)造代碼如下：

③對(duì)于word2features2特征方程組，在word2 features1的基礎(chǔ)上，將后n個(gè)字母相同的偏向共性的條件注釋掉，只保留后綴對(duì)詞性的要求，來(lái)分辨后n個(gè)字母相同的條件和具體后綴的條件是否會(huì)因?yàn)橛兄丿B而影響詞性預(yù)測(cè)準(zhǔn)確率。

④對(duì)于word2features3特征方程組，保留后n個(gè)字母相同的條件和相對(duì)其他后綴來(lái)說(shuō)較為共性的特殊后綴，觀察更加共性是否是影響詞性預(yù)測(cè)準(zhǔn)確率的關(guān)鍵條件，特殊后綴構(gòu)造代碼如下：

# 特殊后綴

⑤對(duì)于word2features4特征方程組，保留后1、2、3、4個(gè)字母相同的條件，以及后綴為5個(gè)字母及以上的具體后綴條件，觀察詞性預(yù)測(cè)準(zhǔn)確率，構(gòu)造代碼如下:

⑥對(duì)于word2features5特征方程組，根據(jù)word2 features4的構(gòu)造情況進(jìn)行對(duì)比，保留后1、2、3個(gè)字母相同的條件，以及后綴為4個(gè)字母及以上的具體后綴條件，觀察詞性預(yù)測(cè)準(zhǔn)確率。

3)根據(jù)Sklearn_crfsuite庫(kù)的要求，構(gòu)造三維數(shù)組參數(shù)。其中，對(duì)于訓(xùn)練集，第一維為每個(gè)句子，第二維為每個(gè)句子中的每個(gè)單詞，第三維為每個(gè)單詞所擁有的特性。這里的特性就是用第二步的特征方程來(lái)判斷出來(lái)的是否符合各個(gè)特征方程的布爾值。對(duì)于校驗(yàn)集，第三維為每個(gè)單詞所擁有的正確詞性標(biāo)注，用于最后判斷預(yù)測(cè)詞性標(biāo)注的準(zhǔn)確性。

4)使用Sklearn_crfsuite庫(kù)中的API并傳入相應(yīng)的參數(shù)，使用擬牛頓法進(jìn)行參數(shù)學(xué)習(xí)，使用維特比算法進(jìn)行詞性預(yù)測(cè)，并將結(jié)果與校驗(yàn)集進(jìn)行比對(duì)，若標(biāo)注的詞性相同，則same+=1，最后將same除以標(biāo)注總數(shù)sum，求出最終準(zhǔn)確率，代碼實(shí)現(xiàn)如下：

3.3 實(shí)驗(yàn)結(jié)果分析

經(jīng)過(guò)隱馬爾可夫模型以及條件隨機(jī)場(chǎng)的各個(gè)不同的特征方程對(duì)相同訓(xùn)練集進(jìn)行訓(xùn)練以及相同校驗(yàn)集進(jìn)行校驗(yàn)，得出準(zhǔn)確率的結(jié)果如表1和表2所示。

表1 數(shù)據(jù)庫(kù)1詞性預(yù)測(cè)準(zhǔn)確率結(jié)果

表2 數(shù)據(jù)庫(kù)2詞性預(yù)測(cè)準(zhǔn)確率結(jié)果

可以看出，2個(gè)數(shù)據(jù)庫(kù)中隱馬爾可夫模型的準(zhǔn)確率都是完全低于條件隨機(jī)場(chǎng)的，證明了條件隨機(jī)場(chǎng)模型更適用于詞性標(biāo)注問(wèn)題，也證明了條件隨機(jī)場(chǎng)對(duì)于解決詞性標(biāo)注問(wèn)題的全面性和靈活性。

對(duì)于條件隨機(jī)場(chǎng)模型不同特征方程之間的比較，可以看出2個(gè)數(shù)據(jù)庫(kù)中word2features4所達(dá)到的準(zhǔn)確率最高，也就是說(shuō)，使用相對(duì)共性籠統(tǒng)的后n個(gè)字母相同加上相對(duì)具體的n+1及n+1以上個(gè)字母的后綴結(jié)合使用所達(dá)到的準(zhǔn)確率最高。同時(shí)，2個(gè)數(shù)據(jù)庫(kù)中word2features2所達(dá)到的準(zhǔn)確率在條件隨機(jī)場(chǎng)模型中都是最小的，也就表明若不用相對(duì)共性的后n個(gè)字母相同的方法構(gòu)造特征函數(shù)，而只用后綴法來(lái)構(gòu)造特征函數(shù)時(shí)，準(zhǔn)確率會(huì)降低，也就是說(shuō)，共性構(gòu)造是不可少的一部分，可以大大提高預(yù)測(cè)準(zhǔn)確率。

綜上所述，在進(jìn)行英文詞性標(biāo)記時(shí)，條件隨機(jī)場(chǎng)模型表現(xiàn)出更好的效果，相對(duì)其他模型有著更準(zhǔn)確的預(yù)測(cè)。同時(shí)，選擇使用相對(duì)共性的后n個(gè)字母相同加上相對(duì)具體的n+1及n+1以上個(gè)字母的后綴結(jié)合使用所達(dá)到的準(zhǔn)確率最高。

4 結(jié)論

本文對(duì)隱馬爾可夫模型和條件隨機(jī)場(chǎng)模型進(jìn)行了模擬實(shí)驗(yàn)，同時(shí)使用條件隨機(jī)場(chǎng)的不同特征方程進(jìn)行了多組實(shí)驗(yàn)，并對(duì)比了每組實(shí)驗(yàn)的準(zhǔn)確率。結(jié)果表明，條件隨機(jī)場(chǎng)對(duì)于解決英文詞性標(biāo)注問(wèn)題有著更大的優(yōu)勢(shì)，并且將共性的特征與相對(duì)具體的后綴特征結(jié)合使用所達(dá)到的詞性標(biāo)注準(zhǔn)確率最高。