齊玉東，丁海強(qiáng)，吳晉豫，司維超

(1.海軍航空大學(xué)，山東 煙臺 264001； 2. 92199部隊(duì), 山東 青島 266000)

隨著軍隊(duì)信息化水平的迅速提高，軍事業(yè)務(wù)數(shù)據(jù)呈現(xiàn)爆炸式增長，“技術(shù)密集型”、“數(shù)據(jù)驅(qū)動型”特點(diǎn)日益突出。在軍事數(shù)據(jù)中，大量信息以文本形式存在與使用，文本類型數(shù)據(jù)具有數(shù)量大、蘊(yùn)含信息豐富、難以直接利用等特征，研究如何有效處理軍事文本數(shù)據(jù)成為亟待解決的問題。命名實(shí)體識別(Named Entities Recognition，NER)[1]是文本信息抽取的基礎(chǔ)性工作，用于取文本中具有基本語義的實(shí)體單元。在軍事領(lǐng)域，可以將命名實(shí)體分為軍事人員、軍事保障機(jī)構(gòu)、軍事保障設(shè)備、軍事保障設(shè)施、軍事裝備名稱5種類型。

目前，在軍事實(shí)體識別研究方面，使用深度學(xué)習(xí)[2]方法成為主流趨勢。例如，朱佳暉[3]等人提出雙向LSTM和CRF的實(shí)體識別框架，實(shí)現(xiàn)軍事語料文本中的作戰(zhàn)相關(guān)命名實(shí)體的識別和鏈接，較其他前沿方法在F值上獲得了更加優(yōu)秀的結(jié)果。李建龍[4]等人采用雙向LSTM模型解決軍事領(lǐng)域命名實(shí)體識別問題，并增加注意力機(jī)制進(jìn)行模型優(yōu)化，在軍事測試語料集上的測試F值達(dá)到了87.38%。王學(xué)鋒[5]等人結(jié)合BiLSTM、字向量以及CRF，構(gòu)建了character-BiLSTM-CRF實(shí)體識別模型，通過實(shí)驗(yàn)證明該方法比傳統(tǒng)方法的識別準(zhǔn)確率、召回率、F值均有大幅度提升。以上軍事實(shí)體識別方法雖然減輕了人工提取特征的繁瑣過程，實(shí)體識別準(zhǔn)確率也達(dá)到了一定的高度，但沒有考慮到領(lǐng)域知識對軍事實(shí)體識別的影響。相較于傳統(tǒng)領(lǐng)域的命名實(shí)體識別，軍事命名實(shí)體種類多，且命名實(shí)體之間的辨析難度更大，增加領(lǐng)域知識對提高軍事實(shí)體的識別效果具有重要作用。

綜合上述分析，本文提出融合本體特征的BiLSTM-CRF軍事命名實(shí)體識別方法，將本體特征作為軍事命名實(shí)體識別的領(lǐng)域知識特征，融入到文本向量特征中，有效解決命名實(shí)體種類多、命名實(shí)體間辨析難度大難題。同時(shí)，模型中加入字向量描述詞語的內(nèi)部形態(tài)學(xué)特征，解決分詞準(zhǔn)確率低、未登錄詞對軍事命名實(shí)體識別的影響，最后采用BiLSTM-CRF方法完成軍事實(shí)體識別過程。

1 軍事本體的構(gòu)建與應(yīng)用

本體(Ontology)源于拉丁文Ontologaia，意思是事物的本質(zhì)。在計(jì)算機(jī)學(xué)科中，被廣泛應(yīng)用在知識表示、信息系統(tǒng)、領(lǐng)域分析、人工智能等領(lǐng)域[6]。根據(jù)軍事領(lǐng)域本體提取文本相應(yīng)的本體特征，并將其融合到命名實(shí)體識別方面，可以有效提高軍事實(shí)體識別的準(zhǔn)確率。本節(jié)通過構(gòu)建軍事領(lǐng)域本體，將軍事領(lǐng)域知識進(jìn)行體系化組織，方便領(lǐng)域知識的檢索與獲取，并進(jìn)一步將本體特征融入到文本向量中，構(gòu)建融合本體特征的文本向量表示。

1.1 軍事領(lǐng)域本體

軍事領(lǐng)域本體以軍事保障本體[7]為上層本體參考，遵循“七步法”本體建模方法，使用Protégé本體開發(fā)工具進(jìn)行構(gòu)建，構(gòu)建流程如圖1所示。

圖1 軍事領(lǐng)域本體構(gòu)建流程框圖

軍事領(lǐng)域本體構(gòu)建流程具體如下：

1) 明確軍事領(lǐng)域本體涉及軍事裝備以及部分軍事裝備保障方面的概念。構(gòu)建軍事領(lǐng)域本體目的是建立具有邏輯檢測與可擴(kuò)展的本體庫，為軍事命名實(shí)體識別提供領(lǐng)域知識指導(dǎo)；

2) 參考《軍語》、《軍械勤務(wù)》、《軍事主題詞簡明詞典》等專業(yè)詞典，查閱大量軍事裝備相關(guān)報(bào)告與學(xué)術(shù)論文，匯總整理得到軍事保障設(shè)備(64個(gè)術(shù)語)、軍事保障設(shè)施(61個(gè)術(shù)語)、軍事保障機(jī)構(gòu)(40個(gè)術(shù)語)、軍事人員(21個(gè)術(shù)語)、軍事裝備及主要組成部件(218個(gè)術(shù)語)總計(jì)404個(gè)術(shù)語；

3) 定義等價(jià)、屬種、相關(guān)、非交4種關(guān)系將眾多軍事概念聯(lián)系起來；

4) 對軍事領(lǐng)域概念的屬性進(jìn)行定義，參考《可靠性維修性保障性術(shù)語》(GJB/Z 139—2004)對概念的數(shù)據(jù)屬性信息進(jìn)行描述，構(gòu)建軍事裝備領(lǐng)域概念的屬性集合；

5) 選擇概念，通過查詢《軍事保障數(shù)據(jù)庫》，為所建本體添加概念實(shí)例；

6) 本體模型校驗(yàn)，利用Racer推理機(jī)進(jìn)行邏輯檢測，對本體概念進(jìn)行一致性和包含性檢測，對實(shí)例進(jìn)行沖突檢測，以發(fā)現(xiàn)本體中概念定義矛盾、實(shí)例屬性關(guān)系關(guān)聯(lián)有誤的情況，確保本體庫邏輯上的正確性；

7) 軍事領(lǐng)域本體模型文檔化，利用Protégé的文檔生成工具進(jìn)行規(guī)范化文檔的生成工作。

1.2 融合本體特征的文本向量表示

神經(jīng)網(wǎng)絡(luò)模型只能接受數(shù)值向量作為輸入[8-9]。因此，本節(jié)將本體特征、分詞、字三者分別處理為相應(yīng)的向量，共同構(gòu)成文本向量表示。

1.2.1本體特征向量

根據(jù)領(lǐng)域本體，可以方便地推理出某個(gè)詞語所蘊(yùn)含的深層語義關(guān)系。通過分析軍事裝備領(lǐng)域本體，得到指導(dǎo)命名實(shí)體識別的語義關(guān)系包括：(1)子類關(guān)系，體現(xiàn)普遍性與特殊性的關(guān)系；(2)屬性關(guān)系，體現(xiàn)本體的對象與對應(yīng)屬性的關(guān)系；(3)實(shí)例關(guān)系，體現(xiàn)抽象與具體的關(guān)系。將上述三種語義關(guān)系作為軍事詞語的本體特征表示，具體軍事本體特征類別如表1所示。

表1 軍事本體特征類別

實(shí)體本體特征符號表示軍事人員子類P_sub軍事人員屬性P_att軍事人員實(shí)例P_ins軍事保障機(jī)構(gòu)子類O_sub軍事保障機(jī)構(gòu)屬性O(shè)_att軍事保障機(jī)構(gòu)實(shí)例O_ins軍事保障設(shè)備子類E_sub軍事保障設(shè)備屬性E_att軍事保障設(shè)備實(shí)例E_ins軍事保障設(shè)施子類F_sub軍事保障設(shè)施屬性F_att軍事保障設(shè)施實(shí)例F_ins軍事裝備子類W_sub軍事裝備屬性W_att軍事裝備實(shí)例W_ins

根據(jù)表1中的軍事本體特征類別，使用One-Hot Encoding表示不同的本體特征標(biāo)注。定義本體特征標(biāo)注集為O，定義單位矩陣E∈R|O|×|O|，其中單位矩陣E的每一個(gè)行向量表示一個(gè)本體特征標(biāo)注。則第i個(gè)詞語wi的本體特征向量表示為O(wi)。

1.2.2詞向量和字向量

使用結(jié)巴分詞庫對輸入文本進(jìn)行分詞處理，并采用word2vec[10-13]工具生成詞向量字典W。假設(shè)輸入文本為s，分詞處理得到n個(gè)詞語，根據(jù)詞向量字典W將可以得到每個(gè)分詞的向量化表示，從而拼接成整個(gè)輸入文本的向量，記做s=(w1,w2,…,wn)。

考慮到軍事文本中專有名詞數(shù)量較多，分詞準(zhǔn)確率較低，且由于詞向量字典不夠完備，未登錄詞現(xiàn)象普遍，對命名實(shí)體識別也會造成影響。本文加入字向量以提供詞語的內(nèi)部形態(tài)學(xué)信息，以緩解分詞不準(zhǔn)確以及未登錄詞對命名實(shí)體識別的影響。本文同樣使用word2vec工具，以單字為粒度進(jìn)行字向量訓(xùn)練，生成字向量字典C。根據(jù)字向量字典，確定第i個(gè)分詞wi的字向量組成為wi=(c1,c2,…,cl)。

在實(shí)踐過程中發(fā)現(xiàn)，中文分詞的長度不固定，有1個(gè)字長度的分詞，也存在6～7字甚至更長的分詞。將原始字向量輸入神經(jīng)網(wǎng)絡(luò)，則會造成長分詞向量對模型的影響大，短分詞向量對模型的影響小，影響命名實(shí)體識別的效果。因此，本文使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bidirectional Recurrent Neural Network，BiRNN)[14]對字向量進(jìn)行編碼處理，得到同等長度的字向量。使用前向循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行字編碼操作記做RNNf(c1∶l)，使用后向循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行字編碼操作記做RNNb(c1∶l)，其中c1∶l=[c1,c1,…,cl]。

綜合上述分析，本文采用本體特征向量、詞向量、字向量三者結(jié)合的方式，作為文本向量表示。定義模型的第i個(gè)輸入文本向量為xi，則：

xi=[O(wi);wi;RNNf(c1∶l);RNNb(c1∶l)]

(1)

式(1)中：O(wi)為本體特征向量；wi為詞向量；c1∶l為詞wi的字向量組成；RNNf(c1∶l);RNNb(c1∶l)為字向量編碼。

2 Bi-LSTM-CRF模型

將文本處理為融合本體特征的向量后，輸入到Bi-LSTM-CRF模型中，識別出其中的命名實(shí)體。包括Bi-LSTM編碼模塊、標(biāo)注預(yù)測模塊、線性CRF模塊三部分。

2.1 Bi-LSTM編碼模塊

Hochreiter and Schmidhuber于1997年提出長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)，通過設(shè)計(jì)特殊的門結(jié)構(gòu)使得模型可以選擇性的保存上下文信息。LSTM模型將狀態(tài)向量si分解為記憶單元cj與隱藏狀態(tài)單元hj兩部分，其結(jié)構(gòu)定義如下：

sj=RLSTM(sj-1,xj)=[cj;hj]

yj=OLSTM(sj)=hj

cj=f⊙cj-1+i⊙z

hj=o⊙tanh(cj)

i=σ(xjWxi+hj-1Whi)

f=σ(xjWxf+hj-1Whf)

o=σ(xjWxo+hj-1Who)

z=tanh(xjWxz+hj-1Whz)

sj∈R1×2·dh;xj∈R1×dx;cj,hj,i,f,o,z∈R1×dh;

Wxo,Wxi,Wxf,Wxz∈Rdx×dh;

Who,Whi,Whf,Whz∈Rdh×dh

(2)

式(2)中：xj表示j時(shí)刻的輸入向量；sj表示j時(shí)刻的狀態(tài)向量；yj表示j時(shí)刻的輸出向量；cj表示記憶單元部分；hj表示隱藏單元部分；i、f、o表示輸入門、遺忘門、輸出門；z表示更新狀態(tài)；⊙表示對應(yīng)元素相乘操作；σ表示激活函數(shù)sigmoid操作。

為了更有效地利用上下文信息，識別文本序列間的順序關(guān)系，本文采用Bi-LSTM進(jìn)行軍事命名實(shí)體識別工作，分別從正向(從第一個(gè)詞到最后一個(gè)詞)和反向(從最后一個(gè)詞到第一個(gè)詞)對輸入向量進(jìn)行編碼操作，最后將兩部分輸出向量進(jìn)行拼接處理。

2.2 標(biāo)注預(yù)測模塊

命名實(shí)體識別通常被建模為序列標(biāo)注任務(wù)，通過對文本進(jìn)行標(biāo)簽標(biāo)注從而進(jìn)行對應(yīng)命名實(shí)體的提取。本文使用BIO標(biāo)注模型進(jìn)行文本序列標(biāo)注。

模型輸入向量x1∶n=[x1,x2,…,xi,…,xn]經(jīng)過Bi-LSTM編碼模塊進(jìn)行編碼處理后得到輸出向量，然后將每個(gè)輸出向量送入一個(gè)多層感知器(Multi-Layer Perception，MLP)網(wǎng)絡(luò)中，并通過softmax函數(shù)進(jìn)行歸一化處理，得到此分詞被標(biāo)注為各類軍事命名實(shí)體標(biāo)簽的概率值，從而完成標(biāo)注預(yù)測過程。其中，第i個(gè)分詞標(biāo)預(yù)測標(biāo)注為標(biāo)簽的概率表示為：

p(ti=j|w1,w2,…,wn) =

softmax (MLP (biLSTM (x1∶n,i)))[k]

(3)

式(3)中：biLSTM (x1∶n,i)表示輸入為x1∶n的雙向長短期記憶網(wǎng)絡(luò)的第i個(gè)輸出；softmax (x)[k]表示向量x歸一化處理后的第k維表示。

使用上述方法對每一個(gè)分詞進(jìn)行標(biāo)簽預(yù)測，得到向量ti，ti[k]表示ti的第k維度，表示第i個(gè)分詞被標(biāo)注為j標(biāo)簽的概率，即ti[k]=p(ti=j|w1,w2,…,wn)。同時(shí)，本文引入標(biāo)簽對(tag-tag)因子，對相鄰標(biāo)簽之間的兼容性進(jìn)行評分，將標(biāo)簽之間的影響反映到序列評分中。定義評分矩陣Α∈RK×K表示相鄰標(biāo)簽之間的兼容性得分，其中K表示標(biāo)簽類別數(shù)目，在本模型中K=11。

(4)

式(4)中，規(guī)定位置0和n+1的標(biāo)簽是*START*、*END*。

2.3 線性CRF模塊

經(jīng)過標(biāo)注預(yù)測模塊，得到輸入文本s的多個(gè)可能標(biāo)注序列y=y1,y2,…,yn以及每個(gè)標(biāo)注序列的評分score(s,y)。根據(jù)標(biāo)注序列評分score(s,y)以及線性CRF(Conditional Random Field)[14]可以進(jìn)一步為每一個(gè)標(biāo)注序列賦予概率值，從而篩選概率最大的標(biāo)注序列。參考Lample等[12]使用的概率CRF目標(biāo)函數(shù)，為所有可能標(biāo)注序列y=y1,y2,…,yn賦予概率，即：

(5)

式(5)中，y(s)表示文本s的所有可能標(biāo)注序列集合。

模型的損失函數(shù)可以定義為標(biāo)記序列的負(fù)對數(shù)似然函數(shù)，即：

(6)

通過線性CRF模塊，輸出概率最大的一組標(biāo)注序列為：

(7)

并根據(jù)標(biāo)注序列提取文本中的軍事實(shí)體。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)過程設(shè)計(jì)

整個(gè)實(shí)驗(yàn)過程包括文本向量化、Bi-LSTM編碼、標(biāo)注序列預(yù)測、軍事實(shí)體提取四個(gè)階段。以文本“結(jié)合導(dǎo)彈技術(shù)單位上報(bào)，擬申請通用拖車4輛”為例。在文本向量化階段，使用jieba分詞工具進(jìn)行原始文本分詞，并根據(jù)軍事本體、詞向量字典W、字典C獲取本體特征向量、詞向量、字向量，并拼接成整個(gè)文本向量；在Bi-LSTM編碼階段，將文本向量輸入到Bi-LSTM模型中進(jìn)一步提取文本向量特征；在標(biāo)注序列預(yù)測階段，根據(jù)文本向量特征為每個(gè)分詞預(yù)測標(biāo)簽，得到可能的標(biāo)注預(yù)測如下(預(yù)測標(biāo)簽位于每個(gè)詞后)：

標(biāo)注預(yù)測1：結(jié)合(O)導(dǎo)彈(B_ORG)技術(shù)單位(I_ORG)上報(bào)(O)，擬(O)申請(O)通用(B_EQU)拖車(I_EQU)4輛(O)。

標(biāo)注預(yù)測2：結(jié)合(O)導(dǎo)彈(B_EQU)技術(shù)單位(I_ORG)上報(bào)(O)，擬(O)申請(O)通用(O)拖車(B_EQU)4輛(O)。

標(biāo)注預(yù)測3：結(jié)合(O)導(dǎo)彈(B_EQU)技術(shù)單位(B_ORG)上報(bào)(O)，擬(O)申請(O)通用(B_OUT)拖車(I_OUT)4輛(O)。

根據(jù)概率CRF目標(biāo)函數(shù)，得到正確概率最大的標(biāo)注序列為第1組。在軍事實(shí)體提取階段，根據(jù)標(biāo)注序列提取其中的軍事實(shí)體，其中“導(dǎo)彈技術(shù)單位”為軍事保障機(jī)構(gòu)實(shí)體，“通用拖車”為軍事保障設(shè)備實(shí)體。

本實(shí)驗(yàn)使用的軍事文本語料來源于軍事裝備全生命周期運(yùn)轉(zhuǎn)過程中產(chǎn)生的真實(shí)文本，通過機(jī)器標(biāo)注與人工校驗(yàn)結(jié)合的方式構(gòu)建，包含戰(zhàn)斗文書、執(zhí)勤文書、軍用文書分詞總計(jì) 218 941個(gè)。其中標(biāo)記實(shí)體包括軍械人員、軍械保障機(jī)構(gòu)、軍械保障設(shè)備、軍械保障設(shè)施、軍械裝備5類，標(biāo)記方式采用BIO方式，并在語料中加入本體特征標(biāo)記。實(shí)驗(yàn)隨機(jī)抽取80%作為訓(xùn)練語料，其余20%作為測試語料。

為驗(yàn)證本體特征向量在軍事實(shí)體識別方面的作用，實(shí)驗(yàn)1、實(shí)驗(yàn)2、實(shí)驗(yàn)3分別采用詞向量、字詞向量、字詞向量+本體特征三種向量輸入方式進(jìn)行測試。實(shí)驗(yàn)指標(biāo)采用準(zhǔn)確率P、召回率R、F1值F三項(xiàng)。

3.2 模型參數(shù)設(shè)置

在本實(shí)驗(yàn)中，Bi-RNN模型隱藏層數(shù)目設(shè)置為1，隱藏層神經(jīng)元數(shù)目設(shè)置為100；Bi-LSTM模型隱藏層數(shù)目設(shè)置為3，隱藏層神經(jīng)元數(shù)目分別設(shè)置為100、200、200。詞向量維度設(shè)置為100維，模型單次輸入序列長度設(shè)置為20。神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練采用小批量隨機(jī)梯度下降算法，批量樣本數(shù)為20，樣本總迭代輪次設(shè)置為100，訓(xùn)練過程采用Adam優(yōu)化器，dropout設(shè)置為0.5，學(xué)習(xí)率設(shè)置為0.001。

3.3 實(shí)驗(yàn)結(jié)果與分析

對詞向量、字詞向量、字詞向量+本體特征3組實(shí)驗(yàn)進(jìn)行準(zhǔn)確率、召回率、F1值統(tǒng)計(jì)，結(jié)果如表3所示。

表3 軍事命名實(shí)體識別實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)1僅僅采用詞向量作為模型輸入，在軍事命名實(shí)體識別方面準(zhǔn)確率、召回率、F1值僅為81.95%、81.83%、81.89%，效果較差，達(dá)不到命名實(shí)體識別的一般效果，說明傳統(tǒng)的命名實(shí)體識別方法僅采用詞向量作為輸入，不能有效解決軍事領(lǐng)域的命名實(shí)體識別問題。

實(shí)驗(yàn)2采用字詞向量結(jié)合的方式，在軍事命名實(shí)體識別方面準(zhǔn)確率、召回率、F1值分別為85.93%、84.28%、85.10%。相比于實(shí)驗(yàn)1，實(shí)驗(yàn)2中加入字向量的輸入，準(zhǔn)確率、召回率、F1值分別提高了3.98%、2.45%、3.21%，說明字向量的輸入，有利于模型對分詞內(nèi)部形態(tài)學(xué)特征的獲取，在一定程度上解決了軍事領(lǐng)域分詞不準(zhǔn)確以及未登錄詞對命名實(shí)體識別的影響，提高了識別的性能。

實(shí)驗(yàn)3采用字詞向量+本體特征的方式，在軍事命名實(shí)體識別方面準(zhǔn)確率、召回率、F1值分別為91.08%、90.64%、90.85%，能夠達(dá)到與通用領(lǐng)域命名實(shí)體識別相當(dāng)?shù)乃?。相比?shí)驗(yàn)2，實(shí)驗(yàn)3中加入本體特征作為領(lǐng)域知識指導(dǎo)軍事命名實(shí)體識別，準(zhǔn)確率、召回率、F1值分別提高了5.15%、6.36%、5.75%，說明本體特征的加入，在模型中引入了軍事領(lǐng)域知識，能夠大幅提高對命名實(shí)體的識別能力。

為了進(jìn)一步說明本體特征對軍事命名實(shí)體識別的影響，分別統(tǒng)計(jì)3組實(shí)驗(yàn)下的軍事人員、軍事保障機(jī)構(gòu)、軍事保障設(shè)備、軍事保障設(shè)施、軍事裝備5類命名實(shí)體的F1值，結(jié)果如圖2所示曲線。

根據(jù)圖2可以直觀得出，與實(shí)驗(yàn)1、實(shí)驗(yàn)2相比，實(shí)驗(yàn)3中加入本體特征，使得5類軍事命名實(shí)體的F1值均有所提升。尤其是軍事保障設(shè)備、軍事保障設(shè)施、軍事裝備3類易混淆命名實(shí)體識別的F1值提高幅度最為明顯，分別達(dá)到91.13%、89.74%、91.46%，相比實(shí)驗(yàn)2分別提高了8.37%、7.21%、8.17%，相比實(shí)驗(yàn)1分別提高了10.70%、9.12%、9.97%。說明加入本體特征作為領(lǐng)域知識，有利于提高軍事實(shí)體識別的準(zhǔn)確率，從而進(jìn)一步說明了本體特征對軍事命名實(shí)體識別的提高具有重要作用。

圖2 各類軍事實(shí)體的F1值曲線

4 結(jié)論

1) 融合本體特征的Bi-LSTM-CRF軍事實(shí)體識別模型，將本體特征作為領(lǐng)域知識融入到文本向量中，補(bǔ)足了傳統(tǒng)的命名實(shí)體識別方法領(lǐng)域知識不足的缺陷，并在向量輸入模塊中用字向量描述詞語的內(nèi)部形態(tài)學(xué)特征。

2) 字向量的加入，能夠解決分詞不準(zhǔn)確以及未登錄詞問題，提高軍事命名實(shí)體識別的性能。

3) 加入本體特征，能夠顯著提高軍事實(shí)體，尤其是保障設(shè)備、軍事保障設(shè)施、軍事裝備3類易混淆命名實(shí)體識別的效果，使軍事命名實(shí)體識別效果達(dá)到通用領(lǐng)域水平。