閻志剛，李成城 ，林民

內(nèi)蒙古師范大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，呼和浩特 內(nèi)蒙古010022

0 引言

命名實(shí)體識別(Named Entity Recognition，NER)作為自然語言處理中的一項(xiàng)基本任務(wù)，在問答系統(tǒng)［1］、句法分析［2］以及機(jī)器翻譯［3］等高級自然語言處理任務(wù)中廣泛應(yīng)用.其具體任務(wù)目標(biāo)是從文本中有效提取并識別出各類實(shí)體，具體包含三大類(實(shí)體類、時(shí)間類和數(shù)字類)、七小類(人名、機(jī)構(gòu)名、地名、時(shí)間、日期、貨幣和百分比)命名實(shí)體.NER 主要經(jīng)歷了傳統(tǒng)方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法三個(gè)階段.

早期主要有基于字典［4］、基于規(guī)則［5］與基于統(tǒng)計(jì)［6］等傳統(tǒng)的識別方法，識別過程通常需要大量人工參與，識別效率低下.基于傳統(tǒng)機(jī)器學(xué)習(xí)的命名實(shí)體識別方法［7～9］主要經(jīng)歷了監(jiān)督、半監(jiān)督、無監(jiān)督和混合方法等發(fā)展歷程.

隨著深度學(xué)習(xí)的迅速發(fā)展，研究者開始使用深度神經(jīng)網(wǎng)絡(luò)［10］(Deep Neural Network，DNN)來進(jìn)行命名實(shí)體識別.神經(jīng)網(wǎng)絡(luò)模型RNN［11］(Recurrent Neural Network，RNN)有長期記憶的性能并且能解決可變長度輸入，在各個(gè)領(lǐng)域都表現(xiàn)出良好的性能，但是會(huì)伴有梯度消失的問題.于是在RNN 神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)之上提出了長短時(shí)記憶(Long-short Term Memory，LSTM)模型［12］.張海楠等人［13］將字特征和詞特征統(tǒng)一結(jié)合，解決了基于詞特征的分詞錯(cuò)誤和字典稀疏問題.針對傳統(tǒng)機(jī)器學(xué)習(xí)方法需要人工設(shè)計(jì)特征及語料不足的問題，馮艷紅等人［14］提出使用基于BLSTM 的命名實(shí)體識別方法，對于每一個(gè)輸入序列，通過上下文關(guān)系可以獲取當(dāng)前詞項(xiàng)的語義信息，利用雙向LSTM(Bidirectional LSTM，BLSTM)來解決LSTM 無法捕捉到文本后續(xù)相關(guān)語法語義信息的問題.Liu 等人［15］提出字符任務(wù)感知型神經(jīng)語言模型，將字符進(jìn)行向量化表示，可以很好地識別新實(shí)體.劉宇鵬等人［16］提出了BLSTM-CNN-CRF 模型，可以同時(shí)自動(dòng)獲取基于字符和詞語的語義表示，不再需要人工選擇特征和數(shù)據(jù)預(yù)處理. Devlin 等人［17］提出了基于Transformer 的BERT 模型.該模型采用先預(yù)訓(xùn)練，再微調(diào)的方法可以捕獲到更加豐富的語義信息.基于注意力機(jī)制建模的Transformer 模型在特征提取方面性能良好，采用編碼器-解碼器的架構(gòu)，可以捕獲長距離的依賴關(guān)系，還可以進(jìn)行并行化處理.通過縮小序列中任意兩個(gè)位置之間距離的方法，為不同的信息分配不同的注意力權(quán)重，從而提取出長距離的全局信息.王子牛等人［18］提出了基于BERT 的神經(jīng)網(wǎng)絡(luò)方法進(jìn)行中文命名實(shí)體識別，利用大規(guī)模未標(biāo)注語料對BERT 進(jìn)行訓(xùn)練，獲得文本抽象特征. 然后利用BiLSTM 神經(jīng)網(wǎng)絡(luò)捕獲序列化文本的上下文特征.最后，通過CRF 進(jìn)行序列解碼標(biāo)注，提取出相應(yīng)的實(shí)體. 楊飄等人［19］通過嵌入BERT 預(yù)訓(xùn)練語言模型，構(gòu)建BERT-BiGRU-CRF 模型用于表征語句特征.利用具有雙向Transformer 結(jié)構(gòu)的BERT 預(yù)訓(xùn)練語言模型增強(qiáng)字的語義表示，根據(jù)其上下文動(dòng)態(tài)生成語義向量. 針對BERT 模型參數(shù)量大，訓(xùn)練時(shí)間長，實(shí)際應(yīng)用場景受限等問題，鄧博研等人［20］提出了一種基于ALBERT(A Lite BERT，ALBERT)的中文命名實(shí)體識別模型ALBERT-BiLSTM-CRF.在結(jié)構(gòu)上，先通過ALBERT 預(yù)訓(xùn)練語言模型在大規(guī)模文本上訓(xùn)練字符級別的詞嵌入，然后將其輸入BiLSTM 模型以獲取更多的字符間依賴，最后通過CRF進(jìn)行解碼并提取出相應(yīng)實(shí)體.

鑒于中文命名實(shí)體存在結(jié)構(gòu)復(fù)雜、形式多樣、一詞多義等問題，同時(shí)考慮到知識圖譜可以提供豐富的結(jié)構(gòu)化知識事實(shí)，從而更好地進(jìn)行語言理解.本文提出了一種融合知識圖譜的中文命名體識別方法，通過知識圖譜中的信息實(shí)體增強(qiáng)語言的外部知識表示能力，從而提升中文命名體的識別效果.

1 相關(guān)工作

1.1 知識圖譜

圖是一種有效表述數(shù)據(jù)間結(jié)構(gòu)的表示形式，知識圖譜是由圖和知識組成的［21］.知識總體上可以分為陳述性知識和過程性知識兩大類.陳述性知識是描述客觀事物的性能、狀態(tài)等靜態(tài)信息，主要分為事物、概念、命題三個(gè)層次.過程性知識是描述問題如何求解的動(dòng)態(tài)信息，分為規(guī)則和控制結(jié)構(gòu)兩種類型.根據(jù)知識的主客觀性，又可以把知識分為事實(shí)性知識和主觀性知識.事實(shí)性知識通常是指確定的、不隨狀態(tài)的變化而改變的知識.在知識圖譜中，存儲(chǔ)的大都為事實(shí)性知識.

將數(shù)據(jù)結(jié)構(gòu)化并與已有的結(jié)構(gòu)化數(shù)據(jù)相關(guān)聯(lián)，就構(gòu)成了知識圖譜.2012 年谷歌正式提出知識圖譜(Knowledge Graph)的概念，旨在實(shí)現(xiàn)更智能的搜索引擎［22］.知識圖譜本身是一個(gè)網(wǎng)狀知識庫，由實(shí)體通過關(guān)系鏈接而形成.它以結(jié)構(gòu)化的形式描述客觀世界中的概念、實(shí)體及其之間的關(guān)系，將互聯(lián)網(wǎng)的信息表達(dá)成更接近人類認(rèn)知世界的形式.知識圖譜的表示形式為G=(E，R，S)，其中E={e1，e2，…，e|E|}表示知識庫中的實(shí)體集合，R={r1，r2，…，r|E|}表示知識圖譜中的關(guān)系集合，S?E×R×E 表示知識圖譜中三元組的集合［23］.

1.2 BERT 模型

1.2.1 Transformer 體系結(jié)構(gòu)

BERT 的模型體系結(jié)構(gòu)是基于Vaswani 等人［24］描述的原始實(shí)現(xiàn)，是一個(gè)多層的Transformer，具體Transformer 模型的編碼器共四層，第一層是多頭注意力機(jī)制(Multi-Head Attention);第二層是求和與歸一化層，用于解決深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問題;第三層是前饋神經(jīng)網(wǎng)絡(luò)層;第四層也為求和與歸一化層，用于生成中間語義編碼向量并傳送給解碼器.

解碼器和編碼器結(jié)構(gòu)類似，共包含六層.區(qū)別在于第一層是帶MASK 操作的多頭注意力機(jī)制層，在輸出時(shí)，當(dāng)前時(shí)刻無法獲取未來的信息，因此解碼器的輸出需要右移，并遮擋后續(xù)的詞項(xiàng)進(jìn)行預(yù)測.最后解碼器再經(jīng)過一個(gè)線性回歸和Softmax 層輸出解碼器最終的概率結(jié)果.Transformer 模型架構(gòu)如圖1 所示.

1.2.2 BERT 模型的輸入表示

BERT 模型將詞向量、句向量和位置向量疊加起來一同作為輸入，且在開頭和結(jié)尾分別加入［CLS］、［SEP］兩個(gè)特殊字符，兩個(gè)句子之間使用［SEP］進(jìn)行分割，BERT 模型的輸入具體包括以下三個(gè)方面:

(1)使用學(xué)習(xí)的位置向量，支持的序列長度最多為512 個(gè)詞項(xiàng).每個(gè)序列的第一個(gè)詞項(xiàng)始終是特殊分類嵌入(［CLS］)，對應(yīng)于該詞項(xiàng)的最終隱藏狀態(tài)(即Transformer 的輸出)，常被用作分類任務(wù)的聚合序列表示.對于非分類任務(wù)，將忽略此向量.

(2)句子對作為一個(gè)序列進(jìn)行輸入，以兩種方式區(qū)分句子.首先，用特殊標(biāo)記(［SEP］)將它們分開.其次，添加一個(gè)學(xué)到的句子A 嵌入到第一個(gè)句子的每個(gè)詞項(xiàng)中，一個(gè)句子B 嵌入到第二個(gè)句子的每個(gè)詞項(xiàng)中.

(3)對于單個(gè)句子輸入，只使用句子A 嵌入.

圖1 Transformer 模型架構(gòu)Fig.1 Transformer model architecture

2 融合知識圖譜信息的命名實(shí)體識別方法

傳統(tǒng)的BERT 可以較好地挖掘出文本數(shù)據(jù)中的語義信息，但幾乎沒有考慮結(jié)合知識圖譜對命名實(shí)體進(jìn)行識別.針對語言理解，知識圖譜能夠?yàn)槠涮峁└S富的結(jié)構(gòu)化信息.基于傳統(tǒng)的BERT 模型，該方法加入了知識圖譜信息，使詞嵌入以及知識嵌入聯(lián)合嵌入，這樣可以更有效的學(xué)習(xí)到語義知識單元的完整語義表示，提升命名實(shí)體識別的性能.

2.1 標(biāo)記策略

設(shè)定詞項(xiàng)序列標(biāo)記設(shè)定為{w1，w2，…，wn}，其中n 是詞項(xiàng)序列的長度.同時(shí)將與詞項(xiàng)序列對齊的實(shí)體序列標(biāo)記設(shè)定為{e1，e2，…，em}，其中m 表示實(shí)體序列的長度. 此外，將包含所有標(biāo)記的整個(gè)詞匯表記為V，包含知識圖譜中所有實(shí)體的實(shí)體序列表的集合記為E.如果一個(gè)詞項(xiàng)w∈V，并且有與其對齊的實(shí)體e∈E，則定義這種對齊方式為f(w)= e.

2.2 模型結(jié)構(gòu)

模型主要包含抽取知識信息與訓(xùn)練語言模型兩大步驟:

(1)對于抽取并編碼的知識信息，首先識別文本中的命名實(shí)體，然后將識別出的實(shí)體與知識圖譜中的實(shí)體進(jìn)行匹配.該模型并不直接使用知識圖譜中基于圖的事實(shí)，而是通過知識嵌入算法對知識圖譜的圖結(jié)構(gòu)進(jìn)行編碼，并將多信息實(shí)體嵌入作為相關(guān)輸入，基于文本和知識圖譜對齊，將知識模塊的實(shí)體表示整合到語義模塊的隱藏層中.

(2)借鑒BERT 模型的思想，該模型采用帶Mask 的語言模型，同時(shí)預(yù)測下一句文本作為預(yù)訓(xùn)練目標(biāo).除此之外，為了更好地融合文本和知識特征，設(shè)計(jì)了一種新型的預(yù)訓(xùn)練目標(biāo)，即隨機(jī)掩蓋掉部分對齊了輸入文本的命名實(shí)體，并要求模型從知識圖譜中選擇合適的實(shí)體以完成對齊.此外，相較于傳統(tǒng)BERT 模型僅利用局部上下文預(yù)測詞項(xiàng)的方法，本文模型要求同時(shí)聚合上下文和知識事實(shí)的信息，并預(yù)測詞項(xiàng)和實(shí)體，從而構(gòu)建出一種知識化的語言表示模型.

模型結(jié)構(gòu)如圖2 所示，一方面，利用T-Encoder 從文本中捕獲基本的詞法和語法信息.另一方面，利用K-Encoder 將知識圖譜集成到底層的文本信息中.最終將詞匯信息和實(shí)體的異構(gòu)信息表示為統(tǒng)一的特征空間.

2.2.1 T-Encoder 與K-Encoder 編碼器

在T-Encoder 編碼器中，首先對詞嵌入、句子嵌入及位置嵌入進(jìn)行合并，作為T-Encoder 的輸入，即圖2的詞項(xiàng)輸入.而后通過式(1)計(jì)算詞法和語義特征.

圖2 模型結(jié)構(gòu)Fig.2 Model structure

圖3 K-Encoder 編碼器中的聚合器Fig.3 Aggregators in the K-Encoder

如圖3 所示，在K-Encoder 編碼器中，首先抽取文本中對應(yīng)的實(shí)體，通過知識圖譜嵌入法將實(shí)體轉(zhuǎn)為對應(yīng)向量表示{e1，e2，…，em}.然后將{w1，w2，…，wn}及{e1，e2，…，em}作為K-Encoder 的輸入，即式(2).

2.3知識增強(qiáng)

為了將知識融入信息性實(shí)體的語言表示中，提出了一項(xiàng)新的預(yù)訓(xùn)練任務(wù)，該任務(wù)隨機(jī)掩蓋了一些已經(jīng)對齊的詞項(xiàng)和實(shí)體，而后要求系統(tǒng)根據(jù)對齊的詞項(xiàng)來預(yù)測所有相應(yīng)的實(shí)體.給定詞項(xiàng)序列{w1，w2，…，wn}和與它對齊的實(shí)體序列{e1，e2，…，em}，關(guān)于詞項(xiàng)wi，對齊的實(shí)體分布定義如式(8)，式中Li 表示線性層，該式也將用于計(jì)算預(yù)訓(xùn)練任務(wù)的交叉熵?fù)p失函數(shù).

鑒于詞項(xiàng)實(shí)體對齊方式存在一些問題，制定以下操作:

在5 %的時(shí)間內(nèi)，對于給定的詞項(xiàng)實(shí)體對齊方式，將實(shí)體替換為另一個(gè)隨機(jī)實(shí)體，目的是訓(xùn)練相關(guān)的實(shí)體模型，解決詞項(xiàng)與錯(cuò)誤實(shí)體對齊的問題;

在15 %的時(shí)間內(nèi)，掩蓋掉詞項(xiàng)實(shí)體對齊方式，目的是訓(xùn)練相關(guān)模型，解決實(shí)體對齊方式未提取全部現(xiàn)有對齊方式的問題;

在剩余時(shí)間內(nèi)，保持詞項(xiàng)實(shí)體對齊不變，使得模型將實(shí)體信息集成到詞項(xiàng)表中，以更好地理解語言.

與BERT 模型相似，該模型還采用掩碼語言模型(MLM)以及下一個(gè)句子預(yù)測作為預(yù)訓(xùn)練任務(wù)，使模型能夠從文本標(biāo)記中捕獲詞匯和句法信息.

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)集與評價(jià)指標(biāo)

實(shí)驗(yàn)數(shù)據(jù)集采用MSRA 以及搜狐新聞網(wǎng)數(shù)據(jù)集，其中MSRA 數(shù)據(jù)集是由微軟亞研院發(fā)布的專門用來做實(shí)體識別的數(shù)據(jù)集，該數(shù)據(jù)集16 MB 左右，共計(jì)50 000 余條信息，標(biāo)注質(zhì)量較高，是傳統(tǒng)NER 的首選數(shù)據(jù)集.搜狐新聞網(wǎng)數(shù)據(jù)集為手工標(biāo)注數(shù)據(jù)集，大小6 MB 左右，共計(jì)20 000 余條信息.實(shí)驗(yàn)中將上述數(shù)據(jù)集隨機(jī)劃分為三部分，即訓(xùn)練集占比70 %、驗(yàn)證集占比20 %、測試集占比10 %.在中文命名體識別研究領(lǐng)域，MSRA 以及搜狐新聞網(wǎng)數(shù)據(jù)集被廣泛應(yīng)用在科學(xué)研究中.

基于準(zhǔn)確率P、召回率R 以及F1值對模型性能進(jìn)行全面評估，即式(9).

式(9)中，TP表示正確識別出的命名實(shí)體數(shù)量，F(xiàn)P表示識別錯(cuò)誤的命名實(shí)體數(shù)量，F(xiàn)n表示未識別出的命名實(shí)體數(shù)量.

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

相關(guān)實(shí)驗(yàn)的軟硬件環(huán)境如表1.

在對模型進(jìn)行訓(xùn)練時(shí)，基于隨機(jī)梯度法優(yōu)化模型，通過Dropout 層減少過擬合情況的發(fā)生. 訓(xùn)練迭代次數(shù)默認(rèn)為8 500 次，初始學(xué)習(xí)率為5e-5，權(quán)重懲罰項(xiàng)為權(quán)重衰減，預(yù)設(shè)值為0.05. 懲罰attention 時(shí)，softmax 后dropout 概率為0.3，激活函數(shù)選擇ReLU 函數(shù)，隱藏層的Dropout 為0.5，隱藏層單元數(shù)為768，初始化范圍為0.02，用于生成位置嵌入的參數(shù)設(shè)置為512，每個(gè)隱藏層中的注意力頭數(shù)為12，隱藏層數(shù)為12，segment_ids 類別［0，1］，詞典中詞數(shù)為30522. 具體設(shè)置如表2 所示.

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 相關(guān)對比模型

為驗(yàn)證提出模型的有效性以及魯棒性，對比以下3 種較經(jīng)典的命名體識別模型，進(jìn)而評價(jià)改進(jìn)模型的性能.相關(guān)解釋分析如下:

(1)HMM:隱馬爾可夫模型是關(guān)于時(shí)序的概率模型，隨機(jī)生成狀態(tài)序列，每個(gè)狀態(tài)生成一個(gè)觀測，而由此產(chǎn)生的隨機(jī)序列稱為觀測序列.

(2)BiLSTM-CRF:該模型是序列標(biāo)注任務(wù)中的經(jīng)典神經(jīng)網(wǎng)絡(luò)模型，采用預(yù)訓(xùn)練好Word2Vec 向量作為BiLSTM 網(wǎng)絡(luò)的輸入進(jìn)行特征提取，最后將其特征矩陣輸入到CRF 中完成序列標(biāo)注.

(3)BERT:該模型將文本中的每個(gè)字轉(zhuǎn)換為一維向量，作為模型輸入;模型輸出則是融合全文語義信息后的向量表示.此外，模型輸入除了字向量，還包含另外兩個(gè)部分:

文本向量:該向量的取值在模型訓(xùn)練過程中自動(dòng)學(xué)習(xí)，用于刻畫文本的全局語義信息，并與單字/詞的語義信息相融合.

位置向量:由于出現(xiàn)在文本不同位置的字/詞所攜帶的語義信息存在差異(比如:“我愛你”和“你愛我”)，因此，BERT 模型對不同位置的字/詞分別附加一個(gè)不同的向量以作區(qū)分. 最后，BERT 模型將字向量、文本向量和位置向量的加和作為模型輸入.

3.3.2 改進(jìn)方法的單一性能評估

為驗(yàn)證本文方法對特定種類實(shí)體的識別效果，基于手工標(biāo)注的搜狐新聞數(shù)據(jù)集，實(shí)驗(yàn)選取了人名、地名、組織名三類特定實(shí)體，與現(xiàn)有方法進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表3 ～表5 所示.

表1 相關(guān)實(shí)驗(yàn)的軟硬件環(huán)境Tab.1 Hardware and software environment of relevant experiments

表2 模型相關(guān)參數(shù)設(shè)置Tab.2 Model parameters setting

表3 地名識別效果對比Tab.3 Comparison of place name recognition effect

表4 人名識別效果對比Tab.4 Comparison of name recognition effects

由表3 ～表5 可知，與現(xiàn)有的模型相比，改進(jìn)方法的準(zhǔn)確率、召回率以及F1值均有一定程度的提升，說明了融合知識圖譜信息對中文命名實(shí)體檢測的方法是有效的.此外，由于組織類實(shí)體容易出現(xiàn)地名以及人名的嵌套，對其識別造成了一定的干擾，識別難度與地名、組織名相比有所提升.觀察實(shí)驗(yàn)結(jié)果可知，組織名的識別效果相較于地名、人名有所下降，符合實(shí)驗(yàn)預(yù)期結(jié)論.

3.3.3 改進(jìn)方法的綜合性能評估

借助混淆矩陣，在兩個(gè)數(shù)據(jù)集上分別進(jìn)行訓(xùn)練，對模型的綜合性能進(jìn)行評估，相關(guān)結(jié)果如表6 所示.

表5 組織名識別效果對比Tab.5 Comparison of organizational name recognition effects

表6 實(shí)驗(yàn)結(jié)果對比Tab.6 Comparison of experimental results

由表6 可知，本文提出模型的識別效果領(lǐng)先于HMM、BERT 與BiLSTM-CRF.BERT 模型強(qiáng)調(diào)通過強(qiáng)力的Transformer 直接構(gòu)建語言模型，而本文模型一方面通過融入知識圖譜信息加強(qiáng)模型學(xué)到的語言知識.另一方面，通過K-Encoder 知識聚合器和知識增強(qiáng)策略，將文本和知識圖譜中的異構(gòu)信息更好的相融合.此外，對比不同模型的數(shù)據(jù)量(刪除MSRA 數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)，再將刪除后的數(shù)據(jù)用于本文模型的訓(xùn)練，此次訓(xùn)練的數(shù)據(jù)量為原有MSRA 數(shù)據(jù)集的50 %)，可以得出所提出模型的命名體識別效果優(yōu)于HMM、BILSTM-CRF 與BERT 不是因?yàn)閿?shù)據(jù)量.

綜上所述，本文提出的模型更具有競爭力，明顯優(yōu)于對比的其他方法.在MSRA 與搜狐新聞網(wǎng)標(biāo)注數(shù)據(jù)集的實(shí)驗(yàn)對比中取得了最佳的結(jié)果，F(xiàn)1值分別達(dá)到了95.4 %與93.4 %，驗(yàn)證了該模型在中文命名實(shí)體識別中的有效性.

4 結(jié)束語

在本文中，將知識圖譜信息融入命名體識別模型中，為了更好地融合文本和知識圖譜中的異構(gòu)信息，使用了K-Encoder 知識聚合器和知識增強(qiáng)策略.實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的命名體識別模型相比，如HMM、BiLSTM-CRF 等，融合知識圖譜信息的命名實(shí)體識別方法具有更好的識別效果.未來的研究主要從兩方面進(jìn)行，一方面，將多種結(jié)構(gòu)的知識引入命名體識別模型，從而增強(qiáng)模型的魯棒性.另一方面，啟發(fā)式地標(biāo)注更多真實(shí)語料庫，以進(jìn)行更大規(guī)模的預(yù)訓(xùn)練.