劉飛翔，李澤荃，趙嘉良，李 靖

(1.華北科技學(xué)院 礦山安全學(xué)院，北京 065201；2.華北科技學(xué)院 經(jīng)濟(jì)管理學(xué)院，北京 065201；3.中國礦業(yè)大學(xué)(北京)能源與礦業(yè)學(xué)院，北京 100083)

作為煤炭生產(chǎn)和消費(fèi)大國，煤礦安全開采一直受到國家重點(diǎn)關(guān)注。由于全國大部分礦區(qū)地質(zhì)條件復(fù)雜多變，在煤炭開采過程中經(jīng)常伴隨著各類災(zāi)害風(fēng)險(xiǎn)，如果企業(yè)安全管理不到位、政府監(jiān)管不及時(shí)可能會(huì)出現(xiàn)嚴(yán)重安全生產(chǎn)事故，如今年2月22日位于內(nèi)蒙古阿拉善左旗的新井煤業(yè)發(fā)生了大面積邊坡坍塌事故，導(dǎo)致50多人死亡。該煤礦為露天礦，一般情況下發(fā)生重特大事故的可能性相對較小，卻造成了嚴(yán)重的人員傷亡。據(jù)統(tǒng)計(jì)，在2018—2022年的5年間，全國因煤礦事故造成的死亡人數(shù)達(dá)1300人，且重大特大事故時(shí)有發(fā)生，可以看出我國的煤礦安全生產(chǎn)形勢依然嚴(yán)峻，煤礦企業(yè)的安全管理工作仍是重中之重。

對于煤礦企業(yè)的安全監(jiān)管，在制度層面國家礦山安全監(jiān)察局等相關(guān)部門出臺(tái)了一系列規(guī)定，如建立煤礦安全生產(chǎn)標(biāo)準(zhǔn)化管理體系、執(zhí)行嚴(yán)格的安全生產(chǎn)管理制度等等，但由于執(zhí)行不到位等原因，這些制度的實(shí)施并未從根本上遏制事故的發(fā)生。近年來，隨著“智慧礦山”的提出和推進(jìn)，物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)逐漸被應(yīng)用到煤礦安全管理工作中，其中以文本挖掘?yàn)榇淼淖匀徽Z言處理技術(shù)為提升煤礦安全管理水平提供了新思路。對煤礦安全專業(yè)知識和日常隱患排查記錄進(jìn)行文本挖掘，抽取其中關(guān)鍵信息，可以幫助煤礦安全管理人員系統(tǒng)掌握隱患分布規(guī)律、快速獲取風(fēng)險(xiǎn)信息并精準(zhǔn)定位事故的潛在因素，進(jìn)而采取應(yīng)對措施以避免事故的發(fā)生。而在信息抽取過程中，命名實(shí)體識別是重要環(huán)節(jié)，其識別效果決定著信息抽取的準(zhǔn)確性。因此，進(jìn)行煤礦安全隱患的命名實(shí)體識別研究，不僅可以幫助安全管理人員獲取隱患重要信息，也可以實(shí)現(xiàn)對煤礦事故、人員、設(shè)備、操作及環(huán)境的智能化管理。

1 相關(guān)研究

命名實(shí)體識別(NER)是信息抽取的基礎(chǔ)任務(wù)，指在從給定的一段文本中識別出具有特定類型的專有名詞，比如：人名、地名、組織名稱等。自Rau[1]于1991年首次提出命名實(shí)體識別任務(wù)以來，大概經(jīng)歷了三個(gè)階段。

第一階段NER任務(wù)主要是基于詞典和規(guī)則的方法。YANG等人[2]通過手工構(gòu)造詞典，在JNLPB公共數(shù)據(jù)集上取得68.48%的F1值；COHEN[3]通過結(jié)合5個(gè)數(shù)據(jù)庫來豐富生物醫(yī)學(xué)領(lǐng)域詞典內(nèi)容，大大提升了實(shí)體識別性能；Narayana-Swamy等人[4]基于手工設(shè)計(jì)規(guī)則模板提高了蛋白質(zhì)名稱檢測的精度；閆丹輝等人[5]根據(jù)越南語語言特點(diǎn)，制定出越南語命名實(shí)體識別規(guī)則，達(dá)到了90%以上的識別準(zhǔn)確率。然而，此類方法對人工專業(yè)知識水平要求較高且模型的泛化性較差，目前應(yīng)用范圍相對較窄。

第二階段的NER任務(wù)是基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法。主流的機(jī)器學(xué)習(xí)算法有隱馬爾可夫模型(HMM)、支持向量機(jī)(SVM)和條件隨機(jī)場(CRF)等模型。樂娟等人[6]采用HMM模型標(biāo)注文本，在識別京劇機(jī)構(gòu)名稱能達(dá)到99%的準(zhǔn)確率；薛征山等人[7]結(jié)合詞性特征和校正規(guī)則，采用HMM算法準(zhǔn)確的識別出中文旅游景點(diǎn)。LEE等人[8]提出一種基于支持向量機(jī)的兩階段命名實(shí)體識別器，在GENIA語料庫上進(jìn)行實(shí)體邊界識別，F(xiàn)1值達(dá)到了74.8%。宓林暉等人[9]基于CRF模型對歷年臨床醫(yī)囑數(shù)據(jù)進(jìn)行實(shí)體識別研究工作，提高了臨床醫(yī)療的工作效率。

第三階段的NER任務(wù)主要依賴深度學(xué)習(xí)技術(shù)?；谏疃葘W(xué)習(xí)的方法通常將命名實(shí)體識別視為序列標(biāo)注任務(wù)來處理，目前主流的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、Transformer模型及它們的變種。為了學(xué)習(xí)上下文距離依賴關(guān)系，HAMMERTON[10]首次將LSTM(RNN神經(jīng)網(wǎng)絡(luò)變種)應(yīng)用到命名實(shí)體識別任務(wù)中?？紤]到單向獲取序列信息有限，LAMPLE等人[11]提出了雙向長短時(shí)記憶網(wǎng)絡(luò)結(jié)構(gòu)，即BiLSTM，通過向前向后兩個(gè)方向?qū)渥舆M(jìn)行分析，后接入CRF來約束實(shí)體標(biāo)簽，命名實(shí)體識別的性能得到了顯著提升。為了能夠充分利用計(jì)算機(jī)GPU的并行計(jì)算能力，并且增加卷積核的感受野，STRUBELL等人[12]提出了迭代擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)(IDCNN)結(jié)構(gòu)，在保持與BiLSTM-CRF模型相當(dāng)準(zhǔn)確性的同時(shí)，實(shí)現(xiàn)了8倍更快的測試速度。2017年，谷歌提出了Transformer模型[13]，該模型結(jié)構(gòu)既能解決RNN并行能力弱的問題，又能解決CNN無法捕獲長距離依賴的問題。隨后基于Transformer結(jié)構(gòu)的BERT[14]、ERNIE及ALBERT等預(yù)訓(xùn)練語言模型成為命名實(shí)體識別主流方法。如張智源等人[15]提出一種基于BERT和多窗口門控CNN的電機(jī)領(lǐng)域命名實(shí)體識別模型，利用BERT模型動(dòng)態(tài)微調(diào)電機(jī)領(lǐng)域文本字向量，所提模型F1值高達(dá)90.16%。王權(quán)與等人[16]在詞向量的表示學(xué)習(xí)層采用BERT預(yù)訓(xùn)練語言模型實(shí)現(xiàn)文本特征的遷移學(xué)習(xí)，利用BiGRU-CRF結(jié)構(gòu)提取上下文特征及標(biāo)簽解碼，在小規(guī)模巖土工程語料上進(jìn)行實(shí)體識別，取得了精確率為90.94%，召回率92.88%，F(xiàn)1值91.89%的優(yōu)異效果。而在安全隱患領(lǐng)域，艾新波等人[17]提出一種適用于安全隱患描述的ERNIE-CRF序列標(biāo)注模型，發(fā)現(xiàn)ERNIE-CRF模型比ERNIE模型在F1指標(biāo)上有0.3%的優(yōu)化。潘理虎等人[18]采用ALBERT-IDCNN-CRF模型對煤礦事故案例進(jìn)行了實(shí)體識別研究，該模型在有效提升識別性能的同時(shí)減少了訓(xùn)練時(shí)間。王向前等人[19]通過建構(gòu)煤礦事故領(lǐng)域詞典，將ALBERT語言模型、BiLSTM和CRF算法結(jié)合，對比BiLSTM-CRF、BERT-BiLSTM-CRF等三組基線模型，模型性能評價(jià)指標(biāo)均有所提高。

目前中文命名實(shí)體識別技術(shù)已相對成熟，在一些通用領(lǐng)域，如金融、醫(yī)學(xué)、新聞等領(lǐng)域已經(jīng)達(dá)到很好的識別效果，但由于煤礦安全隱患文本在語言、術(shù)語和結(jié)構(gòu)等方面存在較強(qiáng)的領(lǐng)域特性，并且缺乏訓(xùn)練模型所需的語料庫，所以基于深度學(xué)習(xí)技術(shù)的命名實(shí)體識別研究工作還相對較少。為了豐富煤礦安全領(lǐng)域的命名實(shí)體識別方法，論文基于ERNIE-BiGRU-CRF模型對煤礦安全隱患文本開展了命名實(shí)體識別研究。

2 煤礦安全隱患文本命名實(shí)體標(biāo)注方法

2.1 煤礦安全隱患實(shí)體類別定義

由于安全隱患文本內(nèi)容多是根據(jù)煤礦領(lǐng)域相關(guān)標(biāo)準(zhǔn)規(guī)范記錄，因此基于相關(guān)標(biāo)準(zhǔn)規(guī)范對煤礦安全隱患實(shí)體類別進(jìn)行定義具有通用性。依據(jù)《煤礦安全規(guī)程》(2022版)、《煤礦重大事故隱患判定標(biāo)準(zhǔn)》(2021版)以及各類隱患防治細(xì)則，對隱患內(nèi)容描述中的有關(guān)術(shù)語進(jìn)行實(shí)體類別定義，具體定義說明見表1。

表1 煤礦安全隱患實(shí)體定義說明Table 1 Definition of hidden danger entities in coal mine

2.2 煤礦安全隱患實(shí)體標(biāo)注方法

命名實(shí)體識別有BIO、BIOSE和BMESO等多種標(biāo)注策略。本實(shí)驗(yàn)采取最常用的BIO標(biāo)注方式，其中B表示實(shí)體的起始位置，I表示實(shí)體的中間或結(jié)束位置，O表示為不關(guān)注的字。根據(jù)上述實(shí)體類別定義，將實(shí)體的第一個(gè)字符標(biāo)注為B-(實(shí)體類別)，實(shí)體的其余字符表示為I-(實(shí)體類別)，非實(shí)體字符均標(biāo)注為O。采用YEDDA[20]工具，由煤礦安全領(lǐng)域?qū)＜疫M(jìn)行人工標(biāo)注，標(biāo)注樣式如圖1所示。最終形成的15個(gè)實(shí)體標(biāo)簽說明見表2。

圖1 標(biāo)注樣式Fig.1 Annotation style

表2 實(shí)體標(biāo)簽說明Table 2 Entity labels description

3 煤礦安全隱患命名實(shí)體識別模型

3.1 模型結(jié)構(gòu)

煤礦安全隱患命名實(shí)體識別模型如圖2所示，其結(jié)構(gòu)共包括3個(gè)模塊，分別為ERNIE詞向量表示層、BiGRU語義特征提取層和CRF標(biāo)簽解碼層。具體計(jì)算過程如下：文本輸入模型后，首先利用ERNIE預(yù)訓(xùn)練語言模型對文本進(jìn)行字符編碼，得到具有字向量和位置向量的詞向量表示；然后利用BiGRU結(jié)構(gòu)提取文本向量序列的上下文語義信息；最后將經(jīng)過全連接層的句子序列輸入到CRF層進(jìn)行全局優(yōu)化標(biāo)簽解碼，輸出煤礦安全隱患文本描述的實(shí)體類別。

圖2 ERNIE-BiGRU-CRF模型結(jié)構(gòu)Fig.2 Structure of ERNIE-BiGRU-CRF model

3.2 ERNIE模型

ERNIE[21]是百度于2019年提出的語義表示模型，它通過詞語級別和實(shí)體級的掩碼策略將訓(xùn)練數(shù)據(jù)中的詞法結(jié)構(gòu)、語法結(jié)構(gòu)和語義信息進(jìn)行統(tǒng)一建模，增強(qiáng)了通用語義的表示能力。ERNIE模型具有雙向多層Transformer編碼器結(jié)構(gòu)，而Transformer編碼器的核心是多頭注意力機(jī)制，單個(gè)注意力機(jī)制目標(biāo)函數(shù)為：

式中，Q，K，V均為輸入字向量矩陣，dk為向量維度。

另外，編碼器采用了“多頭”機(jī)制，將多個(gè)注意力值進(jìn)行拼接和線性映射，得到該層的拼接輸出結(jié)果y。

y=concat(H1，H2，…，Hn)W0

(3)

3.3 BiGRU層

上下文特征提取層采用的是BiGRU結(jié)構(gòu)。BiGRU為雙向的GRU，其是在LSTM基礎(chǔ)上簡化出來的一類循環(huán)神經(jīng)網(wǎng)絡(luò)。GRU內(nèi)部結(jié)構(gòu)與LSTM相似，都是為了解決文本序列長期記憶問題而設(shè)計(jì)，但GRU模型參數(shù)更少且可以有效解決長序列中反向傳播中梯度消失或爆炸問題，具有結(jié)構(gòu)簡單、訓(xùn)練效率高的優(yōu)點(diǎn)。GRU細(xì)胞單元[22]主要由更新門zt和重置門rt兩部分組成，t時(shí)刻輸入向量xt，最終輸出隱藏狀態(tài)為ht，計(jì)算過程為：

zt=σ(Wz[ht-1，xt]+bz)

(4)

rt=σ(Wr[ht-1，xt]+br)

(5)

3.4 CRF層

BiGRU層能根據(jù)文本的詞句特征進(jìn)行標(biāo)簽解碼，但無法處理標(biāo)簽之間的依賴性問題，即容易出現(xiàn)不合理的標(biāo)簽序列。通過加入CRF層，可以將給定的隨機(jī)變量輸入求解并輸出隨機(jī)變量的條件概率分布，通過考慮標(biāo)簽之間的相鄰關(guān)系，獲得全局最優(yōu)標(biāo)簽序列，以改善預(yù)測標(biāo)簽出現(xiàn)的不合理情況。CRF是一種判別式條件概率分布模型。對于輸入序列X={x1，x2，…，xn}，經(jīng)過上述BiGRU層標(biāo)注的句子序列Y={y1，y2，…，yn}，其條件概率表示為：

式中，Pxi，yi為單詞xi映射到標(biāo)簽yi的概率，構(gòu)成狀態(tài)矩陣P；Ayi，yi+1為標(biāo)簽yi到標(biāo)簽yi+1的轉(zhuǎn)移概率，構(gòu)成轉(zhuǎn)移矩陣A。預(yù)測標(biāo)簽序列Y進(jìn)行歸一化后的概率公式為：

4 實(shí)驗(yàn)過程及分析

4.1 數(shù)據(jù)預(yù)處理

利用在煤礦隱患排查信息系統(tǒng)上收集到的1600條煤礦隱患排查記錄，通過對文本進(jìn)行語法檢查、去重去噪處理以及格式轉(zhuǎn)換，構(gòu)造出1500條煤礦安全隱患命名實(shí)體標(biāo)準(zhǔn)數(shù)據(jù)集?？紤]到模型是小樣本學(xué)習(xí)，將標(biāo)準(zhǔn)數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集和測試集。經(jīng)統(tǒng)計(jì)，各實(shí)體數(shù)量分布見表3。

表3 各實(shí)體數(shù)量統(tǒng)計(jì)Table 3 The statistic of every entity

4.2 實(shí)驗(yàn)環(huán)境與超參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境為PaddlePaddle深度學(xué)習(xí)框架，ERNIE的權(quán)重模型為ernie-3.0-base-zh版本，根據(jù)測試，網(wǎng)絡(luò)模型的最佳超參數(shù)設(shè)置如下：最大句子長度為128，GRU隱藏層維度為256，批大小為32，學(xué)習(xí)率為2，迭代次數(shù)為50，優(yōu)化器為AdamW。另外，論文采用精確率(Precision)、召回率(Recall)和F1值作為模型性能評價(jià)指標(biāo)。另外，為評價(jià)ERNIE-BiGRU-CRF模型的準(zhǔn)確性，將其與BERT、BERT-CRF、BiLSTM-CRF、BiGRU-CRF、BERT-BiGRU-CRF模型進(jìn)行對比驗(yàn)證。

4.3 實(shí)驗(yàn)結(jié)果分析

4.3.1 模型收斂對比

在模型訓(xùn)練過程中，損失函數(shù)曲線可以真實(shí)反映預(yù)測值和真實(shí)值的差距，即模型能否充分學(xué)習(xí)到文本中的序列標(biāo)注知識。6種模型在訓(xùn)練集上損失值隨迭代次數(shù)的變化情況如圖3所示。由圖3可知，BERT模型收斂的速度最快，BERT-CRF模型次之，說明CRF模塊的加入會(huì)降低序列標(biāo)注模型損失收斂的速度。在BERT-CRF模型的基礎(chǔ)上加入BiGRU模塊以及在BiGRU-CRF模型上嵌入ERNIE字向量模型表示層，學(xué)習(xí)速度進(jìn)一步變慢，說明序列標(biāo)注模型的損失收斂速度會(huì)隨模型結(jié)構(gòu)的復(fù)雜度而逐漸變慢。另外，可以看出BiLSTM-CRF和BiGRU-CRF模型相比于其他模型在訓(xùn)練開始時(shí)損失值較大，說明預(yù)訓(xùn)練語言模型更能準(zhǔn)確的學(xué)習(xí)到序列標(biāo)注知識。在第3次迭代時(shí)，BiGRU-CRF模型的收斂速度明顯快于BiLSTM-CRF模型，驗(yàn)證了GRU神經(jīng)單元通過加入重置門機(jī)制顯示出高訓(xùn)練效率優(yōu)點(diǎn)。

圖3 不同模型損失函數(shù)變化曲線Fig.3 The loss of every model

4.3.2 模型性能對比

在訓(xùn)練集上學(xué)習(xí)到模型的最佳權(quán)重后，在測試集上評估各模型的性能。為保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，進(jìn)行三次隨機(jī)實(shí)驗(yàn)并取各評價(jià)指標(biāo)平均值，具體結(jié)果見表4。以BiLSTM-CRF為基線模型，BiGRU-CRF模型的F1值提高了1.55%，說明BiGRU-CRF模型在提高模型訓(xùn)練速度的同時(shí)，也提高了模型的實(shí)體識別準(zhǔn)確率。相比于BiLSTM-CRF模型，BERT、BERT-CRF、BERT-BiGRU-CRF和ERNIE-BiGRU-CRF4種模型的F1值分別提升了8.42%，8.67%，9.12%，9.83%，說明基于BERT和ERNIE的預(yù)訓(xùn)練語言模型能大幅提升實(shí)體抽取的準(zhǔn)確性。另外，ERNIE-BiGRU-CRF模型較于BERT-BiGRU-CRF模型精確率和F1值分別提高了0.38%和0.71%，說明基于知識增強(qiáng)的ERNIE模型在表征煤礦安全隱患文本詞向量時(shí)要優(yōu)于BERT模型。

表4 模型性能實(shí)驗(yàn)結(jié)果對比Table 4 The comparison of different models performance

測試集部分實(shí)體識別結(jié)果見表5。序號1、3、4預(yù)測結(jié)果與真實(shí)標(biāo)注結(jié)果完全相同；序號2在實(shí)際標(biāo)注時(shí)，“溫度”是“Attribute”實(shí)體類別，“傳感器”是“Thing”實(shí)體類別，而模型將“溫度傳感器”識別為“Thing”，差別也相對較小。同樣可以看出，ERNIE-BiGRU-CRF模型在序列標(biāo)注任務(wù)上有著可觀的效果。

表5 預(yù)測結(jié)果Table 5 The prediction results

4.3.3 消融實(shí)驗(yàn)

為了研究各模塊對ERNIE-BiGRU-CRF模型性能的影響程度，在ERNIE模型的基礎(chǔ)上分別加入CRF層和BiGRU層，并在煤礦安全隱患數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表6。

表6 消融對比實(shí)驗(yàn)結(jié)果Table 6 The comparison of ablation experiment

ERNIE-CRF模型比ERNIR模型在F1指標(biāo)上有0.13%的提升，同樣BERT-CRF模型比BERT模型在F1指標(biāo)上也有0.25%的提升，驗(yàn)證了CRF模塊在實(shí)體抽取時(shí)能夠加強(qiáng)標(biāo)簽間的依賴關(guān)系，可有效獲得全局最優(yōu)序列。另外，在ERNIE-CRF模型上引入BiGRU模塊，ERNIE-BiGRU-CRF模型的F1值提高了1.09%，表明BiGRU結(jié)構(gòu)可以更好的捕獲上下文語義依賴關(guān)系，對實(shí)體識別產(chǎn)生了積極影響。

5 結(jié) 論

1)根據(jù)煤礦行業(yè)相關(guān)標(biāo)準(zhǔn)規(guī)范，并結(jié)合領(lǐng)域知識，將收集到的煤礦安全隱患記錄進(jìn)行錯(cuò)誤檢查以及去重去噪處理，形成1500條煤礦安全隱患文本集。另外，根據(jù)自定義實(shí)體類別，采用YEDDA標(biāo)注工具和BIO標(biāo)注規(guī)范對煤礦安全隱患文本進(jìn)行了實(shí)體標(biāo)注。

2)針對煤礦安全領(lǐng)域非結(jié)構(gòu)化文本上下文語義復(fù)雜、實(shí)體抽取困難等問題，基于ERNIE-BiGRU-CRF算法模型在自建的煤礦安全隱患數(shù)據(jù)集上開展了命名實(shí)體識別研究。計(jì)算結(jié)果表明，比BiLSTM-CRF基線模型，精確率、召回率和F1值分別提高了6.85%、13.74%和9.83%，獲得了較好的實(shí)體識別效果。

3)雖然ERNIE-BiGRU-CRF算法實(shí)體識別效果最優(yōu)，但其識別性能還有較大的提升空間，可以考慮采用主動(dòng)學(xué)習(xí)、增加煤礦安全隱患標(biāo)注語料或構(gòu)建領(lǐng)域詞典等策略來提高模型的識別效果。另外，ERNIE-BiGRU-CRF模型訓(xùn)練收斂速度較慢，后續(xù)研究可以考慮對模型結(jié)構(gòu)進(jìn)行改進(jìn)，以提高訓(xùn)練速度。