徐子路,朱睿莎,余敦輝,2,邢賽楠

1(湖北大學 計算機與信息工程學院,武漢 430062) 2(湖北省教育信息化工程技術中心,武漢 430062)

1 引 言

在日常生活中,交通事故、自然災害、衛(wèi)生安全等突發(fā)社會事件經常發(fā)生,這些事件對我們的生命、健康或生態(tài)環(huán)境會造成大規(guī)模的破壞,因而受到社會各階層人員的廣泛關注.特別是在當前的互聯(lián)網時代,以社交網絡或新聞網站為傳播載體的突發(fā)社會事件在經過傳播發(fā)酵以后會產生社會熱點事件.年初“豐縣生育8孩女子”事件不僅在網上掀起軒然大波,廣大網友參與其中發(fā)表個人的觀點,還引發(fā)了相關法律界人士對拐賣婦女兒童“買賣同罪”的探討.如何自動從文本中提取此類事件,準確快速地抽取出事件觸發(fā)詞及其事件元素,有助于決策者分析輿情態(tài)勢、引導社會輿論.

突發(fā)熱點事件提取(Eventextraction,EE)分為2個子任務[1-3]:1)事件觸發(fā)詞(trigger,用來標識事件的謂語,一般以動詞和名詞居多)提取,即通過觸發(fā)詞判斷事件的種類和子種類;2)論元抽取,其目標是將事件的參與者和屬性(包括事件發(fā)生的時間、地點、人物等信息)標注在已識別事件中.

目前突發(fā)熱點事件抽取所針對的對象包含簡單事件和復雜事件,對于部分的簡單事件可以直接從一句話中抽取出事件相關信息.如例1所示.

例1.6月10日(A1,Time),河北省唐山市路北區(qū)某燒烤店(A2,Location)多名男子(A3,Object1)毆打(EM1,Denoter:Judicial)女生(A4,Object2)事件引發(fā)關注.

觸發(fā)詞抽取主要從文本中抽取事件的觸發(fā)詞實例并判定其事件類型.從例1中可抽取一個由觸發(fā)詞“毆打”觸發(fā)、事件類型為Judicial(司法行為)的事件實例EM1.論元抽取主要抽取特定類型事件的論元并判定其角色.從例1中可抽取事件實例EM1的4個論元A1、A2、A3和A4,并識別其角色分別為Time(時間)、Location(地點)、Object1(事件參與者客體1)和Object2(事件參與者客體2).

而對于事件相關信息包含在多個句子中的部分復雜事件而言,事件抽取任務存在一定的挑戰(zhàn),此時句子級事件抽取將無法抽取出全部論元.如例2所示.

例2.(S1:19日17時(A1,Time)許,三門峽市義馬市氣化廠一車間(A2,Location)發(fā)生爆炸(EM2,Denoter:Disaster/Accident).)(S2:應急管理部官方微信20日發(fā)布通報稱,截至20日16時,事故造成12人死亡(A3,Object1),3人失聯(lián),13人重傷(A4,Object2).)

在例2中,S1包含了事件的觸發(fā)詞(“爆炸”)、事件的論元角色Time和Location,但是只抽取出了部分事件論元.在S2中補充了事件實例EM2的論元角色Object1(12人死亡)和Object2(13人重傷).S1和S2組合將事件中包含的事件論元和在事件中所發(fā)揮的作用全部提取出來,構成一個完整的事件.

針對現(xiàn)有研究主要聚焦簡單事件抽取,而突發(fā)熱點事件往往屬于復雜事件——其事件論元分散存在于多個句子之中,從而導致簡單事件抽取方法不再適用的問題,本文提出了一種基于圖注意力網絡(Graph Attention Network,GAT)[4]的突發(fā)熱點事件聯(lián)合抽取方法.該方法通過抽取出新聞主旨事件以后對整篇新聞做事件抽取,利用候選事件與新聞主旨事件的事件向量相似度以及事件論元相似度對該新聞主旨事件進行補全從而完成抽取工作.實驗結果表明,該方法在篇章級事件觸發(fā)詞抽取和論元角色抽取任務上的F1指標分別達到83.2%、59.1%,驗證了該方法在突發(fā)熱點新聞數(shù)據集上的合理性和有效性.

2 相關工作

事件抽取主要有基于模式匹配的方法、基于機器學習的方法以及基于深度學習的方法[5].當前主流的方法是基于深度學習的方法,文獻[6]使用卷積神經網絡模型(Convolutional Neural Network,CNN)自動挖掘事件隱含特征,并取得了良好的效果.文獻[7]針對傳統(tǒng)的卷積神經網絡模型可能會在捕捉句子中最重要信息的同時忽略一些次重要的信息的情況,提出了一種動態(tài)多池化的卷積神經網絡模型,使該模型可以在中英兩種語言的事件中抽取多個事件并獲得更好的表現(xiàn).文獻[8]針對漢語中詞匯間沒有自然的分隔符所導致的觸發(fā)詞抽取不完整這一客觀問題,提出NPN模型(Nugget Proposal Networks).該模型將字級別信息和詞級別信息進行融合,從而提升中文事件檢測的效果.文獻[9]是循環(huán)神經網絡(RecurrentNeuralNetwork,RNN)在事件抽取中的首次應用,設計了一種基于雙向循環(huán)神經網絡的聯(lián)合框架,該聯(lián)合框架結合詞向量、實體類型嵌入向量等來表征句子級特征,并將結果送到事件聯(lián)合抽取模型中進行訓練,實現(xiàn)觸發(fā)詞和論元角色的聯(lián)合抽取.文獻[10]針對前人在設計模型結構時沒有用好句法的特點,以及對潛在論元元間的關系沒有很好的建模,提出了可將依存關系融入框架的 Dependency-Bridge RNN 結構,將依存關系編碼到RNN的輸出中,同時提出了關于論元元素間關系建模的Tensor-BasedArgumentInteraction方法.文獻[11]將生成對抗網絡(Generative Adversarial Networks,GAN)[12]融入到事件抽取領域中,利用生成模塊和對抗模塊相互博弈學習的零和博弈思想,通過生成一些虛假的特征信息來提高模型的學習效果.分析不難看出,受限于需要大量的人工操作,上述方法無法完全發(fā)揮出模型的性能.同時,句子級順序建模的方法在捕捉特征遠距離上的依賴時,效果不是很好.相對于順序建模,通過句法弧來建模的方法,可以使觸發(fā)詞與論元角色在一個句子中的距離縮短.

為此,近年來很多學者陸續(xù)利用圖卷積網絡(Graph Convolutional Network,GCN)[13],通過引入句法弧信息來進行建模.文獻[14]提出了JMEE(Jointly Multiple Events Extraction)模型,該模型使用單詞的向量表示作為圖結構中的節(jié)點,通過圖卷積網絡來聚合節(jié)點之間的特征.通過句子中字段的語義依存關系與圖結構(Graph)的聯(lián)系,將其用圖來表示,同時將GCN方法應用在該圖上,捕捉了更為深層次的語義特征.文獻[15]為了解決當前用于事件檢測的神經網絡模型只考慮了句子的序列表示,沒有考慮句子中句法表示的問題,提出了一種集成語法信息的實體提及池化機制.這些研究讓GCN大放光彩的同時,也放大了它的局限性:對于不同的鄰居節(jié)點難以實現(xiàn)分配不同的學習權重,同時也難以處理有向圖.

在中文突發(fā)熱點事件抽取中,文獻[16]提出了一種將Lattice(點陣)機制與雙向長短期記憶(BiLSTM)網絡結合的模型,通過命名實體識別任務反饋增強事件抽取模型性能.文獻[17]提出一種基于雙向長短期記憶網絡-條件隨機場(BiLSTM-CRF)的事件抽取模型,在學習字粒度語義信息的基礎上結合序列標注來對中文突發(fā)熱點事件進行抽取.

基于現(xiàn)有的研究近況來看,對突發(fā)熱點新聞的事件抽取仍有如下問題:1)事件抽取仍以單句提取事件為主,無法抽取分布在多句里的復雜事件;2)已有的事件聯(lián)合抽取工作大多以ACE2005數(shù)據集為基礎進行實驗,但該數(shù)據集的標注樣例過于陳舊,且標注數(shù)據僅限于句子級別,無法滿足中文突發(fā)熱點事件常存在于篇章級文本里的特點.

3 基于圖注意力網絡的突發(fā)熱點事件聯(lián)合抽取模型

3.1 模型框架

本文提出了一種基于圖注意力網絡的篇章級突發(fā)熱點事件抽取方法.該方法的總體架構分為3個階段,如圖1所示.1)事件句抽取.通過TextRank算法將包含新聞主旨的事件句提取出來,作為整篇新聞的代表事件;2)篇章級事件抽取.通過Stanford Parser工具對語料進行預處理,自動獲取語料的詞性標注、依存句法解析等信息.利用詞向量訓練工具對事件文本進行詞向量的學習,將得到的詞向量結合詞性標記向量作為輸入,通過Bi-LSTM模型得到句子的強化特征.然后將通過NLP工具得到的依存句法樹引入到圖注意力網絡中,將學習得到的隱藏特征用于觸發(fā)詞分類和事件論元抽取;3)突發(fā)熱點事件補全.將事件句里抽取出來的事件信息作為主事件,抽取該篇突發(fā)熱點新聞里的次要事件.通過次要事件和主事件之間的論元相關性,對主事件進行補充.

圖1 基于圖注意力網絡的突發(fā)熱點事件聯(lián)合抽取框架Fig.1 Model framework

本文的貢獻如下:

1)提出一種基于圖注意力網絡(GAT)突發(fā)熱點事件抽取方法,利用句子成分之間的依存關系進行事件聯(lián)合抽取.在抽取出新聞主旨事件以后對整篇新聞做事件抽取,利用候選事件與新聞主旨事件的事件向量相似度以及事件論元相似度對該新聞主旨事件進行補全.

2)通過句子成分之間的依存關系以及句子之間的潛在聯(lián)系,結合序列標注的思想設計了一個中文事件字級別的建模方法,進而獲取到更加全面的事件信息.

3)該方法在DUEE1.0數(shù)據集上進行觸發(fā)詞抽取和論元角色抽取任務時的F1指標分別達到83.2%、59.1%;在中文突發(fā)事件語料庫上進行觸發(fā)詞抽取和論元角色抽取任務時的F1指標分別達到82.7%、58.7%,驗證了該方法在突發(fā)熱點新聞數(shù)據集上的有效性.

3.2 基于TextRank的事件句抽取

由于事件句包含了該事件的觸發(fā)詞和事件論元角色,通常作為整篇新聞文章的摘要出現(xiàn)在文本的段首或段尾里.為了自動的從大量新聞文本里找出事件句,這里使用TextRank算法來進行識別.TextRank是利用投票機制實現(xiàn)對文本重要成分排序的方法,通過將文本單元分割成若干個組成單元(單詞或句子)來建立圖模型的一種基于圖的排序算法.主要有以下幾個步驟:

1)將一個含有n個句子的文本或文本集定義為S=[s1,s2,s3,…,sn],構造關于S的圖GTextRank=(V,E),其中V中的每個節(jié)點對應句子集S中的一個句子.

2)對句子進行分詞、去除停用詞以后得到si=[wi1,wi2,wi3,…,wim],其中wij是保留后的候選關鍵詞.

3)對給定的兩個句子si、sj,根據句間的內容覆蓋程度計算相似度,如果相似度大于給定閾值,認為兩句話語義相關,就把兩句話連起來,也就是邊的權值.

4)不斷迭代傳播權重計算各句子的得分,由此得到圖GTextRank中的邊集E.

將所有的句子得分進行倒序排序,抽取重要度最高的T個句子作為新聞的事件句.

3.3 基于圖注意力網絡的篇章級事件抽取

3.3.1 數(shù)據預處理

通過引言里的例1、例2不難看出,中文突發(fā)熱點事件的事件文本通常是由長句子組成的.此時繼續(xù)使用常規(guī)的句子級順序建模方法在捕捉特征遠距離上的依賴時無法產生很好的效果,但依存句法樹中蘊含的句法信息能夠捕捉單詞間的長距離關系.通過對依存句法樹建模,學習文本的句法依存特征,能夠幫助關系抽取模型更準確地理解實體對之間的語義關系[18].因此在開始抽取中文突發(fā)熱點事件之前,需要先對事件文本進行依存句法分析,獲取語料的詞性標注、依存句法樹等信息.

但依存句法分析得到的是只能從父節(jié)點指向子節(jié)點且節(jié)點本身無法指向自身的樹形結構,這時的依存關系是單向的.針對樹形結構存在的問題,將根據如下的規(guī)則來將依存句法樹擴充依存句法圖:以句中的詞為圖中的節(jié)點,忽略句法分析中“Root”指向根節(jié)點的弧,以詞與詞之間的依存關系生成圖中的邊.由于依存句法圖關注的是詞與詞之間的依存關系,不關注句法結構(如主謂等結構關系),故在依存句法樹中不需要存儲弧的標簽信息(如“nsubj”等)[19].

首先,將事件文本s的依存句法樹定義為無向圖G=(V,E).其中V是依存句法樹中節(jié)點的集合,節(jié)點個數(shù)為n,節(jié)點集合V中每個vi對應事件文本s中的單詞表示wi.E是邊的集合,每條邊(vi,vj)∈E來自于詞wi和詞wj的有向句法弧,這個句法弧(vi,vj)的標簽類型是K(wi,wj).在原有的依存句法樹的基礎上,通過添加具有類型標簽K′(wi,wj)且和原來的有向句法弧方向相反的反向弧(vj,vi),以及對所有的vi添加一個自循環(huán)弧(vi,vi)來實現(xiàn)對無向圖G=(V,E)的擴充.此時的無向圖G代表了事件文本中觸發(fā)詞和論元之間的依賴關系.

之后,為了減少圖注意力網絡的參數(shù)量,在得到無向圖時需要將其分解為3種類型標簽type(vi,vj)的參數(shù)矩陣:1)E中存在的原始邊K;2)自環(huán);3)E中原始邊的反向弧K′.同時,由于形容詞、副詞等詞性對于事件觸發(fā)詞和論元的影響較小,而名詞等詞性對于事件觸發(fā)詞和論元的影響較大.為了體現(xiàn)不同邊關系的詞對當前詞的重要性不同,在構建參數(shù)矩陣時為不同邊關系的相鄰詞賦予不同的權重.

3.3.2 文本特征提取

為了將事件觸發(fā)詞以及論元從事件文本中抽取出來,需要把事件文本轉換特征向量表示.為此,使用ERNIE預訓練模型[20]將輸入的事件文本轉換成定長的向量表示.為將一個含有n個詞的事件文本定義為s=[w1,w2,…,wn],其中wi表示事件文本中的第i個詞.

同時,由于不同的詞性在事件文本中代表著不同的組成部分.結合事件抽取而言,作為觸發(fā)詞抽取出來的文本絕大多數(shù)是動詞(例1里的“毆打”、例2里的“爆炸”),但作為論元角色抽取出來的文本通常是數(shù)量詞、名詞等組成的詞組(例2里的論元角色“死亡人數(shù)”——“12人死亡”、“受傷人數(shù)”——“13人重傷”).合理的運用詞性與句子之間的依賴關系有助于縮小觸發(fā)詞和論元角色的抽取范圍,故除了詞向量之外,本層的輸入還包括詞性向量.通過使用Stanford Parser工具來獲得事件文本中每個詞的詞性標簽,之后在隨機初始化的詞性POS標記標簽嵌入矩陣中查找對應的嵌入向量,得到句子中每個詞的詞性向量.

最后,通過將上述的兩種向量連接得到事件文本中每一個詞token轉換為實值向量后的xi,輸入向量表示為X=[x1,x2,…,xn].之后,由于Bi-LSTM模型可以更好地捕捉句子中的上下文關系,便利用Bi-LSTM模型來編碼得到的輸入向量X.將事件文本表示X編碼為:

(1)

(2)

3.3.3 突發(fā)熱點事件抽取

(3)

在節(jié)點更新完畢以后,為了實現(xiàn)事件觸發(fā)詞與論元的聯(lián)合抽取,需對觸發(fā)詞抽取和論元抽取模塊進行聯(lián)合訓練.由于兩個模塊不存在明顯的主、輔任務之間的區(qū)別,本模型采用了較為樸素的聯(lián)合學習思想.通過將兩個模塊的損失函數(shù)進行直接相加,形成聯(lián)合損失函數(shù).

(4)

f是一個非線性激活函數(shù).之后,接上一個softmax層將得到的類別向量歸一化進行類別分類:

(5)

對于每個觸發(fā)詞-元素對,本文將通過特征提取后的觸發(fā)詞向量和元素向量進行拼接,經過一層全連接網絡,最終同樣使用softmax函數(shù)進行元素角色分類.其計算如公式(6)所示:

yoi=softmax(Wo[T,Ei]+bo)

(6)

其中,T表示觸發(fā)詞,Ei表示第i個候選元素,yoi表示第i個元素在觸發(fā)詞觸發(fā)的事件中角色類別輸出,Wo和bo是輸出層的權值向量和偏置項.

3.3.4 算法執(zhí)行過程

給定基于依存句法樹擴充的依存句法圖G=(V,E),V表示點,E表示邊,節(jié)點的個數(shù)|V|=N為句子中字的個數(shù)N

算法1.基于圖注意力網絡的篇章級事件聯(lián)合抽取

輸出:觸發(fā)詞的分類結果yt,論元分類結果yo.

for(每篇文本s∈D)

Step1.執(zhí)行ERNIE預訓練模型,得到s=[w1,w2,…,wn]

Step2.結合每個詞的詞性向量,連接s得到實值向量序列X=[x1,x2,…,xn]

Step4.通過依存句法分析得到文本的依存句法樹DPTree

Step5.得到文本的依存句法圖G=(V,E)←DPTree

Step6.生成詞之間的鄰接矩陣∑Mt=G,t∈type(vi,vj)

Step11.將通過特征提取后的觸發(fā)詞向量和元素向量進行拼接,經過一層全連接網絡,最終同樣使用Softmax函數(shù)進行元素角色分類:yoi=softmax(Wo[T,Ei]+bo)

end for

3.4 突發(fā)熱點事件補全

一篇突發(fā)熱點新聞文本可能包含很多個事件,但不是所有的事件都是圍繞新聞主旨來描述的.因此,這一階段在將該篇新聞文本里的所有事件抽取出來以后,需要對每個事件進行分析以判斷其是否屬于當前新聞主旨的事件鏈集合.將一篇新聞文本抽取出來的所有事件定義為事件集合:

Events={E,E1,E2,E3,…,En}

(7)

對于其中任意一個事件Ei以及新聞主旨事件E,其事件相關性計算如公式(8)所示:

score=sim(Ei,E)=cos(SVi,SV)+cos(Ei,E)

(8)

式(8)中,sim(Ei,E)取決于事件Ei、E的向量相似度(事件向量化表示以后的余弦相似度)與論元相似度(事件論元在該新聞文本里的TF-IDF余弦相似度)之和,表示事件Ei與新聞主旨事件E存在于同一個事件鏈里的可能性.計算事件Ei、E的向量相似度時,先通過預訓練詞向量模型獲取兩個事件文本的句向量SVi和SV,之后對句向量求余弦相似度.在得到所有事件Ei對于新聞主旨事件E的相似度得分score以后,保留其中高于平均值的得分事件作為新聞主旨事件E的補全事件.

4 實驗結果與分析

4.1 數(shù)據集

由于突發(fā)熱點事件多出現(xiàn)于微博、知乎等社交媒體上,參考國務院頒布的《國家突發(fā)公共事件總體應急預案》,并結合實驗所用數(shù)據集自身的數(shù)據特征,將突發(fā)熱點事件大致分為5大類,即災害/事故類、衛(wèi)生安全類、司法行為類、金融類、競賽類.為了評估該聯(lián)合抽取方法在中文事件抽取上的有效性,將分別在DuEE1.0數(shù)據集和中文突發(fā)事件數(shù)據集(ChineseEmergenciesCorpus,CEC)上進行實驗.DUEE1.0是百度發(fā)布的包含65個事件類型的1.7萬個具有事件信息句子(2萬個事件)的中文事件抽取數(shù)據集,事件類型以具有較強代表性的百度風云榜熱點榜單為評選對象確定.中文突發(fā)事件數(shù)據集(ChineseEmergenciesCorpus,CEC)從網絡上采集5類(地震、火災、交通事故、恐怖襲擊、食物中毒)突發(fā)事件的新聞報道合計332篇.

由于DuEE1.0只包含句子級以及篇章級的事件句,不包含對熱點事件的補充新聞文本或者與熱點事件無關的新聞文本.而CEC的每個事件語料都是包含該事件的新聞報道,因此選擇在DuEE1.0訓練集上進行模型訓練,在DuEE1.0測試集和CEC數(shù)據集上驗證事件抽取模型的效果.

4.2 實驗設置

本文實驗中文本特征提取層使用的ERNIE詞向量為PaddlePaddle官方提供的預訓練模型ERNIE 1.0 Base,包含12層的transformer,隱藏層維度為768維.使用的依存句法分析工具為斯坦福大學自然語言處理組開發(fā)的深度學習NLP工具包:Stanza.利用Stanza來進行分詞、詞性標注和生成依存句法分析樹的工作.實驗在判斷觸發(fā)詞檢測預測的正確性方面遵循了已有研究工作的標準.對所有實驗而言,在文本特征提取層中,ERNIE詞向量的維度是768維,單詞位置嵌入的維度是50維.在事件聯(lián)合抽取模塊中,單層的Bi-LSTM網絡輸入維度為768+50=818,輸出維度為300,丟失率dropout=0.5;GAT層數(shù)n=1,輸入特征維度為300,輸出特征維度為50,多頭注意力機制的個數(shù)k=4.在實驗中,batch的大小為64,模型的非線性激活函數(shù)采用ReLU,優(yōu)化器采用結合了隨機梯度下降的更新規(guī)則來反向傳播來計算梯度.

和通常的中文信息抽取任務一樣,本文在事件抽取任務和事件補全任務上通過準確率P(precision)、召回率R(recall)和F1值來匯報模型性能.

4.3 實驗結果分析

4.3.1 事件抽取對比實驗

本實驗的目的在于驗證聯(lián)合模型在提取句子級別特征時的有效性.為了驗證聯(lián)合模型在篇章級事件抽取的效果,將其與以下5種主流的事件抽取算法進行比較.

1)DMCNN[7]:使用了pipeline方法,加入了位置特征向量、事件類型特征向量來加強句子整體感知.

2)JRNN[9]:首次將RNN模型應用到事件聯(lián)合抽取任務.并進一步強化了句子中的各種事件元素等依賴關系感知,如使用觸發(fā)詞記憶向量、論元記憶矩陣等特征.

3)dbRNN[10]:提出能將依存關系融入框架的Dependency-Bridge RNN結構,并同時提出Tensor-Based Argument Interaction方法來建模論元元素間的關系.

4)JMEE[14]:用圖卷積網絡(GCN)模型生成每個單詞(圖中節(jié)點)的向量表示并完成對句法樹對建模的同時,通過使用句法上的捷徑弧(shotcutarcs)來解決對句子中的長距離依賴.

5)GCN-ED[15]:利用句子中句法表示,提出了一種集成語法信息的實體提及池化機制.

表1 本文聯(lián)合抽取模型與其它模型的整體性能比較Table 1 Comparison of overall performance between the model in this paper and other models

表1列出了幾個模型在測試集上的性能.由于實驗數(shù)據集使用的是中文數(shù)據集DuEE1.0和CEC,故所有對比模型中的詞向量都替換為了ERNIE詞向量,在相同的實驗環(huán)境下實驗.從表中可以看出,與其他方法相比較.本文的聯(lián)合模型在觸發(fā)詞抽取時,F1值平均提升了4.5%.在論元抽取時,F1值平均提升了3.4%.對比其他使用了句法信息的方法,聯(lián)合模型在將句法樹擴充為了句法圖的同時還對不同詞性鄰居節(jié)點的權重進行了調整.不僅優(yōu)化了句子之間的結構信息,還利用了圖注意力網絡可以更好聚合帶權節(jié)點信息的特點.

4.3.2 事件抽取消融實驗

1)不同詞向量對聯(lián)合模型分類效果的影響

詞向量作為作為深度學習模型的初始特征輸入,很多模型的最終效果很大程度上取決于詞向量的效果.本文為了驗證ERNIE預訓練模型在中文詞向量訓練上的有效性,分別使用了Word2Vec[22]、GloVe[23]、BERT[24]預訓練模型以及ERNIE預訓練模型對輸入的原始句子進行編碼.之后將編碼后的句子送入到后續(xù)模塊中以完成分類任務,作為對比實驗的靜態(tài)詞向量Word2Vec、GloVe的向量維度均為300維.不同詞向量的實驗效果如表2所示.

表2 不同詞向量對實驗效果的影響Table 2 Effects of different word vectors on experimental results

根據表2中的數(shù)據所示,BERT預訓練模型和ERNIE預訓練模型所展現(xiàn)出來的模型效果均優(yōu)于傳統(tǒng)的Word2Vec和GloVe方法.傳統(tǒng)的Word2Vec和GloVe方法都是靜態(tài)的詞向量,然后根據文本來獲取詞嵌入矩陣,在觸發(fā)詞抽取任務和論元抽取任務上的表現(xiàn)差別不大.而同樣為transformer類型的BERT預訓練模型和ERNIE預訓練模型,ERNIE預訓練模型的實驗效果則優(yōu)于BERT預訓練模型.相較于BERT預訓練模型,ERNIE預訓練模型通過對先驗語義知識單元進行建模,在一定程度上增強了模型語義表示能力.本實驗表明,ERNIE預訓練模型可以有效的提升聯(lián)合模型的觸發(fā)詞和論元抽取效果.

2)強化特征對聯(lián)合模型分類效果的影響

由于本文在使用圖注意力網絡之前先將詞向量送入到一個Bi-LSTM模型中進行強化訓練得到強化特征.為了驗證Bi-LSTM模型捕捉的句子中上下文關系對聯(lián)合模型的必要性,本文與直接使用詞向量作為節(jié)點特征來進行對比.不同節(jié)點特征的實驗效果如圖2所示.

圖2 強化特征對聯(lián)合模型分類效果的影響Fig.2 Influence of reinforcement features on classification effect of joint model

根據圖2中的數(shù)據所示,在加入強化特征以后聯(lián)合模型的分類效果取得了一個較大的提升,但是將Bi-LSTM模型不斷堆疊以后的效果并不理想,甚至模型效果反而變差了.雖然Bi-LSTM模型得到的強化特征可以很好的捕捉句子中的上下文關系,從而使傳入GAT模型中的初始節(jié)點特征優(yōu)于僅使用詞向量的初始節(jié)點特征.但是不斷堆疊的Bi-LSTM模型也會使聯(lián)合抽取模型的參數(shù)量不斷增加,從而導致在優(yōu)化模型參數(shù)時的效果并沒有一層的Bi-LSTM模型效果好.

3)分詞結果對聯(lián)合模型分類效果的影響

與以往研究的事件抽取模型不同,本文模型主要針對的是中文數(shù)據集.中文與英文的一個基本差異在于,中文的基本構成單位是字,每個字都是獨立的意義單元;而英文的基本單位是字母,字母不是意義單元,只用來拼寫,完全沒有意義,只有詞才是獨立的意義單元.為了驗證分詞結果是否會對聯(lián)合抽取模型的分類效果產生影響,下面將對按照字向量的模型與按照分詞結果組合詞向量的模型進行比較.不同分詞方式的實驗效果如圖3所示.

根據圖3中的數(shù)據所示,基于字的中文NLP任務可以得到比基于詞更好的結果.這是因為ERNIE模型在對詞、實體等語義單元的進行掩碼以后,模型學習到了概念更為完整的語義表示,實現(xiàn)了同一詞在不同上下文環(huán)境下的不同語義表示.從而使同一個字出現(xiàn)不同的場和會產生不同語義的詞向量.同時由于聯(lián)合抽取模型使用了基于依存句法分析的圖注意力網絡,故即便不進行分詞也能通過依存句法樹之間的關系正確找到觸發(fā)詞和論元.

圖3 分詞結果對聯(lián)合模型分類效果的影響Fig.3 Influence of word segmentation results on classification effect of joint model

4)不同邊關系矩陣對聯(lián)合模型分類效果的影響

由于聯(lián)合抽取模型的依存句法圖是由依存句法樹擴充而來的,依存句法圖中的邊就是依存句法樹里的句法弧.而不同類型句法弧連接的鄰居節(jié)點對當前節(jié)點的重要程度是不一樣的,所以為不同的鄰居賦予不同的權重.為了驗證權重矩陣的有效性,下面將句法弧類型權重矩陣與普通權重矩陣進行比較.不同權重矩陣的實驗效果如圖4所示.

圖4 不同邊關系矩陣對聯(lián)合模型分類效果的影響Fig.4 Influence of different edge relation matrices on classification effect of joint model

普通權重矩陣采取的是只要存在句法弧便將權重設置為1.而這樣的方法可能會因為錯誤的句法邊導致聯(lián)合抽取模型的分類效果變差.根據圖4中的數(shù)據所示,句法弧類型權重矩陣不僅可以體現(xiàn)不同類型的鄰居節(jié)點對當前節(jié)點的重要性,還有助于減輕錯誤的句法邊對模型的影響.

4.3.3 突發(fā)熱點事件補全結果

在通過DuEE1.0數(shù)據集訓練好聯(lián)合抽取模型以后,將在CEC數(shù)據集上驗證聯(lián)合抽取模型的有效性,同時對事件抽取結果進行補全.按照模型框架里的3階段,對CEC數(shù)據集中的每一篇新聞報道,先抽取新聞主旨的事件句.之后對整篇新聞文本做事件抽取,按照第3章提出的補全規(guī)則對新聞主旨事件做補全.由于CEC數(shù)據集已有對事件關系的標注,在補全時認定與已知新聞主旨事件存在關系的事件為候選補全事件.補全的評價標準采用了精準度(P)、召回率(R)和F1-measure(F1值),表3列出了本文方法的事件抽取結果在CEC數(shù)據集中不同事件類型語料上的性能.

從表3中可以看出,聯(lián)合模型在CEC數(shù)據集中不同事件類型語料上的性能與在DUEE1.0數(shù)據集上的性能基本持平.在觸發(fā)詞抽取任務上的精準度、召回率、F1值平均為81.3%、84.0%、82.7%;在論元抽取任務上的精準度、召回率、F1值平均為55.2%、62.7%、58.7%;在事件補全任務上的精準度、召回率、F1值平均為92.6%、91.1%、91.8%.由于在事件補全任務上的良好性能,驗證了該3階段事件抽取方法在突發(fā)事件新聞文本里信息聚合的有效性.

表3 聯(lián)合模型在CEC數(shù)據集上的性能表現(xiàn)Table 3 Performance of joint models on CEC datasets

5 結束語

本文實現(xiàn)了一個基于3階段的篇章級事件抽取方法,方法首先通過TextRank算法將包含新聞主旨的事件句提取出來,作為整篇新聞的代表事件.然后通過將依存句法樹擴充成圖,得到節(jié)點之間的鄰接矩陣.使用圖注意力網絡(GAT)對每個節(jié)點的特征進行訓練,將得到的特征分別送入到觸發(fā)詞分類器和論元分類器中分類,實現(xiàn)篇章級事件的聯(lián)合抽取任務.最后,對整篇新聞文本做事件抽取,利用候選事件與新聞主旨事件的事件向量相似度以及事件論元相似度對該新聞主旨事件進行補全.通過實驗驗證了該方法的有效性,在未來的事件抽取研究中可以圍繞以下兩個方面展開:1)針對論元抽取,可以進一步研究中文事件論元抽取存在的難點,解決中文事件論元抽取性能低的問題;2)針對事件補全,現(xiàn)階段只是判斷了事件之間是否存在聯(lián)系進行了簡單的補全.下一階段可對事件關系進一步劃分,總結事件的前因后果,使事件的相關信息更全面且直觀.