陸震寰，孔 芳，周國(guó)棟

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0　引言

作為信息的一個(gè)重要的載體，事件是人、物、事在特定時(shí)間和特定地點(diǎn)相互作用的事實(shí)。同一篇文章中通常包含多個(gè)相互關(guān)聯(lián)的事件，而同一個(gè)事件在不同的上下文中會(huì)采用不同的表述，當(dāng)多個(gè)事件表述指向一個(gè)自然事件本體時(shí)，則認(rèn)為這些事件表述間具有同指關(guān)系。

圖1給出了具有同指關(guān)系的事件表述示例。例1中的“會(huì)晤”和“會(huì)談”都指向同一個(gè)真實(shí)事件，這兩個(gè)表述具有同指關(guān)系。例2中的“killed”和“hacked”也指向同一個(gè)真實(shí)事件，它們之間也是同指關(guān)系。

一般情況下，對(duì)于某一事件的報(bào)道，往往是先進(jìn)行大致說(shuō)明，然后對(duì)事件發(fā)生的時(shí)間、地點(diǎn)、參與者等進(jìn)行詳細(xì)說(shuō)明，最后分析該事件造成的影響。通過(guò)事件同指消解將這些事件表述指向同一個(gè)自然事件，能夠更好地去理解自然事件。

正確識(shí)別事件表述間的同指關(guān)系，不僅有助于理解事件本身，對(duì)事件間的邏輯語(yǔ)義關(guān)系分析、篇章理解、信息抽取等任務(wù)也意義重大。本文主要處理事件同指消解問(wèn)題，假設(shè)事件抽取已經(jīng)完成(即事件表述及其所屬的類別是已知的)，基于此給出了一個(gè)完整的基于卷積神經(jīng)網(wǎng)絡(luò)的事件同指消解框架，并針對(duì)實(shí)例分布不均、對(duì)特定標(biāo)注方案依賴性強(qiáng)和全局信息利用不夠等問(wèn)題進(jìn)行了分析，給出了相應(yīng)的解決方案。在KPB2015和ACE2005語(yǔ)料庫(kù)上的實(shí)驗(yàn)均驗(yàn)證了所提方案的有效性，事件同指消解的性能也得到了極大的提升。

圖1　事件同指示例

1　相關(guān)工作

事件同指消解最早在Ahn[1]研究事件抽取問(wèn)題時(shí)被提出，借鑒Florian[2]研究實(shí)體同指消解的思想，Ahn將事件同指問(wèn)題轉(zhuǎn)化為事件表述對(duì)之間的相似度計(jì)算問(wèn)題。近年來(lái)基于機(jī)器學(xué)習(xí)的事件同指研究取得了一定的成果，主要分為有監(jiān)督的事件對(duì)模型消解研究和無(wú)監(jiān)督的事件圖模型消解研究?jī)蓚€(gè)流派。

在有監(jiān)督的事件對(duì)模型研究方面，Chen等[3]通過(guò)訓(xùn)練多個(gè)分類器對(duì)OntoNotes中不同的句法類型(例如，動(dòng)詞-名詞同指，動(dòng)詞-動(dòng)詞同指)進(jìn)行聯(lián)合推理；Lee[4]、Liu[5]等人在特征工程基礎(chǔ)上通過(guò)引入WordNet、FrameNet等知識(shí)庫(kù)促進(jìn)事件同指消解效果；Teng[6]針對(duì)事件間的內(nèi)在聯(lián)系，提出了中文事件同指消解全局優(yōu)化模型；Zeng[7]首次將卷積神經(jīng)網(wǎng)絡(luò)引入實(shí)體關(guān)系分類，并證明了深度學(xué)習(xí)在關(guān)系分類任務(wù)上的有效性；Krause[8]、Santos[9]通過(guò)將詞、詞位置等信息嵌入到神經(jīng)網(wǎng)絡(luò)中，也在一定程度上提升了同指消解的效果；Ding[10]分別考慮事件層次的語(yǔ)義信息和跨事件層次有關(guān)語(yǔ)義信息，并將這些信息嵌入到淺層卷積神經(jīng)網(wǎng)絡(luò)中，在事件多關(guān)系分類任務(wù)上取得了一定的效果提升。

針對(duì)事件同指語(yǔ)料較為欠缺的問(wèn)題，部分學(xué)者提出了基于圖模型的無(wú)監(jiān)督事件同指消解方法。Do[11]基于集中分布相似度和篇章間的聯(lián)系提出了一種弱監(jiān)督方法；Bejan[12-14]等基于參數(shù)貝葉斯思想分別設(shè)計(jì)了基于混合狄里克雷分布的有限特征模型、基于MIBP(Markov india buffet process)的無(wú)限特征模型及基于因果隱馬爾科夫模型和隱馬爾科夫模型的事件同指混合模型。

有別于已有的工作，本文主要關(guān)注基于深度學(xué)習(xí)框架的事件同指消解，并在這一框架中探討三方面的問(wèn)題： (1)引入通用的過(guò)濾策略降低數(shù)據(jù)分布不均衡的影響；(2)兼顧不同的事件標(biāo)注策略，采用最小事件描述(與通用事件標(biāo)注策略相關(guān)，僅考慮事件自身所包含的觸發(fā)詞及位置信息)和事件間關(guān)系描述(基于通用事件標(biāo)注信息，結(jié)合WordNet等外部資源進(jìn)行事件間語(yǔ)義關(guān)系的計(jì)算)相結(jié)合的特征表示方法；(3)引入全局優(yōu)化的后處理。

2　事件同指消解

圖2給出了事件同指消解平臺(tái)的完整框架。從框架圖中可以看到，與大多數(shù)有監(jiān)督的機(jī)器學(xué)習(xí)方法類似，平臺(tái)由訓(xùn)練和測(cè)試兩個(gè)部分構(gòu)成。在訓(xùn)練階段，從訓(xùn)練文本中抽取標(biāo)準(zhǔn)的標(biāo)注事件及其對(duì)應(yīng)的上下文信息，借助事件最小描述特征抽取模塊獲取事件自身相關(guān)的屬性，同時(shí)將事件進(jìn)行配對(duì)，以事件對(duì)為單位抽取事件間關(guān)系描述的相關(guān)特征，將事件自身特征和事件間關(guān)系特征分別向量化，并交由神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，從而構(gòu)建訓(xùn)練模型。在測(cè)試階段，借助事件抽取模塊自動(dòng)抽取給定的測(cè)試文檔中的若干事件及其對(duì)應(yīng)的類別信息，與訓(xùn)練環(huán)節(jié)類似，抽取事件自身特征和配對(duì)后事件對(duì)的關(guān)系特征，在訓(xùn)練模型的指導(dǎo)下借助神經(jīng)網(wǎng)絡(luò)進(jìn)行事件對(duì)中兩個(gè)事件同指與否的預(yù)測(cè)。由于基于事件對(duì)的同指判斷得到的結(jié)果是局部最優(yōu)解，在此基礎(chǔ)上需要從篇章中獲取所有事件集，即從全局的角度進(jìn)行優(yōu)化后處理，最終獲得測(cè)試文檔對(duì)應(yīng)的事件同指鏈集合。由于本文主要關(guān)注事件同指環(huán)節(jié)，事件抽取相關(guān)話題及其對(duì)事件同指性能的影響不是本文研究的焦點(diǎn)，因此與訓(xùn)練階段一致，本文在測(cè)試階段也使用標(biāo)準(zhǔn)的標(biāo)注事件。

從平臺(tái)基本框架可以看到，事件同指消解的核心包括事件配對(duì)、事件自身特征抽取、事件間關(guān)系特征抽取和全局優(yōu)化算法等四個(gè)模塊，下面分別進(jìn)行介紹。

圖2　事件同指消解的基本框架

2.1　事件配對(duì)

考慮文本中同一事件的多個(gè)表述可能側(cè)重表達(dá)事件某一個(gè)或幾個(gè)方面的特性，而且事件描述是一個(gè)動(dòng)態(tài)變化的過(guò)程，僅考慮同一事件的兩個(gè)表述間的關(guān)聯(lián)關(guān)系，很難追蹤事件變化的過(guò)程。與實(shí)體同指不同，我們將任意一個(gè)事件表述與其他所有事件表述均進(jìn)行配對(duì)形成事件對(duì)實(shí)例，若兩個(gè)事件表述在同一個(gè)指代鏈上則為正例，否則為負(fù)例。這樣同一個(gè)事件表述可以生成多個(gè)正例，也同時(shí)形成多個(gè)負(fù)例。

上述配對(duì)策略，避免了描述同一事件的兩個(gè)表述間由于追蹤的事件側(cè)重點(diǎn)不一致造成的低相似度問(wèn)題，但也引入了大量負(fù)例，造成了正負(fù)例的不均衡問(wèn)題。在KBP2015和ACE2005語(yǔ)料上分別采用上述事件配對(duì)策略，形成的正負(fù)例比例分別為1∶15和1∶13，這必將影響后續(xù)機(jī)器學(xué)習(xí)算法的性能。

解決正負(fù)例不均衡的常規(guī)方法，一是借助隨機(jī)采樣方法調(diào)節(jié)正負(fù)例比例，二是引入過(guò)濾規(guī)則，在配對(duì)過(guò)程中將不可能具有同指關(guān)系的事件對(duì)直接濾去。事件配對(duì)過(guò)程中我們引入了以下兩類過(guò)濾策略。

(1) 類型過(guò)濾策略。將事件所屬類型兩兩配對(duì)，在訓(xùn)練數(shù)據(jù)集中統(tǒng)計(jì)該類型事件對(duì)出現(xiàn)的頻數(shù)及它們以正例出現(xiàn)的頻數(shù)，若以正例出現(xiàn)的比例低于某一閥值，則認(rèn)為這兩類事件是不相容事件，配對(duì)環(huán)節(jié)將其濾去(訓(xùn)練階段)或直接作為負(fù)例(測(cè)試階段)。

(2) 時(shí)態(tài)過(guò)濾策略。與類型類似，將事件所屬時(shí)態(tài)兩兩配對(duì)，根據(jù)其在訓(xùn)練集中的情況確定它們是否為不相容事件。

引入過(guò)濾策略后，訓(xùn)練階段，在KBP2015和ACE2005語(yǔ)料上形成的事件對(duì)實(shí)例的正負(fù)比例降到了1∶3和1∶4，達(dá)到了較好的狀態(tài)。

2.2　最小事件自身描述特征

已有研究將事件相關(guān)的詞匯、類別、時(shí)態(tài)、語(yǔ)義、句法等特征，以及事件所在句子的相關(guān)特征引入事件同指消解，取得了一定的效果。但事件標(biāo)注是一個(gè)非常耗時(shí)耗力的工作，目前事件標(biāo)注的語(yǔ)料較少，而且采用了不同的事件標(biāo)注體系，如何使用已有的多個(gè)事件標(biāo)注語(yǔ)料是需要關(guān)注的問(wèn)題之一。本文在分析KBP2015和ACE2005事件標(biāo)注體系時(shí)發(fā)現(xiàn)，事件表述中關(guān)于事件觸發(fā)詞的定義是比較統(tǒng)一的。因此本文使用事件表述所在的句子和事件觸發(fā)詞來(lái)最小化描述事件本身，并從中抽取相關(guān)特征。

抽取的事件本身特征包括： 事件所在句子中的詞及其對(duì)應(yīng)的詞性，每個(gè)詞與觸發(fā)詞的相對(duì)位置。其中，詞S=(w1,w2,…,wn),詞性POS=(p1,p2,…,pn)，相對(duì)位置RP=(i1,i2,…in)(句子中每個(gè)詞相對(duì)于觸發(fā)詞的位置in=indexn-indextrigger)。 使用Google預(yù)訓(xùn)練的詞向量Ww=dw*|Vw|對(duì)每句話進(jìn)行初始化(dw為詞向量維度，采用的維度為300，|Vw|為詞表的大小)。詞性向量Wp=dp*|Vp|和位置向量Wi=di*|Vi|采取隨機(jī)初始化策略(其中dp、di分別為詞性維度、位置維度，設(shè)置為9和8，|Vp|為詞性表的大小，|Vi|為相對(duì)位置表的大小)。

為了進(jìn)一步提取事件潛在特征，我們采取了全局池化的方法來(lái)進(jìn)行特征降維。一方面，池化后的輸出更能突出表示當(dāng)前輸入的隱式特征；另一方面能夠防止模型在訓(xùn)練集上過(guò)擬合。本文主要采取全局最大池化策略，如式(4)所示。

具體向量化的過(guò)程如圖3所示。

圖3　事件自身的向量化過(guò)程

2.3　事件間關(guān)系的特征

從事件表述的定義來(lái)看，多個(gè)事件標(biāo)注語(yǔ)料庫(kù)都認(rèn)可事件觸發(fā)詞，且對(duì)事件都進(jìn)行了歸類，因此事件配對(duì)后，我們通過(guò)事件觸發(fā)詞之間的距離間接描述事件間的關(guān)系，具體包括：

(1) 事件對(duì)之間類型、子類型、時(shí)態(tài)是否一致;

(2) 基于WordNet的事件對(duì)觸發(fā)詞距離;

(3) 基于WordNet的事件對(duì)觸發(fā)詞詞根距離;

(4) 事件對(duì)觸發(fā)詞在句法樹(shù)中的深度是否一致。

為了使模型能夠收斂到最佳，采取正確標(biāo)簽yg與預(yù)測(cè)標(biāo)簽yp的交叉熵作為損失函數(shù)，用來(lái)對(duì)模型進(jìn)行評(píng)價(jià)，采用的優(yōu)化函數(shù)是隨機(jī)梯度下降法，如式(8)所示。

圖4給出了在深度學(xué)習(xí)框架下事件間關(guān)系特征的引入示例。

2.4　事件關(guān)系的全局優(yōu)化

基于事件對(duì)的事件關(guān)系識(shí)別忽略事件對(duì)之間的相互關(guān)系，認(rèn)為事件對(duì)之間互相獨(dú)立，但由于分類結(jié)果的誤差，往往會(huì)造成事件鏈上事件間關(guān)系矛盾。由于事件對(duì)關(guān)系之間存在對(duì)稱性、傳遞性等特點(diǎn)，我們對(duì)分類器的結(jié)果進(jìn)行全局優(yōu)化以減少上述的誤差。同指關(guān)系是相互的，對(duì)于一個(gè)事件對(duì)(e1，e2)，若e1與e2具有同指關(guān)系，則e2與e1也具有同指關(guān)系；同指關(guān)系是傳遞的，若已知r(e1,e2)且r(e2,e3)，則可以推出e1、e3間也是否具有同指關(guān)系。圖5給出了本系統(tǒng)使用的全局優(yōu)化算法。

3　實(shí)驗(yàn)結(jié)果與分析

3.1　實(shí)驗(yàn)設(shè)置

本文使用了TAC KBP2015[15]、 ACE2005[16]這兩個(gè)事件同指英文語(yǔ)料庫(kù)作為實(shí)驗(yàn)語(yǔ)料。其中ACE2005包含廣播新聞、網(wǎng)頁(yè)博客等類型，共計(jì)633篇文本，由于ACE2005只針對(duì)特定類型的事件，語(yǔ)料中包含的事件實(shí)例較少，因此語(yǔ)料規(guī)模相對(duì)較小。與ACE2005相比，TAC KBP2015共計(jì)包含新聞和論壇等類型360篇文本，極大地?cái)U(kuò)充了事件實(shí)例，同時(shí)在觸發(fā)詞和類型的定義上也更加豐富。

圖5　全局優(yōu)化算法

本文使用Conll2012-scorer-8.0評(píng)價(jià)軟件，按照MUC[17]，B3[17]，CEAF-E[18]，BLANK[19]評(píng)價(jià)標(biāo)準(zhǔn)分別計(jì)算準(zhǔn)確率(Precision)、召回率(Recall)、綜合指標(biāo)(F1)。最后計(jì)算四個(gè)綜合指標(biāo)的均值作為系統(tǒng)的整體性能。

3.2　實(shí)驗(yàn)結(jié)果及分析

本文使用以下幾種實(shí)驗(yàn)設(shè)置分別在KPB2015和ACE2005兩個(gè)語(yǔ)料庫(kù)上展開(kāi)實(shí)驗(yàn)。

(1) 實(shí)驗(yàn)1： 僅使用最小事件自身描述特征集，訓(xùn)練過(guò)程中使用負(fù)例下采樣將正負(fù)例比例調(diào)至1∶5；

(2) 實(shí)驗(yàn)2： 在實(shí)驗(yàn)1配置之上引入事件對(duì)間關(guān)系特征；

(3) 實(shí)驗(yàn)3： 在實(shí)驗(yàn)2配置之上引入類型和時(shí)態(tài)兩個(gè)過(guò)濾策略；

(4) 實(shí)驗(yàn)4： 在實(shí)驗(yàn)3配置之上引入全局優(yōu)化后處理。

表1給出上述四個(gè)實(shí)驗(yàn)的結(jié)果，以及KBP2015事件同指評(píng)測(cè)任務(wù)[20]最終給出的評(píng)測(cè)結(jié)果，其中Team5[21]在該評(píng)測(cè)任務(wù)上取得了最佳的結(jié)果，baseline為該評(píng)測(cè)官方給出的基準(zhǔn)系統(tǒng)。

表1　KBP2015上的實(shí)驗(yàn)結(jié)果

從表1中我們可以看到：

(1) 對(duì)比實(shí)驗(yàn)1和實(shí)驗(yàn)2，事件對(duì)間關(guān)系特征的引入在MUC、B3、CEAF-E和BLANK評(píng)測(cè)策略上均有一定幅度的提升，最終平均F1值的提升達(dá)到了約21%；

(2) 對(duì)比實(shí)驗(yàn)2和實(shí)驗(yàn)3，引入的過(guò)濾策略大大降低了正負(fù)例比例，提升了模型的性能；

(3) 對(duì)比實(shí)驗(yàn)3和實(shí)驗(yàn)4，全局優(yōu)化能進(jìn)一步提升系統(tǒng)的性能，最終在標(biāo)準(zhǔn)事件集上事件同指的性能可以達(dá)到93.35%；

(4) 對(duì)比KBP2015比賽的最好系統(tǒng)和官方公布的baseline系統(tǒng)的性能，對(duì)事件對(duì)的過(guò)濾，以及基于事件簇的全局優(yōu)化工作使得我們的系統(tǒng)表現(xiàn)更為出色。

表2給出了在ACE2005語(yǔ)料上的相應(yīng)實(shí)驗(yàn)結(jié)果，同時(shí)也給出了目前在ACE2005語(yǔ)料上事件同指研究取得的最佳性能。我們發(fā)現(xiàn)，與KPB2015語(yǔ)料上的結(jié)果類似，事件間關(guān)系特征的引入、事件配對(duì)時(shí)采用的過(guò)濾策略，以及后續(xù)基于事件簇的全局優(yōu)化算法均能提升事件同指消解的性能。與目前該語(yǔ)料集上取得的最佳性能相比，我們的系統(tǒng)約有10%的優(yōu)勢(shì)。

表2　ACE2005語(yǔ)料上的實(shí)驗(yàn)結(jié)果

對(duì)比兩個(gè)語(yǔ)料上系統(tǒng)性能的提升情況，我們發(fā)現(xiàn)：

(1) 在兩個(gè)語(yǔ)料上，事件間關(guān)系特征和全局優(yōu)化的后處理對(duì)性能提升的貢獻(xiàn)度相當(dāng)，平均F1值的提升分別為20%和3%左右；

(2) 過(guò)濾策略的引入在KPB2015語(yǔ)料上產(chǎn)生的性能影響更為明顯。這主要是由于兩個(gè)語(yǔ)料對(duì)事件同指定義的嚴(yán)格度有區(qū)別[22]。KPB2015語(yǔ)料表明，直觀上兩個(gè)事件可以對(duì)應(yīng)于同一真實(shí)事件，則這兩個(gè)事件是同指關(guān)系；而ACE2005語(yǔ)料則認(rèn)為，一對(duì)事件中，若某個(gè)論元對(duì)間不存在同指關(guān)系，則這對(duì)事件也不同指。本文給出的事件同指消解平臺(tái)能最大化地兼容不同的事件定義方案，在同指消解的過(guò)程中始終未考慮事件論元問(wèn)題，提出的過(guò)濾策略也較為寬泛，這導(dǎo)致KPB2015語(yǔ)料上的過(guò)濾效果明顯好于ACE2005語(yǔ)料，從而導(dǎo)致了性能提升上的差異。

此外，需要強(qiáng)調(diào)的是，本文給出的事件同指消解平臺(tái)在KBP2015和ACE2005上運(yùn)行不需要進(jìn)行任何代碼級(jí)的更改，這也驗(yàn)證了我們提出的最小事件自身描述融合基于外部資源的事件間關(guān)系描述策略，在不同語(yǔ)料適應(yīng)性方面的有效性。

4　總結(jié)

本文主要針對(duì)事件同指消解展開(kāi)，提出了一個(gè)面向多語(yǔ)料庫(kù)的通用事件同指消解框架，并在這一框架下探討了三方面的問(wèn)題： (1)引入通用的過(guò)濾策略降低數(shù)據(jù)不均衡的影響；(2)兼顧不同的事件標(biāo)注策略，采用最小事件描述和事件間關(guān)系描述相結(jié)合的特征表示方法；(3)引入全局優(yōu)化的后處理。

盡管本文提出的方法在多個(gè)公共語(yǔ)料上均有一定的提升，但該方法的性能還是受限于事件抽取的性能，未來(lái)我們考慮設(shè)計(jì)一個(gè)端到端的事件同指消解方案。另外，該方法沒(méi)有完全利用事件的部分信息，比如事件的時(shí)間、地點(diǎn)論元等，利用好這一部分信息也能提升事件同指消解的性能。

[1]Ahn D. The stages of event extraction[C]//Proceedings of the Workshop of the ACL on Annotating and Reasoning about Time and Events, 2006: 1-8.

[2]Florian R, Hassan H, Ittycheriah A, et al. A statistical model for multilingual entity detection and tracking[C]//Proceedings of HLT/NAACL-04, 2004.

[3]Chen B, Su J, Sinno Jialin Pan, et al. A unified event coreference resolution by integrating multiple resolvers[C]//Proceedings of the 5th International Joint Conference on Natural Language Processing, 2011: 102-110.

[4]Lee H, Recasens M, Chang A, et al. Joint entity and event coreference resolution across documents[C]//Proceedings of Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2012. Pages 489-500.

[5]Liu Zhengzhong, Araki J, Hovy E, et al. Supervised within-document event coreference using information propagation[C]//Proceedings of the Ninth International Conference on Language Resources and Evaluation, 2014: pages 4539-4544.

[6]Teng Jiayue, Li Peifeng, Zhu Qiaoming. Chinese event co-reference resolution based on trigger semantics and combined features. Workshp on Chinese Lexical Semantics 2016, 2015: 426-433.

[7]Zeng Daojian, Liu Kang, Lai Siwei, et al. Relation classification via convolutional deep neural network[C]//Proceedings of the Association for Computational Linguistics.In COLING, 2014: 2335-2344.

[8]Krause S, Xu Feiyu, Uszkoreit H, et al. Event linking with sentential features from convolutional neural networks[C]//Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning (CoNLL), 2016: pages 239-249.

[9]Cicero Nogueira dos Santos, Xiang B, Zhou Bowen. Classifying relations by ranking with convolutional neural networks[C]//Proceedings of the Association for Computational Linguistic.In ACL, 2015: 626-634.

[10]Ding Siyuan, Hong Yu, Zhu Shanshan, et al. Combining event-level and cross-event semantic information for event-oriented relation classification by SCNN[C]//Proceedings of the China National Conference on Chinese Computational Linguistics, 2016: 216-224.

[11]Do Quang Xuan, Chan Yee Seng, Roth Dan. Minimally supervised event causality identification[C]//Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing,2011: 294-303.

[12]Bejan C A, Matthew Titsworth, Andrew Hickl, et al. Nonparametric bayesian models for unsupervised event coreference resolution[C]//Proceedings of the Advances in Neural Information Processing Systems 23 (NIPS), 2009: 73-81.

[13]Bejan C, Sanda Harabagiu. Unsupervised event coreference resolution with rich linguistic features[C]//Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, 2010: 1412-1422.

[14]Bejan C, Sanda Harabagiu. Unsupervised event coreference resolution. Computational Linguistics,2014, 40(2):311-347.

[15]Joe E, Jeremy G, Dana F, et al. Overview of Linguistic Resources for the TAC KBP, 2015.

[16]LDC. ACE(Automatic Content Extraction ) English Annotation Guidelines for Events. Linguistic Data Consortium. Version 5.4.3,2005.

[17]Amit B, Breck B. Algotithms for scoring coreference chains[C]//Proceedings of LREC,1998: 563-566.

[18]Luo Xiaoqiang. On coreference resolution performance metrics[C]//Proceedings of HLT-EMNLP, 2005: 25-32.

[19]Marta R, Eduard H. BLANC: Implementing the rand index for coreference evaluation. Natural Language Engineering, 2011, 17(4):485-510.

[20]Teruko M, Liu Zhengzhong, Eduard Hovy. Overview of TAC-KBP 2015 Event Nugget Track, 2015.

[21]Sean M, Michael M, Marc T, Amy Book, Maxim Gorelkin, Kevin Crosby, Mary Brunson[C]//Proceedings of the Populating a Knowledge Base with Information about Events, 2015.

[22]Lu Jing, Deepak V, Vibhav G, et al. Joint inference for event coreference resolution[C]//Proceedings of the International Conference on Computational Linguistics, 2016: 3264-3275.