喬勇鵬 于亞新 劉樹越 王子騰 夏子芳 喬佳琪

（東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 沈陽 110169）

（醫(yī)學(xué)影像智能計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室（東北大學(xué)） 沈陽 110169）（1901770@stu.neu.edu.cn）

目前為了構(gòu)建大型結(jié)構(gòu)化的知識圖譜，大量研究致力于從無結(jié)構(gòu)化文本中抽取出實(shí)體關(guān)系三元組，這樣的三元組通常由一對實(shí)體和實(shí)體之間的語義關(guān)系組成[1]，如〈China, capital, Beijing〉，表示“中國的首都是北京”.迄今為止，現(xiàn)有模型主要致力于實(shí)現(xiàn)一對實(shí)體間語義關(guān)系識別的關(guān)系抽取或關(guān)系抽取任務(wù).Zeng等人[2]和Xu等人[3]提出在識別出實(shí)體的基礎(chǔ)上進(jìn)行關(guān)系抽取，但該方法忽略了對實(shí)體抽取的研究.為了對文本中的實(shí)體和相應(yīng)關(guān)系實(shí)現(xiàn)同時(shí)抽取，Chan等人[4]提出了一種流水線處理方法，首先對無結(jié)構(gòu)化文本進(jìn)行命名實(shí)體識別，而后在實(shí)體被識別的基礎(chǔ)上再進(jìn)行關(guān)系抽取，由于這類方法以命名實(shí)體識別和關(guān)系抽取的先后順序進(jìn)行，因此忽略了這2個(gè)子任務(wù)間的關(guān)聯(lián).Li等人[5]和Miwa等人[6]考慮到上述子任務(wù)之間存在相關(guān)性，提出預(yù)先設(shè)計(jì)并篩選有利于模型訓(xùn)練的特征，實(shí)現(xiàn)將2個(gè)子任務(wù)聯(lián)系在一起的目標(biāo)，但這2個(gè)子任務(wù)嚴(yán)重依賴現(xiàn)有自然語言處理工具和復(fù)雜特征工程.隨著深度學(xué)習(xí)技術(shù)[7]在一些自然語言處理任務(wù)上的成功應(yīng)用，實(shí)體關(guān)系抽取也漸漸與深度學(xué)習(xí)相結(jié)合.Xu等人[3]將循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)用于關(guān)系抽??；Zhang等人[8-9]將關(guān)系抽取任務(wù)視為一種端到端表格填充問題；Zheng等人[10]則提出一種以循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的序列標(biāo)注模型并將其應(yīng)用到實(shí)體關(guān)系聯(lián)合抽取中.

實(shí)體關(guān)系抽取在近些年雖然得到長足發(fā)展，但是當(dāng)前大量研究忽略了句中三元組存在很多關(guān)系重疊的現(xiàn)象，在這種情況下，現(xiàn)階段大量以深度學(xué)習(xí)為基礎(chǔ)的模型和以傳統(tǒng)特征工程為基礎(chǔ)的實(shí)體關(guān)系抽取模型，并不能完全抽取到目標(biāo)文本所含的全部實(shí)體關(guān)系三元組.Zeng等人[11]根據(jù)句中實(shí)體關(guān)系三元組的重疊程度，將關(guān)系重疊大致分為3類，即無重疊（normal）、實(shí)體對重疊（entity pair overlap，EPO）以及單一實(shí)體重疊（single entity overlap，SEO）.圖1 給出了3類實(shí)體關(guān)系重疊樣例，其中無重疊類型表示句中含有的三元組中沒有重復(fù)出現(xiàn)的實(shí)體；實(shí)體對重疊類型表示句中包含1個(gè)或多個(gè)重復(fù)出現(xiàn)的實(shí)體對，即同一實(shí)體對之間存在著多種關(guān)系；單一實(shí)體重疊表示句子中有部分三元組包含同一實(shí)體，不同于實(shí)體對重疊.當(dāng)前研究的模型大都致力于解決無關(guān)系重疊的文本[10]，由于這些模型建立在“句中每個(gè)詞至多只有一個(gè)標(biāo)簽”這一假設(shè)之上，導(dǎo)致原文本序列中每個(gè)詞在關(guān)系抽取時(shí)最多只能出現(xiàn)在一個(gè)三元組中，因此這些模型在處理含有關(guān)系重疊的文本時(shí)通常召回率比較低.例如圖1中“單一實(shí)體重疊”樣例存在2個(gè)三元組，即〈Barack Obama，presidentOf，America〉和〈Barack Obama，liveIn，White House〉 ， 其 中 〈 Barack Obama，liveIn，White House〉表示“巴拉克·奧巴馬居住于白宮”， 〈Barack Obama，presidentOf，America〉表示“巴拉克·奧巴馬是美國的總統(tǒng)”.實(shí)體“Barack Obama”出現(xiàn)在上述2個(gè)三元組中，但目前大多數(shù)實(shí)體抽取模型只允許文本中的詞在抽取三元組時(shí)最多出現(xiàn)一次，所以該類模型只能抽取到其中一個(gè)實(shí)體關(guān)系三元組，造成實(shí)體關(guān)系三元組丟失的問題.

Fig.1 Types of entity relationship overlapping圖1 實(shí)體關(guān)系重疊類型

抽取大量含有重疊實(shí)體關(guān)系語句的方法，其技術(shù)難點(diǎn)在于實(shí)體分布密度高以及實(shí)體關(guān)系交叉互聯(lián)，主要表現(xiàn)為單個(gè)句子包含多個(gè)實(shí)體，實(shí)體間存在多種關(guān)系，同一實(shí)體會(huì)因交叉出現(xiàn)于1個(gè)或多個(gè)三元組內(nèi)，因此，抽取模型需要更為關(guān)注局部特征和非局部特征的捕捉和融合.Peng等人[12]通過自然語言工具解析文本以構(gòu)建原語句中的詞間依賴關(guān)系圖，以便根據(jù)詞與詞之間的不同依賴關(guān)系賦予不同權(quán)重進(jìn)行特征融合，其中詞間關(guān)系主要是指通過工具解析生成的句中單詞之間的依存關(guān)系，依存關(guān)系表達(dá)了句中各成分之間的語義關(guān)系，目標(biāo)語句中的依存關(guān)系構(gòu)成一棵句法樹，樹的根節(jié)點(diǎn)通常是句子的核心謂詞，用來表達(dá)句子的核心內(nèi)容.Sahu等人[13]在文獻(xiàn)[12]研究基礎(chǔ)上通過文本中存在的共指關(guān)系進(jìn)一步捕捉詞與詞的依賴關(guān)系.其中，共指關(guān)系包含實(shí)體（entity）和指稱（mention）這 2 個(gè)概念，指稱是實(shí)體在自然語言文本中存在的別名或者另一種指代形式.例如，實(shí)體“奧巴馬”存在“美國總統(tǒng)”“第44任美國總統(tǒng)”“他”等指稱，如果在文本或句子中存在上述指稱并指代同一個(gè)實(shí)體“奧巴馬”，則它們之間存在共指關(guān)系.Dai等人[14]從文本序列先后順序角度出發(fā)，通過位置注意力機(jī)制捕捉詞與詞之間的相對位置關(guān)系以實(shí)現(xiàn)特征融合.不同于文獻(xiàn)[12-14]模型對不同依賴關(guān)系的相應(yīng)賦值操作，本文提出了基于圖卷積增強(qiáng)多路解碼的實(shí)體關(guān)系聯(lián)合抽取模型 (graph convolution-enhanced multi-channel decoding joint entity and relation extraction model, GMCD-JERE)，其特征融合是基于雙線性變換計(jì)算句中詞之間的依賴權(quán)重，并通過圖卷積網(wǎng)絡(luò)的不斷迭代進(jìn)行特征融合.主流實(shí)體關(guān)系抽取模型中使用長短期記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory network, LSTM）， 本 文 引 入 LSTM編碼文本序列的上下文特征，同時(shí)在解碼器中融入標(biāo)注框架[15]，定位實(shí)體起始、結(jié)束位置.

本文的主要工作及貢獻(xiàn)為：

1）提出圖卷積神經(jīng)網(wǎng)絡(luò)聚合詞間依賴信息.當(dāng)前基于編碼器?解碼器的聯(lián)合抽取模型并未充分考慮句中詞間的依賴關(guān)系，本文基于語句上下文[16]、依存句法[17]等關(guān)系，借助圖卷積神經(jīng)網(wǎng)絡(luò)聚合句中具有依賴關(guān)系的詞之間的特征信息，提高關(guān)系抽取的準(zhǔn)確性.

2）提出多路解碼實(shí)體關(guān)系三元組機(jī)制.針對語句因多個(gè)三元組共享同一實(shí)體而產(chǎn)生關(guān)系重疊的現(xiàn)象，同時(shí)為解決傳統(tǒng)解碼器解碼三元組序列過長造成的誤差累積、傳播的問題，本文改進(jìn)為多路生成含有同一實(shí)體的多個(gè)三元組，有效解決了關(guān)系重疊的問題，提高了模型對重疊實(shí)體關(guān)系的抽取能力，提升了模型的召回率.

1 相關(guān)工作

1.1 實(shí)體關(guān)系抽取相關(guān)技術(shù)研究

從實(shí)體關(guān)系抽取所依賴的底層原理來看，實(shí)體關(guān)系抽取從基于統(tǒng)計(jì)學(xué)方法演變到基于深度學(xué)習(xí)模型.現(xiàn)有的實(shí)體關(guān)系抽取研究大多致力于顯式關(guān)系抽取，從顯式關(guān)系抽取所依賴的技術(shù)上來看，方法可以分為2類：基于特征工程的方法和基于機(jī)器學(xué)習(xí)的方法.

1）基于特征工程的實(shí)體關(guān)系抽取方法

早期的實(shí)體關(guān)系抽取模型大多基于特征工程和傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)方法，其中以構(gòu)建有效核函數(shù)[18-19]為基礎(chǔ)的支持向量機(jī)模型較為成熟，但是縱觀這一類型的方法雖然理論基礎(chǔ)較為完善，但是前期需要進(jìn)行大量的特征工程以抽取有效的特征集，如詞性、最短依賴路徑，甚至是設(shè)計(jì)具體的核函數(shù)，具體表現(xiàn)為實(shí)際的抽取過程中需要依賴大量的人力去篩選適合當(dāng)前模型學(xué)習(xí)的特征，可以說人工特征抽取的質(zhì)量將決定模型性能的上限.

2）基于機(jī)器學(xué)習(xí)的實(shí)體關(guān)系抽取方法

由于傳統(tǒng)特征工程實(shí)體關(guān)系抽取模型嚴(yán)重依賴于人工篩選大量適合相應(yīng)模型訓(xùn)練的特征，所以為減少對人工和自然語言處理工具的依賴，一些基于神經(jīng)網(wǎng)絡(luò)的模型逐漸成為研究主流方向，其中包括常見的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò).

對于已經(jīng)標(biāo)注出實(shí)體的文本語句，Hendrickx等人[20]將關(guān)系抽取視為關(guān)系抽取任務(wù)，其中Zeng等人[2]將卷積神經(jīng)網(wǎng)絡(luò)引入關(guān)系抽取任務(wù)，Xu等人[21]通過卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到最短依存路徑間的關(guān)系特征.盡管在關(guān)系抽取方面已有大量研究成果，但這些模型僅僅建立在實(shí)體已經(jīng)被識別的基礎(chǔ)上，并不能從無任何標(biāo)注的文本中抽取完整的實(shí)體關(guān)系三元組.

1.2 實(shí)體關(guān)系抽取相關(guān)流程研究

從實(shí)體關(guān)系抽取具體流程來看，實(shí)體關(guān)系抽取經(jīng)歷了從傳統(tǒng)的流水線模型到端到端聯(lián)合抽取模型的演變.傳統(tǒng)模型將實(shí)體關(guān)系抽取這一任務(wù)分為命名實(shí)體識別和關(guān)系抽取兩個(gè)子任務(wù)，以流水線方式先后進(jìn)行.其中命名實(shí)體識別是指識別文本中具有特定意義的實(shí)體，主要包括人名、地名、機(jī)構(gòu)名、專有名詞等；關(guān)系抽取則是探究句中相關(guān)實(shí)體之間的關(guān)系，但該類方法容易造成誤差在2個(gè)子任務(wù)之間累計(jì)和傳播，影響抽取的準(zhǔn)確率.由此，端到端實(shí)體關(guān)系聯(lián)合抽取的方法應(yīng)運(yùn)而生.

1）基于流水線的實(shí)體關(guān)系抽取

命名實(shí)體識別[22-23]和關(guān)系抽取[24-25]是信息抽取中的2個(gè)基本任務(wù)[26-27]，二者的目的都是為了從無結(jié)構(gòu)化的文本中抽取有結(jié)構(gòu)的信息.在聯(lián)合抽取方法尚未成熟之前，Chan等人[4]基于流水線的方式識別出輸入語句中所有實(shí)體，并在此基礎(chǔ)上組合其中任意2個(gè)實(shí)體并進(jìn)行關(guān)系抽取.除此之外，大部分現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的方法也是以流水線方式實(shí)現(xiàn)，其中包括全監(jiān)督關(guān)系抽取[20]和遠(yuǎn)程關(guān)系抽取[28].雖然Cai等人[29]對Christopoulou等人[30]提出的基于神經(jīng)網(wǎng)絡(luò)的方法[31]不斷地更新優(yōu)化，但是不可否認(rèn)的是，命名實(shí)體識別和關(guān)系抽取以流水線先后順序的方式展開所造成的誤差累積和傳播不可避免地降低了此類實(shí)體關(guān)系抽取模型的準(zhǔn)確率和召回率.

2）基于聯(lián)合學(xué)習(xí)的實(shí)體關(guān)系抽取

由于聯(lián)合抽取模型將命名實(shí)體識別和關(guān)系抽取2個(gè)子任務(wù)緊密結(jié)合降低了流水線方法中誤差傳播造成的影響，近些年研究人員大都致力于聯(lián)合抽取模型的研究.

傳統(tǒng)的聯(lián)合抽取模型[32]主要以特征工程[33]為主，這類方法[34]嚴(yán)重依賴人工去篩選適合模型訓(xùn)練的特征.為了減少人工操作，研究人員將重心轉(zhuǎn)移到以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的模型上來且這些深度學(xué)習(xí)模型展現(xiàn)出不俗的性能，但是大量現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型[35]是基于參數(shù)共享進(jìn)行聯(lián)合學(xué)習(xí)抽取實(shí)體和相應(yīng)的關(guān)系，并沒有實(shí)現(xiàn)真正的聯(lián)合解碼，也就是說在抽取實(shí)體和關(guān)系的過程中以流水線方式先進(jìn)行實(shí)體識別而后對實(shí)體進(jìn)行關(guān)系抽取，這樣分離的解碼過程可以看作是2個(gè)單獨(dú)的訓(xùn)練目標(biāo)，在命名實(shí)體識別和關(guān)系抽取性能指標(biāo)上表現(xiàn)較好，但在三元組這一整體上并不能得到較高的準(zhǔn)確率和召回率.與這些工作不同是，Zheng等人[10]通過引入統(tǒng)一的標(biāo)注框架將實(shí)體關(guān)系三元組抽取轉(zhuǎn)化為端到端序列標(biāo)注問題，從而在不依賴命名實(shí)體識別和關(guān)系抽取的基礎(chǔ)上實(shí)現(xiàn)聯(lián)合解碼同時(shí)抽取實(shí)體和關(guān)系.該方法將實(shí)體和關(guān)系的信息集成到統(tǒng)一的標(biāo)注框架中，可以直接在實(shí)體關(guān)系三元組層面進(jìn)行建模.

雖然此類聯(lián)合解碼或者非聯(lián)合解碼模型得到了大量關(guān)注和研究，但是當(dāng)前大多數(shù)工作忽略了重疊關(guān)系三元組的問題，Zeng等人[11]引入了3種重疊三元組的模式，試圖通過帶有復(fù)制機(jī)制的序列到序列模型來解決忽略了重疊關(guān)系三元組的問題，F(xiàn)u等人[36]也對該問題進(jìn)行了研究，提出了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的方法.盡管文獻(xiàn)[11, 36]這2種方法都取得了初步成功，但是他們?nèi)匀粚㈥P(guān)系視為實(shí)體對的離散標(biāo)簽，使得模型很難學(xué)習(xí)具有重疊關(guān)系的實(shí)體三元組.

1.3 實(shí)體關(guān)系抽取研究進(jìn)展

Miwa等人[6]在對原序列語句進(jìn)行句法分析構(gòu)建句法依賴樹的基礎(chǔ)上提出樹形雙向長短期記憶網(wǎng)絡(luò)（tree-structured LSTM, T-LSTM）來建模句中詞與詞的依賴關(guān)系，模型學(xué)習(xí)到的特征被序列化實(shí)體標(biāo)注器和最短依存路徑關(guān)系抽取器共享作為輸入，但如果要將共享參數(shù)引入實(shí)體關(guān)系聯(lián)合抽取模型中，則命名實(shí)體識別和關(guān)系抽取需以先后順序依次進(jìn)行，即以流水線方式抽取，而流水線方式抽取造成誤差累積和傳播會(huì)降低模型抽取的準(zhǔn)確率和召回率.

Zheng等人[10]針對文獻(xiàn)[6]的問題，為避免以命名實(shí)體識別–關(guān)系抽取流水線方式進(jìn)行抽取，將關(guān)系抽取視為命名實(shí)體識別，通常命名實(shí)體識別以序列標(biāo)注方式處理.命名實(shí)體識別中序列標(biāo)注主要包含人（person, PER）、地點(diǎn)（location, LOC）、組織（organization，ORG）這3類標(biāo)簽，而實(shí)體通常由1個(gè)或多個(gè)單詞組成，在實(shí)際抽取過程中，標(biāo)簽會(huì)加上相應(yīng)的前綴B（begin），I（inside），E（end）來表示單詞在實(shí)體中的位置，例如B-LOC，I-LOC，E-LOC.因此在將關(guān)系抽取視為命名實(shí)體識別后，相應(yīng)地，實(shí)體類標(biāo)簽變?yōu)殛P(guān)系類標(biāo)簽，例如 B-BI，I-BI，E-BI，其中 BI表示關(guān)系“出生于”(born in）.Zheng 等人[10]提出的模型忽視了實(shí)體關(guān)系重疊的情況，且實(shí)驗(yàn)中所使用版本的NYT數(shù)據(jù)集關(guān)系重疊類型數(shù)據(jù)量較小，因此模型性能有所提升.相比之下，F(xiàn)u等人[36]提出GraphRel模型，將原序列語句中每個(gè)詞看作1個(gè)節(jié)點(diǎn)，則該句子視為1個(gè)圖，通過2階段圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)間的特征融合，推斷節(jié)點(diǎn)之間的關(guān)系，而該模型并不能較好地解決圖1所示實(shí)體對重疊類型的關(guān)系重疊問題.

Zeng等人[11]為解決關(guān)系重疊問題，系統(tǒng)性地提出了圖1所示的3種關(guān)系重疊類型，在模型中基于BiLSTM（bi-directional LSTM）對原序列語句進(jìn)行編碼，利用編碼器最后的隱層狀態(tài)初始化解碼器起始狀態(tài).如圖2所示，CopyRE以LSTM為基礎(chǔ)的解碼器在動(dòng)態(tài)解碼生成實(shí)體關(guān)系三元組時(shí)，先解碼生成關(guān)系，而后從句中復(fù)制2個(gè)單詞作為該關(guān)系的頭實(shí)體、尾實(shí)體.但該模型解碼有一定的先后順序關(guān)系，后生成的實(shí)體關(guān)系三元組單方向依賴于先生成的實(shí)體關(guān)系三元組.根據(jù)Fu等人[36]提出GraphRel模型，將原序列語句中每個(gè)詞看作1個(gè)節(jié)點(diǎn)，則該句子視為1個(gè)圖，圖上節(jié)點(diǎn)通過2階段圖卷積網(wǎng)絡(luò)進(jìn)行特征融合并推理節(jié)點(diǎn)之間的關(guān)系，從而解決了實(shí)體關(guān)系三元組的生成序列存在單方向依賴性問題.

Fig.2 Comparison of related model techniques圖2 相關(guān)模型技術(shù)對比

Zeng等人[37]通過實(shí)驗(yàn)分析CopyRE模型并提出2個(gè)問題：1）CopyRE對于實(shí)體的抽取是不穩(wěn)定的，需要借助掩碼機(jī)制遮蓋已經(jīng)生成的頭實(shí)體，防止在抽取尾實(shí)體時(shí)又抽取到頭實(shí)體；2）CopyRE模型僅能抽取出由多個(gè)單詞組成的實(shí)體的最后1個(gè)單詞.因此，Zeng等人[37]在CopyRE模型基礎(chǔ)上提出CopyMTL模型，增加實(shí)體標(biāo)注進(jìn)行多任務(wù)學(xué)習(xí)，一定程度上解決上述2個(gè)問題.

利用圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolution neural network，GCN）來建模文本中各成分之間的依賴關(guān)系越來越多地被應(yīng)用到自然語言處理中，我們將GCN用于促進(jìn)跨度較大的文本特征融合.Marcheggiani等人[38]將GCN應(yīng)用到詞序列文本上進(jìn)行語義屬性標(biāo)注.Liu等人[39]將GCN用于編碼長文本和文本匹配等任務(wù)，Cetoli等人[40]將循環(huán)神經(jīng)網(wǎng)絡(luò)和GCN結(jié)合進(jìn)行命名實(shí)體識別，Zhang等人[41]和Luan等人[42]則是利用GCN建模詞序列之間的依賴關(guān)系[43]，以此進(jìn)行關(guān)系抽取.

2 變量定義及問題描述

2.1 變量定義

本文中變量定義如表1所示：

Table 1 Variable Definitions for the GMCD-JERE表1 GMCD-JERE模型變量定義

Table 2 Related Information of NYT and WebNLG Datasets表2 NYT和WebNLG數(shù)據(jù)集相關(guān)信息

Table 3 Performance Comparison of the Models表3 模型性能對比 %

2.2 問題描述

1）實(shí)體關(guān)系重疊問題

如圖2 所示，例句“Barack Obama who was the President of America lived in White House located in Washington.”中存在2個(gè)形式為〈關(guān)系，頭實(shí)體，尾實(shí)體〉的三元組，其中〈presidentOf，Barack Obama，America〉表示“巴拉克·奧巴馬是美國總統(tǒng)”，〈liveIn，Barack Obama，White House〉表示“巴拉克·奧巴馬居住在白宮”，而實(shí)體“Barack Obama”出現(xiàn)在上述 2個(gè)三元組中.當(dāng)前模型大都建立在“句中每個(gè)詞最多僅有一個(gè)標(biāo)簽”的假設(shè)之上，如圖2所示，當(dāng)前存在的流水線（pipeline）方式按序進(jìn)行命名實(shí)體識別和關(guān)系抽取2個(gè)過程，當(dāng)前實(shí)體“Barack Obama”和實(shí)體“America”被識別存在關(guān)系“presidentOf ”后即退出后續(xù)關(guān)系抽取過程，因此該類模型在實(shí)際抽取過程中只能抽取出其中一個(gè)三元組，所以存在實(shí)體關(guān)系重疊的文本無法得到有效地抽取，模型召回率也通常較低.CopyRE[11]通過復(fù)制機(jī)制在一定程度上解決關(guān)系重疊問題，但該模型并不能抽取含有多個(gè)詞的實(shí)體.

2）文本序列詞間依賴特征捕捉問題

當(dāng)前主流模型CopyRE[11]和CopyMTL[37]以編碼器?解碼器為基礎(chǔ)，其中編碼器在對原序列語句進(jìn)行編碼后，缺乏對編碼特征進(jìn)行融合以捕捉句級特征并傳進(jìn)解碼器進(jìn)行三元組解碼.如圖2所示，傳統(tǒng)實(shí)體關(guān)系抽取模型利用句法依存分析工具解構(gòu)文本中詞之間的語義關(guān)系，賦予其相應(yīng)權(quán)重進(jìn)行加權(quán)特征統(tǒng)合.而CopyMTL等模型主要依賴自注意力機(jī)制，對編碼后的序列基于注意力分?jǐn)?shù)加權(quán)作為句級特征，但自注意力機(jī)制存在一定局限性，主要體現(xiàn)在未充分考慮句中詞與詞之間的相互依賴關(guān)系.

3）長序列解碼下誤差累積、傳播問題

從圖2顯示的結(jié)構(gòu)來看，CopyRE和CopyMTL是基于Seq2Seq的編碼器?解碼器模型，解碼器解碼順序?yàn)椤慈M1，三元組2，…，三元組n〉，其中每個(gè)三元組包含關(guān)系、頭實(shí)體和尾實(shí)體這3個(gè)組成部分，在存在實(shí)體關(guān)系重疊的情況下，通常存在3個(gè)及以上的三元組，而在句中實(shí)體較多的情況下，三元組的個(gè)數(shù)能達(dá)到5個(gè)以上，而且當(dāng)前主流模型CopyRE和CopyMTL解碼器每次解碼僅能生成三元組中的一個(gè)元素，造成解碼序列過長而帶來誤差累積和傳播，導(dǎo)致模型抽取精確率較低.

3 GMCD-JERE模型

GMCD-JERE模型主要由以LSTM為基礎(chǔ)的編碼器和解碼器構(gòu)成，如圖3所示，其中LSTM作為編碼器學(xué)習(xí)文本序列特征，解碼器結(jié)合標(biāo)注框架定位實(shí)體首、尾位置，區(qū)別于傳統(tǒng)解碼器〈三元組1，三元組2，…，三元組n〉這樣的三元組順序解碼機(jī)制，本文采用多路解碼實(shí)體關(guān)系三元組機(jī)制，在解碼出1個(gè)或多個(gè)存在于語句中的關(guān)系后，在每一種關(guān)系下分別抽取符合當(dāng)前關(guān)系的頭實(shí)體和尾實(shí)體，以組合成實(shí)體關(guān)系三元組.

3.1 模型的編碼層

1）基于LSTM的雙向編碼

本文采用BiLSTM對文本進(jìn)行編碼，如圖3所示，在編碼器中輸入的語句，基于BiLSTM進(jìn)行編碼從而得到語句的上下文特征為如式（1）~（3）所示：

其中ei表 示第i個(gè)詞的嵌入向量，維度為 1 ×d，為第i個(gè)詞的雙向特征向量，維度為 1 ×2d.式（3）由式（1）（2）中LSTM前向、后向編碼輸出拼接而得.

2）基于GCN的詞間依賴特征融合

以注意力機(jī)制為核心的神經(jīng)網(wǎng)絡(luò)框架成為近些年來自然語言處理領(lǐng)域的研究熱點(diǎn)，傳統(tǒng)注意力機(jī)制通過學(xué)習(xí)一組權(quán)重向量來表示句中各詞的重要性，以此來捕捉句中不同成分、句法的特征，但無法推測句中各個(gè)詞之間的相互關(guān)系，因此本節(jié)引入基于具有關(guān)系推理能力的GCN.

其中Wleft，Wright維度均為d×2d，是2個(gè)全連接前向網(wǎng)絡(luò)的權(quán)重參數(shù)，Wb維度為d×d，是雙線性變換的權(quán)重參數(shù).

我們將序列長度為n的語句視為有n個(gè)節(jié)點(diǎn)的圖，M為圖中每個(gè)節(jié)點(diǎn)之間的依賴權(quán)重矩陣，如式（5）所示：

其中Mij表示第i個(gè)詞與第j個(gè)詞之間依賴權(quán)重.

Fig.3 Overall architecture diagram of GMCD-JERE model圖3 GMCD-JERE模型整體架構(gòu)圖

根據(jù)式（5）得到維度為n×n的鄰接關(guān)系矩陣M，將第i個(gè)節(jié)點(diǎn)在第l?1層的隱層向量作為輸入，通過式（6）的圖卷積操作更新得到該節(jié)點(diǎn)在第l層的隱層狀態(tài)向量.

其中Mij是由式（5）計(jì)算的圖中第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)之間的依賴權(quán)重，W l和bl分別是GCN的參數(shù)矩陣和偏置向量，當(dāng)l=0時(shí)，表示進(jìn)行圖卷積操作前第i個(gè)節(jié)點(diǎn)的初始隱層向量.圖卷積網(wǎng)絡(luò)主體結(jié)構(gòu)如圖3左側(cè)所示，hG為經(jīng)過圖卷積操作后的上下文特征向量.

3.2 模型的解碼層

解碼器以LSTM為基礎(chǔ)，初始輸入為hstart，初始化為0.下面將闡述本文模型在〈關(guān)系，頭實(shí)體，尾實(shí)體〉順序下的抽取過程.

1）關(guān)系抽取

首先識別句中存在的關(guān)系，將編碼器的最終隱狀態(tài)作 為解碼器的初始隱狀態(tài)，與hstart一起輸入到解碼器進(jìn)行第1次解碼，如式（7）所示；接著通過注意力機(jī)制獲得融合了卷積層特征的解碼器輸出o；最后送入關(guān)系預(yù)測層.具體如式（8）～（10）所示.

其中，初始輸入向量h維度為 1 ×d，o(1)維度為 1 ×d，startWrelation維度為 2d×drelation，drelation為關(guān)系集合中關(guān)系的種類數(shù).

2）多路分層解碼實(shí)體三元組機(jī)制

假設(shè)在上一階段中抽取出某個(gè)關(guān)系，其在關(guān)系集合中的索引為 λ，通過關(guān)系嵌入表示為向量hλ，將其和式（7）中的隱狀態(tài)h(1)輸入到LSTM解碼器中，如式（11）所示，通過注意力機(jī)制獲得融合卷積層特征的解碼器輸出，最后將其輸入頭實(shí)體首、尾位置的預(yù)測層，如式（12）~（15）所示.

其中o(2)的維度為 1 ×d，和的維度均為 1 ×2d.

假設(shè)上一步抽取到的頭實(shí)體的首、尾位置分別為i和j，將對應(yīng)位置上的卷積輸出之和與上一階段的隱狀態(tài)輸入到解碼器中，如式（16）所示，其余過程與頭實(shí)體抽取類似，如式（17）~（20）所示.

其中o(3)的維度為 1 ×d，和的維度均為 1 ×2d.

3）損失函數(shù)

本文使用交叉熵?fù)p失函數(shù)在訓(xùn)練過程中最小化頭實(shí)體、尾實(shí)體和對應(yīng)關(guān)系的代價(jià)之和，如式（21）~（23）所示：

其中l(wèi)osshead，losstail，lossrelation分別為頭實(shí)體、尾實(shí)體以及對應(yīng)關(guān)系與數(shù)據(jù)集真實(shí)值之間的交叉熵代價(jià).

4 性能測試與分析

本節(jié)主要在 NYT (New York times)和 WebNLG (Web natural language generation) 這 2 個(gè)公開數(shù)據(jù)集上對所提的GMCD-JERE模型進(jìn)行性能測試，并將其與目前主流模型進(jìn)行實(shí)驗(yàn)對比.

4.1 數(shù)據(jù)集與實(shí)驗(yàn)配置

NYT數(shù)據(jù)集是由遠(yuǎn)程監(jiān)督生成的英文數(shù)據(jù)集，包含118萬條英文語句和24種預(yù)先定義的關(guān)系類型.WebNLG數(shù)據(jù)集最初是由自然語言生成任務(wù)產(chǎn)生的數(shù)據(jù)集，而后由Zeng等人[11]改進(jìn)用于進(jìn)行實(shí)體關(guān)系三元組抽取任務(wù)，該數(shù)據(jù)集包含了246種預(yù)先定義的關(guān)系類型.這2個(gè)數(shù)據(jù)集中的大部分語句通常包含多個(gè)實(shí)體關(guān)系三元組，所以NYT數(shù)據(jù)集和WebNLG數(shù)據(jù)集非常適合用來評價(jià)模型在抽取含有關(guān)系重疊的三元組語句的性能.本文使用的數(shù)據(jù)集來源于Zeng等人[11]開源的版本，對于NYT數(shù)據(jù)集，使用56 196條英文語句來訓(xùn)練、5 000條語句來驗(yàn)證、5 000條語句來測試；對于WebNLG數(shù)據(jù)集，使用其中5 019條語句來訓(xùn)練、500條語句來驗(yàn)證、703條語句來測試.根據(jù)關(guān)系重疊類型，將語句劃分成Normal，EPO，SEO這3種類型，表2展示了這2個(gè)數(shù)據(jù)集的詳細(xì)數(shù)據(jù).

實(shí)驗(yàn)環(huán)境及配置為：服務(wù)器CPU為Intel Xeon E5-1603，顯卡為 Titan Xp，內(nèi)存為 32 GB，硬盤為 1 TB，操作系統(tǒng)為Ubuntu，開發(fā)工具為Pycharm，開發(fā)語言為Python，深度學(xué)習(xí)框架為Pytorch.

4.2 測試指標(biāo)

與主流模型對比中，使用精確率（Precision）、召回率（Recall）和F1 值作為測試指標(biāo)，如式（24）~（26）所示.另外，對于抽取的三元組〈關(guān)系，頭實(shí)體，尾實(shí)體〉，當(dāng)且僅當(dāng)其中每個(gè)元素與數(shù)據(jù)集中的元素相同時(shí)視為正確.

其中TP代表抽取三元組中正確的數(shù)量，F(xiàn)P代表抽取三元組中不正確的數(shù)量，F(xiàn)N代表未抽取出的正確三元組數(shù)量.

4.3 基準(zhǔn)模型相關(guān)技術(shù)對比

選用3種類型共6個(gè)具體模型作為基準(zhǔn)模型來對比驗(yàn)證本文所提出模型的性能，其中包含現(xiàn)有研究中性能較好的CopyMTL模型.基準(zhǔn)模型與本文所提出模型在數(shù)據(jù)集NYT和WebNLG中的整體性能對比結(jié)果如表3所示：

1）CopyRE

Zeng等人[11]基于復(fù)制機(jī)制和Seq2Seq的結(jié)構(gòu)聯(lián)合抽取關(guān)系和實(shí)體.其中Seq2Seq結(jié)構(gòu)將目標(biāo)文本語句作為輸入，經(jīng)一系列處理后輸出實(shí)體關(guān)系三元組序列〈三元組 1, 三元組 2, …, 三元組n〉，從圖4 中可以看出，該模型結(jié)構(gòu)簡單，通過復(fù)制機(jī)制在每次解碼過程中按三元組組成順序先抽取關(guān)系并在該關(guān)系下抽取概率最大的詞作為實(shí)體.但該模型存在2個(gè)缺點(diǎn)：①由于模型采用統(tǒng)一預(yù)測分布，其中頭實(shí)體和尾實(shí)體沒有本質(zhì)上的區(qū)分，抽取尾實(shí)體時(shí)如果不對頭實(shí)體進(jìn)行掩蓋可能會(huì)再次抽取到頭實(shí)體；②只能針對單一詞實(shí)體，對于包含多個(gè)詞的實(shí)體則無法抽取到完整實(shí)體.

2）CopyMTL

CopyMTL模型與CopyRE模型基本一致，主要組成為編碼器和解碼器.編碼器部分使用BiLSTM建模句子上下文信息，解碼器部分結(jié)合復(fù)制機(jī)制生成多對三元組，同時(shí)解決了CopyRE只能抽取單一詞實(shí)體，不能抽取多詞實(shí)體的問題，但解碼序列過長帶來的誤差累積和傳播導(dǎo)致模型不易收斂.

Fig.4 Comparison of baseline model architecture圖4 基準(zhǔn)模型框架對比

3）GraphRel

GraphRel利用圖卷積網(wǎng)絡(luò)來聯(lián)合學(xué)習(xí)命名實(shí)體和實(shí)體間關(guān)系，從圖4中可以看出其主要分為2個(gè)階段：①采用BiLSTM和GCN這2種方法分別進(jìn)行實(shí)體標(biāo)注和關(guān)系推理；②基于階段①的特征融合和關(guān)系推理后進(jìn)行第2輪的實(shí)體標(biāo)注和關(guān)系推理，在階段①的基礎(chǔ)上進(jìn)一步提高模型性能.

4.4 性能測試與分析

如表3所示，從精確率、召回率和F1指標(biāo)上看出GMCD-JERE在NYT和WebNLG數(shù)據(jù)集上的表現(xiàn)優(yōu)于CopyRE模型和GraphRel模型.此外，GMCD-JERE在NYT數(shù)據(jù)集上相較CopyMTLMul模型，各指標(biāo)分別實(shí)現(xiàn)4.3%，5.1%，4.8%的性能提升.

從模型抽取實(shí)體完整性方面看，當(dāng)前CopyRE模型嚴(yán)格按照〈關(guān)系，頭實(shí)體，尾實(shí)體〉先后順序進(jìn)行解碼，每一步僅能抽取1種關(guān)系或1個(gè)實(shí)體.例如在針對圖4例句三元組〈LiveIn，Barack Obama，White House〉的抽取過程中，由于CopyRE模型利用復(fù)制機(jī)制，即每一步解碼僅能選出當(dāng)前序列中概率最大的一個(gè)詞，因此對于頭實(shí)體“Barack Obama”只能抽取其中的“Obama”，對應(yīng)的尾實(shí)體“White House”也同樣如此，所以抽取結(jié)果可能為〈LiveIn，Obama，House〉，所以該模型不能有效處理含有多個(gè)詞的實(shí)體.針對該問題CopyMTL在CopyRE基礎(chǔ)上引入命名實(shí)體任務(wù)進(jìn)行多任務(wù)學(xué)習(xí)，雖然在一定程度上緩解該問題，但由于CopyMTL仍屬于編碼器?解碼器模型，解碼序列過長帶來的誤差累積與傳播會(huì)造成模型抽取精確率的下降.GMCD-JERE模型融合標(biāo)注框架[15]能定位到實(shí)體首、尾位置，有效縮減了解碼序列的長度，一定程度上緩解了誤差累積、傳播的問題，如表3所示，GMCD-JERE在NYT數(shù)據(jù)集上的精確率上較Copy-MTLMul提升4.3%.

對于關(guān)系重疊問題，結(jié)合圖4來看，雖然CopyRE-和CopyMTL在一定程度上解決了該問題，但解碼序列長度會(huì)隨文本中三元組數(shù)量的增加而增加，導(dǎo)致模型抽取精確率隨著解碼序列長度的增加而降低.GraphRel利用圖卷積網(wǎng)絡(luò)來聯(lián)合學(xué)習(xí)命名實(shí)體識別和關(guān)系抽取.如表3所示，GMCD-JERE對NYT數(shù)據(jù)集中含有關(guān)系重疊問題的樣例的抽取較CopyREMul在F1上提升了4.8%.GMCD-JERE模型在解碼實(shí)體關(guān)系三元組過程中，對于原語句序列中詞出現(xiàn)的次數(shù)沒有限制，允許同一實(shí)體出現(xiàn)在不同三元組中.如圖4例句所示，其中包含2個(gè)三元組〈LiveIn，Barack Obama， White House〉 和 〈 LiveIn， Barack Obama，Washington〉，在關(guān)系“LiveIn”下 GMCD-JERE解碼生成頭實(shí)體“Barack Obama”，多路解碼機(jī)制此時(shí)基于關(guān)系和頭實(shí)體解碼生成“White House”和“Washington”這2個(gè)尾實(shí)體，由此在一定程度上解決實(shí)體關(guān)系重疊問題的同時(shí)進(jìn)一步縮短解碼序列長度， GMCDJERE在NYT數(shù)據(jù)集上相較于其他模型各指標(biāo)均有提升.但在WebNLG上性能并非最佳，通過分析發(fā)現(xiàn)，WebNLG數(shù)據(jù)集的訓(xùn)練樣本數(shù)量不到NYT的10%，而模型需要學(xué)習(xí)的參數(shù)過多；另一方面，WebNLG數(shù)據(jù)集中每個(gè)實(shí)體包含的單詞的平均數(shù)量比NYT多，所以GMCD-JERE在該數(shù)據(jù)集上實(shí)體抽取的準(zhǔn)確性比較低，造成模型整體性能不佳.

研究中發(fā)現(xiàn)，CopyRE和CopyMTL模型都是以〈關(guān)系，頭實(shí)體，尾實(shí)體〉的先后順序進(jìn)行三元組抽取，為了探究該類模型為何以這種順序進(jìn)行抽取，同時(shí)為進(jìn)一步驗(yàn)證模型解碼器的性能，對于〈關(guān)系，頭實(shí)體，尾實(shí)體〉這樣的三元組，調(diào)整三元組內(nèi)元素抽取的先后順序，以驗(yàn)證多路解碼實(shí)體關(guān)系三元組機(jī)制的有效性，同時(shí)確定最佳抽取順序.實(shí)驗(yàn)中以H（head entity）表示頭實(shí)體，T（tail entity）表示尾實(shí)體，R（relation）表示這2個(gè)實(shí)體之間關(guān)系，實(shí)驗(yàn)結(jié)果如圖5和圖6所示.

Fig.5 Model performance under different extraction sequences in NYT圖5 NYT不同抽取順序下模型性能

如圖5所示，當(dāng)epoch>5，在RHT和RTH抽取順序下GMCD-JERE開始收斂，精確率、召回率和F1指標(biāo)曲線平穩(wěn)，性能穩(wěn)定；而在 TRH，THR，HRT，HTR抽取順序下，模型性能在epoch=5左右雖然能達(dá)到上述水平，但在epoch>5后各項(xiàng)性能指標(biāo)曲線呈現(xiàn)上下振蕩.從圖5中可以直觀地看出在RHT和RTH的抽取順序下，GMCD-JERE比在其他抽取順序下性能更穩(wěn)定，且精確率、召回率和F1這3項(xiàng)數(shù)據(jù)更優(yōu).同樣如圖6中GMCD-JERE在WebNLG數(shù)據(jù)集上的性能曲線所示，模型同樣在RHT和RTH抽取順序下精確率、召回率和F1值能達(dá)到最高.在WebNLG數(shù)據(jù)集上，模型在epoch>20后，性能變得平穩(wěn)，相較于NYT數(shù)據(jù)集收斂慢，并且根據(jù)圖5和圖6對比可以看出，WebNLG數(shù)據(jù)集下各模型性能遠(yuǎn)低于NYT數(shù)據(jù)集，結(jié)合表2從數(shù)據(jù)集本身來看，原因可能依舊是Web-NLG數(shù)據(jù)集樣本量較少，而NYT數(shù)據(jù)集中Normal，EPO，SEO這3類語句比例約為4∶1∶2，不含實(shí)體關(guān)系重疊樣本與含有實(shí)體關(guān)系重疊數(shù)據(jù)比例則約為4∶3，樣本充足且均勻分布，利于模型訓(xùn)練.

經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)GMCD-JERE模型在以R為優(yōu)先抽取的方式下性能較好，如圖5所示.在RTH和RHT的抽取順序下，當(dāng)epoch>10，模型收斂穩(wěn)定性能較高，其中精確率維持在80%左右，召回率和F1值最高分別達(dá)到73.8%和76.8%，超過當(dāng)前最優(yōu)CopyMTLMul模型，而在TRH，THR，HRT，HTR抽取順序模型收斂性較差，訓(xùn)練后期性能曲線振蕩，抽取效果不佳.結(jié)合圖6中模型在WebNLG數(shù)據(jù)集下的表現(xiàn)，GMCDJERE仍在以R為優(yōu)先抽取的方式下性能最優(yōu)，精確度、召回率和F1值最高實(shí)現(xiàn)43.9%，42.7%，43.3%，而在其他4種抽取順序下精確度、召回率和F1值最高分別為39.3%，38.3%，38.8%，如圖5和圖6所示，在RHT和RTH抽取順序下的性能在不同的迭代次數(shù)下普遍優(yōu)于其他抽取順序，因此以R優(yōu)先抽取的方式模型性能高于以H或T優(yōu)先抽取的方式.結(jié)合圖4各模型結(jié)構(gòu)來看，CopyRE和CopyMTL在抽取過程中都是以R優(yōu)先抽取的方式進(jìn)行，并且Zeng等人[11]并沒有對此進(jìn)行詳細(xì)地闡述.通過模型結(jié)構(gòu)對比和結(jié)果分析發(fā)現(xiàn)，以R優(yōu)先的抽取方式較其他方式不易產(chǎn)生冗余實(shí)體，如圖4中例句，在H或T優(yōu)先的抽取順序下，模型可能會(huì)抽取到“president”作為實(shí)體，而從句子整體來看，句中并沒有與之存在關(guān)系的另一實(shí)體，即不能組成對應(yīng)的三元組，而在實(shí)際抽取過程中模型為了組成三元組可能會(huì)強(qiáng)行從句中抽取另一實(shí)體并進(jìn)行關(guān)系抽取，由此生成的三元組是存在問題的，因此模型各項(xiàng)性能指標(biāo)較低，而在以R優(yōu)先的抽取方式下，模型是從句中找出符合該關(guān)系的頭實(shí)體和尾實(shí)體，而前述抽取順序下，模型目標(biāo)是為某一實(shí)體在某種關(guān)系下尋找句中的另一實(shí)體，顯然以R優(yōu)先的抽取方式更加合理，因此從一定程度上解釋了CopyRE和CopyMTL都是嚴(yán)格以R優(yōu)先的抽取方式展開進(jìn)行研究，所以經(jīng)上述研究與分析，GMCD-JERE模型最優(yōu)抽取順序?yàn)镽HT或RTH.

5 結(jié) 論

本文提出并驗(yàn)證了GMCD-JERE在數(shù)據(jù)集NYT和WebNLG上進(jìn)行實(shí)體關(guān)系抽取任務(wù)的有效性，其中，將多路解碼序列機(jī)制融入解碼器中，結(jié)合標(biāo)注框架定位實(shí)體首、尾位置，同時(shí)在編碼器中通過具有關(guān)系推理能力的GCN進(jìn)行特征融合.通過實(shí)驗(yàn)發(fā)現(xiàn)，GMCD-JERE在NYT數(shù)據(jù)集上表現(xiàn)出良好的性能，在精確率、召回率和F1這3項(xiàng)指標(biāo)上均取得較好效果，相比于CopyMTL，在精確率、召回率和F1上分別提升4.3%，5.1%，4.8%.在對頭實(shí)體、關(guān)系和尾實(shí)體抽取順序進(jìn)行變換實(shí)驗(yàn)對比后，綜合分析并確定了〈關(guān)系，頭實(shí)體，尾實(shí)體〉或〈關(guān)系，尾實(shí)體，頭實(shí)體〉這樣的抽取順序.相比NYT數(shù)據(jù)集，GMCD-JERE和其他模型在WebNLG數(shù)據(jù)集上表現(xiàn)不佳，所以我們將如何在訓(xùn)練樣本不足且分布不均的情況下提升模型抽取性能納入未來的研究工作中，同時(shí)我們將進(jìn)一步探索長句或跨句實(shí)體關(guān)系抽取解決方案，探索文本序列長度以及解碼序列長度對抽取的具體影響，同時(shí)文本特征的表征能力也是很有意義的研究方向，對模型性能提升具有一定研究價(jià)值.

作者貢獻(xiàn)聲明：喬勇鵬負(fù)責(zé)方案設(shè)計(jì)、模型訓(xùn)練、數(shù)據(jù)處理和文章撰寫；于亞新指導(dǎo)方案設(shè)計(jì)，對文章修改并校對；劉樹越參與模型訓(xùn)練和優(yōu)化；王子騰參與方案可行性討論和模型優(yōu)化；夏子芳參與數(shù)據(jù)分析；喬佳琪負(fù)責(zé)文獻(xiàn)調(diào)研.