劉 暢，潘理虎

(1.天津工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300387；2.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024)

實(shí)體關(guān)系抽取是信息抽取工作中十分重要的步驟，其目的是挖掘文本中存在的實(shí)體關(guān)系信息。簡(jiǎn)單來講，就是在給定一個(gè)句子后，關(guān)系抽取任務(wù)會(huì)抽取其中出現(xiàn)的實(shí)體，并根據(jù)句子的信息來推測(cè)實(shí)體之間的關(guān)系。處理海量數(shù)據(jù)時(shí)關(guān)系抽取模型能夠表現(xiàn)出優(yōu)越的性能，其不僅有利于理論探討，也有利于大規(guī)模實(shí)際應(yīng)用。

早期的關(guān)系抽取工作主要基于特征工程方法[1]、基于核方法[2]和基于嵌入方法[3]，這些都曾被廣泛地應(yīng)用于關(guān)系抽取任務(wù)中，并取得了階段性的成果，但它們通常依賴于大量的人工特征構(gòu)建，需要大量時(shí)間成本與專業(yè)化知識(shí)。最近隨著深度學(xué)習(xí)的發(fā)展，研究人員開始構(gòu)建沒有復(fù)雜特征工程的關(guān)系抽取模型,許多學(xué)者開始關(guān)注神經(jīng)關(guān)系抽取 (NRE) ，它試圖使用神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)語義特征，而現(xiàn)在大量的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)被廣泛應(yīng)用于關(guān)系抽取，如卷積神經(jīng)網(wǎng)絡(luò)(CNN)[4]，遞歸神經(jīng)網(wǎng)絡(luò)(RNN)[5]等，這些都取得了令人印象深刻的成果，在特征提取的深度和模型的精度上已經(jīng)超過了傳統(tǒng)基于特征的方法。

相比英文領(lǐng)域，中文關(guān)系抽取發(fā)展緩慢。目前還沒有一個(gè)完整的、帶注釋的大規(guī)模漢語知識(shí)庫(kù)可以用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)和遠(yuǎn)程監(jiān)督模型，而且漢語語法比英語更加復(fù)雜多變。此外，自然語言處理工具仍然存在一定的缺陷，極大地影響了現(xiàn)有的中文抽取系統(tǒng)或方法。漢語句子詞數(shù)不固定、無標(biāo)準(zhǔn)格式、語法復(fù)雜等特點(diǎn)，給依存分析提取實(shí)體關(guān)系帶來了困難。越來越多的研究也表明，現(xiàn)有的中文關(guān)系抽取系統(tǒng)很難處理開放域中的復(fù)雜文本抽取問題。

本文提出基于多特征融合的詞級(jí)注意中文關(guān)系抽取網(wǎng)絡(luò)模型，該模型除文本詞嵌入外，添加字形特征、拼音特征和句法依存特征等輔助特征，通過特征融合方式充分的挖掘中文漢字文本所包含的語義信息與上下文特征，并添加一個(gè)詞級(jí)注意模塊，對(duì)融合后的文本特征進(jìn)行權(quán)重分配，盡可能利用文本中的關(guān)鍵詞對(duì)關(guān)系類別進(jìn)行最終分類。

1 相關(guān)工作

關(guān)系抽取在深度學(xué)習(xí)的發(fā)展下取得了長(zhǎng)足的進(jìn)步。基于深度學(xué)習(xí)的技術(shù)主要包括有監(jiān)督[6]和遠(yuǎn)程監(jiān)督[7]模型。Liu等人[8]從因果關(guān)系的角度審視了開放關(guān)系抽取工作，并對(duì)實(shí)體和上下文進(jìn)行了一定的人工干預(yù)，獲取文本中潛在的因果關(guān)系，并以無監(jiān)督的方式取得了優(yōu)秀的效果。大多數(shù)關(guān)系抽取模型為實(shí)體檢測(cè)與關(guān)系抽取兩個(gè)子任務(wù)，Wang等人[9]則應(yīng)用了統(tǒng)一的分類器預(yù)測(cè)每個(gè)單元的標(biāo)簽，統(tǒng)一了兩個(gè)子任務(wù)的學(xué)習(xí)。Huang等人[10]針對(duì)文檔級(jí)關(guān)系抽取的挑戰(zhàn)，通過使用注意力概率作為證據(jù)預(yù)測(cè)的附加特征來引導(dǎo)預(yù)訓(xùn)練語言模型的注意力機(jī)制關(guān)注相關(guān)上下文，提高了預(yù)測(cè)效率。Hu等人[11]提出了一個(gè)范式定量評(píng)估了注意力和知識(shí)圖譜對(duì)袋級(jí)關(guān)系抽取性能的影響，證明了注意力在很大程度上受數(shù)據(jù)噪聲影響，得到了可信的實(shí)驗(yàn)數(shù)據(jù)。

基于漢字的復(fù)雜性及多變性，中文關(guān)系抽取工作的進(jìn)展相對(duì)發(fā)展緩慢，之前工作主要針對(duì)文本特征進(jìn)行研究，邢等人[12]在CCL會(huì)議上首次進(jìn)行了中文關(guān)系抽取任務(wù)探究，他們分析了深度模型在處理中文關(guān)系抽取過程中所做的特征提取工作，通過比較中文關(guān)系抽取中探究任務(wù)實(shí)驗(yàn)結(jié)果與英文的不同點(diǎn)，進(jìn)一步理解了中文信息中更加重要的特征。清華大學(xué)實(shí)驗(yàn)室[13]提出了一種用于中文關(guān)系提取的多粒度格框架，利用多粒度語言信息和外部語言知識(shí)對(duì)多義詞的多義進(jìn)行建模，以減輕多義詞的歧義。Qi等人[14]提出了一種基于中文語法和依存解析特征的無監(jiān)督方法，用于處理復(fù)雜句子，可以在降低句子復(fù)雜度的同時(shí)保持句子的完整性。Meng等人[15]通過生成字形特征來解決中文字形中缺乏豐富的象形證據(jù)問題，有效利用了字形信息，且在NLP任務(wù)中取得了廣泛優(yōu)秀的效果。

近年來注意力機(jī)制也被應(yīng)用在各個(gè)領(lǐng)域，它可以提高特征學(xué)習(xí)過程中底層單元的權(quán)重[16]，對(duì)每句話和每個(gè)單詞都可以進(jìn)行清楚的權(quán)重表示，因此在分類預(yù)測(cè)任務(wù)中受到了越來越多研究人員的青睞。Qu等人[17]為了區(qū)分一個(gè)句子中不同單詞的重要程度，開發(fā)了一個(gè)詞注意力機(jī)制，用來提高某些關(guān)鍵詞的注意力權(quán)重，它從目標(biāo)實(shí)體的詞嵌入中研究語義信息，將其開發(fā)為抽取器的補(bǔ)充特征。Zhang等人[18]轉(zhuǎn)移了上下文字符串嵌入，為了提高因果關(guān)系提取的性能，在模型中引入了多頭自注意力機(jī)制來學(xué)習(xí)因果詞之間的依賴關(guān)系。

基于以上研究，本文在當(dāng)前關(guān)系抽取取得的工作基礎(chǔ)上構(gòu)建了一個(gè)多特征融合的卷積神經(jīng)網(wǎng)絡(luò)，添加字形、拼音及句法依存等輔助特征，提高模型的語義學(xué)習(xí)能力，并加入一個(gè)詞級(jí)注意機(jī)制充分利用文本中的關(guān)鍵詞信息提高關(guān)系抽取性能。

2 MFAN模型

模型對(duì)輸入實(shí)例進(jìn)行預(yù)處理后，將文本的信息以及其他輔助特征進(jìn)行向量化表示，融合嵌入模型，并輔以詞級(jí)注意模塊。在本文中，除句子特征Sw外，還包括字形特征Sg、拼音特征Sp以及句法依存特征Sd.模型結(jié)構(gòu)如圖1.

圖1 MFAN結(jié)構(gòu)圖Fig.1 Overview of MFAN structure

2.1 嵌入層

2.1.1 詞向量

詞嵌入是指將詞語轉(zhuǎn)化為數(shù)值向量，即將每個(gè)高維空間的單詞或詞組映射到低維空間的實(shí)數(shù)域上。

本文使用開源word2vec模型[19]進(jìn)行詞向量映射，該模型的詞向量非常豐富，經(jīng)過了多種語料進(jìn)行訓(xùn)練，涵蓋各領(lǐng)域，能夠較好地表達(dá)中文文本的語義知識(shí)。

設(shè)句子S由n個(gè)單詞組成，即S=[w1w2，…，wn]，wi為第i個(gè)單詞。使用word2vec對(duì)輸入文本S向量化得到Sw=[e1，e2，…，en]∈Rn×d，d為詞向量的維度，ei為第i個(gè)單詞的特征表示。

2.1.2 字形向量

漢語是一種符號(hào)語言。漢字的符號(hào)編碼了豐富的意義信息，因此，中文NLP任務(wù)能夠直觀的從字形信息中獲取有價(jià)值的編碼信息。文獻(xiàn)[15]首先提出了用于漢字表示的字形向量GLYCE，利用田字格-CNN結(jié)構(gòu)為漢字建模。

對(duì)輸入句子序列S=[w1w2，…，wn]，將輸入中的每個(gè)中文字符視為圖像，通過glyce-bert，使用神經(jīng)系統(tǒng)獲得他們的表示，得到Sg=[Ge1，Ge2，…，Gen]∈Rn×d1，d1為字形向量的維度。

2.1.3 拼音向量

為了更好的獲取句子中文本的語義信息，將文本拼音特征加入表示。通過漢字拼音特點(diǎn)，構(gòu)建文本拼音字符序列進(jìn)行特征擴(kuò)展。預(yù)處理階段，對(duì)輸入的語句進(jìn)行劃分，以字符為依據(jù)將其分成漢字和符號(hào)，然后用拼音來處理文本，再將拼音表示的文本按照字符進(jìn)行特征表示。通過構(gòu)建拼音特征，可以擴(kuò)展輸入文本的語義特征，降低同音、多音等異常條件下的錯(cuò)誤影響。

輸入句子序列S=[w1w2，…，wn]，經(jīng)拼音表示和向量映射后得到Sp=[Pe1，Pe2，…，Pen]∈Rn×d2，Pei表示句子中第i個(gè)字符的拼音特征向量，d2為拼音特征向量的維度。

2.1.4 句法依存向量

依存句法分析形式化定義合法句子的語法結(jié)構(gòu)，同時(shí)根據(jù)語法體系，生成輸入句子的句法結(jié)構(gòu)，從而分析出句子中存在的單位及關(guān)系。

對(duì)輸入實(shí)例S=[w1w2，…，wn]，通過Stanford nlp 中的dependency_parse，生成表示輸入句子中單詞之間依存關(guān)系的三元組序列L，通過parse生成句子解析樹，更能表示句子的句子結(jié)構(gòu)，如圖2.

圖2 語義依存樹Fig.2 Semantic dependency tree

通過依存三元組得到句子序列的特征實(shí)數(shù)Lr=[R1，R2，…，Rn]，n為句子S長(zhǎng)度。對(duì)其進(jìn)行矩陣轉(zhuǎn)換得到依存句法特征向量Sd=[De1，De2，…，Den]∈Rn×d3，d3為依存特征向量維度。

嵌入層通過詞向量和其他輔助特征獲取到豐富的文本語義和上下文特征，最后進(jìn)行特征融合操作。設(shè)n個(gè)單詞的句子為S=[w1，w2，…，wn]，將詞向量與輔助向量矩陣進(jìn)行拼接V=Sw⊕Sg⊕Sp⊕Sd，⊕為向量拼接操作，得到V=[x1，x2，…，xn]，xi為第n個(gè)詞特征融合后的向量表示。

2.2 詞級(jí)注意力模塊

在關(guān)系抽取工作中，輸入實(shí)例的復(fù)雜性和異質(zhì)性一直是一個(gè)難題。通常一個(gè)句子中所有的詞在表示利益實(shí)體對(duì)之間的關(guān)系事實(shí)方面，并不都扮演著同樣重要的角色。為了更準(zhǔn)確地捕捉這些關(guān)鍵詞來預(yù)測(cè)關(guān)系，添加一個(gè)基于詞級(jí)注意的機(jī)制。

給出包含實(shí)體對(duì)(e1，e2)和單詞序列(w1，w2，w3，…)的句子S.構(gòu)成S的向量表示為VSwa，可以通過相應(yīng)的詞向量ei的加權(quán)和計(jì)算得到：

(1)

其中ai表示單詞wi的注意力權(quán)重，在訓(xùn)練過程中，會(huì)根據(jù)當(dāng)前的參數(shù)對(duì)αi進(jìn)行調(diào)整，使模型逐漸增加關(guān)鍵字的權(quán)值，同時(shí)減少不重要字的權(quán)值。為此進(jìn)一步定義αi如下:

(2)

其中，qi可以作為一個(gè)查詢，用來對(duì)單詞wi和預(yù)測(cè)關(guān)系r之間的相關(guān)性進(jìn)行評(píng)分。但問題是，通常不知道需要提前預(yù)測(cè)的關(guān)系標(biāo)簽的任何信息，因此，在不使用任何上下文描述的情況下提供一些關(guān)于目標(biāo)實(shí)體對(duì)之間關(guān)系的線索是非常重要的。使用[e2-e1]近似表示要預(yù)測(cè)的關(guān)系r的向量。利用現(xiàn)有的詞嵌入方法，可以獲得e1和e2的向量表示。然后給出以下公式計(jì)算qi:

qi=Wd([wi;r])qi=Wd([wi:r])

(3)

其中[wi;r]∈R2dw×1表示單詞wi和關(guān)系r之間的垂直連接。Wd∈R1×2dw是一個(gè)中間矩陣，它將wi和r的嵌入表示與它們之間的關(guān)聯(lián)值聯(lián)系起來，并給出了qi和[wi;r]之間的線性關(guān)系。

2.3 卷積層

在關(guān)系分類任務(wù)中,語義表示是有價(jià)值的特征，卷積運(yùn)算可以通過在固定窗口中組合詞表示來捕獲這些信息。針對(duì)一個(gè)例句x= (x1，x2,…，xn) 與上下文窗口大小k，在這個(gè)窗口大小中連續(xù)單詞的連接可以定義為：

(4)

也可以重新格式化為：

X=(x1:k,...,xn-k+1:n)

(5)

然后將輸入X送入卷積層以生成局部特征。Wconv作為權(quán)重矩陣，B1作為線性偏置，計(jì)算線性變換后跟非線性函數(shù)：

Z=f(Wconv·X+B1)

(6)

f為非線性激活函數(shù)Relu.

2.4 最大池化

在經(jīng)過卷積層提取特征后，使用最大池化來進(jìn)一步聚合每個(gè)過濾器的卷積結(jié)果，并從特征圖中提取最重要或最相關(guān)的特征。每個(gè)特征圖的最大池化操作用等式表示：

Zout=max(m)=max{z1,z2,...,zn-k+1}

(7)

2.5 Softmax

P=softmax(WpZout+bp)P=

softmax(Wpzout+bp)

(8)

Wp和bp為 權(quán) 重參數(shù)和偏置參數(shù),Zout為池化輸出。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)準(zhǔn)備

3.1.1 數(shù)據(jù)集

采用百度DuIE及人物關(guān)系抽取數(shù)據(jù)集IPRE進(jìn)行實(shí)驗(yàn)。DuIE的內(nèi)容主要來自于百度百科和百度新聞，包含超過45萬個(gè)三元組數(shù)據(jù)實(shí)例、21萬條中文文本以及50個(gè)已定義的關(guān)系類型集合；IPRE包含來自互聯(lián)網(wǎng)文本的34個(gè)人物關(guān)系集合。

3.1.2 基線模型

SVM:在特征空間上的一類經(jīng)典機(jī)器學(xué)習(xí)分類模型，是對(duì)數(shù)據(jù)進(jìn)行劃分的線性分類器。

CNN:是一類前饋網(wǎng)絡(luò)，可以卷積計(jì)算，具有平移不變性，使用卷積核，最大的應(yīng)用了局部信息，保留了平面結(jié)構(gòu)信息。

BiGRU:是一個(gè)由兩個(gè)GRU組成的神經(jīng)網(wǎng)絡(luò)，其中兩個(gè)GRU均是單向的，且方向互逆，其可以保證當(dāng)前時(shí)刻的輸出由前后的狀態(tài)共同決定。

Lstm:用LSTM獲取句子中每個(gè)單詞的隱藏狀態(tài)，然后利用LSTM中最后一個(gè)隱藏狀態(tài)進(jìn)行關(guān)系抽取。

Attention-bilstm[20]：利用該神經(jīng)網(wǎng)絡(luò)模型可以獲得更高級(jí)別的句子特征向量，然后根據(jù)這些進(jìn)行關(guān)系抽取。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中，實(shí)例最大長(zhǎng)度為40，詞向量維度為50，輔助特征維度為5，使用隨機(jī)梯度下降法(SGD)進(jìn)行參數(shù)優(yōu)化，momentum設(shè)置為0.5.模型訓(xùn)練50個(gè)epoch，batch size為32，learning rate為10-3.

評(píng)價(jià)指標(biāo)：

選取準(zhǔn)確率P，查全率R和F1值作為任務(wù)評(píng)估指標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證在對(duì)中文文本關(guān)系抽取時(shí)，各輔助特征的有效性，進(jìn)行了消融對(duì)比實(shí)驗(yàn)，在參數(shù)保持一致的情況下，字形特征表示為Gcy，拼音特征為Pho，句法依存特征為Dep，詞級(jí)注意力機(jī)制為Att，實(shí)驗(yàn)的效果以準(zhǔn)確率P(Precision)作為主要的評(píng)價(jià)指標(biāo)，其他指標(biāo)作為輔助。實(shí)驗(yàn)結(jié)果如表1，表2所示。

表1 多特征對(duì)比(DuIE)Tab.1 Multi-feature comparison (DuIE)

表2 多特征對(duì)比(IPRE)Tab.2 Multi-feature comparison(IPRE)

如表1所示，在DuIE和IPRE中，當(dāng)同時(shí)將字形特征、拼音特征、句法依存特征這三個(gè)輔助特征與詞向量結(jié)合時(shí)，準(zhǔn)確率分別為68.4%和73.7%，相比詞向量模型，分別提高了6.3%和5.2%，性能提升明顯，相比較字形特征包含的漢字形態(tài)信息，以及拼音特征對(duì)文本歧義、多義的優(yōu)化，句法依存特征一定程度上增強(qiáng)了文本特征包含的上下文信息，讓模型能夠?qū)W習(xí)到更多的語義特征。最后在輔助特征的基礎(chǔ)上添加了詞級(jí)注意Att，也就是本文方法MFAN，模型最終在DUIE上準(zhǔn)確率為71.9%，召回值61.3%，F(xiàn)1值66.2%，在IPRE上準(zhǔn)確率為76.1%，召回值為59.2%，F(xiàn)1值為66.6%.特征融合模型之間相互比較可以發(fā)現(xiàn)，模型在詞向量的基礎(chǔ)上進(jìn)行不同特征融合均能夠?qū)δＰ推鸬椒e極的作用，同時(shí)結(jié)合多種特征可以進(jìn)一步加深模型的語義理解，實(shí)現(xiàn)多種特征優(yōu)勢(shì)互補(bǔ)。僅輔助特征模塊無法捕獲異構(gòu)句子中編碼的關(guān)鍵詞，基于詞級(jí)注意力的機(jī)制可以通過為這些關(guān)鍵單詞分配更大的權(quán)重來預(yù)測(cè)關(guān)系，從而生成更好的句子編碼，輔助特征模塊與詞注意模塊的集成可以促進(jìn)關(guān)系提取任務(wù)以進(jìn)行準(zhǔn)確預(yù)測(cè)。從模型的實(shí)驗(yàn)結(jié)果可以看出，預(yù)測(cè)效果提升顯著，這表明在詞級(jí)特征的基礎(chǔ)上結(jié)合字形特征、拼音特征和句法依存特征，并輔以詞級(jí)注意力，對(duì)于關(guān)系抽取性能有很大的改善。

使用經(jīng)典關(guān)系抽取方法SVM、LSTM、GRU、BIGRU、CNN及Attention-BiLSTM在DuIE上進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證本文模型的有效性。在對(duì)基線模型進(jìn)行實(shí)驗(yàn)時(shí)，對(duì)文本進(jìn)行預(yù)處理，使用word2vec進(jìn)行向量化，向量的維度為100，對(duì)比實(shí)驗(yàn)相關(guān)參數(shù)設(shè)置如3.2所示，其他保持不變。實(shí)驗(yàn)對(duì)比結(jié)果見表3所示。

表3 基線方法對(duì)比實(shí)驗(yàn)Tab.3 Baseline method comparison experiment

從表3中實(shí)驗(yàn)結(jié)果可以看出，SVM表現(xiàn)最差，本文提出的模型MFAN在準(zhǔn)確率和F1值上表現(xiàn)最為優(yōu)秀，但召回值相比BIGRU效果較差，雙向GRU能夠同時(shí)理解正反上下文信息，能夠獲得更為全面的信息，也能有更好的表現(xiàn)，但因?yàn)樾枰M(jìn)行雙向訓(xùn)練，時(shí)間成本相對(duì)較高。Attention-BiLSTM召回率最低，說明這類模型在處理重疊問題上存在不足,它依賴于雙向結(jié)構(gòu)對(duì)文本全局信息的獲取，但同時(shí)對(duì)于局部詞特征其無法有效處理。CNN模型表現(xiàn)較好，其對(duì)文本局部信息的處理較為優(yōu)秀，但全局特征下無法獲得更多的特征表示。

4 總結(jié)

主要對(duì)中文關(guān)系抽取任務(wù)進(jìn)行了研究，為能夠有效獲取文本信息，提出了基于多特征融合的詞級(jí)注意關(guān)系抽取方法。模型構(gòu)建中，為獲取到語義特征表示，經(jīng)過文本預(yù)處理工作后，融合了字形特征、拼音特征和句法依存特征，在充分挖掘中文漢字本身語義的基礎(chǔ)上，盡可能獲取到更多的上下文信息，并將多特征表示作為編碼輸入。同時(shí)，為充分利用關(guān)鍵詞所包含的信息，添加一個(gè)詞級(jí)注意力機(jī)制，利用關(guān)鍵詞的特性篩去不可能的關(guān)系類型，提高關(guān)系抽取的性能。并在開源的中文數(shù)據(jù)集上做了豐富實(shí)驗(yàn)，驗(yàn)證了方法的有效性。本文方法也存在一定的不足之處，模型在準(zhǔn)確率上還未達(dá)到更好的程度，仍會(huì)出現(xiàn)一定的錯(cuò)誤結(jié)果，下一步可以在文本處理上進(jìn)行增強(qiáng)，盡量減少中文中無用信息帶來的誤差，同時(shí)希望能夠以多通道的方式進(jìn)行改進(jìn)，加深模型的語義理解。