周映彤，孟 劍，郭 巖，劉 悅，賀廣福，董 琳，程學(xué)旗

(1. 中國科學(xué)院 計算技術(shù)研究所 網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)實驗室，北京 100190；2. 國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心，北京 100029)

0 引言

金融公告中關(guān)鍵數(shù)據(jù)的抽取，在量化分析、信用評估、風(fēng)險控制、工程建模、運營管理和企業(yè)違規(guī)監(jiān)察等應(yīng)用中都具有一定的實用價值，如圖1所示[1]。近年互聯(lián)網(wǎng)金融信息服務(wù)規(guī)模保持年平均增長率在30%以上，金融公告信息量正在隨著金融市場迅猛發(fā)展而爆發(fā)，而公告文本語言的多樣性提高了人工進行信息抽取的代價。因此，研究金融公告的信息抽取技術(shù)具有重要的理論和現(xiàn)實意義。

圖1 中國量化金融行業(yè)白皮書節(jié)選

從文本結(jié)構(gòu)的維度，我們將公告分為半結(jié)構(gòu)化和無結(jié)構(gòu)兩類。本文重點研究無結(jié)構(gòu)金融公告中的多元關(guān)系抽取技術(shù)。

金融公告具有依法強制披露屬性，上市公司需要進行指定類別公告的定期披露，每條金融公告都具有明確標(biāo)識的業(yè)務(wù)類別，因此本文根據(jù)表1將金融公告進行分類具有合理性。

表1 金融公告分類及抽取字段

無結(jié)構(gòu)公告文本結(jié)構(gòu)自由，屬于純文本格式的自然語言文本。相比較其他公告文本，其主要特點在于實體間關(guān)系涉及比較復(fù)雜的財務(wù)關(guān)系，即實體間的多元關(guān)系。例如，圖2所示的無結(jié)構(gòu)金融公告中，要抽取的是“A、B、C”三個字段，屬于一組多元關(guān)系。

圖2 無結(jié)構(gòu)金融公告抽取中多元關(guān)系示例

1 研究現(xiàn)狀

1.1 無結(jié)構(gòu)文本信息抽取

1.1.1監(jiān)督學(xué)習(xí)方法

在基于依存語法分析樹方面，人們提出了多種基于核函數(shù)的實體關(guān)系抽取方法，包括依存樹核函數(shù)方法、最短路徑依存樹核函數(shù)方法、卷積樹核函數(shù)方法以及它們的組合核函數(shù)方法。

Zelenko[2]等利用淺層句法分析結(jié)果，用連接實體對的最小公共子樹表征關(guān)系實例，通過計算兩棵子樹之間的核函數(shù)，訓(xùn)練SVM等分類器，在較小的新聞?wù)Z料庫中取得了較好的關(guān)系抽取效果。Culotta[3]等改進Zelenko等的方法，利用依存關(guān)系句法樹表示關(guān)系實例。添加詞性、實體類型等特征，并在相似度計算時加入嚴(yán)格的匹配約束。Bunescu[4]等對其做進一步改進，提出了實體對最短依存路徑核函數(shù)，比較最短依存路徑上相同節(jié)點的個數(shù)，計算核函數(shù)，但同樣召回率較低。

為了解決上述問題，在基于依存語法分析樹的關(guān)系抽取任務(wù)中，研究人員引入了卷積核函數(shù)。卷積核函數(shù)通過統(tǒng)計離散結(jié)構(gòu)之間相同子結(jié)構(gòu)的數(shù)目，計算兩者的相似度。黃瑞紅[5]等研究了卷積核方法對中文關(guān)系抽取的有效性，發(fā)現(xiàn)僅依靠最短依存路徑核難以提高中文的實體關(guān)系抽取效果。Zhang[6]等和Zhou[7]等利用實體對最短路徑樹，加入語義關(guān)系的不同層面特征，并綜合考慮謂語上下文信息，利用了卷積樹核函數(shù)的方法。Qian[8]等利用實體對的動態(tài)依存關(guān)系樹。莊成龍[9]等在加入語義信息之外，對最短路徑樹進行裁剪，去掉修飾語冗余和并列冗余信息。虞歡歡[10]等結(jié)合關(guān)系實例的結(jié)構(gòu)化信息與實體語義信息，構(gòu)造出二合一句法和實體語義關(guān)系樹。

1.1.2 無監(jiān)督方法

Hasegawa[11]等通過將命名實體對之間的文本進行聚類，用聚類結(jié)果表示關(guān)系類別，使用聚類集合中詞頻最高的詞作為關(guān)系描述詞。在大規(guī)模新聞?wù)Z料上的實驗證明其方法可行。Stevenson[12]引入WordNet語義詞典，改善了關(guān)系抽取模板聚類時的相似度計算過程。Zhang[13]等利用淺層句法樹表示關(guān)系實例，通過計算句法樹之間的相似度，利用層次聚類算法進行聚類，該方法兼顧了低頻實體對之間可能存在的語義關(guān)系。Rosenfeld[14]等提出將關(guān)系特征和實體特征有效結(jié)合的方法。

1.2 已有研究的不足

針對無結(jié)構(gòu)金融公告信息抽取任務(wù)，已有算法存在以下不足:

(1) 已有方法主要抽取三元組，而金融公告中的關(guān)鍵信息多具有復(fù)雜的財務(wù)關(guān)系，本質(zhì)是實體間的多元關(guān)系，相關(guān)研究還不成熟，往往需要結(jié)合上下文間關(guān)聯(lián)。

(2) 現(xiàn)有的開放式信息抽取系統(tǒng)在金融公告垂直域應(yīng)用不成熟。金融公告抽取的特定任務(wù)，已有研究缺少垂直域的優(yōu)化，沒有成熟的針對中文金融公告信息抽取的方法。

(3) 關(guān)系抽取多以動詞為核心，這樣會遺漏以實體名詞等為核心的關(guān)系，而無結(jié)構(gòu)金融公告中這一類關(guān)系很常見，導(dǎo)致召回率下降。

2 無結(jié)構(gòu)金融公告多元關(guān)系的抽取算法

2.1 概述

針對垂直域多元關(guān)系抽取任務(wù)面臨的挑戰(zhàn)，本文重點研究并設(shè)計了無結(jié)構(gòu)金融公告中多元關(guān)系抽取算法TextMining和模型FTA-GCN。

基于依存關(guān)系樹頻繁子樹挖掘的TextMining算法，主要通過頻繁子樹挖掘和子樹拓展，有效提取無結(jié)構(gòu)金融公告中的多元關(guān)系，并且無監(jiān)督學(xué)習(xí)算法可以有效降低對標(biāo)注數(shù)據(jù)集的依賴，但該算法召回率偏低。

依存句法分析樹的結(jié)構(gòu)信息為關(guān)聯(lián)型信息，為了解決TextMining多元關(guān)系抽取召回率偏低的問題，本文融合TextMining算法和多頭自注意力引導(dǎo)圖卷積編碼，提出多元關(guān)系抽取模型FTA-GCN，使得TextMining得到的頻繁子樹結(jié)構(gòu)信息被有效利用，在Attention層融合，提高召回率和金融公告多元關(guān)系抽取中非動詞實體的關(guān)注度。

本文將頻繁子樹挖掘拓展算法、注意力引導(dǎo)圖卷積模型等引入到金融公告多元關(guān)系抽取任務(wù)中，并在構(gòu)建的金融公告集上做一定垂直域優(yōu)化。在多元關(guān)系抽取的正確率上，F(xiàn)TA-GCN算法較傳統(tǒng)GCN方法[15]提升了約8%左右。

2.2 垂直域優(yōu)化

垂直域優(yōu)化主要是針對金融公告多元關(guān)系抽取任務(wù)中名詞實體繁多的現(xiàn)象，本文使用較為成熟的金融實體識別和實體消歧方法來解決繁多名詞實體帶來的混淆問題。相比開放式抽取，垂直域模型抽取效果具有較大優(yōu)勢。

2.2.1 金融實體識別

本文整理的金融實體名稱詞典比較詳盡。對比了幾款實體識別模型，選擇在開源HanLP工具(1)HanLP詞性標(biāo)注: 參照https://www.hankcs.com/nlp/part-of-speech-tagging.html#h2-8.提供的網(wǎng)絡(luò)模型上，加入金融實體詞典數(shù)據(jù)，同時開啟人名、地名、專有名詞的詞典增強模式，進行實體識別垂直域優(yōu)化，有效地改善了抽取效果。數(shù)據(jù)集樣例如圖3所示。

圖3 整合的金融實體集

2.2.2 實體消歧

實驗選擇使用基于檢索的實體消歧方法，使用圖3中金融實體集中實體的分組聚類來拓展檢索，加強了實體消歧效果，特別體現(xiàn)在簡稱、全稱消歧方面。在實體較多且易產(chǎn)生混淆的公告文本中，這種建立在成熟方案上的垂直域優(yōu)化方法具有適用性。

2.3 TextMining頻繁子樹挖掘算法

金融公告數(shù)據(jù)經(jīng)過數(shù)據(jù)清理、詞性標(biāo)注、金融實體識別、實體消歧、構(gòu)建依存句法分析樹幾個主要步驟得到依存句法分析樹。TextMining算法基于依存分析樹進行頻繁子樹挖掘[16]和拓展，完成金融公告中的多元關(guān)系抽取。

2.3.1 子樹挖掘算法改進

TextMining頻繁子樹挖掘算法，首先由句子形成依存句法分析樹(Treebank 1.0標(biāo)簽集(2)Treebank 1.0標(biāo)簽集: 參照https://www.hankcs.com/nlp/parsing/neural-network-based-dependency-parser.html.，15類)，樹結(jié)構(gòu)可以有效利用圖結(jié)構(gòu)的各種分析算法。參考自gSpan[16]的FTGen頻繁子樹挖掘算法，生成超過最低支持度(出現(xiàn)頻率)的子樹結(jié)構(gòu)。TextMining主要改進點是通過頻繁子樹依賴路徑的拓展來獲取更加準(zhǔn)確的包含抽取的多元關(guān)系的節(jié)點信息。頻繁子樹挖掘本身是一種無監(jiān)督學(xué)習(xí)算法，可以有效降低對標(biāo)注數(shù)據(jù)集的依賴，但該算法有召回率偏低的問題。通過子樹的拓展和調(diào)整可以有效改善抽取效果。FTGen算法描述如下:

FTGen(Frequent subtree Generation)算法第一步判斷要擴展的頻繁子樹是否為全樹最小深度遍歷編碼，以避免對重復(fù)生成的子樹做擴展。第二步對頻繁邊集中的每條邊進行擴展判斷。第三步將已提取的邊從邊集中去掉，減小需要擴展的邊集，第四步判斷當(dāng)前提取的邊是否為樹邊，如果是，將其加入到頻繁子樹t中。第五步判斷在頻繁子樹T中是否存在t的同構(gòu)子樹。如果不存在，將t加入到結(jié)果集T中。第六步對擴展后的t遞歸執(zhí)行FTGen以得到全部頻繁子樹。

利用輸入句子的依存分析的模型，或者基于依存關(guān)系的模型，在關(guān)系抽取中被證明是有效的，因為依存樹提供了可以在關(guān)系抽取中利用的豐富結(jié)構(gòu)，其能夠捕獲字面形式上比較模糊的遠(yuǎn)距離句法關(guān)系(例如，從句比較長或有復(fù)雜的范圍限定的情況)。但是與關(guān)系相關(guān)的大多數(shù)信息通常包含在以兩個實體的共同所在的公共子樹內(nèi)。并且之前的研究已經(jīng)表明，通過消除句子中的無關(guān)信息，移除此范圍之外的詞有助于關(guān)系抽取，因此出現(xiàn)了以下兩方面問題:

(1) 直接在解析樹上進行操作的模型通常很難并行化，因此計算效率很低，因為將樹對齊并進行有效的批處理訓(xùn)練通常是非常重要的。

(2) 基于主語和賓語之間最短依賴路徑的模型計算效率更高，但這種簡化的假設(shè)也有很大的局限性。當(dāng)模型僅考慮依賴路徑時，一些關(guān)鍵信息(比如: 否定關(guān)系)將被丟失。

因此本文希望通過TextMining頻繁子樹挖掘算法作為移除句子中無關(guān)信息的一種新的方式。然而，過于激進的“剪枝”(例如，僅保留一定高頻率的頻繁子樹)可能導(dǎo)致關(guān)鍵信息的丟失。本文設(shè)計以頻繁子樹為中心點的依賴路徑拓展技術(shù)，保留依存分析樹中到頻繁子樹距離為K以內(nèi)的節(jié)點。K=0，表示僅保留頻繁子樹即可；K=1，表示保留直接相連的節(jié)點；K=∞，表示保留頻繁子樹所在的整個LCA子樹。

這種修剪和拓展策略區(qū)別于LCA剪枝、最短依賴路徑剪枝，有適應(yīng)于依存樹多元關(guān)系抽取的獨特優(yōu)勢。實驗證明，用K=1進行剪枝可以實現(xiàn)保留相關(guān)信息(如否定和連接)和盡可能多地去除無關(guān)內(nèi)容之間的最佳平衡。

2.4 FTA-GCN圖卷積算法

本文提出了融合TextMining子樹挖掘和注意力圖卷積模型的FTA-GCN算法，充分利用TextMining得到的頻繁子圖節(jié)點信息，有效提高多元關(guān)系抽取中對非動詞實體的抽取效果。

2.4.1 圖卷積模型改進

現(xiàn)有的GCN模型[15]在編碼依存關(guān)系前將全依賴樹剪枝為子樹，子樹中不存在的邊在鄰接矩陣中對應(yīng)的元素直接賦值為0。這種方法雖然降低了不相關(guān)信息的干擾，但一定程度上消除了原始的全依賴樹中的信息。本節(jié)的Attention引導(dǎo)層實現(xiàn)的模型直接把整棵依賴樹作為輸入，可以改善這一問題，如圖4所示。

圖4 Attention引導(dǎo)層訓(xùn)練過程

(1)

抽取模型如圖5所示，改進包括: 每個執(zhí)行模塊都包括Attention引導(dǎo)層、密集連接層和線性組合層。密集連接層通過有效增加模型深度，能夠捕捉其豐富的局部和非局部信息，得到更佳的圖表征，結(jié)構(gòu)如圖6所示。

圖5 改進的圖卷積模型

圖6 密集連接層(子層層數(shù)為3)

(2)

最后，通過線性組合將N個分離的密集連接層的輸出向量組合成式(4)的hcomb以及每個實體的組合表達(dá)hei，he2，…，hei，參考現(xiàn)有GCN方法[15]中的前饋神經(jīng)網(wǎng)絡(luò)分類器FFNN進行分類訓(xùn)練和關(guān)系抽取。

金融公告多元關(guān)系抽取任務(wù)中實現(xiàn)的依存關(guān)系樹“軟修剪”方法，通過網(wǎng)絡(luò)微調(diào)和參數(shù)優(yōu)化，自主實現(xiàn)的模型能夠更好地利用全依賴樹的結(jié)構(gòu)信息，尤其是非直接相連的邊、間接的多跳路徑連接的信息，有效捕捉這些關(guān)聯(lián)較弱的復(fù)雜多元關(guān)系，抽取結(jié)果優(yōu)于現(xiàn)有的GCN方法。

2.4.2 FTA-GCN融合算法

TextMining提供了豐富且準(zhǔn)確的多元關(guān)系節(jié)點信息，為了更有效地利用這部分結(jié)構(gòu)信息，本文進一步探索依存分析樹結(jié)構(gòu)，提出FTA-GCN算法。該算法融合了TextMining和改進的注意力圖卷積模型，充分利用TextMining得到的頻繁子圖拓展節(jié)點信息，將頻繁子圖結(jié)構(gòu)信息融合進表達(dá)矩陣，自主優(yōu)化表達(dá)結(jié)構(gòu)，輸入圖卷積網(wǎng)絡(luò)進行訓(xùn)練和分類。由于圖卷積的抽取效果高度依賴于正確的解析樹輸入，這種融合做法對抽取效果的提高有較大幫助。

圖7 FTA-GCN Attention層融合

3 實驗

3.1 實驗數(shù)據(jù)

實驗所用數(shù)據(jù)集情況和分類表如表2所示。

表2 實驗數(shù)據(jù)集分類

數(shù)據(jù)集來源是分類爬取官方披露網(wǎng)站的公告，其中，PubMed是公開的多元關(guān)系數(shù)據(jù)集(醫(yī)藥類)。進行數(shù)據(jù)預(yù)處理、格式轉(zhuǎn)換，為垂直域金融數(shù)據(jù)分析提供了可供訓(xùn)練的數(shù)據(jù)集參考。

3.2 評價指標(biāo)

在無結(jié)構(gòu)金融公告的文本抽取實驗中，一般抽取到的是交叉句子，且包含n元關(guān)系。本文要解決的關(guān)鍵問題是多元關(guān)系抽取。因此，為了更客觀地評價抽取效果，本文設(shè)計了多元關(guān)系正確率的評價指標(biāo)。

正確率判定方法: 抽取屬性值中25%以上為正例，則判斷這一組多元關(guān)系抽取準(zhǔn)確，為正例。

多元關(guān)系覆蓋率: 在為抽取準(zhǔn)確的多元關(guān)系組中，抽取屬性值為正例的占全部抽取屬性值的百分比。

3.3 實驗內(nèi)容

無結(jié)構(gòu)抽取實驗流程圖如圖8所示。

圖8 無結(jié)構(gòu)抽取實驗流程圖

3.4 實驗結(jié)果與分析

實驗1: 實體識別垂直域優(yōu)化

實驗對比了加入金融實體數(shù)據(jù)集進行垂直域優(yōu)化后抽取結(jié)果的變化，如表3所示。

表3 實體識別垂直域優(yōu)化

結(jié)果分析: 可見本文構(gòu)建的整合的金融實體優(yōu)化數(shù)據(jù)集可以一定程度上做到垂直域優(yōu)化，提高公告文本抽取的正確率、召回率，這種基于上市公司名分組的拓展，加強了檢索模型的實體鏈接，在金融公告這一類實體較多的文本中，垂直域優(yōu)化效果體現(xiàn)得比較強。

實驗2: 實體消歧方法垂直域優(yōu)化

實驗對比了不同的金融實體消歧方法對抽取效果的影響，在自建金融公告數(shù)據(jù)集中進行對比驗證實驗，結(jié)果如圖9所示。

圖9 金融實體消歧方法垂直域優(yōu)化

結(jié)果分析: 綜合表3和圖9可見無結(jié)構(gòu)金融公告抽取算法的垂直域優(yōu)化效果，只采用分詞和詞性標(biāo)注組件進行訓(xùn)練時，因金融實體間關(guān)系復(fù)雜，抽取效果不是很好。

實驗3: 詞向量嵌入方法影響

實驗對比了不同方法的詞向量嵌入效果，如表4所示。

表4 詞向量嵌入方法對比

結(jié)果分析: 綜合實驗數(shù)據(jù)來看，選用GloVe[21]300維詞嵌入可以最好地呈現(xiàn)設(shè)計模型的抽取效果，能有效地利用全局的先驗統(tǒng)計信息和上下文詞的相對權(quán)重信息。

實驗4: 頻繁子樹拓展策略對比

驗證TextMining頻繁子樹挖掘算法拓展策略的優(yōu)化，選擇FTA-GCN的模型進行，通過調(diào)整TextMining融合到輸入鄰接矩陣的頻繁子樹節(jié)點信息來驗證對比結(jié)果。分為頻繁子樹按依賴路徑K值拓展、頻繁子樹LCA整數(shù)和全依存樹不進行子樹挖掘幾個對照組，結(jié)果如圖10所示。

圖10 頻繁子樹拓展策略對比

結(jié)果分析: 基于頻繁子樹拓展策略的調(diào)優(yōu)，符合前面設(shè)計部分的分析，在頻繁子樹依賴路徑拓展K值為1時，達(dá)到最佳狀態(tài)。同樣的方法也適用于僅通過頻繁子樹挖掘來進行多元關(guān)系抽取的實驗。

實驗5: FTA-GCN對非動詞關(guān)注度提升

最后一個實驗是相比于GCN，驗證FTA-GCN對名詞實體提升的關(guān)注度，采用對抽取關(guān)鍵屬性中對應(yīng)詞性的占比和數(shù)量來評價關(guān)注程度和抽取效果，結(jié)果如表5所示。

表5 對非動詞關(guān)注度提升

結(jié)果分析: 由于頻繁子樹挖掘的融合，核心名詞實體等作為先驗值加權(quán)可以導(dǎo)入訓(xùn)練模型中?？梢钥闯觯~實體在FTA-GCN模型進行的關(guān)系抽取任務(wù)中被更有效地抽取出來。

最終抽取效果比對如圖11所示。

圖11 抽取效果對比

實驗6: PubMed數(shù)據(jù)集抽取效果對比

PubMed數(shù)據(jù)集是標(biāo)準(zhǔn)化多元關(guān)系抽取測試集，屬于英文醫(yī)學(xué)專業(yè)數(shù)據(jù)集，沒有進行垂直域的優(yōu)化，根據(jù)文獻(xiàn)[15]的數(shù)據(jù)劃分和經(jīng)驗，對超參數(shù)進行了網(wǎng)格搜索調(diào)優(yōu)，多頭參數(shù)N實驗選值范圍為{1,2,3,4}，密集連接層子層參數(shù)L實驗選值范圍為{2,3,4}。實驗獲得最佳組合和超參數(shù)設(shè)置為: lr=0.3, num_epoch=100, pooling=max, mlp_layers=2, pooling_l2=0.003,N=2,L=5，具體實驗結(jié)果如表6所示。

表6 PubMed數(shù)據(jù)集實驗結(jié)果

結(jié)果分析: 基于規(guī)則和種子的啟發(fā)式具有良好的正確率，召回率欠佳，TextMining和圖卷積可以有效進行無結(jié)構(gòu)金融公告信息抽取，具有實用性。

實驗7: 自建金融公告數(shù)據(jù)集抽取效果對比

在本文構(gòu)建的無結(jié)構(gòu)金融公告數(shù)據(jù)集上，參考前述實驗結(jié)果，對超參數(shù)進行了網(wǎng)格搜索調(diào)優(yōu)，多頭參數(shù)N實驗選值范圍為{1,2,3,4}。實驗獲得最佳組合和超參數(shù)設(shè)置為: lr=0.3, num_epoch=100, pooling=max, mlp_layers=2, pooling_l2=0.003, N=2, L=5，實驗結(jié)果如表7所示。

表7 自建金融公告數(shù)據(jù)集實驗結(jié)果

結(jié)果分析: 和基于規(guī)則、傳統(tǒng)Bi-LSTM、GCN三類關(guān)系抽取模型相比，F(xiàn)TA-GCN模型達(dá)到了最佳的多元正確率，多元正確率較現(xiàn)有GCN方法提升了13%左右，TextMining融合的模型具有良好的抽取正確率，TextMining召回率偏低，但采用的無監(jiān)督方法降低了人工標(biāo)注的復(fù)雜度。

4 結(jié)論

本文從有效利用依存句法分析樹結(jié)構(gòu)出發(fā)，首先提出了基于依存關(guān)系樹頻繁子樹挖掘的TextMining算法，進行了TextMining無監(jiān)督多元關(guān)系抽取實驗。然后基于依存句法分析樹，在金融公告多元關(guān)系抽取任務(wù)中實現(xiàn)了多頭自注意力機制引導(dǎo)的圖卷積網(wǎng)絡(luò)抽取模型。最后基于TextMining和改進的注意力圖卷積模型融合提出了FTA-GCN抽取算法。本文介紹了TextMining和FTA-GCN的算法和流程，分別在PubMed、自建金融公告數(shù)據(jù)集上，與基于規(guī)則、傳統(tǒng)Bi-LSTM和現(xiàn)有GCN[15]的Baseline模型進行了對比實驗。同時，在實體詞典優(yōu)化(垂直域優(yōu)化)、實體消歧優(yōu)化、詞向量嵌入優(yōu)化、剪枝策略優(yōu)化、對非動詞關(guān)注度提升等方面進行了細(xì)粒度實驗，評價多元關(guān)系抽取效果。結(jié)果表明，本文算法在無結(jié)構(gòu)金融公告的信息抽取任務(wù)上有效、魯棒，具有實用性。