俞鴻飛，王 坤，殷明明，段湘煜，張 民

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

自動(dòng)摘要主要有兩種方法：抽取方法[1]和抽象方法[2].抽取方法主要分析文檔信息，提取源句子中的一部分信息并按照順序連接，生成最終的摘要文本.抽象方法主要是基于源文本的核心思想將源文本概述成短文本摘要.抽象方法能夠正確重寫源文本的核心思想，并且十分切合人類摘要的方法.隨著神經(jīng)網(wǎng)絡(luò)發(fā)展，序列到序列模型也被運(yùn)用到了抽象文本摘要領(lǐng)域.其主要結(jié)構(gòu)是通過編碼長(zhǎng)文本序列，在目標(biāo)端融入注意力機(jī)制解碼成短摘要文本.

序列到序列架構(gòu)主要有3種：遞歸神經(jīng)網(wǎng)絡(luò)[3-4](recurrent neural network，RNN)、卷積神經(jīng)網(wǎng)絡(luò)[5](convolutional neural network, CNN)以及自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)[6].基于RNN的模型架構(gòu)被廣泛采用和探索，主要方法有融入源端句子信息的RNN模型[7];使用統(tǒng)計(jì)語言特征命名實(shí)體識(shí)別(NER)和詞性(POS)標(biāo)簽進(jìn)一步豐富RNN的編碼器信息[8].除了有在RNN框架上的修改，也有將CNN架構(gòu)運(yùn)用到摘要文本中.如：Gehring等[5]在編碼器和解碼器都采用了CNN的模型結(jié)構(gòu)，并將其運(yùn)用到了抽象摘要任務(wù);Wang等[9]在ConvS2S的基礎(chǔ)上融入了主題詞的嵌入信息，并結(jié)合強(qiáng)化學(xué)習(xí)訓(xùn)練文本摘要系統(tǒng).此外，還有通過改進(jìn)訓(xùn)練方法進(jìn)一步加強(qiáng)文本摘要系統(tǒng)的訓(xùn)練能力.如：Ayana[10]所提出的最小風(fēng)險(xiǎn)訓(xùn)練;Eduno等[11]提出的訓(xùn)練結(jié)構(gòu)化預(yù)測(cè)模型;以及Lin等[12]提出全局編碼結(jié)構(gòu).以上實(shí)驗(yàn)方法通過改進(jìn)模型結(jié)構(gòu)，融入多種訓(xùn)練方法等對(duì)RNN和CNN模型進(jìn)行拓展以提升文本摘要系統(tǒng)生成摘要的質(zhì)量.

雖然序列到序列模型能夠得到高質(zhì)量的摘要文本，但并不能有效地區(qū)分源端句子中的冗余信息，而且這種冗余信息對(duì)于生成摘要的影響往往是負(fù)面的.為了解決這一問題，本文中提出了一種能夠區(qū)分冗余序列的模型結(jié)構(gòu)以提升抽象文本摘要方法的摘要性能.考慮到基于自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)的Transformer模型在機(jī)器翻譯領(lǐng)域取得的卓越性能效果，且抽象文本摘要系統(tǒng)與機(jī)器翻譯相類似，也符合序列到序列的結(jié)構(gòu)特征，因此本文中將Transformer模型結(jié)構(gòu)應(yīng)用于抽象文本摘要.在Transformer模型基礎(chǔ)上，利用冗余序列區(qū)分源端序列中的冗余部分，進(jìn)而更好地提取摘要信息.以Transformer模型作為強(qiáng)基準(zhǔn)系統(tǒng)，在Gigaword和DUC2004英語測(cè)試集以及LCSTS中文測(cè)試集上進(jìn)行實(shí)驗(yàn)驗(yàn)證.

1 基準(zhǔn)系統(tǒng)

Transformer模型是基于注意力機(jī)制的序列到序列的結(jié)構(gòu)，采用編碼器-解碼器的框架，該結(jié)構(gòu)先將源文本編碼成隱藏向量，再基于源端信息和目標(biāo)生成的歷史信息解碼出摘要文本.與傳統(tǒng)的序列到序列模型RNN和CNN不同的是，Transformer模型在編碼器和解碼器上完全采用了自注意力機(jī)制.

1.1 詞嵌入以及位置編碼

對(duì)輸入的句子元素進(jìn)行建模，將源端句子X={x1,x2,…,xn}通過分布空間映射成為詞向量h=[h1,h2,…,hi,…,hn]，其中hi∈Rd，n表示源端輸入序列的單詞個(gè)數(shù)，d為詞向量的維度大小.需要注意的是，Transformer模型結(jié)構(gòu)無法表示詞與詞之間的先后順序關(guān)系.為了解決這一問題，Transformer模型嵌入了輸入元素的絕對(duì)位置向量p=[p1,p2,…,pi,…,pn]，其中pi∈Rd;并將兩者組合得到最終的詞向量e=[h1+p1,h2+p2,…,hn+pn].與源端類似，目標(biāo)端獲得的詞向量為g=[g1,g2,…,gm].位置編碼對(duì)于神經(jīng)網(wǎng)絡(luò)十分重要，這能讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到句子的序列信息，了解到當(dāng)前詞在序列中相應(yīng)位置.

1.2 編碼器

如圖1左側(cè)所示，編碼器堆疊了N層的相同網(wǎng)絡(luò)層，每層都包含了兩個(gè)子層：多頭的自注意力機(jī)制層(本文中簡(jiǎn)稱：自注意力層)以及全連接的前饋神經(jīng)網(wǎng)絡(luò)層(本文中簡(jiǎn)稱：前饋?zhàn)訉?.并且每個(gè)子層的輸出都運(yùn)用了殘差網(wǎng)絡(luò)[13]以及層歸一化[14]，以便訓(xùn)練更深層次的神經(jīng)網(wǎng)絡(luò).

圖1 Transformer模型結(jié)構(gòu)Fig.1 The model structure of Transformer

自注意力層主要采用劃分成多頭的注意力機(jī)制以及規(guī)范化點(diǎn)乘的注意力機(jī)制，具體如式(1)和(2)所示：

(1)

(2)

前饋?zhàn)訉又饕蓛蓚€(gè)全連接層以及ReLU激活函數(shù)組成，具體公式如(3)所示：

fff(z)=max(0,zW1+b1)W2+b2，

(3)

其中:fff為前饋網(wǎng)絡(luò)函數(shù);W1∈Rdff×d,W2∈Rdff×d;dff表示前饋?zhàn)訉拥膬?nèi)層網(wǎng)絡(luò)維度;z表示自注意力機(jī)制層提取之后的隱藏向量.在通過前饋?zhàn)訉又?，最后的輸出?huì)重新輸出給后一層的自注意力機(jī)制層的，進(jìn)行更深層次的信息提取，直到N層網(wǎng)絡(luò)提取特征信息結(jié)束再輸出給目標(biāo)端得到相應(yīng)的概率分布.

1.3 解碼器

如圖1右側(cè)部分所示，與編碼器類似，解碼端也堆疊了N層的相同的網(wǎng)絡(luò)，但是每層由3個(gè)子層組成：自注意力層、編碼-解碼注意力層和前饋?zhàn)訉?目標(biāo)端的自注意力層的Q，K，V都來自于目標(biāo)端的詞向量g.與源端自注意力層不同的是，目標(biāo)端需要對(duì)當(dāng)前詞的未來信息增加掩碼，防止未來單詞信息參與隱藏層計(jì)算，前饋?zhàn)訉觿t保持不變.

目標(biāo)端編碼-解碼注意力層的主要目的是為了獲取更多的源端信息，除了目標(biāo)端序列的信息，還需要獲取當(dāng)前的目標(biāo)端詞對(duì)應(yīng)源端序列中的某一個(gè)詞或者某一段的源端序列信息.在編碼-解碼注意力中，Q來自于解碼器的自注意力子層的輸出，而K和V則是來自于編碼器最后一層的輸出.無論是自注意力層還是編碼-解碼注意力層，依舊采用的是多頭的注意力機(jī)制并且在每次輸出之后仍運(yùn)用了殘差網(wǎng)絡(luò)和層歸一化方法.

2 區(qū)分冗余序列的抽象文本摘要

2.1 數(shù)據(jù)處理

Transformer模型結(jié)構(gòu)最初為機(jī)器翻譯研究所提出.雖然抽象文本摘要與機(jī)器翻譯任務(wù)都屬于序列到序列的任務(wù)，但是在數(shù)據(jù)方面和句子形式上有不同之處.在抽象文本摘要中，目標(biāo)端的句子相較于源端句子的長(zhǎng)度更短，更加精煉.因此在源端句子中有一部分信息是冗余的，不能幫助到目標(biāo)端摘要的生成，而機(jī)器翻譯則無冗余信息.

為了解決這一問題，實(shí)驗(yàn)分成兩個(gè)步驟進(jìn)行:先獲取相對(duì)應(yīng)的冗余信息,再將冗余信息運(yùn)用到Transformer模型結(jié)構(gòu).獲取冗余信息：本文中使用GIZA++工具對(duì)平行的摘要數(shù)據(jù)進(jìn)行詞對(duì)齊，獲得目標(biāo)端詞對(duì)應(yīng)源端多個(gè)詞的對(duì)齊信息，如圖2所示.之后將目標(biāo)端所對(duì)應(yīng)的源端詞用特殊符號(hào)替換.如表1所示，源端句子的核心意思是“北京的空氣質(zhì)量達(dá)到了十年來最好的水平”.本文通過詞對(duì)齊將其劃分成相關(guān)信息以及冗余信息.相關(guān)信息包含“beijing is enjoying its best air quality in a decade thanks to”、“the olympics”以及“pollution measures”.剩下的“authorities said monday”、“amid a push by some locals for the anti-”、“to be made permanent”劃為冗余信息.

圖2 對(duì)齊樣例Fig.2 Alignment example

Source: Beijing is enjoying its best air quality in a decade thanks to steps taken for the olympics, authorities said monday, amid a push by some locals for the anti- pollution measures to be made permanent.GIZA++: 0-0 1-1 2-2 3-2 4-2 5-3 6-3 7-4 8-5 9-6 10-6 10-7 11-8 15-9 16-9 31-10 32-10Redundancy_Source: steps taken for , authorities said monday, amid a push by some locals for the anti- to be made permanent.Reference: Beijings best air in a decade due to olympic measure

通過上述兩個(gè)步驟對(duì)訓(xùn)練數(shù)據(jù)和驗(yàn)證集數(shù)據(jù)進(jìn)行處理，分別得到了3份數(shù)據(jù).第一份是源端文本，第二份是目標(biāo)端抽象摘要文本，第三份是源端的冗余文本.

2.2 模型搭建

在獲得冗余信息之后，本文中對(duì)Transformer模型結(jié)構(gòu)做進(jìn)一步改進(jìn).使得Transformer模型能夠更好的區(qū)分相關(guān)信息以及冗余信息.如圖3所示，左側(cè)的解碼器與基準(zhǔn)系統(tǒng)的解碼器保持一致，輸入摘要序列并輸出相對(duì)應(yīng)的摘要序列概率.本文中在原解碼器的基礎(chǔ)上又增加了一個(gè)解碼器用于解碼冗余特征序列，將GIZA++得到的冗余序列作為輸入，通過共享左側(cè)解碼器的參數(shù)以及經(jīng)過不同的輸出層得到相對(duì)應(yīng)的冗余序列概率.在解碼器中所包含的子層都與Transformer中子層保持一致.

圖3 區(qū)分冗余序列的模型結(jié)構(gòu)Fig.3 Model structure that distinguishes redundant sequences

本文中通過給定冗余信息的方法，讓神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)區(qū)分源端句子中的相關(guān)信息以及冗余信息.摘要序列對(duì)應(yīng)著源端的相關(guān)信息，冗余序列則對(duì)應(yīng)著源端的冗余信息.通過反向傳播更新神經(jīng)網(wǎng)絡(luò)的權(quán)值分布，以達(dá)到區(qū)分冗余序列以及專注源端相關(guān)信息的效果.

2.3 損失函數(shù)

本文中在原損失函數(shù)的基礎(chǔ)上融入了冗余損失函數(shù)，具體式為：

(4)

其中：M表示目標(biāo)端摘要的長(zhǎng)度；J表示目標(biāo)端冗余序列的長(zhǎng)度；p(yi|y

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)在3個(gè)抽象文本摘要數(shù)據(jù)集上評(píng)估所提出的方法.首先，將帶注釋的Gigaword語料采取與Rush等[15]相同的預(yù)處理，產(chǎn)生約380萬個(gè)訓(xùn)練樣本、19萬個(gè)驗(yàn)證樣本和1 951個(gè)測(cè)試樣本進(jìn)行評(píng)估.文本到摘要的平行數(shù)據(jù)對(duì)是通過將每篇文章的第一句與其標(biāo)題配對(duì)形成.另外，本文采用DUC-2004[16]作為另一個(gè)英文數(shù)據(jù)集，僅用于實(shí)驗(yàn)測(cè)試.它包含500個(gè)文檔，每個(gè)文檔包含4個(gè)人工生成的參考摘要.

本實(shí)驗(yàn)使用的最后一個(gè)數(shù)據(jù)集是中文短文本摘要的數(shù)據(jù)集(LCSTS)[17]，該數(shù)據(jù)集由新浪微博網(wǎng)站收集.遵循原始論文的數(shù)據(jù)分割，將來自語料庫的2 400 000 對(duì)文本到摘要的平行數(shù)據(jù)對(duì)用于訓(xùn)練，8 000 對(duì)的平行句對(duì)用于驗(yàn)證集，并且挑選了高得分的725對(duì)平行句對(duì)用于測(cè)試.

3.2 實(shí)驗(yàn)設(shè)置

本文中采用Transformer作為基礎(chǔ)架構(gòu)，按圖1在編碼器和解碼器各堆疊6層，嵌入向量和所有隱藏向量的維度設(shè)置為512,前饋?zhàn)訉拥膬?nèi)層維度為2 048，多頭注意力層m=8.在本實(shí)驗(yàn)中共享源端、目標(biāo)端詞嵌入層以及目標(biāo)端的摘要輸出層，但并不共享冗余序列的輸出層.在英語數(shù)據(jù)上，本文中運(yùn)用了字節(jié)對(duì)編碼(byte-pair-encoding，BPE)[18]，共享源端到目標(biāo)端的詞匯量并設(shè)置為32 000.

本實(shí)驗(yàn)在NVDIA 1080 GPU上進(jìn)行，采用基于深度學(xué)習(xí)框架PyTorch的Transformer模型為基準(zhǔn)框架.在訓(xùn)練期間，調(diào)用Adam優(yōu)化器[19]，其中超參數(shù)β1=0.9,β2=0.98,ε=10-9，初始學(xué)習(xí)率為0.000 5.另外，本實(shí)驗(yàn)在所有數(shù)據(jù)集上失活率(dropout)都設(shè)置為0.3，標(biāo)簽平滑[20]值設(shè)置為0.1.在評(píng)估時(shí)，本實(shí)驗(yàn)采用面向召回替補(bǔ)的摘要評(píng)估(recall-oriented understudy for gisting evaluation,ROUGE)[21]作為評(píng)估指標(biāo).由于標(biāo)準(zhǔn)的ROUGE包只能用于評(píng)估英文摘要系統(tǒng)，本文中采用Hu等[17]的方法將中文字映射成的數(shù)字ID，以評(píng)估中文數(shù)據(jù)集的性能，在解碼的時(shí)候，集束搜索(beam search)的大小設(shè)置為12.

4 實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)結(jié)果

4.1.1 英文測(cè)試集結(jié)果

表2給出了近些年神經(jīng)網(wǎng)絡(luò)模型在Gizaword和DUC2004上所展現(xiàn)的實(shí)驗(yàn)效果以及基準(zhǔn)系統(tǒng)Transformer模型和使用了本文中所提出的模型結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果.需要注意一點(diǎn)，對(duì)于Gizaword數(shù)據(jù)所采用的評(píng)估指標(biāo)是基于F值(正確率(P)與召回率(R)的加權(quán)調(diào)和平均)的ROUGE-1(R-1)、ROUGE-2(R-2)、ROUGE-L(R-L)，而DUC數(shù)據(jù)的則是基于R.表中列舉了3個(gè)在抽象文本摘要上的最新成果：Gehring等[5]提出的完全基于卷積構(gòu)成ConvS2S框架的結(jié)果;在此結(jié)構(gòu)的基礎(chǔ)上，Edunov等[11]和Wang等[9]分別從結(jié)構(gòu)損失(CNN+結(jié)構(gòu)損失)和強(qiáng)化學(xué)習(xí)(CNN強(qiáng)化)的角度改進(jìn)模型的結(jié)果.表格中“—”表示文章中并未提及此類數(shù)據(jù)的實(shí)驗(yàn)結(jié)果.最后兩行分別是Transformer基準(zhǔn)系統(tǒng)以及本文方法(Transfomer+冗余序列)的實(shí)驗(yàn)結(jié)果.從表中可以發(fā)現(xiàn)，Transformer基準(zhǔn)系統(tǒng)在英文測(cè)試集上的表現(xiàn)十分顯著.在Gigaword數(shù)據(jù)上，相較于其他系統(tǒng)，Transformer基準(zhǔn)系統(tǒng)的R-1，R-2和R-L得分均最高;并且在添加了冗余序列的信息之后，系統(tǒng)性能得到了進(jìn)一步地提升.相對(duì)于Transformer基準(zhǔn)系統(tǒng)，本文中的方法在每種評(píng)估指標(biāo)上的得分均增加了0.7個(gè)百分點(diǎn).在DUC2004數(shù)據(jù)上，該方法也在基準(zhǔn)系統(tǒng)上獲得了一定的提升.整體上講，該方法能夠獲得更加精準(zhǔn)、質(zhì)量更高的摘要文本.

表2 Gizaword與DUC2004英文測(cè)試上的實(shí)驗(yàn)結(jié)果

4.1.2 中文測(cè)試集結(jié)果

表3中列出了在LCSTS的中文數(shù)據(jù)上所嘗試的3個(gè)最新實(shí)驗(yàn)系統(tǒng)以及實(shí)驗(yàn)結(jié)果：Li等[22]2017年在RNN模型結(jié)構(gòu)的基礎(chǔ)上融入深度循環(huán)生成解碼器(deep recurrent generative decoder, DRGD)的結(jié)果;其在2018年提出運(yùn)用actor-critic框架[23]來增強(qiáng)RNN的訓(xùn)練過程得到的改進(jìn)結(jié)果;Lin等[12]在CNN模型結(jié)構(gòu)上提出全局編碼結(jié)構(gòu)(global encoding，GE)的結(jié)果.從表3可以看出，基準(zhǔn)系統(tǒng)Transformer模型取得了相當(dāng)高的ROUGE得分，在R-1評(píng)估標(biāo)準(zhǔn)下的得分達(dá)到了41.25%.在運(yùn)用了冗余序列信息之后，R-1 得分達(dá)到了41.99%，證明本文中的方法能夠進(jìn)一步改善摘要文本的準(zhǔn)確度.需要注意的是，以上的實(shí)驗(yàn)都是在基于字的數(shù)據(jù)上所作的嘗試.

表3 LCSTS的中文測(cè)試集結(jié)果

4.2 長(zhǎng)度分析

本實(shí)驗(yàn)進(jìn)一步測(cè)試了不同長(zhǎng)度的Gizaword英文測(cè)試集在新模型上的效果.經(jīng)過調(diào)研，Gizaword測(cè)試集中的源端句子長(zhǎng)度范圍主要是從10到90之間.因此，將句子長(zhǎng)度以10為單位進(jìn)行分組，得到了9個(gè)組.但是由于第8組和第9組的句子數(shù)量過少，將其合并到60+的區(qū)間內(nèi)，整合成為7組.如圖3所示的，在大部分區(qū)間內(nèi)，實(shí)驗(yàn)?zāi)Ｐ托Ч汲^了基準(zhǔn)模型的水平.尤其是在(20，30]內(nèi)，實(shí)驗(yàn)結(jié)果提升相當(dāng)明顯，R-L得分有超過1.2個(gè)百分點(diǎn)的提升.在句子長(zhǎng)度超過20的區(qū)間上，實(shí)驗(yàn)?zāi)Ｐ投极@得了一定的得分提升.

圖4 在不同句長(zhǎng)上的R-L的得分對(duì)比Fig.4 Comparison of R-L scores on different sentence lengths

4.3 質(zhì)量評(píng)估分析

在表4中，將由本實(shí)驗(yàn)方法所生成的摘要文本與基準(zhǔn)模型的摘要文本做了對(duì)比.

樣例文本如下：

樣例1：當(dāng)?shù)貢r(shí)間5日是史蒂夫·喬布斯去世兩周年忌日，公司現(xiàn)任CEO庫克向全體員工發(fā)布郵件懷念這位蘋果公司的精神領(lǐng)袖.與此同時(shí)，美國(guó)三大零售商集體開始對(duì)剛剛上市兩周的iPhone5C進(jìn)行優(yōu)惠促銷，兩年期的合約機(jī)最低售價(jià)降至45美元，跌幅過半.

樣例2：12月1日，印度高速鐵路公司董事長(zhǎng)阿格尼霍特里一行來國(guó)家鐵路局拜訪.發(fā)言人稱，印度鐵道部團(tuán)隊(duì)目前正在中國(guó)，預(yù)計(jì)會(huì)在本周簽署協(xié)議，中國(guó)將出資進(jìn)行可行性研究并完成報(bào)告.中印9月曾簽署諒解備忘錄.

第一個(gè)例子中的主要信息是“庫克發(fā)郵件懷念喬布斯，同時(shí)三大零售商降價(jià)合約機(jī)”.基準(zhǔn)系統(tǒng)關(guān)注了“合約機(jī)降價(jià)”方面，但是源文本的突出重點(diǎn)應(yīng)該是“懷念喬布斯”，基準(zhǔn)系統(tǒng)得到的摘要文本顯然沒有達(dá)到預(yù)期的效果，而關(guān)注了冗余信息.在使用了本實(shí)驗(yàn)中的模型之后，關(guān)注點(diǎn)聚焦在“懷念喬布斯”上.在第二個(gè)樣例中，主要內(nèi)容是“中國(guó)將對(duì)中印鐵路進(jìn)行可行性研究”.基準(zhǔn)系統(tǒng)還是注意到了“簽署諒解備忘錄”這個(gè)冗余信息，而本實(shí)驗(yàn)?zāi)Ｐ瓦€是著重了“中印鐵路的可行性研究”，這樣的摘要文本就達(dá)到了比較好的水平.

表4 摘要文本樣例對(duì)比

5 結(jié) 論

本文中主要提出了能夠區(qū)分冗余序列的Transformer的模型結(jié)構(gòu).該模型結(jié)合了抽象文本摘要的特征，在最新的Transformer結(jié)構(gòu)基礎(chǔ)上做了進(jìn)一步的拓展，新增了冗余序列解碼器以獲取源文本冗余信息.實(shí)驗(yàn)結(jié)果表明本文中所提出的模型架構(gòu)有效地提升了抽象文本摘要的水平，并且在中英文測(cè)試集上都取得了性能提升.

在目前的實(shí)驗(yàn)方法中，本文中僅考慮了冗余信息的抽象文本摘要，并未對(duì)相關(guān)信息做進(jìn)一步的研究.在未來的工作中，將考慮如何在模型中更充分地提取與源端相關(guān)信息以提升抽象文本摘要的性能.