張瑾暉，張紹武，林鴻飛，樊小超,2，楊 亮

(1.大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024；2.新疆師范大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，新疆 烏魯木齊 830054)

0 引言

幽默普遍存在于人們的日常交流中，是化解尷尬、活躍氣氛、促進(jìn)交流的重要手段，可以對人類身心健康產(chǎn)生積極的影響[1]。隨著人工智能的快速發(fā)展，如何讓計(jì)算機(jī)識別幽默，并進(jìn)一步識別幽默的等級成為了目前自然語言處理領(lǐng)域的研究熱點(diǎn)之一。幽默識別涉及認(rèn)知語言學(xué)、人工智能、心理學(xué)等多個學(xué)科，其研究能夠更好地促進(jìn)計(jì)算機(jī)對人類語言的理解。同時，幽默識別能夠賦予計(jì)算機(jī)從更深層次理解人類情感的能力，在機(jī)器翻譯和人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用。因此，幽默識別及幽默等級識別具有重要的理論研究價值和廣泛的應(yīng)用價值。

傳統(tǒng)的幽默識別通常是識別一個句子或段落是否具有幽默的含義[2-4]。許多研究表明，幽默具有連續(xù)性[4-6]。幽默等級識別，作為幽默識別任務(wù)的延伸，旨在根據(jù)幽默程度的不同將幽默文本劃分為不同的等級。Paulos[7]的研究表明，幽默文本通常能夠被劃分為“鋪墊”和“笑點(diǎn)”兩個部分，其中“鋪墊”一般先于“笑點(diǎn)”表述，是對背景和前提的交代，而“笑點(diǎn)”則是“鋪墊”的延續(xù)和反轉(zhuǎn)。Weller等[5]指出，對“鋪墊”和“笑點(diǎn)”兩部分語義及其關(guān)系的深入理解有助于幽默等級識別。表1展示了一個幽默文本及其鋪墊和笑點(diǎn)兩部分。

表1 幽默中的鋪墊和笑點(diǎn)

在表1中，幽默文本被劃分為兩個子句，子句1為“鋪墊”，子句2為“笑點(diǎn)”?！靶c(diǎn)”既對鋪墊中的“failure”做了補(bǔ)充說明，是“鋪墊”的延續(xù)，又使用“successful”與“鋪墊”中的“failure”形成反轉(zhuǎn)?！颁亯|”和“笑點(diǎn)”之間對立統(tǒng)一的關(guān)系使句子包含了一定程度的幽默。

現(xiàn)有的幽默識別與幽默等級識別研究通常分兩步進(jìn)行：首先基于幽默理論，設(shè)計(jì)并實(shí)現(xiàn)一系列的幽默特征；然后采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法或結(jié)合神經(jīng)網(wǎng)絡(luò)方法對幽默文本或幽默等級進(jìn)行識別。Weller等[5]采用基于Transformer的預(yù)訓(xùn)練模型對幽默等級進(jìn)行識別并取得了較好的效果。人工構(gòu)造特征耗時耗力，且難以對多樣性的幽默表達(dá)進(jìn)行全面表征，模型的泛化能力較弱?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型和預(yù)訓(xùn)練模型將“鋪墊”和“笑點(diǎn)”作為整體進(jìn)行建模，忽略了其獨(dú)立的語義信息和交互的關(guān)聯(lián)信息。此外，由于語言的細(xì)微差別可能造成幽默的程度不同，僅從單一的粒度提取幽默特征，模型的性能可能受到限制。

綜上所述，為了緩解幽默等級識別中的問題，本文提出了一種基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級識別方法。針對幽默語言多樣性的特點(diǎn)，采用了多種詞嵌入表示融合的方法對幽默文本進(jìn)行表征；針對幽默語義復(fù)雜性的特點(diǎn)，采用了局部語義交互理解模塊和全局語義交互理解模塊，分別從單詞粒度和子句粒度提取幽默文本的高維潛在語義特征；針對幽默中“鋪墊”和“笑點(diǎn)”的語義關(guān)聯(lián)特點(diǎn)，采用“交互型”的神經(jīng)網(wǎng)絡(luò)模型對二者的關(guān)聯(lián)信息進(jìn)行建模；最后對多粒度的語義特征和交互關(guān)聯(lián)特征進(jìn)行融合，并對幽默等級進(jìn)行識別。本文的貢獻(xiàn)有以下3點(diǎn):

(1)本文基于多種嵌入表示融合的幽默文本表示，提出了一種基于局部和全局語義理解的神經(jīng)網(wǎng)絡(luò)模型，分別從單詞級別和子句級別提取幽默文本特征。

(2)本文提出了一種基于交互語義關(guān)聯(lián)特征的神經(jīng)網(wǎng)絡(luò)模型，對幽默文本中“鋪墊”和“笑點(diǎn)”的關(guān)聯(lián)信息進(jìn)行建模以抽取幽默語義關(guān)聯(lián)特征。

(3)本文使用基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級識別方法，在Reddit公開幽默數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)。結(jié)果表明，本文方法能有效提升幽默等級識別的性能。

1 相關(guān)工作

作為日常生活中常見的語言現(xiàn)象，幽默理論研究歷史久遠(yuǎn)，基于幽默理論，幽默識別也有很多的研究成果，而幽默等級識別研究則剛剛起步。本節(jié)將從幽默理論、幽默識別和幽默等級識別三個方面總結(jié)前期的工作。

1.1 幽默理論

幽默理論對幽默等級識別研究具有重要的指導(dǎo)意義。在眾多幽默理論中，乖訛論被廣泛接受且具有深遠(yuǎn)的影響。乖訛論認(rèn)為幽默是人類對不協(xié)調(diào)事物的感知，當(dāng)事物的發(fā)展違背人們的常識和期望時，幽默就產(chǎn)生了[8]?；诠杂炚?，Raskin等[9]提出了第一個語言學(xué)意義上的幽默理論——腳本語義理論(Script Semantic Theory of Humor，SSTH)，該理論認(rèn)為語義對立是幽默產(chǎn)生的重要原因?；谝陨嫌哪碚?，Paulos等[7]將幽默分為“鋪墊”和“笑點(diǎn)”，認(rèn)為兩部分之間存在對立統(tǒng)一的關(guān)系。

1.2 幽默識別

傳統(tǒng)的機(jī)器學(xué)習(xí)方法被廣泛應(yīng)用于幽默識別領(lǐng)域。Yang等[10]從不一致性、歧義性、語音特性和人機(jī)交互特性四個方面提取幽默的語義特征，并采用了隨機(jī)森林方法識別幽默。Barbieri等[11]根據(jù)幽默問題的語音和歧義性特點(diǎn)，構(gòu)造了多種幽默特征。Zhang等[3]基于幽默的語言學(xué)理論，構(gòu)建50多種幽默特征并將它們劃分為五個類別。Liu等[12]提取了對話中的情感特征及情感關(guān)聯(lián)特征識別對話中的幽默。此外，他們對幽默文本中句法結(jié)構(gòu)特征進(jìn)行了深入的分析，并指出句法結(jié)構(gòu)和幽默文本具有高度的相關(guān)性[13]。

近年來，越來越多的深度學(xué)習(xí)方法被用于識別幽默。楊勇等[14]從音、形、義三個維度對幽默特征進(jìn)行建模，采用層次注意力機(jī)制對幽默進(jìn)行識別。Bertero等[15-16]由《生活大爆炸》中的文本和語音內(nèi)容構(gòu)建幽默數(shù)據(jù)集，采用長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)自動抽取文本語義特征，從而預(yù)測對話中的幽默。Baziotis等[17]利用注意力機(jī)制，更好地關(guān)注到句子中的特定單詞，從而提高了幽默識別的性能。Zhao等[18]提出了一種采用張量分解的方法提取幽默的語義特征。除了英文，研究者采用深度學(xué)習(xí)方法對西班牙文[19]和俄文[4]語料進(jìn)行了幽默識別。

1.3 幽默等級識別

幽默等級識別使計(jì)算機(jī)能夠理解哪些語義和語義關(guān)系使句子更加有趣。Westbury等[20]對單詞的幽默程度建模并對4 997個單詞的幽默程度進(jìn)行了評分。Hossain等[6]通過重新編輯新聞標(biāo)題使其變得更加幽默，并對編輯前后文本語義的幽默程度進(jìn)行了分析。Cattle等[21]將文本劃分為“鋪墊”和“笑點(diǎn)”兩個部分，并指出二者的語義相關(guān)性對文本的幽默等級具有顯著影響。此外，一些國際著名評測也將幽默等級識別任務(wù)作為評測主題[22]。

綜上所述，幽默理論為幽默等級識別的研究提供了理論基礎(chǔ)。此外，從不同粒度提取幽默文本中“鋪墊”和“笑點(diǎn)”的語義特征和語義關(guān)系特征有助于幽默等級識別性能的提升。

2 幽默等級識別方法

基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級識別方法主要包括兩個層次，語義的嵌入式表示層和交互語義特征提取層。交互語義特征提取層包括兩個部分: 局部語義交互理解模塊和全局語義交互理解模塊。

基于多粒度語義交互理解的神經(jīng)網(wǎng)絡(luò)(MSIU)模型如圖1所示。語義的嵌入式表示層能夠獲取幽默文本中“鋪墊”和“笑點(diǎn)”的高維潛在語義表示。首先為了更好地獲取不同詞嵌入表示的語義信息，融合多種詞嵌入表示對“鋪墊”和“笑點(diǎn)”中的單詞進(jìn)行表征；其次，為了獲取高維潛在語義表示，采用雙向長短時記憶網(wǎng)絡(luò)(Bi-directional LSTM，Bi-LSTM)分別提取“鋪墊”和“笑點(diǎn)”的語義信息并得到上下文表示。交互語義特征提取層將上下文表示作為輸入，從局部和全局兩個維度交互地提取“鋪墊”和“笑點(diǎn)”中的語義特征及兩者之間的語義關(guān)聯(lián)特征。局部語義交互理解模塊計(jì)算得到“鋪墊”中單詞語義表示和“笑點(diǎn)”中單詞語義表示的關(guān)聯(lián)信息，全局語義交互理解模塊計(jì)算“鋪墊”子句和“笑點(diǎn)”子句的關(guān)聯(lián)信息。最后對局部和全局信息進(jìn)行融合并對幽默等級進(jìn)行識別。

圖1 MSIN模型框架圖

2.1 語義的嵌入式表示層

幽默是一種復(fù)雜的語言現(xiàn)象，一詞多義等特征使得幽默特征表示和提取變得更加困難[10]。Xu等[23]指出領(lǐng)域內(nèi)和領(lǐng)域外的詞嵌入表示的融合有助于文本分類模型性能的提升。目前還沒有由幽默語料訓(xùn)練得到的詞嵌入表示，而大規(guī)模的詞嵌入表示，如GloVe[24]、BERT[25]等，一般是利用通用語料或者新聞?wù)Z料訓(xùn)練得到的。直接采用單一的詞嵌入表示往往使得幽默等級識別的性能欠佳。此外，“鋪墊”和“笑點(diǎn)”在幽默等級識別中發(fā)揮著不同的作用，將二者統(tǒng)一建模，不利于文本的幽默等級識別。因此，本文將幽默文本的“鋪墊”和“笑點(diǎn)”分別建模，采用多個領(lǐng)域詞嵌入表示進(jìn)行融合，并采用Bi-LSTM提取兩個部分的高維語義特征。

2.1.1 語義表示層

該層將“鋪墊”和“笑點(diǎn)”中的每個單詞映射到多個高維特征空間，并對其進(jìn)行融合以獲取有意義的語義表示。設(shè)幽默語句為W={ws1,ws2,…,wsM,wp1,…,wpN}，其“鋪墊”為WS={ws1,ws2,…,wsM}，“笑點(diǎn)”為WP={wp1,wp2,…,wpN}，其中，wi為語句中的任一單詞，M+N為句子總長度，M和N分別為“鋪墊”和“笑點(diǎn)”的長度。將幽默語句中每個單詞表示為K種低維稠密向量，并對同一單詞的多種向量進(jìn)行拼接，得到單詞的向量表示。則“鋪墊”的向量表示為XS={xs1,xs2,…,xsM}∈D×M，“笑點(diǎn)”的向量表示為XP={xp1,xp2,…,xpN}∈D×N，D是詞向量的維度，D=D1+D2+…+DK。

2.1.2 特征表示層

在該層中，模型利用Bi-LSTM分別提取“鋪墊”和“笑點(diǎn)”子句的語義特征，作為幽默文本的“鋪墊”和“笑點(diǎn)”的特征表示。LSTM[26]能夠?qū)ξ谋菊Z義上的長距離依賴關(guān)系進(jìn)行建模，而Bi-LSTM能夠從正反兩個方向提取潛在語義特征，并融合兩部分的語義信息。在每個時間步t，正向和反向LSTM對輸入詞向量xt的處理過程可以分別形式化地表示為：

特征表示層能夠得到幽默文本的潛在語義特征，記為H=[HS,HP]=[hs1,hs2,…,hsM,hp1,hp2,…,hpN]∈(M+N)×2h，其中，HS和HP分別是鋪墊和笑點(diǎn)的潛在語義表示。

2.2 交互語義特征提取層

Chen等[27]指出不同粒度的語義單元及其交互信息能夠有效地提高模型對文本語義的理解?！颁亯|”和“笑點(diǎn)”作為兩個語義單元，兩者在不同粒度上相互作用，鋪墊中單個詞語及鋪墊整體都會影響到笑點(diǎn)的語義表達(dá)，反之亦然。此外，Engelthaler等[28]指出不同單詞在句子中表現(xiàn)出不同的幽默程度。單詞的語義信息與語句的幽默等級具有一定的相關(guān)性。

為使神經(jīng)網(wǎng)絡(luò)模型能夠?qū)W習(xí)到單詞和句子的語義信息，并且能夠獲取“鋪墊”和“笑點(diǎn)”之間的關(guān)聯(lián)信息，本文采用局部語義交互理解模塊和全局語義交互理解模塊對來自上層的潛在語義表示做處理。

2.2.1 局部語義交互理解模塊

Yang等[10]研究發(fā)現(xiàn)，在幽默文本中，不同詞語的重要程度不同，當(dāng)刪除幽默文本中的某些詞語后，文本的幽默程度下降，甚至完全消失。本文采用局部語義交互理解模塊從單詞級別提取幽默文本的語義信息和語義關(guān)聯(lián)信息。局部語義交互理解模塊包括單詞級語義交互層和單詞級語義特征提取層。

單詞級語義交互層單詞級語義交互層使用軟對齊的方式獲取“鋪墊”和“笑點(diǎn)”的單詞粒度語義交互表示。具體地講，對來自特征表示層的“鋪墊”和“笑點(diǎn)”的潛在語義表示HS和HP，該層首先將兩者中每個單詞對應(yīng)向量兩兩之間做點(diǎn)乘，如式(3)所示。

(3)

可以得到“鋪墊”和“笑點(diǎn)”的相似度矩陣E={eij|i∈[1,M],j∈[1,N]}∈M×N，其中，eij表示“鋪墊”中第i個單詞和“笑點(diǎn)”中第j個單詞的相似度。

然后，該層以加權(quán)求和的形式求出“鋪墊”和“笑點(diǎn)”中每個單詞對應(yīng)的交互表示，如式(4)、式(5)所示。

由上面兩個式子可知，交互表示包括由“鋪墊”表示的笑點(diǎn)和由“笑點(diǎn)”表示的鋪墊，模型使用“鋪墊”或者“笑點(diǎn)”中所有向量的加權(quán)和來得到對方每個單詞的表示，以這種方式實(shí)現(xiàn)“鋪墊”和“笑點(diǎn)”的交互。

最后，模型融合每部分文本各自的潛在語義表示及交互表示，得到兩部分在該層的輸出，如式(6)、式(7)所示。

其中，LS∈M×8h、LP∈N×8h分別是“鋪墊”和“笑點(diǎn)”的單詞級語義交互表示。本文使用如下方法對每個單詞的潛在語義表示和交互表示進(jìn)行融合，如式(8)、式(9)所示。

其中，lsi、lpj∈8h。

單詞級語義交互特征提取層該層對單詞級交互信息進(jìn)一步抽象，獲取單詞級語義交互特征。首先，該部分分別將LS和LP經(jīng)過Bi-LSTM來提取單詞級交互表示的高層特征，計(jì)算過程如式(10)、式(11)所示。

其中，GS∈M×2h，GP∈N×2h。分別對GS和GP做平均池化和最大池化，并將池化獲得的四個向量拼接，最終得到幽默文本的局部語義交互特征向量v，計(jì)算過程如式(12)～式(14)所示。

2.2.2 全局語義交互理解模塊

Ma等[29]研究表明，對于文本中的不同語義單元，其單詞的含義會受到其他語義單元的影響?！颁亯|”和“笑點(diǎn)”作為幽默文本的兩個子句級語義單元，二者互相作用，對幽默等級識別產(chǎn)生重要影響。本文采用全局語義交互理解模塊從子句級別提取幽默文本的語義信息和語義關(guān)聯(lián)信息。全局語義交互理解模塊包括子句級語義歸納層和子句級語義交互層。

子句級語義歸納層該層分別對“鋪墊”和“笑點(diǎn)”子句的上下文表示(HS或者HP)做平均池化和最大池化，將兩部分拼接得到二者的歸納表示，如式(15)～式(18)所示。

得到的向量rs、rp通過全連接層把它們的維度投影到2h。

子句級語義交互層該層對“鋪墊”和“笑點(diǎn)”子句做交互，然后對交互信息進(jìn)一步抽象，以獲取全局的語義交互特征。首先，計(jì)算子句與各詞之間的交互權(quán)重，如式(19)、式(20)所示。

其中，OS∈M×2h，OP∈N×2h。

然后，通過加權(quán)求和的方式獲得兩個子句的交互特征，并最終得到全局語義交互特征向量u，如式(21)～式(23)所示。

其中，us、up∈2h分別是“鋪墊”和“笑點(diǎn)”的子句級別交互特征，將兩者拼接得到u。

2.3 幽默等級識別層

該層由全連接層及softmax層組成。首先將局部和全局語義信息進(jìn)行融合，然后通過全連接層和softmax層，得到幽默等級的概率分布，計(jì)算如式(24)、式(25)所示。

其中，T∈12h，humorcls∈C是概率分布，C是幽默等級數(shù)量。本文采用交叉熵作為損失函數(shù)，其形式化表示如式(26)所示。

(26)

3 實(shí)驗(yàn)結(jié)果

本節(jié)首先介紹了實(shí)驗(yàn)數(shù)據(jù)、評價指標(biāo)、實(shí)驗(yàn)設(shè)置和基線方法，然后對比了基線方法和本文提出的MSIN方法的幽默等級識別性能，最后通過實(shí)驗(yàn)分析了本文方法的有效性。

3.1 實(shí)驗(yàn)數(shù)據(jù)與評價指標(biāo)

Reddit數(shù)據(jù)集：該數(shù)據(jù)集由Weller等[5]構(gòu)建。幽默語句來自Reddit中帶有“humor”標(biāo)簽的文本，采用眾包方式對幽默語句的“鋪墊”和“笑點(diǎn)”進(jìn)行了標(biāo)注，且對幽默語句的強(qiáng)弱進(jìn)行了人工標(biāo)注。數(shù)據(jù)集規(guī)模詳見表2。

表2 Reddit幽默數(shù)據(jù)集統(tǒng)計(jì)信息

評價指標(biāo)：為了便于和基線方法進(jìn)行比較，本文采用了被廣泛接受并應(yīng)用于文本分類任務(wù)中的精確率(Acc)、準(zhǔn)確率(P)、查全率(R)和F1 Score(F1)作為評價指標(biāo)。

3.2 實(shí)驗(yàn)設(shè)置

詞嵌入：在訓(xùn)練過程中，詞嵌入表示分別采用了Glove(1)https://nlp.stanford.edu/projects/glove/以及Word2Vce(2)https://code.google.com/archive/p/word2vec/[30]，維度均為300，詞嵌入在訓(xùn)練的過程中固定。對未登錄詞使用(-0.01,0.01)上的平均分布隨機(jī)初始化。

超參數(shù)：在實(shí)驗(yàn)中，設(shè)置L2正則化項(xiàng)的超參數(shù)λ=10-5，Bi-LSTM的神經(jīng)元個數(shù)為128，CNN三個卷積核的尺寸分別為2、3和5，優(yōu)化方法為Adam[31]，Batch大小為64，dropout為0.5。為了防止過度擬合，在訓(xùn)練過程中使用了學(xué)習(xí)率衰減和早停機(jī)制。為了便于和基線模型對比，采用了Weller等[5]對數(shù)據(jù)的劃分。

3.3 基線方法

本文使用下述基線方法進(jìn)行對比實(shí)驗(yàn)：

?Human[5]：人工預(yù)測結(jié)果。

?CNN[5]：采用CNN自動提取幽默語句的潛在語義特征并進(jìn)行幽默等級識別。

?CNN[32]：本文復(fù)現(xiàn)的基于CNN的方法，使用3種不同尺寸卷積核的CNN提取幽默文本特征進(jìn)行幽默等級識別。

?LSTM[26]：使用LSTM提取幽默特征并進(jìn)行幽默等級識別。

?Bi-LSTM-Attention：使用雙向LSTM和注意力機(jī)制提取幽默文本特征，并對幽默等級進(jìn)行識別。

?Transformer[5]：使用基于Transformer結(jié)構(gòu)[33]的預(yù)訓(xùn)練模型對幽默文本整體做特征提取，以進(jìn)行幽默等級識別。

?BERT[25]：本文復(fù)現(xiàn)的基于BERT方法的結(jié)果，在任務(wù)語料上做微調(diào)，然后進(jìn)行幽默等級識別。

?ESIM[27]：只基于局部語義交互信息進(jìn)行幽默等級識別。

?MSIN：本文提出的多粒度語義交互理解網(wǎng)絡(luò)，綜合使用語義嵌入、局部語義交互和全局語義交互進(jìn)行幽默等級識別。

3.4 實(shí)驗(yàn)結(jié)果分析

本文在Reddit數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3所示。表格整體分為三部分，第一部分為人工進(jìn)行幽默等級識別的結(jié)果；第二部分采用之前研究的通用方法，將幽默等級識別視作文本分類任務(wù)，把幽默文本整體編碼后進(jìn)行分類；第三部分基于本文觀點(diǎn)，將幽默等級識別任務(wù)視作自然語言推理任務(wù)，把幽默文本劃分為“鋪墊”和“笑點(diǎn)”兩個語義部分，以這兩部分作為模型的輸入，使用表示型模型或交互型模型預(yù)識別文本蘊(yùn)含的幽默等級。

表3 Reddit數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

在第二部分，本文使用的CNN與Weller等[5]的CNN結(jié)果相近，且兩者均取得了明顯好于人工預(yù)測的結(jié)果，證明了神經(jīng)網(wǎng)絡(luò)在幽默等級識別上的有效性。然而CNN由于卷積核尺寸固定，難以捕獲長距離的語義關(guān)系，這對需要充分理解上下文的幽默等級識別任務(wù)是不利的。相比CNN，LSTM使用隱態(tài)向量捕獲句子在長距離上的語義關(guān)系，可對時間序列進(jìn)行有效建模，在數(shù)據(jù)集上取得了好于CNN的結(jié)果。然而LSTM是有偏倚的模型，后送入模型的信息會比先送入模型的信息擁有更大的權(quán)重，因此文本又使用Bi-LSTM+Attention進(jìn)行改進(jìn)。一方面，BiLSTM可以編碼句子從前到后和從后到前兩個方向上的信息，獲取的特征更豐富;另一方面，Attention將所有時間步上的隱態(tài)向量賦予權(quán)重，讓模型關(guān)注在文本分類過程中起關(guān)鍵作用的部分，緩解了由于LSTM的偏倚性造成的信息損失，因此模型相比LSTM取得了更好的結(jié)果。最后，本文使用BERT識別文本的幽默等級，其結(jié)果與Weller等[5]使用Transformer的結(jié)果相近，并且兩者均明顯優(yōu)于之前的模型。

本文第三部分分別使用表示型和交互型兩類模型進(jìn)行幽默等級識別。

表示模型分別將“鋪墊”和“笑點(diǎn)”編碼為向量，然后將兩向量與它們之間作差及點(diǎn)乘的結(jié)果拼接以捕獲兩部分的關(guān)系，最后基于拼接后的向量進(jìn)行分類。為方便與第一部分的結(jié)果做比較，本文仍采用CNN、LSTM、Bi-LSTM-Attention和BERT四個模型。首先做內(nèi)部比較，可以發(fā)現(xiàn)四個模型的結(jié)果依次遞增，與第一部分的趨勢保持一致；其次將表示模型與第一部分比較，發(fā)現(xiàn)四個模型的結(jié)果均高于第一部分中對應(yīng)的模型，證明將幽默文本拆分為“鋪墊”和“笑點(diǎn)”兩部分，并讓模型學(xué)習(xí)兩部分之間的關(guān)系信息，有助于幽默等級的識別。

在交互模型部分，本文使用ESIM與本文提出的MSIN進(jìn)行比較。ESIM通過計(jì)算兩部分文本之間單詞的相似度矩陣來構(gòu)建局部語義交互表示，并以此來推斷前后文本的關(guān)系，在沒有大量預(yù)訓(xùn)練知識的情況下，取得了略低于BERT的結(jié)果。本文提出的MSIN綜合考慮交互過程中局部和全局語義信息的影響，取得了好于ESIM的最優(yōu)結(jié)果。

因此可以證明，相比表示模型，交互模型可以更好地捕捉到“鋪墊”和“笑點(diǎn)”之間的關(guān)系；本文提出的多粒度語義交互理解模型融合單詞和子句兩個級別的交互信息，在幽默等級識別任務(wù)上取得了提升。

同時，本文進(jìn)行消融實(shí)驗(yàn)，證明了詞向量融合及多粒度交互兩個結(jié)構(gòu)的有效性，實(shí)驗(yàn)結(jié)果分別見表4和表5。表4前兩行分別為只使用Glove和只使用Word2Vec的結(jié)果，第三行是使用融合詞向量的結(jié)果，可以發(fā)現(xiàn)，融合之后效果更佳。表5前兩行分別為只使用單詞和子句交互的結(jié)果，第三行為融合兩個粒度進(jìn)行交互的結(jié)果，可以發(fā)現(xiàn)，多粒度交互網(wǎng)絡(luò)取得了最優(yōu)結(jié)果。

表4 不同詞向量使用方式結(jié)果比較

表5 不同粒度實(shí)驗(yàn)結(jié)果比較

4 結(jié)論

本文將幽默文本劃分為“鋪墊”和“笑點(diǎn)”兩部分，發(fā)現(xiàn)對兩者之間的關(guān)系進(jìn)行建?？梢燥@著提升模型識別幽默等級的性能?；谶@個觀點(diǎn)，首先，本文在融合多種嵌入表示的基礎(chǔ)上，從局部和全局兩個粒度來對幽默中的語義關(guān)系進(jìn)行理解和建模。其次，本文對幽默中“鋪墊”和“笑點(diǎn)”兩部分的關(guān)聯(lián)信息做交互建模，從而實(shí)現(xiàn)充分挖掘“鋪墊”和“笑點(diǎn)”之間的關(guān)系。最后，本文在Reddit幽默數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，取得了最優(yōu)結(jié)果，同時結(jié)合消融實(shí)驗(yàn)證實(shí)了模型設(shè)計(jì)的有效性。未來工作中，我們將在幽默文本自動切分及基于“鋪墊”的“笑點(diǎn)”文本生成方面做更多的探索。