摘 要：對話關(guān)系抽取旨在預(yù)測對話文本中的實體對之間的關(guān)系。在多方對話場景中，由于角色信息的不確定性，傳統(tǒng)的實體關(guān)系抽取方法面臨準(zhǔn)確性挑戰(zhàn)。針對角色信息不明的問題，模型構(gòu)建了對話文本異構(gòu)圖，以捕捉多方對話的復(fù)雜結(jié)構(gòu)。此外，為了有效處理不同對話輪次中的說話者信息，引入了長短時記憶網(wǎng)絡(luò)進行特征處理，并將這些特征嵌入到相應(yīng)的句子節(jié)點中。在DialogRE數(shù)據(jù)集上的實驗顯示，該模型展現(xiàn)了出色的性能，具體體現(xiàn)在F1和F1c分別達(dá)到了66.8%和62.2%，從而驗證了其優(yōu)越性。

關(guān)鍵詞：關(guān)系抽??；多方對話；角色信息；異構(gòu)圖

中圖分類號：TP391.1 文獻標(biāo)識碼：A 文章編號：2096-4706（2024）15-0042-05

Multi-party Dialogue Entity Relation Extraction Incorporating Speaker Position Heterogeneous Graph

ZHENG Siyuan

（School of Computer Science and Mathematics， Fujian University of Technology， Fuzhou 350118， China）

Abstract： Dialogue Relation Extraction aims to predict the relationship between entity pairs in dialogue texts. In multi-party dialogue scenarios， traditional methods of entity relation extraction face accuracy challenges due to the uncertainty of role information. To address the issue of unclear role information， the model constructs a heterogeneous graph of dialogue texts to capture the complex structure of multi-party dialogue. Moreover， in order to handle the speaker information effectively in different rounds of dialogue， the Long Short-Term Memory network is introduced for feature processing and these features are embedded into the corresponding sentence nodes. Experiments on the DialogRE dataset demonstrate the outstanding performance of model， specifically reflected in achieving F1 and F1c scores of 66.8% and 62.2% respectively， thus confirming its superiority.

Keywords： relation extraction; multi-party dialogue; role information; heterogeneous graph

0 引 言

對話關(guān)系抽取是自然語言處理領(lǐng)域的一項關(guān)鍵任務(wù)，隨著社交媒體和在線對話數(shù)據(jù)的爆炸性增長，人們在互聯(lián)網(wǎng)上的廣泛互動，對話成為人們表達(dá)觀點、分享信息和建立聯(lián)系的主要方式。社交媒體平臺上海量的對話數(shù)據(jù)，蘊含了人們的思想、情感和互動方式。但由于其碎片化、非結(jié)構(gòu)化的特性，要想從中準(zhǔn)確抽取有意義的對話關(guān)系變得復(fù)雜而具有挑戰(zhàn)性。因此，對話關(guān)系抽取成為研究者們關(guān)注的焦點之一[1]。在這一領(lǐng)域研究中，Yu等人提供了DialogRE對話數(shù)據(jù)集[2]。該數(shù)據(jù)集致力于對話關(guān)系抽取任務(wù)并提供真實場景的數(shù)據(jù)，為研究者提供了一個豐富的對話語境，涵蓋了多個領(lǐng)域和主題。通過引入對話關(guān)系標(biāo)注，使得研究者能夠更全面地理解對話中實體之間的關(guān)系，并推動了該領(lǐng)域的研究進展。研究者利用DialogRE數(shù)據(jù)集進行模型訓(xùn)練和評估，探索了不同深度學(xué)習(xí)架構(gòu)、圖神經(jīng)網(wǎng)絡(luò)以及預(yù)訓(xùn)練模型在對話關(guān)系抽取任務(wù)上的性能。

對話關(guān)系抽取面臨的主要困難在于多方對話中涉及多個說話者，每位說話者可能在對話中扮演提問者或回答者的角色，而且其角色在對話過程中可能頻繁轉(zhuǎn)變。這種非線性的交互模式使得關(guān)系抽取任務(wù)更加具有挑戰(zhàn)性，因為不同說話者在不同語境中表達(dá)觀點或提出問題，需要模型能夠靈活地捕捉這種復(fù)雜的關(guān)系。傳統(tǒng)的問答格式無法很好地適應(yīng)這種多樣性和靈活性，因此需要更全面且適應(yīng)性強的模型來準(zhǔn)確地抽取對話中實體之間的關(guān)系。在此背景下，融合說話者位置信息異構(gòu)圖的對話實體關(guān)系抽取模型提供了一種有效的解決方案，能夠更全面地考慮多方對話中的說話者多樣性和角色變化。

1 相關(guān)工作

近年來對話實體關(guān)系抽取任務(wù)的研究主要集中在基于圖神經(jīng)的模型構(gòu)建。Xue等人[3]通過將對話文本構(gòu)建為高斯多視圖，捕捉對話文本中詞語之間可能存在的關(guān)系。由于多視圖的初始構(gòu)建為全連接圖，模型缺乏理解上下文能力。Ghosal等人[4]提出了對話關(guān)系圖卷積模型，通過將對話信息構(gòu)建為圖節(jié)點，利用圖卷積對關(guān)系圖聚合對話有關(guān)聯(lián)中的對話信息。王琪琪等人[5]考慮到對話中不同輪次語句的差別，根據(jù)對話的特點構(gòu)建情景對話圖。將對話句子作為圖節(jié)點，節(jié)點之間邊的權(quán)重通過句子間距離決定。Lin等人[6]通過對觸發(fā)詞的預(yù)測提高關(guān)系抽取能力，引入注意力機制關(guān)注文本的關(guān)鍵信息和觸發(fā)詞信息。自彥丞等人[7]針對對話關(guān)系抽取任務(wù)中的關(guān)系重疊的問題，引入動態(tài)機制利用觸發(fā)詞信息進行推理。Duan等人[8]通過自適應(yīng)觸發(fā)詞融合模塊和標(biāo)簽感知知識的引入，利用觸發(fā)詞信息避免噪聲引入，有效提升標(biāo)簽感知引導(dǎo)對話實體關(guān)系抽取。然而現(xiàn)有的對話關(guān)系抽取方法大多忽視了對話參與者的角色信息，限制了對復(fù)雜對話結(jié)構(gòu)的深入理解。隨著對話場景的多樣化和開放性的增加，多方對話中涉及的角色信息變得復(fù)雜和不明確。在多輪對話中，經(jīng)常出現(xiàn)同一實體在不同輪次中具有不同的說話者標(biāo)識，或者同一說話者在不同輪次中涉及不同的實體關(guān)系。這種多方對話中的角色信息不明確使得現(xiàn)有大多模型在這類場景下表現(xiàn)欠佳。Ishiwatari等人[9]在關(guān)系圖上進行改進，在圖上加入說話者信息并通過圖注意力機制對關(guān)系圖進行處理，保留說話者信息，提升模型的上下文理解能力。Lee等人[10]通過引入對話輪次上下文感知機制，編碼說話者信息并采用多頭注意力提取輪次表示，考慮輪次節(jié)點和說話者聯(lián)系的序列特性構(gòu)建異構(gòu)對話圖，模型的性能取得提升。徐洋等人[11]使用圖注意力網(wǎng)絡(luò)模型，通過構(gòu)建說話者節(jié)點并將外部數(shù)據(jù)源與人物指代信息相融合，以提升關(guān)系抽取的準(zhǔn)確度。

2 模型設(shè)計

本文介紹的模型主要包括對話信息提取和異構(gòu)圖神經(jīng)網(wǎng)絡(luò)兩個關(guān)鍵部分，如圖1所示，首先利用BERT（Bidirectional Encoder Representations from Transformers）[12]提取對話文本及參與者信息，以此來把握上下文含義并識別說話者身份，同時捕捉其隨時間變化的序列依賴性。這一過程結(jié)合了BERT模型和LSTM（Long Short-Term Memory）的優(yōu)勢，有效地整合了對話內(nèi)容和說話者信息。接下來，基于這些提取的信息，構(gòu)建了一個對話異構(gòu)圖，進而采用異構(gòu)圖卷積網(wǎng)絡(luò)來分析文本中的實體及其之間的復(fù)雜關(guān)系。通過這種方式，模型綜合考慮了文本內(nèi)容和說話者角色，為分類任務(wù)提供了一個全面的視角，從而能夠更準(zhǔn)確地抽取和識別對話中的實體關(guān)系。

2.1 對話信息提取

本節(jié)詳細(xì)闡述了兩種不同的編碼策略，旨在有效處理涉及多個參與者的對話文本。這兩種策略分別從各自獨特的角度提取對話內(nèi)容的特征以及說話者的信息，進而促進了對話文本的深入分析和理解。

2.1.1 對話文本信息

本文采用BERT模型作為文本編碼器，旨在從對話文本中提取關(guān)鍵特征。將對話視為一系列相互關(guān)聯(lián)的交流輪次，每輪包括一個參與者及其發(fā)言，表示為D = {Sp1：u1，Sp2：u2，…，Spn：un｝。這種結(jié)構(gòu)化的表示有助于捕捉對話的流動性和復(fù)雜性。研究的核心目標(biāo)在于利用這種對話結(jié)構(gòu)來預(yù)測兩個實體之間可能存在的聯(lián)系。為此，將其輸入編碼為X1 = {[CLS]D[SEP]a1[SEP]a2[SEP]｝，不僅包括了對話文本本身，還將對話中提到的兩個實體（a1，a2）整合在一起。為了模型可以區(qū)分對話內(nèi)容和實體信息，采用[CLS]和[SEP]標(biāo)記。[CLS]用于分類任務(wù)開始，[SEP]分隔對話內(nèi)容和實體信息。將編碼輸入到Bert模型中獲得文本向量表示，如式（1）所示：

（1）

其中E ∈ RN×d為經(jīng)過BERT編碼后的文本詞嵌入，e為每個標(biāo)記的向量表示。N為X1中所含元素的總個數(shù)，d為BERT輸出向量維度。t為D中標(biāo)記總數(shù)。

2.1.2 說話者信息

以圖1為例，本部分著重于在處理對話文本時捕捉說話者信息的方法。具體操作中，首先對對話文本中的每個說話者進行編碼，生成一個特定的輸入編碼X2 = {[S1][S2][S3][S1][S3][S2]｝。然后，這個輸入編碼被作為輸入數(shù)據(jù)傳遞給BERT模型進行處理。通過這種方式，模型能夠在分析對話內(nèi)容的同時，有效地識別并理解說話者的角色和特性，如式（2）所示：

（2）

為了更深入地挖掘和利用時間序列數(shù)據(jù)中的信息，采取了對輸出向量進行LSTM處理的策略。通過將LSTM網(wǎng)絡(luò)引入到處理流程中，理解說話者在不同順序輪次的狀態(tài)，揭示出說話者序列數(shù)據(jù)中的深層次模式和關(guān)聯(lián)，獲得說話者向量表示S。具體如式（3）所示：

（3）

2.2 對話異構(gòu)圖

異構(gòu)圖方法在對話文本的實體關(guān)系抽取中通過融合多樣節(jié)點和邊，優(yōu)化了實體及其關(guān)系的表示，提高了信息檢索和圖推理效率。這種方法支持多任務(wù)學(xué)習(xí)，改善少樣本性能，增強模型解釋性，為實體關(guān)系的理解和處理提供了有效的方案。

2.2.1 節(jié)點構(gòu)建

在構(gòu)建異構(gòu)圖以分析和預(yù)測對話文本中的實體信息時，采用了一種包含四種類型節(jié)點的異構(gòu)圖模型。具體而言，本模型由對話輪次節(jié)點、關(guān)系特征節(jié)點、全局信息節(jié)點和實體節(jié)點組成。

對話輪次節(jié)點用于表示對話中的每個輪次，即一個說話者的完整表述。這些節(jié)點捕獲對話特定時刻的信息，幫助理解對話的進展和上下文。節(jié)點特征由文本的詞嵌入向量平均值和說話者信息拼接而成，經(jīng)過線性層降維處理，如式（4）和式（5）所示：

（4）

其中，en為第i輪次中第n個詞的向量，m為這個輪次中詞的總數(shù)，Si為輪次i的說話者，hi為這輪次的整體語義特征的一個簡單表示。

關(guān)系特征節(jié)點代表實體節(jié)點間的潛在關(guān)系特征，揭示實體如何相互作用和關(guān)聯(lián)，增強模型對實體間交互的理解。這些節(jié)點通過多視圖卷積構(gòu)建，捕捉實體對的潛在關(guān)系，并使用GDPnet模型[3]獲取這些特征，如式（5）所示：

（5）

全局信息節(jié)點hg是對話文本的整體信息的代表，它融合了文檔級別的語義和結(jié)構(gòu)特征，在模型中發(fā)揮關(guān)鍵作用。使用[CLS]標(biāo)簽的特征ecls作為代表，增強了模型對整體對話脈絡(luò)和主題的理解和處理。

實體節(jié)點表示在對話文本中所需預(yù)測的實體信息。這些節(jié)點是模型預(yù)測工作的焦點，通過分析這些節(jié)點與其他類型節(jié)點的關(guān)系和互動，模型能夠有效地識別和預(yù)測對話中的關(guān)鍵實體及其屬性。為了表示這些實體節(jié)點，模型采用了特定的特征ea1和ea2作為he1和he2。

2.2.2 邊構(gòu)建

在構(gòu)建異構(gòu)圖時，重點關(guān)注對話輪次節(jié)點、全局信息節(jié)點和實體節(jié)點，以及關(guān)系特征節(jié)點。這些節(jié)點通過邊相連，邊代表了節(jié)點間的關(guān)系和交互，是理解圖的關(guān)鍵。具體來說：對話輪次節(jié)點與全局信息節(jié)點的連接映射了對話輪次與整體對話內(nèi)容的關(guān)系，揭示每個對話輪次在整個對話中的作用和地位。實體節(jié)點與對話輪次節(jié)點的連接表示實體在特定對話輪次中的參與和作用，這有助于理解實體在對話流中的位置和語境。實體節(jié)點與關(guān)系特征節(jié)點的連接通過特定的關(guān)系或?qū)傩载S富實體的語義表示，捕捉實體間的復(fù)雜關(guān)系。

2.2.3 異構(gòu)圖卷積網(wǎng)絡(luò)

異構(gòu)圖卷積網(wǎng)絡(luò)HGCN（Heterogeneous Graph Convolutional Networks）是一種處理具有多種類型節(jié)點和邊的圖的神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)能夠捕獲圖中不同類型的節(jié)點和邊之間的復(fù)雜關(guān)系。對于每種類型的邊，執(zhí)行圖卷積操作。如式（6）所示：

（6）

其中，l為異構(gòu)圖層數(shù)，Nr（v）為節(jié)點v在關(guān)系類型r下的鄰居節(jié)點集合，R為邊的關(guān)系類型集合， 為關(guān)系類型r在第l層的權(quán)重矩陣，σ為非線性激活函數(shù)。

將不同類型邊的卷積結(jié)果通過簡單的求和平均聚合起來，以更新每個節(jié)點的特征表示，如式（7）所示：

（7）

其中| R |為邊的類型總數(shù)，這種方法在聚合時考慮了各類型邊的平均貢獻。重復(fù)式（6）和式（7），通過多層卷積來捕獲更高階的鄰域信息。最后一層卷積的輸出用于預(yù)測對話實體對關(guān)系。

2.3 分類層

異構(gòu)圖卷積操作能夠捕獲整個圖結(jié)構(gòu)中的關(guān)鍵信息，通過綜合這些不同的信息并采用拼接操作，將這些特征向量合并成一個長向量送入到全連接網(wǎng)絡(luò)中進行分類，如式（8）和式（9）所示：

（8）

（9）

3 實驗與分析

3.1 數(shù)據(jù)集與評價指標(biāo)

DialogRE數(shù)據(jù)集是一個專為對話關(guān)系抽取任務(wù)構(gòu)建的數(shù)據(jù)集，該數(shù)據(jù)集涵蓋了來自《老友記》的1 788個對話片段，總共標(biāo)注了10 168個關(guān)系三元組，定義了37種實體關(guān)系，包括36個具體實體類別和一個表示無法確定具體類別的“un-answerable”類別。該數(shù)據(jù)集中包含了來自對話文本的實體關(guān)系三元組，其中實體是對話參與者，關(guān)系是他們之間的關(guān)聯(lián)，每個對話都被注釋為包含一系列關(guān)系事實，數(shù)據(jù)集詳細(xì)信息如表1所示。

實驗沿用DialogRE數(shù)據(jù)集中的評價指標(biāo)F1和F1c。其中，F(xiàn)130e697d4866799d6ce498e8a06ad1ae3f5177fec40d8e3ed8e513cef8162d831是常見的評價指標(biāo)，用于衡量模型的準(zhǔn)確性。F1c是DialogRE數(shù)據(jù)集特有的一個評價指標(biāo)，是對F1評價指標(biāo)的一個擴展，用于更細(xì)致地評估模型在處理復(fù)雜對話場景中的性能。

3.2 實驗訓(xùn)練

本文實驗采用PyTorch 1.4.0框架，在配備Tesla T4 GPU的服務(wù)器環(huán)境下進行模型訓(xùn)練與測試。為了優(yōu)化模型性能，選擇BertAdam優(yōu)化器，并將訓(xùn)練周期定為20次。在每個訓(xùn)練周期中，模型處理的數(shù)據(jù)批量大小設(shè)定為12個樣本，學(xué)習(xí)率設(shè)置為3×10-5。為了進一步優(yōu)化訓(xùn)練效果，采取了梯度累計策略，梯度累計步數(shù)為2，以減少內(nèi)存消耗同時保持訓(xùn)練效率。同時，模型中引入了兩層異構(gòu)圖結(jié)構(gòu)，以增強模型處理復(fù)雜數(shù)據(jù)結(jié)構(gòu)的能力，從而提高模型的整體性能和準(zhǔn)確率，模型訓(xùn)練迭代在驗證集和測試集的F1和F1c值變化如圖2所示。

3.3 實驗結(jié)果分析

模型性能對比如表2所示，在DialogRE數(shù)據(jù)集的測試集上，模型在F1和F1c指標(biāo)上都表現(xiàn)出色，分別達(dá)到了66.8和62.2。與此同時，將模型性能與其他先進的模型進行比較。

首先，與TLAG模型相比，本文模型在F1指標(biāo)上提高了0.2，而在F1c指標(biāo)上提高了1.4。這表明本文方法在捕捉關(guān)系信息方面更為優(yōu)越，特別是在處理復(fù)雜關(guān)系時表現(xiàn)出色。這種提升可以歸因于在模型中引入了一些規(guī)則來構(gòu)建關(guān)系異構(gòu)圖，并強調(diào)了角色信息的重要性。此外，與CGCN和TUCORE這兩個同樣采用異構(gòu)圖的模型相比，模型也表現(xiàn)出了顯著的優(yōu)勢。CGCN模型在F1指標(biāo)上只達(dá)到了58.1，而TUCORE模型在F1c指標(biāo)上只達(dá)到了60.2，這進一步突顯了該模型在處理DialogRE數(shù)據(jù)集中的關(guān)系抽取任務(wù)時的卓越性能?？偟膩碚f，通過引入關(guān)系異構(gòu)圖和關(guān)注角色信息，模型在DialogRE數(shù)據(jù)集上取得了良好成績，優(yōu)于其他先進的模型。這個結(jié)果強調(diào)了在關(guān)系抽取任務(wù)中考慮關(guān)系之間的復(fù)雜性和角色信息的重要性。

為了探究對話文本信息和說話者信息對模型性能的貢獻，設(shè)計了一系列消融實驗，結(jié)果如表3所示。實驗結(jié)果揭示了說話者信息的融入對模型準(zhǔn)確度的影響，具體來說，當(dāng)從模型中剔除說話者信息后，模型的F1得分下降到66.2%，而在考慮類別平衡的F1c得分也降低到61.8%。這表明說話者信息在理解對話文本中扮演了重要角色，有助于提升模型的預(yù)測準(zhǔn)確性。進一步地，實驗還考察了關(guān)系特征節(jié)點的移除對性能的影響，結(jié)果顯示F1c得分顯著下降了1.7%。這一結(jié)果強調(diào)了關(guān)系特征在捕捉對話中細(xì)微關(guān)系動態(tài)方面的重要性，進而對模型整體性能產(chǎn)生顯著影響。最后，全局信息的缺失對模型性能有著最顯著的負(fù)面影響，其中F1和F1c得分分別下降了1%和0.9%。這表明全局信息在提供對話上下文和增強模型理解能力方面的關(guān)鍵作用。

4 結(jié) 論

本文提出了一種針對多方對話中實體關(guān)系抽取模型，通過構(gòu)建異構(gòu)圖，將對話中的實體、說話者、關(guān)系特征及全局信息有效地結(jié)合在一起，從而更好地捕捉對話中的實體關(guān)系。此外，長短時記憶網(wǎng)絡(luò)的引入進一步增強了模型對于不同對話輪次中說話者信息的處理能力，使模型能夠更準(zhǔn)確地識別和理解對話中的實體關(guān)系。實驗結(jié)果表明，模型在DialogRE數(shù)據(jù)集上優(yōu)于當(dāng)前先進的方法，證明了模型在處理多方對話關(guān)系抽取任務(wù)時的有效性和優(yōu)越性。未來的研究可以進一步探索異構(gòu)圖和深度學(xué)習(xí)技術(shù)在其他自然語言處理任務(wù)中的應(yīng)用，以提高模型的通用性和效率。此外，考慮到對話數(shù)據(jù)的多樣性和復(fù)雜性，開發(fā)更高效的算法來處理大規(guī)模對話數(shù)據(jù)集也是未來工作的重要方向。

參考文獻：

[1] 陸亮，孔芳.面向?qū)υ挼娜谌虢换バ畔⒌膶嶓w關(guān)系抽取 [J].中文信息學(xué)報，2021，35（8）：82-88+97.

[2] YU D，SUN K，CARDIE C，et al. Dialogue-based Relation Extraction [C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics，2020：4927-4940.

[3] XUE F Z，SUN A X，ZHANG H，et al. GDPNet： Refining Latent Multi-view Graph for Relation Extraction [J/OL].arXiv：2012.06780 [cs.CL].（2020-12-12）.https：//arxiv.org/abs/2012.06780.

[4] GHOSAL D，MAJUMDER N，PORIA S，et al. DialogueGCN： A Graph Convolutional Neural Network for Emotion Recognition in Conversation [J/OL].arXiv：1908.11540 [cs.CL].（2019-08-30）.https：//arxiv.org/abs/1908.11540.

[5] 王琪琪，李培峰.基于GCN的多人對話實體關(guān)系抽取方法 [J].中文信息學(xué)報，2023，37（5）：80-87.

[6] LIN P W，SU S Y，CHEN Y N. TREND： Trigger-enhanced Relation-extraction Network for Dialogues [J/OL].arXiv：2108.13811 [cs.CL].（2021-08-31）.https：//arxiv.org/abs/2108.13811v1.

[7] 自彥丞，李衛(wèi)疆.TDGCN：觸發(fā)器增強的兩階段動態(tài)圖卷積網(wǎng)絡(luò)的對話關(guān)系抽取研究 [J].小型微型計算機系統(tǒng).

[8] DUAN G D，DONG Y R，MIAO J Y，et al. Position-aware Attention Mechanism-based Bi-graph for Dialogue Relation Extraction [J].Cognitive Computation，2023，15（1）：359-372.

[9] ISHIWATARI T，YASUDA Y，MIYAZAKI T，et al. Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations [C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing（EMNLP）.online：Association for Computational Linguistics，2020：7360-7370.

[10] LEE B，CHOI Y S. Graph Based Network with Contextualized Representations of Turns in Dialogue [J/OL].arXiv：2109.04008 [cs.CL].（2021-09-09）.https：//arxiv.org/abs/2109.04008v1.

[11] 徐洋，蔣玉茹，張禹堯，等.融合角色指代的多方對話關(guān)系抽取方法研究 [J].北京大學(xué)學(xué)報：自然科學(xué)版，2022，58（1）：13-20.

[12] DEVLIN J，CHANG M-W，LEE K，et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding [J/OL].arXiv：1810.04805 [cs.CL].（2018-10-11）.https：//arxiv.org/abs/1810.04805v2.

作者簡介：鄭思源（1997—），男，漢族，福建羅源人，碩士研究生在讀，研究方向：自然語言處理。