摘 要：組織和檢索信息是人機(jī)交互重點(diǎn)關(guān)注的話題之一?；谥R(shí)圖譜（Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＫＧ） 的智能問答系統(tǒng)通過語義解析用戶問題，檢索知識(shí)并回答問題，已成為一種信息檢索的有效途徑，是人機(jī)交互的典型應(yīng)用。時(shí)序知識(shí)圖譜（Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＴＫＧ） 問答系統(tǒng)通過語言模型獲取問題中的實(shí)體和時(shí)間戳，并在大型ＴＫＧ 中檢索答案。ＴＫＧ問答系統(tǒng)包含２ 個(gè)挑戰(zhàn)：① 給定問題，需檢索整個(gè)ＴＫＧ，效率低且易受干擾項(xiàng)的影響；② 難以捕獲問題中隱含的時(shí)間詞和時(shí)間順序信息。提出一種基于圖注意力網(wǎng)絡(luò)的時(shí)間對(duì)比學(xué)習(xí)（Ｔｉｍｅ Ｃｏｎｔｒａｓｔ Ｌｅａｒｎｉｎｇ，ＴＣＬ）模型，將源問題與替換時(shí)間詞后的對(duì)比問題同時(shí)訓(xùn)練， 使用圖注意力網(wǎng)絡(luò)更新實(shí)體鄰接子圖的節(jié)點(diǎn)特征， 縮小潛在答案的檢索空間。在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，結(jié)果表明ＴＣＬ 比其他基準(zhǔn)方法具有更好的性能，相較于最先進(jìn)的基準(zhǔn)方法在Ｈｉｔ＠ １ 和Ｈｉｔｓ＠ １０ 指標(biāo)上平均提升３． ４４％ 和２． ０２％ 。

關(guān)鍵詞：智能問答；時(shí)序知識(shí)圖譜；圖注意力網(wǎng)絡(luò)；時(shí)間對(duì)比學(xué)習(xí)；語言模型

中圖分類號(hào)：ＴＰ３９１． ９ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１０６（２０２４）０７－１６７６－１１

０ 引言

信息社會(huì)中人們利用計(jì)算機(jī)、手機(jī)等通信設(shè)備進(jìn)行交流，得益于人機(jī)交互領(lǐng)域的快速發(fā)展。人機(jī)交互是計(jì)算機(jī)科學(xué)領(lǐng)域的重要研究方向，其目的是提高計(jì)算機(jī)系統(tǒng)與人類之間的交互效率和用戶體驗(yàn)，為人們生活和工作提供更加便捷、高效的技術(shù)支持。

組織和檢索信息是人機(jī)交互的關(guān)注點(diǎn)之一。在計(jì)算機(jī)的早期發(fā)展階段，專家系統(tǒng)、檢索系統(tǒng)作為信息的有效組織方式，可以滿足人們的信息需求。但隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，以往的信息組織方式已經(jīng)無法滿足人們的需求。智能問答系統(tǒng)是一種基于人工智能技術(shù)的人機(jī)交互應(yīng)用，可以根據(jù)用戶的提問，快速、準(zhǔn)確地給出相應(yīng)的答案或解決方案。這種系統(tǒng)可以幫助人們更加高效地獲取所需的信息，提高信息檢索的效率和準(zhǔn)確性。早期的智能問答系統(tǒng)Ｂａｓｅｂａｌｌ［１］利用基于規(guī)則的方法構(gòu)建，通常只能處理特定領(lǐng)域中的限定形式問題。人工智能技術(shù)促進(jìn)了基于知識(shí)圖譜（Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＫＧ）的智能問答系統(tǒng)的發(fā)展。利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，將ＫＧ 作為知識(shí)庫輔助模型推理，相較于基于規(guī)則的問答模型，基于ＫＧ 的智能問答系統(tǒng)在回答問題時(shí)更加準(zhǔn)確，不再局限于特定領(lǐng)域和限定形式的問題。

基于ＫＧ 的智能問答系統(tǒng)的核心技術(shù)是ＫＧ，ＫＧ 是一種基于語義的知識(shí)表示方式，通常以圖結(jié)構(gòu)描述實(shí)體、屬性與關(guān)系，以便更好地理解和利用知識(shí)。ＫＧ 解決了傳統(tǒng)搜索引擎存在的缺陷，即無法理解搜索內(nèi)容的語義信息，只能根據(jù)關(guān)鍵詞匹配查詢結(jié)果，而ＫＧ 可以通過語義理解進(jìn)行知識(shí)的查詢和推理。

傳統(tǒng)ＫＧ 中的事實(shí)大多是靜態(tài)的，其內(nèi)部的知識(shí)在任何時(shí)間段都成立，忽略時(shí)間維度的重要性。然而，在現(xiàn)實(shí)中，事實(shí)通常只在一定時(shí)間內(nèi)成立。在傳統(tǒng)ＫＧ 的基礎(chǔ)上，融入時(shí)間維度，構(gòu)成了時(shí)序知識(shí)圖譜（Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＴＫＧ）。ＴＫＧ 除時(shí)間信息外，還隱含事件之間的發(fā)展規(guī)律，具有廣泛研究?jī)r(jià)值。

ＴＫＧ 以四元組的形式記錄實(shí)體之間的關(guān)系和關(guān)系存在時(shí)的時(shí)間戳或時(shí)間段。例如，帶時(shí)間戳的四元組（北京，舉辦，２００８ 年奧運(yùn)會(huì)，２００８）和帶時(shí)間段的四元組（Ｄｒａｎｃｙ，ｈｅａｄ ｏｆ ｇｏｖｅｒｎｍｅｎｔ，ＭａｕｒｉｃｅＮｉｌèｓ，［１９５９，１９９７］）。ＴＫＧ 可以更好地回答與時(shí)間相關(guān)的問題，包括推測(cè)某些事件發(fā)生的時(shí)間以及推測(cè)多個(gè)實(shí)體在時(shí)間上的相關(guān)性。

不同于關(guān)注關(guān)系推理的非時(shí)序問答，時(shí)序問答的核心挑戰(zhàn)是正確識(shí)別問題中顯式或隱式提出的時(shí)間信息，并通過對(duì)關(guān)系和時(shí)間戳的聯(lián)合推理來定位相關(guān)知識(shí)獲取正確答案?，F(xiàn)有方法將ＴＫＧ 應(yīng)用到了問答模型中，使其具有處理時(shí)序問題的能力。然而，模型不具有捕獲給定問題中隱含的時(shí)間詞和時(shí)間順序的能力。而且，模型需要從整個(gè)ＴＫＧ 檢索候選答案，效率低下且性能較差。

為了解決上述問題，本文提出了時(shí)間對(duì)比學(xué)習(xí)（Ｔｉｍｅ Ｃｏｎｔｒａｓｔ Ｌｅａｒｎｉｎｇ，ＴＣＬ）模型，主要貢獻(xiàn)包括：

① 提出一種基于圖注意力網(wǎng)絡(luò)的ＴＣＬ 模型，使用鄰接圖抽取模塊從ＴＫＧ 中獲取問題中實(shí)體的鄰接子圖，縮小候選答案的搜索空間，并使用圖注意力網(wǎng)絡(luò)更新鄰接圖中的節(jié)點(diǎn)表示，引導(dǎo)模型更加關(guān)注與問題相關(guān)的實(shí)體和時(shí)間戳，減少與問題不相關(guān)的實(shí)體的干擾，提高了檢索效率。

② 提出ＴＣＬ 模塊，利用時(shí)間詞對(duì)比詞典將源問題轉(zhuǎn)化為對(duì)比問題，同時(shí)訓(xùn)練源問題與對(duì)比問題，引導(dǎo)模型學(xué)習(xí)源問題與對(duì)比問題中的時(shí)間詞差異，提高了模型對(duì)時(shí)間順序信息的敏感程度。

③ 在ＣＲＯＮＱＵＥＴＩＯＮＳ 數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，相較于最先進(jìn)的基準(zhǔn)算法Ｔｉｍｅ-ａｗａｒｅ ＭｕｌｔｉｗａｙＡｄａｐｔｉｖｅ（ＴＭＡ），在一次命中率Ｈｉｔｓ＠ １ 上和前１０ 次命中率Ｈｉｔｓ＠ １０ 兩個(gè)指標(biāo)上平均提升了３． ４４％ 和２． ０１％ 。實(shí)驗(yàn)結(jié)果表明本文提出的ＴＣＬ 模型具有較好的性能。

１ 相關(guān)工作

１． １ ＴＫＧ 嵌入

由于ＫＧ 內(nèi)部的知識(shí)的完備性和正確性不能得到保證，導(dǎo)致其應(yīng)用場(chǎng)景受限。研究者們先后提出Ｔｒａｎｓｌａｔｉｎｇ Ｅｍｂｅｄｄｉｎｇ（ＴｒａｎｓＥ）［２］、Ｃｏｍｐｌｅｘ Ｅｍｂｅｄｄｉｎｇ（ＣｏｍｐｌＥｘ）［３］、Ｒｏｔａｔｉｏｎ Ｅｍｂｅｄｄｉｎｇ（ＲｏｔａｔＥ）［４］等ＫＧ嵌入模型，通過將ＫＧ 中的實(shí)體和關(guān)系投影到連續(xù)的低維向量空間，從而在方便計(jì)算的同時(shí)保留ＫＧ中的結(jié)構(gòu)信息。

Ｊｉａｎｇ 等［５］使用時(shí)間維度的一致性作為約束，將時(shí)間信息與得分函數(shù)相結(jié)合，將ＴｒａｎｓＥ 模型應(yīng)用于ＴＫＧ，但這種方法學(xué)習(xí)的嵌入沒有明確的時(shí)間感知能力，僅能矯正一些順序邏輯關(guān)系，例如ｗａｓＢｏｒＩｎ→ｗｏｎＰｒｉｚｅ→ ｄｉｅｄＩｎ。為了解決這一問題，Ｄａｓｇｕｐｔａ等［６］提出一種基于超平面的時(shí)間感知ＫＧ 嵌入方法（Ｈｙｐｅｒｐｌａｎｅｂａｓｅｄ Ｔｅｍｐｏｒａｌｌｙ ａｗａｒｅ Ｅｍｂｅｄｄｉｎｇ，ＨｙＴＥ）。ＨｙＴＥ 將ＫＧ 按照時(shí)間戳分割為多個(gè)子圖，然后將子圖中的實(shí)體和關(guān)系投影到其對(duì)應(yīng)的時(shí)間戳超平面中，直接將時(shí)間信息編碼到嵌入模型中，使得模型可以預(yù)測(cè)不包含時(shí)間范圍的事實(shí)的時(shí)序信息。Ｇａｒｃíａ-Ｄｕｒáｎ 等［７］提出一種學(xué)習(xí)某時(shí)間節(jié)點(diǎn)的潛在實(shí)體和關(guān)系類型表示法，使用詞元序列表示時(shí)間謂語，使用數(shù)字表示時(shí)間點(diǎn)并訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）模型，得到的表示結(jié)果可以應(yīng)用到通用的ＫＧ 嵌入模型的得分函數(shù)中。Ｌａｃｒｏｉｘ 等［８］引入正則化方案來分解４ 階張量，提出ＣｏｍｐｌＥｘ 在時(shí)間維度上的擴(kuò)展（Ｔｅｍｐｏｒａｌ ＣｏｍｐｌｅｘＥｍｂｅｄｄｉｎｇ，ＴＣｏｍｐｌＥｘ），該方法很好地適應(yīng)不同數(shù)據(jù)集的時(shí)間表達(dá)形式，如時(shí)間點(diǎn)、開始時(shí)間與結(jié)束時(shí)間的時(shí)間間隔。Ｇｏｅｌ 等［９］受歷時(shí)詞嵌入的啟發(fā)，提出一種歷時(shí)實(shí)體嵌入（Ｄｉａｃｈｒｏｎｉｃ Ｅｍｂｅｄｄｉｎｇ，ＤＥ）函數(shù)，將實(shí)體嵌入定義為函數(shù)，為任意給定的時(shí)間戳提供實(shí)體特征。任何靜態(tài)ＫＧ 嵌入都可以借助ＤＥ 函數(shù)拓展為ＴＫＧ 嵌入，具有較好的優(yōu)越性。

１． ２ ＴＫＧ 問答

時(shí)序問答系統(tǒng)主要在閱讀理解的語境下進(jìn)行研究。Ｊｉｎ 等［１０］提出一種新的自動(dòng)事件預(yù)測(cè)方法———ＦｏｒｅｃａｓｔＱＡ，幫助人們規(guī)劃未來。該方法將事件預(yù)測(cè)問題轉(zhuǎn)化為多項(xiàng)選擇答題任務(wù)，數(shù)據(jù)集中的文章和問題均帶有時(shí)間戳。Ｎｉｎｇ 等［１１］提出一種閱讀理解的數(shù)據(jù)集ＴＯＲＱＵＥ，探尋文本中描述的事件之間的時(shí)間順序關(guān)系。

另一個(gè)重要研究方向是利用知識(shí)庫作為輔助信息，從其中檢索時(shí)序信息，來回答時(shí)序問題。傳統(tǒng)ＫＧ問答系統(tǒng)大多采用的是大規(guī)模的靜態(tài)ＫＧ 和語言模型相結(jié)合，例如，文獻(xiàn)［１２］提出了一種語言模型驅(qū)動(dòng)的ＫＧ 問答推理模型ＱＡＫＧＮｅｔ，具有優(yōu)越的結(jié)構(gòu)化推理能力。但這些大規(guī)模的靜態(tài)ＫＧ 沒有考慮時(shí)間因素對(duì)問答模型預(yù)測(cè)答案時(shí)的影響，使現(xiàn)有方法無法有效、準(zhǔn)確地處理帶有時(shí)間約束的問題［１３］。

為了能更準(zhǔn)確地回答用戶的問題，學(xué)者們開始研究時(shí)序問題。Ｊｉａ 等［１４］提出了一個(gè)時(shí)序問答基準(zhǔn)數(shù)據(jù)集ＴｅｍｐＱｕｅｓｔｉｏｎｓ，包含１ ２７１ 個(gè)時(shí)序問題及其答案，旨在評(píng)估問答系統(tǒng)處理具有時(shí)間信息的復(fù)雜問題的能力，其研究結(jié)果表明，對(duì)復(fù)雜問題需要展開深入研究?；谠摂?shù)據(jù)集，Ｊｉａ 等［１５］提出時(shí)序知識(shí)問答方法ＴＥＱＵＩＬＡ 來解決ＴＫＧ 問答中包含時(shí)間信息的復(fù)雜問題。ＴＥＱＵＩＬＡ 利用規(guī)則將帶有時(shí)間信息的復(fù)雜問題分解為簡(jiǎn)單的子問題，并使用子問題的答案集與時(shí)間約束進(jìn)行聯(lián)合推理來獲取答案，可以與ＫＧ 問答系統(tǒng)結(jié)合使用。但ＴＥＱＵＩＬＡ 使用的規(guī)則模板是專家預(yù)先給定的，限定了處理復(fù)雜問題的能力。在此之后，Ｊｉａ 等［１６］希望提高問答系統(tǒng)回答時(shí)序問題的性能，提出了端到端問答系統(tǒng)Ｅｘａｑｔ，該系統(tǒng)首先微調(diào)語言模型（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ，ＢＥＲＴ），同時(shí)加入時(shí)間信息，構(gòu)建與問題相關(guān)的實(shí)體鄰接子圖。此外，使用擴(kuò)展的關(guān)系圖卷積網(wǎng)絡(luò)（Ｒｅｌａｔｉｏｎａｌ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ，Ｒ-ＧＣＮ）來預(yù)測(cè)答案，實(shí)驗(yàn)表明該方法在解決具有時(shí)間意圖的問題時(shí)具有較好的表現(xiàn)。然而ＴＥＱＵＩＬＡ 與Ｅｘａｑｔ 所使用的數(shù)據(jù)集包含時(shí)間信息的問題數(shù)量有限，且使用的ＫＧ 大都為非ＴＫＧ，如表１ 所示。

ＴＥＱＵＩＬＡ 與Ｅｘａｑｔ 方法實(shí)驗(yàn)結(jié)果表明，增強(qiáng)時(shí)序信息可顯著提升答案預(yù)測(cè)性能。Ｓａｘｅｎａ 等［１７］提出一個(gè)新的大規(guī)模ＴＫＧ 問答數(shù)據(jù)集ＣＲＯＮＱＵＥＳ-ＴＩＯＮＳ，該數(shù)據(jù)集含有４１ 萬個(gè)問題－答案對(duì)，且所有的時(shí)間問題和ＴＫＧ 都具有時(shí)間注釋。同時(shí)，基于該數(shù)據(jù)集，提出ＣＲＯＮＫＧＱＡ 來解決時(shí)序問題，其性能優(yōu)于所有基線方法。該方法改進(jìn)了ＥｍｂｅｄＫＧＱＡ［１８］，使其可以適用ＴＫＧ 嵌入。ＣＲＯＮＫＧＱＡ 首先使用ＢＥＲＴ生成實(shí)體問題嵌入和時(shí)間問題嵌入，然后使用ＴＣｏｍｐｌＥｘ 得分函數(shù)計(jì)算整個(gè)ＴＫＧ 中的實(shí)體和時(shí)間得分?jǐn)?shù)，將實(shí)體和時(shí)間得分拼接后，使用ｓｏｆｔｍａｘ 函數(shù)計(jì)算答案概率。ＣＲＯＮＫＧＱＡ 在處理簡(jiǎn)單問題時(shí)具有較好的準(zhǔn)確性，但處理復(fù)雜問題的性能不夠理想。近期，Ｌｉｕ 等［１９］提出了一種時(shí)間感知多路自適應(yīng)融合網(wǎng)絡(luò)ＴＭＡ。ＴＭＡ 使用多路自適應(yīng)模塊生成問題的特定時(shí)間表示，與預(yù)訓(xùn)練的ＴＫＧ 嵌入結(jié)合，生成最終的預(yù)測(cè)答案。

２ 問題描述

基于ＫＧ 的智能問答系統(tǒng)將ＫＧ 作為問答系統(tǒng)的知識(shí)庫，通過語言模型理解用戶問句中的語義信息，通過在知識(shí)庫中檢索相關(guān)信息，通過知識(shí)推理獲取正確答案。而傳統(tǒng)的ＫＧ 問答系統(tǒng)較難處理時(shí)序問題。本文采用ＴＫＧ 代替?zhèn)鹘y(tǒng)ＫＧ，通過ＴＫＧ 嵌入模型將其轉(zhuǎn)為低維向量，輔助問答系統(tǒng)利用ＫＧ 中隱含的時(shí)間信息，處理時(shí)序問題。

定義１（ＴＫＧ）ＴＫＧ Ｇ ＝ （ε，Ｒ， T，γ），其中，ε 表示Ｇ 中實(shí)體的集合，Ｒ 表示Ｇ 中關(guān)系的集合， T表示Ｇ 中時(shí)間戳的集合，γ 表示由前三者組合而成的事實(shí)集合。事實(shí)ｖ 四元組的形式為（ｓ，ｒ，ｏ，ｔ），其中＜ｓ，ｏ＞∈ε，ｒ∈Ｒ，ｔ∈T 。

例１． 已知時(shí)序事實(shí)四元組ｖ ＝ （北京，舉辦，奧運(yùn)會(huì)，［２００８，２００８］）。

定義２（ＴＫＧ 嵌入）ＴＫＧ 嵌入是指對(duì)于Ｇ 中的每個(gè)＜ｓ，ｏ＞∈ε，ｒ∈Ｒ，ｔ∈T ，將其學(xué)習(xí)為低維嵌入向量＜ｕｓ，ｕｒ，ｕｏ，ｕｔ ＞∈Ｒｄ，其中ｄ 表示低維嵌入向量的維度。通過語義相似度來構(gòu)建一個(gè)得分函數(shù)Φ（·）來學(xué)習(xí)這些嵌入。對(duì)于一個(gè)有效的事實(shí)ｖ ＝（ｓ，ｒ，ｏ，ｔ）∈γ 的Φ（·）得分，要比一個(gè)無效事實(shí)ｖ’＝ （ｓ’，ｒ’，ｏ’，ｔ’）∈γ 的Φ（·）得分高。得分函數(shù)Φ（·）需要滿足：

Φ（ｓ，ｒ，ｏ，ｔ） ＞ Φ（ｓ’，ｒ’，ｏ’，ｔ’）。（１）

ＴＣｏｍｐｌＥｘ 是針對(duì)時(shí)態(tài)ＫＧ 的語義匹配算法，是ＣｏｍｐｌＥｘ 在時(shí)間維度上的擴(kuò)展。它將實(shí)體、關(guān)系和時(shí)間戳嵌入到復(fù)數(shù)空間中，其對(duì)應(yīng)的得分函數(shù)如式（２）所示：

式中：Ｒｅ 表示取復(fù)數(shù)的實(shí)部，＜· ＞表示多次線性的點(diǎn)積運(yùn)算，ｕｏ 表示ｕｏ 的共軛復(fù)數(shù)，＜ｕｓ，ｕｒ，ｕｏ，ｕｔ ＞∈Ｃｄ，是復(fù)數(shù)嵌入，ｄ 表示復(fù)數(shù)嵌入向量的維度。

關(guān)系ｒ 可能含有時(shí)間信息，也可能不含時(shí)間信息。基于此，提出另一種得分函數(shù)（Ｔｅｍｐｏｒａｌ ａｎｄＮｏｔＴｅｍｐｏｒａｌ Ｃｏｍｐｌｅｘ Ｅｍｂｅｄｄｉｎｇ，ＴＮＴＣｏｍｐｌＥｘ）［８］，該得分函數(shù)計(jì)算時(shí)間敏感部分和非時(shí)間敏感部分的得分之和，其計(jì)算公式如下：

式中：ｕＴｒ表示具有時(shí)間信息的關(guān)系嵌入向量，Ｔ 表示轉(zhuǎn)置操作，ｕｒ 表示不包含時(shí)間信息的嵌入向量。

定義３（ＴＫＧ 問答系統(tǒng)）ＴＫＧ 問答任務(wù)是指用戶給定一個(gè)自然語言問題ｑ，問答系統(tǒng)通過理解ｑ 中的語義信息，獲取問題實(shí)體信息，從Ｇ 中獲取與問題實(shí)體相關(guān)的四元組信息，通過時(shí)間推理，找到合適的時(shí)間段內(nèi)的四元組信息，并給予用戶準(zhǔn)確的答案。

例２． 已知問題ｑ ＝ “Ｗｈｏ ｗａｓ ｔｈｅ ｐｒｅｓｉｄｅｎｔ ｏｆ ｔｈｅＲｏｙａｌ Ｓｏｃｉｅｔｙ ｉｎ Ｌｏｎｄｏｎ ２０１２？”，針對(duì)這個(gè)問題，ＴＫＧ問答系統(tǒng)從問句中提取實(shí)體ｔｈｅ ｐｒｅｓｉｄｅｎｔ ｏｆ ｔｈｅ ＲｏｙａｌＳｏｃｉｅｔｙ 和時(shí)間戳２０１２，找到實(shí)體對(duì)應(yīng)的事實(shí)ｖ＝ （ＰａｕｌＮｕｒｓｅ，ｐｏｓｉｔｉｏｎ ｈｅｌｄ，ｔｈｅ ｐｒｅｓｉｄｅｎｔ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｏｃｉｅｔｙ，［２０１０，２０１５］），利用ｖ 中的信息回答問題。

ＴＫＧ 問答系統(tǒng)所處理的時(shí)序問題，按照推理的復(fù)雜程度可分為簡(jiǎn)單問題和復(fù)雜問題。

定義４（簡(jiǎn)單問題）ｑ 只需要Ｇ 中的單個(gè)事實(shí)ｖ便可以回答，回答的答案可能是一個(gè)實(shí)體或一個(gè)時(shí)間戳，具體如例２ 所示。按照答案類型可進(jìn)一步將問題劃分為簡(jiǎn)單實(shí)體問題和簡(jiǎn)單時(shí)間問題。

定義５（復(fù)雜問題）ｑ 需要Ｇ 中的多個(gè)事實(shí)ｖ 進(jìn)行回答，回答的答案可能是單個(gè)實(shí)體或時(shí)間戳，也可能是實(shí)體集合或時(shí)間戳集合，通常需要進(jìn)行一定的時(shí)間推理來獲得最終的答案。

例３． 已知問題“Ｗｈｉｃｈ ｗａｓ ｔｈｅ ｌａｓｔ ａｗａｒｄ ＴｈｏｍａｓＹｏｕｎｇ ｇｏｔ？”，針對(duì)這個(gè)問題需要與Ｔｈｏｍａｓ Ｙｏｕｎｇ 相關(guān)的多個(gè)ｖ，并進(jìn)行一定的時(shí)間推理來獲取目標(biāo)答案。復(fù)雜問題可進(jìn)一步分為Ｂｅｆｏｒｅ ／ Ａｆｔｅｒ、Ｆｉｒｓｔ ／Ｌａｓｔ、Ｔｉｍｅ Ｊｏｉｎ 三大類，具體舉例如表２ 所示。

ＴＫＧ 問答系統(tǒng)應(yīng)對(duì)ｑ 中隱含的時(shí)間詞和時(shí)間順序信息更為敏感。例如“Ｗｈｉｃｈ ｗａｓ ｔｈｅ ｌａｓｔ ａｗａｒｄＴｈｏｍａｓ Ｙｏｕｎｇ ｇｏｔ？”和“Ｗｈｉｃｈ ｗａｓ ｔｈｅ ｆｉｒｓｔ ａｗａｒｄＴｈｏｍａｓ Ｙｏｕｎｇ ｇｏｔ？”，雖然這２ 個(gè)問題只有一個(gè)時(shí)間詞不同，但這２ 個(gè)問題的答案并不相同?，F(xiàn)有的ＴＫＧ 問答工作通常使用預(yù)訓(xùn)練的語言模型理解問題中的語義信息，但這些模型對(duì)自然語言問題中的時(shí)間表達(dá)差異并不敏感，例如ｌａｓｔ 和ｆｉｒｓｔ，ｂｅｆｏｒｅ 和ａｆｔｅｒ 等，使得模型容易預(yù)測(cè)出錯(cuò)誤的答案。

為解決上述問題，本文采用對(duì)比學(xué)習(xí)的方法，增強(qiáng)ＴＫＧ 問答系統(tǒng)對(duì)ｑ 中隱含的時(shí)間表達(dá)的敏感程度。通過生成源問題的對(duì)比問題，構(gòu)建ＴＣＬ 模型，同時(shí)訓(xùn)練源問題與對(duì)比問題，使模型學(xué)習(xí)這組對(duì)比問題的潛在時(shí)間特征的差異，從而使模型可以更好地捕獲ｑ 中隱含的時(shí)間表達(dá)，提高模型對(duì)復(fù)雜問題的處理能力，具有更好預(yù)測(cè)性能。

定義６（時(shí)間詞對(duì)比詞典）為了生成給定ｑ 的對(duì)比問題ｑｃ，本文從ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集中提取問題中的時(shí)間詞，然后查找反義詞，構(gòu)建時(shí)間詞對(duì)比詞典，部分舉例如表３ 所示。

３ ＴＣＬ 模型

ＴＣＬ 模型工作原理如圖１ 所示。模型可以分為兩部分，一部分對(duì)問題ｑ 進(jìn)行推理，另一部分則是利用時(shí)間詞對(duì)比詞典將ｑ 轉(zhuǎn)換為對(duì)比問題ｑｃ，然后將ｑｃ作為輸入進(jìn)行推理。這兩部分的模型結(jié)構(gòu)是一致的，只是輸入部分不同。針對(duì)于問題ｑ，模型使用語言模型對(duì)ｑ 進(jìn)行編碼，獲得ｕｅｎｔ 和ｕｔｉｍｅ；同時(shí)，使用鄰接圖抽取模塊獲?。?中實(shí)體的鄰接圖，然后利用圖注意力網(wǎng)絡(luò)更新鄰接圖中的節(jié)點(diǎn)表示，使用ＴＣｏｍｐｌＥｘ 得分函數(shù)計(jì)算鄰接圖中實(shí)體節(jié)點(diǎn)和時(shí)間節(jié)點(diǎn)的得分。通常ｑ 和ｑｃ 的答案實(shí)體是不相同的，為了捕獲這種差異，本文基于實(shí)體不交叉原則，提出對(duì)比損失Ｌｃ。

３． １ 鄰接圖抽取模塊

假設(shè)從問題ｑ 中可以抽取出ｎ 個(gè)實(shí)體，即｛Ｅ１ ，Ｅ２ ，…，Ｅｎ｝，首先從Ｇ 中提取每個(gè)實(shí)體Ｅｉ 的多跳鄰接子圖Ｇｉ；然后，組合這ｎ 個(gè)實(shí)體的鄰接子圖，得到問題ｑ 的潛在答案的搜索子圖Ｇｑ，其中，Ｇｑ 滿足Ｇｑ ＝∪ｎｉ＝ １ Ｇｉ。將Ｇｑ 中的節(jié)點(diǎn)按節(jié)點(diǎn)類型分為實(shí)體節(jié)點(diǎn)和時(shí)間節(jié)點(diǎn)，所有的實(shí)體節(jié)點(diǎn)組成實(shí)體集合εｑ，所有的時(shí)間節(jié)點(diǎn)組成時(shí)間戳集合Tｑ。εｑ 和Tｑ 組成了ＴＣＬ模型中答案預(yù)測(cè)部分的實(shí)體評(píng)分和時(shí)間評(píng)分的搜索空間，使得模型不需要對(duì)整個(gè)Ｇ 中的實(shí)體和時(shí)間戳進(jìn)行評(píng)分來預(yù)測(cè)最終答案。在實(shí)際應(yīng)用中，搜索子圖Ｇｑ的大小通常比整個(gè)ＴＫＧ Ｇ 小得多。例如，在ＣｒｏｎＫＧＱＡ 中，｜Ｇｑ ｜ ／ ｜Ｇ｜的平均值大約為３％ 。

鄰接圖抽取模塊是為了縮小候選答案實(shí)體和時(shí)間戳的搜索空間，不僅提高了訓(xùn)練過程的有效性，縮短了訓(xùn)練時(shí)間，還提高了預(yù)測(cè)答案的性能。這是因?yàn)楦嗟暮蜻x答案通常會(huì)使模型學(xué)習(xí)預(yù)測(cè)答案的過程更加困難，訓(xùn)練難度將大幅度提高。

３． ２ 圖注意力網(wǎng)絡(luò)模塊

為了引導(dǎo)模型更加關(guān)注與問題相關(guān)的實(shí)體與時(shí)間戳，排除不相關(guān)實(shí)體的干擾，為尋找答案實(shí)體提供了錨點(diǎn)，本文引入圖注意力機(jī)制（Ｇｒａｐｈ ＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｓ ｖｅｒｓｉｏｎ ２，ＧＡＴｖ２）［２０］。使用ＧＡＴｖ２ 對(duì)Ｇｑ中鄰接節(jié)點(diǎn)與問題的重要性進(jìn)行描述，過濾掉不重要的鄰居，進(jìn)而獲取更小的搜索子圖Ｇ′ｑ 。具體操作步驟如算法１ 所示。

為了使圖注意力網(wǎng)絡(luò)的學(xué)習(xí)過程更加準(zhǔn)確，受到文獻(xiàn)［２１－２２］的工作啟發(fā)，在式（６）的基礎(chǔ)上為圖注意力網(wǎng)絡(luò)提供了不同角度（多頭）的考慮，提出了多頭圖注意力網(wǎng)絡(luò)，將式（６）優(yōu)化為式（７），如下所示：

式中：Ｋ 表示不同角度的數(shù)量（頭的數(shù)量），上標(biāo)ｋ 表示第ｋ 個(gè)角度，每個(gè)角度的學(xué)習(xí)過程獨(dú)立執(zhí)行，將學(xué)到的向量進(jìn)行拼接。

３． ３ 答案預(yù)測(cè)模塊

本文使用預(yù)訓(xùn)練的語言模型ＢＥＲＴ 獲取問題嵌入ｕｑ，然后將其投影為實(shí)體嵌入ｕｅｎｔ 和時(shí)間嵌入ｕｔｉｍｅ，分別表示實(shí)體預(yù)測(cè)問題嵌入和時(shí)間預(yù)測(cè)問題嵌入。

經(jīng)過圖注意力網(wǎng)絡(luò)模塊對(duì)搜索子圖Ｇｑ 進(jìn)行剪枝得到Ｇ′ｑ ，使用式（２）的得分函數(shù)Φ 計(jì)算Ｇ′ｑ 中的每個(gè)實(shí)體節(jié)點(diǎn)和時(shí)間戳節(jié)點(diǎn)的得分，將所有實(shí)體和時(shí)間戳的得分拼接起來，得到答案得分集合Ｓａ。然后，使用ｓｏｆｔｍａｘ 函數(shù)來計(jì)算每個(gè)答案為正確答案的概率：

式中：當(dāng)?shù)冢?個(gè)候選答案是正確答案時(shí)，ｙｉ ＝ １；否則，ｙｉ ＝ ０。

３． ４ ＴＣＬ 模塊

為提高ＴＫＧ 問答模型捕獲ｑ 中隱含的時(shí)間表達(dá)式的能力，本文采用對(duì)比學(xué)習(xí)的方法，通過構(gòu)建ＴＣＬ 模型，同時(shí)訓(xùn)練源問題與對(duì)比問題，提高模型對(duì)時(shí)間序列信息的敏感程度。

基于定義６，將問題ｑ 中的時(shí)間詞替換為時(shí)間詞對(duì)比字典中的反義詞，生成對(duì)比問題ｑｃ，將問題ｑ 和對(duì)比問題ｑｃ 放入模型訓(xùn)練，得到相應(yīng)的答案得分集合Ｓａ和Ｓ′ａ ，將這２ 個(gè)答案得分集合組合起來，得到Ｓｑ ＝［Ｓａ，Ｓ′ａ ］∈Ｒ２Ｃ。然后，使用ｓｏｆｔｍａｘ 函數(shù)對(duì)Ｓｑ 進(jìn)行計(jì)算，得到答案概率分布Ｐｑ∈Ｒ２Ｃ，具體計(jì)算公式如下：

Ｐｑ ＝ ｓｏｆｔｍａｘ（Ｓｑ ）， （１０）

式中：Ｐｑ ∈Ｒ２Ｃ ，且滿足ΣＣｉ ＝ ０ Ｐｑ ［：，ｉ］＝ １，其中Ｐｑ ［：，ｉ］表示第ｉ 列的答案概率分布。

由于ｑ 的答案肯定不是ｑｃ 的答案，可構(gòu)建答案引導(dǎo)學(xué)習(xí)標(biāo)簽［ｙ１ ，ｙ２ ，…，ｙＣ ］，當(dāng)且僅當(dāng)?shù)冢?個(gè)候選對(duì)象是正確答案時(shí)，ｙｉ ＝ １；否則，ｙｉ ＝ ０。由此得到ＴＣＬ 的損失函數(shù)，如下所示：

Ｌｃ ＝ － １/ＣΣＣｉ ＝ ０ｙｉ ｌｎ（Ｐｑ ［０，ｉ］）。（１１）

最后，組合答案預(yù)測(cè)的損失函數(shù)和ＴＣＬ 的損失函數(shù)作為最終的損失函數(shù)，進(jìn)行模型訓(xùn)練。

Ｌ ＝ Ｌａ ＋ λｃ Ｌｃ ， （１２）

式中：λｃ 表示衡量時(shí)間對(duì)比損失的權(quán)重因子。

４ 實(shí)驗(yàn)與分析

４． １ 數(shù)據(jù)集

本文在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，驗(yàn)證ＴＣＬ 模型在ＴＫＧ 問答任務(wù)中的有效性。ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集包含帶有時(shí)間注釋的ＫＧ 和需要時(shí)間推理的自然語言問題集。ＴＫＧ 具有１２． ５ 萬個(gè)實(shí)體和２０３ 種關(guān)系，并由此組合成了３２． ８ 萬個(gè)事實(shí)（四元組）。這些事實(shí)四元組中含有以年為單位的時(shí)間信息。數(shù)據(jù)集中有４１ 萬個(gè)問題，按定義３ 和定義４ 將問題劃分為不同類型，不同類型的問題數(shù)量如表４ 所示。

４． ２ 實(shí)驗(yàn)設(shè)置

本文使用ＰｙＴｏｒｃｈ 框架實(shí)現(xiàn)所提模型，并按照ＣＲＯＮＱＵＥＴＩＯＮＳ 數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集對(duì)模型進(jìn)行訓(xùn)練，訓(xùn)練時(shí)的超參數(shù)設(shè)置如下：初始學(xué)習(xí)率為０． ０００ ２，迭代次數(shù)ｅｐｏｃｈ 為２００，批大小為２５０，每５ 個(gè)ｅｐｏｃｈ 驗(yàn)證一次模型的效果，驗(yàn)證時(shí)批大小為５０，對(duì)比損失權(quán)重λｃ 為０． ５。

實(shí)驗(yàn)環(huán)境為英特爾至強(qiáng)Ｗ-２２４５ ３． ９０ ＧＨｚ ＣＰＵ，６４ ＧＢ 內(nèi)存，５１２ ＧＢ ＳＳＤ 硬盤，Ｕｂｕｎｔｕ ２０． ０４ 操作系統(tǒng)以及ＧＰＵ（ＧｅＦｏｒｃｅ ＲＴＸ ３０９０）。對(duì)于基準(zhǔn)模型，本文使用了其文中對(duì)應(yīng)的參數(shù)設(shè)置進(jìn)行實(shí)驗(yàn)。

對(duì)于所有模型，采用Ｈｉｔｓ＠ １ 和Ｈｉｔｓ＠ １０ 兩個(gè)指標(biāo)對(duì)其進(jìn)行評(píng)估，具體計(jì)算公式如下：

式中：ＩＩ（·）為指示函數(shù)，若后面的等式條件成立則輸出為１，否則輸出為０；Ｍ 表示數(shù)據(jù)集中問題的總數(shù)，Ｓ ＝ ［Ｓｑ ，１ ，Ｓｑ ，２ ，…，Ｓｑ ，Ｍ ］表示所有問題的預(yù)測(cè)答案集合的集合，Ｓｉ［０ ：ｎ］表示第ｉ 個(gè)問題的預(yù)測(cè)答案中概率最高的前ｎ 個(gè)答案。一般情況下ｎ 取１、３、１０，本文采用Ｈｉｔｓ ＠ １ 和Ｈｉｔｓ ＠ １０ 兩種，Ａ ＝ ［Ａ１ ，Ａ２ ，…，ＡＭ ］表示所有問題正確答案的集合。

４． ３ 基準(zhǔn)方法

本節(jié)對(duì)實(shí)驗(yàn)過程中使用的基準(zhǔn)對(duì)比算法進(jìn)行介紹：① ＥｍｂｅｄＫＧＱＡ 是一種將ＫＧ 嵌入用于多跳ＫＧ 問答任務(wù)的方法，使用ＣｏｍｐｌＥｘ 嵌入，只能處理非時(shí)態(tài)的ＫＧ 和簡(jiǎn)單問題。② Ｔ-ＥａＥ-ａｄｄ／ ｒｅｐｌａｃｅ 是用ＫＧ 增強(qiáng)語言模型Ｅｎｔｉｔｉｅｓ ａｓ Ｅｘｐｅｒｔｓ（ＥａＥ）［２３］的２ 種修改，將ＫＧ 中的實(shí)體信息集成到基于Ｔｒａｎｓｆｏｒｍｅｒ 的語言模型中。Ｔ-ＥａＥ-ａｄｄ 在問題中標(biāo)明了所有真實(shí)的實(shí)體和時(shí)間跨度信息；Ｔ-ＥａＥ-ｒｅｐｌａｃｅ 則使用實(shí)體／ 時(shí)間嵌入替換了ＢＥＲＴ 嵌入，而不是用詞嵌入的形式添加實(shí)體和時(shí)間跨度信息。③ ＣｒｏｎＫＧＱＡ 將ＥｍｂｅｄＫＧＱＡ 擴(kuò)展到時(shí)序問答問題，并利用ＴＫＧ 嵌入來回答時(shí)序問題。④ＴＭＡ 通過選擇、匹配、融合和預(yù)測(cè)的范式顯示地融合相關(guān)知識(shí)（Ｓｕｂｊｅｃｔ Ｐｒｅｄｉｃａｔｅ Ｏｂｊｅｃｔ，ＳＰＯ）到問題表示中，使問題嵌入具有時(shí)間特異性。

４． ４ 實(shí)驗(yàn)結(jié)果

表５ 給出了本文提出的ＴＣＬ 和５ 種基準(zhǔn)方法在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集上的Ｈｉｔｓ＠ １ 和Ｈｉｔｓ＠１０ 兩種評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果?？梢园l(fā)現(xiàn)，本文提出的ＴＣＬ 方法在所有類型問題上的２ 種評(píng)價(jià)指標(biāo)性能均優(yōu)于基準(zhǔn)方法。而ＥｍｂｅｄＫＧＱＡ、Ｔ-ＥａＥ-ａｄｄ ／ｒｅｐｌａｃｅ 方法的效果非常差，由于它們均使用非時(shí)序的ＫＧ 嵌入，在處理時(shí)序問題時(shí)性能較差。

相較于最先進(jìn)的基準(zhǔn)方法ＴＭＡ，ＴＣＬ 方法在Ｈｉｔ＠ １ 和Ｈｉｔｓ ＠ １０ 指標(biāo)上平均提升３． ４４％ 和２． ０１％ ，在復(fù)雜問題上平均提升了８． ３９％ 和４． ２０％ 。這是由于復(fù)雜問題中涉及的實(shí)體較多，ＴＭＡ 在回答問題時(shí)使用整個(gè)ＴＫＧ，導(dǎo)致許多與問題不相關(guān)的實(shí)體對(duì)最終結(jié)果造成干擾，產(chǎn)生偏差。而ＴＣＬ 方法使用鄰接圖抽取模塊和圖注意力機(jī)制對(duì)搜索空間進(jìn)行剪枝，在回答問題時(shí)使用的是搜索子圖Ｇ′ｑ ，排除了不相關(guān)實(shí)體的干擾，可以更加準(zhǔn)確地回答問題。

同時(shí)，ＣＲＯＮＫＧＱＡ、ＴＭＡ 和ＴＣＬ 方法在簡(jiǎn)單問題的Ｈｉｔｓ＠ １ 指標(biāo)上均達(dá)到了０． ９８７，而其他方法則要低很多。這３ 種方法均采用ＴＣｏｍｐｌＥｘ 作為評(píng)分函數(shù)，該函數(shù)與實(shí)體和時(shí)間戳嵌入使用的評(píng)分函數(shù)是一致的，使得模型在組合問題中的嵌入信息時(shí)具有歸納偏置性，可以提高樣本的利用率，從而更易于回答簡(jiǎn)單問題。

對(duì)比各模型訓(xùn)練所需時(shí)間，可以發(fā)現(xiàn)，Ｅｍｂｅｄ-ＫＧＱＡ 所消耗的訓(xùn)練時(shí)間最短，但其預(yù)測(cè)命中率較差，而ＴＣＬ 方法所消耗時(shí)間僅居其后，相比ＣＲＯＮＫＧＱＡ 縮短了３０． ２１％ 的訓(xùn)練時(shí)間。這是由于，ＣＲＯＮＫＧＱＡ 使用整個(gè)ＴＫＧ 回答問題，而ＴＣＬ 使用鄰接圖抽取模塊縮小搜索空間，提高了訓(xùn)練效率。但由于ＴＣＬ 的網(wǎng)絡(luò)結(jié)構(gòu)比ＥｍｂｅｄＫＧＱＡ 更為復(fù)雜，所以在具有更高性能的同時(shí)，訓(xùn)練時(shí)間也更長(zhǎng)。而Ｔ-ＥａＥ-ａｄｄ ／ ｒｅｐｌａｃｅ 采用６ 層的Ｔｒａｎｓｆｏｒｍｅｒ 進(jìn)行訓(xùn)練，需要訓(xùn)練大量的參數(shù)，訓(xùn)練時(shí)間更長(zhǎng)。

本文比較了ＴＣＬ 方法與５ 種基準(zhǔn)模型對(duì)于不同類別問題的Ｈｉｔｓ＠ １，結(jié)果如圖２ 所示。相比所有基準(zhǔn)方法，本文所提出ＴＣＬ 模型的性能更好，特別是在復(fù)雜問題的回答上。相較于最先進(jìn)的基準(zhǔn)方法ＴＭＡ，ＴＣＬ 在“Ｂｅｆｏｒｅ ／ Ａｆｔｅｒ”“Ｆｉｒｓｔ ／ Ｌａｓｔ”“Ｔｉｍｅ Ｊｏｉｎ”方面的表現(xiàn)分別提高了４． ４８％ 、５． ７４％ 和２． ３７％ 。實(shí)驗(yàn)結(jié)果證明了本文提出的圖注意力網(wǎng)絡(luò)模塊和ＴＣＬ 模塊的性能優(yōu)勢(shì)，有利于增強(qiáng)模型對(duì)時(shí)間詞和時(shí)間順序的敏感程度。

如圖２（ａ）所示，在復(fù)雜問題類型中，ＣｒｏｎＫＧＱＡ、ＴＭＡ 和ＴＣＬ 三種方法在Ｔｉｍｅ Ｊｏｉｎ 類問題上的表現(xiàn)最好。這是由于Ｔｉｍｅ Ｊｏｉｎ 類問題通常具有多個(gè)答案，例如“Ｗｈｏ ｗａｓ Ｊｕａｎ Ｃａｒｌｏｓ Ｌｏｒｅｎｚｏ-ｓ ｔｅａｍ ｍｅｍｂｅｒｉｎ Ｕｎｉｏｎｅ Ｃａｌｃｉｏ Ｓａｍｐｄｏｒｉａ？”這個(gè)例子的答案是ＪｕａｎＣａｒｌｏｓ Ｌｏｒｅｎｚｏ 為Ｕｎｉｏｎｅ Ｃａｌｃｉｏ Ｓａｍｐｄｏｒｉａ 效力時(shí)的所有球員。這使得模型更容易做出正確的預(yù)測(cè)，而其他２ 類問題，答案通常是單個(gè)實(shí)體或者時(shí)間戳。

“Ｂｅｆｏｒｅ ／ Ａｆｔｅｒ”“Ｆｉｒｓｔ ／ Ｌａｓｔ”兩類問題更具挑戰(zhàn)性，因?yàn)樾枰玫乩斫鈫栴}中的時(shí)間詞或時(shí)間表達(dá)式。ＴＣＬ 方法通過ＴＣＬ 模塊，使模型可以更好地捕獲不同時(shí)態(tài)詞之間的差異，從而取得較大的性能提升。此外，對(duì)于簡(jiǎn)單問題，如圖２（ｂ）所示，ＴＣＬ 方法仍然保持競(jìng)爭(zhēng)力。

４． ５ 消融實(shí)驗(yàn)

為了驗(yàn)證ＴＣＬ 方法中每個(gè)模塊的貢獻(xiàn)均是有效的，本文通過在ＣｒｏｎＫＧＱＡ 的基礎(chǔ)上添加各模塊構(gòu)成ＴＣＬ 方法，進(jìn)行消融實(shí)驗(yàn)。其中，‘＋’表示添加該模塊，ＧＡＴ 表示圖注意力網(wǎng)絡(luò)模塊，ＮｅｉｇｈｂｏｒＧｒａｐｈ（ＮＧ）表示鄰接圖抽取模塊。每組實(shí)驗(yàn)均重復(fù)執(zhí)行５ 次，最后取平均結(jié)果，如表６ 所示。

從表６ 可以看出，本文所提模塊均有利于提高Ｈｉｔｓ＠ １ 指標(biāo)的整體性能，特別是針對(duì)具有較高復(fù)雜性的問題。添加鄰接子圖抽取模塊之后，模型在復(fù)雜問題的Ｈｉｔｓ＠ １ 指標(biāo)上提高了２６． ８％ ，這是由于顯著縮小了候選答案的搜索空間，有利于模型更加容易和準(zhǔn)確地找到正確答案。圖注意力網(wǎng)絡(luò)模塊也帶來了顯著的提升，這是由于圖注意力網(wǎng)絡(luò)模塊對(duì)搜索子圖中的每個(gè)節(jié)點(diǎn)進(jìn)行加權(quán)處理，去除了一些與問題無關(guān)的節(jié)點(diǎn)，進(jìn)一步縮小了搜索空間，引導(dǎo)模型更加關(guān)注與問題相關(guān)的實(shí)體與時(shí)間戳，為尋找答案實(shí)體提供了很好的錨點(diǎn)。此外，ＴＣＬ 模塊進(jìn)一步提高了模型對(duì)復(fù)雜問題的處理性能。ＴＣＬ 模塊通過學(xué)習(xí)問題ｑ 與對(duì)比問題ｑｃ 中時(shí)間詞的差異，向模型中添加了明確的時(shí)間約束，增強(qiáng)了模型的時(shí)間順序?qū)W習(xí)能力，使得模型可以更好地捕獲問題中隱含的時(shí)間詞和時(shí)間順序信息。

圖３ 展示了不同的多頭個(gè)數(shù)ｋ 對(duì)模型Ｈｉｔｓ＠ １ 的性能影響，即｛２，４，６，８，１０，１２｝。結(jié)果表明，當(dāng)ｋ ＝ ８時(shí)，模型的Ｈｉｔｓ＠ １ 的性能最好。當(dāng)ｋ 過少時(shí)，圖注意力網(wǎng)絡(luò)無法從多個(gè)角度充分理解搜索子圖Ｇ′ｑ 各節(jié)點(diǎn)的特征，導(dǎo)致去除的不相關(guān)實(shí)體不夠充分，進(jìn)而導(dǎo)致模型的Ｈｉｔｓ＠ １ 性能降低。當(dāng)ｋ 過多時(shí)，圖注意力網(wǎng)絡(luò)過分關(guān)注某些重要特征，從而產(chǎn)生偏差。

圖４ 給出了時(shí)間對(duì)比損失的權(quán)重λｃ 對(duì)模型Ｈｉｔｓ＠ １ 的性能影響，其中，λｃ 的取值為｛０． ０５，０． １０，０． ５０，１． ００，２． ０｝?？梢杂^察到，隨著λｃ 取值不斷變大，模型Ｈｉｔｓ＠ １ 的性能在不斷提升，在λｃ 取值為０． ５ 時(shí)達(dá)到最大，隨后遞減。因?yàn)楫?dāng)λｃ 取值較小時(shí)，模型無法充分捕獲在問題中隱含的時(shí)間順序信息，而當(dāng)λｃ 取值較大后，模型過分關(guān)注對(duì)比問題的答案，從而產(chǎn)生偏差。

４． ６ 模型推理可視化

本小節(jié)將介紹ＴＣＬ 模型獲取問題ｑ 的正確答案集合Ｓａ 的推理過程，其過程可視化如圖５ 所示。其中，Ｑ９６７８５９ 和Ｑ１４５７ 分別表示ｑ 中的實(shí)體ＪｕａｎＣａｒｌｏｓ Ｌｏｒｅｎｚｏ-ｓ 和Ｕｎｉｏｎｅ Ｃａｌｃｉｏ Ｓａｍｐｄｏｒｉａ，Ｐ５４ 表示ｍｅｍｂｅｒ ｏｆ ｓｐｏｒｔｓ ｔｅａｍ 這種關(guān)系，Ｑ１７０７０３ 和Ｑ１２８５７９５ 等實(shí)體表示與實(shí)體Ｑ９６７８５９ 和Ｑ１４５７ 相關(guān)的實(shí)體。

首先，使用ＢＥＲＴ 獲?。?的問題嵌入ｕｅｎｔ 和ｕｔｉｍｅ；其次，利用鄰接圖抽取模塊獲取問題中的實(shí)體Ｑ９６７８５９ 和Ｑ１４５７ 的多跳鄰接圖，構(gòu)成搜索子圖Ｇｑ；然后，Ｇｑ 通過圖注意力網(wǎng)絡(luò)模塊后，去掉了與ｑ 不相關(guān)的實(shí)體Ｑ１７０７０３、Ｑ５１２９４２４ 等，得到剪枝后的搜索子圖Ｇ′ｑ ；最后，通過答案預(yù)測(cè)模塊對(duì)Ｇ′ｑ 中的各節(jié)點(diǎn)進(jìn)行評(píng)分，得到答案集合Ｓａ。其中，Ｑ３６１１０８０ 和Ｑ３８０４４３３ 實(shí)體的得分非常高，而Ｑ１２８５７９５ 實(shí)體的得分比較低。這是因?yàn)椋眩常叮保保埃福?和Ｑ３８０４４３３ 與Ｑ１４５７ 的Ｐ５４ 關(guān)系成立的時(shí)間均在Ｑ９６７８５９ 與Ｑ１４５７ 的關(guān)系成立時(shí)間之內(nèi)，符合ｑ 中隱含的時(shí)間順序。而Ｑ１２８５７９５ 與Ｑ１４５７ 的關(guān)系成立時(shí)間不在［１９４７，１９５２］，因此評(píng)分較低。

５ 結(jié)束語。

本文提出一種基于圖注意力網(wǎng)絡(luò)的ＴＣＬ 模型，其獲取給定問題ｑ 的實(shí)體和時(shí)間戳，能夠從ＴＫＧ 中抽取實(shí)體對(duì)應(yīng)的鄰接子圖，并通過多頭圖注意力網(wǎng)絡(luò)進(jìn)行消息傳遞，更新鄰接子圖中的節(jié)點(diǎn)表示，壓縮答題的搜索空間。利用ＴＣＬ 方法，同時(shí)訓(xùn)練問題ｑ與對(duì)比問題ｑｃ，捕獲每組對(duì)比問題中隱含時(shí)間詞的差異，提高了模型對(duì)時(shí)間詞和時(shí)間順序信息的敏感程度。在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，結(jié)果表明，ＴＣＬ 模型相較于主流基準(zhǔn)模型在時(shí)序問答任務(wù)上的性能提升。未來的工作將關(guān)注于時(shí)間評(píng)估方法以進(jìn)一步提高模型的時(shí)間推理能力，以及如何使問題嵌入具有更好的時(shí)間特異性。

參考文獻(xiàn)

［１］ 姚元杰，龔毅光，劉佳，等． 基于深度學(xué)習(xí)的智能問答系統(tǒng)綜述［Ｊ］． 計(jì)算機(jī)系統(tǒng)應(yīng)用，２０２３，３２（４）：１－１５．

［２］ ＢＯＲＤＥＳ Ａ，ＵＳＵＮＩＥＲ Ｎ，ＧＡＲＣＩＡＤＵＲＡＮ Ａ，ｅｔ ａｌ．Ｔｒａｎｓｌａｔｉｎｇ Ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｍｏｄｅｌｉｎｇ ＭｕｌｔｉｒｅｌａｔｉｏｎａｌＤａｔａ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＮｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｌａｋｅ Ｔａｈｏｅ：Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ Ｉｎｃ． ，２０１３：２７８７－２７９５．

［３］ ＴＲＯＵＩＬＬＯＮ Ｔ，ＷＥＬＢＬ Ｊ，ＲＩＥＤＥＬ Ｓ，ｅｔ ａｌ． ＣｏｍｐｌｅｘＥｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｓｉｍｐｌｅ Ｌｉｎｋ Ｐｒｅｄｉｃｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ：ＪＭＬＲ，２０１６：２０７１－２０８０．

［４］ ＳＵＮ Ｚ Ｑ，ＤＥＮＧ Ｚ Ｈ，ＮＩＥ Ｊ Ｙ，ｅｔ ａｌ． ＲｏｔａｔＥ：ＫｎｏｗｌｅｄｇｅＧｒａｐｈ Ｅｍｂｅｄｄｉｎｇ ｂｙ Ｒｅｌａｔｉｏｎａｌ Ｒｏｔａｔｉｏｎ ｉｎ ＣｏｍｐｌｅｘＳｐａｃｅ ［Ｃ ］ ∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ｎｅｗ Ｏｒｌｅａｎｓ：［ｓ． ｎ． ］，２０１９：１９８１－１９９９．

［５］ ＪＩＡＮＧ Ｔ Ｓ，ＬＩＵ Ｔ Ｙ，ＧＥ Ｔ，ｅｔ ａｌ． Ｔｏｗａｒｄｓ ＴｉｍｅａｗａｒｅＫｎｏｗｌｅｄｇｅ Ｇｒａｐｈ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＯＬＩＮＧ ２０１６，ｔｈｅ ２６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ：Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ． Ｏｓａｋａ：Ｔｈｅ ＣＯＬＩＮＧ２０１６ Ｏｒｇａｎｉｚｉｎｇ Ｃｏｍｍｉｔｔｅｅ，２０１６：１７１５－１７２４．

［６］ ＤＡＳＧＵＰＴＡ Ｓ Ｓ，ＲＡＹ Ｓ Ｎ，ＴＡＬＵＫＤＡＲ Ｐ． ＨｙＴＥ：Ｈｙｐｅｒｐｌａｎｅｂａｓｅｄ Ｔｅｍｐｏｒａｌｌｙ Ａｗａｒｅ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ Ｅｍｂｅｄｄｉｎｇ ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１８ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ：ＡＣＬ，２０１８：２００１－２０１１．

［７］ ＧＡＲＣ？ＡＤＵＲ？Ｎ Ａ， ＤＵＭＡＮＣ ˇ ＩＣ＇ Ｓ， ＮＩＥＰＥＲＴ Ｍ．Ｌｅａｒｎｉｎｇ Ｓｅｑｕｅｎｃｅ Ｅｎｃｏｄｅｒｓ ｆｏｒ Ｔｅｍｐｏｒａｌ ＫｎｏｗｌｅｄｇｅＧｒａｐｈ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１８ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ：ＡＣＬ，２０１８：４８１６－４８２１．

［８］ ＬＡＣＲＯＩＸ Ｔ，ＯＢＯＺＩＮＳＫＩ Ｇ，ＵＳＵＮＩＥＲ Ｎ． Ｔｅｎｓｏｒ Ｄｅｃｏｍｐｏｓｉｔｉｏｎｓ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ａｄｄｉｓ：［ｓ． ｎ． ］，２０２０：３０５７－３０６９．

［９］ ＧＯＥＬ Ｒ，ＫＡＺＥＭＩ Ｓ Ｍ，ＢＲＵＢＡＫＥＲ Ｍ，ｅｔ ａｌ． ＤｉａｃｈｒｏｎｉｃＥｍｂｅｄｄｉｎｇ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ． Ｎｅｗ Ｙｏｒｋ：ＡＡＡＩ，２０２０：３９８８－３９９５．

［１０］ ＪＩＮ Ｗ，ＫＨＡＮＮＡ Ｒ，ＫＩＭ Ｓ，ｅｔ ａｌ． ＦｏｒｅｃａｓｔＱＡ：ＡＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ Ｃｈａｌｌｅｎｇｅ ｆｏｒ Ｅｖｅｎｔ Ｆｏｒｅｃａｓｔｉｎｇ ｗｉｔｈＴｅｍｐｏｒａｌ Ｔｅｘｔ Ｄａｔａ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５９ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓａｎｄ ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＮａｔｕｒａｌＬａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２１：４６３６－４６５０．

［１１］ ＮＩＮＧ Ｑ，ＷＵ Ｈ，ＨＡＮ Ｒ Ｊ，ｅｔ ａｌ． ＴＯＲＱＵＥ：Ａ ＲｅａｄｉｎｇＣｏｍｐｒｅｈｅｎｓｉｏｎ Ｄａｔａｓｅｔ ｏｆ Ｔｅｍｐｏｒａｌ Ｏｒｄｅｒｉｎｇ Ｑｕｅｓｔｉｏｎｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０２０ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２０：１１５８－１１７２．

［１２］ 喬少杰，楊國(guó)平，于泳，等． ＱＡ-ＫＧＮｅｔ：一種語言模型驅(qū)動(dòng)的知識(shí)圖譜問答模型［Ｊ］． 軟件學(xué)報(bào)，２０２３，３４（１０）：４５８４－４６００．

［１３］ 薩日娜，李艷玲，林民． 知識(shí)圖譜推理問答研究綜述［Ｊ］． 計(jì)算機(jī)科學(xué)與探索，２０２２，１６（８）：１７２７－１７４１．

［１４］ ＪＩＡ Ｚ，ＡＢＵＪＡＢＡＬ Ａ，ＲＯＹ Ｒ Ｓ，ｅｔ ａｌ． ＴｅｍｐＱｕｅｓｔｉｏｎｓ：ＡＢｅｎｃｈｍａｒｋ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐａｎｉｏｎ ｏｆ ｔｈｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ ２０１８．Ｌｙｏｎ：ＡＣＭ，２０１８：１０５７－１０６２．

［１５］ ＪＩＡ Ｚ，ＡＢＵＪＡＢＡＬ Ａ，ＲＯＹＳ Ｒ，ｅｔ ａｌ． ＴＥＱＵＩＬＡ：ＴｅｍｐｏｒａｌＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ｏｖｅｒ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅｓ ［Ｃ ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． Ｔｏｒｉｎｏ：ＡＣＭ，２０１８：１８０７－１８１０．

［１６］ ＪＩＡ Ｚ，ＰＲＡＭＡＮＩＫ Ｓ，ＲＯＹ Ｒ Ｓ，ｅｔ ａｌ． Ｃｏｍｐｌｅｘ ＴｅｍｐｏｒａｌＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３０ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． Ｑｕｅｅｎｓｌａｎｄ：ＡＣＭ，２０２１：７９２－８０２．

［１７］ ＳＡＸＥＮＡ Ａ，ＣＨＡＫＲＡＢＡＲＴＩ Ｓ，ＴＡＬＵＫＤＡＲ Ｐ． ＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ ｏｖｅｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈｓ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５９ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ ａｎｄ ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２１：６６６３－６６７６．

［１８］ ＳＡＸＥＮＡ Ａ，ＴＲＩＰＡＴＨＩ Ａ，ＴＡＬＵＫＤＡＲ Ｐ． ＩｍｐｒｏｖｉｎｇＭｕｌｔｉｈｏｐ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ｏｖｅｒ Ｋｎｏｗｌｅｄｇｅ ＧｒａｐｈｓＵｓｉｎｇ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅ Ｅｍｂｅｄｄｉｎｇｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ５８ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２０：４４９８－４５０７．

［１９］ ＬＩＵ Ｙ Ｈ，ＬＩＡＮＧ Ｄ，ＦＡＮＧ Ｆ，ｅｔ ａｌ． Ｔｉｍｅａｗａｒｅ ＭｕｌｔｉｗａｙＡｄａｐｔｉｖｅ Ｆｕｓｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ ＧｒａｐｈＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ［ＥＢ ／ ＯＬ］． （２０２３ － ０２ － ２４）［２０２３ －０４－１７］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２３０２． １２５２９．

［２０］ ＢＲＯＤＹ Ｓ，ＡＬＯＮ Ｕ，ＹＡＨＡＶ Ｅ． Ｈｏｗ Ａｔｔｅｎｔｉｖｅ ａｒｅ ＧｒａｐｈＡｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋｓ？［ＥＢ ／ ＯＬ］． （２０２１ －０５ －３０）［２０２３ －０５－１０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０５． １４４９１．

［２１］ 俞海亮，彭冬亮，谷雨． 結(jié)合雙層多頭自注意力和ＢｉＬ-ＳＴＭ-ＣＲＦ 的軍事武器實(shí)體識(shí)別［Ｊ］． 無線電工程，２０２２，５２（５）：７７５－７８２．

［２２］ 梁禮明，何安軍，陽淵，等． 融合Ｔｒａｎｓｆｏｍｅｒ 和多尺度并行注意的結(jié)直腸息肉分割算法［Ｊ］． 無線電工程，２０２３，５３（１）：２０９－２１９．

［２３］ Ｆ？ＶＲＹ Ｔ，ＳＯＡＲＥＳ Ｌ Ｂ，ＦＩＴＺＧＥＲＡＬＤ Ｎ，ｅｔ ａｌ． Ｅｎｔｉｔｉｅｓａｓ Ｅｘｐｅｒｔｓ：Ｓｐａｒｓｅ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ ｗｉｔｈ Ｅｎｔｉｔｙ Ｓｕｐｅｒｖｉｓｉｏｎ［ＥＢ ／ ＯＬ］． （２０２０ － ０４ － １５）［２０２３ － ０５ － １０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２００４． ０７２０２．

作者簡(jiǎn)介

于 泳 男，（１９９８—），碩士研究生。主要研究方向：知識(shí)圖譜、移動(dòng)數(shù)據(jù)挖掘。

（*通信作者）喬少杰 男，（１９８１—），博士后，教授。主要研究方向：時(shí)空數(shù)據(jù)庫、人工智能數(shù)據(jù)庫。

陳金勇 男，（１９７０—），碩士，研究員，碩士生導(dǎo)師。

高 林 男，（１９８４—），碩士，高級(jí)工程師。

黃江濤 男，（１９７９—），博士，副研究員。主要研究方向：人工智能。

劉晨旭 男，（１９９９—），碩士研究生。主要研究方向：人工智能數(shù)據(jù)庫。

韓 楠 女，（１９８４—），博士，副教授。主要研究方向：時(shí)空大數(shù)據(jù)、軌跡預(yù)測(cè)。

張 桃 男，（１９９０—），碩士。主要研究方向：數(shù)據(jù)挖掘、人工智能。

蔡宏果 男，（１９７８—），博士，副教授。主要研究方向：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘。

基金項(xiàng)目：國(guó)家自然科學(xué)基金（６２２７２０６６）；四川省科技計(jì)劃（２０２１ＪＤＪＱ００２１，２０２２ＹＦＧ０１８６，２０２２ＮＳＦＳＣ０５１１，２０２３ＹＦＧ００２７）；教育部人文社會(huì)科學(xué)研究規(guī)劃基金（２２ＹＪＡＺＨ０８８）；宜賓市引進(jìn)高層次人才項(xiàng)目（２０２２ＹＧ０２）；成都市“揭榜掛帥”科技項(xiàng)目（２０２２ －ＪＢ００ －００００２ －ＧＸ，２０２１ －ＪＢ００－０００２５－ＧＸ）；成都市技術(shù)創(chuàng)新研發(fā)項(xiàng)目（重點(diǎn)項(xiàng)目）（２０２４－ＹＦ０８－０００２９－ＧＸ）；成都市區(qū)域科技創(chuàng)新合作項(xiàng)目（２０２３－ＹＦ１１－０００２０－ＨＺ）；中國(guó)電子科技集團(tuán)公司第五十四研究所高校合作課題（ＳＫＸ２１２０１００５７）；成都海關(guān)科研項(xiàng)目資助（２０２２ＣＫ００８）