李 豫,周光有

(華中師范大學 計算機學院，湖北 武漢 430079)

0 引言

問答(Question Answer，QA)任務是人工智能的核心研究內容之一。與傳統(tǒng)搜索引擎相比，自動問答的便捷性和高效性增強了用戶信息獲取的體驗，也使更多的學者開始對問答系統(tǒng)進行深入的研究。大規(guī)模知識庫的迅速發(fā)展為實現(xiàn)自動問答目標提供了豐富有效的資源支撐，這使得面向知識庫的自動問答(Knowledge Base Question Answer，KBQA)在工業(yè)界和學術界均受到了廣泛關注。知識庫問答的目的就是根據(jù)用戶提出的自然語言問題找到知識庫中與之相關的知識，最后返回一個簡潔、準確的答案。KBQA任務的核心工作是建立起問題到知識庫的關系映射，而如何讓機器理解自然語言問題與知識庫三元組之間的語義等價關系是一個具有挑戰(zhàn)性的難點。因此，本文探索的知識庫屬性映射方法可以作為KBQA系統(tǒng)中由問題關聯(lián)到知識庫的一種有效途徑。

目前，隨著如DBPedia[1]、Freebase[2]、YAGO2[3]、WikiData[4]等比較成熟的大型知識庫相繼涌現(xiàn)，自動問答的學術研究熱度也在這些典型知識庫的基礎上日益升溫。知識庫問答的實現(xiàn)有兩大類主流方法，一種是語義解析(Semantic Parsing-based，SP-based)，另一種是信息檢索(Information Retrieve-based，IR-based)[5]?；谡Z義解析的方法是將問句分析成特有的表達形式或查詢語句，如SPARQL、SQL語句等，從知識庫中搜索出答案；基于信息檢索的方法是對候選答案通過特定方式進行排序得到最佳回答。早期針對小規(guī)模的知識庫，多以語義解析方法為主，但使用這類方法往往需要耗費大量精力去標注邏輯規(guī)則，且難以擴展到大規(guī)模知識庫。Liang等[6]利用問答對語料，使用弱監(jiān)督學習方法對問題進行過語義解析研究。Berant等[7]開發(fā)了一種語義解析器，可以訓練無注釋的邏輯形式，也可以擴展到大型知識庫。Berant等[8]提出了一種基于釋義的學習語義解析器，可以利用知識庫中未涵蓋的大量文本，但其中一些工作仍依賴于手工標注和預定義規(guī)則，人工和時間成本較高?；谛畔z索的方法側重于特征抽取以及對候選項的匹配和排序模型研究，其基本步驟是： “主題實體抽取”和“問題與關系謂詞映射”。Yao等[9]使用句法分析技術獲得問句中的關鍵實體以及查詢圖。其他一些研究[10-11]使用基于嵌入的模型來學習問題詞和知識庫構成的低維向量，并使用這些向量的總和來表示問題和候選答案，但是忽略了詞序信息。Lai等[12]使用主語謂語抽取算法，通過基于詞向量的相似度結合分詞技術實現(xiàn)屬性映射，并利用人工定義的模板和規(guī)則取得了很好的效果。Wang等[13]使用分類器判斷三元組中謂詞與問題的映射。Yang等[14]使用了基于短語-實體字典的主題短語檢測模型來檢測問題與主題短語，之后使用排序模型對候選者進行排名。周博通等[15]在知識庫問答屬性映射問題上采用雙向LSTM，結合兩種不同的注意力機制計算問題與關系謂詞相關度，在問題與謂詞的映射測試上取得了91.77%的準確率。Xie等[16]將CDSSM(Convolutional Deep Structured Semantic Models)與BDSSM(Bi-LSTM Deep Structured Semantic Models)相結合，并利用余弦相似度計算問題與知識庫關系謂詞的匹配分數(shù)，但是其中采用的余弦距離是一個無參的匹配公式，并且僅使用深層神經(jīng)網(wǎng)絡，可能會丟失一些重要的淺層詞向量語義信息。趙小虎等[17]將問題和知識庫中三元組整體進行語義和字符的多特征匹配，并使用有參的全連接層計算相似分數(shù)，但是尚未考慮淺層詞向量的直接影響。

綜合以上工作來看，問題與知識庫的屬性映射在KBQA任務中十分重要，同時也存在進一步改進的空間。本文著重關注問題與知識庫謂詞之間的映射方法，從表征和匹配兩個角度改進前人所提到的CDSSM“問謂屬性映射模型”[16]。在表征層中，首先針對問題的表述通過增設卷積門來過濾問題中與謂詞無關的詞級噪聲，再使用兩種共享的語義獲取模型得到待匹配項的深層語義與淺層語義，最后利用門控機制平衡兩種不同層次的語義得到層次化待匹配向量。在匹配層中，本文先獲取問題與關系謂詞之間的多種聯(lián)系，再由多層感知機融合，經(jīng)池化操作獲取最終的語義匹配得分。本文在NLPCC-ICCPOL 2016發(fā)布的中文問答數(shù)據(jù)集上進行屬性映射實驗，實驗結果證明了該方法的有效性。另外，由于問題與謂詞的映射是一種較為通用的問題意圖識別過程，例如，時間、地點、概念、因果、人物等通用詢問意圖在其他領域問答中也多有涉及，因此適合遷移到其他領域的問答。依照這種思路，本文構建了中文天文常識知識庫，將天文命名實體識別作為基礎任務，將面向知識庫的“問題—謂詞屬性映射”作為重點研究內容，構建了天文常識自動問答系統(tǒng)。綜上，本文的貢獻如下：

(1) 針對問題表達，通過增設卷積門，適當過濾問題中與謂詞無關的詞級噪聲。

(2) 采用交互注意力機制獲取淺層詞向量全局語義。通過門控感知機制在表征層面有效地融合了層次化語義信息，既考慮了深層語義，又防止了淺層語義信息的丟失。

(3) 通過構建天文常識知識庫以及將上述“問謂屬性映射”方法遷移到特定領域知識問答中，與Bi-LSTM-CRF模型相結合構建天文常識自動問答系統(tǒng)。

1 面向知識庫的屬性映射

1.1 數(shù)據(jù)來源

由于中文知識庫和相關問答語料較為欠缺，所以在中文知識庫問答方面一直鮮有研究。在2016年和2017年NLPCC-ICCPOL發(fā)布了中文知識庫以及問答對語料后，許多學者都開始圍繞此項語料數(shù)據(jù)展開研究工作。為了擴展問答意圖的范圍，本文也選用了NLPCC-ICCPOL 2016年評測中公開的基于知識庫的問答數(shù)據(jù)。這類數(shù)據(jù)來源于百科信息欄三元組，將其運用到領域知識庫的問答中會具有較高的覆蓋度。數(shù)據(jù)集的原始數(shù)據(jù)格式是： <問題，三元組，答案>，例如，“機械設計基礎這本書的作者是誰？”；“機械設計基礎|||作者|||楊可楨，程光蘊，李仲生”；“楊可楨，程光蘊，李仲生”。在實際深度學習之前，需要針對所要用到的方法對原數(shù)據(jù)集進行修正和加工。

1.2 數(shù)據(jù)處理

在數(shù)據(jù)處理的過程中，保留問題以及對應三元組中的關系謂詞，如上例中的問題和謂詞“作者”，對數(shù)據(jù)集中的全體謂詞構造謂詞詞典，在詞典中隨機抽取9個謂詞負例與正確謂詞合并作為謂詞候選集。隨機初始化標簽順序，生成對應的謂詞標簽，其中正確謂詞對應的標簽為1，錯誤謂詞對應的標簽為0。在數(shù)據(jù)本身的標準性上，由于數(shù)據(jù)存在大量謂詞中間空格現(xiàn)象，如“作者”這一謂詞的原數(shù)據(jù)格式為“作 者”，需要去除空格，保持數(shù)據(jù)一致性。另外，在數(shù)據(jù)預處理的過程中，本文嚴格控制謂詞候選集中不存在重復項，從而防止訓練和測試產生誤差。同時，通過人工核查，盡可能避免候選謂詞中存在與正確謂詞是同義詞的情況，如“俗名”和“俗稱”、“位置”和“地域所屬”等，以免在準確率上出現(xiàn)偏差。為了探究主題實體在不同方法中產生的影響，我們將數(shù)據(jù)集分為掩蓋主實體和未掩蓋主實體兩類。在未掩蓋主實體的數(shù)據(jù)集中，問句不做任何處理。在掩蓋主實體的數(shù)據(jù)集中，首先根據(jù)每個問句對應的知識庫三元組找到具體的主題實體，再將這些實體在問句中用特殊符號掩蓋。例如，問句“波色-愛因斯坦凝聚態(tài)有哪些比喻？”，經(jīng)過掩蓋后為： “E有哪些比喻？”；問句“大熊座47c多長時間一個周期？”掩蓋后為： “E多長時間一個周期？”。轉換完畢的數(shù)據(jù)集新格式為： <問題，謂詞候選集，標簽>。

1.3 屬性映射框架

首先介紹本文提出的問題與關系謂詞的屬性映射網(wǎng)絡架構GHSMM(Gate Hierarchical Semantic Match Model)，結構圖如圖 1所示。問句與候選謂詞集合在初始狀態(tài)下均以Word2Vec詞向量矩陣表示。在使用模型時，首先將問題與關系謂詞的向量矩陣同時輸送至“融合卷積門的深層語義模塊”與“基于交互注意力機制的淺層語義模塊”中得到兩種層次語義向量，之后由“基于門控感知的層次化語義融合模塊”將深層和淺層語義有效融合，經(jīng)過“匹配層”和“決策層”得到候選謂詞集與問題的匹配概率分布。

圖1 融合門控感知的層次化語義匹配框架 GHSMM

相較于傳統(tǒng)的CDSSM模型，我們在獲取深層語義的同時還考慮了上下文的淺層語義，同時我們也改進了匹配層中簡單的余弦夾角計算，利用多層感知機以及池化操作對問題和謂詞的交互信息進行打分，在匹配效果上得到了一定提升。

1.3.1 融合卷積門的深度語義模型

問題語句較長且存在大量與謂詞無關的噪聲將會影響匹配，因此本文在CDSSM基礎上增設卷積門，對問句進行門控過濾。

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)可以有效地提取出矩陣的局部特征，并在此基礎上進行全局的預測。給定句子序列的詞向量矩陣E={e1,e2, …,en}，其中ei表示第i個詞的詞向量。通過設置卷積核的大小，使用卷積操作矩陣w對向量矩陣E進行卷積操作，得到結果c={c1,c2,…,c|E|-w+1}。其中，

代表卷積運算，fx為非線性激活函數(shù)，bc是偏置項。

為了進一步過濾問句中與謂詞無關的詞級噪聲，本文采用卷積門控制問句的卷積輸出，而對謂詞則不使用門控機制。謂詞的卷積結果cp由詞向量表示Ep經(jīng)過卷積和ReLU激活函數(shù)直接輸出。問句的卷積結果cq由問句的詞向量矩陣Eq通過兩個卷積網(wǎng)絡得到，其中一個是原始的CNN，另一個是在sigmoid函數(shù)激活下生成的門控向量，公式中⊙表示逐點乘積操作，?表示卷積操作，w與v代表不同的卷積矩陣。

本文采用最大池化操作提取特征圖中的重要信息，將通過k個不同大小卷積核得到的卷積輸出分別進行池化和拼接，最后再通過一個全連接層與tanh(·)非線性函數(shù)將問句或謂詞投影到一定維度大小的語義空間，如式(4)所示。

1.3.2 基于交互注意力的淺層語義表示

淺層語義可以反映全局的文本信息，我們使用交互注意力機制為詞向量添加注意力信息，如圖2所示。經(jīng)過交互后，問句的每一個序列都對應一個待匹配謂詞的全局語義向量；同樣，謂詞的每一個序列也對應著一個問句的全局語義向量。經(jīng)過最大池化操作獲取淺層語義信息。

圖2 基于交互注意力的淺層語義表示

注意力機制[18]目前已廣泛應用于自然語言處理領域，用來增大重要信息的權重系數(shù)，使模型關注重要的部分。式(5)是注意力機制的計算過程。Q、K、V分別是輸入向量與三個權重矩陣WQ、WK、WV相乘的結果，各自代表了查詢(query)、鍵(key)、真實值(value)，其中Q與K的輸出維度相同。Q與K的交叉乘積除以dk的平方根是為了防止內積過大而影響梯度，經(jīng)過Softmax(·)函數(shù)歸一化后得到注意力權重。最后將V在Q的每一個位置上的向量進行一次加權求和，得到Attention(Q,K,V)，表達了對各個詞的注意力程度。

在使用注意力機制時，問句的目標語句是待匹配的謂詞，謂詞的目標語句是待匹配的問句，value值均為句子本身的表示(即Word2Vec詞向量)。Eq與Ep分別表示問句q與謂詞p的Word2Vec詞向量矩陣，最后得到問句和謂詞的交互注意力語義向量Sq、Sp。

對于問句q，注意力運算如式(6)所示。

對于謂詞p，注意力運算如式(7)所示。

為了獲取全局語義信息，我們采用最大池化的操作對上述得到的注意力信息進行池化過濾，得到添加了注意力機制的詞向量全局語義信息hs，如式(8)所示。

1.3.3 基于門控感知的層次化語義融合

交互注意力機制可以融合問句與謂詞之間的長期依賴信息，卷積神經(jīng)網(wǎng)絡可以較好地提取詞與詞之間的短距離特征，我們增設門控感知機制，將深層語義特征hd與淺層詞級特征hs進行融合，如式(9)所示。

其中，g表示它們生成的門控向量，⊙表示逐點乘積操作。

門控機制將層次化語義信息進行平衡，其中g中每一個元素代表將多少淺層語義特征替換為深層語義特征，從而得到最終的層次化語義向量y，如式(10)所示。

1.3.4 交互匹配層

CDSSM中采用了余弦距離計算問句與謂詞之間的相似性，但余弦計算是一種簡單無參數(shù)匹配方法。為了更充分地度量問謂相似程度，我們一方面將問謂間的多種交互特征進行融合，另一方面通過多層感知機獲取問題與謂詞之間的相似得分，之后采用加和池化得到整體相似度。

這里我們選用三種方式對問題與謂詞進行語義交互。v1代表全局語義向量之和，v2表示向量間的絕對差，v3是向量之間的逐個點積運算，如式(11)～式(13)所示。

將v1，v2，v3三者拼接形成一個扁平的向量，并輸入到一個兩層的全連接層中，將輸出結果投射到m維作為評價相似度的m個方面，即s={s1,s2,…,sm}。

其中，ws、wh是多層感知機中學習的權重，bs、bh是學習的偏置項。

在進行計算匹配得分前，需要將上一步得到的結果進行池化操作，這里我們選擇加和池化計算匹配分數(shù)，并用sigmoid激活函數(shù)把匹配值壓縮到0到1之間。 將問題q與謂詞pi(其中i=1,2,3，…，k，k為謂詞集合的元素數(shù)目)的語義向量按照本文提出的方式進行一對一匹配，每一個問句對應得到k個語義相關性SMS(pi|q)，如式(15)所示。

1.3.5 決策層

將語義匹配得分送入Softmax分類器中預測最終的正確匹配項，并計算添加了正則項后的交叉熵目標函數(shù)。

p(pi|q)是問題q與第i個謂詞pi相匹配的概率。其中，P是問題q的一組候選謂詞，包括幾個否定謂詞樣本和一個肯定謂詞樣本。p′代表候選謂詞集P中的任意謂詞元素，具體如式(16)所示。

訓練語義模型以最大化肯定謂詞的可能性為訓練目標，L(·)是目標損失函數(shù)。其中，qr代表R個問題中的第r個問題，p+代表正確的謂詞，p(p+|qr)是第r個問題中給定正謂詞的條件概率，λ是L2正則化參數(shù)，θ是模型的參數(shù)。最后使用優(yōu)化算法對目標函數(shù)進行優(yōu)化，此過程采用誤差反向傳播的方式更新各層權重和偏置值，具體如式(17)所示。

2 實驗

2.1 實驗設置與評測指標

實驗采用NLPCC-ICCPOL公開數(shù)據(jù)集，其中，訓練集包含14 609個問句，測試集包含9 870個問句。本文從訓練集中選取3 000個詞句作為開發(fā)集，剩下的11 609個問句作為實際的訓練集。

實驗環(huán)境： 本實驗的環(huán)境為Tensorflow框架，編程語言為Python 3.5。重要超參數(shù)設置情況： 選取300維的Word2Vec詞向量模型，batch size大小為50，學習率為0.005，卷積核窗口大小為1，2，3，卷積核數(shù)目為100，卷積步幅為1。為防止梯度爆炸，使用了梯度裁剪。實驗選擇Momentum優(yōu)化器。評測指標采用通用的準確率。

2.2 屬性映射實驗

本文選取前人提出的神經(jīng)網(wǎng)絡與簡單文本特征的結合模型、BDSSM模型以及CDSSM模型作為對比模型，進行屬性映射實驗，實驗結果如表1所示。通過表1可以看出，本文的淺層語義匹配方法和深層語義匹配方法與對比模型相比準確率均有提高，而將淺層語義和深層語義融合后得到GHSMM綜合模型，比單獨使用這兩種語義時取得了更優(yōu)的效果，證明了本文采用層次化語義匹配方法的有效性。

另外，實驗顯示，保留問句中的主題實體提高了所有本文改進模型的準確率，但沒有對CDSSM、BDSSM起到提升作用。說明加入主題實體更有利于本文模型的匹配。

表1 各種不同方法的屬性映射實驗結果

為了更好地說明本文在原CDSSM模型基礎上所做的各項改進模塊的有效性，我們對模型做了消融實驗，即比較了不同迭代次數(shù)下各項改進模塊的準確率。圖3分別展示了基線模型(CDSSM)、基于交互注意力機制的淺層語義匹配(Attention+MLP)、無卷積門的深度語義匹配(CNN+MLP)、有卷積門的深度語義匹配(GCNN+MLP)、通過簡單加和實現(xiàn)的層次化語義匹配(HSMM)以及組合起來的融合語義平衡門的層次化語義匹配(GHSMM)在一次訓練中各迭代輪數(shù)下的性能。實驗分別在包含主題實體的數(shù)據(jù)集(圖3右部分)與掩蓋主題實體的數(shù)據(jù)集(圖3左部分)上進行。

圖3 本文各項改進方法在不同訓練輪數(shù)下的效能比較

從圖3可以看出，在每次迭代中，實體被掩蓋時有無卷積門的實際效能差距很小，說明此時卷積門對問句的過濾作用還比較微弱，而在保留主題實體時有卷積門的過濾效果相對更明顯一些；單純使用注意力機制得到的淺層語義匹配在整體訓練效果上具有較大的起伏，總體上弱于其他改進模型；HSMM將深層語義與淺層語義通過簡單加和的方式相結合，效果要弱于GHSMM，這進一步證明了加入語義平衡門能使兩種語義自適應地達到更好的結合效果。整體上看，層次化語義模型訓練趨勢平穩(wěn)，且在兩組實驗數(shù)據(jù)集中呈現(xiàn)的總體效果最優(yōu)，這表明本文將淺層語義與深層語義成功地融合在一起，減少了語義信息的損失。

2.3 天文常識問答系統(tǒng)示范性應用

本文將提出的基于層次化語義框架的知識庫映射方法應用到實際的領域知識庫問答中，實現(xiàn)了天文常識問答系統(tǒng)的示范性應用。圖4是整個天文常識問答系統(tǒng)的構建，包含“天文常識知識庫構建”和“天文常識問答實現(xiàn)”兩個大模塊。

圖4 天文問答系統(tǒng)構建

2.3.1 天文常識知識庫構建

目前，已經(jīng)開放的天文知識庫和相關成型的語料十分罕見，而百科知識語料屬于互聯(lián)網(wǎng)上開放的知識文本數(shù)據(jù)，具有規(guī)模龐大、持續(xù)更新擴展的特點，如著名的DBPedia知識庫就是從維基百科中抽取構建的。因此，本文選擇從百度百科網(wǎng)絡資源中獲取天文知識語料并進一步展開結構化信息抽取工作。百度百科具有較強的專業(yè)性和全面性，而且在詞條頁面中附帶結構化的數(shù)據(jù)信息，這使得后期的信息抽取工作變得方便有效。本文首先下載了天文詞典以及爬取百度百科“科技名詞欄”中的天文術語，構建出了一份天文實體集，該實體集一共包含24 376個天文學名詞。本文依照實體集爬取了對應的百度百科信息框，將這些信息以三元組的格式存儲，例如： <“木衛(wèi)四”，“外文名”，“Dione”>。對于某些特定關系的尾實體(如“類別”“別稱”“成分”等)要進行字符串的切割操作，將含多個并列成分的句子分開，例如： 將<“日冕”，“結構”，“內冕、中冕和外冕3層”>這一個三元組拆分成： <“日冕”，“結構”，“內冕”>、<“日冕”，“結構”，“中冕”>、<“日冕”，“結構”，“外冕”>3個三元組。由于基于上述爬蟲方法獲取到的大多數(shù)是“實體-屬性-屬性值”類別的三元組，缺少“實體-關系-實體”這類三元組，因此為了進一步擴展知識庫，本文事先回召了已有三元組中特定關系的關系句子，并作為語料通過基于注意力機制的Bi-LSTM+CNN網(wǎng)絡訓練關系抽取模型，再使用基于鏈入詞條的TF-IDF的相似度計算獲取關聯(lián)度高的實體對，選擇包含這些實體對的關系句子送入模型進行關系標簽預測，經(jīng)過人工評估后作為少量擴充數(shù)據(jù)入庫。最終構建的知識庫包含53 975個三元組，以及10 258個關聯(lián)度較高的實體對和它們的關聯(lián)程度數(shù)值。

2.3.2 天文常識問答實現(xiàn)

上述方法構建的天文常識知識庫與NLPCC-ICCPOL發(fā)布的知識庫存在類似的問題，例如，許多三元組賓語是以字符串形式表示而不是知識庫中的實體，因此難以形成類似知識圖譜的網(wǎng)絡拓撲結構；其次，對于同一個主題實體，可能存在多個幾乎同義的關系謂詞。很多在FreeBase等外文知識庫的研究并不適合直接應用在此類中文的數(shù)據(jù)集中，也無法處理需要多個三元組進行回答的復雜問題，而比較適合用來回答單實體單關系類型的問題。綜合這些因素，本文將天文問答分為Bi-LSTM-CRF天文命名實體識別步驟與GHSMM屬性映射步驟?？紤]到大多數(shù)天文主題實體較為生僻，因此使用主題實體掩蓋方法，使問句更接近自然語法結構。首先將問句經(jīng)過實體識別層找出問句中對應的天文主題實體，再將主實體替換為特殊符號，與檢索出的相關候選謂詞一并輸送到屬性映射層進行匹配。由于難以獲取符合條件的數(shù)據(jù)集和標簽，我們訓練Bi-LSTM-CRF模型的語料是由爬取的天文百度百科文本經(jīng)過分句、分字以及采用字符串匹配算法對照天文實體集添加字標簽獲取的，標簽采用的序列格式為BIOES。在屬性映射層中，本文模型可以處理不同數(shù)目的關系謂詞，系統(tǒng)將匹配概率最高的謂詞作為該問題的核心意圖，聯(lián)合主題實體和關系謂詞，返回對應的尾實體作為最終答案。

2.3.3 樣例分析

為了證明模型理解問題語義與選取關系謂詞的有效性，本文抽取了一個天文問句例子(表2)，從已構建的天文知識庫中檢索相關實體和全體關系謂詞，經(jīng)過上述問答系統(tǒng)的識別后展示候選謂詞分數(shù)經(jīng)過歸一化后得到的概率分布。

表2 樣例分析

如表2所示，該樣例包含一個主題實體“貝利珠”的問題，并且詢問的意圖與“名字”有關。針對“貝利珠”主題實體，從知識庫中檢索出來的候選謂詞有表中所示的5個。輸入問句“貝利珠名字的由來是什么？”，在CDSSM中，帶有“名字”意義的兩個關系謂詞“外文名”與“命名原因”在謂詞候選集中的匹配概率都很高，模型最終錯誤地選擇了與“名字”語義接近的“外文名”。同時，我們發(fā)現(xiàn)CDSSM中其他候選謂詞也隨著本身語義的相關度差異顯示不同的概率，例如，“人物”這種類型的詞從某種程度上也經(jīng)常和“名字”同時出現(xiàn)，語義相關度較高，故概率值也偏高一些。

而經(jīng)過本文提出的GHSMM處理后，正確謂詞匹配概率相對較高，而其他錯誤候選項的概率值幾乎相同，降低了其他詞在語義遠近上的影響，例如，在上述問句中與名字有關的“外文名”與不相關謂詞“出現(xiàn)時間”“學科”等概率值幾乎相同。

上述分析再次證明本文提出的GHSMM比CDSSM具有更好的性能，在一定程度上避免了詞語之間語義相近導致的錯誤匹配情況。

3 結語

基于知識庫的自動問答大多數(shù)做法是通過主題實體識別問句與關系謂語的屬性映射，由于領域知識庫缺少問答數(shù)據(jù)集，本文以NLPCC-ICCPOL數(shù)據(jù)進行問謂屬性映射訓練，并遷移到天文領域知識庫中實現(xiàn)自動問答。在屬性映射研究過程中，本文將前人的CDSSM模型進行了改進，在特征抽取步驟中利用門控感知機制融合層次化語義信息，使最后的向量表示同時具備淺層和深層的語義；在匹配層中我們將CDSSM中原有的無參余弦匹配改進為融合多種交互信息的多層感知機，通過池化等操作得到最終語義匹配分數(shù)，實驗證明，最終改進的屬性映射方法比CDSSM與BDSSM等模型的匹配效果有明顯提高。但是本文所實現(xiàn)的領域知識庫自動問答系統(tǒng)仍然存在許多限制和不足，下一步工作中，我們希望將模型進一步改進，并關注問句中主題實體的提取環(huán)節(jié)，以實現(xiàn)更高性能的特定領域自動問答應用。