董孝政，洪 宇，朱芬紅，姚建民，朱巧明

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0 引言

問(wèn)題自動(dòng)生成是一項(xiàng)重要的自然語(yǔ)言研究課題，其核心問(wèn)題是理解語(yǔ)句并自動(dòng)地生成問(wèn)句。評(píng)估所生成問(wèn)句質(zhì)量的條件是： 原陳述句能夠恰當(dāng)?shù)鼗卮鹚傻膯?wèn)題。如例1中，原陳述句能夠作為問(wèn)題AP1和AP2的確切答案。那么，當(dāng)兩者為機(jī)器生成的問(wèn)題時(shí)，則可歸為問(wèn)句生成的高質(zhì)量樣本。在具體評(píng)測(cè)過(guò)程中，生成的問(wèn)句將與人工編輯的問(wèn)題進(jìn)行比對(duì)，并利用BLEU-4進(jìn)行評(píng)價(jià)。

例1 問(wèn)題生成實(shí)例(一對(duì)多)

Sourcenarrative:MauduaifoundedtheJamaat-e-IslamiPartyin1941andremaineditsleaderuntil1972.(譯文： 原陳述句為“1941年，馬杜賴創(chuàng)立了伊斯蘭大會(huì)黨，并在1972年之前，一直領(lǐng)導(dǎo)這一黨派。”)

AP1:WhendidMauduaifoundtheJamaat-e-Islamiparty? (“馬杜賴何時(shí)建立了伊斯蘭大會(huì)黨？”)

AP2:WhofoundedtheJamaat-e-IslamiParty?(“誰(shuí)建立了伊斯蘭大會(huì)黨？”)

Rus等于2010年對(duì)問(wèn)題自動(dòng)生成任務(wù)進(jìn)行了定義(如文獻(xiàn)[1])。自此，該任務(wù)驅(qū)動(dòng)了一系列圍繞智能問(wèn)答的生成模型研究，并使之在教育、醫(yī)療以及助殘領(lǐng)域得到應(yīng)用[2]。尤其，問(wèn)題生成可針對(duì)自由文本中的大量語(yǔ)句進(jìn)行處理，形成批量的問(wèn)答對(duì)子，有助于自動(dòng)構(gòu)建問(wèn)答知識(shí)庫(kù)，使現(xiàn)有社區(qū)問(wèn)答系統(tǒng)能在更為豐富的知識(shí)領(lǐng)域中進(jìn)行服務(wù)[3-4]。

現(xiàn)有問(wèn)題生成的主流方法主要包括兩種。其一是依據(jù)預(yù)先制定的規(guī)則進(jìn)行陳述句與問(wèn)句的形式轉(zhuǎn)換，這類方法受限于規(guī)則的低普適性，往往無(wú)法應(yīng)用于開(kāi)放域大規(guī)模數(shù)據(jù)的處理；其二是基于編碼—解碼架構(gòu)[5]的神經(jīng)問(wèn)題生成策略。這類方法繼承了機(jī)器翻譯處理過(guò)程的諸多特點(diǎn)，例如，語(yǔ)義一級(jí)的語(yǔ)用變換、語(yǔ)序自適應(yīng)調(diào)優(yōu)和靈活的序列生成等。與傳統(tǒng)規(guī)則的預(yù)定義方法相比，神經(jīng)問(wèn)題生成模型具有更好的適應(yīng)性和開(kāi)放性。盡管如此，最新的研究成果顯示，這類模型生成的問(wèn)句往往缺乏表述的嚴(yán)謹(jǐn)性，可讀性也差強(qiáng)人意。

本文嘗試在現(xiàn)有神經(jīng)問(wèn)題生成的架構(gòu)上進(jìn)行改進(jìn)，并集中在一對(duì)一的陳述句-問(wèn)句轉(zhuǎn)換這一子任務(wù)上(即PQG)。特別地，本文提出一種融合了密令位置信息的端對(duì)端模型，能夠根據(jù)密令位置信息，自動(dòng)確定生成目標(biāo)的問(wèn)句類型，即認(rèn)定“根據(jù)原句產(chǎn)生何種類型的問(wèn)題更為適合”。例如，對(duì)于陳述句“星期五天氣晴，溫度30度?！钡拿芰钊缭O(shè)定為“星期五”，且在句子語(yǔ)義表示學(xué)習(xí)的過(guò)程中添加了密令位置信息，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)義級(jí)解碼時(shí)，可以聚焦于“星期五”這一密令，進(jìn)而產(chǎn)生“哪天天氣晴，溫度30度？”的問(wèn)題。同樣地，設(shè)置不同的密令，將產(chǎn)生與密令相應(yīng)的問(wèn)題，設(shè)定密令為“30度”，進(jìn)而產(chǎn)生“星期五的溫度為多少度？”的問(wèn)題。

本文采用的模型架構(gòu)屬于端到端的序列化生成模型。具體地，給定目標(biāo)陳述句，編碼端的隱含層將輸出包括全句語(yǔ)義信息和位置局部信息的聯(lián)合特征。在此基礎(chǔ)上，使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bidirectional Long Short Term Memory，Bi-LSTM)[6]對(duì)句子進(jìn)行表示學(xué)習(xí)；并使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[7]對(duì)位置信息進(jìn)行編碼，以獲取句子中每個(gè)單詞相對(duì)答案密令的位置信息，位置信息有助于語(yǔ)義級(jí)解碼時(shí)聚焦于不同的密令。由此，解碼端對(duì)隱含層輸出進(jìn)行序列化解碼，生成一個(gè)針對(duì)密令的具體問(wèn)題。

本文利用SQuAD語(yǔ)料[8]進(jìn)行問(wèn)題生成實(shí)驗(yàn)，該語(yǔ)料提供了大量人工抽取的答案以及對(duì)應(yīng)的問(wèn)句。實(shí)驗(yàn)結(jié)果顯示，本文所提方法顯著優(yōu)化了問(wèn)題生成的性能，BLEU-4獲得1.98%的提高。本文主要貢獻(xiàn)包括： ①提出一種融合密令位置信息的問(wèn)題生成模型； ②模型中的CNN結(jié)構(gòu)用于獲取密令位置信息，LSTM則獲取句子語(yǔ)義信息表示。此外，將兩者融合可以得到關(guān)注密令的句子信息表示；③優(yōu)化了現(xiàn)有問(wèn)題生成系統(tǒng)，使之達(dá)到了目前最優(yōu)性能。

本文組織結(jié)構(gòu)如下，第1節(jié)簡(jiǎn)要回顧相關(guān)工作；第2節(jié)介紹問(wèn)題生成模型和方法；第3節(jié)給出數(shù)據(jù)和實(shí)驗(yàn)配置；第4節(jié)匯報(bào)實(shí)驗(yàn)結(jié)果并給予分析；第5節(jié)總結(jié)全文。

1 相關(guān)工作

目前，問(wèn)題生成技術(shù)的研究思路主要分為兩種，其一是基于規(guī)則轉(zhuǎn)化進(jìn)行問(wèn)題生成；其二是基于編碼-解碼架構(gòu)的神經(jīng)問(wèn)題生成策略。

預(yù)先制定大量的規(guī)則，例如，將人名替換成“誰(shuí)”，根據(jù)語(yǔ)法調(diào)整語(yǔ)句可以得到大量的問(wèn)題，對(duì)這些問(wèn)題進(jìn)行排序，獲取topk的問(wèn)題。因此，基于規(guī)則的問(wèn)題轉(zhuǎn)化得到的問(wèn)題的可接受性較強(qiáng)，目前也取得了很多優(yōu)秀成果。Heilman等[9]依據(jù)制定的規(guī)則將簡(jiǎn)化后的陳述句轉(zhuǎn)化成問(wèn)題，然后通過(guò)邏輯斯蒂回歸模型[10]對(duì)生成問(wèn)題進(jìn)行重排序，并保留前20%的生成問(wèn)題，人工評(píng)估生成問(wèn)題的可接受率由27%提升到52%。Yao[11]通過(guò)查找答案短語(yǔ)的上位詞，在問(wèn)題轉(zhuǎn)化過(guò)程中不單單使用問(wèn)題詞，而是由問(wèn)題詞和上位詞共同組建新的問(wèn)題詞，使得生成的問(wèn)題能夠更加具體。而Liu等[12]將基于規(guī)則的問(wèn)題生成應(yīng)用到中文，其中轉(zhuǎn)化過(guò)程使用了詞法和句法信息。

隨著深度學(xué)習(xí)方法在各個(gè)領(lǐng)域的突出表現(xiàn)，將此類方法應(yīng)用于問(wèn)題生成研究被逐漸關(guān)注。主要以端到端的序列化架構(gòu)為主，摒棄大量的煩瑣規(guī)則，并且生成的問(wèn)題也具有更高的推理性。Du等[13]嘗試使用基于Bi-LSTM的問(wèn)題生成模型，分別對(duì)句子和添加段落信息的句子進(jìn)行問(wèn)題生成，在自動(dòng)評(píng)估方法上取得很好的性能，且人工評(píng)價(jià)生成的問(wèn)題也優(yōu)于基于規(guī)則的問(wèn)題，顯得更加自然且具有較高的推理性。然后，Zhou等[2]又嘗試使用基于Bidirectional Gated Recurrent Unit(Bi-GRU)的神經(jīng)問(wèn)題生成模型，并且在訓(xùn)練模型中加入詞性(POS)特征和位置特征。Duan等[14]采用基于CNN的檢索式模型和基于Bi-GRU的生成式模型產(chǎn)生問(wèn)題模板，進(jìn)一步生成問(wèn)題。

基于規(guī)則的問(wèn)題生成需要大量預(yù)制定的規(guī)則，由于制定的規(guī)則是針對(duì)特定任務(wù)，使得系統(tǒng)的可遷移性較差，并且規(guī)則的制定是一個(gè)煩瑣而復(fù)雜的工程，使用此類方法的問(wèn)題生成系統(tǒng)后期維護(hù)困難。使用深度學(xué)習(xí)進(jìn)行問(wèn)題生成，尤其是依據(jù)編碼-解碼的網(wǎng)絡(luò)架構(gòu)進(jìn)行問(wèn)題生成，模型具有語(yǔ)用變換、語(yǔ)序自適應(yīng)調(diào)優(yōu)和靈活的序列生成等優(yōu)勢(shì)，并且能夠避免煩瑣的規(guī)則。此外，Du等使用人工評(píng)測(cè)也驗(yàn)證了該架構(gòu)生成的問(wèn)題的可接受性高于使用規(guī)則問(wèn)題生成方法的性能。因此，本文采用編碼—解碼的框架研究問(wèn)題生成任務(wù)。

2 問(wèn)題生成模型和方法

2.1 總體架構(gòu)

為了針對(duì)一對(duì)一的陳述句—問(wèn)句轉(zhuǎn)換這一子任務(wù)，本文嘗試對(duì)現(xiàn)有神經(jīng)問(wèn)題生成的架構(gòu)進(jìn)行優(yōu)化： 密令位置信息的關(guān)注，目的在于解決現(xiàn)有的神經(jīng)問(wèn)題生成模型不能實(shí)現(xiàn)問(wèn)題的豐富化(即一個(gè)陳述句僅能轉(zhuǎn)換成一個(gè)問(wèn)題，而不能像人類那樣可針對(duì)該句子的不同成分提出多個(gè)問(wèn)題或者對(duì)相同問(wèn)題能進(jìn)行多種形式的提問(wèn))。本文提出一種融合密令位置信息的問(wèn)題生成模型。通過(guò)關(guān)注密令的位置信息，對(duì)整個(gè)句子的語(yǔ)義編碼進(jìn)行動(dòng)態(tài)的調(diào)整，能夠產(chǎn)生針對(duì)密令的特定問(wèn)題。

下面介紹本方法的總體架構(gòu)，如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

首先，對(duì)于一個(gè)待轉(zhuǎn)換的陳述句S={s1,s2,…,sn}和需要關(guān)注的密令T={t1,t2,…,tm}，其中T∈S，密令T是陳述句S中的一個(gè)片段，n和m分別表示陳述句和密令的長(zhǎng)度，0

? 將句子向量X={x1,x2,…,xn}輸入Bi-LSTM層，通過(guò)Bi-LSTM層的編碼，獲得各個(gè)單詞包含的上下文信息的隱含層表示B={b1,b2,…,bn}。

? 將位置信息向量Xn= {xn1,xn2，…,xnn}輸入到CNN層，通過(guò)CNN對(duì)位置信息進(jìn)行編碼，可以獲取每個(gè)單詞相對(duì)密令的位置的隱含層表示Bn={bn1,bn2,…,bnn}。

? 在此基礎(chǔ)上，通過(guò)密令語(yǔ)義融合模塊，按序拼接上下文的隱含層表示B和位置信息的隱含層表示Bn，可以得到整個(gè)編碼層的隱含表示H={h1，h2，…，hn}，其中hi=[bi,bni]；

? 如前文所述，密令信息有助于表示學(xué)習(xí)，但上述環(huán)節(jié)無(wú)法將其融入LSTM網(wǎng)絡(luò)的信息傳播過(guò)程。生成過(guò)程難以接觸并利用密令信息，原因在于生成問(wèn)題時(shí)需要實(shí)時(shí)調(diào)整對(duì)每個(gè)詞的關(guān)注度。因此，本文使用動(dòng)態(tài)注意力機(jī)制，在生成問(wèn)題時(shí)能夠動(dòng)態(tài)關(guān)注每個(gè)單詞的語(yǔ)義。通過(guò)門控動(dòng)態(tài)注意力機(jī)制，按序(自句首至句尾)逐詞地、動(dòng)態(tài)地對(duì)各個(gè)單詞(也稱信道處理的各個(gè)時(shí)刻)的上下文分配不同的注意力權(quán)重，進(jìn)而通過(guò)注意力權(quán)重與上下文詞向量H，計(jì)算上下文注意力分布向量C={c0,c1,…,cn}。

? 將該向量輸入LSTM層進(jìn)行問(wèn)題的生成，從而獲取由陳述句轉(zhuǎn)化的問(wèn)題Q={y1,y2,…,ym}。

下面各個(gè)小節(jié)對(duì)每一層的計(jì)算模型給予詳細(xì)介紹，主要包含密令位置信息的獲取、Bi-LSTM層、CNN層和動(dòng)態(tài)注意力機(jī)制四個(gè)部分。

2.2 密令位置信息的獲取

本節(jié)主要介紹密令位置信息的確定，位置信息由密令和陳述句共同確定，密令是陳述句的部分連續(xù)單詞。因此，密令所在句子中位置信息設(shè)置為0，而非密令的位置信息則根據(jù)與密令的相對(duì)距離確定。密令左邊單詞的位置信息每隔一個(gè)單詞就減1，密令右邊單詞的信息每隔一個(gè)單詞就加1。以例1(見(jiàn)引言)所示，設(shè)定密令為“in1941andremaineditsleaderuntil1972.”(譯文： 從1941年到1972年一直都是執(zhí)政者)。由于密令的所有單詞所在位置為0，其他的單詞位置依據(jù)密令的相對(duì)距離確定(左減右加)，因此，例子的位置信息為[-5,-4,-3,-2,-1,0,0,0,0,0,0,0,0]，其中，每個(gè)數(shù)字代表單詞的位置序號(hào)。通過(guò)預(yù)訓(xùn)練詞向量可將位置信息轉(zhuǎn)化為向量表示Xn，用作模型的輸入。

2.3 Bi-LSTM 層

2.4 Convolutional Neural Network層

本節(jié)主要介紹如何利用CNN獲取每個(gè)單詞與密令的關(guān)系的隱含層表示Bn={bn1,bn2,…,bnn}。

在該模塊中使用的神經(jīng)網(wǎng)絡(luò)繼承了Kim[7]的工作，但與其區(qū)別在于隱藏層僅由一個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成，沒(méi)有使用池化層。并且，為了防止其他單詞信息的影響，將卷積核大小設(shè)定為1。因此，當(dāng)一個(gè)密令位置向量xni輸入到CNN網(wǎng)絡(luò)，獲得單詞所對(duì)應(yīng)的位置信息的隱含表示bni。計(jì)算模型如式(4)所示。

bni=f(w*xni+b)

(4)

其中，w和b是可訓(xùn)練的模型參數(shù)。

2.5 動(dòng)態(tài)注意力機(jī)制

本節(jié)介紹如何通過(guò)門控動(dòng)態(tài)注意力層獲取陳述句中各個(gè)目標(biāo)單詞和位置信息的注意力向量(簡(jiǎn)稱門控層)。首先，位置信息與句子的隱含特征形成聯(lián)合表示；然后，門控層作用于該聯(lián)合表示，即利用注意力機(jī)制動(dòng)態(tài)獲取與密令相關(guān)的特定語(yǔ)義；解碼得到的問(wèn)題過(guò)程中，門控層利用該特定語(yǔ)義進(jìn)行問(wèn)題生成，將會(huì)更加具體，從而形成一對(duì)一的特定問(wèn)題，這也是模型能夠進(jìn)一步提高的重要原因。動(dòng)態(tài)注意力機(jī)制如圖2所示。

由上述過(guò)程，我們已經(jīng)可以得到編碼端的隱狀態(tài)表示H={h1,h2,…,hn}，其中hi=[bi,bni]，包含了單詞的隱狀態(tài)和位置信息的表示。通過(guò)該表示，可以發(fā)現(xiàn)不僅含有每個(gè)單詞的語(yǔ)義表示，還有每個(gè)單詞與密令的相對(duì)位置信息表示。因此，編碼端的信息輸出是能夠關(guān)注到密令，進(jìn)而出色地完成一對(duì)一的陳述句—疑問(wèn)句轉(zhuǎn)換任務(wù)。

(5)

其中，Wb是可訓(xùn)練的模型參數(shù)，該得分表示隱狀態(tài)注意力權(quán)重的分配。為了使權(quán)重在統(tǒng)一標(biāo)準(zhǔn)中進(jìn)行公平計(jì)算， 本文對(duì)oi= {o1i,o2i，…，oni}進(jìn)行歸

一化處理，以獲得規(guī)整的注意力得分Ai={a1,i,a2,i,…,an,i}，，如式(6)所示。

(6)

為了獲得注意力分布不同的注意力向量，本文將注意力權(quán)重乘以對(duì)應(yīng)的上下文向量h1,h2,…,hn并進(jìn)行累加如式(7)所示。

(7)

通過(guò)計(jì)算可得到當(dāng)前步的語(yǔ)義編碼ci，將語(yǔ)義編碼輸入到LSTM網(wǎng)絡(luò)中，可以獲取到問(wèn)題中的第t個(gè)詞。具體產(chǎn)生詞的過(guò)程通過(guò)式(8)計(jì)算。

p(yt|y

(8)

其中，f是softmax激活函數(shù)，Ws和Wt是可訓(xùn)練的模型參數(shù)。st是通過(guò)LSTM獲取的隱含層輸出，可通過(guò)式(9)進(jìn)行計(jì)算。

st=LSTM(yt-1,st -1)

(9)

通過(guò)以上Bi-LSTM層、CNN層及動(dòng)態(tài)注意力層的表示學(xué)習(xí)，得到每個(gè)目標(biāo)詞對(duì)應(yīng)的隱狀態(tài)表示c={c1,c,…,cn}。在此基礎(chǔ)上，本文將其輸入到LSTM層進(jìn)行問(wèn)題生成Qw={y1,y2,…,yn}，最終獲得一個(gè)問(wèn)題。需要注意的是，目標(biāo)端在產(chǎn)生問(wèn)題時(shí)，如果產(chǎn)生單詞，則終止生成過(guò)程。

3 實(shí)驗(yàn)配置

3.1 數(shù)據(jù)集

為了測(cè)試本文所提方法的有效性，我們?cè)赟QuAD數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集由眾包工作者提出問(wèn)題，其中每個(gè)問(wèn)題的答案來(lái)自相應(yīng)閱讀文章中的一段文本，即密令，如例1(詳見(jiàn)引言)，實(shí)驗(yàn)是依據(jù)句子進(jìn)行問(wèn)題生成，輸入包括句子和依據(jù)答案密令確定的位置信息，目標(biāo)端輸出是人工問(wèn)題。其中訓(xùn)練集、開(kāi)發(fā)集和測(cè)試集數(shù)據(jù)劃分參照Du實(shí)驗(yàn)數(shù)據(jù)的切分，具體的數(shù)據(jù)統(tǒng)計(jì)如表1所示，其中句子的平均長(zhǎng)度為32.9個(gè)單詞，問(wèn)題的平均長(zhǎng)度為11.3個(gè)單詞，答案短語(yǔ)的平均長(zhǎng)度是3.2個(gè)單詞。

表1 語(yǔ)料統(tǒng)計(jì)

3.2 超參數(shù)設(shè)置

預(yù)訓(xùn)練詞向量的維度為300，詞向量來(lái)源Glove[16]，并且在模型的訓(xùn)練過(guò)程中進(jìn)行微調(diào)處理，使得詞向量表示更加適合問(wèn)題生成任務(wù)，序號(hào)向量維度也為300。學(xué)習(xí)率(Learning Rate)設(shè)置為固定的0.5，衰減率設(shè)置為0.6，并且，當(dāng)困惑度增加學(xué)習(xí)率根據(jù)衰減率進(jìn)行改變。批量(Batch Size)輸入大小設(shè)置為64，模型優(yōu)化使用的隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)。此外，模型的損失函數(shù)是對(duì)數(shù)似然損失函數(shù)(1)https://scikitlearn.org/stable/modules/generated/sklearn.metrics.log_loss.html#sklearn.metrics.log_loss，計(jì)算如式(10)所示，其中X表示輸入句子，Y表示輸出問(wèn)題。

L(Y,P(Y|X))=-logP(Y|X)

(10)

模型的參數(shù)配置如表2所示。編碼端的參數(shù)設(shè)置，句子長(zhǎng)度max_len為100，卷積層數(shù)設(shè)置為1層，卷積網(wǎng)絡(luò)的隱含層單元數(shù)為100；編碼端和解碼端LSTM的隱藏層設(shè)置均為兩層，維度為600。其網(wǎng)絡(luò)中殘差項(xiàng)設(shè)置為“true”。另外，在編碼端保留高頻詞為45 000個(gè)，解碼端保留高頻詞為28 000個(gè)，序號(hào)設(shè)置大小為-100到100的范圍，保證密令在句子中任意位置的可能性。

表2 參數(shù)設(shè)置

在解碼過(guò)程中，Beam_search設(shè)置為5，并且，在解碼時(shí)產(chǎn)生UNK詞時(shí)，則使用注意力機(jī)制中分?jǐn)?shù)(aj,i)最高的相應(yīng)的源端詞替換UNK。

3.3 實(shí)驗(yàn)配置

為了與本文所提出的融合密令注意力機(jī)制的端對(duì)端PQG模型做對(duì)比，驗(yàn)證所提方法的有效性，我們?cè)O(shè)置了以下對(duì)比系統(tǒng)。

DirectIn: 該方法主要是利用分句的最長(zhǎng)子句作為檢索源，即作為句子的問(wèn)題。

H&S: 該系統(tǒng)是基于規(guī)則的問(wèn)題生成系統(tǒng)，通過(guò)排序，在實(shí)驗(yàn)中我們對(duì)句子生成多個(gè)問(wèn)題，選擇排名第一的生成問(wèn)題，對(duì)于沒(méi)有生成問(wèn)題的句子不予考慮，測(cè)試集數(shù)據(jù)共保留10 646條。

NQG+LSTM: 該系統(tǒng)是使用基于Bi-LSTM的深度學(xué)習(xí)模型[9]，模型結(jié)構(gòu)與本文中的問(wèn)題生成模型結(jié)構(gòu)一致。

NQG++: 論文中未完全達(dá)到Zhou[2]論文中的實(shí)驗(yàn)性能，僅僅參照論文的最好結(jié)果的模型，該模型是一個(gè)基于Bi-GRU的深度學(xué)習(xí)模型，另外在該模型中添加copy機(jī)制，使用預(yù)訓(xùn)練的詞向量，以及在編碼端和解碼端共用一個(gè)詞向量表。

Dongetal[17]: 該系統(tǒng)對(duì)NQG+LSTM利用了問(wèn)題類型的語(yǔ)義特征，使用問(wèn)題分類模型對(duì)答案短語(yǔ)的預(yù)測(cè)類型加入問(wèn)題生成過(guò)程，進(jìn)而產(chǎn)生具體的問(wèn)題。

3.4 評(píng)價(jià)方法

實(shí)驗(yàn)結(jié)果采用的評(píng)價(jià)標(biāo)準(zhǔn)是BLEU值[18]、METEOR值[19]和ROUGEL[20]。BLEU是自動(dòng)翻譯的評(píng)估的方法，METEOR是依據(jù)評(píng)價(jià)指標(biāo)中的召回率的意義提出的評(píng)估方法，計(jì)算對(duì)應(yīng)最佳候選譯文和參考譯文之間的準(zhǔn)確率和召回率的調(diào)和平均，ROUGEL基于最長(zhǎng)公有子句共線性精確率和召回率Fmeasure統(tǒng)計(jì)。BLEU值包括BLEU-1、BLEU-2、BLEU-3和BLEU-4。

4 實(shí)驗(yàn)結(jié)果與分析

通過(guò)實(shí)驗(yàn)，各個(gè)系統(tǒng)的問(wèn)題生成性能和我們的方法對(duì)比如表3所示。我們的方法性能有顯著性提高，達(dá)到了目前最優(yōu)性能。與基準(zhǔn)系統(tǒng)NQG+LSTM對(duì)比，BLEU-4分?jǐn)?shù)提高了1.98%。同樣地，與最好的系統(tǒng)Dong相比，我們系統(tǒng)仍然具有優(yōu)勢(shì)。

基于規(guī)則的問(wèn)題生成方法(DirectIn和H&S)與神經(jīng)問(wèn)題生成系統(tǒng)(NQG+LSTM，NQG++，Dong，Ours)相比，基于編碼-解碼架構(gòu)[5]的神經(jīng)問(wèn)題生成策略具有更好的優(yōu)勢(shì)，其中我們系統(tǒng)的BLEU-4分?jǐn)?shù)比H&S系統(tǒng)高了約3.5個(gè)百分點(diǎn)，也說(shuō)明了基于深度學(xué)習(xí)的方法在問(wèn)題生成任務(wù)中具有更好優(yōu)勢(shì)，所產(chǎn)生的問(wèn)題與人類問(wèn)題更加相似。此外，由于深度學(xué)習(xí)方法是基于整個(gè)句子語(yǔ)義表示進(jìn)行問(wèn)題生成，因此產(chǎn)生的問(wèn)題具有更好的推理性，與使用規(guī)則形成的簡(jiǎn)單問(wèn)題是有差別的，形成高推理性的問(wèn)題具有更高的意義。

表3 問(wèn)題生成結(jié)果

Dong系統(tǒng)通過(guò)融入問(wèn)題類型特征進(jìn)行問(wèn)題生成，評(píng)價(jià)指標(biāo)顯示，其BLEU-4性能達(dá)到13.76%。但是，與我們的方法相比，我們?nèi)匀挥?.32個(gè)百分點(diǎn)的提高，也說(shuō)明了通過(guò)關(guān)注密令位置信息特征的方法是有效的，達(dá)到了最優(yōu)的性能。證明了該方法利用答案密令位置信息和句子語(yǔ)義信息能夠有效提高問(wèn)題生成任務(wù)的性能。

同時(shí)我們定性分析了各個(gè)系統(tǒng)的輸出結(jié)果，其中對(duì)比測(cè)試結(jié)果的系統(tǒng)有H&S、NQG+LSTM、QC+LSTM和Dong，并且也參照了人工提問(wèn)的源問(wèn)題。具體示例如例2和例3所示，通過(guò)對(duì)比發(fā)現(xiàn)，基于神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行問(wèn)題生成可以避免基于規(guī)則方法的煩瑣過(guò)程，并且也使得生成問(wèn)題的推理性更強(qiáng)；另外，通過(guò)我們的方法關(guān)注句子中的特定內(nèi)容，優(yōu)化了問(wèn)題生成模型，使模型達(dá)到目前最優(yōu)的性能。

例2Begunasaone-pagejournalinSeptember1876，thescholasticmagazineisissuedtwicemonthlyandclaimstobetheoldestcontinuouscollegiatepublicationintheunitedstates.(譯文： 1876年9月，學(xué)術(shù)雜志以一頁(yè)期刊的方式開(kāi)始出版，每周兩次，并聲稱它是美國(guó)歷史最悠久的學(xué)院出版物。)

Human：WhendidthescholasticmagazineofNotreDwamebeginpublishing?(譯文： 圣母大學(xué)的學(xué)術(shù)雜志什么時(shí)候開(kāi)始出版的？)

H$S:Whatisbegunasaone-pagejournalinSeptember1876?(譯文： 1876年9月，什么以一頁(yè)雜志的形式開(kāi)始的？)

NQG+LSTM:Whenwasthescholasticjournalpublished?(譯文： 學(xué)術(shù)期刊是什么時(shí)候出版的？)

Dongetal.:Whendidthescholasticjournalbegin? (譯文： 學(xué)術(shù)期刊是什么時(shí)候出版的？)

Ours：Whendidthescholasticmagazinebegin?(譯文： 同上)

從例2中可以發(fā)現(xiàn)，基于規(guī)則的系統(tǒng)H&S產(chǎn)生一個(gè)比較簡(jiǎn)單的‘what’類型的問(wèn)題，且該問(wèn)題的正確答案是“thescholasticmagazine”,根據(jù)該問(wèn)題可以知道答案密令是“inSeptember1876”，提出的問(wèn)題也應(yīng)該是以時(shí)間為主題的問(wèn)題。但是，基于規(guī)則的系統(tǒng)產(chǎn)生的問(wèn)題與人工問(wèn)題相差較大，問(wèn)題類型有誤。對(duì)于深度學(xué)習(xí)方法所產(chǎn)生的問(wèn)題，我們發(fā)現(xiàn)這些問(wèn)題與人工問(wèn)題很相似。并且，使用規(guī)則進(jìn)行轉(zhuǎn)化時(shí)有部分長(zhǎng)句是不能轉(zhuǎn)化成問(wèn)題的，因?yàn)榫渥拥拈L(zhǎng)度超過(guò)了系統(tǒng)的處理能力，在實(shí)驗(yàn)中10 000條數(shù)據(jù)中有10%的數(shù)據(jù)沒(méi)有轉(zhuǎn)化成問(wèn)題，而使用深度學(xué)習(xí)網(wǎng)絡(luò)的模型，能為每一個(gè)句子產(chǎn)生一個(gè)推理性的問(wèn)題。很明顯，基于編碼-解碼的深度學(xué)習(xí)模型優(yōu)于基于規(guī)則策略的生成方式。

在深度學(xué)習(xí)模型中，由于我們的系統(tǒng)對(duì)位置信息進(jìn)行卷積表示，與隱層句子語(yǔ)義合并得到一個(gè)關(guān)注密令的豐富語(yǔ)義表示，利用該語(yǔ)義表示能夠生成具體的問(wèn)題。與Dong系統(tǒng)類似，其通過(guò)使用問(wèn)題分類的結(jié)果替換密令生成問(wèn)題，生成的問(wèn)題也比較類似。不過(guò)我們的方法不需要具體的分類模型，而通過(guò)一個(gè)問(wèn)題生成模型進(jìn)行問(wèn)題轉(zhuǎn)化，簡(jiǎn)化了煩瑣的過(guò)程。

例3Greenhousesconvertsolarlighttoheat，enablingyear-roundproductionandthegrowth-lrb-inenclosedenvironments-rrb-ofspecialtycropsandotherplantsnotnaturallysuitedtothelocalclimate.(譯文： 溫室將太陽(yáng)能轉(zhuǎn)化為熱能，使其能夠全年生產(chǎn)和生長(zhǎng)(在封閉的環(huán)境中)特殊作物和其他不適合當(dāng)?shù)貧夂虻闹参铩?

Human:Whatdogreenhousesdowithsolarenergy?(譯文： 溫室用太陽(yáng)能做什么？)

NQG+LSTM:Whatisthegrowthofthesolargrowth?(譯文： 太陽(yáng)能增長(zhǎng)的增長(zhǎng)是什么？)

Dongetal.:Whatdoesgreenhousesdo?(譯文： 溫室是做什么的)

Ours:Whatdogreenhousesconvertsolarlight?(譯文： 溫室將太陽(yáng)能轉(zhuǎn)化成什么？)

根據(jù)例3，我們的方法與基于深度學(xué)習(xí)方法的模型相比，我們系統(tǒng)產(chǎn)生的問(wèn)題“溫室將太陽(yáng)能轉(zhuǎn)化成什么”與人工問(wèn)題“溫室用太陽(yáng)能做什么”具有很近的語(yǔ)義，其他模型生成的問(wèn)題雖然語(yǔ)法規(guī)則問(wèn)題較小，但語(yǔ)義上與人工問(wèn)題不同。另外，我們方法產(chǎn)生的問(wèn)題具有較高的推理性，因此該問(wèn)題在應(yīng)用上將更有價(jià)值。

另外，模型根據(jù)密令的不同，可以生成不同問(wèn)題，而一般的端到端模型不具有這樣的特點(diǎn)，比如NQG++和NQG+LSTM兩個(gè)模型針對(duì)句子都僅能生成唯一問(wèn)題。因?yàn)樗鼈儫o(wú)法關(guān)注到句子的焦點(diǎn)，模型僅通過(guò)學(xué)習(xí)確定句子中最重要的部分，而忽視了句子中含有其他導(dǎo)致問(wèn)題產(chǎn)生的密令，生成的問(wèn)題是唯一不變的。我們的模型卻能夠通過(guò)關(guān)注密令的位置信息獲取句子不同的語(yǔ)義表示，進(jìn)而生成一對(duì)一的特定問(wèn)題，優(yōu)化了神經(jīng)問(wèn)題生成模型。例如，針對(duì)例2中的陳述句，密令設(shè)為“thescholasticmagazine”進(jìn)行問(wèn)題生成，其他模型的結(jié)果依然與例2相同，我們的問(wèn)題生成結(jié)果如下所示，證明了我們的方法在一對(duì)一的特定問(wèn)題的生成上具有優(yōu)勢(shì)。

Ours：Whatisthenameofthejournalclaimstobetheoldestcontinuouscollegiatepublication?

因此，通過(guò)我們的方法能夠產(chǎn)生更加具體的問(wèn)題，與人工問(wèn)題更為接近，本文所具有的優(yōu)勢(shì)包括以下兩點(diǎn)：

(1) 提出一個(gè)融合密令位置信息的問(wèn)題生成模型，簡(jiǎn)化了問(wèn)題生成的煩瑣過(guò)程；

(2) 將句子語(yǔ)義信息和密令位置信息融合，獲取特定語(yǔ)義表示，優(yōu)化了現(xiàn)有問(wèn)題生成系統(tǒng)，使之達(dá)到了目前最優(yōu)性能。

5 總結(jié)與展望

針對(duì)一對(duì)一的陳述句—問(wèn)句轉(zhuǎn)換問(wèn)題生成任務(wù)，本文提出了一種基于密令位置信息的神經(jīng)網(wǎng)絡(luò)模型。該模型克服了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型無(wú)法關(guān)注密令的弊端，實(shí)驗(yàn)性能有明顯的提升，優(yōu)化了現(xiàn)有的神經(jīng)問(wèn)題生成模型。但是，目前的模型還存在一些問(wèn)題，對(duì)于較長(zhǎng)句子的問(wèn)題生成，模型進(jìn)行語(yǔ)義理解的效果并不能很好地體現(xiàn)，因此，需要進(jìn)一步優(yōu)化句子，比如抽取句子的重要部分，然后對(duì)精簡(jiǎn)的句子進(jìn)行語(yǔ)義編碼，得到更加精確的語(yǔ)義表示，進(jìn)而產(chǎn)生更好的問(wèn)題。