沈銘科 程相杰 方超 丁剛 陳家穎

摘 ?要：文章設(shè)計(jì)了一種基于自然語(yǔ)言處理的發(fā)電設(shè)備知識(shí)庫(kù)系統(tǒng)，包括知識(shí)抽取、語(yǔ)料和知識(shí)存儲(chǔ)、知識(shí)問(wèn)答排序和知識(shí)庫(kù)前端問(wèn)答等模塊，構(gòu)建過(guò)程為：首先進(jìn)行發(fā)電設(shè)備領(lǐng)域自然語(yǔ)言處理基礎(chǔ)模型訓(xùn)練，再針對(duì)領(lǐng)域語(yǔ)料進(jìn)行知識(shí)抽取，最后利用排序模型實(shí)現(xiàn)知識(shí)問(wèn)答。對(duì)比4種知識(shí)抽取方案可得：對(duì)于Top1和Top3準(zhǔn)確率，知識(shí)抽取前處理增加MRC模型比后處理增加MRC校驗(yàn)回路準(zhǔn)確率高;對(duì)于Top5準(zhǔn)確率，后處理中增加MRC校驗(yàn)回路較前處理中增加MRC模型準(zhǔn)確率高。

關(guān)鍵詞：自然語(yǔ)言處理;發(fā)電設(shè)備;知識(shí)庫(kù)系統(tǒng);知識(shí)抽取;知識(shí)問(wèn)答

中圖分類號(hào)：TP391.1 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）06-0013-05

Research on Knowledge Base System of Power Generation Equipment Based on Natural Language Processing

SHEN Mingke，CHENG Xiangjie，F(xiàn)ANG Chao，DING Gang，CHEN Jiaying

（Shanghai Power Equipment Research Institute Co.，Ltd.，Shanghai ?200240，China）

Abstract：This paper designs a knowledge base system for power generation equipment based on natural language processing，which includes knowledge extraction，corpus and knowledge storage，knowledge question and answer sorting，and front-end question and answer of knowledge base and other modules. The construction process is：firstly，performs natural language processing basic model training in the field of power generation equipment;then extracts knowledge from the domain corpus;finally，uses the sorting model to achieve knowledge question and answer. Comparing the four knowledge extraction schemes can be obtained that for the accuracy of Top1 and Top3，the accuracy of adding MRC model in the pre-processing of knowledge extraction is higher than that of adding the MRC verification loop in the post-processing. For Top5 accuracy，adding MRC verification loop in post-processing has a higher accuracy rate than adding MRC model in pre-processing.

Keywords：natural language processing;power generation equipment;knowledge base system;knowledge extraction;knowledge question and answer

0 ?引 ?言

在發(fā)電機(jī)組設(shè)備管理過(guò)程中，涉及大量自然語(yǔ)言形式承載的不同形式的非結(jié)構(gòu)化文檔，如標(biāo)準(zhǔn)規(guī)范、設(shè)備說(shuō)明書(shū)、作業(yè)手冊(cè)、檢修報(bào)告、案例總結(jié)報(bào)告等。這些非結(jié)構(gòu)化文檔是發(fā)電企業(yè)在日常工作中編寫(xiě)、業(yè)務(wù)專家定期分析匯總的經(jīng)驗(yàn)性文檔，對(duì)指導(dǎo)設(shè)備管理工作具有重要意義[1，2]。但往往這些寶貴的文檔分散存儲(chǔ)在企業(yè)不同的文檔管理系統(tǒng)和辦公電腦中，導(dǎo)致技術(shù)人員在查閱和分析過(guò)程中存在困難。雖然發(fā)電企業(yè)已經(jīng)開(kāi)始應(yīng)用設(shè)備文件管理系統(tǒng)和知識(shí)庫(kù)系統(tǒng)，但大多數(shù)的文件系統(tǒng)和知識(shí)庫(kù)系統(tǒng)存在著一些不容忽視的問(wèn)題，比如無(wú)法針對(duì)文本內(nèi)容進(jìn)行檢索或者只能采用關(guān)鍵詞檢索，缺乏語(yǔ)義層面上的知識(shí)問(wèn)答能力[3，4]。因此隨著數(shù)據(jù)量逐漸增大，在工作中需要檢索某個(gè)設(shè)備相關(guān)文件具體的章節(jié)、段落或條目時(shí)，查詢檢索依然非常不方便導(dǎo)致工作效率低下，大量的知識(shí)經(jīng)驗(yàn)沒(méi)有有效發(fā)揮其應(yīng)有的數(shù)據(jù)價(jià)值。

目前，基于自然語(yǔ)言處理的知識(shí)庫(kù)系統(tǒng)已經(jīng)在電網(wǎng)、客服、醫(yī)療、旅游等領(lǐng)域取得了良好的應(yīng)用效果[5-9]。為解決發(fā)電企業(yè)文件系統(tǒng)和傳統(tǒng)知識(shí)庫(kù)系統(tǒng)的弊端，本文提出了一種基于自然語(yǔ)言處理的發(fā)電設(shè)備知識(shí)庫(kù)系統(tǒng)，可以有效提升發(fā)電設(shè)備文本知識(shí)的查詢效率。

1 ?基于自然語(yǔ)言處理的知識(shí)庫(kù)系統(tǒng)架構(gòu)設(shè)計(jì)

如圖1所示，基于自然語(yǔ)言處理的發(fā)電設(shè)備知識(shí)庫(kù)系統(tǒng)主要包含4個(gè)模塊：知識(shí)抽取模塊、知識(shí)/語(yǔ)料存儲(chǔ)模塊、知識(shí)問(wèn)答排序模塊和知識(shí)庫(kù)前端問(wèn)答模塊。

各模塊具體內(nèi)容為：

（1）知識(shí)抽取模塊。該模塊包含了文檔解析拆分、問(wèn)答/答案打標(biāo)、數(shù)據(jù)清洗、審核等語(yǔ)料數(shù)據(jù)預(yù)處理功能，以及詞向量預(yù)訓(xùn)練（StructBert）、機(jī)器學(xué)習(xí)提問(wèn)（Learning2Ask）、篇章排序（PR）、機(jī)器閱讀理解（MRC）等用于知識(shí)抽取的基礎(chǔ)模型訓(xùn)練。訓(xùn)練好的模型經(jīng)過(guò)封裝后還用于知識(shí)問(wèn)答排序模塊進(jìn)行答案預(yù)測(cè)。詞典管理、主題管理等功能可以配置行業(yè)同義詞和知識(shí)主題，用以提高知識(shí)抽取的準(zhǔn)確率。

（2）知識(shí)/語(yǔ)料存儲(chǔ)模塊。該模塊用于存儲(chǔ)語(yǔ)料數(shù)據(jù)、抽取的知識(shí)數(shù)據(jù)以及終端用戶針對(duì)答案進(jìn)行點(diǎn)贊和點(diǎn)踩的反饋數(shù)據(jù)。語(yǔ)料數(shù)據(jù)用來(lái)進(jìn)行知識(shí)抽取模塊中模型的訓(xùn)練，知識(shí)數(shù)據(jù)將為知識(shí)問(wèn)答排序模塊提供答案，用戶反饋數(shù)據(jù)用來(lái)優(yōu)化模型訓(xùn)練效果。

（3）知識(shí)問(wèn)答排序模塊。該模塊包括答案粗排序模型和答案精排序模型，用于對(duì)知識(shí)問(wèn)答的答案進(jìn)行排序。粗排序模型中主要有常用問(wèn)答對(duì)（FAQ）、關(guān)鍵詞檢索（ES）、問(wèn)句檢索等算法引擎[10-14];精排序中主要有知識(shí)抽取模塊中訓(xùn)練并封裝后的PR和MRC模型。

（4）知識(shí)庫(kù)前端問(wèn)答模塊。該模塊主要包含用戶交互、特征提取、答案封裝等功能。用戶交互功能可以獲取用戶提出的問(wèn)題，并返回封裝后答案;特征提取主要用于針對(duì)問(wèn)題的分詞、擴(kuò)詞糾錯(cuò)、用戶特征識(shí)別等特征提取過(guò)程;答案封裝主要用于針對(duì)知識(shí)問(wèn)題排序模塊返回的多條答案進(jìn)行組裝展示。

2 ?發(fā)電設(shè)備知識(shí)庫(kù)系統(tǒng)構(gòu)建

2.1 ?知識(shí)抽取基礎(chǔ)模型訓(xùn)練

2.1.1 ?發(fā)電設(shè)備領(lǐng)域Bert模型訓(xùn)練

本系統(tǒng)采用的是融合語(yǔ)言結(jié)構(gòu)的Bert預(yù)訓(xùn)練模型（StructBert），通過(guò)在訓(xùn)練任務(wù)中增加詞序（Word-level ordering）和句序（Sentence-level ordering）兩項(xiàng)任務(wù)，來(lái)解決傳統(tǒng)預(yù)訓(xùn)練語(yǔ)言模型BERT在預(yù)訓(xùn)練任務(wù)中忽略了語(yǔ)言結(jié)構(gòu)的問(wèn)題[15，16]。首先，將大規(guī)模的通用行業(yè)語(yǔ)料文檔進(jìn)行數(shù)據(jù)預(yù)處理，并訓(xùn)練生成通用行業(yè)的StructBert預(yù)訓(xùn)練模型，再通過(guò)數(shù)據(jù)預(yù)處理后的發(fā)電設(shè)備領(lǐng)域語(yǔ)料將其微調(diào)至針對(duì)發(fā)電設(shè)備領(lǐng)域的StructBert模型。

2.1.2 ?Learning2Ask模型訓(xùn)練

Learning2Ask模型是根據(jù)一段自然語(yǔ)言文本而生成問(wèn)題的模型[17]。本系統(tǒng)采用基于StructBert預(yù)訓(xùn)練模型的自然語(yǔ)言生成模型來(lái)實(shí)現(xiàn)機(jī)器自動(dòng)生成問(wèn)題。首先，將訓(xùn)練生成的發(fā)電設(shè)備領(lǐng)域的StructBert預(yù)訓(xùn)練模型作為編碼器，并用于問(wèn)題生成模型的初始化，再搭建一個(gè)解碼器來(lái)產(chǎn)生問(wèn)題。

2.1.3 ?PR&MRC模型訓(xùn)練

篇章排序模型（PR）用于匹配問(wèn)題與段落的相關(guān)性，為用戶提出問(wèn)題答案所在的候選段落集進(jìn)行排序[18]。其具體任務(wù)描述為：給定一個(gè)三元組（Qi，Pi，Si），根據(jù)問(wèn)題Qi=[q1，q2，…，qm]和相對(duì)應(yīng)的篇章段落Pi=[p1，p2，…，pn]，通過(guò)自然語(yǔ)言理解，推理給出問(wèn)題Qi與段落Pi的相關(guān)性評(píng)分Si，再根據(jù)Si進(jìn)行排序。其中，qi是問(wèn)題的某個(gè)詞語(yǔ)，pi是段落的某個(gè)詞語(yǔ)，m為問(wèn)題的長(zhǎng)度，n為段落的長(zhǎng)度。

機(jī)器閱讀理解模型（MRC）是利用機(jī)器來(lái)閱讀特定的文本段落并回答給出的問(wèn)題[19，20]。其具體任務(wù)描述為：給定一個(gè)三元組（Qi，Pi，Ai），根據(jù)問(wèn)題Qi=[q1，q2，…，qm]和相對(duì)應(yīng)的篇章段落Pi=[p1，p2，…，pn]，通過(guò)自然語(yǔ)言理解，推理給出問(wèn)題答案Ai。其中，qi是問(wèn)題的某個(gè)詞語(yǔ)，pi是段落的某個(gè)詞語(yǔ)，m為問(wèn)題的長(zhǎng)度，n為段落的長(zhǎng)度。

上述兩個(gè)模型輸入均為問(wèn)答文本和段落文本候選集，故本系統(tǒng)采用PR模型與MRC模型綜合考慮的方式，搭建PR&MRC模型，其模型輸出為段落排名分?jǐn)?shù)和答案，模型架構(gòu)如圖2所示。

2.2 ?發(fā)電設(shè)備知識(shí)抽取

2.2.1 ?前處理過(guò)程

知識(shí)抽取前處理過(guò)程指發(fā)電設(shè)備語(yǔ)料文本經(jīng)過(guò)粗拆、精拆形成一個(gè)個(gè)知識(shí)點(diǎn)（答案）的過(guò)程，如圖3所示。

首先，將語(yǔ)料文本利用文檔序號(hào)層級(jí)、標(biāo)點(diǎn)符號(hào)識(shí)別等規(guī)則進(jìn)行粗拆處理形成段落，段落字?jǐn)?shù)要求控制在500字以內(nèi)，然后將段落再精拆處理形成答案。根據(jù)精拆處理方法不同，前處理過(guò)程可以分為2種方式：

方式1（規(guī)則拆解）：在粗拆形成段落后，再利用規(guī)則拆解的方法進(jìn)行精拆處理得到答案;

方式2（規(guī)則拆解+MRC抽?。涸诖植鹦纬啥温浜?，同時(shí)利用規(guī)則拆解的方法和抽取式MRC方法進(jìn)行精拆處理得到答案。抽取式MRC是指機(jī)器通過(guò)閱讀問(wèn)題和文章后，從原文中抽取一段連續(xù)文本作為答案[21，22]。

2.2.2 ?后處理過(guò)程

知識(shí)抽取后處理過(guò)程指文本精拆處理后產(chǎn)生的答案經(jīng)過(guò)Learning2Ask模型自動(dòng)生成問(wèn)題、PR模型篇章排序過(guò)濾后形成FAQ并存儲(chǔ)至語(yǔ)料/知識(shí)存儲(chǔ)模塊，如圖3所示。根據(jù)機(jī)器自動(dòng)提問(wèn)流程不同，后處理過(guò)程也可以分為2種方案：

方案1（串行）：精拆后生成的答案和對(duì)應(yīng)的段落<段落，答案>，輸入至Learning2Ask模型中自動(dòng)生成問(wèn)題，再將<問(wèn)題，段落>輸入至PR模型中進(jìn)行過(guò)濾，置信度高的<問(wèn)題，答案，段落>將以三元組形式作為知識(shí)存儲(chǔ)起來(lái)，置信度低的<問(wèn)題，答案，段落>將提取出來(lái)作為數(shù)據(jù)集，對(duì)PR模型進(jìn)行增強(qiáng)訓(xùn)練。

方案2（串行+MRC校驗(yàn)回路）：與方案1不同的是，將<段落，答案1>輸入至Learning2Ask模型生成問(wèn)題后，再將問(wèn)題輸入至MRC模型進(jìn)行預(yù)測(cè)生成答案2，并對(duì)答案1、答案2進(jìn)行一致性檢查，只有通過(guò)一致性檢查的<問(wèn)題，答案，段落>才能進(jìn)入PR模型過(guò)濾過(guò)程，未通過(guò)一致性檢查的<問(wèn)題，答案，段落>提取出來(lái)作為數(shù)據(jù)集，對(duì)MRC模型進(jìn)行增強(qiáng)訓(xùn)練。

2.3 ?發(fā)電設(shè)備知識(shí)問(wèn)答

用戶在知識(shí)庫(kù)前端問(wèn)答模塊輸入問(wèn)題后，知識(shí)庫(kù)系統(tǒng)針對(duì)問(wèn)題進(jìn)行分詞、擴(kuò)詞等過(guò)程提取問(wèn)題特征，并輸入到知識(shí)問(wèn)答排序模塊中進(jìn)行答案粗排序。利用ES關(guān)鍵詞檢索引擎從知識(shí)庫(kù)中選取候選FAQ集，通過(guò)用戶問(wèn)題文本與候選FAQ集中的問(wèn)題文本進(jìn)行相似度匹配，如果相似度大于設(shè)定的閾值，則輸出相應(yīng)FAQ中的答案文本封裝后返回用戶;如果相似度小于設(shè)定的閾值，則將用戶問(wèn)題文本、候選FAQ集中的段落文本輸入到PR&MRC模型中進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)答案封裝后返回用戶，如圖4所示。用戶評(píng)估答案后進(jìn)行點(diǎn)贊或點(diǎn)踩，系統(tǒng)收集用戶反饋信息后對(duì)PR&MRC模型進(jìn)行增強(qiáng)訓(xùn)練。知識(shí)庫(kù)系統(tǒng)問(wèn)答效果示例如圖5所示。

3 ?不同知識(shí)抽取方案的知識(shí)問(wèn)答效果對(duì)比

將某電廠80份發(fā)電設(shè)備相關(guān)技術(shù)文件利用設(shè)備知識(shí)庫(kù)系統(tǒng)進(jìn)行知識(shí)拆解，并利用人工標(biāo)注的方式從80份文件中提取3 000個(gè)問(wèn)答對(duì)進(jìn)行知識(shí)庫(kù)問(wèn)答效果驗(yàn)證，不同知識(shí)抽取方案的知識(shí)問(wèn)答準(zhǔn)確率如表1所示。

由圖6可以看出，4種不同知識(shí)抽取方案的知識(shí)問(wèn)答Top1準(zhǔn)確率到Top5準(zhǔn)確率都有明顯的提升，方案1的Top5準(zhǔn)確率達(dá)到76.7%，說(shuō)明基于自然語(yǔ)言處理的發(fā)電設(shè)備知識(shí)庫(kù)系統(tǒng)具有較好的問(wèn)答效果;由表1可得，針對(duì)知識(shí)問(wèn)題Top1準(zhǔn)確率和Top3準(zhǔn)確率，前處理過(guò)程中增加MRC生成模型可以提升4.4%～5.8%，后處理過(guò)程中增加MRC校驗(yàn)回路可以提升2.3%～3.7%，說(shuō)明在前處理過(guò)程中增加MRC生成模型相對(duì)于后處理過(guò)程增加MRC校驗(yàn)回路提升問(wèn)答準(zhǔn)確率效果更加明顯;但從圖6可以看出，方案3在Top1和Top3的準(zhǔn)確率雖然高于方案2，但方案2的Top5準(zhǔn)確率提升較大，并且超過(guò)方案3的Top5準(zhǔn)確率，說(shuō)明后處理過(guò)程中增加MRC校驗(yàn)回路在對(duì)答案排名要求較低的場(chǎng)景應(yīng)用效果較前處理過(guò)程中增加MRC生成模型的效果更好;知識(shí)問(wèn)答準(zhǔn)確率最高的是方案4，可見(jiàn)同時(shí)在前處理過(guò)程中增加MRC生成模型和在后處理過(guò)程中增加MRC校驗(yàn)回路，將顯著提升設(shè)備知識(shí)庫(kù)的問(wèn)答準(zhǔn)確率。

圖6 不同知識(shí)抽取過(guò)程的知識(shí)問(wèn)答效果對(duì)比圖

4 ?結(jié) ?論

為提升文本知識(shí)的查詢效率，文章提出一種基于自然語(yǔ)言處理的發(fā)電設(shè)備知識(shí)庫(kù)系統(tǒng)，包括知識(shí)抽取、語(yǔ)料/知識(shí)存儲(chǔ)、知識(shí)問(wèn)答排序和知識(shí)庫(kù)前端問(wèn)答等4個(gè)模塊。利用發(fā)電設(shè)備領(lǐng)域語(yǔ)料訓(xùn)練得出的StructBert、Learning2Ask、PR&MRC模型能有效實(shí)現(xiàn)發(fā)電設(shè)備知識(shí)抽取，完成設(shè)備知識(shí)庫(kù)構(gòu)建。

4種不同知識(shí)抽取方案中，知識(shí)問(wèn)答的Top5準(zhǔn)確率最低達(dá)到78.1%，說(shuō)明知識(shí)庫(kù)系統(tǒng)具有較好的問(wèn)答效果;針對(duì)知識(shí)問(wèn)題Top1準(zhǔn)確率和Top3準(zhǔn)確率，在前處理過(guò)程中增加MRC生成模型相對(duì)于后處理過(guò)程增加MRC校驗(yàn)回路提升問(wèn)答準(zhǔn)確率效果更加明顯;而后處理過(guò)程中增加MRC校驗(yàn)回路在對(duì)答案排名要求較低的場(chǎng)景應(yīng)用效果較前處理過(guò)程中增加MRC生成模型的效果更好;同時(shí)在前處理過(guò)程中增加MRC生成模型和在后處理過(guò)程中增加MRC校驗(yàn)回路，將顯著提升設(shè)備知識(shí)庫(kù)的問(wèn)答準(zhǔn)確率。

參考文獻(xiàn)：

[1] 李廣偉，王永.火力發(fā)電機(jī)組日常性能檢測(cè)的流程及結(jié)論規(guī)范化研究 [J].鍋爐制造，2020（3）：21-23.

[2] 劉青，車(chē)鵬程.某電廠2#爐高再異種鋼焊口裂紋原因分析報(bào)告 [J].鍋爐制造，2019（4）：47-49+52.

[3] 任紀(jì)兵.基于.NET的興隆電廠檔案管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [D].成都：電子科技大學(xué)，2016.

[4] 劉欣，李怡.文檔管理在發(fā)電廠信息化管理中的應(yīng)用 [J].信息技術(shù)與信息化，2016（10）：36-38.

[5] 李佳，楊婷婷，劉偉.數(shù)字多媒體旅游咨詢信息智能問(wèn)答系統(tǒng)設(shè)計(jì) [J].現(xiàn)代電子技術(shù)，2017，40（12）：66-68+71.

[6] 湯偉，楊鋮.智能檢索技術(shù)在電網(wǎng)調(diào)度本體知識(shí)庫(kù)中的應(yīng)用 [J].自動(dòng)化與儀器儀表，2019（2）：193-196.

[7] 佟佳弘，武志剛，管霖，等.電力調(diào)度文本的自然語(yǔ)言理解與解析技術(shù)及應(yīng)用 [J].電網(wǎng)技術(shù)，2020，44（11）：4148-4156.

[8] 陸婕，李少波.基于知識(shí)庫(kù)的智能客服機(jī)器人問(wèn)答系統(tǒng)設(shè)計(jì) [J].計(jì)算機(jī)科學(xué)與應(yīng)用，2019，9（11）：7.

[9] 管棋，蔡榮杰，楊小燕，等.智能問(wèn)答系統(tǒng)在乳腺疾病影像領(lǐng)域的研究與應(yīng)用 [J].實(shí)用放射學(xué)雜志，2019，35（7）：1159-1163.

[10] 張琳，胡杰.FAQ問(wèn)答系統(tǒng)句子相似度計(jì)算 [J].鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2010，42（1）：57-61.

[11] 梁敬東，崔丙劍，姜海燕，等.基于word2vec和LSTM的句子相似度計(jì)算及其在水稻FAQ問(wèn)答系統(tǒng)中的應(yīng)用 [J].南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41（5）：946-953.

[12] 周映，韓曉霞.ElasticSearch在電子商務(wù)系統(tǒng)中的應(yīng)用實(shí)例 [J].信息技術(shù)與標(biāo)準(zhǔn)化，2015（5）：72-74.

[13] 張建中，黃艷飛，熊擁軍.基于ElasticSearch的數(shù)字圖書(shū)館檢索系統(tǒng) [J].計(jì)算機(jī)與現(xiàn)代化，2015（6）：69-73.

[14] 王宇，王芳.基于HNC句類的社區(qū)問(wèn)答系統(tǒng)問(wèn)句檢索模型構(gòu)建 [J].計(jì)算機(jī)應(yīng)用研究，2020，37（6）：1769-1773.

[15] DEVLIN J，CHANG M W，LEE K，et al. BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding [C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies，Volume 1（Long and Short Papers）.Minneapolis：Association for Computational Linguistics，2019：4171-4186.

[16] WANG W，BI B，YAN M，et al. StructBERT：Incorporating Language Structures into Pre-training for Deep Language Understanding [J/OL].arXiv：1908.04577v3 [cs.CL].（2019-08-13）.https：//arxiv.org/abs/1908.04577v3.

[17] DU X Y，SHAO J R，CARDIE C. Learning to Ask：Neural Question Generation for Reading Comprehension [C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers）.Vancover：Association for Computational Linguistics，2017：1342-1352.

[18] 龐博，劉遠(yuǎn)超.融合pointwise及深度學(xué)習(xí)方法的篇章排序 [J].山東大學(xué)學(xué)報(bào)（理學(xué)版），2018，53（3）：30-35.

[19] 顧迎捷，桂小林，李德福，等.基于神經(jīng)網(wǎng)絡(luò)的機(jī)器閱讀理解綜述 [J].軟件學(xué)報(bào)，2020，31（7）：2095-2126.

[20] 張超然，裘杭萍，孫毅，等.基于預(yù)訓(xùn)練模型的機(jī)器閱讀理解研究綜述 [J].計(jì)算機(jī)工程與應(yīng)用，2020，56（11）：17-25.

[21] 曾俊.抽取式中文機(jī)器閱讀理解研究 [D].武漢：華中師范大學(xué)，2020.

[22] WANG Z，LIU J C，XIAO X Y，et al. Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension [C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1：Long Papers）.Melbourne：Association for Computational Linguistics，2018：1715-1724.

作者簡(jiǎn)介：沈銘科（1991.11—），男，漢族，浙江麗水人，中級(jí)工程師，碩士，研究方向：智慧電站技術(shù)研究。