夏磊 方思怡 解凌 蔡焱 顧曉虹

摘 要：冶金行業(yè)為集成電路、人工智能、航空航天等重要領(lǐng)域提供必不可少的金屬原材料。冶金國家標(biāo)準(zhǔn)是重要的基礎(chǔ)性戰(zhàn)略資源，在冶金產(chǎn)業(yè)的高質(zhì)量發(fā)展中發(fā)揮技術(shù)性支撐作用。國家標(biāo)準(zhǔn)文本中蘊(yùn)含大量的關(guān)鍵技術(shù)性指標(biāo)，人工逐一識(shí)別并抽取的模式在大數(shù)據(jù)時(shí)代已無法滿足數(shù)字化轉(zhuǎn)型的需求。本研究采用深度學(xué)習(xí)算法，對(duì)冶金領(lǐng)域的國家標(biāo)準(zhǔn)文本分別開展RNN、GRU和BiLSTM模型的對(duì)比實(shí)驗(yàn)，根據(jù)模型性能擇優(yōu)選取最優(yōu)模型。研究結(jié)果顯示BiLSTM模型在冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的表現(xiàn)上最好，由此采用BiLSTM為該領(lǐng)域標(biāo)準(zhǔn)指標(biāo)識(shí)別的深度學(xué)習(xí)模型。

關(guān)鍵詞：冶金，國家標(biāo)準(zhǔn)，標(biāo)準(zhǔn)指標(biāo)識(shí)別，深度學(xué)習(xí)，BiLSTM

DOI編碼：10.3969/j.issn.1002-5944.2023.03.014

基金項(xiàng)目：本文受上海市市場(chǎng)監(jiān)督管理局科技項(xiàng)目“標(biāo)準(zhǔn)指標(biāo)智能抽取和比對(duì)技術(shù)在政府監(jiān)管和‘企標(biāo)領(lǐng)跑者制度實(shí)施中的研究與應(yīng)用”（項(xiàng)目編號(hào)：2021-47）資助。

Research on the Identifi cation of National Standard Indicator in Metallurgical Field Based on BiLSTM Model

XIA Lei FANG Si-yi* XIE Ling CAI Yan GU Xiao-hong

（Shanghai Institute of Quality and Standardization）

Abstract： Metallurgy plays a fundamental role in providing indispensable metal raw materials for important industries such as integrated circuit， artificial intelligence and aerospace. Metallurgical national standards are basic strategic resources of great importance， supporting the high-quality development of metallurgy. The contents of national standards contain a large number of critical technical indicators. Manually identifying and extracting indicators fail to meet the requirement of digital transformation after the advent of the Big Data Era. The deep learning models are used to conduct 3 experiments based on RNN， GRU， and BiLSTM model on metallurgical national standards to fi nd an optimal solution. The results suggested that BiLSTM model performed best in the identification of indicators in metallurgical national standards， thus making BiLSTM the solution to the identifi cation of standard indicator in this fi eld.

Keywords： metallurgy， national standard， identifi cation of national standard indicator， deep learning， BiLSTM

1 引 言

作為現(xiàn)代材料體系的重要組成，金屬是國民經(jīng)濟(jì)、社會(huì)生活和科技發(fā)展中必不可少的基礎(chǔ)材料和戰(zhàn)略物資[1]。以鉛金屬和稀有金屬為代表的有色金屬是大量尖端武器和信息技術(shù)產(chǎn)品構(gòu)件的重要原材料。隨著集成電路、人工智能等高新技術(shù)產(chǎn)業(yè)的快速發(fā)展，各國逐漸開始對(duì)其金屬原材料開展戰(zhàn)略儲(chǔ)備。長久以來，標(biāo)準(zhǔn)是產(chǎn)業(yè)發(fā)展的重要技術(shù)支撐，標(biāo)準(zhǔn)數(shù)據(jù)是重要的基礎(chǔ)性戰(zhàn)略資源。冶金領(lǐng)域的標(biāo)準(zhǔn)文本蘊(yùn)含大量的技術(shù)性指標(biāo)，挖掘并比對(duì)標(biāo)準(zhǔn)指標(biāo)將對(duì)冶金行業(yè)的標(biāo)準(zhǔn)化發(fā)展提供一定的依據(jù)。

在大數(shù)據(jù)時(shí)代，人工抽取標(biāo)準(zhǔn)指標(biāo)的模式已日益無法滿足產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型的需求。近年來，基于文本挖掘技術(shù)的方法在標(biāo)準(zhǔn)指標(biāo)識(shí)別領(lǐng)域開始興起。標(biāo)準(zhǔn)指標(biāo)識(shí)別在本質(zhì)上屬于文本挖掘領(lǐng)域中的實(shí)體命名識(shí)別（Named entity recognition， NER）任務(wù)，國家標(biāo)準(zhǔn)指標(biāo)識(shí)別為中文實(shí)體命名識(shí)別（Chinese named entity recognition， CNER）在標(biāo)準(zhǔn)領(lǐng)域的應(yīng)用。中文文本為序列數(shù)據(jù)，已有的實(shí)證研究表明循環(huán)神經(jīng)網(wǎng)絡(luò)模型（Recurrent neural network， RNN）及其相關(guān)變式在序列數(shù)據(jù)的NER問題上有杰出表現(xiàn)，這些變式包括長短期記憶網(wǎng)絡(luò)（Long- and short-term memory， LSTM）、門控循環(huán)單元網(wǎng)絡(luò)（Gated recurrent unit，GRU）等，其中雙向長短時(shí)記憶模型（Bidirectional LSTM， BiLSTM）在醫(yī)療、金融、科技文獻(xiàn)等多種中文文本中均效果良好[2- 5]。

為了探尋冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的最佳模型，本研究采用基于RNN及其重要變種的深度學(xué)習(xí)模型，通過運(yùn)行RNN、GRU和BiLSTM這3組模型的訓(xùn)練實(shí)驗(yàn)，比較不同深度學(xué)習(xí)模型的性能優(yōu)劣，最終確定了適用于冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的深度學(xué)習(xí)模型，提出了解決冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的智能化方案，為冶金領(lǐng)域國家標(biāo)準(zhǔn)的數(shù)字化轉(zhuǎn)型和標(biāo)準(zhǔn)化戰(zhàn)略制定提供一定的參考依據(jù)。

2 方 法

2.1 實(shí)驗(yàn)環(huán)境

2.1.1 硬件環(huán)境參數(shù)

本研究的實(shí)驗(yàn)硬件環(huán)境為Intel（R） Xeon（R） Gold 6226R CPU 2.90GHz和2.89 GHz處理器，機(jī)帶RAM為128 GB，操作系統(tǒng)為Windows 10的64 Bit，采用的GPU型號(hào)為RTX 3090-24G。

2.1.2 軟件環(huán)境參數(shù)

本研究的實(shí)驗(yàn)平臺(tái)為Anaconda 3，Python版本為3.8.8，采用的深度學(xué)習(xí)框架為Keras 2.7.0。該深度學(xué)習(xí)框架運(yùn)行于TensorFlow 2.7.0上，以基于Python的TensorFlow為后端。

2.2 數(shù)據(jù)處理

本研究的數(shù)據(jù)處理流程包含數(shù)據(jù)采集與識(shí)別、數(shù)據(jù)序列標(biāo)注、數(shù)據(jù)預(yù)處理和數(shù)據(jù)結(jié)構(gòu)化加工4個(gè)步驟。數(shù)據(jù)處理流程的框架圖如圖1所示。

2.2.1 數(shù)據(jù)采集與識(shí)別

所有標(biāo)準(zhǔn)文本數(shù)據(jù)均來自于上海市質(zhì)量和標(biāo)準(zhǔn)化研究院標(biāo)準(zhǔn)文獻(xiàn)館有版權(quán)保護(hù)的館藏紙質(zhì)資源，經(jīng)人機(jī)協(xié)作的OCR處理后將紙質(zhì)文本統(tǒng)一轉(zhuǎn)化為doc格式的電子文本65篇，約56萬余字符，形成冶金領(lǐng)域國家標(biāo)準(zhǔn)文本數(shù)據(jù)集。

2.2.2 數(shù)據(jù)序列標(biāo)注

本研究邀請(qǐng)具有標(biāo)準(zhǔn)化經(jīng)驗(yàn)的冶金行業(yè)專家對(duì)冶金領(lǐng)域國家標(biāo)準(zhǔn)中的產(chǎn)品類標(biāo)準(zhǔn)開展標(biāo)準(zhǔn)指標(biāo)的數(shù)據(jù)標(biāo)注，在結(jié)合冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)實(shí)體特性的基礎(chǔ)上經(jīng)專家協(xié)商制定標(biāo)注方案，從而完成標(biāo)準(zhǔn)文本數(shù)據(jù)的序列標(biāo)注工作。

本研究的標(biāo)準(zhǔn)指標(biāo)標(biāo)注方案包括標(biāo)準(zhǔn)指標(biāo)標(biāo)注符號(hào)集和標(biāo)準(zhǔn)指標(biāo)標(biāo)注規(guī)則。標(biāo)注符號(hào)集是指對(duì)文本數(shù)據(jù)進(jìn)行標(biāo)注時(shí)采用的符號(hào)或者字符集合。不同的標(biāo)注任務(wù)往往對(duì)應(yīng)不同的標(biāo)注符號(hào)集。本研究從標(biāo)準(zhǔn)指標(biāo)的內(nèi)容和類型分布入手制定標(biāo)準(zhǔn)指標(biāo)的標(biāo)注符號(hào)集，如表1所示。

標(biāo)注規(guī)則是指在進(jìn)行數(shù)據(jù)標(biāo)注時(shí)所遵循的一系列一般原則或具體要求。它決定了標(biāo)注數(shù)據(jù)集的構(gòu)成形式，進(jìn)而決定了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的數(shù)據(jù)輸入。已有的研究指出，不同的標(biāo)注規(guī)則或?qū)е虏煌哪Ｐ托阅躘6]。因此，擇取適用的標(biāo)準(zhǔn)指標(biāo)的標(biāo)注規(guī)則對(duì)構(gòu)建有效的標(biāo)準(zhǔn)指標(biāo)標(biāo)注模型而言具有重要的意義。目前命名實(shí)體識(shí)別領(lǐng)域的常見標(biāo)注規(guī)則包括BIO模式、BIOES模式以及其它自定義標(biāo)注模式。與BIO模式相比，BIOES模型對(duì)于命名實(shí)體的邊界信息分辨得更為清晰。本研究采用基于BIOES模式的標(biāo)注規(guī)則，具體說明如表2所示。

2.2.3 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)預(yù)處理階段，主要是結(jié)合通用停用詞庫和冶金領(lǐng)域國家標(biāo)準(zhǔn)文本的文本編寫情況構(gòu)建適用于冶金領(lǐng)域國家標(biāo)準(zhǔn)的停用詞庫，在去除停用詞和無意義符號(hào)后約45萬余字符。

2.2.4 數(shù)據(jù)結(jié)構(gòu)化加工

本研究以字符為數(shù)據(jù)顆粒度單位對(duì)冶金領(lǐng)域的國家標(biāo)準(zhǔn)文本進(jìn)行文本切分，對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化的加工，構(gòu)建冶金領(lǐng)域的國家標(biāo)準(zhǔn)文本結(jié)構(gòu)化數(shù)據(jù)集。

2.3 模型設(shè)計(jì)

本研究的標(biāo)準(zhǔn)指標(biāo)識(shí)別模型框架包括輸入層、中間層、輸出層等若干部分。模型總體架構(gòu)設(shè)計(jì)如圖2所示。

本研究的標(biāo)準(zhǔn)指標(biāo)識(shí)別模型采用Word2vec對(duì)輸入層的文本數(shù)據(jù)進(jìn)行索引化處理。Word2vec是一種較為成熟的預(yù)訓(xùn)練嵌入（Embedding）模型，在各個(gè)領(lǐng)域得到廣泛應(yīng)用。與稀疏、高維、硬編碼型的獨(dú)熱向量（One-hot encoding）相比，在較大語料庫上預(yù)訓(xùn)練習(xí)得的嵌入模型更為低維、密集，且能表征向量間的有效聯(lián)系[7]，將此類預(yù)訓(xùn)練模型加載到數(shù)據(jù)量較大的任務(wù)中能起到數(shù)據(jù)降維的作用[8]。Word2vec有2種預(yù)訓(xùn)練嵌入的方法：根據(jù)目標(biāo)值預(yù)測(cè)上下文的Skip-gram方法和根據(jù)上下文預(yù)測(cè)目標(biāo)值的連續(xù)詞袋（Continuous bag-of-words， CBOW）。已有的實(shí)證研究發(fā)現(xiàn)，前者適用于小型語料庫和罕見語料數(shù)據(jù)，后者在大量的常用語料數(shù)據(jù)上精確性更高，訓(xùn)練速度也更快[9]?？紤]到模型的運(yùn)行效率和樣本數(shù)量，本研究以字符為單位，采用基于CBOW方法的Word2vec模型原理將冶金領(lǐng)域的國家標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為靜態(tài)字符向量。該方法的示意圖如圖3所示。

循環(huán)神經(jīng)網(wǎng)絡(luò)是序列加工問題中最為基本的深度學(xué)習(xí)模型，在語音識(shí)別、文本挖掘、股票預(yù)測(cè)等方面有了廣泛的應(yīng)用。截止目前已衍生出長短期記憶網(wǎng)絡(luò)、門控循環(huán)單元網(wǎng)絡(luò)、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN， BiRNN）、雙向長短期記憶網(wǎng)絡(luò)等多個(gè)重要變種[10]，其中BiLSTM因效果較好受到大量認(rèn)可。由于標(biāo)準(zhǔn)指標(biāo)識(shí)別本質(zhì)也是標(biāo)準(zhǔn)文本挖掘領(lǐng)域中的命名實(shí)體識(shí)別任務(wù)，故本研究以循環(huán)神經(jīng)網(wǎng)絡(luò)及其改進(jìn)算法為核心構(gòu)建適用于冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的深度學(xué)習(xí)模型。

為了比較不同模型性能的優(yōu)劣，也為了驗(yàn)證BILSTM模型是否為冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的最優(yōu)解，本研究根據(jù)中間層的不同設(shè)計(jì)了3種實(shí)驗(yàn)，分別對(duì)應(yīng)下列3種模型設(shè)計(jì)：

2.3.1 實(shí)驗(yàn)1：基于RNN模型的標(biāo)準(zhǔn)指標(biāo)識(shí)別

普通神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)果僅與本周期的輸入和網(wǎng)絡(luò)權(quán)重有關(guān)。與普通神經(jīng)網(wǎng)絡(luò)相比，RNN的計(jì)算結(jié)果同時(shí)取決于指定的輸入和上一周期的輸出，這一功能為神經(jīng)網(wǎng)絡(luò)增加了記憶空間，能更好地預(yù)測(cè)隨時(shí)間而變化的序列數(shù)據(jù)。RNN的工作原理如圖4所示。

2.3.2 實(shí)驗(yàn)2：基于GRU模型的標(biāo)準(zhǔn)指標(biāo)識(shí)別

已有的研究指出，RNN在數(shù)據(jù)的序列長度較短時(shí)預(yù)測(cè)效果較佳。為了解決RNN在長距離依賴上的問題，LSTM應(yīng)運(yùn)而生。它通過引入遺忘門、輸入門和輸出門對(duì)序列信息進(jìn)行有效過濾，從而改進(jìn)RNN的不足，也因此導(dǎo)致了網(wǎng)絡(luò)計(jì)算復(fù)雜度過高的現(xiàn)象。GRU便是為了解決LSTM計(jì)算成本而誕生的LSTM優(yōu)化變種。該算法包括更新門和重置門2種門控單元，用更新門結(jié)構(gòu)替代了LSTM中原有的遺忘門和輸入門，在確保模型運(yùn)行效果的前提下簡化了模型中的門結(jié)構(gòu)，從而大幅提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度[11]。

2.3.3 實(shí)驗(yàn)3：基于BiLSTM模型的標(biāo)準(zhǔn)指標(biāo)識(shí)別

RNN及其變式LSTM和GRU的工作原理核心均為通過單向的數(shù)據(jù)流來處理序列信息，也即只能依賴出現(xiàn)在當(dāng)前階段之前的上文信息，存在下文信息依賴缺失的情況。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型通常由2組獨(dú)立的循環(huán)神經(jīng)網(wǎng)絡(luò)模型構(gòu)成，兩者分別對(duì)應(yīng)上文依賴的正序序列信息和下文依賴的逆序序列信息，通過同時(shí)訓(xùn)練這2組模型并進(jìn)行特征合并，實(shí)現(xiàn)了對(duì)上下文信息的學(xué)習(xí)。在一系列的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型中，以BiLSTM的應(yīng)用最為廣泛。BiLSTM由前向LSTML和后向LSTMR構(gòu)成[12]，能有效解決LSTM的上下文信息問題[13]，提供全面的文本語義信息，減少上下文語序問題所導(dǎo)致的判斷錯(cuò)誤[14]。

2.4 模型訓(xùn)練流程與參數(shù)設(shè)置

2.4.1 模型訓(xùn)練流程

本研究中的3種實(shí)驗(yàn)設(shè)計(jì)均采用8：2的比例將標(biāo)準(zhǔn)文本結(jié)構(gòu)化數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。模型訓(xùn)練流程如圖5所示。

2.4.2 實(shí)驗(yàn)重要參數(shù)設(shè)置

本研究的重要實(shí)驗(yàn)參數(shù)皆經(jīng)過參數(shù)調(diào)優(yōu)，具體情況如表3所示。

2.5 模型性能評(píng)價(jià)指標(biāo)

模型的評(píng)估對(duì)建立高效模型而言至關(guān)重要。對(duì)于分類任務(wù)，標(biāo)簽（Label）通常為離散型數(shù)值，多采用混淆矩陣（Confusion matrix）來評(píng)估模型性能[15]。本研究采用由混淆矩陣計(jì)算而得的準(zhǔn)確率（Accuracy， Acc）、精確率（Precision， P）、召回率（Recall， R）和F1值（F1 score， F1）?；煜仃嚨氖疽鈭D如圖6所示。

準(zhǔn)確率、精確率和召回率由混淆矩陣中的變量直接計(jì)算而得，F(xiàn)1分?jǐn)?shù)則是根據(jù)精確率和召回率計(jì)算而得。上述四者的具體定義和計(jì)算公式如式（1）至（4）所示。式（1）至（3）中的P表示正向的預(yù)測(cè)方向，N表示負(fù)向的預(yù)測(cè)方向，T表示預(yù)測(cè)正確，F(xiàn)表示預(yù)測(cè)錯(cuò)誤。TP表示正確識(shí)別的標(biāo)準(zhǔn)指標(biāo)的實(shí)體數(shù)量，TN表示正確識(shí)別的非標(biāo)準(zhǔn)指標(biāo)的實(shí)體數(shù)量，F(xiàn)P表示將非標(biāo)準(zhǔn)指標(biāo)錯(cuò)誤識(shí)別為標(biāo)準(zhǔn)指標(biāo)的實(shí)體數(shù)量，F(xiàn)N表示將標(biāo)準(zhǔn)指標(biāo)錯(cuò)誤識(shí)別為非標(biāo)準(zhǔn)指標(biāo)的實(shí)體數(shù)量。

2.5.1 準(zhǔn)確率

3 結(jié)果與分析

3個(gè)實(shí)驗(yàn)的模型性能評(píng)價(jià)指標(biāo)對(duì)比結(jié)果如表4所示。

由表4可知，BiLSTM模型的準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)均高于RNN和GRU模型，這表明與另外2種模型相比，BiLSTM模型在冶金領(lǐng)域國家標(biāo)準(zhǔn)的指標(biāo)識(shí)別上有著更好的表現(xiàn)。GRU模型作為LSTM模型的效率優(yōu)化變種，在召回率和F1分?jǐn)?shù)上更優(yōu)于傳統(tǒng)的RNN模型。

為了進(jìn)一步考察不同模型的實(shí)際訓(xùn)練情況，將3種模型在迭代訓(xùn)練過程中的綜合度量指標(biāo)F1分?jǐn)?shù)的變化趨勢(shì)繪制成折線圖，如圖7所示。

圖7顯示了3種模型的F1分?jǐn)?shù)在迭代訓(xùn)練中的變化情況。在第1個(gè)Epoch至第2個(gè)Epoch階段，3種模型的F1分?jǐn)?shù)均處于上升趨勢(shì)，均在第2個(gè)Epoch處趨于最優(yōu)；隨后BiLSTM模型的F1分?jǐn)?shù)始終保持高度穩(wěn)定，RNN模型的F1分?jǐn)?shù)在第2個(gè)Epoch至第4個(gè)Epoch的階段呈現(xiàn)下降趨勢(shì)，在第4個(gè)Epoch后保持穩(wěn)定；而GRU模型的F1分?jǐn)?shù)則在第2個(gè)Epoch至第6個(gè)Epoch階段處于先穩(wěn)定后下降的趨勢(shì)，在第4個(gè)Epoch后開始緩慢下降。由此可知，在整個(gè)訓(xùn)練過程中，BiLSTM模型的標(biāo)準(zhǔn)指標(biāo)識(shí)別效果最為穩(wěn)定，處于領(lǐng)先優(yōu)勢(shì)，其整體表現(xiàn)明顯優(yōu)于另外2種模型。

4 結(jié) 語

本研究采用深度學(xué)習(xí)模型對(duì)冶金領(lǐng)域國家標(biāo)準(zhǔn)開展產(chǎn)品類指標(biāo)識(shí)別研究，通過運(yùn)行3組深度學(xué)習(xí)模型的實(shí)驗(yàn)，全面深入地比較了RNN、GRU和BiLSTM模型的性能表現(xiàn)，最終發(fā)現(xiàn)BiLSTM模型在穩(wěn)定性和準(zhǔn)確性上有一定的優(yōu)勢(shì)，由此采用BILSTM作為冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)識(shí)別的深度學(xué)習(xí)模型，在一定程度上解決了冶金領(lǐng)域國家標(biāo)準(zhǔn)指標(biāo)智能識(shí)別的問題。在未來將繼續(xù)對(duì)標(biāo)準(zhǔn)指標(biāo)識(shí)別模型進(jìn)行進(jìn)一步優(yōu)化和推廣，為我國其它前沿和重點(diǎn)領(lǐng)域的產(chǎn)業(yè)發(fā)展提供標(biāo)準(zhǔn)技術(shù)的支撐力量，為質(zhì)量和標(biāo)準(zhǔn)化新型專業(yè)智庫的建設(shè)提供數(shù)據(jù)基礎(chǔ)。

參考文獻(xiàn)

[1]楊洋.山西省金屬學(xué)會(huì)：推動(dòng)冶金行業(yè)高質(zhì)量發(fā)展[J].科學(xué)之友，2022（9）：30-33.

[2]LI D， YAN L， Yang J， et al. Dependency syntax guided BERTBiLSTM-GAM-CRF for Chinese NER[J].Expert Systems with Applications， 2022（196）：116682.

[3]AN Y， XIA X， CHEN X. Chinese clinical named entity recognition via multi-head self-attention based BiLSTM-CRF[J]. Artificial Intelligence In Medicine， 2022（127）：102282.

[4]HOU L， ZHANG J， YU T， et al. Method and dataset entity mining in scientific literature： A CNN +BiLSTM model with selfattention[J]. Knowledge-Based Systems， 2022（235）：107621.

[5]陳啟，劉德喜，萬常選，等.增強(qiáng)語義表示的中文金融評(píng)價(jià)要素抽取[J].小型微型計(jì)算機(jī)系統(tǒng)，2022，43（2）：254-262.

[6]程名，于紅，馮艷紅，等.融合注意力機(jī)制和BiLSTM+CRF的漁業(yè)標(biāo)準(zhǔn)命名實(shí)體識(shí)別[J].大連海洋大學(xué)學(xué)報(bào)，2020，35（2）：296-301.

[7]魯睿元，祝繼華. Keras深度學(xué)習(xí)[M].北京：中國水利水電出版社，2019.

[8]吳茂貴，王紅星.深入淺出Embedding：原理解析與應(yīng)用實(shí)踐[M]. 北京：機(jī)械工業(yè)出版社， 2021.

[9]LANE H & HOWARD C. Natural language processing in action[M]. Greenwich：Manning Publications Cp， 2019.

[10]杜康吉. 改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)方法及其應(yīng)用研究[D].吉林市：東北電力大學(xué)，2021.

[11]朱凌建，陳劍虹，王裕鑫，等.基于GRU神經(jīng)網(wǎng)絡(luò)的脈搏波波形預(yù)測(cè)方法研究[J].電子測(cè)量與儀器學(xué)報(bào)，2022，36（5）：242-248.

[12]張順香，張鎮(zhèn)江，朱廣麗，等.基于Bi-LSTM與雙路CNN的金融領(lǐng)域文本因果關(guān)系識(shí)別[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2022，6（7）：118-127.

[13]秦精俏，王彤，王玉珍.基于Word2vec_BiLSTM的用餐評(píng)論情感分析[J].棗莊學(xué)院學(xué)報(bào)，2022，39（2）：37-44.

[14]胡任遠(yuǎn)，劉建華，王璇，等.引入雙循環(huán)機(jī)制深度學(xué)習(xí)模型的文本情感分析[J].福建工程學(xué)院學(xué)報(bào)，2022，20（4）：383-390.

[15]SAL EH H. Machine learning fundamentals[M]. Birmingham：Packet Publishing， 2018.

[16]馬小蕾. 基于語義增強(qiáng)的生物醫(yī)學(xué)文本信息抽取方法研究[D].長春：吉林大學(xué)，2022.

[17]張開放，蘇華友，竇勇.一種基于混淆矩陣的多分類任務(wù)準(zhǔn)確率評(píng)估新方法[J].計(jì)算機(jī)工程與科學(xué)，2021，43（11）：1910-1919.

作者簡介

夏磊，碩士研究生，工程師，研究方向?yàn)闃?biāo)準(zhǔn)信息管理。

方思怡，通信作者，碩士研究生，助理工程師，研究方向?yàn)闃?biāo)準(zhǔn)文獻(xiàn)挖掘、產(chǎn)業(yè)標(biāo)準(zhǔn)化。

解凌，本科，高級(jí)工程師，研究方向?yàn)樾畔⑾到y(tǒng)建設(shè)。

蔡焱，本科，工程師，研究方向?yàn)闃?biāo)準(zhǔn)化和標(biāo)準(zhǔn)信息管理。

顧曉虹，本科，高級(jí)工程師，研究方向?yàn)闃?biāo)準(zhǔn)文獻(xiàn)服務(wù)。

（責(zé)任編輯：張佩玉）