肖 禹，王景中，王寶成

(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

0 引 言

近年來(lái)，通過(guò)深度學(xué)習(xí)技術(shù)進(jìn)行文本分類(lèi)[1]，并獲取特征，在建模過(guò)程中融入特征學(xué)習(xí)，利用復(fù)雜的多層處理結(jié)構(gòu)對(duì)數(shù)據(jù)高度抽象，有效取代了手工獲取文本特征的方法[2]。文本分類(lèi)的主要工作流程包括文本預(yù)處理、文本表示、特征提取和分類(lèi)器的訓(xùn)練[3]。對(duì)于一篇文章而言，首先進(jìn)行分詞、去停用詞等預(yù)處理操作[4]。接下來(lái)，通過(guò)詞嵌入[5]的文本表示將文本表示為計(jì)算機(jī)可讀的形式。下一步是構(gòu)建文本分類(lèi)模型，選擇適宜的模型提取文本特征。最后采用合理的分類(lèi)器進(jìn)行訓(xùn)練，對(duì)文本進(jìn)行分類(lèi)，最終得到文本的類(lèi)別。利用深度學(xué)習(xí)強(qiáng)大的學(xué)習(xí)與泛化能力[6]提取出的抽象特征要比人為設(shè)定的特征具有更強(qiáng)的泛化性，能夠勝任多領(lǐng)域的分類(lèi)任務(wù)。裴志利等[7]介紹了多種卷積神經(jīng)網(wǎng)絡(luò)(CNN)文本分類(lèi)方法，然而，多層網(wǎng)絡(luò)的疊加可能導(dǎo)致梯度消失的問(wèn)題。李梅等[8]提出基于具有注意力機(jī)制的卷積模型，將CNN與注意力機(jī)制并行組合后，由長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)隱層輸出，能夠提取短文本的顯著細(xì)粒度特征，然而對(duì)于長(zhǎng)文本的特征提取效果并不顯著。本文提出深度學(xué)習(xí)混合模型ResCNN-LSTMA，旨在利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)中文文本進(jìn)行分類(lèi)，使用jieba進(jìn)行分詞預(yù)處理，使用CBOW模型進(jìn)行文本表示，避免維度爆炸；通過(guò)含有殘差結(jié)構(gòu)的卷積網(wǎng)絡(luò)，在降維的同時(shí)避免梯度消失的問(wèn)題；通過(guò)具有注意力機(jī)制的LSTM結(jié)構(gòu)，對(duì)長(zhǎng)文本進(jìn)行上下文的特征提取，保留句子中的重要特征。ResCNN-LSTMA能夠提升分類(lèi)結(jié)果的準(zhǔn)確性。

1 相關(guān)理論

1.1 長(zhǎng)短期記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)作為常用的自然語(yǔ)言處理技術(shù)，它將上一時(shí)刻的隱層狀態(tài)傳遞至下一時(shí)刻，并通過(guò)計(jì)算得到最新的狀態(tài)信息。LSTM由循環(huán)神經(jīng)網(wǎng)絡(luò)衍生而來(lái)，其結(jié)構(gòu)如圖1所示。

圖1 長(zhǎng)短期記憶網(wǎng)絡(luò)

LSTM是一種門(mén)控算法，其主要思路是利用門(mén)函數(shù)來(lái)挖掘時(shí)間序列中相對(duì)較長(zhǎng)間隔的時(shí)序變化規(guī)律。其核心部件為細(xì)胞單元，通過(guò)遺忘門(mén)、輸入門(mén)和輸出門(mén)控制數(shù)據(jù)的迭代更新，實(shí)現(xiàn)信息的傳遞，并采用門(mén)控存儲(chǔ)結(jié)構(gòu)替換RNN的隱層狀態(tài)，改善了梯度不穩(wěn)定和長(zhǎng)距離依賴(lài)情況。

1.2 殘差網(wǎng)絡(luò)

為了提升文本分類(lèi)結(jié)果的準(zhǔn)確率，我們能夠使用深度學(xué)習(xí)的算法模型進(jìn)行分類(lèi)。然而，隨著網(wǎng)絡(luò)層級(jí)的增加，訓(xùn)練難度也增強(qiáng)了，訓(xùn)練所需時(shí)間更長(zhǎng)，分類(lèi)的準(zhǔn)確性卻隨之降低，這被稱(chēng)為“退化問(wèn)題”[9]。殘差網(wǎng)絡(luò)(ResNet)作為當(dāng)前應(yīng)用最為廣泛的CNN特征提取網(wǎng)絡(luò)，可以改善網(wǎng)絡(luò)的退化情況。

殘差網(wǎng)絡(luò)利用多個(gè)含參網(wǎng)絡(luò)層來(lái)學(xué)習(xí)輸入、輸出之間的殘差，對(duì)于多層網(wǎng)絡(luò)模型，當(dāng)使用學(xué)習(xí)到的特征作為輸入時(shí)，我們希望通過(guò)學(xué)習(xí)得到殘差值，即理想情況與現(xiàn)實(shí)情況下得到的特征的差距。理想狀態(tài)下設(shè)殘差為0，多層網(wǎng)絡(luò)模型相當(dāng)于做了恒等映射，不會(huì)影響網(wǎng)絡(luò)的性能。而實(shí)際上，殘差一定存在，使用殘差網(wǎng)絡(luò)會(huì)使多層網(wǎng)絡(luò)模型擁有更好的性能。

1.3 注意力機(jī)制

注意力機(jī)制(attention mechanism)通過(guò)對(duì)資源進(jìn)行適當(dāng)分配，進(jìn)而從大量信息中提取出語(yǔ)義特征更強(qiáng)的信息。通過(guò)注意力機(jī)制可以獲取文本中的更具概括性的語(yǔ)句，并且對(duì)抑制無(wú)關(guān)的信息進(jìn)行抑制。然而，由于此框架需要根據(jù)序列的全部信息生成一個(gè)固定長(zhǎng)度的語(yǔ)義向量，因此需要對(duì)序列信息進(jìn)行更高比率的壓縮，將會(huì)降低語(yǔ)義向量包含序列信息的完整性，且后一時(shí)刻的輸入會(huì)覆蓋前一時(shí)刻的輸出，結(jié)果的準(zhǔn)確性也無(wú)法得到保障。

Bahdanau等將注意力機(jī)制引入Encoder-Decoder框架中[10]，這種改進(jìn)后的框架會(huì)依據(jù)時(shí)刻產(chǎn)生語(yǔ)言編碼向量，因此這些編碼向量是不相同的，根據(jù)這些編碼向量，可以獲取后續(xù)輸出對(duì)輸入序列的關(guān)注區(qū)域，框架會(huì)根據(jù)這些關(guān)注區(qū)域獲取下一時(shí)刻的輸出。

1.4 SENet塊結(jié)構(gòu)

SENet(Squeeze-and-Excitation networks)是一種圖像識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)，在文本分類(lèi)領(lǐng)域中也可以應(yīng)用這種思想。SENet模型通過(guò)對(duì)特征通道間的相關(guān)性進(jìn)行建模，針對(duì)一些重要的特征進(jìn)行強(qiáng)化從而提升模型的準(zhǔn)確率。

在SENet網(wǎng)絡(luò)結(jié)構(gòu)中，核心的思想就是擠壓(Squeeze)與激活(Excitation)，這也是該網(wǎng)絡(luò)結(jié)構(gòu)的命名由來(lái)。通過(guò)Squeeze與Excitation操作，能夠顯式構(gòu)建特征通道之間的關(guān)聯(lián)模型，另外不同于引入一個(gè)新的空間維度來(lái)進(jìn)行特征通道融合的方式，SENet采用“特征重標(biāo)定策略”。具體而言就是通過(guò)學(xué)習(xí)的方式來(lái)獲取每個(gè)特征通道的重要程度，再依據(jù)特征通道的重要程度提升有意義的特征，抑制參考意義較小的特征。

1.5 STM-ResNet殘差網(wǎng)絡(luò)

與傳統(tǒng)的殘差網(wǎng)絡(luò)相比，STM-ResNet更符合神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)范式，將原網(wǎng)絡(luò)按通道拆分成多條路徑，再將每條路徑得到的結(jié)果進(jìn)行聚合獲取特征提取的結(jié)果。

STM-ResNet殘差網(wǎng)絡(luò)如圖2所示，這種網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，將傳統(tǒng)殘差網(wǎng)絡(luò)的殘差塊替換成用一種平行堆疊相同拓?fù)浣Y(jié)構(gòu)的殘差塊，具有較強(qiáng)的可擴(kuò)展性。

圖2 STM-ResNet網(wǎng)絡(luò)結(jié)構(gòu)

2 ResCNN-LSTMA模型

ResCNN-LSTMA模型將CNN、殘差結(jié)構(gòu)、LSTM、注意力機(jī)制相結(jié)合，組合為一個(gè)多層網(wǎng)絡(luò)的深度學(xué)習(xí)文本分類(lèi)模型——ResCNN-LSTMA，其整體工作流程如圖3所示。

圖3 ResCNN-LSTMA流程

ResCNN-LSTMA模型由數(shù)據(jù)預(yù)處理、文本表示、基于殘差結(jié)構(gòu)的卷積單元、融合注意力機(jī)制的LSTM 單元和softmax分類(lèi)單元五部分構(gòu)成。

2.1 數(shù)據(jù)預(yù)處理

由于中文文本的特殊性，本系統(tǒng)使用jieba進(jìn)行數(shù)據(jù)集分詞處理。其優(yōu)勢(shì)在于jieba基于樹(shù)結(jié)構(gòu)，查找速度較快。過(guò)多的形容詞和副詞對(duì)計(jì)算概率與句子切分的影響，也得到了較好的解決。其具備漢字成詞能力，能夠降低未登錄詞對(duì)分詞產(chǎn)生的影響。

2.2 文本表示

詞嵌入(word embedding)[12]技術(shù)是目前最常用的文本表示方法，其原理是將每個(gè)詞映射為一個(gè)地位空間上的稠密向量，將每一維視為一個(gè)主題，若一篇文章有n個(gè)詞，每個(gè)詞都映射成m維向量，則此篇文章將轉(zhuǎn)化為一個(gè)n×m維的矩陣。當(dāng)我們將一篇文章以矩陣形式作為特征表示，在其輸入至機(jī)器學(xué)習(xí)模型中之前，還需要進(jìn)一步對(duì)特征進(jìn)行提取。詞嵌入是一類(lèi)將詞向量化的模型的統(tǒng)稱(chēng)，與傳統(tǒng)的文本表示方法相比，它將詞轉(zhuǎn)換為向量，并把詞與詞之間的相似度用詞向量空間的距離來(lái)代替，以獲取文本之間的聯(lián)系和上下文語(yǔ)義信息。在分詞操作后的文本作為輸入，進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，之后輸出每個(gè)詞的概率分布。

詞向量的表示方法很多，文中使用詞嵌入技術(shù)中比較常用的CBOW模型，它根據(jù)上下文來(lái)預(yù)測(cè)某個(gè)詞，并得到低維、連續(xù)的詞向量，以便于提升詞語(yǔ)之間相似度計(jì)算的效率與準(zhǔn)確率。將預(yù)處理后的詞語(yǔ)轉(zhuǎn)化為詞向量，設(shè)文本由n個(gè)單詞組成，令詞向量維度為m，則文本向量矩陣X可表示為

X={x1,x2,…,xn}

(1)

2.3 基于殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)

標(biāo)準(zhǔn)的CNN由卷積層、池化層、全連接層組成，其通過(guò)局部感知和權(quán)值共享的方法減少了訓(xùn)練過(guò)程中的參數(shù)數(shù)量，使訓(xùn)練的效率和準(zhǔn)確率得到提升。本文的激活函數(shù)使用可改善梯度消失的Leaky Relu函數(shù)。在文本分類(lèi)過(guò)程中，通常應(yīng)用多層網(wǎng)絡(luò)處理詞向量，將前一層網(wǎng)絡(luò)的輸出作為后一層網(wǎng)絡(luò)的輸入。然而，隨著網(wǎng)絡(luò)深度的增加，由于前一層網(wǎng)絡(luò)的輸出可能出現(xiàn)偏差，并且后一層網(wǎng)絡(luò)的輸入依賴(lài)于前一層網(wǎng)絡(luò)的輸出，訓(xùn)練過(guò)程中可能會(huì)發(fā)生梯度消失和性能退化的問(wèn)題，導(dǎo)致分類(lèi)結(jié)果受到影響。因此，本文將CNN加入殘差網(wǎng)絡(luò)結(jié)構(gòu)，組成了ResCNN網(wǎng)絡(luò)層，使得后一層網(wǎng)絡(luò)的輸入依賴(lài)于前一層網(wǎng)絡(luò)的輸出與原始輸入的加和結(jié)果，在增加網(wǎng)絡(luò)深度的同時(shí)，降低了訓(xùn)練難度，進(jìn)而提升結(jié)果的準(zhǔn)確性。

在CNN中加入的殘差結(jié)構(gòu)由STM-ResNet與SENet進(jìn)行組合得到。通過(guò)類(lèi)似于殘差模塊與CNN的結(jié)合方式，將輸入數(shù)據(jù)通過(guò)一系列的池化、卷積操作與激活函數(shù)運(yùn)算，最后將其結(jié)果進(jìn)行伸展并與原始數(shù)據(jù)進(jìn)行組合，生成新的輸出數(shù)據(jù)。ResCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 ResCNN網(wǎng)絡(luò)結(jié)構(gòu)

這種組合方法屬于Squeeze操作，將輸入的數(shù)據(jù)壓縮，再通過(guò)卷積與激活函數(shù)運(yùn)算，最后通過(guò)權(quán)重運(yùn)算與原先的輸入數(shù)據(jù)進(jìn)行組合。該網(wǎng)絡(luò)結(jié)構(gòu)相較于傳統(tǒng)的殘差網(wǎng)絡(luò)，擁有更強(qiáng)的可擴(kuò)展性，并盡最大可能地發(fā)揮硬件的并行計(jì)算能力；該網(wǎng)絡(luò)結(jié)合SENet與STM-ResNet的特點(diǎn)，對(duì)特征進(jìn)行提取，從而獲得更準(zhǔn)確的特征。由于網(wǎng)絡(luò)本質(zhì)上還是一種殘差網(wǎng)絡(luò)模塊，因此其與CNN的組合形式與傳統(tǒng)殘差網(wǎng)絡(luò)的組合形式完全相同。

首先將向量序列X輸入基于卷積模型，設(shè)權(quán)重矩陣為W，偏移量為b，激活函數(shù)使用Leaky Relu設(shè)為f，則卷積核在詞序列中第i位置上的輸出為

Ti=f(WT?xi+bT)

(2)

本文通過(guò)最大池化層提取重要特征，并進(jìn)行降維操作，防止過(guò)擬合

(3)

池化后的結(jié)果為

(4)

由于多個(gè)卷積層的疊加，網(wǎng)絡(luò)訓(xùn)練難度也隨之增加，本文將殘差結(jié)構(gòu)加入CNN，降低了模型訓(xùn)練難度，起到提升分類(lèi)結(jié)果準(zhǔn)確性的作用。加入殘差結(jié)構(gòu)的卷積輸出結(jié)果Y為

(5)

2.4 融合注意力機(jī)制的LSTM網(wǎng)絡(luò)

LSTM在RNN的基礎(chǔ)上引入的門(mén)結(jié)構(gòu)，能夠篩選有效信息并控制信息的傳遞。在理想情況下，使用更長(zhǎng)的步長(zhǎng)意味著更多的信息量。而實(shí)際上，步長(zhǎng)過(guò)長(zhǎng)會(huì)導(dǎo)致對(duì)有效信息篩選的準(zhǔn)確性下降，距離較遠(yuǎn)，且相互依賴(lài)的特征需要通過(guò)較長(zhǎng)的時(shí)間步長(zhǎng)才能建立彼此的聯(lián)系，然而更遠(yuǎn)的距離會(huì)降低特征間關(guān)系的捕獲率。本文通過(guò)優(yōu)化LSTM網(wǎng)絡(luò)，將注意力機(jī)制融入其中，在獲取上下文詞語(yǔ)義關(guān)系的同時(shí)，計(jì)算每個(gè)詞在句子中的重要程度，對(duì)有效信息加以更多的關(guān)注，保障重要特征提取的準(zhǔn)確性，能夠在一定程度上高文本分類(lèi)的準(zhǔn)確率。

本文將ResCNN提取的局部特征信息輸入到LSTM網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行全局特征提取。通過(guò)LSTM門(mén)結(jié)構(gòu)保留有效信息，篩除無(wú)用信息，利用注意力機(jī)制的優(yōu)勢(shì)，根據(jù)每一時(shí)刻不同重要程度的信息進(jìn)行自動(dòng)加權(quán)，篩選出重要程度更高的特征信息。LSTMA整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 LSTMA網(wǎng)絡(luò)結(jié)構(gòu)

LSTM通過(guò)“門(mén)”結(jié)構(gòu)來(lái)控制輸入對(duì)特征序列的影響，分別為：輸入門(mén)(input gate layer)、輸出門(mén)(output gate layer)、遺忘門(mén)(forget gate layer)。設(shè)由基于殘差結(jié)構(gòu)的卷積單元輸出的結(jié)果、由 LSTM單元輸出的特征序列分別為

Y={y1,y2,…,yn}

(6)

L={l1,l2,…,ln}

(7)

將Y分別輸入至LSTM模型中，則Y與當(dāng)前輸入的特征向量通過(guò)激活函數(shù)σ進(jìn)行線(xiàn)性組合，可以得到t時(shí)刻的門(mén)結(jié)構(gòu)狀態(tài)。It為保留單元的狀態(tài)，Ot為輸出單元的狀態(tài)，F(xiàn)t為丟棄單元的狀態(tài)

It=σ(Wi[It-1,yt]+bI)

(8)

Ot=σ(Wi[Ot-1,yt]+bO)

(9)

Ft=σ(Wi[Ft-1,yt]+bF)

(10)

保留單元的控制參數(shù)表示為

(11)

通過(guò)門(mén)結(jié)構(gòu)的處理，一個(gè)LSTM單元將得到由遺忘門(mén)過(guò)濾、由輸入門(mén)保留的控制參數(shù)，其在訓(xùn)練的過(guò)程中是變化的

(12)

利用新的控制參數(shù)產(chǎn)生輸出，第t時(shí)刻輸出門(mén)傳遞給下一個(gè)LSTM單元的特征信息為

ht=Ot×tanh(Ct)

(13)

LSTM模塊最終的輸出特征序列可表示為

H={h1,h2,…,hn}

(14)

(15)

(16)

最后，根據(jù)以下公式計(jì)算文本的語(yǔ)義編碼

(17)

融合注意力機(jī)制的LSTM模型在處理上下文信息時(shí)，體現(xiàn)每一時(shí)刻輸出序列信息的權(quán)值，從而提升了算法對(duì)長(zhǎng)文本信息特征提取的準(zhǔn)確率。

2.5 分類(lèi)單元

使用softmax分類(lèi)器輸出預(yù)測(cè)文本在每一類(lèi)別上的概率p，其中W為權(quán)值矩陣，b為偏移量。選擇具有最高概率的結(jié)果作為文本的類(lèi)別，公式如下

p=softmax(Wp+bp)

(18)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)準(zhǔn)備

(1)實(shí)驗(yàn)設(shè)計(jì)

通過(guò)相關(guān)理論研究，本文分別對(duì)CNN、LSTM和ResCNN、LSTMA、ResCNN-LSTMA混合模型進(jìn)行實(shí)驗(yàn)的設(shè)計(jì)，并對(duì)其結(jié)果進(jìn)行對(duì)比。通過(guò)分類(lèi)結(jié)果的準(zhǔn)確率、精確率、召回率與訓(xùn)練時(shí)長(zhǎng)對(duì)分類(lèi)模型進(jìn)行評(píng)估。

(2)環(huán)境配置

在Linux系統(tǒng)下，使用Python3.6作為開(kāi)發(fā)語(yǔ)言進(jìn)行實(shí)驗(yàn)，CPU Intel四核3.4 GHz，GPU是NVIDIA GTX1060 6 G，內(nèi)存16 G，硬盤(pán)500 G。

(3)數(shù)據(jù)集的選取

實(shí)驗(yàn)使用了2012年6月-7期間的SogouCS作為數(shù)據(jù)集，本文選取10個(gè)類(lèi)別的文檔(每類(lèi)3000篇)對(duì)模型進(jìn)行評(píng)估。

(4)參數(shù)設(shè)置

通過(guò)分詞、去停用詞等操作處理文本，獲取詞集合，使用CBOW對(duì)詞進(jìn)行向量化，將每個(gè)詞匯轉(zhuǎn)化為300維詞向量。ResCNN利用卷積得到局部特征信息，選擇3種濾波器[2,3,4]，使用Leaky Relu作為激活函數(shù)，迭代20 000次，學(xué)習(xí)率0.0001；利用最大池化層壓縮數(shù)據(jù)和參數(shù)量來(lái)減少過(guò)擬合，窗口大小與卷積之后的矩陣向量大小一致。LSTMA通過(guò)隱層狀態(tài)的更新，得到整體特征信息，使用tanh作為激活函數(shù)，學(xué)習(xí)率0.0007。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文實(shí)驗(yàn)使用準(zhǔn)確率、精確率、召回率和訓(xùn)練時(shí)長(zhǎng)作為評(píng)測(cè)指標(biāo)[11]，使用字母表示下文中的分類(lèi)結(jié)果，評(píng)價(jià)標(biāo)準(zhǔn)見(jiàn)表1。

表1 判別結(jié)果分類(lèi)

(1)準(zhǔn)確率

準(zhǔn)確率表示被正確分類(lèi)的文檔數(shù)量與文檔總數(shù)之比，其計(jì)算公式如下

(19)

(2)精確率

精確率為被正確判別屬于該類(lèi)的文檔數(shù)量與判別屬于該類(lèi)的文檔總數(shù)之比，其計(jì)算公式如下

(20)

(3)召回率

召回率為被正確判別屬于該類(lèi)的文檔數(shù)量與數(shù)據(jù)集中屬于該類(lèi)的文檔數(shù)量之比，其計(jì)算公式如下

(21)

(4)訓(xùn)練時(shí)長(zhǎng)

分別使用不同的模型對(duì)同一數(shù)據(jù)集進(jìn)行訓(xùn)練，記錄每個(gè)模型的訓(xùn)練時(shí)長(zhǎng)作為評(píng)價(jià)分類(lèi)效率的指標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果及分析

使用SogouCS數(shù)據(jù)集對(duì)CNN、RCNN、LSTM、LSTMA與本文模型分別進(jìn)行訓(xùn)練，首先對(duì)比上述5個(gè)模型在體育、健康、娛樂(lè)、科教、時(shí)政、經(jīng)濟(jì)、社會(huì)、軍事、國(guó)際、旅游，這10個(gè)新聞?lì)悇e分類(lèi)結(jié)果的準(zhǔn)確率、精確率與召回率；再對(duì)比上述5個(gè)模型的訓(xùn)練、測(cè)試時(shí)間以及平均準(zhǔn)確率。

5種模型在10種新聞?lì)悇e的分類(lèi)效果見(jiàn)表2。本文提出的網(wǎng)絡(luò)模型對(duì)表中幾種新聞?lì)悇e的分類(lèi)效果在準(zhǔn)確率、精確率及召回率上(單位：百分比)均優(yōu)于其它模型，最高的準(zhǔn)確率達(dá)到了93.7%；最低準(zhǔn)確率也能保持在88.5%以上；最高精確率達(dá)到90.4%；最低精確率為84.5%；最高召回率達(dá)到92.4%；最低召回率達(dá)到86.3%。本文模型使用殘差網(wǎng)絡(luò)的CNN網(wǎng)絡(luò)與注意力機(jī)制的LSTM混合模型，網(wǎng)絡(luò)擁有更深的網(wǎng)絡(luò)層數(shù)、更準(zhǔn)確的時(shí)序信息、將更多的注意力分配到文本分類(lèi)關(guān)鍵詞上，因此得到更好的分類(lèi)效果。

表2 數(shù)據(jù)集分類(lèi)結(jié)果評(píng)測(cè)

5種模型在訓(xùn)練時(shí)間(單位：秒)、測(cè)試時(shí)間(單位：秒)與平均準(zhǔn)確率(單位：百分比)的實(shí)驗(yàn)數(shù)據(jù)見(jiàn)表3。

表3 數(shù)據(jù)集訓(xùn)練時(shí)長(zhǎng)

從表3中可以看出，本文提出的ResCNN-LSTMA模型由于提高了網(wǎng)絡(luò)深度，導(dǎo)致訓(xùn)練時(shí)間與測(cè)試時(shí)間相對(duì)于除了RCNN外的其它模型略長(zhǎng)。

對(duì)分類(lèi)效果而言，ResCNN-LSTMA由于擁有深層網(wǎng)絡(luò)，并通過(guò)更準(zhǔn)確的時(shí)序特征信息、避免了梯度消失以及引入基于注意力機(jī)制，在分類(lèi)的平均準(zhǔn)確率上有更好的分類(lèi)效果。

4 結(jié)束語(yǔ)

針對(duì)中文文本的特性，本文提出了一種CNN、殘差結(jié)構(gòu)、LSTM與注意力機(jī)制相結(jié)合的分類(lèi)模型ResCNN-LSTMA對(duì)文本進(jìn)行自動(dòng)分類(lèi)。首先利用分詞、去停用詞等預(yù)處理操作將文本轉(zhuǎn)化為詞集合，然后進(jìn)行分布式表示，將詞向量化。接下來(lái)在CNN中引入殘差結(jié)構(gòu)，建立具有注意力機(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)，并融合上述兩種網(wǎng)絡(luò)結(jié)構(gòu)，再利用softmax分類(lèi)器獲取最終分類(lèi)結(jié)果。經(jīng)實(shí)驗(yàn)，本文提出的ResCNN-LSTMA模型在分類(lèi)結(jié)果上要優(yōu)于實(shí)驗(yàn)中的其它模型，在分類(lèi)效率上的差距不大，因此提升分類(lèi)效率是接下來(lái)的研究重點(diǎn)。