方 自 遠(yuǎn)

(河南農(nóng)業(yè)職業(yè)學(xué)院 河南 鄭州 451450)

Non-iterative training Adversarial training

0 引 言

在人們生活和社會生產(chǎn)的諸多領(lǐng)域中，出現(xiàn)了大量自媒體類型的應(yīng)用[1]，如時尚領(lǐng)域的小紅書、體育領(lǐng)域的虎撲、視頻領(lǐng)域的嗶哩嗶哩，以及咨詢服務(wù)領(lǐng)域的知乎等[2]。在這些應(yīng)用中，大量的普通用戶和意見領(lǐng)袖通過個人賬號按照規(guī)定的格式上傳文本內(nèi)容、圖像內(nèi)容和視頻內(nèi)容[3]，在用戶上傳內(nèi)容的過程中往往需要指定該內(nèi)容所屬的類別，從而便于應(yīng)用的管理和維護(hù)[4]。但在用戶指定類別的過程中常常出現(xiàn)錯誤，而這些錯誤直接影響后續(xù)自動推薦服務(wù)的性能。為了解決該問題，許多應(yīng)用集成了自媒體上傳內(nèi)容的類別檢查程序，糾正錯誤的類別標(biāo)注[5]。

文本內(nèi)容是許多自媒體應(yīng)用的重要組成部分，提供了關(guān)鍵的信息，因此區(qū)分文本內(nèi)容的類別是其中的重點(diǎn)研究方向。在傳統(tǒng)的文本分類方法中，基于中心的文本分類方法是一種高效率的方法[6]，也是目前滿足在線分類條件的主要方法，此類方法利用一些統(tǒng)計(jì)方法建模訓(xùn)練語料庫和訓(xùn)練樣本集的分布，然后利用距離度量方法將文本分類。此類方法包括許多不同技術(shù)的結(jié)合，包括隨機(jī)森林[7]、k-近鄰[8]和k-means[9]等分類器，以及模糊集分布[10]、字典分布[11]和粗糙集[12]等相似性度量方法。此類傳統(tǒng)方法在時間效率上具有巨大的優(yōu)勢，但是在分類準(zhǔn)確率方面存在明顯劣勢，尤其在處理高維文本數(shù)據(jù)集時，其分類準(zhǔn)確率和時間效率均出現(xiàn)明顯的下降。

深度學(xué)習(xí)技術(shù)具有強(qiáng)大的非線性學(xué)習(xí)能力，在許多工程領(lǐng)域內(nèi)取得了成功[13]。許多專家應(yīng)用深度學(xué)習(xí)技術(shù)對文本進(jìn)行分類，包括：深度神經(jīng)網(wǎng)絡(luò)[14]、卷積神經(jīng)網(wǎng)絡(luò)[15]和循環(huán)神經(jīng)網(wǎng)絡(luò)等模型。循環(huán)神經(jīng)網(wǎng)絡(luò)在文本分類問題上表現(xiàn)出較好的效果，但傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)對于文本特征的擬合能力依然不足。近期許多研究將分層注意方法[16]引入循環(huán)神經(jīng)網(wǎng)絡(luò)，分層注意方法將文本分割為段落，再利用神經(jīng)網(wǎng)絡(luò)并行地處理每個段落，該方法明顯提高了文本分類的性能。但許多研究表明，分層注意方法導(dǎo)致神經(jīng)網(wǎng)絡(luò)的參數(shù)出現(xiàn)大量的冗余，導(dǎo)致明顯的過擬合問題[17]。

為了利用分層注意方法的優(yōu)點(diǎn)，同時解決訓(xùn)練過程的冗余參數(shù)和時間效率問題，提出基于非迭代訓(xùn)練層次循環(huán)神經(jīng)網(wǎng)絡(luò)的快速文本分類算法。本文的工作主要有兩點(diǎn)：① 提出一種對抗訓(xùn)練算法，為詞匯和語句表示增加擾動，從而緩解過擬合問題。② 給出一種非迭代循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法，提高模型的訓(xùn)練速度。

1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本分類模型

1.1 門限循環(huán)單元網(wǎng)絡(luò)

門限循環(huán)單元網(wǎng)絡(luò)(Gated Recurrent Unit,GRU)是長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)的簡化版本，其性能與LSTM十分接近。GRU僅有兩個Gate且沒有LSTM的cell參數(shù)，其訓(xùn)練難度小于LSTM。GRU將不同長度的句子編碼成固定長度的向量表示，通過重置門和更新門控制狀態(tài)信息的更新。重置門的計(jì)算式為：

rt=σ(Wrxt+Uryt-1+br)

(1)

式中：rt為重置門；br為學(xué)習(xí)的偏置；σ為Sigmoid函數(shù)；xt為時間t的輸入向量；Wr∈Rn×m和Ur∈Rn×n是學(xué)習(xí)的權(quán)重矩陣；yt-1為上一個狀態(tài)；m和n分別為詞嵌入維度和隱層單元數(shù)量。更新門的計(jì)算式為：

zt=σ(Wzxt+Uzyt-1+bz)

(2)

(3)

式中：⊙為矩陣元素的乘法運(yùn)算；Wy∈Rn×m和Uy∈Rn×n為學(xué)習(xí)的權(quán)重矩陣。最終，GRU新狀態(tài)yt的計(jì)算式為：

yt=(1-zt)⊙yt-1+zt⊙yt

(4)

如果重置門rt設(shè)為0，那么上一個狀態(tài)對候選狀態(tài)無效果。

1.2 層次注意網(wǎng)絡(luò)

層次注意網(wǎng)絡(luò)將文本y分割為K個句子，記為{syk|k=1,2,…,K}，句子k表示為字詞的向量{wkt|t=1,2,…,T}，T為字詞的數(shù)量。圖1所示是層次網(wǎng)絡(luò)處理文本的一個簡單例子，將文本內(nèi)容劃分為若干條句子，每個句子分為字和標(biāo)點(diǎn)符號。

圖1 層次網(wǎng)絡(luò)處理文本內(nèi)容的簡單例子

通過Word2vec(也稱為word embeddings)將字詞的One-Hot編碼轉(zhuǎn)化為低維度的連續(xù)值(稠密向量)，意思相近的詞被映射到向量空間內(nèi)靠近的位置。映射后的向量表示為xkt=Wewkt，We∈Rdx|V|為字詞的嵌入矩陣，其中：dx為向量維度；V為詞匯表中詞的編號。We的每一行對應(yīng)第i個字詞的嵌入。圖2所示是層次注意GRU的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)包含門循環(huán)單元、字詞編碼器和注意單元。

圖2 層次注意GRU的網(wǎng)絡(luò)結(jié)構(gòu)

xkt=Wewkt

(5)

(6)

(7)

每個字詞對句子表示的重要性不同，因此，通過引入注意方法區(qū)分每個字詞的貢獻(xiàn)。注意方法通過積累之前的輸出向量，分析字詞表示或者句子表示的完整語義信息。本文網(wǎng)絡(luò)采用該方法提取字詞和句子中的重要信息，注意方法的輸出是字詞或者句子的高階表示。根據(jù)文獻(xiàn)[18]的驗(yàn)證結(jié)果，注意層的字詞表示準(zhǔn)確率高于平均池化層和最大池化層。字詞對句子語義重要性的計(jì)算式總結(jié)為：

ukt=tanh(Wwhkt+bw)

(8)

(9)

(10)

式中：ukt為hkt的隱層表示，隨機(jī)初始化uw，在網(wǎng)絡(luò)的訓(xùn)練過程中學(xué)習(xí)uw。

首先將詞匯標(biāo)注信息輸入單層感知機(jī)，感知機(jī)以sine()為激活函數(shù)，感知機(jī)輸出的隱層表示記為ukt。然后Softmax函數(shù)處理ukt，計(jì)算正則權(quán)重αkt。最后通過累加字詞的隱層表示計(jì)算出句子的表示向量。

給定一個文本y，將文本表示為句子表示向量的集合，再次運(yùn)用雙向GRU處理句子表示向量，分析句子的上下文信息。文本表示的計(jì)算式為：

(11)

(12)

再次引入注意力機(jī)制計(jì)算句子對文本的重要性，獲得文本y的向量表示，其計(jì)算式為：

uk=tanh(Wshk+bs)

(13)

(14)

(15)

式中：隨機(jī)初始化us，在訓(xùn)練過程中學(xué)習(xí)us；v表示包含語義信息的詞匯。通過Softmax層將輸入的數(shù)值轉(zhuǎn)化為條件概率，Softmax函數(shù)的計(jì)算式為：

p=softmax(Wcv+bc)

(16)

2 神經(jīng)網(wǎng)絡(luò)的非迭代對抗訓(xùn)練算法

2.1 對抗訓(xùn)練算法

為了解決層次注意網(wǎng)絡(luò)的過擬合問題，提出了對抗訓(xùn)練方法，通過對抗訓(xùn)練為網(wǎng)絡(luò)引入擾動。圖3所示是對抗訓(xùn)練層次門循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，其中虛線部分是嵌入的對抗處理模塊。

圖3 對抗訓(xùn)練的層次門循環(huán)神經(jīng)網(wǎng)絡(luò)

(17)

設(shè)x表示輸入，θ表示分類器y的參數(shù)。在對抗訓(xùn)練分類器的過程中，損失函數(shù)L的計(jì)算式為：

L=-logp(y|x+rAT;θ)

(18)

(19)

式中：g=▽xlogp(y|x;θ)；ε為擾動系數(shù)，ε在后向傳播中學(xué)習(xí)獲得。

(20)

式中：g=▽xlogp(y|X;θ)。

句子的對抗擾動rs_AT計(jì)算式為：

(21)

式中：g=▽xlogp(y|S;θ)。

對抗訓(xùn)練對字詞所造成的損失計(jì)算式為：

(22)

對抗訓(xùn)練對句子所造成的損失計(jì)算式為：

(23)

式中：N為字詞和句子的數(shù)量。

2.2 非迭代訓(xùn)練算法

梯度下降法是RNN常用的迭代訓(xùn)練算法，但該訓(xùn)練方法計(jì)算成本很高，且部分參數(shù)需要人工調(diào)節(jié)。本文設(shè)計(jì)了一種非迭代訓(xùn)練算法，通過線性函數(shù)逼近激活函數(shù)，學(xué)習(xí)RNN連接的權(quán)重。

(1) LSTM網(wǎng)絡(luò)泛化模型。本文的GRU網(wǎng)絡(luò)是LSTM網(wǎng)絡(luò)的簡化版本，LSTM網(wǎng)絡(luò)解決了RNN的梯度消失問題，本文的非迭代訓(xùn)練方法也同樣適用于其他的LSTM網(wǎng)絡(luò)，因此本文以LSTM模型為例介紹非迭代訓(xùn)練的方法。LSTM的網(wǎng)絡(luò)模型的相關(guān)介紹可參考文獻(xiàn)[19]。

(2) LSTM非迭代訓(xùn)練算法。本文通過線性函數(shù)逼近激活函數(shù)，以實(shí)現(xiàn)對于循環(huán)連接權(quán)重的學(xué)習(xí)。針對本文GRU模型所采用的sine激活函數(shù)，采用Taylor序列擴(kuò)展逼近sine激活函數(shù)，其計(jì)算式為：

(24)

使用一階多項(xiàng)式獲得輸出權(quán)重，其計(jì)算式為：

(25)

式中：M為句子的最大詞匯數(shù)量；Q為文章的最大句子數(shù)量。

LSTM的非迭代訓(xùn)練步驟為：

Step1隨機(jī)初始化wi、bi。

Step2使用線性函數(shù)逼近激活函數(shù)，計(jì)算H。

Step3對H進(jìn)行正則化處理，避免產(chǎn)生奇異矩陣。

Step4使用廣義的Moore-Penrose偽逆計(jì)算θ=[β,α]T。

2.3 訓(xùn)練的計(jì)算復(fù)雜度

非迭代訓(xùn)練主要包含三個步驟：(1) 為網(wǎng)絡(luò)的輸入權(quán)重和偏差分配隨機(jī)值。(2) 計(jì)算輸出矩陣H。(3) 使用Moore-Penrose偽逆計(jì)算參數(shù)向量θ和輸出權(quán)重β。假設(shè)網(wǎng)絡(luò)共有F個輸入節(jié)點(diǎn)、M個隱層節(jié)點(diǎn)和1個輸出節(jié)點(diǎn)，共有N個輸入向量。

步驟(1)：分配隨機(jī)值的時間復(fù)雜度和空間復(fù)雜度均為常量，關(guān)于值的數(shù)量呈線性關(guān)系，等于輸入層的權(quán)重和偏差之和。步驟(2)：輸出矩陣H是一個N×M的矩陣，包含F(xiàn)維的輸入向量，計(jì)算H矩陣共需要NM(F+c)次運(yùn)算，c為常量的浮點(diǎn)數(shù)運(yùn)算。步驟(3)：計(jì)算H的偽逆：如果M≤N，需要O(NM)的計(jì)算復(fù)雜度，否則為O(NM+N2M)。因?yàn)橛?xùn)練數(shù)據(jù)的數(shù)量遠(yuǎn)大于隱層節(jié)點(diǎn)的數(shù)量，所以計(jì)算θ共需要O(NM)次運(yùn)算。測試過程需要計(jì)算β矩陣，每個數(shù)據(jù)需要O(M(F+c)+M)次運(yùn)算。最終訓(xùn)練模型的總體時間復(fù)雜度為：O(NM(F+c)+NM)，總體空間復(fù)雜度為O(FM+2M+NM)。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

硬件環(huán)境為Intel Xeon 64位12核處理器，主頻2.0 GHz，內(nèi)存24 GB。編程環(huán)境為MATLAB R2016b。使用Adam優(yōu)化器迭代訓(xùn)練本文的RNN網(wǎng)絡(luò)，該訓(xùn)練模型簡稱為HRNN，迭代訓(xùn)練的學(xué)習(xí)率范圍為10-6～10-2，權(quán)重衰減懲罰因子范圍為0.90～0.99，采用網(wǎng)格搜索從范圍10～200中選擇最優(yōu)的epoch數(shù)量，批大小設(shè)為32。此外，使用本文的非迭代訓(xùn)練方法訓(xùn)練本文的RNN網(wǎng)絡(luò)，該模型簡稱為SRNN，SRNN和HRNN權(quán)重和偏差的隨機(jī)初始化均服從均值為0、標(biāo)準(zhǔn)偏差為0.01的高斯分布。GRU的隱層節(jié)點(diǎn)數(shù)量設(shè)為25，失活率(Dropout)設(shè)為0.1。經(jīng)過預(yù)處理實(shí)驗(yàn)，將對抗訓(xùn)練的ε值設(shè)為0.3，此時為最小化過擬合的網(wǎng)絡(luò)。每組參數(shù)的實(shí)驗(yàn)獨(dú)立運(yùn)行30次，將30次結(jié)果的平均值作為最終的性能值。

3.2 英文文本分類實(shí)驗(yàn)

(1) 實(shí)驗(yàn)的英文文本數(shù)據(jù)集。使用6個公開的英文文本數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，表1所示是6個英文數(shù)據(jù)集的介紹。Reuter是標(biāo)記的新聞數(shù)據(jù)集，從該數(shù)據(jù)集選擇8個出現(xiàn)頻率高的新聞類別，分別為：earning、acquisition、crude、trade、money、interest、grain和ship。Amazon是亞馬遜數(shù)據(jù)集的商品介紹文本集，選擇4個出現(xiàn)頻率高的商品類型，分別為：books、DVD、electronics和kitchen。Snippet是一個短新聞數(shù)據(jù)集，共有8個類別，分別為：business、computers、culture arts、education science、engineering、health、politics society和sports。SST-1和SST-2均為電影檔案數(shù)據(jù)集，共有5個類別，分別為：very positive、positive、neutral、negative和very negative。TREC是一個開放領(lǐng)域的問答檔案數(shù)據(jù)集，共有6個類別，分別為：abbreviation、entity、person、description、location和numeric information。

表1 英文文本數(shù)據(jù)集的基本信息

對6個數(shù)據(jù)集進(jìn)行統(tǒng)一的預(yù)處理：將大寫字母轉(zhuǎn)化為小寫字母，刪除其中非utf-8字符串解碼器的特殊字符，最終共保留72種字符。將所有文本擴(kuò)展為統(tǒng)一長度，該長度為每個數(shù)據(jù)集最長文本的長度。

(2) 比較算法介紹。選擇5個英文文本分類算法作為比較算法：① ConGDR[19]：由Mujtaba等提出的一種基于概念圖的文本表示方法，根據(jù)概念圖之間的相似性將文本分類。② DKVR[20]：由Hsieh等提出的分布式向量文本表示方法，通過向量間的相似性評估文本之間的距離。③ LST_SVM[21]：由Kumar等提出的最小二乘孿生支持向量機(jī)的文本分類算法，利用簡單詞袋模型表示字詞，利用孿生支持向量機(jī)學(xué)習(xí)文本之間的高維非線性關(guān)系。④ LSTM_DSR[22]：由Huang等提出的基于LSTM的深度句子表示方法，通過循環(huán)訓(xùn)練提高每層神經(jīng)網(wǎng)絡(luò)的信息量，積累的表示提高了句子的表示效果。⑤ CNN_CNC[23]：由Lauren等提出的基于卷積神經(jīng)網(wǎng)絡(luò)的短文本分類算法。該網(wǎng)絡(luò)第1層是自然語言處理層，嵌入層的輸入為文本矩陣，文本矩陣的長度設(shè)為文本長度的最大值。

(3) 分類準(zhǔn)確率。圖4所示是6個英文文本數(shù)據(jù)集的平均分類準(zhǔn)確率結(jié)果?？傮w而言，基于神經(jīng)網(wǎng)絡(luò)的分類算法LSTM_DSR、CNN_CNC、HRNN和SRNN優(yōu)于傳統(tǒng)算法ConGDR、DKVR，并且也好于機(jī)器學(xué)習(xí)算法LST_SVM。將HRNN與LSTM_DSR進(jìn)行比較，LSTM_DSR是一種正常反向傳播訓(xùn)練的LSTM方法，HRNN是本文設(shè)計(jì)的對抗訓(xùn)練算法，HRNN的分類準(zhǔn)確率均優(yōu)于LSTM_DSR，由此可得出結(jié)論，本文算法有效地緩解了過擬合問題，提高了文本分類的性能。

(a) Reuter、Amazon和Snippet數(shù)據(jù)集的結(jié)果

(b) SST-1、SST-2和TREC數(shù)據(jù)集的結(jié)果圖4 英文文本分類的平均準(zhǔn)確率

(4) 訓(xùn)練效率實(shí)驗(yàn)。迭代訓(xùn)練算法和非迭代訓(xùn)練算法的時間效率的對比結(jié)果如表2所示。結(jié)果顯示，隱層節(jié)點(diǎn)越多，訓(xùn)練時間越長。隱層節(jié)點(diǎn)為25時，分類準(zhǔn)確率最高，而此時HRNN的訓(xùn)練時間較高，本文非迭代訓(xùn)練算法SRNN的訓(xùn)練時間僅為HRNN的10%～20%之間，而SRNN的分類準(zhǔn)確率略低于HRNN，但依然高于ConGDR、DKVR、LST_SVM、LSTM_DSR和CNN_CNC算法。

表2 英文文本的訓(xùn)練時間

續(xù)表2

3.3 中文文本分類實(shí)驗(yàn)

(1) 實(shí)驗(yàn)的中文文本數(shù)據(jù)集。使用中國科學(xué)院漢語詞法分析系統(tǒng)(Institute of Computing Technology Chinese Lexical Analysis System，ICTCLAS)處理數(shù)據(jù)集，刪除常用的停用詞。采用復(fù)旦大學(xué)的文本分類語料庫，選擇經(jīng)濟(jì)、政治、宇航、醫(yī)療、軍事、藝術(shù)和歷史7個大類的文檔集，刪除其中與正文無關(guān)的信息。

表3 中文文本數(shù)據(jù)集的基本信息

(2) 比較算法介紹。選擇兩個中文文本分類算法作為比較算法：① CC[24]：根據(jù)領(lǐng)域本體圖結(jié)構(gòu)模型創(chuàng)建中文文本分類的本體學(xué)習(xí)框架，并建立中文術(shù)語-術(shù)語關(guān)系映射?；诟拍罹垲惐倔w圖半監(jiān)督地學(xué)習(xí)中文文本的類別。② DBN[25]：一種深度置信網(wǎng)絡(luò)的中文文本分類模型，分別以文本的TF-IDF和LSI特征作為輸入，利用深度置信網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力獲取深層次特征。

(3) 分類性能實(shí)驗(yàn)。一般采用宏F1(MF1)指標(biāo)評價中文文本的分類性能。MF1的計(jì)算式為：

(26)

式中：Pi為類i的查準(zhǔn)率；Ri為類i的查全率；m為分類數(shù)量。

圖5所示是7個中文文本數(shù)據(jù)集的平均分類性能結(jié)果?？傮w而言，基于神經(jīng)網(wǎng)絡(luò)的分類算法DBN、HRNN和SRNN優(yōu)于傳統(tǒng)算法CC。HRNN和SRNN的分類準(zhǔn)確率均優(yōu)于DBN，由此可得出結(jié)論，本文的對抗訓(xùn)練算法和分層注意方法有效地提高了中文文本的分類性能。

圖5 中文文本分類的平均MF1結(jié)果

(4) 訓(xùn)練效率實(shí)驗(yàn)。迭代訓(xùn)練算法和非迭代訓(xùn)練算法的時間效率比較結(jié)果如表4所示。結(jié)果顯示，隱層節(jié)點(diǎn)越多，訓(xùn)練時間越長。隱層節(jié)點(diǎn)為25時，此時的分類準(zhǔn)確率最高，而此時HRNN的訓(xùn)練時間較高，本文非迭代訓(xùn)練算法SRNN的訓(xùn)練時間大約為HRNN的1.5%，而SRNN的分類準(zhǔn)確率略低于HRNN，但依然高于DBN算法和CC算法。

4 結(jié) 語

將分層注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合，能夠提高對文本分類的準(zhǔn)確率，但存在過擬合問題和訓(xùn)練時間過長的問題。本文設(shè)計(jì)對抗訓(xùn)練方法最小化分層注意循環(huán)神經(jīng)網(wǎng)絡(luò)的過擬合問題，并提出非迭代訓(xùn)練算法加快循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。最終對中文文本數(shù)據(jù)集和英文文本數(shù)據(jù)集均完成了仿真實(shí)驗(yàn)，結(jié)果表明本文的對抗訓(xùn)練算法有效地緩解了分層注意循環(huán)神經(jīng)網(wǎng)絡(luò)的過擬合問題，而非迭代訓(xùn)練算法有效地加快了訓(xùn)練速度，非迭代訓(xùn)練算法的訓(xùn)練時間大約為傳統(tǒng)方法的1.5%。

因?yàn)閷?shí)驗(yàn)條件的限制，本文算法目前僅在小規(guī)模文本數(shù)據(jù)集上完成了驗(yàn)證實(shí)驗(yàn)，未來將研究利用高性能機(jī)器對大規(guī)模文本數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，評估本文算法的可擴(kuò)展能力。