張 瑩 王 超 郭文雅 袁曉潔

(南開大學(xué)計(jì)算機(jī)與控制工程學(xué)院 天津 300350) (yingzhang@nankai.edu.cn)

隨著互聯(lián)網(wǎng)技術(shù)和各種類型互聯(lián)網(wǎng)服務(wù)的迅速發(fā)展，人們獲取信息的途徑發(fā)生了根本性的轉(zhuǎn)變.其中，在線新聞服務(wù)成為了一種新型信息傳遞形式，每天吸引著數(shù)以億計(jì)的在線用戶，并允許用戶在閱讀新聞后發(fā)表評(píng)論表達(dá)自己的觀點(diǎn).由于在線新聞信息的傳播速度快、受眾范圍廣，有效分析用戶的情緒有助于在線新聞服務(wù)商為用戶提供更好的服務(wù)，也有助于政府及時(shí)了解輿情，對(duì)互聯(lián)網(wǎng)內(nèi)容進(jìn)行更加有效的監(jiān)管.因此，自動(dòng)判別在線新聞評(píng)論的情緒具有重要的理論意義和應(yīng)用價(jià)值.

一種很自然的判別在線新聞評(píng)論的方法是根據(jù)用戶撰寫的評(píng)論內(nèi)容，將評(píng)論劃分到多類情緒標(biāo)簽中的某一類中，即將該任務(wù)看作多分類問題.近看來，情緒標(biāo)注的研究已經(jīng)取得了諸多成果，但仍然存在一定的問題：

1) 傳統(tǒng)的情緒標(biāo)注主要采用機(jī)器學(xué)習(xí)方法，使用人工的方式抽取特征，并使用分類器進(jìn)行分類，此類方法的性能依賴于特征的選取[1]，不能與分析需求很好地結(jié)合，也不能準(zhǔn)確地表達(dá)高層語義；

2) 現(xiàn)有工作大多沒有充分考慮文本中句子之間的邏輯關(guān)系，句子之間的因果關(guān)系、轉(zhuǎn)折關(guān)系等對(duì)整個(gè)文本的語義有重要的影響，轉(zhuǎn)折之后的內(nèi)容相較于轉(zhuǎn)折之前的部分對(duì)整個(gè)文本的語義有更大的影響，在進(jìn)行情緒標(biāo)注時(shí)，充分利用句子之間的邏輯關(guān)系才能得到更好的效果；

3) 現(xiàn)有工作沒有充分利用其他相關(guān)信息源，目前大部分工作只用研究對(duì)象的文本內(nèi)容的一種信息源進(jìn)行挖掘，以在線新聞評(píng)論的情緒標(biāo)注為例，新聞評(píng)論固然是體現(xiàn)讀者閱讀情緒的直接信息，但新聞的文本內(nèi)容也是影響用戶情緒的直接原因，另外，新聞網(wǎng)站提供情緒投票服務(wù)，用戶對(duì)該新聞的情緒投票也可幫助預(yù)測該評(píng)論所蘊(yùn)含的情緒，因此新聞評(píng)論的文本內(nèi)容、新聞文檔的文本內(nèi)容以及用戶情緒投票結(jié)果均可從不同角度幫助用戶情緒的預(yù)測.

為了解決上述問題，本文提出了一種基于多信息源的雙向分層語義表示模型，稱為雙向分層語義神經(jīng)網(wǎng)絡(luò)(bi-directional hierarchical semantic neural network, Bi-HSNN).該模型采用深度學(xué)習(xí)的方法，從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，解決了傳統(tǒng)機(jī)器學(xué)習(xí)中人工抽取特征的問題；構(gòu)建分層語義表示模型，既抽取文本的語義關(guān)系，又自底向上地學(xué)習(xí)文檔中句子間的邏輯關(guān)系；另外，利用新聞評(píng)論文本、與評(píng)論相關(guān)的新聞文本、新聞的用戶情緒投票3個(gè)信息源，對(duì)在線新聞評(píng)論進(jìn)行情緒標(biāo)注.

本文描述了在新浪新聞和騰訊新聞2個(gè)真實(shí)數(shù)據(jù)集上的一系列實(shí)驗(yàn)結(jié)果和相關(guān)分析，比較了各單信息源和不同信息源的組合方案，驗(yàn)證了利用多信息源進(jìn)行在線新聞情緒標(biāo)注的必要性；在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文提出的Bi-HSNN模型相較于已有基于傳統(tǒng)機(jī)器學(xué)習(xí)的情緒標(biāo)注方法和基于其他神經(jīng)網(wǎng)絡(luò)模型的方法具有更好的情緒標(biāo)注效果.

1 相關(guān)工作

情緒標(biāo)注(emotion tagging)是意見挖掘和情緒分析(opinion mining and emotion analysis)領(lǐng)域最重要的子課題之一，近幾年受到了越來越多學(xué)者的關(guān)注.1992年Hearst[2]首次提出了基于文本的情緒分析和意見挖掘問題，此后學(xué)術(shù)界出現(xiàn)了大量關(guān)于文本情緒分析和意見挖掘的研究工作[3].情緒標(biāo)注是意見挖掘和情緒分析領(lǐng)域重要的子課題之一[4]，該子課題要求給出一個(gè)能夠預(yù)測出一個(gè)文本所對(duì)應(yīng)的情緒(如產(chǎn)品評(píng)價(jià)[5-7]、新聞文檔[8-10]、新聞評(píng)論[11-12]等)的解決方案.本文主要關(guān)注在線新聞評(píng)論的情緒標(biāo)注問題.

機(jī)器學(xué)習(xí)技術(shù)廣泛應(yīng)用于情緒標(biāo)注問題上，目前大多數(shù)的研究將重心放在特征模式的設(shè)計(jì)上，通過特征工程技術(shù)預(yù)先人工定義的特征模式抽取出相關(guān)的特征，使用支持向量機(jī)(support vector machine, SVM)等分類器將文本特征分類到某一情緒類別中，這些方法一般只使用單詞級(jí)別的特征對(duì)文本進(jìn)行分類.與此不同，前期工作[8-9,13]作出假設(shè)，認(rèn)為相較于文本中具體的某一單詞或關(guān)鍵字，文本的情緒應(yīng)該和文本所描述的話題(topic)更具有相關(guān)性，進(jìn)而提出了一系列情緒-話題模型.

自2006年Hinton等人[14]將深度學(xué)習(xí)方法的研究成果發(fā)表于《Science》，深度學(xué)習(xí)方法在情緒標(biāo)注領(lǐng)域得到了很好地應(yīng)用.

目前基于深度學(xué)習(xí)的文本情緒分析方法主要通過自然語言處理相關(guān)技術(shù)對(duì)文本的情緒和語義進(jìn)行分析.Ranzato等人[15]提出基于深度學(xué)習(xí)的文本表達(dá)學(xué)習(xí)模型，利用深度多層自動(dòng)編碼網(wǎng)絡(luò)，逐層學(xué)習(xí)文本的高層語義特征.同時(shí)，Weston等人[16]提出深度嵌入的方式學(xué)習(xí)特征的層次表達(dá)，同時(shí)利用不同層次的特征實(shí)現(xiàn)不同特征層之間的特征共享，利用輔助任務(wù)更好的學(xué)習(xí)特征.一些研究工作基于語義合成性原則和自然語言的可遞歸性，提出了一系列基于遞歸神經(jīng)網(wǎng)絡(luò)的文本情緒分析模型.Socher等人基于遞歸自動(dòng)編碼機(jī)(recursive autoencoder)加入了情緒類別相關(guān)的信息，并引入重構(gòu)損失的概念，提出了一種半監(jiān)督式的遞歸自動(dòng)編碼機(jī)模型.該模型在通過文本所包含單詞的詞向量生成文本向量時(shí)，可以在其中保留更多情緒相關(guān)的信息.Socher等人[17]在之后又基于語義合成性原則進(jìn)一步提出了矩陣-向量遞歸神經(jīng)網(wǎng)絡(luò)(matrix-vector recurrent neural network， MV-RNN).Tang等人[6]提出一種改進(jìn)的詞向量學(xué)習(xí)方法，將推特短文本中的表情符號(hào)作為次要情緒標(biāo)注，并根據(jù)其中的情緒信息進(jìn)行詞向量的學(xué)習(xí)，在此基礎(chǔ)之上，將包含情緒信息的詞向量作為詞匯的特征，用于構(gòu)建大規(guī)模的情緒詞典.

本文采用深度學(xué)習(xí)的方法解決在線新聞評(píng)論的情緒標(biāo)注問題，提出一種新型神經(jīng)網(wǎng)絡(luò)模型，在生成文檔的特征表示時(shí)不僅考慮到句子中詞匯之間的關(guān)系，而且能兼顧到文檔中句子之間的邏輯關(guān)系，從而生成更具代表性的文本分層語義表示，更充分地運(yùn)用文本中所蘊(yùn)含的語義信息來對(duì)文本進(jìn)行情緒標(biāo)注.

另一方面，上述方案只使用了文檔自身的信息，忽略了其他相關(guān)信息源中的信息，而這些信息源通常對(duì)文檔語義的表達(dá)具有顯著的影響.本文在進(jìn)行新聞評(píng)論文本情緒標(biāo)注時(shí)，使用了多種信息源來提升準(zhǔn)確度，包括新聞評(píng)論文本、新聞文檔文本以及用戶情緒投票信息.本文擴(kuò)展了之前的初步研究工作[18]，引入了改進(jìn)的雙向長短記憶模型對(duì)在線新聞評(píng)論進(jìn)行了多信息源情緒分析工作，捕獲文檔更加完整的語義特征，從而提高情緒標(biāo)注的效果.

2 基于多信息源的雙向分層語義神經(jīng)網(wǎng)絡(luò)

2.1 問題定義

情緒標(biāo)注問題可以形式化為一個(gè)多分類問題，目標(biāo)是為一段用戶撰寫的文本分配某一個(gè)情緒.本文提出的在線新聞評(píng)論情緒標(biāo)注問題的目標(biāo)是根據(jù)一系列用戶在閱讀新聞后撰寫的評(píng)論，以及評(píng)論所對(duì)應(yīng)的新聞文檔、大量用戶對(duì)新聞做出的情緒投票，標(biāo)注在線新聞評(píng)論蘊(yùn)含的情緒.

現(xiàn)對(duì)在線新聞評(píng)論情緒標(biāo)注問題定義如下：給定一個(gè)新聞評(píng)論集合C和新聞文檔集合D，每一條新聞評(píng)論c∈C都對(duì)應(yīng)一個(gè)d∈D，表示c是在用戶閱讀新聞d之后做出的評(píng)論.此外定義情緒集合E={e1,e2,…,eK}，為新聞評(píng)論標(biāo)注的情緒是該集合中的一個(gè)元素.每一個(gè)新聞文檔d都對(duì)應(yīng)一個(gè)用戶情緒投票Md={μ1,μ2,…,μK}，其中μk∈是投票中對(duì)于情緒ek的投票計(jì)數(shù).在此情況下，情緒標(biāo)注工作需要做的是根據(jù)評(píng)論文本c、評(píng)論對(duì)應(yīng)的新聞文檔d以及d對(duì)應(yīng)的用戶情緒投票Md的信息，將評(píng)論c分配至情緒集合中的一個(gè)ek.

本文提出的基于多信息源的雙向分層神經(jīng)網(wǎng)絡(luò)模型可分為3個(gè)部分:

1) 文檔的分層語義神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)句子中單詞間的語義關(guān)系和句子間的邏輯關(guān)系；

2) 考慮新聞評(píng)論內(nèi)容、新聞內(nèi)容和用戶情緒投票信息的多信息源分層語義神經(jīng)網(wǎng)絡(luò)，充分融合多信息源進(jìn)行特征提取；

3) 適當(dāng)?shù)姆诸惙椒?，將抽取的特征分配到某個(gè)具體的情緒.

2.2 文檔的雙向分層神經(jīng)網(wǎng)絡(luò)

本節(jié)主要介紹了文檔的雙向分層神經(jīng)網(wǎng)絡(luò)，將可變長度的文本表示成定長的特征向量.

單詞是句子的基本組成部分，而句子又在結(jié)構(gòu)上和語義上組成了文檔.語義合成性原則[19]指出，任意表達(dá)式(如一個(gè)句子或一篇文檔)的語義源自于它每一個(gè)組成部分各自的語義以及它們組合在一起所使用的規(guī)則.因此本文提出的方法在計(jì)算文檔表示時(shí)可以分為2步：1)從單詞的表示(如詞嵌入)生成句子級(jí)別的語義表示；2)再從句子的表示最終生成整篇文檔的語義表示.

2.2.1 句子語義表示模塊

在獲取句子的語義表示之前，本文首先使用詞向量(word embedding)來表示每一個(gè)單詞.詞向量技術(shù)是自然語言處理領(lǐng)域中的一種特征學(xué)習(xí)技術(shù)，它將一個(gè)維度為詞典中所有單詞數(shù)量的高維空間嵌入到一個(gè)維數(shù)低得多的連續(xù)向量空間中，詞典中的每個(gè)單詞被表示為實(shí)數(shù)域上的向量，因此詞向量也被稱為詞嵌入技術(shù)，也可以看作一種降維技術(shù).

根據(jù)詞向量技術(shù)，詞典中每一個(gè)單詞被表示為一個(gè)低維的、連續(xù)的、實(shí)數(shù)值的向量，所有的向量都存儲(chǔ)在矩陣L∈dim×|V|中，其中dim為預(yù)定義的詞向量的維度，V表示文本的詞典.詞向量的值可以被隨機(jī)初始化，然后作為一個(gè)參數(shù)隨著深度學(xué)習(xí)的過程和神經(jīng)網(wǎng)絡(luò)一起訓(xùn)練[20-21]，或者通過成熟的詞向量算法預(yù)先求得[22-23].本文采取第2種方式，使用成熟的詞嵌入技術(shù)求得詞向量來更好地利用單詞的語義和語法上的聯(lián)系.

本文引入卷積神經(jīng)網(wǎng)絡(luò)來計(jì)算句子的語義表示，圖1為模型示意圖，模型主要包括4層：

1) 輸入層.輸入層的輸入為一個(gè)句子中的所有詞.根據(jù)詞向量矩陣，輸入層將句子中的詞映射為相應(yīng)的詞向量，將整個(gè)句子重新組織為該句子中所有詞所對(duì)應(yīng)的詞向量按照原詞出現(xiàn)的順序排列之后的連接.

2) 卷積層.卷積層使用不同的卷積核對(duì)輸入進(jìn)行掃描，抽取得到輸入中感受野內(nèi)的詞與詞之間局部特征，得到特征矩陣.需要注意的是，每一個(gè)卷積核都將產(chǎn)生一個(gè)獨(dú)立的特征矩陣.

3) 池化層.通過對(duì)特征矩陣進(jìn)行平均池化操作得到句子的核心特征，并將不定長的句子輸入轉(zhuǎn)化為定長的特征輸出.

4) 折疊層.卷積核不同，卷積層所得到的特征矩陣不同，池化層所得到的句子特征也不相同.折疊層將不同卷積核得到的不同句子特征進(jìn)行歸并，生成最終的句子特征.

Fig. 1 The overview of our bi-directional hierarchical semantic representation model using multiple information sources圖1 多信息源雙向分層語義表示模型示意圖

句子語義特征表示模塊中的卷積神經(jīng)網(wǎng)絡(luò)部分不包含損失層，這是因?yàn)榫渥幽K并不是獨(dú)立訓(xùn)練的模塊，而是和文檔語義特征表示模塊一起訓(xùn)練，因此會(huì)在總體模型的最上層擁有統(tǒng)一的損失函數(shù)層.

輸入層將輸入句子中的單詞映射為較低維度的詞向量，將句子重新組織為詞向量的串聯(lián).給定一個(gè)包含n個(gè)單詞的句子{w1,w2,…,wn}，句子中的每一個(gè)單詞wi都通過經(jīng)由語料庫預(yù)先求得的詞向量矩陣L∈dim×|V|映射為該單詞所對(duì)應(yīng)的詞向量wei∈dim，其中,dim為詞向量的維度，V為詞典，|V|即為詞典的大小.則卷積神經(jīng)網(wǎng)絡(luò)的輸入層的輸出，即卷積層的輸入為

I=(we1,we2,…,wen)∈dim×n.

(1)

本文在卷積層使用不同窗口大小的卷積核對(duì)句子向量進(jìn)行卷積操作，捕捉不同粒度的上下文語義特征，并在此基礎(chǔ)上生成句子的語義表示特征.這種方式已經(jīng)被證明在情緒分析和情緒標(biāo)注領(lǐng)域具有很好的效果.本文使用窗口為3，4，5的卷積核，用來捕獲3，4，5-gram的語義特征.

令卷積核為cf，lcf為卷積核cf的窗口寬度，Wcf和bcf分別為卷積核cf線性部分的共享參數(shù).該卷積核作用于感受野內(nèi)的詞向量上，并由此生成所對(duì)應(yīng)的局部特征.感受野的大小即為卷積核的窗口大小.

因此卷積層中，卷積核cf在每一個(gè)感受野上的輸入，為卷積核窗口中從wei開始共lcf個(gè)單詞所對(duì)應(yīng)的詞向量的串聯(lián)：

Icf=(wei,wei+1,…,wei+lcf-1)∈dim×lcf,

(2)

則卷積層中卷積核cf對(duì)于該感受野內(nèi)的輸入，求得局部特征：

Ocf=tanh(Wcf·Icf+bcf)，

(3)

Wcf∈locf×(dim×lcf)，

(4)

其中，Wcf為卷積操作的權(quán)重矩陣;bcf∈locf，為卷積操作的偏置量;locf是卷積層輸出的長度;tanh是分線性的雙曲正切函數(shù)，為卷積操作增加非線性特性.

每一個(gè)卷積核對(duì)窗口大小為lcf的詞向量序列進(jìn)行卷積，得到該部分的局部特征值，順序求得每一部分的局部特征后得到整個(gè)句子的特征矩陣：

Ocf=(Ocf,0,Ocf,1,…,Ocf,n-lcf)，

(5)

其中，n為句子中所包含的詞向量的總數(shù).

卷積層之后，池化層將對(duì)卷積操作所得到的特征矩陣進(jìn)行池化操作.本文中使用平均池化操作，在特征矩陣上取平均值，該平均值即為該卷積核所得到的句子語義特征表示：

(6)

其中，i=0,1,2,…,n-lcf.此外，池化操作也可以保證卷積神經(jīng)網(wǎng)絡(luò)對(duì)于不定長的輸入，也能產(chǎn)生特定長度的句子特征.

在此之后，本文通過一個(gè)平均折疊層將所有的池化層輸出進(jìn)行歸并，得到最終的句子語義表示特征：

(7)

其中，cf1，cf2，cf3分別為上文所述窗口大小為3，4，5的卷積核.

2.2.2 文檔語義表示模塊

本節(jié)介紹利用改進(jìn)的雙向長短記憶模型(bi-directional long-short term memory model， Bi-LSTM)從句子的語義表示進(jìn)一步生成文檔的語義表示的過程.

給定一組句子的語義表示并由此生成文檔語義表示，最簡單和自然的策略是對(duì)所有的句子表示取平均值或最值.但這種方法完全沒有考慮到句子之間的語序以及邏輯聯(lián)系，顯然不能捕捉句子間的因果或轉(zhuǎn)折等復(fù)雜關(guān)系.神經(jīng)網(wǎng)絡(luò)方法常使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network， RNN)解決這一問題，循環(huán)神經(jīng)網(wǎng)絡(luò)善于處理序列類型的數(shù)據(jù)，不同于全連接的前饋神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)通過循環(huán)遞歸的結(jié)構(gòu)使得自身具有一定程度的記憶功能，能夠有效地利用序列自身所攜帶的信息進(jìn)行分析預(yù)測.然而，循環(huán)神經(jīng)網(wǎng)絡(luò)由于天然的結(jié)構(gòu)缺陷，導(dǎo)致實(shí)踐中無法學(xué)習(xí)輸入數(shù)據(jù)中距離較遠(yuǎn)的邏輯關(guān)系.長短期記憶模型將循環(huán)神經(jīng)網(wǎng)絡(luò)的循環(huán)結(jié)構(gòu)替換成長短期記憶單元，解決遠(yuǎn)距離邏輯關(guān)系的學(xué)習(xí)問題[24].

本文使用一種經(jīng)過改進(jìn)的雙向長短記憶模型(Bi-LSTM)來獲得文檔的語義表示，Bi-LSTM轉(zhuǎn)化函數(shù)如下.

1) 向前推算(forward pass)：

ft,fwd=δ(Wf,fwd·(ht-1,fwd,xt)+bf,fwd),

(8)

it,fwd=δ(Wi,fwd·(ht-1,fwd,xt)+bi,fwd)，

(9)

ot,fwd=δ(Wo,fwd·(ht-1,fwd,xt)+bo,fwd)，

(10)

(11)

(12)

ht,fwd=ot,fwd⊙Ct,fwd，

(13)

2) 向后推算(backward pass)：

ft,bwd=δ(Wf,bwd·(ht+1,bwd,xt)+bf,bwd)，

(14)

it,bwd=δ(Wi,bwd·(ht+1,bwd,xt)+bi,bwd)，

(15)

ot,bwd=δ(Wo,bwd·(ht+1,bwd,xt)+bo,bwd)，

(16)

(17)

(18)

ht,bwd=ot,bwd⊙Ct,bwd.

(19)

向后推算部分公式與向前推算部分類似，具體符號(hào)意義這里不再贅述.需要注意的是，向前推算從段落中第1句掃描至最后1句，共設(shè)有n句話，則t從1遍歷至n；而向后推算部分是從最后一句開始，即t從n遍歷至1.

在經(jīng)典Bi-LSTM[25]中，最后1層隱含層的輸出通常作為最終的文本表示，如圖2所示.本文對(duì)Bi-LSTM進(jìn)行了簡單的擴(kuò)展，提出了Avg Bi-LSTM模型，該模型將所有隱含層的輸出取平均值作為最終的文本語義表示，如圖3所示.這樣，最終獲得帶有不同間隔的句子間的語義和情緒的邏輯關(guān)系的文本特征表示.

Fig. 2 Classical Bi-LSTM圖2 經(jīng)典Bi-LSTM模型示意圖

Fig. 3 Avg Bi-LSTM圖3 Avg Bi-LSTM模型示意圖

2.3 多信息源的雙向分層神經(jīng)網(wǎng)絡(luò)

本節(jié)介紹多信息源在線新聞評(píng)論情緒標(biāo)注方法，需要考慮的信息源包括用戶評(píng)論，在線新聞，讀者情緒投票.圖4為基于多信息源的雙向分層神經(jīng)網(wǎng)絡(luò)的示意圖，可以看出，在本模型中，新聞評(píng)論的多源分層語義表示特征由3部分組成：新聞評(píng)論文本的分層語義表示特征、新聞文檔文本的分層語義表示特征以及用戶情緒投票特征.

前2種信息源為用戶評(píng)論和新聞文檔的分層語義表示.用戶評(píng)論是用戶對(duì)于新聞文檔的反應(yīng)，能夠直接體現(xiàn)用戶的情緒，另一方面，評(píng)論的情緒很顯然會(huì)直接受到新聞文檔的影響，因此本文將新聞文檔納入考慮的范圍內(nèi).為了對(duì)用戶評(píng)論和新聞文檔進(jìn)行建模，本文利用2.2節(jié)的分層語義表示模型獲得每一條評(píng)論c和新聞文檔d的特征特征向量表示c′∈dimc和d′∈dimd，其中dimc和dimd分別為評(píng)論和新聞文檔的特征向量的維度.

(20)

Fig. 4 The overview of our bi-directional hierarchical semantic neural network using multiple information sources圖4 多信息源雙向分層神經(jīng)網(wǎng)絡(luò)示意圖

2.4 情緒分類方法

本節(jié)使用2.3節(jié)中得到的新聞評(píng)論的多源分層語義表示特征作為分類的特征向量，代替?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)中人工抽取的特征進(jìn)行情緒分類.

如圖4所示，多信息源的在線新聞評(píng)論情緒標(biāo)注工作最終抽取的特征是在線新聞、在線新聞評(píng)論和用戶情緒投票特征向量的串聯(lián)，在情緒分析過程中，本文引入Softmax分類器，將新聞評(píng)論的特征表示轉(zhuǎn)換為條件概率來表示評(píng)論被分到每一個(gè)情緒類別的概率.

對(duì)于給定語料庫中第i個(gè)評(píng)論ci，ci的情緒標(biāo)注結(jié)果為情緒類別集合ek(k=1,2,…,K)中一種情緒的條件概率可通過函數(shù)Softmax計(jì)算得出：

(21)

其中，ci為第i個(gè)評(píng)論，repi為評(píng)論ci的多信息源分層語義表示特征，ω為將表示repi轉(zhuǎn)換為|E|維實(shí)數(shù)向量的矩陣，E為情緒集合，ωj可以看作repi中每一項(xiàng)對(duì)于情緒ej的結(jié)合系數(shù).

由于訓(xùn)練集中每一條評(píng)論都有與之對(duì)應(yīng)的真實(shí)情緒標(biāo)簽，本文通過有監(jiān)督的方式對(duì)模型進(jìn)行訓(xùn)練.本文將真實(shí)的情緒分布與預(yù)測得到的情緒分布之間的交叉熵誤差作為目標(biāo)損失函數(shù)：

(22)

其中，c∈C為語料庫中的一條評(píng)論，e為情緒集合E中的一種情緒，a可以是任何一個(gè)合法的對(duì)數(shù)函數(shù)的底數(shù)，P(e|c)表示模型預(yù)測的評(píng)論c屬于情緒e的概率，Pg(e|c)表示真實(shí)情緒分布中評(píng)論c屬于情緒e的概率分布.需要注意的是，在真實(shí)的情緒分布中，只有評(píng)論真正屬于的情緒類別的概率是1，其余全被置為0.

之后將交叉熵誤差作為目標(biāo)損失函數(shù)，通過反向傳播算法訓(xùn)練，由隨機(jī)梯度下降法更新模型的參數(shù).

本文使用dropout[10,26]方法進(jìn)行參數(shù)的正則化，用以消除模型過擬合的影響.dropout方法的核心思想是在訓(xùn)練階段(training)隨機(jī)地移除神經(jīng)網(wǎng)絡(luò)中的部分節(jié)點(diǎn)，而在測試階段(testing)使用全部節(jié)點(diǎn).dropout引入一個(gè)超參數(shù)p，表示神經(jīng)網(wǎng)絡(luò)中每一個(gè)節(jié)點(diǎn)在每一次迭代中都會(huì)以1-p的概率被移除，或以p的概率被保留.因此在每次迭代中，神經(jīng)網(wǎng)絡(luò)只有被保留的部分節(jié)點(diǎn)所組成的“子網(wǎng)絡(luò)”會(huì)被訓(xùn)練，也就只有這些保留的節(jié)點(diǎn)中的參數(shù)會(huì)被更新，而其他節(jié)點(diǎn)的參數(shù)依然保留上次迭代的結(jié)果.這樣不僅能加速訓(xùn)練過程，而且能大大解決過擬合問題所帶來的影響.

(23)

m(i)～Bernoulli(p)，

(24)

其中，m為dropout向量，與Icf具有相同的維度，m(i)表示m中的第i個(gè)元素.m對(duì)于不同的Icf都要重新計(jì)算，以保證每一次移除操作都是完全獨(dú)立的.

對(duì)于模型中的Bi-LSTM模塊的隱含層向量也要進(jìn)行相似的dropout處理，這里不再贅述.

3 實(shí)驗(yàn)與分析

本節(jié)首先介紹相關(guān)的實(shí)驗(yàn)設(shè)置，包括實(shí)驗(yàn)所使用的數(shù)據(jù)集、評(píng)價(jià)指標(biāo)以及用于比較的基準(zhǔn)算法，之后給出實(shí)驗(yàn)結(jié)果并進(jìn)行分析和討論.

3.1 數(shù)據(jù)集

新浪新聞(Sina news)和騰訊新聞(QQ news)是中國用戶最多的新聞網(wǎng)站之一.從新浪新聞的社會(huì)頻道(society channel)*http://news.sina.com.cn/society/和騰訊新聞的娛樂頻道(entertainment channel)*http://ent.qq.com/中收集了2011年1月到6月點(diǎn)擊量較多的熱點(diǎn)新聞，以及它們的熱點(diǎn)評(píng)論和用戶情緒投票信息用于實(shí)驗(yàn).在數(shù)據(jù)集中隨機(jī)采樣出部分新聞以及它們排名前20的熱點(diǎn)評(píng)論(如果評(píng)論數(shù)量不足20，則選擇全部評(píng)論)以及用戶情緒投票作為訓(xùn)練集和測試集，命名為新浪數(shù)據(jù)集(Sina dataset)和騰訊數(shù)據(jù)集(QQ dataset).新浪數(shù)據(jù)集中共有5 185條評(píng)論、369條新聞、83 634個(gè)投票，騰訊數(shù)據(jù)集中共有5 414條評(píng)論、372條新聞、993 089個(gè)投票.每一條評(píng)論都與它所對(duì)應(yīng)的新聞相對(duì)應(yīng).相關(guān)統(tǒng)計(jì)信息如表1所示:

Table 1 The Statistics of Labeled Comments of Datasets表1 數(shù)據(jù)集評(píng)論標(biāo)注統(tǒng)計(jì)信息

為了評(píng)估預(yù)測效果，對(duì)2個(gè)數(shù)據(jù)集情緒分類進(jìn)行人工標(biāo)注.在新浪新聞和騰訊新聞中，雖然用戶可以使用網(wǎng)站自帶的投票系統(tǒng)表達(dá)情緒，但是投票系統(tǒng)和評(píng)論系統(tǒng)是獨(dú)立的，投票不能與評(píng)論一一對(duì)應(yīng)，也就不能將用戶的投票作為評(píng)論所表達(dá)情緒的標(biāo)注向量.所以本文只借用了新浪新聞和騰訊新聞投票系統(tǒng)中的情緒類別，并人工對(duì)每一條的情緒進(jìn)行標(biāo)注.由于工作量的原因，每個(gè)數(shù)據(jù)集只分配了3個(gè)標(biāo)注人員.新浪數(shù)據(jù)集和騰訊數(shù)據(jù)集的8類情緒的標(biāo)注結(jié)果如表2和表3所示：

Table 2 The Statistics of Labeled Comments of Sina Dataset表2 新浪數(shù)據(jù)集各類情緒標(biāo)注評(píng)論統(tǒng)計(jì)信息

Table 3 The Statistics of Labeled Comments of QQ Dataset表3 騰訊數(shù)據(jù)集各類情緒標(biāo)注評(píng)論統(tǒng)計(jì)信息

為了驗(yàn)證標(biāo)注的質(zhì)量，從2個(gè)數(shù)據(jù)集中各自隨機(jī)抽取了100條評(píng)論，并請(qǐng)1名審閱人(不是標(biāo)注者)對(duì)評(píng)論進(jìn)行標(biāo)注.新浪數(shù)據(jù)集中，審閱人的判斷與標(biāo)注結(jié)果有91條相同，騰訊數(shù)據(jù)集中有94條相同，因此本文認(rèn)為標(biāo)注的質(zhì)量滿足實(shí)驗(yàn)要求.

本文只使用了中文的數(shù)據(jù)集，因?yàn)槟壳皼]有找到類似的帶有用戶情緒投票信息的英文在線新聞服務(wù)，但本文提出的模型可適用于任何語言的新聞服務(wù).

3.2 評(píng)價(jià)指標(biāo)

本文使用2種指標(biāo)用于評(píng)價(jià)算法的效果：

1) 平均倒數(shù)排名(mean reciprocal rank,MRR)

(25)

2) 準(zhǔn)確率accu@m

(26)

則對(duì)于整個(gè)數(shù)據(jù)集的accu@m可被定義為

(27)

3.3 對(duì)比方法

本文采用10折交叉驗(yàn)證的方式對(duì)提出的Bi-HSNN算法和下列方法在2個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并將結(jié)果進(jìn)行了比較和分析.

1) SVM+n-grams.將評(píng)論文本的切分成n-grams，并將其作為評(píng)論文本的特征，然后使用LIBLINEAR[27]訓(xùn)練SVM分類器.實(shí)驗(yàn)中n-grams中n的取值分別為1,2,3.

2) WE(word-emotion)[13].WE是一種基于情緒詞典的生成模型，它首先建立詞級(jí)別和話題級(jí)別的情緒詞典，然后據(jù)此預(yù)測評(píng)論的情緒分類.

3) RPWM(reader perspective weighted model)[28].在RPWM中，單獨(dú)計(jì)算每條評(píng)論的情緒熵，并據(jù)此為評(píng)論分配不同的權(quán)重.權(quán)重不同，評(píng)論對(duì)情緒預(yù)測結(jié)果的影響不同.

4) 標(biāo)準(zhǔn)CNN[8]與Bi-LSTM[25].作為目前情緒和語義分析領(lǐng)域最前沿的算法，CNN和Bi-LSTM在本文中也被作為基準(zhǔn)算法進(jìn)行效果比較.特別地，在對(duì)比實(shí)驗(yàn)中，標(biāo)準(zhǔn)CNN和Bi-HSNN的CNN模塊一樣，使用了窗口大小分別為3，4，5的卷積核.

5) CM(content-based model)與MCM(meta classification model)[11].這2種模型建立有監(jiān)督的固定組合分類模型，并使用傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)評(píng)論的情緒進(jìn)行標(biāo)注.

6) Bi-HSNN為本文提出的算法.

3.4 實(shí)驗(yàn)效果對(duì)比

本節(jié)進(jìn)行了3組對(duì)比實(shí)驗(yàn)，分別探究了本論文提出的算法在單信息源和多信息源情況下與SVM+n-grams，WE，RPWM等基準(zhǔn)算法的性能差異及原因，并探究了多信息源的情緒標(biāo)注是否能有效提高情緒標(biāo)注的效果.

3.4.1 單信息源算法效果對(duì)比

本節(jié)實(shí)驗(yàn)用來比較只使用用戶評(píng)論一種信息源時(shí)Bi-HSNN的效果.實(shí)驗(yàn)結(jié)果如表4和表5所示.

通過結(jié)果可以看出，基于SVM的方法即使幾乎沒有使用任何語義信息，仍然擁有很好的表現(xiàn)，幾乎是除了Bi-HSNN之外效果最好的方法.但隨著n的增大，n-grams特征變得越來越稀疏，對(duì)于新聞評(píng)論這種包含文字較少的短文本，數(shù)據(jù)稀疏問題更加明顯.這也是用trigrams特征的SVM分類器在3個(gè)SVM分類器中效果最差的原因.本文嘗試只考慮情緒詞的方式來對(duì)特征進(jìn)行降維，但結(jié)果并沒有顯著提高.

Table 4 Performance on Sina Dataset表4 新浪數(shù)據(jù)集上各方法的評(píng)論情緒標(biāo)注性能

Table 5 Performance on QQ Dataset表5 騰訊數(shù)據(jù)集上各方法的評(píng)論情緒標(biāo)注性能

WE通過建立情緒詞典的方式對(duì)評(píng)論的情緒進(jìn)行預(yù)測并取得了一定的效果，但是它也只是將評(píng)論文檔看作詞袋模型，并沒有進(jìn)一步考慮語義信息.RPWM是WE的一種改進(jìn)，一方面通過LDA模型將情緒和話題結(jié)合起來；另一方面為每一條評(píng)論計(jì)算情緒熵，并將其作為權(quán)重賦予評(píng)論，評(píng)論根據(jù)其權(quán)重不同對(duì)預(yù)測結(jié)果的影響也不同，用這種方式來減小噪聲評(píng)論對(duì)于預(yù)測的影響.然而實(shí)驗(yàn)結(jié)果表明：RPWM的結(jié)果并沒有很明顯的提升，原因在于本文所使用的數(shù)據(jù)集中，評(píng)論與評(píng)論之間并沒有很大的差異.

CM使用評(píng)論文本中的情緒詞作為特征，并使用L2邏輯斯蒂回歸模型進(jìn)行情緒標(biāo)注.因?yàn)镃M模型只考慮了文本中更有可能表現(xiàn)出情緒的詞匯，因此它比上述算法擁有更好的效果.此外通過CM和WE,RPWM的對(duì)比可以看出，在情緒標(biāo)注中，判別模型確實(shí)比生成模型擁有更好的效果.

標(biāo)準(zhǔn)CNN和Bi-LSTM的性能要大大優(yōu)于上述大部分算法，因?yàn)樗鼈兛紤]了文本的語義.實(shí)驗(yàn)結(jié)果說明：語義合成性原則確實(shí)對(duì)于語義和情緒的理解具有重要的意義.然而這2種方法在對(duì)句子間邏輯關(guān)系建模等方面仍有很大的改進(jìn)空間.

本節(jié)所使用的Bi-HSNN為只使用評(píng)論文本情況下的版本.實(shí)驗(yàn)結(jié)果顯示:Bi-HSNN性能優(yōu)于上述所有對(duì)比算法，因?yàn)樗粌H通過對(duì)句子內(nèi)部的語義進(jìn)行建模，而且對(duì)句子間的邏輯關(guān)系進(jìn)行了建模.這使得Bi-HSNN擁有理解文檔中復(fù)雜語義的能力.此外通過Bi-HSNN與CNN/Bi-LSTM的對(duì)比可以看出，句子間的邏輯關(guān)系確實(shí)能夠幫助對(duì)整個(gè)文檔的語義和情緒進(jìn)行理解.

顯著性檢驗(yàn)表明：Bi-HSNN在置信級(jí)別為0.95的情況下性能優(yōu)于其他所有基準(zhǔn)算法.

3.4.2 多信息源算法效果對(duì)比

本節(jié)實(shí)驗(yàn)用來比較使用所有3種信息源的情況下，Bi-HSNN與SVM+n-grams，WE，RPWM等基準(zhǔn)算法對(duì)比的效果.實(shí)驗(yàn)結(jié)果如表6和表7所示：

Table 6 Performance on Sina Dataset表6 新浪數(shù)據(jù)集上各方法的評(píng)論情緒標(biāo)注性能

Table 7 Performance on QQ Dataset表7 騰訊數(shù)據(jù)集上各方法的評(píng)論情緒標(biāo)注性能

SVM，CNN，Bi-LSTM根據(jù)Bi-HSNN的思想修改為多信息源模型，即將3種信息源的特征串聯(lián)輸入到分類器中.MCM本身就是CM的多信息源版本(但只使用了2種信息源)，因此本文只對(duì)它進(jìn)行了很小的改動(dòng).WE和RPWM為生成模型，因此無法被改造成多信息源版本，因此未被考慮.

Bi-HSNN為使用全部3種信息源時(shí)的版本.

實(shí)驗(yàn)結(jié)果表明：在使用全部3種信息源的情況下，Bi-HSNN與所有基準(zhǔn)算法相比，仍然擁有最佳的效果.這再次印證了Bi-HSNN的多層次結(jié)構(gòu)賦予它從句子內(nèi)語義和句間語義2個(gè)角度對(duì)文本進(jìn)行建模的能力.與其他方法相比，Bi-HSNN展現(xiàn)出其極強(qiáng)的語義表示與情緒挖掘能力.

顯著性檢驗(yàn)表明：Bi-HSNN在置信級(jí)別為0.95的情況下，性能優(yōu)于其他所有基準(zhǔn)算法.

3.4.3 多信息源效果分析

本節(jié)實(shí)驗(yàn)用于：1)證明是否每一種信息源對(duì)于用戶評(píng)論的情緒標(biāo)注都有幫助；2)評(píng)價(jià)使用不同信息源的Bi-HSNN的效果差異，實(shí)驗(yàn)結(jié)果如表8和表9所示：

Table 8 Performance on Sina Dataset表8 新浪數(shù)據(jù)集上不同信息源的評(píng)論情緒標(biāo)注性能

Table 9 Performance on QQ Dataset表9 騰訊數(shù)據(jù)集上不同信息源的評(píng)論情緒標(biāo)注性能

CC，CN，UEV表示Bi-HSNN分別只使用評(píng)論文本、新聞文本和用戶情緒投票單信息源進(jìn)行情緒標(biāo)注.CC+CN，CC+UEV，CN+UEV使用2種信息源的組合作為特征；CC+CN+UEV使用全部3種信息源.

實(shí)驗(yàn)結(jié)果顯示：CC在單信息源版本中擁有最優(yōu)的效果，表明評(píng)論文本對(duì)于評(píng)論情緒的預(yù)測是最可靠最有效的信息源，這是因?yàn)樵u(píng)論就是本文所要進(jìn)行情緒標(biāo)注的客體.UEV的效果是第二優(yōu)的，證明用戶情緒投票可以為評(píng)論的情緒標(biāo)注提供更多的信息，本文認(rèn)為這是因?yàn)橛脩舻耐镀北刃侣勎臋n本身能更直觀地反映大眾讀者在閱讀之后的情緒傾向.

通過實(shí)驗(yàn)結(jié)果也能看出，多信息源版本的Bi-HSNN性能普遍優(yōu)于單信息源版本，說明不同信息源的組合確實(shí)比單一信息源更有效，而且每一種信息源都或多或少地對(duì)于評(píng)論的語義和情緒的理解有一定幫助.

最后CC+CN+UEV擁有最優(yōu)的效果，這證明使用全部3種信息源確實(shí)比只使用一種或2種信息源更有效，每一種信息源都會(huì)為情緒標(biāo)注提供一個(gè)不同的視角，分別在不同程度上幫助模型得到一個(gè)更好的預(yù)測結(jié)果.

顯著性檢驗(yàn)表明：CC+CN+UEV在置信區(qū)間為0.95的情況下，性能優(yōu)于其他所有算法.

3.4.4 dropout效果分析

Fig. 5 Effect of dropout rate on single information source圖5 單信息源不同dropout率的效果比較

本文使用dropout方法進(jìn)行參數(shù)的正則化，用以消除模型過擬合的影響.本節(jié)實(shí)驗(yàn)用于探索dropout比率大小對(duì)情緒標(biāo)注效果的影響.

由于在現(xiàn)實(shí)使用中dropout通常取值為p=0.5[26]，因此本文將p=0.5當(dāng)作基準(zhǔn)，其他dropout率的效果通過accu@1相比p=0.5時(shí)的變化來衡量.實(shí)驗(yàn)表明，MRR與accu@2,accu@3的變化趨勢(shì)和曲線與accu@1相同，因此實(shí)驗(yàn)結(jié)果只展示accu@1的變化.圖5和圖6中分別展示了本文單信息源和多信息源部分的dropout效果.

Fig. 6 Effect of dropout rate on multiple information sources圖6 多信息源不同dropout率的效果比較

由圖5和圖6可以看出，根據(jù)數(shù)據(jù)集的不同，dropout率取0.1～0.7時(shí)都會(huì)對(duì)情緒標(biāo)注的效果有一定的提升[10].在本文的實(shí)驗(yàn)中，dropout率選取為p=0.6.

4 總結(jié)與未來工作

本文提出在線新聞評(píng)論情緒標(biāo)注問題，考慮在線新聞、新聞評(píng)論和用戶投票信息，構(gòu)建了基于多信息源的雙向分層神經(jīng)網(wǎng)絡(luò).建立能夠?qū)鋬?nèi)語義關(guān)系和句間邏輯關(guān)系建模的文檔表示模型，并提出了多信息源的情緒標(biāo)注方法，實(shí)驗(yàn)證明:本文提出的方法能夠有效提高在線新聞評(píng)論情緒標(biāo)注的準(zhǔn)確度.

未來可以對(duì)更多的信息源進(jìn)行分析，如新聞中的圖片同樣屬于對(duì)讀者情緒有重要影響的信息，或者對(duì)每一名用戶的閱讀習(xí)慣和情緒傾向進(jìn)行建模，以提升預(yù)測的準(zhǔn)確度.

[1]Domingos P. A few useful things to know about machine learning[J]. Communications of the ACM, 2012, 55(10): 78-87

[2]Hearst M A. Direction-based text interpretation as an information access refinement[G] //Text-based Intelligent Systems: Current Research and Practice in Information Extraction and Retrieval. Mahwah, NJ: Lawrence Erlbaum Associates, 1992: 257-274

[3]Zhao Yanyan, Qin Bing, Liu Ting. Sentiment analysis on text[J]. Journal of Software, 2010, 21(8): 1834-1848 (in Chinese)

(趙妍妍, 秦兵, 劉挺. 文本情感分析[J]. 軟件學(xué)報(bào), 2010, 21(8): 1834-1848)

[4]Liu Bing. Opinion mining and sentiment analysis[J]. Synthesis Lectures on Human Language Technologies, 2011, 2(2): 459-526

[5]Tang Duyu, Qin Bing, Liu Ting. Document modeling with gated recurrent neural network for sentiment classification[C] //Proc of the 2015 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2015: 1422-1432

[6]Tang Duyu, Qin Bing, Liu Ting. Learning semantic representations of users and products for document level sentiment classification[C] //Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2015: 1014-1023

[7]Turney P D. Thumbs up or thumbs down?: Semantic orientation applied to unsupervised classification of reviews[C] //Proc of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg, PA: ACL, 2002: 417-424

[8]Bao Shenghua, Xu Shengliang, Zhang Li, et al. Joint emotion-topic modeling for social affective text mining[C] //Proc of the 9th IEEE Int Conf on Data Mining. Piscataway, NJ: IEEE, 2009: 699-704

[9]Bao Shenghua, Xu Shengliang, Zhang Li, et al. Mining social emotions from affective text[J]. IEEE Trans on Knowledge & Data Engineering, 2012, 24(9): 1658-1670

[10]Wu Haibing, Gu Xiaodong. Towards dropout training for convolutional neural networks[J]. Neural Networks, 2015, 71(11): 1-10

[11]Zhang Ying, Fang Yi, Quan Xiaojun, et al. Emotion tagging for comments of online news by meta classification with heterogeneous information sources[C] //Proc of the 35th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2012: 1059-1060

[12]Zhang Ying, Zhang Ning, Si Luo, et al. Cross-domain and cross-category emotion tagging for comments of online news[C] //Proc of the 37th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2014: 627-636

[13]Rao Yanghui, Lei Jingsheng, Liu Wenyin, et al. Building emotional dictionary for sentiment analysis of online news[J]. World Wide Web, 2014, 17(4): 723-742

[14]Hinton G E, Salakhutdinov R R. Reducing the dimen-sionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507

[15]Ranzato M A, Szummer M. Semi-supervised learning of compact document representations with deep networks[C] //Proc of the 25th Int Conf on Machine Learning. New York: ACM, 2008: 792-799

[16]Weston J, Ratle F, Collobert R. Deep learning via semi-supervised embedding[C] //Proc of the 25th Int Conf on Machine Learning. New York: ACM, 2012: 1168-1175

[17]Socher R, Pennington J, Huang E H, et al. Semi-supervised recursive autoencoders for predicting sentiment distributions[C] //Proc of the 2011 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2011: 151-161

[18]Wang Chao, Zhang Ying, Jie Wei, et al. Hierarchical semantic representations of online news comments for emotion tagging using multiple information sources[C] //Proc of the 22nd Int Conf on Database Systems for Advanced Applications. Berlin: Springer, 2017: 121-136

[19]Frege G. Sense and reference[J]. Philosophical Review, 1948, 57(3): 238-241

[20]Kalchbrenner N, Grefenstette E, Blunsom P. A convolu-tional neural network for modelling sentences[OL]. (2014-08-08) [2016-01-23]. https://arxiv.org/abs/1404.2188

[21]Socher R, Perelygin A, Wu J Y, et al. Recursive deep models for semantic compositionality over a sentiment treebank[C] //Proc of the 2013 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2013: 1631-1642

[22]Mikolov T, Sutskever I, Chen Kai, et al. Distributed representations of words and phrases and their compositionality[C] //Proc of the 2013 Conf on Neural Information Processing Systems. Lake Tahoe: NIPS, 2013: 3111-3119

[23]Pennington J, Socher R, Manning C. Glove: Global vectors for word representation[C] //Proc of the 2014 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2014: 1532-1543

[24]Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780

[25]Graves A, Schmidhuber J. Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J]. Neural Networks, 2005, 18(5): 602-610

[26]Pham V, Bluche T, Kermorvant C, et al. Dropout improves recurrent neural networks for handwriting recognition[C] //Proc of the 14th Int Conf on Frontiers in Handwriting Recognition (ICFHR). Piscataway, NJ: IEEE, 2014: 285-290

[27]Fan Rongen, Chang Kaiwei, Hsieh C J, et al. LIBLINEAR: A library for large linear classification[J]. Journal of Machine Learning Research, 2008, 9(9): 1871-1874

[28]Li Xin, Rao Yanghui, Chen Yanjia, et al. Social emotion classification via reader perspective weighted model[C] //Proc of the 30th AAAI Conf on Artificial Intelligence. Menlo Park, CA: AAAI, 2016: 4230-4231