牛 耘，張 黎，王世泓，魏 歐

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 210016)

?

基于多層次語言特征的弱監(jiān)督評(píng)論傾向性分析

牛 耘，張 黎，王世泓，魏 歐

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 210016)

該文提出一種基于多層次語言特征的弱監(jiān)督的情感分析方法, 先以少量情感詞構(gòu)成初始情感詞典,用這些種子詞匯作引導(dǎo)，根據(jù)評(píng)論文本在單詞、短語及句子級(jí)別的語言特征結(jié)合上下文挖掘目標(biāo)文本中潛在的具有情感傾向的詞匯/短語。通過自訓(xùn)練不斷擴(kuò)充情感詞典，最終得到一個(gè)具有領(lǐng)域特征的情感詞典，并用所得到的情感詞典對(duì)目標(biāo)文本的情感傾向進(jìn)行判斷。與其他方法在同一數(shù)據(jù)上的結(jié)果相比，該方法以很小的詞典規(guī)模取得了最高的F-score，并且得到的情感詞含義明確。方法用于不同領(lǐng)域也取得了較高的精度，表明方法具有較好的領(lǐng)域適應(yīng)性。

情感分析；多層次語言特征；弱監(jiān)督算法；情感詞典

1 引言

隨著互聯(lián)網(wǎng)對(duì)人們的生活習(xí)慣和生活方式日益深刻的影響，越來越多的人開始通過網(wǎng)絡(luò)表達(dá)自己的觀點(diǎn)。人們通過論壇、博客等網(wǎng)絡(luò)平臺(tái)發(fā)表自己對(duì)商品和服務(wù)的看法，這些看法常常帶有情感傾向性(表示對(duì)該產(chǎn)品或服務(wù)的支持或反對(duì))。分析這些評(píng)論文本的情感傾向?qū)τ诳偨Y(jié)產(chǎn)品的優(yōu)點(diǎn)與不足，了解用戶需求進(jìn)行消費(fèi)市場(chǎng)分析，以及預(yù)測(cè)未來市場(chǎng)需求，提高商業(yè)智能發(fā)揮著重要的作用。

情感分析(Sentiment Analysis)的主要任務(wù)即為自動(dòng)識(shí)別評(píng)論的主觀情感傾向性，判定出作者對(duì)于所評(píng)價(jià)事物的態(tài)度是積極的還是消極的。情感分析因其廣泛的應(yīng)用價(jià)值已成為自然語言處理領(lǐng)域的熱點(diǎn)研究方向。

情感分析研究的兩種基本策略為基于語料的方法和基于詞典的方法?；谡Z料的方法以監(jiān)督算法為主[1-6]，在訓(xùn)練數(shù)據(jù)充足時(shí)能夠取得較高的精度。而基于詞典的方法則通常不依賴于特定領(lǐng)域的人工標(biāo)注語料[7-9]，因而對(duì)不同領(lǐng)域的適應(yīng)性較好。采用基于詞典的方法進(jìn)行情感分析需要解決兩個(gè)核心問題：(1)如何獲取高質(zhì)量的情感詞(具有情感傾向的詞)形成情感詞典;(2)情感分析時(shí)如何利用上下文信息作出準(zhǔn)確的判斷。在網(wǎng)絡(luò)高度發(fā)達(dá)的今天，評(píng)論領(lǐng)域以及評(píng)價(jià)對(duì)象的多樣性決定了很難有一個(gè)固定的情感詞典能夠滿足各種需求。動(dòng)態(tài)產(chǎn)生適應(yīng)領(lǐng)域特點(diǎn)的詞典才能更好地應(yīng)對(duì)這種多樣性。另外，同一個(gè)情感詞與不同的上下文結(jié)合會(huì)表達(dá)不同的情感傾向。合理地考慮上下文的影響對(duì)于準(zhǔn)確判斷評(píng)論的情感傾向是至關(guān)重要的?；谠~典的方法需要顯式地利用這種影響。因此，如何有效發(fā)揮上下文的作用成為基于詞典方法的另一個(gè)難點(diǎn)。

本文提出一種基于詞典的情感分析方法，通過結(jié)合上下文信息構(gòu)造具有領(lǐng)域特征的情感詞典，并利用不同層次的語言特征進(jìn)行中文評(píng)論的情感傾向判斷。

本方法僅需少量的表達(dá)情感的詞匯(情感詞)構(gòu)成初始情感詞典。然后以這些種子詞匯作引導(dǎo)，根據(jù)評(píng)論文本在單詞、短語及句子級(jí)別的語言特征,通過一些簡單規(guī)則描述上下文的作用，進(jìn)一步挖掘目標(biāo)文本中潛在的具有情感傾向的詞匯/短語。并通過自訓(xùn)練不斷擴(kuò)充情感詞典，動(dòng)態(tài)地產(chǎn)生一個(gè)具有領(lǐng)域特征的情感詞典。然后用所得到的情感詞典對(duì)目標(biāo)文本的情感傾向進(jìn)行判斷。在手機(jī)數(shù)據(jù)上的實(shí)驗(yàn)表明，本方法取得了高于之前最好結(jié)果的F-score。將方法應(yīng)用于不同領(lǐng)域產(chǎn)品中也取得了較高的精度，表明方法具有較好的領(lǐng)域適應(yīng)性。并且，算法產(chǎn)生的具有領(lǐng)域特征的情感詞典將有助于產(chǎn)品特征的提取和進(jìn)行針對(duì)具體產(chǎn)品特征的評(píng)價(jià)分析。

2 相關(guān)工作

情感分析研究至今已取得了很大的進(jìn)展。算法方面，基于語料的有監(jiān)督算法盡管取得了較高的精度，然而其對(duì)人工標(biāo)注數(shù)據(jù)的依賴給它在不同領(lǐng)域的應(yīng)用帶來困難。因此，基于詞典的無監(jiān)督和弱監(jiān)督方法也成為情感分析的重要途徑。

作為較早期的基于詞典的無監(jiān)督方法，Turney提出了基于PMI-IR算法的語義情感分類思想[7]。分別以正向和負(fù)向的兩個(gè)代表情感詞“excellent”和“poor”為種子，根據(jù)目標(biāo)短語與這兩個(gè)種子詞匯之間的互信息來判斷該短語的情感傾向，并最終判定出整篇文章的情感傾向。該方法需要大規(guī)模語料庫的支持。Hu 和 Liu[10]則通過人工方式構(gòu)建了一個(gè)包括30個(gè)形容詞的初始情感詞集合，然后利用這些種子在WordNet中的同義和反義集合來預(yù)測(cè)更多形容詞的情感傾向。Zagibalov和Carroll則提取出文本中的否定副詞結(jié)構(gòu)來自動(dòng)產(chǎn)生種子集合[8]。Ye等針對(duì)中文的特點(diǎn)，在PMI-IR方法基礎(chǔ)上，探索了中文情感分析理論與方法[11-12]。

另外，一些弱監(jiān)督算法試圖通過結(jié)合情感詞典與標(biāo)注語料來彌補(bǔ)二者單獨(dú)使用的不足。其中有些算法將詞典與少量人工標(biāo)注的評(píng)論文本結(jié)合起來產(chǎn)生情感傾向的分類器[13-14]。還有一些算法的情感分析過程分為兩個(gè)階段，首先利用情感詞典完成對(duì)評(píng)論文本傾向的初始判斷，然后利用其中比較可靠的結(jié)果來產(chǎn)生新的分類器對(duì)初始結(jié)果進(jìn)行修訂[15-16]。

與本文最相近的工作為Zagibalov和Carroll提出的弱監(jiān)督評(píng)論分析[8-9]以及Qiu等的自監(jiān)督模型[15]。這二者工作中也利用自訓(xùn)練方式產(chǎn)生情感詞典。然而，二者在產(chǎn)生情感詞時(shí)均未考慮上下文的影響。并且，在二者的工作中，構(gòu)成情感詞典的詞條不是具有明確含義的中文詞，而是采用評(píng)論文本中n個(gè)連續(xù)的漢字(不包含標(biāo)點(diǎn))。因而生成的詞典對(duì)于理解應(yīng)用領(lǐng)域的情感表達(dá)方式幫助甚微。與他們不同，本文采用意義明確的中文詞作為情感詞典的候選詞。構(gòu)建詞典時(shí)，結(jié)合直接影響情感判斷的上下文形成最終的情感詞。這樣產(chǎn)生的情感詞典既有助于理解特定領(lǐng)域的情感表達(dá)特點(diǎn)，也有助于后續(xù)產(chǎn)品特征的提取和進(jìn)行針對(duì)具體產(chǎn)品特征的評(píng)價(jià)分析。本文還從單詞、短語、句子多個(gè)層次綜合考慮上下文的作用來提高情感傾向判斷的精度。

3 方法概述

3.1 主要模塊

本文所建立的情感傾向分析模型以少量表達(dá)情感的詞為種子建立初始情感詞典，然后通過自訓(xùn)練，以迭代的方式不斷擴(kuò)充情感詞典最終完成對(duì)評(píng)論文本的情感傾向判斷。模型主要包含四個(gè)模塊： 數(shù)據(jù)預(yù)處理模塊，識(shí)別候選詞/短語模塊，情感詞典更新模塊，和情感傾向分析模塊。系統(tǒng)整體結(jié)構(gòu)如圖1所示。下面先簡要介紹每個(gè)模塊的主要功能，第4節(jié)進(jìn)行了詳細(xì)的闡述。

圖1 系統(tǒng)結(jié)構(gòu)圖

1. 數(shù)據(jù)預(yù)處理。對(duì)評(píng)論進(jìn)行分詞、詞性標(biāo)注、劃分帶狀區(qū)等預(yù)處理。

2. 識(shí)別候選詞/短語。候選詞/短語是指可能成為情感詞的詞/短語。根據(jù)候選詞提取算法，從評(píng)論文本中選擇合適的詞或短語作為候選詞/短語。候選詞/短語進(jìn)一步處理后可產(chǎn)生用于判斷情感傾向的情感詞。

3. 情感詞典更新。單詞(短語)根據(jù)其表達(dá)的情感可分為正向情感詞或者負(fù)向情感詞。情感詞典是所有情感詞的集合。為了判斷一個(gè)候選詞是否適合作為情感詞，首先要計(jì)算它的情感分?jǐn)?shù)來衡量該詞所表達(dá)的主觀色彩強(qiáng)度。情感分?jǐn)?shù)絕對(duì)值越大表明主觀色彩越強(qiáng)。情感色彩強(qiáng)烈的候選詞將被選擇作為情感詞，以迭代的方式更新詞典。每次迭代后的詞典會(huì)用來進(jìn)行情感傾向判定。

4. 情感傾向分析。首先根據(jù)情感詞典判斷一個(gè)句子中的帶狀區(qū)的情感傾向。然后由該句中所有帶狀區(qū)的情感傾向判定出該句子的情感傾向。最后由評(píng)論所包含所有句子的情感傾向判定出整篇評(píng)論的情感傾向性(積極或消極)。

下面一節(jié)對(duì)這四個(gè)模塊進(jìn)行詳細(xì)介紹。

4 基于多層次語言特征的評(píng)論情感傾向分析

4.1 數(shù)據(jù)預(yù)處理

在預(yù)處理階段，首先用分詞工具對(duì)評(píng)論文本進(jìn)行分詞和詞性標(biāo)注。然后利用評(píng)論中的標(biāo)點(diǎn)符號(hào)*所用標(biāo)點(diǎn)符號(hào)包括： 逗號(hào)，分號(hào)，問號(hào)，感嘆號(hào)，省略號(hào)，句號(hào)及對(duì)應(yīng)的英語標(biāo)點(diǎn)。為分隔符將一個(gè)句子劃分成多個(gè)帶狀區(qū)。每個(gè)區(qū)域?yàn)樵u(píng)論分析的最小單位。

4.2 識(shí)別候選詞/短語

構(gòu)成評(píng)論文本的詞中很大一部分并不參與情感的表達(dá)(如數(shù)詞、介詞等通常都不表達(dá)情感)。如果簡單地把評(píng)論中的全部詞都作為候選詞，不僅會(huì)因保留大量無情感色彩的詞而給后續(xù)的情感詞識(shí)別帶來嚴(yán)重的噪音干擾，而且這些無情感色彩的詞會(huì)嚴(yán)重消耗算法的執(zhí)行時(shí)間而直接影響系統(tǒng)的效率。因此，這里先從評(píng)論文本中識(shí)別可能表達(dá)情感的詞和短語作為情感詞的候選詞。

我們從詞性和上下文的作用兩個(gè)方面提取候選詞/短語。不同詞性的詞在表達(dá)情感傾向中的重要性是不同的。我們將詞性作為識(shí)別候選詞的一種依據(jù)。另外，同一個(gè)詞與不同的上下文結(jié)合會(huì)表達(dá)不同的情感傾向，孤立地分析詞語的情感傾向性很多時(shí)候并不能準(zhǔn)確地把握該詞在一個(gè)具體評(píng)論中發(fā)揮的作用。因而，在詞情感傾向分析的基礎(chǔ)上，聯(lián)合能夠?qū)η楦袃A向產(chǎn)生影響的上下文形成短語，進(jìn)而對(duì)短語的情感傾向作出判斷，將有助于整個(gè)評(píng)論的情感分析。

本文根據(jù)評(píng)論文本的特點(diǎn)，對(duì)詞性特征以及上下文特征進(jìn)行分析來提取候選詞/短語。上下文特征包括否定用法特征(分為否定詞和“不”短語兩種)，趨勢(shì)詞特征以及狀態(tài)詞特征。

1. 詞性特征

能夠表達(dá)情感傾向的有形容詞、副詞、動(dòng)詞、名詞等，而數(shù)詞、連詞、介詞、量詞等含有的情感信息較少。Rebecca[17]通過統(tǒng)計(jì)發(fā)現(xiàn)含有形容詞或者副詞的句子表達(dá)傾向性的概率達(dá)到55.8%，說明形容詞和副詞是表達(dá)情感的重要詞語。因此，我們把評(píng)論文本中的形容詞(如清晰、輕便、不錯(cuò))和副詞(如順手、剛好、最好)選為候選詞。

2. 結(jié)合否定詞構(gòu)成候選短語

我們發(fā)現(xiàn)一些詞本身雖然沒有情感色彩，然而與否定詞搭配時(shí)表現(xiàn)出明顯的情感傾向，如表1所示。

常見否定詞有：沒、沒有、避免、免去、不是、不會(huì)、不算、不太、無。否定詞的詞性一般為動(dòng)詞，并和它的賓語(通常是名詞)一起表達(dá)肯定或否定的態(tài)度。注意到與其他網(wǎng)絡(luò)用語類似，網(wǎng)絡(luò)評(píng)論往往采用比較簡潔的語言。表現(xiàn)在否定詞作為動(dòng)詞時(shí)一般只帶有直接賓語，而雙賓語的情況比較少見。我們據(jù)此制定否定詞構(gòu)成候選短語的規(guī)則：當(dāng)前區(qū)域中沒有形容詞或者副詞時(shí)，選擇否定詞和它最近鄰名詞結(jié)合起來，作為一個(gè)候選短語。

表1 否定詞構(gòu)成候選短語

3. 由趨勢(shì)詞構(gòu)成候選短語

有些情況下，情感傾向并非由某個(gè)詞直接表達(dá)，而是通過描述某種變化反映出來。例如，增加正(負(fù))向情感則整體上仍表達(dá)正(負(fù))向情感，而若減少正(負(fù))向情感則整體表達(dá)了負(fù)(正)向情感，如表2中例子所示。增/減趨勢(shì)詞即是表示增加或減少的動(dòng)詞，包括增加、 減少、 防止。

表2 趨勢(shì)詞構(gòu)成候選短語

一個(gè)帶狀區(qū)中增減性詞語的詞性經(jīng)常是動(dòng)詞，與最近鄰名詞結(jié)合表達(dá)出明顯的情感傾向。我們指定趨勢(shì)詞構(gòu)成候選情感短語的規(guī)則為： 當(dāng)前區(qū)域中沒有形容詞或者副詞時(shí)，選擇趨勢(shì)詞和它的最近鄰名詞結(jié)合起來，作為一個(gè)候選短語。

4. 由狀態(tài)詞構(gòu)成候選短語

有些描述事物狀態(tài)的形容詞和副詞本身不表達(dá)情感，然而用于特定上下文中與其修飾限制的對(duì)象組合起來則表達(dá)了鮮明的肯定或否定情感。我們把這些詞稱為狀態(tài)詞。表3給出了例子。

表3 狀態(tài)詞示例

續(xù)表

形容詞性的狀態(tài)詞通常修飾的是最近鄰的名詞。因而，若一個(gè)狀態(tài)詞為形容詞，則將該狀態(tài)詞與最近鄰的名詞結(jié)合起來，作為一個(gè)候選短語。副詞性的狀態(tài)詞經(jīng)常修飾最近鄰的形容詞。因此，若一個(gè)狀態(tài)詞為副詞，將它和最近鄰的形容詞結(jié)合起來，作為一個(gè)候選短語。

常見狀態(tài)詞如表4所示。

表4 狀態(tài)詞列表

5. “不”構(gòu)成候選短語

“不”是表達(dá)否定，能對(duì)評(píng)論情感起到反轉(zhuǎn)作用的重要用詞。和前述否定詞構(gòu)成候選短語中的否定詞不同，“不”一般作為否定副詞出現(xiàn)。它常被用來修飾它的右鄰接詞，對(duì)右鄰接詞的情感傾向起到反轉(zhuǎn)的作用。如表5所示。

表5 “不”對(duì)修飾成分的情感傾向反轉(zhuǎn)

基于這種觀察，我們將“不”與其否定的對(duì)象結(jié)合形成候選短語：

1) 如果帶狀區(qū)中出現(xiàn)單獨(dú)成詞的"不"字，取其右鄰接詞，將兩者結(jié)合起來作為一個(gè)候選短語。

2) 當(dāng)“不”的右鄰接詞為前述狀態(tài)詞時(shí)，應(yīng)先提取狀態(tài)詞構(gòu)成的候選短語，再與“不”結(jié)合形成最終的候選短語。

最后，提取在語料中出現(xiàn)兩次以上的上述詞/短語作為最終的候選詞/短語。

4.3 情感詞典更新

初始情感詞典由所選擇的全部種子詞匯構(gòu)成。在第一次迭代中，利用初始情感詞典對(duì)評(píng)論的情感傾向進(jìn)行判斷。然后根據(jù)判斷的結(jié)果對(duì)所有候選詞/短語的情感分?jǐn)?shù)進(jìn)行計(jì)算，并根據(jù)計(jì)算結(jié)果更新詞典。下一次迭代中，更新后的詞典被用來進(jìn)行新一輪的情感傾向判斷。如此，隨著迭代次數(shù)的增加情感詞典被不斷更新，直至達(dá)到迭代終止條件時(shí)得到最終版本的詞典。詞典更新分三個(gè)主要步驟完成。

1. 初始情感詞典建立

本文提出從情感傾向性和出現(xiàn)頻率兩個(gè)方面來約束種子詞匯的選擇。首先，一個(gè)種子詞必須有明確的情感傾向。其次，表達(dá)積極情感的種子詞匯在評(píng)論中的總頻率與表達(dá)消極情感的種子詞匯總頻率應(yīng)該相當(dāng)。

2. 情感分?jǐn)?shù)計(jì)算

對(duì)于一個(gè)候選詞/短語，首先判斷它是否表達(dá)了某種(正向/負(fù)向)情感。具有情感傾向的候選詞/短語才會(huì)被選作情感詞/短語。如果一個(gè)詞出現(xiàn)在正向(負(fù)向)評(píng)論中的次數(shù)大于它出現(xiàn)在負(fù)向(正向)評(píng)論中的次數(shù)，那么它可能表達(dá)正向(負(fù)向)情感。在正負(fù)評(píng)論中出現(xiàn)的頻率差別越大，該詞的情感色彩越強(qiáng)。 候選詞/短語的情感傾向用情感區(qū)分度來衡量，如式(1)所示。

(1)

其中，F(xiàn)p表示該候選詞出現(xiàn)在表達(dá)正向情感的評(píng)論中的頻率；Fn表示其出現(xiàn)在表達(dá)負(fù)向情感的評(píng)論中的頻率。

Difference的值越大表明候選短語的情感色彩越強(qiáng)。本文設(shè)定difference的閾值為1。當(dāng)difference< 1時(shí)，表明該詞/短語情感色彩太弱，在識(shí)別評(píng)論的情感傾向時(shí)作用不大，因而不選擇作為情感詞。否則選擇該詞/短語為情感詞并按如下公式計(jì)算其情感分?jǐn)?shù)。

若Fp>Fn，則

(2)

若Fp

(3)

3. 情感詞典更新

依據(jù)候選詞/短語的情感區(qū)分度difference和情感詞/短語的情感分?jǐn)?shù)計(jì)算結(jié)果，按照以下步驟對(duì)情感詞典進(jìn)行更新。

a) 當(dāng)候選詞/短語的difference值滿足閾值條件時(shí)，候選詞/短語成為情感詞并計(jì)算其情感分?jǐn)?shù)。如果情感詞典已包含該情感詞，直接更新其情感分?jǐn)?shù)。否則，將該情感詞和它的情感分?jǐn)?shù)添加到情感詞典。

b) 當(dāng)候選詞/短語的difference值不滿足閾值條件時(shí)。檢查該詞/短語是否存在于情感詞典中，如果存在則從情感詞典中刪除該詞/短語。

4.4 情感傾向分析

一篇評(píng)論的情感傾向取決于它所包含句子的情感傾向，而一個(gè)句子的情感傾向又取決于它包含的帶狀區(qū)的情感傾向。

句子分為單句和復(fù)句，單句又分為疑問句、感嘆句等；復(fù)句又分為轉(zhuǎn)折復(fù)句、假設(shè)復(fù)句、條件復(fù)句等。由于句式和句型能夠直接影響句子的情感表達(dá)，本文在判斷帶狀區(qū)和句子的情感傾向時(shí)進(jìn)一步考慮了句式和句型特征。下面詳細(xì)闡述了評(píng)論情感傾向的判斷過程。

4.4.1 帶狀區(qū)的情感傾向判斷

根據(jù)帶狀區(qū)中包含的情感詞/短語個(gè)數(shù)判斷該區(qū)域的情感傾向。如果積極的情感詞/短語個(gè)數(shù)大于消極的情感詞/短語個(gè)數(shù)，則判斷該帶狀區(qū)表達(dá)積極情感。反之則該區(qū)為消極的。若二者數(shù)目相同或該區(qū)不包含情感詞，則該區(qū)為中性。特別的，如果帶狀區(qū)中出現(xiàn)以下情況則結(jié)合相應(yīng)規(guī)則進(jìn)行判定。

1. 否定詞修飾

雖然在提取候選短語時(shí)考慮了否定詞的影響，但仍存在否定詞未被包含在候選短語中的情況。針對(duì)這種情況，在判斷帶狀區(qū)的情感傾向時(shí)制定如下規(guī)則： 沒有構(gòu)成候選情感短語的否定詞對(duì)其所在帶狀區(qū)域中最近鄰的候選情感詞起到情感反轉(zhuǎn)作用。

2. 表示希望、愿望的句式

評(píng)論中對(duì)期望、希望或者愿望的表達(dá)常常意味著對(duì)目前產(chǎn)品狀況的不滿意，如表6所示。

表6 表示愿望的句式

常用來表示愿望的句式有： “要是…就好了”、“如果…就好了”，“加入…就好了”、“希望…”“應(yīng)…”、“應(yīng)該…”以及“最好…”。

當(dāng)帶狀區(qū)采用表達(dá)愿望的句式時(shí)，則不需統(tǒng)計(jì)該區(qū)內(nèi)部情感短語的個(gè)數(shù)，而直接判斷整個(gè)帶狀區(qū)的情感傾向?yàn)橄麡O的。

3. 表示遺憾、失望的句式

以“哪怕”和“寧愿”開頭的區(qū)域常常表達(dá)消極情感。例如，

寧愿拿著1000元的手機(jī)+4000元的PDA也不要這破玩意。

哪怕有個(gè)MP3功能也算值了。

當(dāng)帶狀區(qū)采用表達(dá)遺憾、失望的句式時(shí)，處理方式如下：

對(duì)于以“哪怕”或者“寧愿”開頭的區(qū)域，不需統(tǒng)計(jì)該區(qū)域內(nèi)部情感短語的個(gè)數(shù)，而直接判斷整個(gè)帶狀區(qū)的情感傾向?yàn)橄麡O的。

4.4.2 句子的情感傾向判斷

一般情況下，句子的情感傾向取決于該句所包含的所有帶狀區(qū)的情感傾向。當(dāng)積極帶狀區(qū)個(gè)數(shù)大于消極帶狀區(qū)域的個(gè)數(shù)時(shí)，判斷該句子的情感傾向是積極的；反之該句是消極的。若二者數(shù)目相同或句子不包含具有情感傾向的區(qū)域，則該句為中性。

一類需要特殊處理的句子是采用轉(zhuǎn)折句型的句子。轉(zhuǎn)折句型包含兩個(gè)分句，常見句式有： “雖然…但是…”，“…，不過…”。當(dāng)一個(gè)句子是轉(zhuǎn)折句型時(shí)，整個(gè)句子的情感傾向常常取決于第二個(gè)分句，如表7所示。

表7 轉(zhuǎn)折句式

因此，對(duì)于轉(zhuǎn)折句型的句子只根據(jù)第二個(gè)分句所包含的帶狀區(qū)的情感傾向判斷該句的情感傾向，即將前述句子判定規(guī)則僅用于第二個(gè)分句中。

4.4.3 評(píng)論的情感傾向判斷

一篇評(píng)論的情感傾向由其包含的所有句子的情感傾向決定。當(dāng)表達(dá)積極情感的句子的數(shù)量大于消極句子的數(shù)量時(shí)，評(píng)論的整體情感傾向是積極的。反之評(píng)論是消極的。若兩者數(shù)目相同，或評(píng)論中不包含具有情感傾向的句子時(shí)，表示評(píng)論的情感傾向是中立的。

4.5 迭代終止條件

當(dāng)兩次迭代后評(píng)論情感傾向的變化率低于閾值時(shí)終止迭代。

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中采用中國科學(xué)院計(jì)算技術(shù)研究所的ICTCLAS分詞系統(tǒng)[18]對(duì)評(píng)論文本進(jìn)行分詞及詞性標(biāo)注。

5.1 數(shù)據(jù)集

第一個(gè)測(cè)試數(shù)據(jù)集是IT168網(wǎng)站上對(duì)手機(jī)產(chǎn)品的評(píng)論，包括2 317篇評(píng)論*由[6]提供： http://product.it168.com.。其中積極評(píng)論和消極評(píng)論的數(shù)目分別為1 159和1 158篇。為了評(píng)估弱監(jiān)督迭代算法對(duì)于不同領(lǐng)域的適應(yīng)性，本文選取對(duì)數(shù)碼相機(jī)的評(píng)論作為第二個(gè)數(shù)據(jù)集。本文作者在淘寶網(wǎng)上隨機(jī)抽取對(duì)數(shù)碼相機(jī)的評(píng)論并對(duì)其情感傾向進(jìn)行了人工標(biāo)注。共標(biāo)注800條評(píng)論，其中400篇為正向評(píng)論，400篇為負(fù)向評(píng)論。表8列出了實(shí)驗(yàn)數(shù)據(jù)集。

表8 實(shí)驗(yàn)數(shù)據(jù)集

5.2 手機(jī)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果分析

表9為本文的弱監(jiān)督迭代算法在手機(jī)數(shù)據(jù)上測(cè)試，對(duì)于積極評(píng)論的判斷結(jié)果*按照在評(píng)論中出現(xiàn)頻率相當(dāng)?shù)那楦性~作為種子的原則，選擇的種子包括： “好”，“差”、“不好”和“不支持”。。

表9 手機(jī)積極評(píng)論實(shí)驗(yàn)結(jié)果

No: 迭代次數(shù)；Cr: 覆蓋率; A: accuracy; P: precision; R: recall; F: F-score; Dict:詞典中的情感詞數(shù)量

表中覆蓋率(Cr)是指通過迭代算法判斷出積極和消極的評(píng)論篇數(shù)總和與數(shù)據(jù)集中評(píng)論總數(shù)的比值。第一次迭代使用種子詞對(duì)評(píng)論情感傾向進(jìn)行判斷，覆蓋率僅達(dá)到39.1%。判斷的準(zhǔn)確率為84.88%，精確率和召回率分別為80.09%和84.96%。隨著迭代次數(shù)的增加，情感詞典不斷被擴(kuò)充，覆蓋率隨之上升，迭代結(jié)束時(shí)達(dá)到86.28%。從表中可以看到，迭代過程中情感傾向判斷的準(zhǔn)確率、精確率和召回率都獲得了提高，最終取得93.65%的準(zhǔn)確率，F(xiàn)-score達(dá)到93.61%。

我們將本方法與現(xiàn)有其他方法在上述手機(jī)數(shù)據(jù)集上的結(jié)果進(jìn)行了比較，如表10所示。

表10 方法比較(手機(jī)積極評(píng)論)

在詞典規(guī)模上，文獻(xiàn)[9]中的詞典包括22 530個(gè)情感詞條。文獻(xiàn)[8]和[15]中未提及最終的情感詞條數(shù)，然而他們采用了與文獻(xiàn)[9]完全一樣的候選詞匯項(xiàng)。注意到文獻(xiàn)[15]中僅種子詞就有8 937個(gè)。而本文方法產(chǎn)生的詞典包含759個(gè)情感詞條，僅為文獻(xiàn)[9]的3.4%。利用如此小規(guī)模的詞典，本方法取得了高于其他方法的F-score。綜合來看，本文基于多層次語言特征的弱監(jiān)督算法以很少的種子詞匯作為引導(dǎo)，經(jīng)過較少的迭代次數(shù)取得了最高的精確率、召回率和F-score。

在表10所列的方法中，只有本文采用有明確意義的中文詞，并結(jié)合上下文產(chǎn)生候選短語，進(jìn)而得到情感詞。其他三種方法所建立的情感詞典均只包含詞匯項(xiàng)(lexical item)。一個(gè)詞匯項(xiàng)為不包含標(biāo)點(diǎn)符號(hào)的n個(gè)連續(xù)漢字。采用這樣的詞匯項(xiàng)存在兩個(gè)問題。第一，產(chǎn)生的情感詞條很多沒有明確的語義，因而很難對(duì)理解特定領(lǐng)域的情感表達(dá)方式有所幫助。第二，在一篇評(píng)論的所有詞匯項(xiàng)中，存在著很多無意義的元素。在迭代過程中可被看成是噪音數(shù)據(jù)，嚴(yán)重影響著整個(gè)系統(tǒng)的性能。如表10所示，文獻(xiàn)[9]從2 137篇評(píng)論中產(chǎn)生的情感詞條數(shù)為22 530，這些情感詞條還只是參與迭代的全部候選詞匯項(xiàng)的子集。而候選詞的規(guī)模直接影響到算法的運(yùn)行效率。并且，自訓(xùn)練法是從目標(biāo)文本中生成情感詞典，因而隨著目標(biāo)文本數(shù)量的增加，候選詞規(guī)模對(duì)算法效率的影響會(huì)更加顯著。而采用本方法產(chǎn)生的參與整個(gè)迭代過程的候選詞一共只有1 279個(gè)。表11分別列出了詞匯項(xiàng)(lexical item)和本文方法產(chǎn)生的最終情感詞的例子。從表中可以看出本方法所得到的情感詞典更有助于理解領(lǐng)域相關(guān)的情感表達(dá)方式以及進(jìn)一步針對(duì)產(chǎn)品特征進(jìn)行更加細(xì)致的情感傾向分析。

表11 n-元詞匯項(xiàng)與情感詞示例

本方法用于手機(jī)數(shù)據(jù)，對(duì)消極評(píng)論的判斷結(jié)果如表12所示(由于覆蓋率和準(zhǔn)確率與表9中相同，這里不再重復(fù))。

表12 手機(jī)消極評(píng)論實(shí)驗(yàn)結(jié)果

如表12所示，經(jīng)過迭代算法最終對(duì)于消極評(píng)論也取得了與積極評(píng)論相當(dāng)?shù)腇-score，為93.68%。

5.3 淘寶數(shù)碼相機(jī)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果分析

表13和表14分別給出了本文算法在數(shù)碼相機(jī)數(shù)據(jù)集中積極和消極評(píng)論上的實(shí)驗(yàn)結(jié)果*種子詞包括： 不錯(cuò)，清晰，佳，便宜，很快，差，假，壞，不好，高價(jià)，失望，模糊。。

表13 數(shù)碼相機(jī)積極評(píng)論實(shí)驗(yàn)結(jié)果

表14 數(shù)碼相機(jī)消極評(píng)論實(shí)驗(yàn)結(jié)果

如表13、14所示，本文方法在數(shù)碼相機(jī)數(shù)據(jù)上也取得了較高的準(zhǔn)確率(89.72%)，覆蓋率達(dá)到88.75%。隨著迭代次數(shù)的增加，情感詞個(gè)數(shù)逐漸增多。第三次迭代后積極評(píng)論和消極評(píng)論都取得了最高的F-score。迭代四次后，更多的候選詞被判定為負(fù)向情感詞。負(fù)向評(píng)論的召回率因此有所上升但其精確率有所下降而導(dǎo)致F-score稍有下降?？傮w來說，對(duì)積極評(píng)論和消極評(píng)論均取得了較高的F-score。表明方法對(duì)不同領(lǐng)域有著較好的適應(yīng)性。

5.4 不同特征集合的實(shí)驗(yàn)結(jié)果分析

本文從多個(gè)層次提取了語言特征用于識(shí)別情感傾向。為進(jìn)一步了解各種特征在情感識(shí)別中的作用，我們對(duì)不同特征組合的結(jié)果進(jìn)行了分析。實(shí)驗(yàn)表明有些特征，如“狀態(tài)詞”對(duì)全局產(chǎn)生影響。如果不考慮 “狀態(tài)詞”特征會(huì)導(dǎo)致全部評(píng)論被判定為消極。表明由狀態(tài)詞產(chǎn)生的候選短語對(duì)于情感識(shí)別發(fā)揮了重要的作用。而去除“趨勢(shì)詞”和“否定詞”以及表達(dá)句式的特征都會(huì)導(dǎo)致識(shí)別精度的降低。相對(duì)而言，表達(dá)句式的特征的去除使得精度下降更大。表15顯示了去除這兩組特征后在手機(jī)數(shù)據(jù)上的情感分析結(jié)果。

表15 不同特征組合在手機(jī)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果

續(xù)表

all: 全部特征 F(Pos):積極評(píng)論的F-score F(Neg):消極評(píng)論的F-score

為了解導(dǎo)致評(píng)論的情感傾向誤判的主要原因，我們從情感詞選擇和情感傾向判定規(guī)則兩個(gè)方面對(duì)被誤判的評(píng)論進(jìn)行了錯(cuò)誤分析。分析表明，情感詞選擇錯(cuò)誤主要有兩個(gè)方面。一是副詞的錯(cuò)誤較多，很多不帶有情感傾向的副詞被選作了情感詞，例如,“太”，“確實(shí)”，“盡量”，“非常”等。在下一步的工作中應(yīng)考慮對(duì)副詞進(jìn)行專門的分類處理。二是有些帶有情感傾向的詞未被選出，例如，“好聽”，“尷尬”，“失真”等。情感傾向判定規(guī)則方面，一個(gè)重要原因是對(duì)否定用法的處理不夠全面。評(píng)論中表達(dá)否定的方式非常多樣，給制定全面、準(zhǔn)確的否定規(guī)則帶來困難。一些否定的例子如下： 就不怎么爽了；不能使用；效果不如WAV；就是聽不見聲；鈴聲不夠大。因而需要制定更細(xì)致的規(guī)則以適應(yīng)各種否定的表達(dá)方式。

6 總結(jié)

本文提出基于多層次語言特征的弱監(jiān)督的情感分析方法進(jìn)行中文評(píng)論的情感傾向判斷。該方法僅需少量的情感詞作引導(dǎo)，根據(jù)評(píng)論文本在單詞、短語及句子級(jí)別的語言特征結(jié)合上下文動(dòng)態(tài)地產(chǎn)生一個(gè)具有領(lǐng)域特征的情感詞典。然后用所得到的情感詞典對(duì)目標(biāo)文本的情感傾向進(jìn)行判斷。實(shí)驗(yàn)結(jié)果表明了方法的有效性。與現(xiàn)有其他方法在同一數(shù)據(jù)上的結(jié)果相比，本文方法以很小的詞典規(guī)模取得了最高的F-score。方法用于不同領(lǐng)域的數(shù)據(jù)也取得了較高的精度，表明方法具有較好的領(lǐng)域適應(yīng)性。并且，方法產(chǎn)生的具有領(lǐng)域特征的情感詞典有助于進(jìn)一步提取產(chǎn)品特征和進(jìn)行針對(duì)具體產(chǎn)品特征的評(píng)價(jià)分析。

目前方法中種子情感詞的選擇仍需人工干預(yù)，下一步的工作將致力于尋找有效的自動(dòng)選擇種子詞匯的途徑。另外，還將探討規(guī)則中用到的特殊詞匯如狀態(tài)詞等的自動(dòng)獲取方法。

[1] Bo Pang， Lilian Lee. A sentiment education: Sentiment analysis using subjectivity summarization based on minimum cuts[C]//Proceedings of the 42nd Meeting of the Association for Computational Linguistics. 2004.

[2] H Yu， V Hatzivassiloglou. Towards Answering Opinion Questions: Separating Facts from Opinions and Identifying the Polarity of Opinion Sentences[C]//Proceedings of Conference on Empirical Methods in Natural Language Processing. 2003.

[3] Wang S， Manning C D. Baselines and Bigrams: Simple, Good Sentiment and Topic Classification[C]//Proceedings of the 50th Meeting of the Association for Computational Linguistics. 2012: 90-94.

[4] 傅向華，劉國，郭巖巖，郭武彪.中文博客多方面話題情感分析研究[J].中文信息學(xué)報(bào),2013,27(1)： 47-56.

[5] 王志昊，王中卿，李壽山，李培峰. 不平衡情感分類中的特征選擇方法研究[J]. 中文信息學(xué)報(bào)，2013，27(4): 113-118.

[6] 謝麗星，周明，孫茂松. 基于層次結(jié)構(gòu)的多策略中文微博情感分析和特征抽取[J]. 中文信息學(xué)報(bào)，2012, 26(1):73-84.

[7] Turney P D．Thumbs up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews[C]//Proceeding of Association for Computational Linguistics 40th Anniversary Meeting. 2002:1417-1424．

[8] Zagibalov T, J Carroll. Automatic Seed Word Selection for Unsupervised Sentiment Classification of Chinese Text[C]//Proceedings of Coling-08,2008:1073-1080.

[9] Zagibalov T, J Carroll. Unsupervised classification of sentiment and objectivity in Chinese text[C]//Proceedings of the 3rd International Joint Conference on Natural Language Processing (IJCNLP), Hyderabad, India, 2008:304-311.

[10] M Hu, B Liu. Mining Opinion Features in Customer Reviews[C]//Proceedings of the Association for the Advancement of Artificial Intelligence(AAAI), 2004:755-760.

[11] Ye Q, Lin B, Li Y J. Sentiment Classification for Chinese Reviews: A Comparison between SVM and Semantic Approaches[C]//Proceedings of the 4th International Conference on Machine Learning and Cybernetics ICMLC2005(IEEE). 2005,4(8):2341-2346.

[12] Ye Q, Shi W, Li Y J. Sentiment Classification for Movie Reviews in Chinese by Proved Semantic Oriented Approach[C]//Proceedings of the 39th Annual Hawaii International Conference on System Sciences. 2006.

[13] Li T, Zhang Y, Sindhwani V. A non-negative matrix tri-factorization approach to sentiment classification with lexical prior knowledge[C]//Proceedings of the joint conference of the annual meeting of the association for computational linguistics and the international joint conference on natural language processing of the asian federation of natural language processing (ACL-IJCNLP). 2009: 244-252.

[14] Melville P, Gryc W, Lawrence R D. Sentiment analysis of blogs by combining lexical knowledge with text classification[C]//Proceedings of the 15th ACM SIGKDD conference on knowledge discovery and data mining(KDD). 2009: 1275-1284.

[15] Qiu L, Zhang W, Hu C, et al. Selc: A self-supervised model for sentiment classification[C]//Proceeding of the 18th ACM conference on information and knowledge management(CIKM). 2009: 929-936.

[16] He Y, Zhou D. Self-training from labeled features for sentiment analysis[J]. Information Processing and Management, 2011, 47： 606-616.

[17] Rebecca Bruce, Janyce Wiebe. Recognizing Subjectivity: A Case Study in Manual Tagging[J]. Natural Language Engineering, 1999, 5(2):1-16.

[18] 劉群,張華平,俞鴻魁,程學(xué)旗.基于層疊隱馬模型的漢語詞法分析[J].計(jì)算機(jī)研究與發(fā)展,2004,41(8):1421-1429.

Weakly Supervised Sentiment Analysis Based on Multi-level Linguistic Features

NIU Yun, ZHANG Li, WANG Shihong，WEI Ou

(School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics,Nanjing, Jiangsu 210016, China)

In this paper, a weakly supervised sentiment analysis approach is proposed. A few words are collected to construct an initial sentiment lexicon. These seed words are used to mine potential sentimental words in the target text. In this process, linguistic features at multi-levels are explored and the role of the context is examined. The lexicon is expanded iteratively, and the final version is applied to classify the sentiment of a target document. Compared to results of previous studies on the same data, this approach achieves the best F-score while the constructed sentiment lexicon is rather small. The experimental results also show that this approach is robust when applied to a texts of different domains.

sentiment analysis; linguistic features; weakly-supervised method; sentiment lexicon

牛耘(1974—),博士,副教授,主要研究領(lǐng)域?yàn)樽匀徽Z言處理,情感分析,生物信息文本挖掘。E-mail:yniu@nuaa.edu.cn張黎(1984—),碩士,主要研究領(lǐng)域?yàn)樽匀徽Z言處理,情感分析。E-mail:julianazhang@aliyun.com王世泓(1990—),碩士,主要研究領(lǐng)域?yàn)樽匀徽Z言處理,情感分析。E-mail:wsh_014@nuaa.edu.cn

1003-0077(2015)04-0080-09

2013-07-21 定稿日期： 2013-12-29

國家自然科學(xué)基金(61202132)；教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)基金(20103218120024)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(NS2012073)

TP391

A