何有世　王明

摘要摘要：近年來，如何利用計算機自動、快速、準確地識別大量文本產(chǎn)品評論數(shù)據(jù)情感傾向是自然語言處理領域關注的重點話題。使用數(shù)據(jù)抓取軟件，抓取亞馬遜官網(wǎng)華為honor暢玩版4X手機在線評論進行實驗，實驗中按照一定的語法規(guī)則將每條完整的在線產(chǎn)品評論分成若干子句，識別其中有效子句，提取有效子句評論中多種特征進行組合，然后選用C4.5決策樹機器學習法來識別子句的情感傾向，并對多組實驗結果進行分析對比。實驗結果表明，選擇子句中情感詞數(shù)量和否定詞數(shù)量作為特征組合時，加權后模型的查準率和查全率均達到96%；程度副詞和特殊符號對模型的作用比較微弱，僅有1%的影響；程度副詞的作用略優(yōu)于特殊符號。

關鍵詞關鍵詞：決策樹；多特征組合；產(chǎn)品評論；情感分析

DOIDOI：10.11907/rjdk.162835

中圖分類號：TP301

文獻標識碼：A文章編號文章編號：16727800（2017）005000105

0引言

計算機網(wǎng)絡、電子商務和移動技術的飛速發(fā)展，使用戶更加便捷地融入網(wǎng)絡，成為信息的使用者和創(chuàng)造者?，F(xiàn)今，人們更加習慣于在互聯(lián)網(wǎng)上發(fā)表自己對產(chǎn)品、服務或事件的觀點、偏好及情感傾向。CNNIC在《第37次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》[1]中指出：截至2015年12月份，我國網(wǎng)民數(shù)量達到6.88億，互聯(lián)網(wǎng)普及率接近50.3%，龐大網(wǎng)民數(shù)量為生成海量互聯(lián)數(shù)據(jù)提供了基礎。其中，在線產(chǎn)品評論數(shù)據(jù)具有很大的商業(yè)價值。面對海量的碎片化、非結構化、口語化、隨意化和多樣化的交易評論信息，如何借助計算機提取有價值的信息，幫助企業(yè)快速定位用戶偏好及喜愛和消費者快速檢索所需的信息來了解產(chǎn)品的質量和口碑，一直是學者研究的重點和難點。

情感分析又稱為意見挖掘，簡言之，即從帶有情感色彩的主觀性文本中抽取用戶對話題、產(chǎn)品、個人、組織和服務等的情緒、評價、喜好、情感傾向[24]。按照處理文本的內容，可分為基于新聞評論的情感分析和基于產(chǎn)品評論的情感分析[5]。前者主要處理網(wǎng)絡新聞事件評論，后者研究對象主要是網(wǎng)購后對產(chǎn)品、服務等的在線評論。

目前，國內外學者對文本情感分析已經(jīng)作了大量研究，常用的方法可以分為兩類：基于情感詞典的方法和基于機器學習的方法[67]?；谇楦性~典的方法使用知網(wǎng)Hownet、Wordnet和臺灣大學情感詞典NTUSD等詞典[810]，該方法雖然簡單直觀，但忽略了文本中情感單元和修飾詞之間的關系。該方法在句子級情感識別上存在不足，但在詞語級情感識別上可以發(fā)揮很大作用?；跈C器學習的方法又可以分為有監(jiān)督和無監(jiān)督學習兩種。常用的有監(jiān)督方法有ME、NB、SVM、CRF等，無監(jiān)督方法有PMI等[1113]。基于機器學習的情感分類方法是通過提取文本特征，運用數(shù)理模型，把文本特征作為輸入變量，經(jīng)過函數(shù)運算后輸出結果，根據(jù)結果對文本進行分類。該方法不僅考慮到語句文本中的情感詞語及還考慮了句法結構，詞語之間修飾關系。該方法有較高的正確率和穩(wěn)定性，同時方便地擴展到不同領域。但由于中文詞語的一字多義、交叉歧義、表達多樣性、句式的復雜性、語言結構的復雜性和詞語的不間斷性等，使得中文分詞和情感分析工作比英語更加困難，學者們一直在尋找方案以提高中文文本情感識別的準確率。

已有研究多關注一條完整在線產(chǎn)品評論的情感傾向。該方法主要存在以下兩個方面的不足：一是不能正確反映用戶內心的情感，對于一款產(chǎn)品，用戶可能喜歡某些方面的設計，對另一些設計感到不滿，如果僅用評論的整體情感傾向代替用戶對產(chǎn)品某一具體方面的情感傾向，顯然存在誤差；二是混淆評價對象，因為多數(shù)分析針對的是用戶的完整評論，不能識別出用戶對某個具體評價對象的情感傾向。因此，針對以上兩點，本文對每條完整的評論按照一定的語法規(guī)則進行分句，識別有效子句，提取評價對象，使用C4.5決策樹識別子句的情感傾向，該方法采用最大信息增益率作為決策樹的屬性選擇標準，選擇的屬性作為分裂節(jié)點，最初選擇的屬性作為決策樹的根節(jié)點，對于分裂節(jié)點的不同取值，采用遞歸的方法求其子樹，相比于樸素貝葉斯方法，該方法在分類的穩(wěn)定性上具有明顯優(yōu)勢。

1相關工作

在線產(chǎn)品評論的情感分析側重點不同于新聞評論的情感分析。在線產(chǎn)品評論的情感分析更加關注用戶對產(chǎn)品屬性或服務的評價，可以忽略評論中一些具有情感傾向的詞語或句子。判斷一條在線產(chǎn)品評論是否有用，關鍵在于文本中是否包含評價詞、產(chǎn)品屬性等。比如華為honor暢玩版4X在線產(chǎn)品評論：“一直在用華為的手機，這款手機挺喜歡的。”該評論就是垃圾信息，雖然文本中出現(xiàn)情感詞“喜歡”，但是句子不包含產(chǎn)品屬性和評價詞，不能區(qū)別產(chǎn)品屬性的好與壞。假設“喜歡”一詞出現(xiàn)在新聞評論，該語句一定代表了評論者的一種正向的感傾向，不能視為垃圾信息。為了更準確地識別在線產(chǎn)品評論的情感傾向，本文做了如下相關工作：數(shù)據(jù)抓取、隱性產(chǎn)品屬性追加、用戶分詞詞典、評價詞表、否定詞表、程度副詞表等的建立和預處理。

1.1數(shù)據(jù)抓取

采用八爪魚采集器從亞馬遜官網(wǎng)抓取華為honor暢玩版4X的在線產(chǎn)品評論信息。八爪魚采集器簡化了用戶獲取信息的流程，實現(xiàn)數(shù)據(jù)自動采集、編輯和規(guī)范化，降低提取信息的成本。通過設計評論信息提取規(guī)則，從亞馬遜官網(wǎng)提取在線評論信息，得到正面在線評價500條，負面在線評價197條。

1.2隱性產(chǎn)品屬性追加

由于用戶輸入網(wǎng)頁評論具有隨意性，可能導致文本評論中沒有評價對象或屬性值，僅有評價詞。例如：“個人感覺5.5太大了，不好拿”。該評論中“個人感覺5.5太大了”隱含了評價對象屏幕。對于該類問題，本文設計了常用評價對象和評價詞對應表，使用Java程序自動識別評價詞，再檢索評價對象，如果檢索不成功，則添加對應的評價對象，否則不作任何處理。

1.3詞典建立

為了更加準確地識別產(chǎn)品評論中的特征詞語，如情感詞、評價對象、否定詞和程度副詞等，為后面的機器學習提供可靠的數(shù)據(jù)，本文建立了相應的詞表。

1.3.1用戶分詞詞典

使用中科院張華平博士研發(fā)的中文分詞軟件NLPIR2016對在線產(chǎn)品評論進行分詞處理，其主要功能包括中文分詞、詞性標注、命名實體識別、用戶詞典功能、微博分詞、新詞發(fā)現(xiàn)與關鍵詞提取等。對于特定領域本體相關屬性和常用短語不能正確進行分詞，可以人工添加用戶詞典輔助分詞。本文添加不能被正確識別的手機產(chǎn)品屬性，形成用戶詞典表，如圖1所示。圖1中沒有詞性標注的詞語在NLPIR軟件中默認是名詞，vi表示不及物動詞。

1.3.2評價詞表

評價詞表達了用戶對評價對象的情感傾向，最能反映用戶對產(chǎn)品屬性的喜惡之情，在文本情感分析中有著舉足輕重的作用。本文結合Hownet的正、負評價詞表，以及從亞馬遜官網(wǎng)抓取的評論信息，剔除與手機領域無關的評價詞，如：安樂、安全等，添加新的評價詞，如：高大上、物美價廉等。最終得到正向評價詞表、負向評價詞表。部分正、負向評價詞表如圖2所示。

1.3.3否定詞表

否定詞語的出現(xiàn)一般會反轉語句的情感傾向，使得語句的正向情感變成負向情感，負向情感變成正向情感。本文在抓取的評論和網(wǎng)絡資源中提取了常用否定詞，形成否定詞表，部分否定詞表如圖3所示。

1.3.4程度副詞表

對于程度副詞，其位置的不同會影響到文本語句的情感傾向。本文關注兩種位置不同的程度副詞。1）其位置在否定詞和評級詞之間；2）其位置在否定詞之前。例如：“手機配置不是很高”，“手機配置很不高”，前者整個語句的負面情感傾向要明顯弱于后者。因此本文更加關注其出現(xiàn)的位置而不是其語氣強度，部分程度副詞表如圖4所示。

1.4預處理

預處理是指使用NLPIR分詞軟件之前對在線產(chǎn)品評論的處理、加工，提取有用信息，分為以下幾個步驟：

（1）拆分每條完整評論。根據(jù)評論文本中的特殊標點符號把一條完整的評論分成若干子句，特殊標點符號包含逗號、句號、井號、嘆號、問號和破折號。根據(jù)用戶的表達習慣，一般用逗號分隔的子句已包含評價對象和評價詞，所以選取逗號分割語句。在輸入文本評論時，用戶可能使用井號、破折號替代逗號、句號，因此特殊標點符號也包含井號和破折號。

（2）使用NLPIR API對子句進行分詞處理，詞性標注，去除停用詞。

（3）識別有效子句。本文僅處理包含手機產(chǎn)品屬性的文本評論。如果評價對象是客服服務、快遞速度和態(tài)度等與手機產(chǎn)品屬性無關的，則直接刪除該評論；如果需要測評商城和快遞服務，則需要保留，然后刪除不包含手機產(chǎn)品屬性或評價詞的子句，降低干擾語句出現(xiàn)的概率。

最終得到有效子句3 161條。其中，正面文本評論2 119條，負面1 042條。

2模型建立

使用決策樹對數(shù)據(jù)集建立模型，主要包含以下4個步驟：

（1）計算所有屬性劃分數(shù)據(jù)集所得的信息增益。信息熵的計算公式：

H（C）=-∑iP（ci）log2P（ci）（1）

在實際計算中，P（ci）取值是類別為ci的樣本所占總樣本的比例，即：

P（ci）=|ci|/|C|（2）

其中，|C|是訓練集樣本的總數(shù)，|ci|表示類別為ci的樣本數(shù)。

假設用屬性A來劃分數(shù)據(jù)集S中的數(shù)據(jù)，屬性A對數(shù)據(jù)集S的劃分熵值為H（C|A）。如果屬性A是離散型數(shù)據(jù)類型，有K個不同的取值，則屬性A依據(jù)這K個不同的取值將S劃分為K個子集{S1，S2，...Sk} ，屬性A劃分為S的信息熵為：

H（C|A）=∑kj=1CjCH（Cj）（3）

如果屬性A是連續(xù)型數(shù)據(jù)類型，則按照屬性A的取值遞增排序，將每對相鄰的中點看作可能的分裂點，計算每個可能的分裂點：

H（C|A）=|SL||S|H（CL）+|SR||S|H（CR）（4）

其中，SL和SR分別對應該分裂點劃分的左右兩部分子集，選擇H（C|A）值最小的分裂點作為屬性A的最佳分裂點。屬性A的信息增益：

Gain（S，A）=H（C）-H（C|A）（5）

該值的大小代表屬性A對數(shù)據(jù)集S的識別能力。

（2）計算各屬性的分裂信息和信息增益率。C4.5引入了分裂信息來調節(jié)信息增益，屬性A的分裂信息為：

SplitE（A）=-∑kj=1|Sj||S|log2|Sj||S|（6）

屬性A的信息增益率為：

GainRatio（A）=Gain（S，A）SplitE（A）（7）

（3）選擇信息增益率最大的屬性作為分裂節(jié)點，信息增益率可以部分消減因屬性分類數(shù)目產(chǎn)生的影響。

（4）把該節(jié)點作為根節(jié)點，對其屬性的不同值，遞歸調用以上方法，求其子樹，該過程還包含根據(jù)每個葉子節(jié)點包含的最少實例數(shù)量和置信因子對生產(chǎn)樹進行修剪，克服過擬合現(xiàn)象。

3實驗及結果分析

本文主要研究在線產(chǎn)品評論的情感分析，即通過機器學習的方法識別出文本的正、負面情感。首先使用網(wǎng)絡爬蟲軟件八爪魚抓取honor暢玩版4X手機在線產(chǎn)品評論，然后對其進行特殊處理。過濾評論中的無效語句，添加隱形產(chǎn)品屬性，根據(jù)產(chǎn)品屬性把在線產(chǎn)品評論分割成不同的簡單子句。使用NLPIR2016分詞工具對處理后的有效子句評論進行分詞，詞性標注，去除停用詞，抽取文本特征，從中選擇不同特征項進行組合，得到特征向量，最后使用C4.5建立模型，并檢驗模型的性能。

3.1在線產(chǎn)品評論數(shù)據(jù)抓取流程

在線產(chǎn)品評論數(shù)據(jù)抓取主要分為3個過程：制定數(shù)據(jù)抓取規(guī)則、運行規(guī)則，導出數(shù)據(jù)到本地計算機。①制定規(guī)則。該步驟為核心步驟，主要包括分頁設置、循環(huán)設置、列表設置、提取字段設置。設置Xpath路徑正則表達式，匹配評論信息對應的html標簽，抓取評論數(shù)據(jù)；②運行規(guī)則。打開已經(jīng)設置成功的規(guī)則，單擊“啟用單機采集”選項，出現(xiàn)采集頁面后，單擊“運行”按鈕；③導出數(shù)據(jù)。數(shù)據(jù)采集完成后，選擇“導出到Excel 2003”選項，將數(shù)據(jù)導入到本地計算機。

抓取在線產(chǎn)品評論的工作流程如圖5所示。

3.2基于決策樹的情感分析

基于決策樹方法的情感分析的過程整體上分為3步：①預處理。對抓取的在線產(chǎn)品評論進行預處理，主要包括拆分子句、刪除垃圾評論、添加隱形產(chǎn)品屬性、識別有效子句等；②文本分詞、表示。添加用戶分詞詞典，使用NLPIR API完成分詞、詞性標志，去除停用詞語，提取并修正文本特征，完成特殊語句處理，選擇不同的特征向量進行組合；③情感分析。使用weka中的J48建立模型，選用十字交叉法拆分數(shù)據(jù)，并根據(jù)查確率、查全率和F值3個指標檢驗模型的性能。

本文使用NLPIR2016分詞軟件對處理后的在線產(chǎn)品評論進行分詞處理，該分詞軟件有很高的正確率和運行效率，允許用戶添加用戶詞典，提高了軟件分詞的正確率。本文中添加的用戶詞典是手機產(chǎn)品屬性，其作用是降低軟件分詞的錯誤率，確保提取正確的產(chǎn)品屬性。NLPIR完成分詞后，標注詞語的詞性，去除停用詞。停用詞主要包括表示數(shù)量的數(shù)詞、人稱代詞、帶有單位的量詞等。

提取文本評論中的特征項，本文選用的特征項如下：正面評價詞數(shù)量、負面評價詞數(shù)量、否定詞、程度副詞、特殊符號。其含義如表1所示。

語句中的評價詞表達了用戶對產(chǎn)品屬性的態(tài)度，與語句的情感傾向存在直接關系。否定詞語的出現(xiàn)往往會改變語句的情感傾向。大部分學者只關注程度副詞的強度值，本文關注其在文本中所在的位置，其在語句中的位置影響語句的情感強度。詞語中特殊符號在一定程度上也反映了評論者的情感傾向。模型中正向情感傾向標注為1，負向情感傾向標注為-1。

對于一些特殊語句、評價對象及評價詞，本文作如下特殊處理：

（1）含有“除”的特殊比較句。該語句含義的側重點一般在后半部分。因為前期預處理會把含有“除”的比較句拆分成兩個子句，所以需要合并含有“除”的比較子句和與其緊挨的下一子句，使得比較句的表達意思更加完全。

（2）非評價詞錯誤識別為評價詞的特殊情況。本文采用匹配評價詞表的方式來識別評價詞。該方法存在不足之處，當子句中包含評價詞，但該詞不能表達評價詞的情感傾向時，非評價詞錯誤識別為評價詞的現(xiàn)象就出現(xiàn)了。本文針對這種情況，設置了對應的檢驗規(guī)則，發(fā)現(xiàn)并刪除誤判的評價詞，增加數(shù)據(jù)的真實性和可靠性。實驗發(fā)現(xiàn)，對于僅包含一個漢字的評價詞，其被錯誤識別的概率較高。

同一評價詞修飾不同評價對象時表達的情感傾向有所差別。比如評價詞“高”對應不同評價對象“配置”和“價格”，對于前一個評價對象來說是正面的評價詞，對于后者就變成了負面情感詞。本文中對于后者做了添加否定詞的處理，使其變得規(guī)律化。

此外，評價詞的前后出現(xiàn)程度副詞，并導致其表示的情感傾向發(fā)生變化時，對該子句做添加否定詞的處理。對于特定的評價對象，出現(xiàn)特定的詞語，通過添加否定詞處理使其規(guī)范化。

3.3實驗結果

實驗中選擇不同的特征組合，使用十字交叉進行試驗，其對應關系如表2所示。

實驗中采用weka中的J48分類方法來識別文本的情感傾向。實驗結果使用weka默認的評價指標，其指標包含如下：Precision表示查準率，檢測搜索系統(tǒng)拒絕非相關信息的能力；Recall表示查全率，檢測檢索系統(tǒng)檢出相關信息的能力；FMeasure是查全率和查準率的調和平均數(shù)，綜合評價方法的效果；ROC Area表示接受者操作特征曲線面積，其值越接近1，表明模型的分類效果越好。其實驗結果如表3所示，其中每組實驗包含正向、負向情感傾向和加權后各項指標的值。

3.4結果分析

從表3的實驗結果可以看出，實驗1僅使用情感詞的數(shù)量特征，實驗結果加權后查準率為85.5%，查全率和F值也在85%以上。實驗2加入程度副詞，結果有所改善，查準率、查全率和F值約提升1%，但效果不是很明顯。實驗3與實驗1對比，添加了否定詞數(shù)量特征，結果發(fā)生顯著變化，加權后查準率、查全率和F值均達到96%。表明否定詞特征在實驗中起到積極作用，否定詞的出現(xiàn)一般會改變原有語句的情感傾向。實驗4是在實驗3的基礎上加入了程度副詞特征，加權后實驗指標查準率、查全率和F值下降0.1%左右，僅ROC增加0.3%，模型性能總體略微下降，與實驗2有相似之處。實驗中程度副詞的出現(xiàn)與否和子句中的否定詞有關，并且程度副詞不轉變語句的總體情感傾向，只是改變情感的強弱，當程度副詞和否定詞同時出現(xiàn)時，程度副詞不起作用或者發(fā)揮輕微地消極作用。實驗5與實驗4相比，增加了特殊符號特征，但實驗結果中大部分指標相同，表明該特征在實驗中沒有起到積極作用，因為實驗中包含特殊符號的子句數(shù)量很少，只有26條，這與用戶的表達習慣有關，當用戶表示不滿情感時，用戶輸入問號或者語氣詞表示其不滿情感的可能性比較低。

4結語

本文使用決策樹多特征組合研究在線產(chǎn)品評論的情感傾向。抓取亞馬遜官網(wǎng)的評論數(shù)據(jù)，從評論中提取特征，采用多種特征進行組合，并取得較好的實驗效果，該方法的準確率達到96%。實驗表明，子句中評價詞的數(shù)量和否定詞的數(shù)量等特征很大程度上決定了該子句的情感傾向，而實驗中的程度副詞和特殊符號等特征并沒有產(chǎn)生顯著的積極作用，沒有顯著提高實驗結果。由于實驗的樣本數(shù)量有限，用戶的表達方式和規(guī)則不能統(tǒng)計完全，實驗還有待繼續(xù)完善和改進。

通過實驗發(fā)現(xiàn)，該實驗仍有提升的空間。隨著網(wǎng)絡的發(fā)展，新詞不斷產(chǎn)生，尤其是網(wǎng)絡熱詞，一些詞語被賦予新的含義，如何正確識別這些詞語的情感傾向也是一個亟待解決的難題；同時加上網(wǎng)絡的普及和用戶的參與，產(chǎn)生了海量的評論信息。如何使用云技術高效、準確地識別評論的情感傾向，需要繼續(xù)深入研究。

參考文獻參考文獻：

[1]CNNIC.第37次中國互聯(lián)網(wǎng)絡發(fā)展狀況調查統(tǒng)計報告[R].北京：中國互聯(lián)網(wǎng)中心，2016.

[2]SERRANOGUERRERO J，OLIVAS J A，ROMERO F P，et al.Sentiment analysis： a review and comparative analysis of web services[J].Information Sciences，2015，311（5）：1838.

[3]QI J，F(xiàn)U X，ZHU G.Subjective wellbeing measurement based on Chinese grassroots blog text sentiment analysis[J].Information & Management，2015，52（7）：859869.

[4]張紫瓊，葉強，李一軍.互聯(lián)網(wǎng)商品評論情感分析研究綜述[J].管理科學學報，2010（6）：8496.

[5]ZHANG L，GHOSH R，DEKHIL M，et al.Combining lexiconbased and learningbased methods for twitter sentiment analysis[J].Hp Laboratories Technical Report，2011.

[6]PANG B，LEE L，Vaithyanathan S.Thumbs up sentiment classification using machine learning techniques[J].Proceedings of Emnlp，2002（3）：7986.

[7]付麗娜，肖和，姬東鴻.基于OCSVM的新情感詞識別[J].計算機應用研究，2015（7）：19461948，1952.

[8]KAMPS J.Using wordnet to measure semantic orientation of adjectives[C].International Conference on Language Resources and Evaluation，2004：11151118.

[9]朱嫣嵐，閔錦，周雅倩，等.基于HowNet的詞匯語義傾向計算[J].中文信息學報，2006（1）：1420.

[10]王振宇，吳澤衡，胡方濤.基于HowNet和PMI的詞語情感極性計算[J].計算機工程，2012（15）：187189，193.

[11]李婷婷，姬東鴻.基于SVM和CRF多特征組合的微博情感分析[J].計算機應用研究，2015（4）：978981.

[12]TURNEY P D.Thumbs up or thumbs down：semantic orientation applied to unsupervised classification of reviews[J].Proceedings of Annual Meeting of the Association for Computational Linguistics，2010：417424.

[13]王祖輝，姜維，李一軍.在線產(chǎn)品評論情感分析中固定搭配特征提取方法研究[J].管理工程學報，2014（4）：180186.

責任編輯（責任編輯：孫娟）