毛郁欣 朱旭東

關(guān)鍵詞：電子商務(wù);網(wǎng)站;在線消費者評論;有用性;文本分類;支持向量機(jī)

電子商務(wù)（簡稱電商）的大規(guī)模發(fā)展和信息技術(shù)的快速進(jìn)步對人們的日常生活產(chǎn)生了巨大的影響。消費者越來越愿意在電商網(wǎng)站上表達(dá)自己的網(wǎng)購體驗和消費態(tài)度。另一方面，大多數(shù)電商網(wǎng)站為用戶提供了便捷的移動服務(wù).使得用戶能夠充分利用碎片化時間進(jìn)行網(wǎng)購。允許用戶分享關(guān)于商品或者個人生活方式的圖片和評論，是這類網(wǎng)站的主要特征。在線消費者評論已經(jīng)成為消費者和商家之間一種十分重要的網(wǎng)絡(luò)口碑，會直接影響用戶的產(chǎn)品質(zhì)量認(rèn)知甚至購買欲望。對線消費者評論的深度理解和挖掘，已經(jīng)成為電商領(lǐng)域的研究熱點之一。

目前，各大電商網(wǎng)站都產(chǎn)生了海量的評論信息，對于消費者而言，查閱和分析這些信息將面臨巨大的挑戰(zhàn)。通常而言，電商網(wǎng)站會按照發(fā)布時間對評論進(jìn)行排序，新近發(fā)布的評論會出現(xiàn)在評論頁的頂部。這種做法會導(dǎo)致用戶難以接觸那些有價值但是發(fā)布時間較早的評論，除非多次往后翻頁。因此，為了向用戶突出顯示有用的或者有價值的評論.一些電商網(wǎng)站會提供有用性投票機(jī)制——允許用戶給那些他們認(rèn)為對自身有幫助的評論投票，有用性投票數(shù)通常會直接顯示在評論的下方。這種機(jī)制使得用戶能夠根據(jù)投票數(shù)快速判斷和過濾出有用的評論。然而，這種投票機(jī)制也存在較大的問題：因為投票數(shù)是隨時間累積的，那么最近發(fā)布的評論可能在短時間內(nèi)無法收獲足夠多的投票，從而被用戶所忽略。

為此，除了有用性投票之外，還應(yīng)該結(jié)合更多的因素來對在線消費者評論進(jìn)行合理地排序。本文試圖研究一種在線消費者評論的有用性評價方法，為消費者的網(wǎng)購決策提供支持?，F(xiàn)有的研究工作主要集中在對評論影響因素（如評論長度、評論者特征等）的分析，而對于如何進(jìn)行評論的有用性評價則較少涉及。另外，單純分析和識別評論的有用性還是不夠的，因為一款熱銷的商品可能會有上萬條評論，而其中有用的評論可能又有數(shù)千條，這樣的數(shù)據(jù)規(guī)模對于普通消費者而言依然太大。因此，在評價在線消費者評論有用性的同時，還應(yīng)進(jìn)一步對有用的評論排序，便于進(jìn)一步提取和深度利用其中最有價值的內(nèi)容。本文的研究不僅關(guān)注這些影響因素，同時還將探索如何利用這些因素進(jìn)行評論的有用性排序。為此，本文提出了一種基于分類算法的排序模型來評價在線消費者評論的有用性和重要性。借助該模型，能夠較為有效地替用戶過濾有用的評論，從而有助于其進(jìn)行消費決策。

1相關(guān)工作

本文的研究和意見挖掘具有較強(qiáng)相關(guān)性，而早期面向電商的意見挖掘主要集中在對在線消費者評論情感極性（正面或負(fù)面）的分析，這類意見挖掘也被稱為情感分析。而另一類意見挖掘主要關(guān)注如何從評論中識別一些潛在信息，例如商品特征、消費偏好等。近年來，越來越多的研究開始關(guān)注對評論質(zhì)量或者有用性的評價。

許多學(xué)者試圖利用數(shù)據(jù)挖掘或者統(tǒng)計的方法來分析在線消費者評論的有用性。例如，Qazi A等利用回歸模型來分析在線消費者評論的有用性。他們主要研究文本中包含的概念數(shù)對于在線旅游網(wǎng)站上評論的影響，其研究工作的主要局限在于樣本規(guī)模偏?。ㄖ挥?500條評論）。Karimi S等以來自于一個移動游戲應(yīng)用的評論樣本為數(shù)據(jù)，研究了評論者檔案圖片（如頭像）對評論有用性的影響。其研究結(jié)果顯示，評論者檔案圖片會顯著影響消費者對評論有用性的判斷。Racherla P等對在線消費者評論的感知有用性進(jìn)行了研究，利用OLS回歸來檢驗他們的假設(shè)。其研究結(jié)果表明評論者和評論的特征與評論的感知有用性顯著相關(guān)。Ngo-Ye T L等利用腳本分析來預(yù)測在線消費評論的有用性，他們將腳本詞典中的單詞作為文本回歸模型中的特征來預(yù)測評論的有用性。Hong H等通過元分析來對現(xiàn)有關(guān)于在線消費者評論決定性因素的研究進(jìn)行數(shù)量聚合。然而，他們搜集到的因素沒有覆蓋在線消費評論的一些典型特征.例如，他們并未考慮評論圖片這一常用因素。李志宇提出了一種在線商品評論效用排序模型，但是在語義特征方面只考慮了產(chǎn)品屬性特征詞和情感特征詞。聶卉提出了一種基于內(nèi)容分析的用戶評論質(zhì)量的評價與預(yù)測.采用文本內(nèi)容分析技術(shù)提取特征指標(biāo)，并結(jié)合計量分析和機(jī)器學(xué)習(xí)方法來進(jìn)行驗證，但是該研究采用的特征集合不涉及評論的一些非文本屬性（如用戶檔案、評論圖片等）。吳江等研究了電商網(wǎng)站評論獲得有用性投票的影響因素，主要針對評論者信度、評論信息質(zhì)量以及評論極性3方面的因素進(jìn)行分析。

目前也有一部分研究是基于問卷或者實驗的方式來對在線消費者評論的有用性進(jìn)行實證研究，而這類研究通常需要有實驗人員或者志愿者參與。例如.Lee E J等通過一個基于Web的實驗來研究在線商品評論的質(zhì)量對于參與者對評論接受度的影響，他們同時還分析了這樣的影響是如何隨著商品類型以及評論者照片的可用性而變化的。Xu Q通過一個基于Web的激勵實驗來探討個人信譽(yù)線索和檔案圖片對評論者以及評論可信度的認(rèn)知信任和情感信任的影響。Casal6 L V等開展了兩個基于Web的實驗，評價來自在線旅游代理網(wǎng)站的在線評論（正面的和負(fù)面的）對于高度風(fēng)險規(guī)避型旅客的感知有用性。Weathers D等介紹了一種用于識別評論因素的方法.購物者用這些因素來評價評論有用性。他們對由69名學(xué)生提供的分類數(shù)據(jù)開展了多維尺度分析.其研究的主要不足在于研究結(jié)果受到參與者規(guī)模的影響。

自動而精確地理解在線消費者評論表達(dá)的情感信息，有助于企業(yè)理解消費者感知，并更好地開展針對性的營銷。許多現(xiàn)有的相關(guān)研究聚焦于對在線消費者評論進(jìn)行情感分析。例如，F(xiàn)elbermayr A等分析了情感對在線消費者評論感知有用性的影響，測量了不同商品分類中不同情感維度的重要性。他們使用隨機(jī)森林分類算法根據(jù)情感內(nèi)容將真實評論分類為有用的和無用的，還將情感特征和若干廣泛使用的特征如文本長度、評分和商品評級等進(jìn)行了比較。B0P等闡述了一種機(jī)器學(xué)習(xí)方法.該方法對文檔的主觀性內(nèi)容應(yīng)用文本分類技術(shù)來確定其情感極性。黃仁等描述了一種基于聯(lián)合神經(jīng)網(wǎng)絡(luò)對商品屬性進(jìn)行聚類的方法，并通過使用Word2vec來確定商品評論的情感特征。Tian F等提出了一種基于觀點語句的實例轉(zhuǎn)移技術(shù)，用于對中文商品評論進(jìn)行情感分類，還利用來自電商網(wǎng)站的數(shù)據(jù)集將其方法與另外3種分類方法進(jìn)行了比較分析。

總體來看，目前結(jié)合多種因素對線消費者評論的有用性進(jìn)行深度研究的工作還比較缺乏。許多研究工作受限于評論數(shù)據(jù)或?qū)嶒瀰⑴c者的規(guī)模，進(jìn)而影響了其研究結(jié)論的可靠性和適用性。另外，雖然有不少研究探討了如何識別評論的有用性，但是并未特別有效地解決根據(jù)有用性對評論排序的問題。

2理論模型

本節(jié)首先針對B2C電商網(wǎng)站的特點提出了一系列用于評價在線消費者評論有用性的特征，并進(jìn)一步提出了基于支持向量機(jī)（Support Vector Ma.chine，SVM）的評論有用性排序算法。

2.1特征集合

為了更好地理解和利用在線消費者評論，許多學(xué)者試圖在特征尺度上挖掘和抽取意見。目前絕大部分分類算法都依賴于特征的提取，因此為了實現(xiàn)對評論的評價，必須抽取和識別與評論相關(guān)的關(guān)鍵特征。為此，本文整合了一部分現(xiàn)有文獻(xiàn)中提及的特征，歸納并提出了符合電商網(wǎng)站消費者評論的特征集合，用于支持后續(xù)的分類。

1）文本統(tǒng)計特征

在文本統(tǒng)計方面，本研究主要選取了兩個代表性的相關(guān)特征：評論長度和句子數(shù)。一般來說，電商網(wǎng)站上的一條消費者評論不會很長，有時候一條短評論可能只包含一句話甚至幾個字。通常來說，較長的評論會顯得更加有用.因為長評論可能會包含更多有效信息。中文評論的長度可以用字?jǐn)?shù)來度量。此外，評論重要性也與其所包含的語句數(shù)量有關(guān)，有研究表明包含更多語句的評論會顯得更加有用。語句可以被認(rèn)為是消費者表達(dá)對商品意見的最小語義單元。更進(jìn)一步.還可以通過評論的平均語句長度（Average Sentence Length，ASL）來同時覆蓋評論長度和語句數(shù)兩個特征：

2）評論主觀度

網(wǎng)絡(luò)消費者通過發(fā)布主觀意見來表達(dá)其對商品特征的情緒，或者通過客觀陳述來反映商品特征的實際數(shù)據(jù)，或兩者結(jié)合。當(dāng)我們評價在線消費者評論的有用性時，可以考慮評論的主觀度問題。有研究表明，評論有用性與其情感傾向或內(nèi)隱意見存在正交關(guān)系。然而，文本的主觀度尤其是中文文本的主觀度判斷和分析，是一項較為復(fù)雜的工作。Ghose A等提出通過對每條語句進(jìn)行主客觀性分類來進(jìn)一步確定評論的主觀度，本研究基于該理論量化地評估在線消費者評論的主觀度。假設(shè)評論。

根據(jù)Ghose和Ipeirotis的研究，DevProb和評論的有用性投票正相關(guān)。如果評論包含的語句之間的主客觀性差異比較大.則DevProb的值也就比較大，那么該評論對消費者的有用性也比較大。為了進(jìn)一步確定評論中每條語句的主觀度，我們需要借助某種分類算法對句子的極性進(jìn)行分類。然而，目前絕大部分語句粒度的分類都需要事先標(biāo)注訓(xùn)練集作為輸入，而手動標(biāo)注大量訓(xùn)練數(shù)據(jù)本身非常耗時。因此，本文采用了Wiebe J等提出的方法，利用基于規(guī)則的分類器處理未標(biāo)注的語料庫來生成訓(xùn)練數(shù)據(jù)。該方法根據(jù)規(guī)則對語句的主客觀性進(jìn)行自動分類，而規(guī)則又可以根據(jù)現(xiàn)有文獻(xiàn)提供的一些研究結(jié)論或線索來預(yù)先制定。

3）內(nèi)容相關(guān)性

評論內(nèi)容和商品描述的相關(guān)性是判斷評論有用性另一個重要指標(biāo)。在電商網(wǎng)站上，每一件商品都會有一個對應(yīng)的關(guān)于商品信息的描述性頁面。如果評論的內(nèi)容和商品描述非常相關(guān)，那么對用戶的價值或者有用性也就更大。換句話說，這樣的評論包含了更多正確的商品信息或者以屬性為中心的信息，因而更易于被其他用戶所接受。另外，評論的內(nèi)容相關(guān)性也和主觀度存在一定的關(guān)系：如果評論包含更多主觀內(nèi)容，那么其包含的客觀內(nèi)容勢必就相對較少，而和商品描述相關(guān)的往往是客觀內(nèi)容。

4）有用性投票

如前文所述，有用性投票有助于用戶識別有價值的評論，收到更多投票的評論對其它用戶而言幫助也更大。然而，有用性投票數(shù)是隨時間累積的，因此在分析有用性投票對評論有用性的影響時.還應(yīng)該考慮時間因素。為此，本文提出時間相關(guān)的有用性投票（Time-Dependent Helpful Votes，TDHV）的概念，并定義如下：

5）用戶回復(fù)

一些電商網(wǎng)站允許用戶進(jìn)一步在評論下面進(jìn)行回復(fù)。為了簡化問題，本研究并不直接分析這些回復(fù)的內(nèi)容，而只是單純記錄評論的用戶回復(fù)數(shù)，并將回復(fù)數(shù)作為特征值。用戶回復(fù)數(shù)和有用性投票存在一定的聯(lián)系：如果1條評論收獲了較多的回復(fù)，說明該評論被較多的用戶所關(guān)注和認(rèn)可：可用性投票的情況也類似。

6）評論圖片

大部分電商網(wǎng)站都允許和鼓勵消費者在發(fā)布評論的同時上傳所購買商品的圖片。通過上傳實拍的商品圖片.消費者能讓其評論更吸引人.同時也更加真實可信。對于其他用戶而言，這些圖片是非常重要的購買決策參考。通常來說，商品展示頁上的圖片經(jīng)過一定的修飾和處理.和實際商品之間會存在一定的差異，而消費者上傳的圖片相對來說則更加真實可靠。因此，包含了圖片的評論對用戶來說有用性更大。類似地，Walther J B等通過研究也發(fā)現(xiàn)在新成立的虛擬群組中，群組成員發(fā)布的圖片能夠增進(jìn)情感和社交吸引力。如果將已經(jīng)購買和打算購買某一款商品的用戶看作一個虛擬的網(wǎng)絡(luò)群組，那么圖片的影響是顯而易見的。因此，在線消費者評論中是否包含了已購買的商品圖片對于評論的有用性具有較大的影響。本研究將評論包含的圖片數(shù)量作為評論有用性的特征指標(biāo)之一。

7）評論者檔案

電商網(wǎng)站的用戶檔案通常包括自我創(chuàng)造線索（如個人頭像）和系統(tǒng)生成線索（如信譽(yù)）。作為體現(xiàn)來源可靠性的線索.這些檔案特征在消費者的購買決策中也扮演著重要角色_3引。因此，評論者檔案和他們所發(fā)布評論的質(zhì)量之間存在一定的相關(guān)性。例如，當(dāng)用戶決定是否采納一條評論的意見時，評論者的信譽(yù)等級就是一個典型的考慮因素。信譽(yù)等級較高的用戶通常擁有更多的網(wǎng)購經(jīng)驗，其評論也就更加可信。Zhou S等將評論者的專業(yè)性作為評論有用性的影響因素，并用評論者過去撰寫的評論數(shù)量來量化這種專業(yè)性。一般來說，出于隱私保護(hù)的需要，電商網(wǎng)站不會暴露太多關(guān)于評論者的個人信息。換句話說，其他用戶只能獲得評論者的一小部分信息。在這種情況下，評論者的昵稱與其評論的可靠性之間也存在潛在的聯(lián)系。因為大多數(shù)時候，電商網(wǎng)站的消費者并不太愿意在評論中暴露自己的昵稱，而是選擇匿名發(fā)布評論。而那些有經(jīng)驗的、較為自信的消費者則不太介意公布自己的昵稱，而他們的評論也就更加可靠。

2.2有用性排序算法

在線消費者評論的評價問題可以被歸約為二元分類，即將在線消費者評論分為兩類：有用的和無用的。因此，本研究采用SVM來對評論進(jìn)行二元分類，數(shù)據(jù)集中的評論被分為正面（有用）或者負(fù)面（無用）。同時，每條評論在被貼上分類標(biāo)簽的同時，還會被賦予1個分類值（或者分類概率）。對于正面分類下的有用評論，則進(jìn)一步按照分類概率值大小對其進(jìn)行排序，一個較大的概率值意味著評論的有用性更強(qiáng)。給出基于SVM的有用性排序算法的描述如表2所示：

3研究方法

3.1數(shù)據(jù)采集

本文的實證研究數(shù)據(jù)來自于京東，而京東是目前國內(nèi)兩大B2C電商平臺之一?；贖tmlUnit實現(xiàn)了一個網(wǎng)絡(luò)爬蟲程序，從京東上自動采集商品評論信息和商品描述信息。主要從京東上抓取了3類商品的數(shù)據(jù)：手機(jī)、女鞋和糖果巧克力。在丟棄了一些無效評論之后，最終采集了756756條評論，其中511213條關(guān)于手機(jī)，160456條關(guān)于女鞋，88086條關(guān)于糖果巧克力。圖1顯示的就是一條京東上關(guān)于手機(jī)的評論。所有的評論都以半結(jié)構(gòu)化數(shù)據(jù)的形式存儲于關(guān)系數(shù)據(jù)庫中用于后續(xù)分析。

對抓取到的部分評論數(shù)據(jù)進(jìn)行了人工分析和標(biāo)注，將評論數(shù)據(jù)標(biāo)記為有用和無用兩個類別。每條評論數(shù)據(jù)由3名標(biāo)注者獨立進(jìn)行標(biāo)注，最終評論的類別依據(jù)多數(shù)原則來確定。例如，某條評論至少被兩名標(biāo)注者標(biāo)注為無用評論，該評論才被確定為無用評論。經(jīng)過標(biāo)注的數(shù)據(jù)集被分為兩個子集，一部分作為訓(xùn)練集，另一部分作為測試集。

3.2分析方法

通過設(shè)定一系列參數(shù)，利用訓(xùn)練集構(gòu)造一個SVM分類模型。而訓(xùn)練集則用于進(jìn)一步驗證模型的分類精確度?？傮w的分析過程如圖2所示，具體的步驟如下：

1）首先從網(wǎng)站上抓取數(shù)據(jù)，包括評論數(shù)據(jù)和商品數(shù)據(jù)，其中商品數(shù)據(jù)主要用于計算內(nèi)容相關(guān)性。

2）對評論和商品描述進(jìn)行分詞，將每一段文本轉(zhuǎn)化為詞袋模型，與詞在文本中出現(xiàn)的順序無關(guān)。分類所需的一部分特征如文本統(tǒng)計、評論主觀度和內(nèi)容相關(guān)性和分詞結(jié)果直接相關(guān)。

3）針對每一條評論，結(jié)合第3節(jié)涉及的各個特

4）將原始的評論數(shù)據(jù)轉(zhuǎn)化為用于分類的輸入向量集合。輸入向量x的分類概率是從x到?jīng)Q策邊界的有符號距離。正的分類概率表示x被預(yù)測屬于該類別，而負(fù)值則正好相反。通過分類函數(shù)（也稱為值函數(shù)）預(yù)測x正向?qū)儆谀硞€類別的概率。利用SVM進(jìn)行分類時，預(yù)先設(shè)定SVM模型支持概率估計，這樣就能得到每個向量屬于某個類別的概率值。因為本文采用的是二元分類，因此類別只有兩種，可以用1和-1表示。

5）當(dāng)利用SVM得到所有輸入向量的分類結(jié)果時，首先過濾出具有正概率值的向量，然后根據(jù)它們的概率值大小進(jìn)行排序，概率值較大的向量對應(yīng)的評論被認(rèn)為更加有用。

6）對于分類預(yù)測的結(jié)果，進(jìn)行人工驗證，得到最終的有用性排序結(jié)果。

4研究結(jié)果與評價

4.1分類測試結(jié)果

按照3.2節(jié)給出的步驟對數(shù)據(jù)集進(jìn)行處理.得到SVM分類的預(yù)測結(jié)果集。分類所采用的SVM模型參數(shù)如表3所示：

將訓(xùn)練集大小統(tǒng)一設(shè)定為1000，測試集大小設(shè)定為500。利用評價模型對3個子集（手機(jī)、女鞋、糖果巧克力）分別處理，結(jié)果如表4所示。

每個子集對應(yīng)的分類的精確率和召回率都達(dá)到了60%以上。雖然分類的精確度并不是特別高，但是對于一個沒有經(jīng)過任何優(yōu)化的模型而言，初步的分類結(jié)果是可以接受的。其中，女鞋子集對應(yīng)的精確率最高，達(dá)到了65.8%，而糖果巧克力子集的召回率最高，達(dá)到了82.3%。

為了進(jìn)一步驗證評價模型的性能，將該模型的分類預(yù)測結(jié)果，與京東自身的推薦結(jié)果進(jìn)行比較。京東提供了兩種評論排序方式：按時間排序和按推薦排序。一般來說，類似京東這樣的電商網(wǎng)站不會透露其推薦算法的細(xì)節(jié).但是推薦結(jié)果是可以公開獲取的。本研究將評價模型和京東的推薦機(jī)制進(jìn)行對比分析，步驟如下：

1）確定一件具體的商品，并采集其對應(yīng)的所有評論：

2）利用本文提出的評價模型對消費者評論進(jìn)行排序，得到一個評論序列（記為序列A）;

3）按照京東的推薦機(jī)制對消費者評論進(jìn)行排序，得到另一個評論序列（記為序列B）;

4）比較序列A和序列B，并分析其差異。

按照上述流程，從手機(jī)子集中選取了一件特定商品的評論數(shù)據(jù)，該商品是一款老年手機(jī)。將AB兩個序列的長度都設(shè)定為500，即只對前500條有用評論進(jìn)行對比分析，最終的結(jié)果如表5所示。京東上商品的評論是分頁顯示的，每頁10條評論，500條評論會占據(jù)50頁。雖然一件商品的評論很多，但是一般的用戶無法遍歷所有的評論頁。因此50頁的內(nèi)容對于用戶評價一款商品而言已經(jīng)足夠了。通過對比可以看到，兩個序列的有用評論比例幾乎完全一樣，說明通過兩種不同的機(jī)制得到的評論大多數(shù)都是有用的。

京東上的每一條評論都會對應(yīng)一個星級（從1星到5星），5星評論表示極端好評，而l星評論則表示極端差評。為此，根據(jù)星級將評論分為3類：1星和2星是負(fù)面評論.3星和4星是中性評論，5星是正面評論。而京東的推薦機(jī)制最大的問題在于，盡管網(wǎng)站會推薦有用的評論，但卻更傾向于推薦正面評論。換句話說，網(wǎng)站會將那些有用的負(fù)面或者中性評論放在后面.以至于一般用戶比較難以接觸到。通過表5可以看到，序列B中甚至沒有任何負(fù)面評論，只有少量的中性評論。然而，那些負(fù)面或中性評論對用戶的購買決策是有參考價值和意義的。此外，網(wǎng)站還更加傾向于推薦獲得較多有用性投票和用戶回復(fù)的評論.而本文提出的評價模型對這兩個因素的依賴性則較小。

4.2有用評論概率伐值分析

在對小規(guī)模測試集進(jìn)行分類的基礎(chǔ)之上，可以利用經(jīng)過訓(xùn)練的SVM模型對完整的數(shù)據(jù)集進(jìn)行分類，首先對糖果巧克力子集的評論進(jìn)行分類預(yù)測。糖果巧克力子集的原始評論數(shù)為88086，其中用于訓(xùn)練集的1000條評論無需處理，因此，實際需要處理的評論數(shù)為87086。對糖果巧克力子集進(jìn)行分類預(yù)測的結(jié)果如表6所示。

在對評論數(shù)據(jù)進(jìn)行SVM分類之后，可以按照分類概率值高低對結(jié)果記錄的進(jìn)行排序。給定為針對分類概率值的閾值，那么針對分類預(yù)測結(jié)果，可以得到如下的函數(shù)：

一般來說，結(jié)果記錄的分類概率值越高，說明對應(yīng)的評論被劃分到有用分類的可靠性也就越高，或者“有用性”也就越強(qiáng)。對于分類概率值較低的評論，其有用性相對來說也較弱。當(dāng)th，的值為0.82時，結(jié)果集中對應(yīng)的有用評論數(shù)為248。而如果th。將下調(diào)至0.74，那么預(yù)測有用評論數(shù)量將上升到22161條。進(jìn)一步，對248條概率值超過0.82的評論進(jìn)行人工驗證.發(fā)現(xiàn)其中222條的預(yù)測結(jié)果是正確的，精確率達(dá)到了89.5%，甚至比4.1節(jié)中的精確率還要高。因此，可以認(rèn)為，有用性強(qiáng)的評論在分類預(yù)測結(jié)果中占極少數(shù)。這個研究結(jié)論，符合人們對于在線消費者評論的一般認(rèn)知：電商網(wǎng)站上絕大部分評論的參考價值不大.真正有用的評論或者精華總是占極少數(shù)。

通過SVM分類得到的是預(yù)測結(jié)果，還有待進(jìn)一步驗證。因為分類結(jié)果集的規(guī)模太大，人工驗證費時費力，對于實際應(yīng)用來說不太現(xiàn)實。但是，如果選取一個合適的閾值，只對分類概率值在閾值以上的結(jié)果記錄進(jìn)行人工驗證.就能極大地縮小驗證空間。類似的，對另外兩個子集的評論進(jìn)行閾值分析，最終的對比結(jié)果如圖4所示。其中，手機(jī)子集包含的原始評論數(shù)量太大，為了縮短處理時間，隨機(jī)選取了其中180000條記錄。從圖3可知，手機(jī)和女鞋子集的分類預(yù)測結(jié)果，同樣滿足“有用性強(qiáng)的評論占極少數(shù)”的特征。

4.3有用評論描述性統(tǒng)計

對于糖果巧克力子集，從分類結(jié)果集中選取了top-n（n=500）條有用評論并對進(jìn)行描述性統(tǒng)計分析，結(jié)果如表7所示。

從表7可知，評價模型在非語義特征（如圖片數(shù)量、評論者等級等）不顯著的情況下依然能夠較為有效地識別有用的評論。換句話說，只要評論的語義特征（如評論主觀度、內(nèi)容相關(guān)性等）足夠顯著，模型就能夠識別有用的評論。另外，對500條評論的分類精確性進(jìn)行人工驗證，精確率達(dá)到了94%.高于閾值為0.82時248條評論的分類精確率，進(jìn)一步說明模型的高概率值分類效果更為理想。

4.4核函數(shù)性能比較

評價模型默認(rèn)的核函數(shù)為RBF（Radial BasisFunction），而在實際應(yīng)用中SVM模型還有多種常用的核函數(shù)。因此，可以對不同的核函數(shù)對應(yīng)的分類性能進(jìn)行比較，并從中選擇最適合核函數(shù)。針對4.1節(jié)中的糖果巧克力子集，分析不同的核函數(shù)對于分類精確率的影響，結(jié)果如表8所示。Linear（線性）核函數(shù)的性能要明顯優(yōu)于其它，其次是RBF。因此，可以考慮用Linear替代默認(rèn)的RBF來優(yōu)化分類性能。

4.5不同分類方法性能比較

為了進(jìn)一步評價性能，將本文提出的基于SVM的評價模型（SVM-based Model）與另外兩種常用的分類方法樸素貝葉斯和KNN進(jìn)行比較。分別用3種方法對相同的訓(xùn)練集和測試集進(jìn)行處理，最終的結(jié)果如圖5所示。

總的來看，基于SVM的評價模型的表現(xiàn)要優(yōu)于另外兩種方法。然而，KNN的性能和SVM非常接近。此外，3種方法的召回率比較接近，都達(dá)到了80%左右。因此，SVM是比較合適的分類方法，但是KNN也可以作為候選.因為相對來說KNN在計算開銷方面要優(yōu)于SVM。

4.6算法修正

根據(jù)實證分析的結(jié)果，進(jìn)一步從以下兩方面對2.2節(jié)給出的排序算法進(jìn)行修正，有助于提高分類預(yù)測的精確度。

1）通過選取合適的分類概率閾值;

2）選擇合適的核函數(shù)。

給出修正后的算法描述如表9所示：

5結(jié)論

本文主要研究并提出了一個利用SVM分類算法對在線消費者評論進(jìn)行有用性排序的模型。重點關(guān)注兩個研究問題：第一，如何利用基于SVM的分類結(jié)果對在線消費者評論進(jìn)行排序;第二，如何利用來自電商網(wǎng)站的評論數(shù)據(jù)來驗證評價模型的性能。從實證研究的結(jié)果來看，盡管總體的分類精確度并不是特別高，但是對于一個沒有經(jīng)過任何優(yōu)化的模型而言，該結(jié)果是可以接受的。研究結(jié)果顯示，有用性強(qiáng)的評論占極少數(shù)，因此通過選擇合適的概率閾值，能夠極大地縮小驗證空間，并顯著提升分類精確度，有助于從分類預(yù)測結(jié)果中過濾出有價值的評論。根據(jù)描述性統(tǒng)計結(jié)果，該模型主要依賴語義特征進(jìn)行排序，而對非語義特征的依賴較少。最后，結(jié)果顯示模型在性能方面要略優(yōu)于電商網(wǎng)站的推薦機(jī)制。實證研究結(jié)果顯示，長的和高相關(guān)性的評論被認(rèn)為更加有用.而這也符合一般用戶的認(rèn)知。此外，同時包含主客觀內(nèi)容的評論也被認(rèn)為更加有用。另外，正面的和負(fù)面的評論對于潛在的消費者而言都有價值。雖然在線零售商和電商網(wǎng)站都傾向于將正面評論突出前置，但是消費者在做出購買決策之前，更希望能全面了解商品的各種評論。

本文的研究工作還存在一定的局限。首先，雖然本文基于現(xiàn)有文獻(xiàn)和作者的認(rèn)知采用了盡可能多的特征，并基于這些特征也能夠?qū)υu論進(jìn)行基于SVM的分類，但是本文所使用的特征集合依然還是有待完善的，或者說尚未完全體現(xiàn)在線消費者評論的一些特點。因此，在后續(xù)的研究中，需要進(jìn)一步補(bǔ)充有用的特征。其次，本文的數(shù)據(jù)集中在3類商品，未來可以考慮進(jìn)一步擴(kuò)大商品分類，同時研究商品類別（比如耐用型商品和非耐用型商品）對于評論有用性的影響。