成方敏,余隋懷,初建杰,胡宇坤,趙杭

(西北工業(yè)大學(xué) 工業(yè)設(shè)計(jì)與人機(jī)工效工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室,西安 710072)

隨著社會(huì)經(jīng)濟(jì)的發(fā)展,人類已進(jìn)入體驗(yàn)經(jīng)濟(jì)時(shí)代[1]。用戶對(duì)于產(chǎn)品的要求不再局限于功能性滿足,而更多地追求良好的用戶體驗(yàn)。在此背景下,用戶體驗(yàn)理論也逐漸成為現(xiàn)代企業(yè)進(jìn)行產(chǎn)品開發(fā)的重要依據(jù)[2]。根據(jù)國際標(biāo)準(zhǔn)化組織的定義,用戶體驗(yàn)是指人們因使用或期望使用的產(chǎn)品、系統(tǒng)或服務(wù)所產(chǎn)生的所有反應(yīng)和結(jié)果[3]。隨著研究的深入,用戶體驗(yàn)的內(nèi)涵不斷擴(kuò)展,其定義與構(gòu)成尚未形成共識(shí)[4]。盡管如此,用戶體驗(yàn)依然受到越來越多的關(guān)注。特別是在產(chǎn)品設(shè)計(jì)領(lǐng)域,關(guān)于用戶體驗(yàn)信息采集分析的研究不斷增長[5]。對(duì)于產(chǎn)品設(shè)計(jì)改進(jìn),分析現(xiàn)有產(chǎn)品用戶體驗(yàn)是其中的關(guān)鍵環(huán)節(jié)[6]。已有許多研究采用問卷調(diào)查[7]、用戶觀察[8]、主觀量表[9]和客觀實(shí)驗(yàn)[10]等方法采集與分析用戶體驗(yàn)信息。雖然這些方法是采集分析用戶體驗(yàn)信息的重要手段,但也存在一定的缺陷。一方面,這些方法受到成本、時(shí)間與工作量等方面的限制,可采集到的數(shù)據(jù)量相對(duì)較少,得到的信息不夠全面。另一方面,這些方法需要研究人員設(shè)定調(diào)查問題或構(gòu)建實(shí)驗(yàn)環(huán)境,研究者的主觀思維會(huì)對(duì)用戶反饋產(chǎn)生較大影響,削弱數(shù)據(jù)的客觀性[11]。如何準(zhǔn)確客觀地采集與分析產(chǎn)品用戶體驗(yàn)信息,是本領(lǐng)域研究面臨的一個(gè)挑戰(zhàn)。

用戶在電商平臺(tái)上發(fā)布的在線產(chǎn)品評(píng)論因其大數(shù)據(jù)要素,可以提供更為全面客觀的用戶反饋意見[12]。近年來,我國電子商務(wù)發(fā)展迅猛,網(wǎng)絡(luò)購物規(guī)模不斷增長,網(wǎng)購用戶在電商平臺(tái)上對(duì)所購產(chǎn)品發(fā)布了數(shù)量龐大的在線評(píng)論。這些評(píng)論是用戶在使用產(chǎn)品后對(duì)產(chǎn)品使用體驗(yàn)的自由描述,相較于實(shí)驗(yàn)環(huán)境得到的用戶體驗(yàn)信息,在線評(píng)論提供的信息更為全面真實(shí)[13]。因此,以大規(guī)模在線產(chǎn)品評(píng)論為信息來源對(duì)產(chǎn)品用戶體驗(yàn)信息進(jìn)行采集與分析,是用戶體驗(yàn)研究的一個(gè)有潛力的方向。

在線評(píng)論挖掘是文本挖掘領(lǐng)域的一個(gè)分支,目前的研究主要應(yīng)用于為消費(fèi)者推送個(gè)性化產(chǎn)品信息或輔助消費(fèi)者進(jìn)行購買決策[14-15],以產(chǎn)品用戶體驗(yàn)信息采集與分析為應(yīng)用目標(biāo)的評(píng)論挖掘研究還比較少。在此背景下,面向產(chǎn)品設(shè)計(jì)改進(jìn),提出一種在線產(chǎn)品評(píng)論中用戶體驗(yàn)信息的采集與分析方法:首先,基于現(xiàn)有研究和評(píng)論文本人工標(biāo)注,定義在線產(chǎn)品評(píng)論中包含的用戶體驗(yàn)信息要素并構(gòu)建用戶體驗(yàn)要素模型;然后,針對(duì)不同要素提出相應(yīng)的文本要素自動(dòng)提取方法,提取單一評(píng)論句中的用戶體驗(yàn)信息;最后,對(duì)提取的信息進(jìn)行集成整合,獲取用戶群體意見,分析識(shí)別對(duì)用戶體驗(yàn)影響較大的因素。

1 在線產(chǎn)品評(píng)論用戶體驗(yàn)要素模型

為了從在線產(chǎn)品評(píng)論中提取用戶體驗(yàn)信息,首先需要明確在線評(píng)論中包含的用戶體驗(yàn)信息要素。要素模型構(gòu)建思路主要有兩種:第一種將用戶體驗(yàn)本身進(jìn)行拆解分類。如Roto[16]將用戶體驗(yàn)構(gòu)成總結(jié)為愉悅性、功能性和象征性3個(gè)方面。第二種則關(guān)注用戶體驗(yàn)的影響因素。如Hassenzahl和Tractinsky[17]將用戶體驗(yàn)劃分為3個(gè)要素:用戶情感狀態(tài)、產(chǎn)品設(shè)計(jì)特征和產(chǎn)品使用情境,后兩者是用戶體驗(yàn)即用戶情感狀態(tài)的影響因素。本文研究基于產(chǎn)品設(shè)計(jì)視角,產(chǎn)品設(shè)計(jì)是用戶體驗(yàn)的影響因素,因此應(yīng)采用后一種建模方式。除了產(chǎn)品特征和使用情境外,還有一些用戶體驗(yàn)的影響因素得到研究者的關(guān)注,如產(chǎn)品品牌[18]、用戶文化背景[19]、用戶社交關(guān)系等[20],但這些因素與產(chǎn)品設(shè)計(jì)無關(guān)。因此,本文采用Hassenzahl構(gòu)建的用戶體驗(yàn)?zāi)Ｐ妥鳛檠芯炕A(chǔ),將用戶體驗(yàn)的要素定義為:用戶情感、產(chǎn)品特征、使用情境。

為了驗(yàn)證在線評(píng)論中是否包含這3類要素,對(duì)在線產(chǎn)品評(píng)論進(jìn)行人工標(biāo)注實(shí)驗(yàn)。研究對(duì)象選取智能手機(jī)、投影儀、電飯煲等9種用戶數(shù)量較多的產(chǎn)品,分別代表了數(shù)碼產(chǎn)品、辦公用品、生活家電等多種產(chǎn)品類型,保證分析結(jié)果具有一定的普適性。為保障模型在平臺(tái)間的通用性,在3個(gè)電商平臺(tái)(天貓、京東、蘇寧易購)上各選擇3款產(chǎn)品。所選產(chǎn)品在各電商平臺(tái)上的評(píng)論數(shù)量均大于500條。對(duì)于每款產(chǎn)品,以4∶1的好評(píng)差評(píng)比例隨機(jī)選取評(píng)論文本50條,共采集450條評(píng)論。在標(biāo)注過程中刪除不含有效信息的垃圾評(píng)論,重新選取評(píng)論進(jìn)行補(bǔ)充。3名產(chǎn)品設(shè)計(jì)師根據(jù)自身對(duì)3類用戶體驗(yàn)要素的理解,共同對(duì)評(píng)論文本中描述要素的詞組進(jìn)行標(biāo)注。在線產(chǎn)品評(píng)論標(biāo)注結(jié)果如圖1所示。

圖1 在線產(chǎn)品評(píng)論標(biāo)注結(jié)果

根據(jù)標(biāo)注結(jié)果,包含用戶情感、產(chǎn)品特征和使用情境的評(píng)論的比例分別為94.1%、89.5%和72.0%。這表明3類要素普遍存在于評(píng)論文本中,保證了從評(píng)論文本中提取3類要素的可行性。圖1展示了3條評(píng)論文本及標(biāo)注出的用戶體驗(yàn)要素,標(biāo)注結(jié)果反映了要素具體包含的內(nèi)容。產(chǎn)品特征包括產(chǎn)品部件(手機(jī)系統(tǒng)、內(nèi)膽、內(nèi)膽涂層)、性能(游戲震感、顏值、噪聲)、功能(指紋識(shí)別)等;使用情境包括產(chǎn)品使用環(huán)境(日常使用、不拉窗簾情況下、做飯時(shí))、用戶操作(更新系統(tǒng))等;用戶情感是用戶對(duì)產(chǎn)品使用情況的評(píng)價(jià),可分為正向評(píng)價(jià)(流暢、厚重、nice、不錯(cuò))、中性評(píng)價(jià)和負(fù)向評(píng)價(jià)(失效)等。標(biāo)注結(jié)果為構(gòu)建要素自動(dòng)化提取方法提供了基礎(chǔ)。

根據(jù)要素及其關(guān)系構(gòu)建要素模型,如圖2所示。根據(jù)定義的用戶體驗(yàn)要素,確定了從評(píng)論中采集和分析用戶體驗(yàn)信息的目標(biāo),即從評(píng)論文本中提取用戶體驗(yàn)要素,并根據(jù)采集數(shù)據(jù)分析本產(chǎn)品的產(chǎn)品特征和使用情境兩類要素對(duì)用戶體驗(yàn)(即用戶情感)的影響。

圖2 用戶體驗(yàn)要素模型

2 在線產(chǎn)品評(píng)論中用戶體驗(yàn)要素提取

根據(jù)用戶體驗(yàn)要素模型,提取評(píng)論中描述用戶體驗(yàn)要素的詞與詞組,將自然語言形式的評(píng)論文本轉(zhuǎn)換為<產(chǎn)品特征,使用情境,用戶情感>的結(jié)構(gòu)化三元組形式。

針對(duì)所要提取的3類要素信息,本文提出一種分步提取方法:首先對(duì)評(píng)論文本進(jìn)行預(yù)處理;然后提取情感詞,將不包含情感詞的句子視為不包含用戶體驗(yàn)信息并將其刪除;最后提取產(chǎn)品特征和使用情境信息。方法的整體流程如圖3所示。

圖3 在線產(chǎn)品評(píng)論用戶體驗(yàn)信息提取流程

2.1 評(píng)論文本預(yù)處理

對(duì)評(píng)論文本進(jìn)行數(shù)據(jù)清洗、分詞、詞性標(biāo)注、依存句法分析等預(yù)處理是文本要素提取的基礎(chǔ)。在獲取在線產(chǎn)品評(píng)論數(shù)據(jù)后,對(duì)評(píng)論數(shù)據(jù)進(jìn)行清洗,過濾字?jǐn)?shù)過少、含有無意義符號(hào)的句子,去除掉大量無效的評(píng)論數(shù)據(jù)。之后對(duì)評(píng)論文本進(jìn)行分詞、詞性標(biāo)注和依存句法分析等處理。其中,分詞可以將句子拆分為詞。詞性標(biāo)注可以標(biāo)注詞的詞性,如名詞、動(dòng)詞等。依存句法分析可以識(shí)別句子的語法成分和各成分之間的關(guān)系,如主謂結(jié)構(gòu)、動(dòng)補(bǔ)結(jié)構(gòu)等。本文采用哈工大社會(huì)計(jì)算與信息檢索研究中心開發(fā)中文語言處理系統(tǒng)LTP(Language technology platform)進(jìn)行評(píng)論文本預(yù)處理。

2.2 用戶情感信息提取

用戶體驗(yàn)是用戶對(duì)產(chǎn)品使用情況的主觀反應(yīng),體現(xiàn)在評(píng)論中即是用戶情感要素。因此,如果評(píng)論句不含描述用戶情感的情感詞,則可認(rèn)為評(píng)論句不含用戶體驗(yàn)信息。首先對(duì)用戶情感要素進(jìn)行提取,可以過濾掉不含用戶體驗(yàn)信息的評(píng)論句,從而縮減評(píng)論數(shù)量提高后續(xù)要素的提取效率。

2.2.1 情感詞集構(gòu)建

情感詞典是人為編制的情感極性詞集。由于產(chǎn)品的領(lǐng)域特殊性,通用的情感詞典不宜直接應(yīng)用。本文從所分析的評(píng)論語料庫中獲取情感種子詞,再對(duì)種子詞進(jìn)行擴(kuò)展,構(gòu)建適合于具體產(chǎn)品領(lǐng)域的情感詞典。情感詞典的構(gòu)建流程如圖4所示。

圖4 情感詞典構(gòu)建流程

情感詞典構(gòu)建過程如下:

步驟1 已有研究表明,情感詞大多為形容詞和動(dòng)詞[22]。因此,根據(jù)預(yù)處理階段詞性標(biāo)注結(jié)果提取評(píng)論文本中所有形容詞與動(dòng)詞,形成初始詞集S1。

步驟2 在S1中選擇出現(xiàn)次數(shù)最多的前n個(gè)詞,人工刪除不代表情感的詞,形成情感種子詞集S2。根據(jù)網(wǎng)絡(luò)評(píng)論所在領(lǐng)域,人工將種子詞分為正向極性詞與負(fù)向極性詞。

步驟3 由于出現(xiàn)頻次較低的情感詞不能被提取出來,S2的覆蓋面有限,因此利用中文近義詞工具包Synonyms對(duì)S2進(jìn)行同義詞與近義詞擴(kuò)展,經(jīng)擴(kuò)展得到的詞形成擴(kuò)展詞集S3。

步驟4S3中的詞并非都有意義,只有在評(píng)論中出現(xiàn)過的詞才可能是情感詞。因此,取S3和S1的交集S4。

步驟5S4與S2一同構(gòu)成了最終的情感詞典C。

2.2.2 評(píng)論句情感極性判定

在獲得正向與負(fù)向情感詞集后,還需注意評(píng)論句中的否定詞,如“不”、“無”、“沒有”等,會(huì)使句子產(chǎn)生與情感詞極性相反的情感極性。本文從語言知識(shí)庫Hownet中下載否定詞集進(jìn)行應(yīng)用。情感詞典與否定詞集構(gòu)建完成后,根據(jù)情感詞極性與否定詞的存在與否,判斷句子的情感極性。將沒有情感詞的句子視作不包含用戶體驗(yàn)信息,從語料庫中刪除。將篩選后的評(píng)論句集合作為新的語料庫進(jìn)行下一階段信息提取。

2.3 產(chǎn)品特征與使用情境信息提取

由于條件隨機(jī)場(chǎng)模型(Conditional random field,CRF)能較好地考慮文本上下文信息,有效解決標(biāo)注偏置問題,因此本文應(yīng)用CRF模型對(duì)評(píng)論文本的產(chǎn)品特征和使用情境兩類評(píng)論要素進(jìn)行提取。

2.3.1 評(píng)論要素標(biāo)注

首先對(duì)訓(xùn)練語料進(jìn)行人工標(biāo)注。根據(jù)BIO標(biāo)注體系,將產(chǎn)品特征的第一個(gè)詞標(biāo)注為B-F,產(chǎn)品特征的其他詞標(biāo)注為I-F;將使用情境的第一個(gè)詞標(biāo)注為B-U,使用情境的其他詞標(biāo)注為I-U;語句中的其他詞標(biāo)注為O。

2.3.2 CRF特征選取

CRF模型中的特征選擇關(guān)系到信息提取的準(zhǔn)確性和運(yùn)行效率。詞、詞性是兩種常用的模型特征。由于描述使用情境的詞組存在一些固定的語法關(guān)系,如“充電時(shí)”、“重啟后”為定中關(guān)系,“打游戲”、“更新系統(tǒng)”為動(dòng)賓關(guān)系,因此在兩種基礎(chǔ)特征以外,再選擇可以表示語法關(guān)系的依存句法關(guān)系、父親詞、父親詞詞性作為模型特征。5種特征的標(biāo)記為:詞特征記為tk;詞性特征標(biāo)記為pos;依存句法關(guān)系標(biāo)記為pRel;與當(dāng)前詞存在依存關(guān)系的父親詞和父親詞詞性分別標(biāo)記為pWd和pPos。

3 用戶體驗(yàn)信息集成與分析

為了獲得產(chǎn)品用戶體驗(yàn)的整體情況,對(duì)單個(gè)評(píng)論句中提取出的用戶體驗(yàn)信息進(jìn)行集成,并分析產(chǎn)品特征和使用情境兩類要素對(duì)用戶體驗(yàn)的影響。

3.1 產(chǎn)品特征與使用情境信息提取

信息集成是將相似信息進(jìn)行整合形成多個(gè)組別,將零散信息集成為整體信息。集成可分為3個(gè)步驟:

步驟1 情感極性集成:根據(jù)句子情感極性將數(shù)據(jù)分為正向體驗(yàn)集與負(fù)向體驗(yàn)集。

步驟2 產(chǎn)品特征集成:產(chǎn)品特征之間存在等級(jí)關(guān)系,下級(jí)特征的用戶體驗(yàn)信息應(yīng)視為其上級(jí)特征用戶體驗(yàn)的組成部分,因此構(gòu)建產(chǎn)品特征結(jié)構(gòu)明確其上下位關(guān)系。為了保證產(chǎn)品特征結(jié)構(gòu)的準(zhǔn)確性,由設(shè)計(jì)師利用提取出的產(chǎn)品特征詞進(jìn)行人工構(gòu)建,依據(jù)“產(chǎn)品-部件-子部件-功能/性能”的劃分層次對(duì)特征詞進(jìn)行組織。

步驟3 使用情境整合:將某一產(chǎn)品特征中的所有使用情境信息進(jìn)行整合。表示使用情境的詞組結(jié)構(gòu)較為復(fù)雜,所含詞的數(shù)量較多,可通過計(jì)算詞組之間的語義相似度進(jìn)行聚類。詞組之間的語義相似度依據(jù)Hownet詞典進(jìn)行計(jì)算。Hownet詞典中用“概念”對(duì)詞語語義進(jìn)行描述。一個(gè)詞語可能有多個(gè)義項(xiàng),即可表達(dá)為多個(gè)“概念”?！案拍睢眲t通過最小語義單位“義原”來描述。詞組的相似度可通過計(jì)算詞相似度、概念相似度和義原相似度逐步獲得。詞、概念與義原的語義相似度算法詳見文獻(xiàn)[21]。

本文將詞組中詞語相似度的平均值作為詞組相似度。假設(shè)詞組WG1與WG2的詞集合分別為:WG1={W11,W12,…,W1a},WG2={W21,W22,…,W2b},則兩詞組的語義相似度為

(1)

依據(jù)使用情境詞組相似度,采用文獻(xiàn)[22]提出的方法對(duì)同一產(chǎn)品特征類別內(nèi)包含的使用情境詞組進(jìn)行K均值聚類,完成對(duì)用戶體驗(yàn)信息的整合。

3.2 產(chǎn)品特征與使用情境影響分析

根據(jù)要素整合后的用戶評(píng)論數(shù)據(jù),分析本產(chǎn)品的產(chǎn)品特征和使用情境對(duì)用戶體驗(yàn)的影響,為產(chǎn)品設(shè)計(jì)改進(jìn)提供指導(dǎo)。對(duì)于兩個(gè)因素的影響分析,可具體化為兩個(gè)分析維度:一是識(shí)別對(duì)用戶體驗(yàn)產(chǎn)生較大正/負(fù)向影響的產(chǎn)品特征;二是識(shí)別產(chǎn)品特征對(duì)用戶體驗(yàn)產(chǎn)生較大影響時(shí)所處于的使用情境。

在分析產(chǎn)品特征對(duì)用戶體驗(yàn)的影響時(shí),本文同時(shí)考慮產(chǎn)品特征獲得正/負(fù)向情感評(píng)論句的數(shù)量和比例。這是因?yàn)?一些產(chǎn)品特征同時(shí)獲得了大量的正向與負(fù)向體驗(yàn),此時(shí)只統(tǒng)計(jì)正/負(fù)向體驗(yàn)的評(píng)論句數(shù)量不能反映用戶體驗(yàn)的整體情況。對(duì)于產(chǎn)品特征C,假設(shè)其獲得的正向情感評(píng)論數(shù)據(jù)量為PC,負(fù)向情感評(píng)論數(shù)據(jù)量為NC。同時(shí),在全部數(shù)據(jù)中,獲得最多正向情感的產(chǎn)品特征為X,對(duì)應(yīng)數(shù)據(jù)量為PX,獲得最多負(fù)向情感的產(chǎn)品特征為Y,對(duì)應(yīng)數(shù)據(jù)量為NY。產(chǎn)品特征C的正向體驗(yàn)指數(shù)為

(2)

其負(fù)向體驗(yàn)指數(shù)為

(3)

式中:α,β均為權(quán)重值。獲得較高正/負(fù)向體驗(yàn)指數(shù)的產(chǎn)品特征,即是對(duì)用戶體驗(yàn)影響較大的產(chǎn)品特征。

對(duì)于使用情境的分析,可針對(duì)對(duì)用戶體驗(yàn)影響較大的產(chǎn)品特征,統(tǒng)計(jì)與其相關(guān)的使用情境出現(xiàn)次數(shù),次數(shù)越多即表示此產(chǎn)品特征在這一使用情境下對(duì)用戶體驗(yàn)影響最大。

4 應(yīng)用案例

4.1 實(shí)驗(yàn)數(shù)據(jù)

選取京東商城(https://www.jd.com/)平臺(tái)上某款智能手機(jī)評(píng)論作為實(shí)驗(yàn)評(píng)論數(shù)據(jù)源。京東商城規(guī)定,只有購買商品的用戶才能發(fā)表評(píng)論,這一規(guī)定保證了評(píng)論的真實(shí)性。同時(shí),京東商城聲稱京東對(duì)評(píng)論內(nèi)容進(jìn)行審核,包括評(píng)論內(nèi)容與產(chǎn)品的相關(guān)性、是否拷貝他人評(píng)論等,只有審核通過的評(píng)論才會(huì)予以展示,這在一定程度上保障了產(chǎn)品評(píng)論的質(zhì)量。由于國內(nèi)電商平臺(tái)的產(chǎn)品評(píng)論形式基本相同,本文提出的方法在其他電商平臺(tái)均可應(yīng)用。

編寫爬蟲程序從京東商城爬取此款智能手機(jī)用戶評(píng)論3 245條。對(duì)數(shù)據(jù)進(jìn)行清洗,將少于6個(gè)字的評(píng)論視為無效評(píng)論將其去除。清洗后的評(píng)論共計(jì)2 978條,分句處理后得到的句子數(shù)為8 562句。使用LTP系統(tǒng)對(duì)評(píng)論數(shù)據(jù)進(jìn)行分詞、詞性標(biāo)注、依存句法分析處理。

4.2 用戶體驗(yàn)信息提取

根據(jù)2.2.1中提出的方法構(gòu)建情感詞典,最終的情感詞典共包含329個(gè)情感詞,部分結(jié)果如表1所示。

表1 情感詞典中部分情感詞

提取評(píng)論句中的情感詞,依據(jù)2.2.2節(jié)提出的方法判定句子的情感極性,將評(píng)論句分為正向評(píng)論與負(fù)向評(píng)論,得到正向評(píng)論6 391句,負(fù)向評(píng)論2 171句。為驗(yàn)證方法的有效性,3名產(chǎn)品設(shè)計(jì)專業(yè)學(xué)生對(duì)全部評(píng)論句進(jìn)行情感詞人工識(shí)別,提取出所有正向與負(fù)向的情感詞。本文利用準(zhǔn)確率(Precision)、召回率(Recall)和F值(F-measure)作為信息提取的檢驗(yàn)標(biāo)準(zhǔn),計(jì)算公式如下:

(4)

(5)

(6)

式中:A表示模型準(zhǔn)確識(shí)別的詞與詞組數(shù);B表示模型識(shí)別出的所有詞與詞組數(shù);C表示人工標(biāo)注出的詞與短語數(shù)。

3名產(chǎn)品設(shè)計(jì)專業(yè)學(xué)生根據(jù)2.3.1節(jié)提出的方法對(duì)評(píng)論句產(chǎn)品特征與使用情境信息進(jìn)行人工標(biāo)注。人工標(biāo)注后,采用5折交叉實(shí)驗(yàn)驗(yàn)證方法的有效性。將數(shù)據(jù)均分為5份,4份作為訓(xùn)練集,1份作為測(cè)試集,進(jìn)行5次實(shí)驗(yàn),取5組實(shí)驗(yàn)的平均值作為最終結(jié)果。實(shí)驗(yàn)過程采用CRF++0.58工具。特征模板選擇Unigram模板,模板窗口定義為[-2,2]。共提取出285個(gè)產(chǎn)品特征和457個(gè)使用情境,提取出的部分詞與詞組如表2所示。同樣利用召回率、準(zhǔn)確率和F值分別對(duì)兩類要素的提取效果進(jìn)行檢驗(yàn)。3類要素的提取效果如表3所示。

表2 產(chǎn)品特征與使用情境提取

表3 評(píng)論挖掘?qū)嶒?yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出,本文所提出方法在三類要素的提取上均取得了較好的效果。對(duì)于用戶情感和產(chǎn)品特征信息提取的準(zhǔn)確率與召回率均比較高,而對(duì)于使用情境信息提取則偏低。這一結(jié)果可能是由兩方面原因造成的:首先,與用戶情感和產(chǎn)品特征相比,描述使用情境的詞組結(jié)構(gòu)更加復(fù)雜;其次,人機(jī)交互環(huán)境的豐富性使描述使用情境的詞匯量相對(duì)較大。這兩個(gè)因素都增加了使用情境信息提取的難度。

經(jīng)過要素信息提取,在線評(píng)論文本轉(zhuǎn)換為描述用戶體驗(yàn)的三元組數(shù)據(jù)。如評(píng)論“手機(jī)簡直太重了,躺著玩游戲非常累”,提取出的信息為<“手機(jī)”,“躺著玩游戲”,“重”>。一些評(píng)論中未提到使用情境,如評(píng)論“指紋解鎖做的很差”,提取出的信息為<“指紋解鎖”,NULL,“差”>。還有一些評(píng)論中未提到產(chǎn)品特征,如評(píng)論“開著熱點(diǎn)很費(fèi)電”,提取出的信息為,在這條評(píng)論中用戶省略了產(chǎn)品特征“電池”,需要人工將產(chǎn)品特征信息補(bǔ)全。

4.3 信息集成與用戶體驗(yàn)信息分析

根據(jù)句子情感極性將數(shù)據(jù)分為正向體驗(yàn)集和負(fù)向體驗(yàn)集。之后,由兩名智能手機(jī)設(shè)計(jì)師整合提取出的產(chǎn)品特征詞。首先將描述相同產(chǎn)品特征的詞或詞組合并為一個(gè)特征,如“手機(jī)” 與“機(jī)子”、“屏幕”與“顯示屏”等。然后,按照3.1節(jié)提出的方法構(gòu)建產(chǎn)品特征結(jié)構(gòu),其局部示意圖如圖5所示。然后,依據(jù)3.1節(jié)提出的方法將每個(gè)產(chǎn)品特征相關(guān)的使用情境信息進(jìn)行聚類整合。

圖5 產(chǎn)品特征結(jié)構(gòu)示意圖(局部)

經(jīng)過信息集成后,分析產(chǎn)品的產(chǎn)品特征和使用情境對(duì)用戶體驗(yàn)的影響。根據(jù)公式(2)和(3)計(jì)算產(chǎn)品特征的正/負(fù)體驗(yàn)指數(shù),α,β分別設(shè)為0.6與0.4。將文獻(xiàn)[23]提出的方法作為對(duì)照實(shí)驗(yàn)。該文獻(xiàn)通過關(guān)鍵事件法得到了影響智能手機(jī)用戶體驗(yàn)的19個(gè)因素,設(shè)計(jì)了調(diào)查問卷并利用李克特量表法獲得用戶對(duì)各個(gè)因素的量化評(píng)價(jià)分?jǐn)?shù)。本文將此問卷發(fā)放給20個(gè)此款手機(jī)用戶獲取用戶評(píng)分,與本文分析結(jié)果進(jìn)行對(duì)比。表4分別展示了本文方法得到的最高正/負(fù)用戶體驗(yàn)指數(shù)的產(chǎn)品特征,和問卷調(diào)查獲得的最高與最低分?jǐn)?shù)的5個(gè)產(chǎn)品特征,即兩種方法分析得到的最佳與最差用戶體驗(yàn)的產(chǎn)品特征。括號(hào)內(nèi)為正/負(fù)向體驗(yàn)指數(shù)與歸一化后的評(píng)分。

表4 對(duì)用戶體驗(yàn)影響較大的產(chǎn)品特征

從表4中可以看出,兩種方法的分析結(jié)果差異較大,主要原因可能是由于在文獻(xiàn)[23]問卷中產(chǎn)品特征的設(shè)置受到設(shè)計(jì)人員的主觀影響,不夠客觀合理。一方面,該問卷未將一些重要的產(chǎn)品特征(如“指紋解鎖”)包含在分析目標(biāo)中;另一方面,該問卷的分析目標(biāo)包含了一些不受關(guān)注的產(chǎn)品特征。如“操作容錯(cuò)性”,雖然在本文的方法中其負(fù)向評(píng)論比例較高(85.7%),但只有7條評(píng)論句涉及了這一產(chǎn)品特征,因此該特征對(duì)用戶體驗(yàn)影響不大。本文提出的正/負(fù)向體驗(yàn)指數(shù)計(jì)算方法避免了這一問題出現(xiàn)。

在設(shè)計(jì)改進(jìn)時(shí),應(yīng)根據(jù)分析結(jié)果,著力改進(jìn)負(fù)向體驗(yàn)指數(shù)較大的產(chǎn)品特征,保持與提升正向體驗(yàn)指數(shù)較大的產(chǎn)品特征。需要注意的是,一些產(chǎn)品特征(如相機(jī)像素)同時(shí)有較大的正向與負(fù)向體驗(yàn)指數(shù),說明此產(chǎn)品特征對(duì)用戶體驗(yàn)影響較大,且用戶對(duì)于特征的評(píng)價(jià)出現(xiàn)兩極化。在改進(jìn)產(chǎn)品特征時(shí)可以考慮多個(gè)設(shè)計(jì)方案滿足不同用戶類型的需求偏好。

通過數(shù)據(jù)統(tǒng)計(jì),進(jìn)一步分析重要的產(chǎn)品特征在哪些使用情境下對(duì)用戶體驗(yàn)產(chǎn)生較大影響。表5以系統(tǒng)速度為例,展示了其獲得最多正/負(fù)用戶體驗(yàn)時(shí)的使用情境。在產(chǎn)品設(shè)計(jì)改進(jìn)中應(yīng)著重考慮提升在重要的使用情境中產(chǎn)品特征的設(shè)計(jì)質(zhì)量。

表5 關(guān)于系統(tǒng)速度的關(guān)鍵使用情境

在分析得出對(duì)用戶體驗(yàn)影響較大的產(chǎn)品特征及相應(yīng)的使用情境后,可采用質(zhì)量功能展開、故事板、用戶角色模型等用戶體驗(yàn)設(shè)計(jì)方法對(duì)產(chǎn)品進(jìn)行改進(jìn)。整個(gè)實(shí)驗(yàn)以大規(guī)模的在線用戶評(píng)論為信息來源,提取了評(píng)論中的用戶體驗(yàn)要素,最終得到了可用于輔助設(shè)計(jì)改進(jìn)工作的產(chǎn)品用戶體驗(yàn)信息,指導(dǎo)產(chǎn)品設(shè)計(jì)改進(jìn)的方向。

5 結(jié)論

本文面向設(shè)計(jì)改進(jìn),提出了一種的產(chǎn)品在線評(píng)論中產(chǎn)品用戶體驗(yàn)信息采集與分析方法。該方法提出了一種新的產(chǎn)品用戶體驗(yàn)研究思路,即以用戶自由撰寫的大規(guī)模產(chǎn)品在線評(píng)論為用戶體驗(yàn)信息的來源,利用文本挖掘技術(shù)采集用戶體驗(yàn)信息,以評(píng)論數(shù)量等評(píng)論特征為指標(biāo)評(píng)估用戶體驗(yàn)的影響因素。相比于問卷調(diào)查、主觀量表等傳統(tǒng)用戶體驗(yàn)信息采集分析方法,采用本文方法獲取的信息具有更廣泛的代表性,分析結(jié)果具有更高的可信度。同時(shí),本文對(duì)豐富評(píng)論挖掘的研究也具有一定意義。

今后的工作將圍繞兩方面展開:一是優(yōu)化CRF模型中的特征選擇,提升使用情境信息的提取性能;二是細(xì)化用戶情感極性的分析維度。