黃景濤 田文濤 龐旭林 李晶 王慶春

(國(guó)家市場(chǎng)監(jiān)督管理總局信息中心 北京 100011)

近年來(lái)，非實(shí)物類(lèi)的電子商務(wù)在我國(guó)得到了快速發(fā)展，如搬家、酒店、旅游、KTV、按摩等。搬家行業(yè)的線上交易比例越來(lái)越大，其中最有影響力的平臺(tái)是58同城和美團(tuán)。

在電商平臺(tái)上，交易完成后通常要求用戶給商品或服務(wù)作出評(píng)論。這些評(píng)論不僅為新用戶選購(gòu)商品提供生動(dòng)實(shí)際的案例，還能幫助商戶分析自身的優(yōu)缺點(diǎn)，進(jìn)行決策優(yōu)化，提高商品質(zhì)量和服務(wù)質(zhì)量。通過(guò)研究這些評(píng)論內(nèi)容，管理者可以了解整個(gè)行業(yè)的商品質(zhì)量、服務(wù)質(zhì)量、用戶滿意度和變化趨勢(shì)及存在的問(wèn)題等，從而進(jìn)行針對(duì)性的監(jiān)管和服務(wù)。

1 相關(guān)研究

基于評(píng)論內(nèi)容對(duì)產(chǎn)品和服務(wù)的質(zhì)量進(jìn)行分析，國(guó)內(nèi)外已經(jīng)有了不少的研究。王木子、李軍(2021)[1]，周燕、商平平[2]等利用客戶給出的評(píng)論來(lái)評(píng)價(jià)實(shí)物型產(chǎn)品的滿意度。一般而言，大多數(shù)評(píng)論針對(duì)的是產(chǎn)品的一個(gè)或幾個(gè)特性，經(jīng)常被稱(chēng)為產(chǎn)品的“方面”。秦海菲、杜軍平(2018)[3]等認(rèn)為，酒店的方面是服務(wù)、環(huán)境、設(shè)施、整體舒適度和餐飲。類(lèi)似的研究還有賴玲玲、彭麗芳(2017)[4]基于在線評(píng)論分析的旅游市場(chǎng)服務(wù)質(zhì)量等。

文獻(xiàn)中常用的處理方法是將評(píng)論文本輸入內(nèi)容挖掘軟件中，基于軟件輸出的結(jié)果進(jìn)行分析。這些挖掘軟件具有分詞和詞頻分析功能，有一些還能進(jìn)行文本聚類(lèi)和情感分析。這種方法存在幾個(gè)問(wèn)題：(1)只能對(duì)整體的評(píng)論語(yǔ)句進(jìn)行情感判斷，而不是產(chǎn)品的方面(特性)。雖然部分軟件有聚類(lèi)功能，但聚類(lèi)結(jié)果集與理想的方面分類(lèi)集差異較大，評(píng)論語(yǔ)句里經(jīng)常涉及產(chǎn)品的多個(gè)方面，導(dǎo)致聚類(lèi)結(jié)果交叉較多，含混不清。(2)不能根據(jù)應(yīng)用場(chǎng)景調(diào)整情感分值。有時(shí)同一句子在不同語(yǔ)境下情感分析的結(jié)果也不一樣，如“滿頭大汗”對(duì)消費(fèi)者具有負(fù)面情感，但是在形容搬家?guī)煾倒ぷ鲿r(shí)應(yīng)屬于正面情感。(3)自然語(yǔ)言處理領(lǐng)域的技術(shù)發(fā)展很快，挖掘軟件沒(méi)有及時(shí)更新，分析結(jié)果不能令人滿意。

2 分析方法

2.1 分析框架

針對(duì)相關(guān)研究的不足之處，本文采用了一系列的新方法。在收集評(píng)論文本后，首先，進(jìn)行預(yù)處理，把評(píng)論內(nèi)容分割成多個(gè)短句，每個(gè)短句只針對(duì)產(chǎn)品的一個(gè)方面，采用優(yōu)化后的文本分類(lèi)模型對(duì)短句進(jìn)行分類(lèi)，將針對(duì)產(chǎn)品同一方面的評(píng)論短句分到同一個(gè)集合中；其次，采用基于預(yù)訓(xùn)練技術(shù)和微調(diào)技術(shù)的情感計(jì)算模型，計(jì)算每個(gè)短句的情感分值。在每條評(píng)論中，屬于產(chǎn)品同一方面的短句取平均值得到該評(píng)論在這一方面的分值。情感分值為0～1的一個(gè)數(shù)值，如果超過(guò)規(guī)定的閾值，就判為滿意，否則判為不滿意；最后，將所有評(píng)論中滿意評(píng)論所占的百分比作為該方面的用戶滿意度。實(shí)例研究表明，用戶滿意度可以較好地反映用戶對(duì)該產(chǎn)品的喜好程度，對(duì)準(zhǔn)備購(gòu)買(mǎi)的用戶和監(jiān)管人員具有重要的參考意義。

2.2 文本預(yù)處理

在線評(píng)論的數(shù)據(jù)有一些明顯特點(diǎn)，如口語(yǔ)化、短句較多、標(biāo)點(diǎn)符號(hào)不規(guī)范、錯(cuò)別字較多、存在較多的空評(píng)論或內(nèi)容完全相同的評(píng)論等。為了得到真實(shí)客觀的語(yǔ)料和用戶滿意度，需對(duì)語(yǔ)料進(jìn)行格式整理、內(nèi)容整理、短句分割等預(yù)處理。格式整理包含刪除句子中間的空格、換行符、轉(zhuǎn)義字符等；內(nèi)容整理包含刪除空數(shù)據(jù)，刪除明顯重復(fù)的數(shù)據(jù)；短句分割，即用常見(jiàn)的標(biāo)點(diǎn)符號(hào)對(duì)評(píng)論語(yǔ)句進(jìn)行切分，形成短句集，它們是計(jì)算情感分值的基礎(chǔ)單位。

2.3 詞頻分析及分析方面的確定

評(píng)論內(nèi)容的詞頻分布與反映的內(nèi)容、蘊(yùn)含的情感具有緊密的關(guān)系。通過(guò)詞頻分析，我們可以得到評(píng)論文本反映的產(chǎn)品方面和用戶的情感傾向。統(tǒng)計(jì)詞頻前，要先對(duì)文本進(jìn)行分詞，并刪除一些虛詞和助詞等對(duì)整體的內(nèi)容和情感分析幫助不大的詞。根據(jù)詞頻統(tǒng)計(jì)結(jié)果，結(jié)合其他行業(yè)的文獻(xiàn)分析，最終確定搬家服務(wù)的分析方面。

2.4 文本的方面分類(lèi)

評(píng)論文本分成短句之后，每個(gè)短句的文字?jǐn)?shù)量一般在10個(gè)字左右，而且語(yǔ)法不規(guī)范，僅憑文字特征不能充分反映其含義和類(lèi)別。本文參考了Devlin[5]等提出的預(yù)訓(xùn)練語(yǔ)言模型，利用網(wǎng)絡(luò)上大量存在的文本進(jìn)行訓(xùn)練，學(xué)習(xí)其中的字、詞出現(xiàn)的規(guī)律，建立一個(gè)符合海量文本分布的模型。本文以預(yù)訓(xùn)練模型為基礎(chǔ)，搭建了一個(gè)文本分類(lèi)模型，并用實(shí)際語(yǔ)料進(jìn)行微調(diào)，最后用這個(gè)模型將短句按照不同的方面進(jìn)行分類(lèi)。

2.5 文本的情感分值計(jì)算

文本的情感分析是指對(duì)文本中包含的情感的極性和程度進(jìn)行計(jì)算。對(duì)于評(píng)論文本，計(jì)算的是用戶對(duì)商品的喜愛(ài)和厭惡的程度，反映了用戶的滿意度。本文使用了Tian Hao等(2020)[6]提出的SKEP模型，在多個(gè)情感計(jì)算任務(wù)中獲得了最佳效果。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)

58同城是搬家行業(yè)內(nèi)比較活躍的網(wǎng)站。筆者在58同城上下載了2018—2021年共4年的評(píng)論數(shù)據(jù)，共計(jì)24172條。經(jīng)過(guò)預(yù)處理和分割后，得到的短句數(shù)量為121686條。

3.2 詞頻分析和分析方面的確定

對(duì)預(yù)處理后的全部評(píng)論文本進(jìn)行分詞，去除停用詞，并進(jìn)行詞頻統(tǒng)計(jì)。對(duì)高頻詞及對(duì)應(yīng)的文本進(jìn)行分析，并參考酒店、旅游等其他行業(yè)的方面分類(lèi)，確定了如表1所示的5個(gè)分析方面。

表1 分析方面的確定

3.3 短句的方面分類(lèi)

對(duì)分割后得到的短句，取其中1萬(wàn)條按前文確定的方面進(jìn)行人工標(biāo)注。為了讓分類(lèi)器工作在“無(wú)偏”的模式下，可對(duì)各個(gè)方面的標(biāo)注語(yǔ)料進(jìn)行平衡，刪多補(bǔ)少，讓各個(gè)方面的訓(xùn)練語(yǔ)料數(shù)量比較接近。按照前文的方法，用這些語(yǔ)料對(duì)文本分類(lèi)器模型進(jìn)行微調(diào)，并用微調(diào)后的模型對(duì)短句進(jìn)行方面分類(lèi)，得到的結(jié)果如表2所示。

表2 短句的方面分類(lèi)

3.4 評(píng)論的情感計(jì)算

在分割后的評(píng)論短句中取1萬(wàn)條，在搬家服務(wù)評(píng)論的語(yǔ)境下進(jìn)行標(biāo)注，情感極性為積極的標(biāo)為1，消極的標(biāo)為0。對(duì)標(biāo)注語(yǔ)料的類(lèi)別進(jìn)行平衡處理，按照前文的方法，用這些語(yǔ)料對(duì)情感計(jì)算模型進(jìn)行微調(diào)。用微調(diào)后的模型計(jì)算全部短句的情感分值，并計(jì)算用戶滿意度，得到的結(jié)果如表3所示。

4 基于方面的搬家服務(wù)質(zhì)量分析和提升

4.1 服務(wù)質(zhì)量分析

(1)從表3可以看出，溝通聯(lián)絡(luò)方面的用戶滿意度為97.15%，呈現(xiàn)小幅增長(zhǎng)趨勢(shì)，從2018年的96.69%增加到2021年的98.78%。從評(píng)論文本來(lái)看，差評(píng)中排名靠前的詞語(yǔ)包括：差、態(tài)度、電話、售后服務(wù)等；得分最低的短句為：跟客服溝通態(tài)度還很不好、售后服務(wù)差、客服態(tài)度極差、電話響應(yīng)慢、接線員態(tài)度差等。由此可以看出，在溝通聯(lián)絡(luò)方面用戶不滿意的是溝通態(tài)度和售后服務(wù)、電話響應(yīng)速度等。

表3 各方面的用戶滿意度和評(píng)論數(shù)

(2)服務(wù)價(jià)格方面的用戶滿意度為84.72%。對(duì)差評(píng)進(jìn)行詞頻分析，前幾名分別是收費(fèi)、依據(jù)、加價(jià)、沒(méi)有、標(biāo)準(zhǔn)、臨時(shí)、中途、費(fèi)用等。得分最低的短句為：商家報(bào)價(jià)非常離譜、當(dāng)我拿價(jià)格跟貨拉拉比時(shí)對(duì)方直接爆粗口辱罵(價(jià)格多120%)、報(bào)價(jià)很離譜、價(jià)格太虛高。由此可以看出，在服務(wù)價(jià)格方面，雖然整體滿意度逐年增加，但在最高的2021年才有89.77%，是需要大幅提高和加強(qiáng)監(jiān)管的方面。用戶最不滿意的是報(bào)價(jià)虛高和臨時(shí)加價(jià)、收費(fèi)沒(méi)有標(biāo)準(zhǔn)等。

(3)服務(wù)質(zhì)量方面的用戶滿意度為88.92%。差評(píng)中提到最多的詞匯包括輕放、易碎、碰、打包、磕、拆裝等。得分最低的短句為：商家服務(wù)非常野蠻、服務(wù)很差勁、柜子搬散架了我沒(méi)說(shuō)什么水壺碎了化妝品全部掉出來(lái)有些擠得到處是我也沒(méi)說(shuō)什么。由此可以看出，在服務(wù)質(zhì)量方面，雖然滿意度逐年增加，但在最高的2021年才有93.67%，還有提升的空間。用戶最不滿意的是野蠻服務(wù)、不注意保護(hù)物品、服務(wù)不規(guī)范等。

(4)人員素質(zhì)方面的用戶滿意度為95.11%。對(duì)差評(píng)進(jìn)行詞頻分析，其中前幾名分別是專(zhuān)業(yè)、小心、累、滿頭大汗、辛苦、力氣、扛等。得分最低的短句為：搬家?guī)煾邓刭|(zhì)超級(jí)低、員工也是態(tài)度極其差、商家的工人素質(zhì)太差、搬貨的人態(tài)度一點(diǎn)都不好等。由此可以看出，在人員素質(zhì)方面，雖然整體滿意度逐漸增長(zhǎng)，但還需進(jìn)一步提升。用戶最不滿意的是工人素質(zhì)差、動(dòng)作野蠻、態(tài)度不好等。

4.2 行業(yè)監(jiān)管和質(zhì)量提高

從以上數(shù)據(jù)和分析可以看出，搬家服務(wù)的用戶滿意度呈現(xiàn)逐年增加的態(tài)勢(shì)。從各方面來(lái)看，溝通聯(lián)絡(luò)和人員素質(zhì)方面的滿意度較高，而服務(wù)價(jià)格和服務(wù)質(zhì)量方面滿意度較低。對(duì)于從業(yè)者和監(jiān)管者，可考慮從以下幾個(gè)角度改善。

4.2.1 制定服務(wù)收費(fèi)清單，提高價(jià)格透明度

用戶對(duì)于服務(wù)價(jià)格太高和臨時(shí)加價(jià)、亂收費(fèi)方面意見(jiàn)最大?？刹扇∪缦麓胧阂?guī)定明確的收費(fèi)項(xiàng)目清單和指導(dǎo)價(jià)，商家根據(jù)指導(dǎo)價(jià)在網(wǎng)站上公布具體報(bào)價(jià)，供雙方在結(jié)賬時(shí)簽字使用，若有爭(zhēng)議，雙方可對(duì)交易提起仲裁。具體計(jì)價(jià)清單可以包括起步價(jià)、上下每一層樓梯的價(jià)格、停車(chē)位置到搬動(dòng)起始點(diǎn)的距離、是否使用電梯、貴重物品清單和價(jià)格、高難度物品清單和價(jià)格、誤餐費(fèi)、超時(shí)費(fèi)、特殊要求收費(fèi)等，被仲裁交易的百分比可作為對(duì)商家考核和監(jiān)管的重要指標(biāo)。

4.2.2 制定服務(wù)規(guī)范，提高服務(wù)質(zhì)量

在服務(wù)質(zhì)量方面，用戶的意見(jiàn)集中在操作流程、物品是否得到妥善保護(hù)、安放是否到位等方面。對(duì)此，建議網(wǎng)站和行業(yè)監(jiān)管協(xié)會(huì)制定具體的服務(wù)規(guī)范，內(nèi)容包括現(xiàn)場(chǎng)服務(wù)流程、溝通聯(lián)絡(luò)的態(tài)度、物品打包和保護(hù)措施、物品裝運(yùn)注意事項(xiàng)、物品安裝和放置事項(xiàng)、售后服務(wù)事項(xiàng)等。

以上兩條是對(duì)交易雙方的承諾和約束，讓雙方在交易之前都明確各自的權(quán)利和義務(wù)，避免事后出現(xiàn)爭(zhēng)議。在補(bǔ)齊這兩個(gè)短板之后，相信用戶的直觀感受也會(huì)大幅提升，從而提高整個(gè)行業(yè)的服務(wù)質(zhì)量。

5 結(jié)語(yǔ)

本文以58同城網(wǎng)站上用戶對(duì)搬家服務(wù)的評(píng)論為切入點(diǎn)，采用預(yù)訓(xùn)練模型計(jì)算各個(gè)方面的用戶滿意度，并計(jì)算出搬家行業(yè)的總體滿意度。本文處理的基本對(duì)象是短句，解決了句子中多個(gè)方面情感分值混雜的問(wèn)題。進(jìn)一步的研究工作將考慮更多的數(shù)據(jù)來(lái)源、更加合理的方面分類(lèi)、更加精確的情感計(jì)算方法等。