邱敏 梁婷婷 梁天友

摘? 要： 對提供大數(shù)據(jù)技術(shù)服務(wù)的電商，分析其現(xiàn)狀和商業(yè)需求，并通過爬蟲技術(shù)爬取大型電商網(wǎng)站關(guān)于大數(shù)據(jù)分析服務(wù)的真實信息。研究當前小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的銷售價格、月銷數(shù)量、顧客評分等。結(jié)合詞頻分析和統(tǒng)計技術(shù)，分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價格、服務(wù)種類。研究發(fā)現(xiàn)，現(xiàn)有的基于大數(shù)據(jù)技術(shù)的電商服務(wù)存在定價不清、質(zhì)量難以保證、客戶評價真實性存疑等問題。針對問題提出標準化數(shù)據(jù)市場、引入第三方監(jiān)管、建立成熟的收益機制的建議。

關(guān)鍵詞： 數(shù)據(jù)分析; 大數(shù)據(jù); 可視化; 電商服務(wù); 大數(shù)據(jù)技術(shù)

中圖分類號：TP30? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）07-10-04

Market analysis of the data analysis service in the context of big data

Qiu Min， Liang Tingting， Liang Tianyou

（School of Information Engineering， Nanning University， Nanning， Guangxi 530000， China）

Abstract： This paper analyzes the current situation and business needs of e-commerce company which provides big data technology services， and crawls the real information about big data analysis services on large e-commerce websites through crawler technology. The current sales price， monthly sales volume and customer ratings of small data analysis service and personal data analysis service are researched. Combining with word frequency analysis and statistical technology， the quality， price and service type of big data analysis service of large-scale e-commerce websites are analyzed. Through the research， it is found that the existing e-commerce services based on big data technology have some problems， such as unclear pricing， difficult quality assurance， and doubt about the authenticity of customer evaluation. In view of the problems， the suggestions of standardizing the data market， introducing the third-party supervision， and establishing a mature revenue mechanism are put forward.

Key words： data analysis; big data; visualization; e-commerce service; big data technology

0 引言

近年來，隨著移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能的迅猛發(fā)展，全球大數(shù)據(jù)存儲量持續(xù)快速增長，其中中國數(shù)據(jù)量的增長最為迅速。根據(jù)國際數(shù)據(jù)公司（IDC）的監(jiān)測數(shù)據(jù)顯示，2013年至2018年全球大數(shù)據(jù)儲量分別為4.3ZB、 6.6ZB、8.6ZB、16.1ZB、21.6ZB、33.0ZB，近年全球大數(shù)據(jù)儲量的增速每年都保持在40%左右。根據(jù)IDC最新發(fā)布的統(tǒng)計數(shù)據(jù)，中國的數(shù)據(jù)產(chǎn)生量約占全球數(shù)據(jù)產(chǎn)生量的23%[1]。

IDC最新發(fā)布的《全球半年度大數(shù)據(jù)支出指南，2018H2》預(yù)測在2019年度，大數(shù)據(jù)與商業(yè)分析解決方案全球市場的整體收益將達到1896.6億美元，相比2018年增長12.1%。IDC預(yù)測，2019年中國大數(shù)據(jù)市場總體收益將達到96.0億美元，2019-2023年預(yù)測期內(nèi)的年CAGR（復(fù)合年均增長率）為23.5%，增速高于全球平均水平。到2023年，市場規(guī)模則將增長至224.9億美元[2]。

在這樣的背景下，數(shù)據(jù)在全球市場經(jīng)濟運轉(zhuǎn)中的價值日趨顯著，所以數(shù)據(jù)分析服務(wù)應(yīng)當順應(yīng)當前國家政策以及未來市場，收集大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實信息和數(shù)據(jù)相關(guān)的門戶網(wǎng)站，研究當前小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的銷售情況與大型門戶網(wǎng)站的定價、服務(wù)，從小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的需求程度、服務(wù)反饋，來分析小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的發(fā)展趨勢，并分析兩者之間的優(yōu)缺點。

1 電商服務(wù)現(xiàn)狀分析

1.1 淘寶

淘寶網(wǎng)是中國現(xiàn)下最受歡迎的專業(yè)網(wǎng)購零售平臺之一，注冊用戶數(shù)量高達5億，日均瀏覽量超過1.3億。在淘寶出售數(shù)據(jù)分析等相關(guān)服務(wù)，在沒有知名度的情況下，前期不需要投入大量宣傳投入，靠著淘寶自帶的流量，也不會擔(dān)憂沒有人流量。但淘寶的數(shù)據(jù)分析服務(wù)也存在如下問題。

⑴ 數(shù)據(jù)和人工成本估算，以及數(shù)據(jù)收益機制還不成熟，導(dǎo)致商品的定價沒有統(tǒng)一標準，也沒有可參考的依據(jù)，價格相差過大，客戶無法判斷商家所給的定價是否與自己的需求相匹配。

⑵ 交易雙方信任機制難以建立，把握數(shù)據(jù)使用流向問題難以解決[3]。淘寶商家在淘寶注冊商鋪資質(zhì)最低費用為1000元，若是發(fā)生糾紛，商家跑路所需承擔(dān)的風(fēng)險很小，個人的權(quán)益難以保障。

⑶ 交易評價真實性不可查，涉及電商銷售，難免會存在刷單行為，客戶也很難辨別商品評論的真實性，存在被誤導(dǎo)以及引誘消費的風(fēng)險。

1.2 大型門戶網(wǎng)站

本研究以數(shù)據(jù)為關(guān)鍵詞，找尋了四個大型門戶，分別對它們的框架、定價、服務(wù)對象進行研究分析。

火車采集器主打數(shù)據(jù)采集，有較為清晰的定價，有免費版供需求不多、不需要太深入處理數(shù)據(jù)的人群使用，更多的版本選擇讓用戶可以自由的根據(jù)自己的需求做選擇。除此之外，還有在線客服可進行咨詢、指導(dǎo)。

八爪魚采集器主打數(shù)據(jù)采集，操作簡單，是人人可用的數(shù)據(jù)采集器。采集教程有圖文版和視頻教程，讓客戶更容易上手。采集軟件也有不同的定價，方便客戶選擇。問題的解決方案也有細分，涵蓋了新聞采集、電商采集、金融采集數(shù)據(jù)服務(wù)、市場洞察等十幾種，可為不同領(lǐng)域的客戶提供有針對性的方案。

前嗅主打數(shù)據(jù)采集和大數(shù)據(jù)可視化。比起前兩個按軟件的版本來定價，前嗅的定價更為詳細些。前兩者的數(shù)據(jù)采集需要自己動手完成，而前嗅有ForeSpider數(shù)據(jù)采集引擎可自己爬取數(shù)據(jù)，也可以選擇數(shù)據(jù)代采。在數(shù)據(jù)采集這個模塊，前嗅就分出了6種服務(wù)及定價，對客戶來說更詳細也更好理解?？梢暬瘓蟾娣殖隽?種不同的需求，預(yù)存云數(shù)據(jù)系統(tǒng)，研究報告和定制報告。還可根據(jù)客戶數(shù)據(jù)進行情感分析、用戶畫像分析、語義識別等。

集搜客主打網(wǎng)頁抓取和內(nèi)容分析，主要是對文本的處理和情感分析。集搜客有專門的爬蟲軟件，分為4個版本，每個版本都有自己的定價。除此之外，也有定制服務(wù)的價格，劃分出了6個定制項目，并顯示每個服務(wù)最低的價格。

火車采集器、八爪魚采集器、前嗅、集搜客在頁面下方都放了合作的企業(yè)，其中有中國人民銀行、中國電信、可口可樂、鳳凰網(wǎng)、中國平安等知名大型企業(yè)，對它們是一種能力的認證，也是交易的認可。

2 數(shù)據(jù)分析服務(wù)的商業(yè)需求

2.1 淘寶：小型數(shù)據(jù)服務(wù)方

本研究以“數(shù)據(jù)分析”為關(guān)鍵詞，于2020年8月通過爬蟲技術(shù)爬取淘寶電商網(wǎng)站的529條信息。其中包括9個字段：商品名、鏈接、圖片、價格、郵費、店鋪名、月銷數(shù)量、店鋪評分、發(fā)貨地等。去除重復(fù)、不符主題的噪聲數(shù)據(jù)，留取了202條有效數(shù)據(jù)。去除對本次研究沒有研究意義的字段，本研究將對這202條有效數(shù)據(jù)的價格、月銷數(shù)量、高頻關(guān)聯(lián)詞、發(fā)貨地這四個字段進行分析。

2.2 門戶網(wǎng)站：大型數(shù)據(jù)服務(wù)方

2.2.1火車采集器

火車采集器是目前互聯(lián)網(wǎng)上應(yīng)用最廣泛的數(shù)據(jù)處理、分析和挖掘軟件。軟件憑借其靈活的配置與強大的性能領(lǐng)先國內(nèi)其他數(shù)據(jù)采集類產(chǎn)品，并贏得眾多企業(yè)和用戶認可。目前共客戶使用的有五個版本，可以免費使用，有需要更強大功能的付費版本，價格在960元至8600元，購買后的版本均可終身使用。

2.2.2 八爪魚采集器

八爪魚采集器是一款擁有百萬用戶的數(shù)據(jù)采集軟件，其使用方法簡單易懂，不懂網(wǎng)絡(luò)爬蟲技術(shù)，也能輕松采集想要的數(shù)據(jù)。目前共客戶使用的有七個版本，有免費的版本，付費版本價格在49元至69800元以及根據(jù)顧客要求制定節(jié)點再定價格。私有部署版、數(shù)據(jù)服務(wù)都沒有明確的價格，需要根據(jù)客戶需求來制定方案，再根據(jù)方案制定價格。

2.2.3 前嗅智能大數(shù)據(jù)專家

前嗅是可提供數(shù)據(jù)采集、定制和研究可視化報告、自然語言處理以及大數(shù)據(jù)周邊配套產(chǎn)品等且擁有國內(nèi)唯一自主知識產(chǎn)權(quán)Web服務(wù)器系統(tǒng)的大型門戶網(wǎng)站。在價格的制定上，比前兩者分的更細，許多服務(wù)的起步價多為200元至400元。劃分板塊多，衍生的服務(wù)更為多樣。

2.2.4 集搜客GooSeeker

集搜客GooSeeker是一款網(wǎng)頁抓取和內(nèi)容分析，把互聯(lián)網(wǎng)裝進表格和數(shù)據(jù)庫的軟件。網(wǎng)絡(luò)爬蟲軟件目前有四個版本，除了免費版本外，其他三個版本的價格在49元至20000元之間，還有根據(jù)需求的定制服務(wù)。

通過對以上四個大型門戶網(wǎng)站的調(diào)研，發(fā)現(xiàn)每個服務(wù)方所服務(wù)的人顧客群體有所區(qū)別，需求存在著明顯的差異?；疖嚥杉骱桶俗︳~采集器都是主打數(shù)據(jù)采集的軟件，但價格上卻有所差別，火車采集器的價格明顯比八爪魚便宜，可見針對的目標客戶是不一樣的。前嗅智能大數(shù)據(jù)專家針對的是有大數(shù)據(jù)技術(shù)需求方面的人群，大數(shù)據(jù)的衍生服務(wù)也包括在內(nèi)，多樣且全能。集搜客是針對有網(wǎng)頁抓取和內(nèi)容分析，主要是對文本的處理和情感分析的需求的顧客群體。以上四個大型門戶網(wǎng)站都有自己明確的市場定位，針對不同的需求，發(fā)展自己的特點。

3 數(shù)據(jù)調(diào)查與分析的方法及過程

利用爬蟲技術(shù)爬取了2020年8月大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實信息，研究當前小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的銷售價格、月銷數(shù)量、顧客評分等，結(jié)合詞頻分析和統(tǒng)計技術(shù)，以及分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價格、服務(wù)種類。

3.1 價格分析

在本次爬取的信息中，價格較為多樣化，單價從1元到500元不等，數(shù)字較為隨機，可見淘寶的數(shù)據(jù)分析標準沒有統(tǒng)一，差異性較大。大多標價也非實際交易價格，實際交易價格往往是在雙方交流后才確定的價格。沒有統(tǒng)一的定價標準，會導(dǎo)致顧客在購買服務(wù)之前難以了解實際交易價格與自己心理預(yù)期價格的差距，從而難以選擇與自己心理預(yù)期相符的服務(wù)。

3.2 月銷數(shù)量

在本次爬取的信息中，單項付款最多人數(shù)為717人，最少為0人，月銷數(shù)量大于100的占總收集信息的10%。但僅看付款數(shù)量無法判斷實際交易人數(shù)，因為一人可拍下數(shù)量不可知（如：單價100元，在交流后，所需服務(wù)實際需要為400元，可以單價*4拍下）。如圖1所示。

3.3 高頻次關(guān)聯(lián)詞

在本次爬取的信息中，標題中除了數(shù)據(jù)分析出現(xiàn)的高頻詞匯有：spss、可視化、爬蟲、python、stata、統(tǒng)計。出現(xiàn)的頻次分別為：可視化出現(xiàn)61次、spss出現(xiàn)59次、stata出現(xiàn)30次、python出現(xiàn)31次、爬蟲出現(xiàn)23次、統(tǒng)計出現(xiàn)19次。其中spss、stata、python都是數(shù)據(jù)分析工具，不同的行業(yè)與需求對數(shù)據(jù)分析工具有不同的要求，可視化的高頻次出現(xiàn)體現(xiàn)著客戶對數(shù)據(jù)可視化的需求強烈。如圖2所示。

3.4 發(fā)貨地分析

在本次爬取的信息中，發(fā)貨地有北京、上海、杭州、深圳、南京、成都和武漢等地址。其中出現(xiàn)次數(shù)較多的為北京、上海、南京，分別為44次、29次、16次。這三大城市的占比為44%，可見這三大城市的數(shù)字經(jīng)濟發(fā)展明顯優(yōu)于其他城市。如圖3所示。

從價格、月銷量、高頻次關(guān)聯(lián)詞、發(fā)貨地址的分析結(jié)果看，以淘寶網(wǎng)為代表的小型數(shù)據(jù)服務(wù)方的定價模糊，沒有清晰、明確的定價標準，月銷量有高有低，但由于定價模糊的關(guān)系，并不能判斷它的真實銷量。從高頻關(guān)聯(lián)詞數(shù)據(jù)分析與可視化關(guān)系緊密這一點看，數(shù)據(jù)可視化是數(shù)據(jù)分析中的一大需求點，發(fā)貨地點多為一線城市，可見經(jīng)濟與數(shù)據(jù)經(jīng)濟關(guān)系成正比關(guān)系。

4 結(jié)論與建議

經(jīng)過研究和分析電商數(shù)據(jù)分析服務(wù)的多方面數(shù)據(jù)，獲知了以淘寶電商為主體的小型數(shù)據(jù)分析服務(wù)在體系上的不完善，多數(shù)是在商品標題添加相關(guān)詞，但商品詳情頁面沒有詳細的服務(wù)名稱、服務(wù)范圍、服務(wù)價格，大多需要咨詢客服才能了解;以大型門戶網(wǎng)站為主題的數(shù)據(jù)分析服務(wù)為主體的數(shù)據(jù)分析服務(wù)都有著自己明確且清晰的體系，有詳細的產(chǎn)品分類，可提供服務(wù)的范圍，有標準的定價，以及自己的主打的特色產(chǎn)品，火車采集器、八爪魚采集器、集搜客也提供有免費的服務(wù)，供客戶體驗產(chǎn)品、了解產(chǎn)品。當前我國數(shù)據(jù)資源流通存在諸多瓶頸問題，尚不具備作為一種生產(chǎn)要素的商品化、資產(chǎn)化機制，無法界定權(quán)屬、無法評估質(zhì)量、無法有效定價、無法可信流通等問題較為突出[3]。在此提出以下建議供參考。

⑴ 推進建立商品化、資產(chǎn)化和規(guī)范化的數(shù)據(jù)商品體系。

⑵ 建立第三方數(shù)據(jù)監(jiān)督機構(gòu)。市場的數(shù)據(jù)質(zhì)量難以保障，已過期數(shù)據(jù)、錯誤數(shù)據(jù)、沒有意義的數(shù)據(jù)俯拾皆是，第三方機構(gòu)可監(jiān)督數(shù)據(jù)的來源，評判數(shù)據(jù)的可用性。

⑶ 小型數(shù)據(jù)分析服務(wù)應(yīng)確立自己的基本框架，將所能提供的服務(wù)、服務(wù)范圍、服務(wù)價格，進行清晰的劃分并標明，讓顧客能更加簡單便捷、有對比性的了解所提供的服務(wù)。

⑷ 建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機制?？v觀淘寶和大型門戶網(wǎng)站對同類服務(wù)的定價，價格相差懸殊。建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機制可以為客戶避免“貴的就是對的”的心理;也可以避免客戶一味的貪圖便宜買到假數(shù)據(jù)。

5 結(jié)束語

伴隨著“數(shù)據(jù)創(chuàng)造價值，智慧引領(lǐng)經(jīng)濟”的潮流，越來越多的行業(yè)加入到數(shù)據(jù)經(jīng)濟的行列中來。本文分別對幾個不同類型的數(shù)據(jù)電商服務(wù)的框架、定價、服務(wù)對象進行了研究，從目前的數(shù)據(jù)看來，數(shù)據(jù)電商服務(wù)的在定價和數(shù)據(jù)來源方面存在一定的模糊地帶，但隨著國家層面推進大數(shù)據(jù)政策，數(shù)據(jù)電商服務(wù)也會進一步完善，最終形成一個成熟的體系。

參考文獻（References）：

[1] 從全球大數(shù)據(jù)市場看未來發(fā)展趨勢[EB/OL].（2019-08-16）[2020-01-12].http：//bigdata.idcquan.com/news/168822.shtml.

[2] IDC發(fā)布最新版全球大數(shù)據(jù)市場規(guī)模預(yù)測，中國持續(xù)穩(wěn)定增長[EB/OL].（2019-09-12）[2019-12-06].http：//www.elecfans.com/d/1070471.html.

[3] 于施洋，王建冬，郭巧敏.我國構(gòu)建數(shù)據(jù)新型要素市場體系面臨的挑戰(zhàn)與對策[J].電子政務(wù)，2020.3：2-12

[4] 徐鑫.大數(shù)據(jù)環(huán)境下競爭情報分析的變化與方法創(chuàng)新[J].科技情報研究，2020.2：25