范欣楠
0 引言
近年來(lái),隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、三網(wǎng)融合等IT與通信技術(shù)的迅猛發(fā)展,數(shù)據(jù)的快速增長(zhǎng)成了許多行業(yè)共同面對(duì)的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇。因而信息社會(huì)已經(jīng)進(jìn)入了網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代。大數(shù)據(jù)不僅改變著人們的生活與工作方式、企業(yè)的運(yùn)作模式,甚至還引起科學(xué)研究模式的根本性改變。國(guó)內(nèi)外涌現(xiàn)出一大批依靠商業(yè)模式創(chuàng)新而創(chuàng)造輝煌的企業(yè):蘋果、IBM、Facebook、Google、亞馬遜、阿里巴巴等,縱觀這些商業(yè)模式創(chuàng)新的典范,可以看出這些企業(yè)的創(chuàng)新大都與無(wú)限接近消費(fèi)者有關(guān)、與跨界有關(guān)、都直接或間接地與信息數(shù)字化技術(shù)和互聯(lián)網(wǎng)有關(guān),而大數(shù)據(jù)成為商業(yè)模式創(chuàng)新的基本時(shí)代背景。
對(duì)于大數(shù)據(jù)(Big Data),目前還沒有一個(gè)權(quán)威的定義,其基本上應(yīng)包括三層含義:一是,社會(huì)生活泛數(shù)據(jù)化,互聯(lián)網(wǎng)化將受眾的各種信息數(shù)據(jù)都暴露在網(wǎng)絡(luò)之上;二是,數(shù)據(jù)規(guī)模及生成速度之大,數(shù)據(jù)信息傳播方式也由單中心、單向傳播向多中心、網(wǎng)狀裂變轉(zhuǎn)變,數(shù)據(jù)量呈爆炸式增長(zhǎng);三是,大數(shù)據(jù)技術(shù)之大,隨著數(shù)據(jù)量級(jí)的飛躍,數(shù)據(jù)處理從關(guān)系型數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)、再到聯(lián)機(jī)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等迅猛發(fā)展。在各種技術(shù)不斷發(fā)展與演變的基礎(chǔ)之上大數(shù)據(jù)專門技術(shù)出現(xiàn)。
1 網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用
近幾年,網(wǎng)絡(luò)大數(shù)據(jù)越來(lái)越顯示出巨大的影響作用,正在改變著人們的工作與生活。2012年11月“時(shí)代”雜志撰文指出奧巴馬總統(tǒng)連任成功背后的秘密,其中的關(guān)鍵是對(duì)過(guò)去兩年來(lái)相關(guān)網(wǎng)絡(luò)數(shù)據(jù)的搜集、分析和挖掘。Ebay的分析平臺(tái)每天處理的數(shù)據(jù)量高達(dá)100pb,超過(guò)了納斯達(dá)克交易所每天的數(shù)據(jù)處理量。為了準(zhǔn)確分析用戶的購(gòu)物行為,Ebay定義了超過(guò)500種類型的數(shù)據(jù),對(duì)顧客的行為進(jìn)行跟蹤分析。而由阿里巴巴推出的“雙十一”,現(xiàn)在已經(jīng)毫不低調(diào)地潛入了全球各地,標(biāo)志著“雙十一”成功走向國(guó)際化。截至11日24時(shí),全網(wǎng)總銷售額1229.4億,比2014年增長(zhǎng)52.7%,產(chǎn)生包裹數(shù)6.8億個(gè)。天貓“雙十一”單日交易總額達(dá)到921.17億元,再次取得突破性成功。這些應(yīng)用的實(shí)現(xiàn),得益于企業(yè)對(duì)其往年的情況,特別是用戶的消費(fèi)習(xí)慣、搜索習(xí)慣以及瀏覽習(xí)慣等數(shù)據(jù)所進(jìn)行的綜合分析。大體來(lái)說(shuō),網(wǎng)絡(luò)的大數(shù)據(jù)的應(yīng)用包括以下方面:
(1)大數(shù)據(jù)為企業(yè)獲得消費(fèi)者的真實(shí)需求提供可能。利用網(wǎng)絡(luò)大數(shù)據(jù),企業(yè)能夠洞悉消費(fèi)者的真實(shí)需求,對(duì)消費(fèi)者進(jìn)行準(zhǔn)確細(xì)分,并將企業(yè)產(chǎn)品進(jìn)行即時(shí)、精準(zhǔn)、動(dòng)態(tài)定位。零售業(yè)就是一個(gè)典型的數(shù)據(jù)驅(qū)動(dòng)定制化的行業(yè),目前在線零售商利用實(shí)時(shí)數(shù)據(jù)提供精準(zhǔn)的商品推介已經(jīng)十分普遍。
(2)企業(yè)業(yè)務(wù)活動(dòng)的“大數(shù)據(jù)”化。比如,電子商務(wù),就是將傳統(tǒng)的商業(yè)流通交易流程用網(wǎng)絡(luò)數(shù)據(jù)交換替換的結(jié)果。
(3)大數(shù)據(jù)帶來(lái)的消費(fèi)者對(duì)商品需求從擁有商品變成使用商品。出售模式改為出租模式,與此相對(duì)應(yīng)的收益模式從一次性支付向微支付轉(zhuǎn)變。在軟件行業(yè),應(yīng)用軟件泛互聯(lián)網(wǎng)化改變了消費(fèi)者獲得和使用軟件的方式,例如,開源軟件模式、AppStore模式等。企業(yè)利用“門戶化”建立排他性,提高客戶粘性。
目前以數(shù)據(jù)產(chǎn)品為基本提供物的數(shù)據(jù)公司,按照其不同定位,可以分為三種基本商業(yè)模式:
(1)數(shù)據(jù)租售模式,是向客戶提供原始數(shù)據(jù)的租售,對(duì)數(shù)據(jù)進(jìn)行采集、傳輸和整理。例如,2010年在深圳中小板上市的四維圖新公司,精準(zhǔn)的導(dǎo)航數(shù)據(jù)是公司的核心產(chǎn)品,這家公司因此成為國(guó)內(nèi)第一家上市的導(dǎo)航電子地圖生產(chǎn)企業(yè)。
(2)信息租售模式,是向客戶提供代表某種主題的相關(guān)數(shù)據(jù)集,諸如數(shù)據(jù)包租售等。例如,彭博(Bloomberg)公司,核心競(jìng)爭(zhēng)力在于積累了豐富的金融行業(yè)數(shù)據(jù)和交易數(shù)據(jù),擁有強(qiáng)大的專家和咨詢網(wǎng)絡(luò),構(gòu)建了整合專業(yè)服務(wù)與媒體服務(wù)的全球性服務(wù)平臺(tái)。
(3)知識(shí)租售模式,為客戶提供一體化的業(yè)務(wù)問題解決方案,其關(guān)鍵流程是將大數(shù)據(jù)與行業(yè)知識(shí)利用相結(jié)合,通過(guò)行業(yè)專家深度介入客戶的業(yè)務(wù)流程提供業(yè)務(wù)問題解決方案。比如,為銀行信用卡部門設(shè)計(jì)新的產(chǎn)品和營(yíng)銷方案,幫助保險(xiǎn)部門確定壽險(xiǎn)、車險(xiǎn)等的賠率,幫助投行確定應(yīng)該對(duì)哪些用戶推出新的產(chǎn)品等等。
(4)應(yīng)用租售模式。這一模式建立在“大數(shù)據(jù)”行業(yè)垂直整合的基礎(chǔ)上,需要企業(yè)與客戶進(jìn)行深度合作,其價(jià)值主張是為客戶提供一體化的問題解決方案。例如,IBM公司,已經(jīng)由硬件供應(yīng)商轉(zhuǎn)變?yōu)榉?wù)提供商,提出為用戶提供完整解決方案的價(jià)值主張。面對(duì)大數(shù)據(jù)的到來(lái),又提出“智慧地球”的愿景,部署自己的“大數(shù)據(jù)”戰(zhàn)略。通過(guò)收購(gòu)SPSS、Cognos等公司,使公司業(yè)務(wù)極大擴(kuò)展和豐富。
總之,網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用是基于數(shù)據(jù),基于互聯(lián)網(wǎng)等技術(shù)的普及,和新技術(shù)在用戶生活中的極大滲透,正如谷歌研究部主任彼得·諾維奇所說(shuō),“我們沒有更好的算法,我們只有更多的數(shù)據(jù)”。
2 網(wǎng)絡(luò)大數(shù)據(jù)帶來(lái)的挑戰(zhàn)
網(wǎng)絡(luò)大數(shù)據(jù)面臨著來(lái)自諸多方面的挑戰(zhàn):復(fù)雜性、不確定性和隨機(jī)涌現(xiàn)性,而根本挑戰(zhàn)在于其復(fù)雜性。復(fù)雜性造成網(wǎng)絡(luò)大數(shù)據(jù)存儲(chǔ)、分析、挖掘等多個(gè)環(huán)節(jié)的困難。
2.1 數(shù)據(jù)類型復(fù)雜性
信息技術(shù)的發(fā)展使得數(shù)據(jù)產(chǎn)生的途徑不斷增加,數(shù)據(jù)類型持續(xù)增多。相應(yīng)地,則需要開發(fā)新的數(shù)據(jù)采集、存儲(chǔ)與處理技術(shù),給傳統(tǒng)的文本挖掘帶來(lái)很大的困難。另一方面,不同數(shù)據(jù)類型的有機(jī)融合給傳統(tǒng)的數(shù)據(jù)處理方法帶來(lái)了新的挑戰(zhàn)。
2.2 數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性
傳統(tǒng)上處理的數(shù)據(jù)對(duì)象都是有結(jié)構(gòu)的,能夠存儲(chǔ)到關(guān)系數(shù)據(jù)庫(kù)中,但隨著數(shù)據(jù)生成方式的多樣化,如社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等技術(shù)的發(fā)展和應(yīng)用,非結(jié)構(gòu)化數(shù)據(jù)成為大數(shù)據(jù)的主流形式。目前相關(guān)的研究熱點(diǎn)包括開發(fā)非關(guān)系型數(shù)據(jù)庫(kù)(如Google的BigTable,開源的HBase等)來(lái)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。Google提出了MapReduce計(jì)算框架,Yahoo!、Facebook等公司在此基礎(chǔ)上實(shí)現(xiàn)了Hadoop、Hive之類的分布式架構(gòu),對(duì)非結(jié)構(gòu)化數(shù)據(jù)做基本的分析工作。
國(guó)內(nèi)各大公司和科研單位也啟動(dòng)了用于支撐非結(jié)構(gòu)化處理的基礎(chǔ)設(shè)施研發(fā),如百度的云計(jì)算平臺(tái)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所的凌云(LingCloud)系統(tǒng)等。
2.3 數(shù)據(jù)模式的復(fù)雜性
隨著數(shù)據(jù)規(guī)模的增大,描述和刻畫數(shù)據(jù)的特征必然隨之增大,而由其組成的數(shù)據(jù)內(nèi)在模式將會(huì)以指數(shù)形式增長(zhǎng)。這種面向多模式學(xué)習(xí)的研究則需要綜合利用各個(gè)方面的知識(shí)。
3 大數(shù)據(jù)的發(fā)展前景
據(jù)著名咨詢公司IDC發(fā)布的研究報(bào)告,未來(lái)10年全球大數(shù)據(jù)將增加50倍,管理數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)器的數(shù)量將增加10倍以迎合50倍的大數(shù)據(jù)增長(zhǎng)。網(wǎng)絡(luò)大數(shù)據(jù)不僅數(shù)據(jù)量大、類型繁多,為未來(lái)的商業(yè)社會(huì)和個(gè)人生活提供了無(wú)限可能和機(jī)遇,同時(shí)也帶來(lái)了諸多挑戰(zhàn)。大數(shù)據(jù)將包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在現(xiàn)代互聯(lián)網(wǎng)應(yīng)用中,表現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長(zhǎng)的特點(diǎn)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新技術(shù)的不斷涌現(xiàn)和應(yīng)用。再次,網(wǎng)絡(luò)大數(shù)據(jù)往往呈現(xiàn)出突發(fā)涌現(xiàn)等非線性狀態(tài)演變現(xiàn)象。因此難以對(duì)其變化進(jìn)行有效評(píng)估和預(yù)測(cè)。網(wǎng)絡(luò)大數(shù)據(jù)還常常以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生,具有很強(qiáng)的時(shí)效性,用戶只有把握好對(duì)數(shù)據(jù)流的掌控才能充分利用這些數(shù)據(jù)。
如果說(shuō)上一輪網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用是基于泛互聯(lián)網(wǎng)化,那么新一輪的應(yīng)用將要建立在超越互聯(lián)網(wǎng)、超越大數(shù)據(jù)的思維之上。連接、跨界、融合,不僅帶來(lái)許多新的商業(yè)模式,而且使行業(yè)邊界呈現(xiàn)模糊化趨勢(shì)。
【參考文獻(xiàn)】
[1]王元卓,靳小龍,程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào),2013年6月第36卷第6期.
[2]李文蓮,夏健明.基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J].中國(guó)工業(yè)經(jīng)濟(jì),2013年5月第5期.
[3]http://review.ec.com.cn(中國(guó)國(guó)際電子商務(wù)網(wǎng))[OL].
[4]http://www.china-cloud.com(中云網(wǎng))[OL].
[責(zé)任編輯:王楠]