郭濤

8月22—24日，2014中國大數(shù)據(jù)國際高峰論壇在上海舉行。記者隨機采訪了幾位與會嘉賓，他們幾乎異口同聲地表示：大數(shù)據(jù)當(dāng)前最緊迫的任務(wù)是加速落地，不能光講概念，關(guān)鍵還是利用大數(shù)據(jù)為業(yè)務(wù)服務(wù)，促進(jìn)應(yīng)用創(chuàng)新。

不要太浮躁

“浮躁”，這是天云大數(shù)據(jù)首席執(zhí)行官雷濤對當(dāng)前中國大數(shù)據(jù)市場的整體感覺。中國用戶已經(jīng)逐漸認(rèn)識到大數(shù)據(jù)的重要性，并且開始嘗試做一些大數(shù)據(jù)的處理和分析工作，比如采用Hadoop、內(nèi)存計算等技術(shù)構(gòu)建分布式的大數(shù)據(jù)平臺，一些電信運營商日均處理數(shù)據(jù)的規(guī)模達(dá)到了數(shù)百億條，天云大數(shù)據(jù)幫助銀行客戶在其核心系統(tǒng)中采用了Hadoop等。但是，大多數(shù)的用戶仍然習(xí)慣性地將大數(shù)據(jù)與BI（商業(yè)智能）結(jié)合在一起，按照BI的老路子處理大數(shù)據(jù)。而雷濤認(rèn)為，這種作法對于大數(shù)據(jù)而言，無論是思想還是實施方法都是有問題的?！拔覀円呀?jīng)邁入DT（Data Technology）時代。在搭建起適合的大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺后，我們要學(xué)會如何更聰明地處理數(shù)據(jù)。在IT時代，人們更關(guān)注技術(shù)本身，而在DT時代，信息才是核心?！?/p>

北京騰云天下科技有限公司（TalkingData）聯(lián)合創(chuàng)始人、副總裁蔣奇也認(rèn)為，當(dāng)前大數(shù)據(jù)的口號喊得多，而真正落地的大數(shù)據(jù)應(yīng)用和成功的商業(yè)模式還比較少?！拔覀儑L試用移動大數(shù)據(jù)實現(xiàn)風(fēng)險管控，雖然實現(xiàn)起來難度比較大，而且有失敗的風(fēng)險，但我們?nèi)匀挥赂业剡M(jìn)行嘗試?！笔Y奇表示，“最初，用戶不斷產(chǎn)生的新需求促使我們持續(xù)地改進(jìn)自己的產(chǎn)品，增加新功能。后來，我們觀察到一些新的數(shù)據(jù)消費需求，因此在開發(fā)通用的移動大數(shù)據(jù)平臺的基礎(chǔ)上，又增加了許多垂直應(yīng)用，繼續(xù)開拓游戲、電商、金融等細(xì)分市場?！?/p>

“在大數(shù)據(jù)方面，我們欠缺的是基礎(chǔ)知識方面的教育，還有大數(shù)據(jù)的實施和應(yīng)用經(jīng)驗?！辟愂耍⊿AS）軟件研究開發(fā)（北京）有限公司總經(jīng)理劉政語重心長，“大數(shù)據(jù)的出現(xiàn)并不是要替代傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)分析，而是一種有益的補充。不能單純強調(diào)大數(shù)據(jù)在處理非結(jié)構(gòu)化數(shù)據(jù)方面的長處，而忽視或放棄對結(jié)構(gòu)化數(shù)據(jù)的分析。大數(shù)據(jù)若想發(fā)揮其價值，還是要依靠原來的技術(shù)基礎(chǔ)。”

大數(shù)據(jù)價值逐漸顯現(xiàn)

移動互聯(lián)網(wǎng)領(lǐng)域是大數(shù)據(jù)應(yīng)用的前沿。成立于2011年的TalkingData是一家獨立的提供移動大數(shù)據(jù)服務(wù)的公司。截至今年7月底，TalkingData的數(shù)據(jù)服務(wù)已經(jīng)覆蓋8億臺終端設(shè)備?！耙郧?，一個APP的開發(fā)團隊沒有渠道去了解和掌握其開發(fā)的APP的用戶下載和使用情況。我們提供了一個云端的分析平臺，可以從終端上提取APP用戶的行為數(shù)據(jù)并進(jìn)行分析，然后將結(jié)果反饋給APP開發(fā)團隊，這樣有利于其產(chǎn)品迭代?！笔Y奇介紹說，“我們目前支持的應(yīng)用超過4萬個，滴滴打車、聚美優(yōu)品和許多知名的游戲廠商都是我們的用戶?！?/p>

TalkingData的目標(biāo)客戶群十分明確，就是個人消費者。蔣奇認(rèn)為，只有為個人消費者提供服務(wù)才能真正展現(xiàn)大數(shù)據(jù)的價值。雖然服務(wù)的是個人消費者，但TalkingData合作的對象都是企業(yè)用戶。幫助這些企業(yè)了解其客戶的情況，實現(xiàn)精確營銷是TalkingData的主要任務(wù)。蔣奇舉例說，以前，采用線下發(fā)卡的方式，由于開卡周期長，招商銀行的信用卡開卡率只有30%左右。招商銀行希望改用線上發(fā)卡，但又苦于沒有好的辦法進(jìn)行信用風(fēng)險評估。TalkingData根據(jù)信用卡申請人提交的家庭地址、單位地址和所持移動設(shè)備的MAC地址信息，利用先進(jìn)的算法可以反推并核實信用卡申請人提交的信息是否正確，而這一過程只需三五分鐘。

利用從終端設(shè)備上獲取的“去敏感”數(shù)據(jù)，TalkingData可以反算出設(shè)備擁有者的個人信息、喜好等，然后將這些信息提供給傳統(tǒng)行業(yè)的用戶，幫助他們實現(xiàn)業(yè)務(wù)增值。蔣奇表示：“未來，我們希望在機器學(xué)習(xí)、智能挖掘等技術(shù)方面更進(jìn)一步，同時在算法上有新的突破。”

SAS在結(jié)構(gòu)化數(shù)據(jù)分析方面擁有領(lǐng)先的技術(shù)和全面的解決方案。劉政認(rèn)為，現(xiàn)在SAS已經(jīng)可以很好地解決大數(shù)據(jù)“大”這個問題。用傳統(tǒng)的方式處理幾百行數(shù)據(jù)都要很長時間，但現(xiàn)在采用多線程、分布式的處理方式后，可以大大提高數(shù)據(jù)處理的效率。“傳統(tǒng)的工作方式是從數(shù)據(jù)庫中讀取數(shù)據(jù)，然后建模、分析?，F(xiàn)在，我們將計算模型放到數(shù)據(jù)庫中，不用提取數(shù)據(jù)，在數(shù)據(jù)庫中即可完成數(shù)據(jù)的處理和分析，從而提高了數(shù)據(jù)處理和分析的速度。利用內(nèi)存處理技術(shù)，我們可以實時地進(jìn)行數(shù)據(jù)處理?！眲⒄榻B說，“我們將可視化技術(shù)與內(nèi)存技術(shù)相結(jié)合，幾秒鐘就可以把所有數(shù)據(jù)掃描一遍，并得到實時處理結(jié)果，這讓大數(shù)據(jù)分析變得非常簡單，就像使用傻瓜相機一樣?！?/p>

大數(shù)據(jù)對各行各業(yè)都產(chǎn)生了積極的影響。人們開始利用大數(shù)據(jù)輔助決策，并取得了很好的效果。

數(shù)據(jù)可視化的演進(jìn)

處于大數(shù)據(jù)生態(tài)系統(tǒng)頂端的數(shù)據(jù)可視化引起了越來越多人的關(guān)注。在數(shù)據(jù)實時處理方面頗有心得的SAS公司在數(shù)據(jù)可視化方面也充分展現(xiàn)了其速度上的優(yōu)勢。據(jù)劉政介紹，SAS公司將內(nèi)存計算等技術(shù)運用于數(shù)據(jù)可視化，即使處理超過10億行的數(shù)據(jù)也可以實時得到結(jié)果。SAS將數(shù)據(jù)的實時處理分析與數(shù)據(jù)可視化技術(shù)進(jìn)行了很好的整合。

在數(shù)據(jù)可視化方面有20多年經(jīng)驗的Datawatch公司通過其在中國的惟一合作伙伴國泰安金融教育集團進(jìn)入了中國市場。Datawatch公司董事總經(jīng)理Karl Mouantri表示，電信、零售等希望通過大數(shù)據(jù)促進(jìn)其業(yè)務(wù)發(fā)展的行業(yè)客戶會最先使用數(shù)據(jù)可視化工具。在全球，許多知名的金融企業(yè)、IT公司和像波音、沃爾瑪這樣的傳統(tǒng)行業(yè)的大客戶都采用了Datawatch的數(shù)據(jù)可視化工具。國泰安金融教育集團將自己積累的行業(yè)數(shù)據(jù)與Datawatch的數(shù)據(jù)可視化工具進(jìn)行整合，為中科院的科研數(shù)據(jù)分析提供了解決方案。在中國市場上，Datawatch并沒有急功近利，它們希望通過與國泰安金融教育集團這樣既有遠(yuǎn)見，又在金融、教育等行業(yè)有深厚積累的公司進(jìn)行合作，扎扎實實地推進(jìn)業(yè)務(wù)發(fā)展，同時從中國的高校起步，加強對學(xué)生的教育和培訓(xùn)，讓他們對數(shù)據(jù)可視化有更深入的了解。

Karl Mouantri一直強調(diào)，Datawatch是一家具有顛覆性創(chuàng)新能力的公司，在大數(shù)據(jù)的實時處理和可視化技術(shù)方面擁有獨特的優(yōu)勢。Datawatch的產(chǎn)品具有直觀的數(shù)據(jù)可視化分析、全面的數(shù)據(jù)過濾和報警功能，能夠處理不同來源的數(shù)據(jù)?！拔覀兗瓤梢蕴幚斫?jīng)過預(yù)先清洗的數(shù)據(jù)，也可以直接采集原始數(shù)據(jù)?！盞arl Mouantri介紹說，“有些經(jīng)過清洗的數(shù)據(jù)可能會丟失一些重要的信息。為了得到更準(zhǔn)確的分析結(jié)果，我們可以直接抓取原始數(shù)據(jù)并進(jìn)行處理和展現(xiàn)?！?/p>

Karl Mouantri認(rèn)為，對于大數(shù)據(jù)來說，數(shù)據(jù)可視化的工作是必須的。數(shù)據(jù)可視化不僅僅服務(wù)于企業(yè)的高層管理人員，而且也是企業(yè)的基層員工必備的工具，比如從事運維、倉儲工作的員工也需要實時查看業(yè)務(wù)的進(jìn)展。Karl Mouantri舉例說，在美國，沃爾瑪超市每天早、中、晚要三次清點貨品，查漏補缺。因此，它們非常需要Datawatch的數(shù)據(jù)實時處理和可視化工具，以便實時監(jiān)測數(shù)千種商品的情況?！拔覀円盐譅柆敵械倪@種成功經(jīng)驗帶到中國來?！盞arl Mouantri表示。

不過，對于數(shù)據(jù)可視化的作用和必要性，雷濤有不同的觀點。他認(rèn)為，從數(shù)據(jù)采集、存儲到處理、分析，再到可視化，這是傳統(tǒng)BI的思路。但在DT時代，企業(yè)決策要扁平化，服務(wù)要下沉。

“我們幫助一個保險業(yè)的客戶實現(xiàn)了數(shù)據(jù)庫前置，將大數(shù)據(jù)分析的結(jié)果直接推送給18萬名銷售代表。我們給出的分析結(jié)果只是一個簡單的提示，即某個銷售人員最應(yīng)該關(guān)注哪個客戶，僅此而已。這時，傳統(tǒng)的數(shù)據(jù)儀表盤就失去了作用?！崩诐硎荆艾F(xiàn)在，大量的數(shù)據(jù)來自于物聯(lián)網(wǎng)，傳統(tǒng)的數(shù)據(jù)可視化工具已經(jīng)無能為力。我們必須采用新的架構(gòu)、工具?！?/p>

鏈 接

2014中國大數(shù)據(jù)國際高峰論壇由中科院深圳先進(jìn)技術(shù)研究院、中國量化投資研究院、復(fù)旦大學(xué)管理學(xué)院、《上海證券報》社和Datawatch公司共同主辦，500余位國內(nèi)外大數(shù)據(jù)產(chǎn)業(yè)界、學(xué)術(shù)界的頂尖專家和學(xué)者，以及國內(nèi)IT、金融、教育、醫(yī)療等多個領(lǐng)域的代表匯聚一堂，共同探討大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，分享大數(shù)據(jù)應(yīng)用和創(chuàng)新成果，剖析各行業(yè)數(shù)據(jù)分析難題，尋求解決之道。

論壇以“大數(shù)據(jù)的創(chuàng)新、突破、騰飛”為主題，采用主題報告加專題論壇的形式。會議同期還舉辦了大數(shù)據(jù)技術(shù)與應(yīng)用高級研修班。研修班由中科院深圳先進(jìn)技術(shù)研究院國泰安金融大數(shù)據(jù)研究中心主辦，聘請了國內(nèi)外著名的大數(shù)據(jù)專家、學(xué)術(shù)界知名學(xué)者擔(dān)任培訓(xùn)講師。此舉將對高校大數(shù)據(jù)人才培養(yǎng)、企業(yè)高效管理與創(chuàng)新發(fā)展產(chǎn)生積極的意義。