文/李菲
浩瀚的數(shù)據(jù)是新的生產(chǎn)要素,已成為一種繼自然資源和人力資源之后的重要戰(zhàn)略資源。我們必須擁有一種新型能力:通過對海量數(shù)據(jù)的分析,獲得有巨大價值的產(chǎn)品和服務(wù)
“大數(shù)據(jù)”無疑是當下的最熱門話題之一,掘金大數(shù)據(jù)的“尋寶游戲”正在全球上演。由英國維克托·邁爾-舍恩伯格和肯尼思·庫克耶所著、浙江人民出版社出版發(fā)行的《大數(shù)據(jù)時代》中譯本,于2013年1月和英文原版同步面世,再次引爆了國內(nèi)業(yè)界對“大數(shù)據(jù)”的廣泛討論。維克托被譽為“大數(shù)據(jù)時代的預(yù)言家”,他在該書中高屋建瓴地提出:大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。那么,什么是大數(shù)據(jù),它具有哪些特征?在大數(shù)據(jù)時代,我們的思維模式將經(jīng)歷哪些變革?挖掘和利用大數(shù)據(jù)將對我們的生活、工作方式產(chǎn)生怎樣的影響?應(yīng)對大數(shù)據(jù)的洶涌來襲,我們應(yīng)該怎樣建立規(guī)范自身的新準則?《大數(shù)據(jù)時代》一書以宏大的視野、擲地有聲的觀點和豐富翔實的例子,回答了這些問題。
聯(lián)合國于2009年正式啟動了“全球脈動”倡議項目,拉開了大數(shù)據(jù)促發(fā)展的序幕。與此同時,世界各國政府都逐漸意識到大數(shù)據(jù)的作用,著手研究大數(shù)據(jù)發(fā)展戰(zhàn)略,并開始有益的嘗試。最引人注目的是美國政府于2012年3月提出《大數(shù)據(jù)研究和發(fā)展計劃》,這標志著美國把大數(shù)據(jù)的研究與應(yīng)用上升為國家戰(zhàn)略。
“大數(shù)據(jù)”這一概念最初起源于美國。維基百科對“大數(shù)據(jù)”的定義是:沒有辦法在允許的時間里用常規(guī)的軟件工具對內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。簡言之,“大數(shù)據(jù)”就是傳統(tǒng)IT技術(shù)和數(shù)據(jù)庫軟件無法處理的海量數(shù)據(jù)。通常認為,“大數(shù)據(jù)”具有明顯的3V特征,即Volume(大量化)、Variety(多樣化)、Velocity(快速化)。隨著大數(shù)據(jù)分析與挖掘的深入,其第4個V的特性日益突顯,即Value(價值)。
——大數(shù)據(jù)體量浩大。大量的數(shù)據(jù)從各種源頭通過不同渠道定期產(chǎn)生,數(shù)據(jù)量級已從GB、TB、PB發(fā)展至EB,甚至是ZB(澤字節(jié),等于270字節(jié))?!洞髷?shù)據(jù)時代》書中預(yù)言:到2013年,全球數(shù)據(jù)約達1.2 ZB。如果把這些數(shù)據(jù)全部記錄在書,這些書可覆蓋整個美國52次;如果將之儲存在光盤,就能堆成五堆,每一堆都可以伸到月球。
——大數(shù)據(jù)類型繁多。其類型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)(如文檔、網(wǎng)頁、音頻、圖像和視頻等)。隨著社交網(wǎng)絡(luò)、電子商務(wù)、移動互聯(lián)網(wǎng)的快速發(fā)展,非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)爆發(fā)式增長,至2012 年末其占整個數(shù)據(jù)量的75%以上。
——大數(shù)據(jù)生成快速。數(shù)據(jù)的生產(chǎn)、獲取、處理、分析的速度在持續(xù)加快,形成高速的數(shù)據(jù)流。維克托在書中提到,數(shù)據(jù)的增長速度比世界經(jīng)濟的增長速度快4倍,計算機數(shù)據(jù)處理能力的增長速度則比世界經(jīng)濟的增長速度快9倍。
——大數(shù)據(jù)創(chuàng)造價值。大數(shù)據(jù)隱含著巨大的經(jīng)濟、社會和科研價值,有效地挖掘和使用大數(shù)據(jù),促進各個領(lǐng)域的持續(xù)創(chuàng)新,將對經(jīng)濟社會發(fā)展和科學研究產(chǎn)生巨大的推動作用,其運用前景十分廣闊。
在大數(shù)據(jù)時代,浩瀚的數(shù)據(jù)是新的生產(chǎn)要素,成為一種繼自然資源和人力資源之后的重要戰(zhàn)略資源。大數(shù)據(jù)是人們獲得新的知識、創(chuàng)造新的價值的源泉,大數(shù)據(jù)將成為理解和解決當今許多緊迫的全球問題所不可或缺的重要工具。
大數(shù)據(jù)是促進產(chǎn)業(yè)升級與結(jié)構(gòu)轉(zhuǎn)換的重要推力。在大數(shù)據(jù)的時代,對數(shù)據(jù)海量存儲、快速處理和實時分析的需求,一方面,將對芯片、存儲以及軟件等產(chǎn)業(yè)產(chǎn)生重要影響,推動產(chǎn)品的升級換代;另一方面,將催生數(shù)據(jù)挖掘、數(shù)據(jù)分析等服務(wù)業(yè),創(chuàng)建新的產(chǎn)業(yè)群。采用大數(shù)據(jù)處理方法,生物制藥、新材料研制的生產(chǎn)流程會發(fā)生革命性的變化,還可能形成數(shù)據(jù)制藥、數(shù)據(jù)材料等一系列戰(zhàn)略性新興產(chǎn)業(yè)。
大數(shù)據(jù)是提高企業(yè)創(chuàng)新能力與競爭力的重要因素。擁有大數(shù)據(jù)的企業(yè)通過挖掘“數(shù)據(jù)財富”,將獲得不菲的收益,甚至能改變整個行業(yè)結(jié)構(gòu)。維克托提到:能置身于信息流中央并能收集數(shù)據(jù)的公司通常會繁榮興旺,大放異彩;大數(shù)據(jù)會加劇優(yōu)勝劣汰,企業(yè)一旦掌握了大數(shù)據(jù),不但有可能超過它的對手,還有可能遙遙領(lǐng)先。
大數(shù)據(jù)是改善政府決策能力與國家治理的重要工具。一國擁有大數(shù)據(jù)的規(guī)模及其對數(shù)據(jù)的分析運用能力,將直接關(guān)系數(shù)字空間安全和社會穩(wěn)定。建立在大數(shù)據(jù)基礎(chǔ)上的社會管理,可有效實現(xiàn)對重大安全問題、危機、風險的防范和預(yù)警,更好地服務(wù)民生,促進服務(wù)型政府的構(gòu)建和國家的長治久安。
維克托在《大數(shù)據(jù)時代》一書中,用了近1/3的篇幅詳盡地論述了大數(shù)據(jù)時代的三大思維變革——從依賴隨機樣本向包容所有數(shù)據(jù)轉(zhuǎn)變、從精確性向混雜性轉(zhuǎn)變、從因果關(guān)系向相關(guān)關(guān)系轉(zhuǎn)變,這些轉(zhuǎn)變將改變?nèi)藗兝斫夂徒M建社會的方法,調(diào)整在管理與決策等方面的傳統(tǒng)理念。維克托強調(diào):只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的,如果不接受混亂,剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用;而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。
維克托強調(diào),當今社會必須擁有一種新型能力:通過對海量數(shù)據(jù)的分析,獲得有巨大價值的產(chǎn)品和服務(wù)。在《大數(shù)據(jù)時代》一書中,作者通過上百個通俗易懂的實例,生動闡述了大數(shù)據(jù)所引發(fā)的變革,及其帶來的全新創(chuàng)業(yè)方向、商業(yè)模式和投資機會。以下?lián)衿浣?jīng)典案例按制造業(yè)、服務(wù)業(yè)和社會管理三大類作一介紹:
——大數(shù)據(jù)與制造業(yè):以汽車制造業(yè)為例。大數(shù)據(jù)一旦得以有效利用,就能為改進產(chǎn)品質(zhì)量、拓展創(chuàng)新性應(yīng)用和發(fā)現(xiàn)商機提供有力的支撐。如今的汽車裝滿了芯片、傳感器和各種軟件,一經(jīng)啟動,它們就會及時把汽車狀況信息發(fā)送到制造商的電腦上。這些數(shù)據(jù)在整合之后會進一步改進汽車零件質(zhì)量,掌握這些數(shù)據(jù)的整車制造商就擁有了較大的競爭優(yōu)勢。
——大數(shù)據(jù)與服務(wù)業(yè):以商業(yè)、交通與物流為例。如大數(shù)據(jù)促成了亞馬遜的個性化推薦系統(tǒng),亞馬遜在記錄顧客購買書籍的同時還關(guān)注了顧客瀏覽過的頁面,利用這些數(shù)據(jù)梳理相關(guān)關(guān)系,為客戶提供個性化的建議。據(jù)說,亞馬遜銷售額的1/3來自它的個性化推薦系統(tǒng)。又如當位置信息被數(shù)據(jù)化,新的用途、新價值也會隨之不斷催生。UPS作為世界上最大的快遞承運商與包裹遞送公司,在貨車上裝了傳感器、無線適配器和全球定位系統(tǒng),通過快速多效地利用地理定位數(shù)據(jù),優(yōu)化行車線路,2011年UPS的駕駛員們少跑了4828萬公里路程、節(jié)省了300萬加侖的燃料、減少了3萬公噸的二氧化碳排放量。
——大數(shù)據(jù)與社會管理:以公共衛(wèi)生、社交網(wǎng)絡(luò)為例。最經(jīng)典的例子是谷歌流感趨勢預(yù)測。2009年,在甲型H1N1流感爆發(fā)的幾周前,谷歌就預(yù)測到了冬季流感在全美范圍的傳播,而且具體到特定的地區(qū)和州,這一預(yù)測與官方數(shù)據(jù)的相關(guān)性高達97%。谷歌是通過觀察網(wǎng)上的搜索記錄來完成這個預(yù)測的,其關(guān)注的是特定檢索詞條的使用頻率與流感在時間、空間上的傳播之間的聯(lián)系。而當溝通變成數(shù)據(jù),社交網(wǎng)絡(luò)(Facebook,Twitter)坐擁了大型數(shù)據(jù)寶藏,輕易獲得各行各業(yè)以及三教九流的幾乎所有的動態(tài)信息。
數(shù)據(jù)資產(chǎn)取之不盡,用之不竭。但是,一個亟需正視的現(xiàn)實是,大數(shù)據(jù)在改變世界的同時,也使得個人信息安全、企業(yè)信息安全甚至是國家信息安全面臨著前所未有的挑戰(zhàn)。此外,過分依賴數(shù)據(jù)、濫用數(shù)據(jù)會導致“數(shù)據(jù)獨裁”,以及大數(shù)據(jù)預(yù)測、運算法則等引發(fā)的黑盒子風險。這需要進行多方面的管理變革,建立全新的制度規(guī)范。
制定大數(shù)據(jù)戰(zhàn)略。要深刻認識大數(shù)據(jù)價值,盡快開展大數(shù)據(jù)領(lǐng)域的研究,制定符合國情的大數(shù)據(jù)戰(zhàn)略,為打造“數(shù)據(jù)中國”盡早布局。要把大數(shù)據(jù)作為現(xiàn)代社會基礎(chǔ)設(shè)施的重要組成部分,把握核心環(huán)節(jié)和關(guān)鍵技術(shù),完善相關(guān)機制體制,加快推進重點領(lǐng)域的應(yīng)用。
打造大數(shù)據(jù)產(chǎn)業(yè)。一方面,鼓勵擁有大數(shù)據(jù)資源和大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)公司開展數(shù)據(jù)挖掘與應(yīng)用。阿里巴巴、百度、騰訊等國內(nèi)知名互聯(lián)網(wǎng)公司在挖掘大數(shù)據(jù)方面,有著強烈的利益驅(qū)動力和與生俱來的技術(shù)優(yōu)勢,應(yīng)順理成章地成為大數(shù)據(jù)價值鏈上的創(chuàng)業(yè)公司和領(lǐng)銜先行者。另一方面,推動各領(lǐng)域、各行業(yè)大數(shù)據(jù)的開發(fā)應(yīng)用,從數(shù)據(jù)資產(chǎn)中掘金,最大程度地實現(xiàn)大數(shù)據(jù)的真正價值。
推進大數(shù)據(jù)技術(shù)創(chuàng)新。大數(shù)據(jù)真正價值就像漂浮在海洋中的冰山,第一眼只能看見冰山的一角,而絕大部分都隱藏在表面之下,需要通過持續(xù)地創(chuàng)新,不斷挖掘更多的潛在價值。要解鎖數(shù)據(jù)的價值,必須借助新一代的方法和技術(shù)。積極探索數(shù)據(jù)再利用、重組數(shù)據(jù)、擴展數(shù)據(jù)等數(shù)據(jù)創(chuàng)新,不斷挖掘數(shù)據(jù)的“潛在價值”。深入研究大數(shù)據(jù)計算模型和算法,提升數(shù)字內(nèi)容加工處理軟件效用,努力推動云計算等創(chuàng)新突破和跨越式發(fā)展。
確保信息安全。要在充分評估大數(shù)據(jù)風險的基礎(chǔ)上,認真研究從數(shù)據(jù)生成、數(shù)據(jù)收集到數(shù)據(jù)分析和應(yīng)用各個環(huán)節(jié)敏感數(shù)據(jù)的保密問題。同時,通過制定相關(guān)法律法規(guī)來規(guī)范大數(shù)據(jù)開發(fā)利用行為,建立大數(shù)據(jù)使用規(guī)范和安全標準,促使數(shù)據(jù)使用者以負責任的態(tài)度使用數(shù)據(jù),規(guī)避或減輕對用戶的潛在傷害,加大對信息竊取及篡改的懲罰力度,優(yōu)化大數(shù)據(jù)發(fā)展環(huán)境。