劉小剛
一 、大數(shù)據(jù)的內(nèi)涵及其應(yīng)用
(一)大數(shù)據(jù)的概念、特征
現(xiàn)代社會正以不可想象的速度產(chǎn)生海量數(shù)據(jù)。根據(jù)IDC(Internet Data Center)即互聯(lián)網(wǎng)數(shù)據(jù)中心預(yù)測,2020年的數(shù)據(jù)增長量將是2010年的44倍,達到35ZB。大數(shù)據(jù)(big data)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合,是基于云計算的數(shù)據(jù)處理與應(yīng)用模式。大數(shù)據(jù)又稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前的主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策的資訊。
大數(shù)據(jù)具有以下四個基本特征:一是海量的數(shù)據(jù)容量(Volume Big),目前數(shù)據(jù)量級已從TB發(fā)展至PB乃至ZB;二是快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系(Velocity Fast),數(shù)據(jù)流往往為高速實時數(shù)據(jù)流,而且需要快速、持續(xù)的實時處理,處理工具亦在快速演進,軟件工程及人工智能等均可能介入;三是多樣的數(shù)據(jù)類型(Variable Type),數(shù)據(jù)類型繁多,主要為網(wǎng)頁、視頻、圖像與位置信息等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息;四是巨大的數(shù)據(jù)價值和數(shù)據(jù)低密度(Value high and Low density),以視頻安全監(jiān)控為例,連續(xù)不斷的監(jiān)控流中,有價值的可能僅為一兩秒的數(shù)據(jù)流,360°全方位視頻監(jiān)控的“死角”處,可能才挖掘出能被利用的有價值的圖像信息。
(二)大數(shù)據(jù)的應(yīng)用領(lǐng)域
大數(shù)據(jù)是海量交易數(shù)據(jù) 、海量交互數(shù)據(jù)以及海量數(shù)據(jù)處理三種相互關(guān)聯(lián)又迥然各異的技術(shù)趨勢的集合體,每一種技術(shù)趨勢都代表著創(chuàng)新突破和發(fā)展?jié)摿?。隨著各項創(chuàng)新技術(shù)的匯集, 大數(shù)據(jù)的應(yīng)用已經(jīng)相當(dāng)廣泛。
1. 城市管理。搜集城市的地理信息和其他數(shù)據(jù),醫(yī)院、警察局等公共服務(wù)部門的位置,天氣變化,為可能發(fā)生的緊急事件提供預(yù)案;通過各行業(yè)收集到的數(shù)據(jù),分析宏觀數(shù)據(jù),準(zhǔn)確及時地對市場進行調(diào)控;通過在城市多處設(shè)置的傳感器收集交通數(shù)據(jù),從而指導(dǎo)人們確定出行計劃,避免擁堵,有效緩解大城市交通擁擠問題。
2. 農(nóng)工商業(yè)發(fā)展。運用大數(shù)據(jù)對氣象、氣候、地形進行智能分析,形成現(xiàn)代化高科技農(nóng)業(yè)生產(chǎn)模式;形成以大數(shù)據(jù)信息為背景的新型現(xiàn)代化工業(yè),智能自動化生產(chǎn);數(shù)據(jù)分析工具幫助銀行、商店確定最佳的營業(yè)網(wǎng)點,優(yōu)化業(yè)務(wù)的運營;幫助企業(yè)監(jiān)控客戶的商店活動情況與交易記錄,確定商品種類、商品擺放位置、商品調(diào)價的時間和幅度,減少企業(yè)存貨,提升利潤率;在電子商務(wù)方面,準(zhǔn)確分析用戶的購物行為,通過對用戶行為數(shù)據(jù)的分析,決定購物網(wǎng)站的網(wǎng)頁形式和內(nèi)容,把消費者和銷售者對應(yīng)起來,形成新的“銷售—消費”模式;在商品儲存方面,開發(fā)一種供應(yīng)鏈模型,根據(jù)產(chǎn)品線的銷售情況、運輸費用、儲存費用,提供極為準(zhǔn)確的成本維護視圖,建立最優(yōu)化的商業(yè)經(jīng)營模式。
3. 市場研究。安裝搜集運營數(shù)據(jù)的裝置,實時連續(xù)地收集網(wǎng)絡(luò)信息,使我們更快地對市場做出反應(yīng);利用菜單變化、餐廳設(shè)計以及勞動生產(chǎn)力的培訓(xùn)程度對銷售額影響進行建模,獲取各因素與銷售額的相關(guān)關(guān)系。
4. 個人服務(wù)。它能自動記錄個人經(jīng)常出現(xiàn)的地理位置,并自動生成為數(shù)據(jù)圖表,幫助分析個人行程路線、生活場所,變成“個人生活助理工具”;也可以通過手機App搜集全球人們對于特定問題的看法,找出對于大眾生活的若干觀察,調(diào)查社會群眾對于熱門話題的立場。
除此之外,大數(shù)據(jù)還在其他領(lǐng)域有著重要的作用,并且隨著大數(shù)據(jù)收集、整合以及分析技術(shù)的提升,大數(shù)據(jù)的應(yīng)用領(lǐng)域勢必將更加廣闊。大數(shù)據(jù)正驅(qū)動著傳統(tǒng)產(chǎn)業(yè)向現(xiàn)代化、“數(shù)據(jù)化”產(chǎn)業(yè)過渡。
二、 國外大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展
(一)美國
2004年,布什政府通過司法程序,將“星風(fēng)”監(jiān)視計劃分拆為由國家安全局執(zhí)行的4個監(jiān)視計劃,除“棱鏡”外,還包括“主干道”、“碼頭”和“核子”(“棱鏡”用于監(jiān)視互聯(lián)網(wǎng)個人信息)。加上已被有關(guān)機構(gòu)掌握的個人信用數(shù)據(jù)、犯罪記錄和人口統(tǒng)計等數(shù)據(jù),美國公民的一切行為數(shù)據(jù)基本上被收集儲存。
近日,由前美國中央情報局(CIA)雇員斯諾登揭秘的“棱鏡門”持續(xù)發(fā)酵。據(jù)斯諾登爆料,美國國家安全局和聯(lián)邦調(diào)查局于2007年啟動了一個代號為“棱鏡”的秘密監(jiān)控項目,直接進入美國網(wǎng)際網(wǎng)絡(luò)公司的中心服務(wù)器里挖掘數(shù)據(jù)、收集情報。在美國猶他州專門用于儲存數(shù)據(jù)的美國“間諜中心”也正在緊鑼密鼓地修建中。該數(shù)據(jù)中心主要用于收集、存儲、分析信息,破解密碼,打擊恐怖主義及攔截來自世界各地通信,支持奧巴馬政府的綜合國際網(wǎng)絡(luò)安全倡議,并為情報界提供支持。此外,金融信息、國外的軍事情報、外交情報以及一些法律文件等也都會在這里進行解密。
而作為奧巴馬開放政府承諾的產(chǎn)物,2009年至今Data.gov(美國政府?dāng)?shù)據(jù)庫)全面開放了40萬聯(lián)邦政府原始數(shù)據(jù)集。日前Data.gov宣布采用新“開源政府平臺”管理數(shù)據(jù),代碼將向各國開發(fā)者開放。因此從這個角度看,大數(shù)據(jù)已成為美國國家創(chuàng)新戰(zhàn)略、國家安全戰(zhàn)略、國家ICT產(chǎn)業(yè)發(fā)展戰(zhàn)略以及國家信息網(wǎng)絡(luò)安全戰(zhàn)略的交叉領(lǐng)域、核心領(lǐng)域。2012年3月,奧巴馬政府將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策,認(rèn)為大數(shù)據(jù)是“未來的新石油”,將對數(shù)據(jù)的占有和控制作為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心能力。
首批共有6個聯(lián)邦部門宣布投資2億美元,共同提高收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需核心技術(shù)的先進性,并形成合力;對信息技術(shù)研發(fā)投入推動超級計算和互聯(lián)網(wǎng)的發(fā)展。目前,已有美國大學(xué)專門開設(shè)了研究大數(shù)據(jù)技術(shù)的課程,培養(yǎng)下一代的“數(shù)據(jù)科學(xué)家”,一些美國公司也在向大學(xué)提供教育研究資助,并贊助與大數(shù)據(jù)有關(guān)的比賽,擴大大數(shù)據(jù)技術(shù)開發(fā)和應(yīng)用所需人才的供給,提高美國的科學(xué)發(fā)展、環(huán)境與生物醫(yī)藥研究、教育和國家安全的能力;美國國家衛(wèi)生研究院開展的免費開放國際千人基因組計劃,它將創(chuàng)建的人類遺傳變異研究數(shù)據(jù)集,供研究人員自由訪問和使用;美國國家科學(xué)基金會和美國國家衛(wèi)生研究院對大數(shù)據(jù)進行聯(lián)合招標(biāo),改進核心科學(xué)與技術(shù)手段,提高從各種大型數(shù)據(jù)集中提取重要信息并對其進行有效管理、分析和可視化的能力;美國國防部則計劃每年投資2.5億美元左右,在各個軍事部門開展一系列研究計劃,以創(chuàng)新方式使用海量數(shù)據(jù),通過感知、認(rèn)知和決策支持的結(jié)合,加強大數(shù)據(jù)決策能力;美國能源部則將斥資2500萬美元建立可擴展數(shù)據(jù)管理與可視化研究所(SDAV),幫助科學(xué)家對數(shù)據(jù)進行有效管理,促進其生物和環(huán)境研究計劃、美國核數(shù)據(jù)計劃等的研究成果。美國正在握緊大數(shù)據(jù)這個人類科技領(lǐng)域的最新儀表盤,以求繼續(xù)保持科技領(lǐng)先地位。當(dāng)然從現(xiàn)在來看,說大數(shù)據(jù)改變美國政治或政府的確有些夸張,但從另一層面看,美國政府的開放性數(shù)據(jù)服務(wù)轉(zhuǎn)型正走在世界前列。
(二)英國
雖然經(jīng)濟不景氣,財政收緊,但大數(shù)據(jù)依然是英國政府重點發(fā)展的科技領(lǐng)域。今年年初,英國商業(yè)、創(chuàng)新和技能部宣布,將注資6億英鎊發(fā)展8類高新技術(shù),大數(shù)據(jù)獨攬其中的1.89億英鎊,將近三成。負(fù)責(zé)科技事務(wù)的國務(wù)大臣戴維·威利茨說,政府將在計算基礎(chǔ)設(shè)施方面投入巨資,加強數(shù)據(jù)采集和分析,這也將吸引企業(yè)在這一領(lǐng)域的投資,以求在數(shù)據(jù)革命中占得先機。
今年,英國首個綜合運用大數(shù)據(jù)技術(shù)的醫(yī)藥衛(wèi)生科研中心在牛津大學(xué)成立。英國首相卡梅倫在揭牌儀式上說,這一中心的成立有望給英國醫(yī)學(xué)研究和醫(yī)療服務(wù)帶來革命性變化,它將促進醫(yī)療數(shù)據(jù)分析方面的新進展,幫助科學(xué)家更好地理解人類疾病及其治療方法。據(jù)介紹,這個研究中心總投資達9000萬英鎊,可容納600名科研人員。中心通過搜集、存儲和分析大量醫(yī)療信息,確定新藥物的研發(fā)方向,減少藥物開發(fā)成本,同時為發(fā)現(xiàn)新的治療手段提供線索。同時,以英國為首的歐洲核子中心(CERN)將在匈牙利科學(xué)院魏格納物理學(xué)研究中心建設(shè)一座超寬帶數(shù)據(jù)中心。建成后,魏格納數(shù)據(jù)中心將成為連接CERN且具有歐洲最大傳輸能力的數(shù)據(jù)處理中心,未來該設(shè)施在處理大型強子對撞機(LHC)的數(shù)據(jù)以及實驗方面發(fā)揮重要作用。
威利茨指出,成功的高新技術(shù)戰(zhàn)略不僅要著眼于科研本身,更應(yīng)著力于推動新技術(shù)從實驗室到商業(yè)應(yīng)用的轉(zhuǎn)化。大數(shù)據(jù)創(chuàng)造價值是基于這樣一個核心邏輯,即當(dāng)今社會在商業(yè)、經(jīng)濟、政府及相關(guān)領(lǐng)域中,決策行為越來越取決于數(shù)據(jù)和分析,而不再是經(jīng)驗和直覺。大數(shù)據(jù)技術(shù)可以為決策提供一定的“預(yù)見參考”,而成功的分析和預(yù)見往往能帶來商業(yè)和經(jīng)濟價值。
(三)日本
日本面臨著由于長期經(jīng)濟低迷導(dǎo)致國際地位下降、人口老齡化以及日益增大的社會保險費用和社會基礎(chǔ)設(shè)施老化等諸多問題。為了扭轉(zhuǎn)這一現(xiàn)狀,日本政府決定通過大力發(fā)展IT產(chǎn)業(yè),特別是大數(shù)據(jù)及開發(fā)數(shù)據(jù)和云計算。日本從2006年開始的《IT新改革戰(zhàn)略》推出了促進ICT(Information、Communication、Technology)應(yīng)用的戰(zhàn)略。在2010年由新執(zhí)政的日本民主黨政府領(lǐng)導(dǎo)下IT戰(zhàn)略本部啟動了《新信息通信技術(shù)戰(zhàn)略》,5月發(fā)布《智能云研究報告》明確提出智能云戰(zhàn)略,促進智能云服務(wù)的推廣普及、新一代云技術(shù)的戰(zhàn)略性研發(fā)、開展云技術(shù)相關(guān)的國際合作。同年6月份推出的IT戰(zhàn)略實施工程表中將中央和地方政府行政、醫(yī)療保健、教育、農(nóng)業(yè)等公共領(lǐng)域作為推廣云計算的重要領(lǐng)域。同時,為了提高信息通信領(lǐng)域的國際競爭力、培育新產(chǎn)業(yè),應(yīng)用信息通信技術(shù)應(yīng)對抗災(zāi)救災(zāi)和核電站事故等社會性問題。2012年7月新發(fā)布“活躍ICT日本”新綜合戰(zhàn)略,積極利用云技術(shù)改革行政業(yè)務(wù)辦事流程,構(gòu)筑政府信息公共平臺,促進不同系統(tǒng)間的溝通合作,最終建立一個全國統(tǒng)一的電子政務(wù)服務(wù)體系。2013年,推出的新ICT戰(zhàn)略,將致力于提升日本經(jīng)濟的效率,在網(wǎng)絡(luò)上實現(xiàn)行政信息全部公開并可被重復(fù)使用,以進一步推進開放政府的建設(shè)進程。2013年6月,日本第二次安倍內(nèi)閣正式公布了新IT戰(zhàn)略——“創(chuàng)建最尖端IT國家宣言”。全面闡述以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國家戰(zhàn)略,提出要把日本建設(shè)成為一個具有“世界最高水準(zhǔn)的廣泛運用信息產(chǎn)業(yè)技術(shù)的社會”,并且,將其發(fā)展成就擴展到國際范圍內(nèi)。目前,無論在大數(shù)據(jù)技術(shù)還是企業(yè)實際應(yīng)用方面,日本都在亞洲占據(jù)明顯優(yōu)勢。
對于大數(shù)據(jù)的探索和發(fā)展,歐美和日本已經(jīng)走在世界的前列。各國政府已將大數(shù)據(jù)發(fā)展提升至戰(zhàn)略高度,創(chuàng)造積極的政策、法律環(huán)境;增加產(chǎn)業(yè)發(fā)展的財政投入,加強人才培養(yǎng)和核心技術(shù)的研發(fā),建立先進、巨大的數(shù)據(jù)中心,促進大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。
三、對我國的啟示和建議
那么,面對國際社會大數(shù)據(jù)發(fā)展的熱潮,作為全球第二大經(jīng)濟體,我們政府應(yīng)當(dāng)如何抓住大數(shù)據(jù)戰(zhàn)爭的脈搏,制定合理的策略,以促進我國經(jīng)濟的進一步高速發(fā)展?
(一)上升為戰(zhàn)略角度,制定規(guī)劃
從國家戰(zhàn)略層次的角度出發(fā),將大數(shù)據(jù)產(chǎn)業(yè)發(fā)展納入國家發(fā)展的戰(zhàn)略性項目,與國際大數(shù)據(jù)發(fā)展接軌,解決現(xiàn)階段大數(shù)據(jù)發(fā)展的核心問題。啟動、設(shè)立國家級“數(shù)據(jù)銀行”,對數(shù)據(jù)資產(chǎn)的交易和流通進行保護,占領(lǐng)國際數(shù)據(jù)資產(chǎn)制高點。制定大數(shù)據(jù)發(fā)展的"三年規(guī)劃"或“五年規(guī)劃”,制定產(chǎn)業(yè)發(fā)展的階段性目標(biāo),完成階段性任務(wù),力爭國際社會大數(shù)據(jù)發(fā)展的優(yōu)勢地位。
(二)加大關(guān)鍵技術(shù)的研發(fā)和應(yīng)用
就核心技術(shù)而言,要給予核心技術(shù)、知識產(chǎn)權(quán)以專利保護, 激勵軟件開發(fā)的積極性;充分利用中國人口數(shù)量多產(chǎn)生數(shù)據(jù)量大,大學(xué)生基數(shù)大的人才資源雄厚的優(yōu)勢,培養(yǎng)從事大數(shù)據(jù)科研工作的尖端人才進行關(guān)鍵技術(shù)研發(fā),實現(xiàn)核心技術(shù)的突破。政府要掃清大數(shù)據(jù)產(chǎn)業(yè)化發(fā)展的一切阻力,促進大數(shù)據(jù)技術(shù)從實驗室到工業(yè)化生產(chǎn)的轉(zhuǎn)移,加強大數(shù)據(jù)在實際生活生產(chǎn)方面的應(yīng)用,推進大數(shù)據(jù)核心技術(shù)產(chǎn)業(yè)化發(fā)展的步伐,創(chuàng)造大數(shù)據(jù)的社會價值。
(三)出臺鼓勵政策,加大財政稅收扶持
政府要為大數(shù)據(jù)的發(fā)展提供積極的鼓勵政策;優(yōu)先發(fā)展在重要部門應(yīng)用的大數(shù)據(jù)產(chǎn)業(yè),降低大數(shù)據(jù)發(fā)展的門檻;建立大數(shù)據(jù)科技研發(fā)部門,加大大數(shù)據(jù)科研及相關(guān)人才需求的缺口,刺激大數(shù)據(jù)人才市場的發(fā)展;完善科技創(chuàng)新獎勵機制,創(chuàng)造良好的科研環(huán)境。
加強財政稅收扶持,政府要增加大數(shù)據(jù)產(chǎn)業(yè)的財政投入。每年扶持資助一批獲得大數(shù)據(jù)核心技術(shù)突破并實現(xiàn)產(chǎn)業(yè)化的項目,設(shè)立大數(shù)據(jù)產(chǎn)業(yè)發(fā)展專項基金;對大數(shù)據(jù)企業(yè)按比例減免營業(yè)所得稅,為企業(yè)提供補貼,重點扶持核心技術(shù)部門的發(fā)展。
(四)拓寬融資渠道,創(chuàng)新融資方式
為了給大數(shù)據(jù)發(fā)展創(chuàng)造良好的融資環(huán)境,必須拓寬融資渠道。首先,政府參與,為大數(shù)據(jù)產(chǎn)業(yè)提供啟動資金、搭建信貸平臺,拓寬融資渠道;其次,充分利用銀行貸款,提高大數(shù)據(jù)產(chǎn)業(yè)銀行貸款信用;最后,扶持企業(yè)進入資本市場,通過引導(dǎo)大數(shù)據(jù)企業(yè)進入資本市場,通過上市直接在資本市場上融資,充實資本實力。
由于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的特殊性,可以創(chuàng)新融資方式。一是私募股權(quán)融資,融資對象以管理層為主,內(nèi)部職工適度參與;二是“轉(zhuǎn)貸”民間借貸;三是商業(yè)信用,企業(yè)以商品讓渡的形式為下游企業(yè)提供融資。