蔣曉科　符龍生　李健

摘要：隨著云計算時代的來臨，大數(shù)據(jù)引起越來越廣泛的關(guān)注，大數(shù)據(jù)技術(shù)在飛速發(fā)展，大數(shù)據(jù)的應(yīng)用領(lǐng)域也在不斷拓展。該文首先介紹了大數(shù)據(jù)的概念及其4V特點，接著介紹了大數(shù)據(jù)的關(guān)鍵技術(shù)及其應(yīng)用領(lǐng)域，最后對大數(shù)據(jù)的建設(shè)進(jìn)行了探討。

關(guān)鍵詞：大數(shù)據(jù)；云計算；分布式文件系統(tǒng)；數(shù)據(jù)挖掘

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）08-0005-02

隨著信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)應(yīng)用的拓展，特別是電子商務(wù)、社交平臺、智能終端等應(yīng)用的飛速發(fā)展，全世界每分每秒都在產(chǎn)生著巨量的數(shù)據(jù)，這些數(shù)據(jù)不再局限于結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)正在急劇增長，如何對不同類型的巨量數(shù)據(jù)進(jìn)行分析和處理，從而實現(xiàn)數(shù)據(jù)的巨大價值，正是大數(shù)據(jù)要思考和解決的問題。

1 大數(shù)據(jù)概述

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)，又稱巨量資料，是一個數(shù)據(jù)類別和數(shù)據(jù)規(guī)模都特別大的數(shù)據(jù)集，這個大數(shù)據(jù)集，無法用傳統(tǒng)的工具在合理時間內(nèi)進(jìn)行抓取、管理和處理。

1.2 大數(shù)據(jù)的特點

大數(shù)據(jù)的首要特點，是數(shù)據(jù)規(guī)模大，此外，大數(shù)據(jù)同以往的海量數(shù)據(jù)有所不同，具有4V特點，即：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

1）Volume（大量）：大型數(shù)據(jù)集，指的是數(shù)據(jù)集的規(guī)模從TB級別，躍升到了PB級別。據(jù)IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心）的報告，早在2011年，全球的數(shù)據(jù)總量就達(dá)到1.8ZB，而到了2020年，全球數(shù)據(jù)總量將增長50倍。

2）Velocity（高速）：是指大量實時數(shù)據(jù)流的快速收集、創(chuàng)建、分析、處理、傳送的過程。通過高速的處理器和性能良好的服務(wù)器，企業(yè)能快速的將數(shù)據(jù)反饋給用戶。

3）Variety（多樣）：是指數(shù)據(jù)類型的多樣性。隨著各種通信網(wǎng)絡(luò)的發(fā)展，數(shù)據(jù)來源更加豐富，數(shù)據(jù)類型也不再局限于以前的結(jié)構(gòu)化數(shù)據(jù)，還包括了半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。如電子商務(wù)、社交平臺、智能終端、地理位置信息、網(wǎng)絡(luò)日志、互聯(lián)網(wǎng)搜索及傳感器網(wǎng)絡(luò)等都使得數(shù)據(jù)類型更為多樣化。

4）Value（價值）：基于前三個特點對數(shù)據(jù)進(jìn)行管理，從龐大的數(shù)據(jù)中提煉出有價值的數(shù)據(jù)和信息，通過對未來的趨勢和模式做出預(yù)測等方式，形成巨大的商業(yè)價值。

2 大數(shù)據(jù)關(guān)鍵技術(shù)分析

大數(shù)據(jù)的概念，廣義而言，不僅僅是指數(shù)據(jù)規(guī)模，還包括了對數(shù)據(jù)進(jìn)行采集、分析、處理的一整套平臺系統(tǒng)和技術(shù)。從類型繁多的巨量數(shù)據(jù)中，快速找出有價值數(shù)據(jù)和信息的技術(shù)，就是大數(shù)據(jù)技術(shù)。

1）云計算技術(shù)：隨著海量不同類型碎片化數(shù)據(jù)的產(chǎn)生，常規(guī)的技術(shù)已經(jīng)不能勝任PB級大規(guī)模數(shù)據(jù)的計算，云計算技術(shù)的興起有效的解決了這一問題，云計算技術(shù)可以說是處理海量數(shù)據(jù)最為低成本和高效率解決方案，通過云計算技術(shù)，可以把海量分散的數(shù)據(jù)從手機端、電腦端及其他智能終端均傳送至云平臺，然后再通過一個大規(guī)模的分布式系統(tǒng)加以高效分析和計算，提煉出富有價值的數(shù)據(jù)和信息。

2）分布式文件系統(tǒng)：Hadoop 是一個由Apache基金會開發(fā)的，用于處理龐大數(shù)據(jù)集的分布式系統(tǒng)架構(gòu)，其特點是高吞吐量、高容錯性、硬件成本低廉、開源等，可以存儲巨量數(shù)據(jù)，并通過MapReduce對巨量數(shù)據(jù)進(jìn)行計算。

3）分布式數(shù)據(jù)庫系統(tǒng)：傳統(tǒng)的關(guān)系模型數(shù)據(jù)庫已經(jīng)難以適用于大數(shù)據(jù)時代，主要原因是：傳統(tǒng)的數(shù)據(jù)庫傾向于采用縱向擴展的方式，這種方式下性能的增加遠(yuǎn)低于數(shù)據(jù)的增加速度，而大數(shù)據(jù)時代的數(shù)據(jù)遠(yuǎn)遠(yuǎn)超出單機處理能力，而為了具有更好的擴展性，大數(shù)據(jù)采用數(shù)據(jù)庫系統(tǒng)應(yīng)該是橫向發(fā)展的；在大數(shù)據(jù)時代數(shù)據(jù)的存在的形式是多樣的，各種半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)是大數(shù)據(jù)的重要組成部分，如何有效利用如此海量且種類繁多的數(shù)據(jù)時大數(shù)據(jù)時代數(shù)據(jù)庫的一大挑戰(zhàn)；在大數(shù)據(jù)時代不同的應(yīng)用領(lǐng)域在數(shù)據(jù)理性、數(shù)據(jù)處理方式以及數(shù)據(jù)處理時間的要求上千差萬別；綜上，分布式數(shù)據(jù)庫系統(tǒng)是必然的選擇。

除了上述的云計算技術(shù)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)，大數(shù)據(jù)技術(shù)還包括遺傳算法、回歸分析、機器學(xué)習(xí)、數(shù)據(jù)挖掘、可視化技術(shù)等，各種技術(shù)并不是相互獨立，往往是相互融合貫通的，最終都是為了取得有價值的數(shù)據(jù)。

3 大數(shù)據(jù)應(yīng)用領(lǐng)域

1）金融行業(yè)：金融行業(yè)的非結(jié)構(gòu)化數(shù)據(jù)在迅速增長，金融行業(yè)正在步入大數(shù)據(jù)時代的初級階段，大數(shù)據(jù)將為金融行業(yè)的市場格局、業(yè)務(wù)流程帶來巨大改變。大數(shù)據(jù)主要將從金融交易形式和交易結(jié)構(gòu)兩方面改造金融業(yè)，一方面，大數(shù)據(jù)將促進(jìn)交易形式的電子化和數(shù)字化，從而提升運營效率；另一方面，大數(shù)據(jù)將促進(jìn)金融脫媒化，弱化中介功能，從而提升結(jié)構(gòu)效率。

2）電力行業(yè)：大數(shù)據(jù)將大力推動智能電網(wǎng)的建設(shè)，通過分析用戶的用電行為和規(guī)律，智能電網(wǎng)可以更合理有效的進(jìn)行電的生產(chǎn)和分配，更合理有效的進(jìn)行電網(wǎng)的安全監(jiān)測和控制，從而促進(jìn)電力企業(yè)的精細(xì)化運營，實現(xiàn)科學(xué)管理，提升運營效率。

3）物流領(lǐng)域：物流是整個社會經(jīng)濟發(fā)展的重要組成部分，當(dāng)前整個物流行業(yè)尤其是電子商務(wù)領(lǐng)域已經(jīng)呈現(xiàn)出爆發(fā)式的增長，而信息化成為現(xiàn)代物流最核心的特征，應(yīng)用大數(shù)據(jù)技術(shù)，將促進(jìn)倉儲空間的優(yōu)化配置，物流路線將更合理的規(guī)劃，物流運輸工具將被更有效的調(diào)度。

4）交通領(lǐng)域：我國與交通相關(guān)的數(shù)據(jù)量已從TB級躍升到PB級，大數(shù)據(jù)技術(shù)將大力促進(jìn)智能交通的建設(shè)和發(fā)展。運用大數(shù)據(jù)技術(shù)的海量存儲和高效計算等特點，可以實現(xiàn)交管系統(tǒng)跨地區(qū)、跨部門的資源整合，為交通管理的規(guī)劃、決策、運營、服務(wù)和改進(jìn)提供有力支持。

4 大數(shù)據(jù)建設(shè)探討

1）標(biāo)準(zhǔn)體系：中國電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布了《大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書》，提出了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架，即大數(shù)據(jù)標(biāo)準(zhǔn)體系由六個類別的標(biāo)準(zhǔn)組成，分別為：基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù)安全標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、產(chǎn)品和平臺標(biāo)準(zhǔn)及應(yīng)用和服務(wù)標(biāo)準(zhǔn)。雖然我國在大數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)上有一定基礎(chǔ)，但缺乏整體規(guī)劃，許多標(biāo)準(zhǔn)還不夠完善，可以考慮成立專門的大數(shù)據(jù)標(biāo)準(zhǔn)制定和管理工作組。

2）運行機制：建立健全大數(shù)據(jù)運行的一套良好的機制，從國家層面給予大數(shù)據(jù)建設(shè)和發(fā)展有利政策，從經(jīng)濟和技術(shù)等方面予以大力支持，促進(jìn)大數(shù)據(jù)建設(shè)過程中各個部門、各個行業(yè)、各個領(lǐng)域的協(xié)同工作，促進(jìn)大數(shù)據(jù)建設(shè)的可持續(xù)發(fā)展。

3）專業(yè)隊伍：培養(yǎng)一支專業(yè)的大數(shù)據(jù)建設(shè)隊伍，大數(shù)據(jù)建設(shè)是一個系統(tǒng)工程，包括管理、技術(shù)、應(yīng)用、服務(wù)、推廣等各方面都需要專業(yè)人員完成，只有為大數(shù)據(jù)建設(shè)安排了合理的人力資源，才能高效推動大數(shù)據(jù)各方面、各環(huán)節(jié)的建設(shè)。

4）共享平臺：搭建一個數(shù)據(jù)共享和數(shù)據(jù)交換平臺。數(shù)據(jù)只有在不斷的流動和共享中才能體現(xiàn)出更強大的生命力，才能發(fā)揮更大的價值?？梢栽诟鱾€專用數(shù)據(jù)庫的基礎(chǔ)之上，通過數(shù)據(jù)集成實現(xiàn)各類數(shù)據(jù)的流通。

5 結(jié)束語

基于大數(shù)據(jù)的4V特點，只有綜合有效的運用大數(shù)據(jù)相關(guān)的各種技術(shù)，才能更好的挖掘和實現(xiàn)數(shù)據(jù)的價值，從而推動大數(shù)據(jù)應(yīng)用和服務(wù)于經(jīng)濟與社會。此外，標(biāo)準(zhǔn)體系、運行機制、專業(yè)隊伍和共享平臺是大數(shù)據(jù)建設(shè)的必要保障。

參考文獻(xiàn)：

[1] 孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計算：關(guān)鍵技術(shù)及系統(tǒng)實例[J].軟件學(xué)報，2014（4）.

[2] 陳立瑋，馮巖松，趙東巖.基于弱監(jiān)督學(xué)習(xí)的海量網(wǎng)絡(luò)數(shù)據(jù)關(guān)系抽取[J].計算機研究與發(fā)展，2013（9）.

[3] 李建中，劉顯敏.大數(shù)據(jù)的一個重要方面：數(shù)據(jù)可用性[J].計算機研究與發(fā)展，2013（6）.

[4] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013（1） .

[5] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計算機學(xué)報，2013（6）.