劉偉娜+谷曉飛+監(jiān)文慧

[提要] 隨著云計(jì)算、移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展，信息技術(shù)在各行各業(yè)發(fā)揮了越來越重要的作用，產(chǎn)生于不同行業(yè)的大量數(shù)據(jù)帶來了新的機(jī)遇和挑戰(zhàn)，大數(shù)據(jù)技術(shù)在社會(huì)經(jīng)濟(jì)發(fā)展中脫穎而出。在電網(wǎng)、IT、教育、金融等領(lǐng)域，數(shù)據(jù)的來源、種類等紛繁復(fù)雜，數(shù)據(jù)處理一直是非常重要的一個(gè)方面，調(diào)度系統(tǒng)、交易系統(tǒng)、管理系統(tǒng)等各個(gè)環(huán)節(jié)都有大量的基礎(chǔ)數(shù)據(jù)產(chǎn)生，這就急需有效的大數(shù)據(jù)處理技術(shù)來對(duì)這些海量的數(shù)據(jù)進(jìn)行分析、處理。本文主要從大數(shù)據(jù)的概念、技術(shù)及基本框架出發(fā)，對(duì)大數(shù)據(jù)處理技術(shù)的應(yīng)用，尤其是在教育、金融等領(lǐng)域的應(yīng)用進(jìn)行研究，最后總結(jié)大數(shù)據(jù)研究現(xiàn)狀，并對(duì)大數(shù)據(jù)的發(fā)展前景及未來應(yīng)用進(jìn)行展望。

關(guān)鍵詞：大數(shù)據(jù)；處理技術(shù)；應(yīng)用；發(fā)展前景

本文為河北省社會(huì)科學(xué)基金青年項(xiàng)目：“大數(shù)據(jù)背景下河北省科技型中小企業(yè)的云融資模式研究”（項(xiàng)目編號(hào)：HB16YJ045）

中圖分類號(hào)：F49 文獻(xiàn)標(biāo)識(shí)碼：A

收錄日期：2017年3月16日

一、大數(shù)據(jù)的概念、技術(shù)及其基本框架

大數(shù)據(jù)指的是大規(guī)模、超大規(guī)模的數(shù)據(jù)集合，具有規(guī)模大、種類多、生成速度快、價(jià)值巨大但密度低的特點(diǎn)。收集大數(shù)據(jù)可以幫助企業(yè)挖掘出更多具有研究價(jià)值的信息，比如管理分布趨勢(shì)、人們的生活習(xí)慣等。傳統(tǒng)的數(shù)據(jù)處理方式無法對(duì)海量的數(shù)據(jù)進(jìn)行準(zhǔn)確的分析與處理?！度A爾街日?qǐng)?bào)》將大數(shù)據(jù)時(shí)代、智能化生產(chǎn)和無線網(wǎng)絡(luò)稱為引領(lǐng)未來繁榮的三大技術(shù)變革。那么，大數(shù)據(jù)的定義是什么呢？維基百科對(duì)大數(shù)據(jù)做了比較簡單明了的定義：大數(shù)據(jù)是指利用常用軟件工作捕獲、管理和處理數(shù)據(jù)所耗時(shí)間超過可容忍時(shí)間的數(shù)據(jù)集。也就是說，大數(shù)據(jù)是一個(gè)由大量數(shù)據(jù)組成的數(shù)據(jù)集，這個(gè)數(shù)據(jù)集涵蓋的數(shù)據(jù)種類繁多，已經(jīng)無法用我們傳統(tǒng)的數(shù)據(jù)處理技術(shù)來分析和管理，也無法用傳統(tǒng)的數(shù)據(jù)庫來存儲(chǔ)和查詢，而且隨著數(shù)據(jù)的不斷擴(kuò)充，數(shù)據(jù)的不完備性及時(shí)效性也為數(shù)據(jù)處理帶來了極大的挑戰(zhàn)，從而產(chǎn)生了大數(shù)據(jù)處理技術(shù)。Hadoop系統(tǒng)框架的提出，帶來了海量數(shù)據(jù)處理技術(shù)新的浪潮，Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式基礎(chǔ)框架，實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，簡稱HDFS，用戶可以在不了解分布式底層設(shè)計(jì)細(xì)節(jié)的情況下，進(jìn)行分布式程序的開發(fā)。Hadoop框架最核心的設(shè)計(jì)就是HDFS和MapReduce。Hadoop體系架構(gòu)和核心技術(shù)，如圖1、圖2所示。（圖1、圖2）

二、大數(shù)據(jù)處理技術(shù)的應(yīng)用

大數(shù)據(jù)在各個(gè)領(lǐng)域應(yīng)用廣泛，尤其是在電子商務(wù)、電網(wǎng)、網(wǎng)絡(luò)通信、醫(yī)療行業(yè)、能源行業(yè)、氣象行業(yè)、國防軍事等領(lǐng)域得到了深入的開發(fā)與應(yīng)用。比如在電網(wǎng)領(lǐng)域，智能電網(wǎng)的調(diào)度、蓄電池領(lǐng)域等都提出了將大數(shù)據(jù)技術(shù)融合進(jìn)智能電網(wǎng)的發(fā)展方向；在電子商務(wù)方面，通過大數(shù)據(jù)的分析可以得到消費(fèi)者的消費(fèi)習(xí)慣、消費(fèi)趨勢(shì)等信息；在網(wǎng)絡(luò)通信領(lǐng)域，可以通過對(duì)大量的通信數(shù)據(jù)的收集分析，捕捉市場變化；在醫(yī)療行業(yè)，在醫(yī)療活動(dòng)、健康體檢、人類基因分析中會(huì)產(chǎn)生海量的有效數(shù)據(jù)，通過大數(shù)據(jù)處理技術(shù)，可以實(shí)現(xiàn)個(gè)性化治療，建立基因數(shù)據(jù)庫等；在氣象領(lǐng)域，氣象衛(wèi)星、天氣雷達(dá)等非常規(guī)遙感遙測(cè)數(shù)據(jù)中包含的數(shù)據(jù)信息非常豐富，通過收集大量的氣象衛(wèi)星數(shù)據(jù)可以挖掘出更多有助于預(yù)測(cè)天氣變化的規(guī)律，提供更加精準(zhǔn)的天氣預(yù)報(bào)，同時(shí)通過這些數(shù)據(jù)分析也可以拓展氣象行業(yè)新的領(lǐng)域。另外，大數(shù)據(jù)在交互領(lǐng)域的應(yīng)用也更加廣泛和深入。

在金融保險(xiǎn)領(lǐng)域，“互聯(lián)網(wǎng)+金融”的發(fā)展模式為大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用提供了更加廣闊的空間。例如中小型企業(yè)融資問題的研究，通過搭建的云數(shù)據(jù)平臺(tái)，廣泛收集資金供需兩方的信息資源，用大數(shù)據(jù)處理技術(shù)對(duì)收集到的海量的數(shù)據(jù)進(jìn)行處理分析，從而建立標(biāo)準(zhǔn)化風(fēng)險(xiǎn)評(píng)估體系，降低金融行業(yè)的風(fēng)險(xiǎn)系數(shù)、拓寬融資渠道等，助力金融行業(yè)的發(fā)展。在教育科研領(lǐng)域，近年來在移動(dòng)互聯(lián)背景下，教育改革成果質(zhì)量有了突飛猛進(jìn)的提升，通過對(duì)教育活動(dòng)中的一系列行為數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，可以幫助我們?yōu)楦纳茖W(xué)生的成績提供個(gè)性化服務(wù)，與此同時(shí)，還能改善學(xué)生的出勤率、升學(xué)率等。目前，美國教育部門開發(fā)了“學(xué)習(xí)分析系統(tǒng)”，通過數(shù)據(jù)挖掘、模型化和案例運(yùn)用，幫助教育者更多更精準(zhǔn)地了解學(xué)生信息，對(duì)于翻轉(zhuǎn)課堂、案例化教學(xué)等新興的教學(xué)改革方式也提供了依據(jù)和幫助。國內(nèi)的高校主要是通過網(wǎng)絡(luò)教學(xué)平臺(tái)的構(gòu)建，依托大數(shù)據(jù)處理技術(shù)，分析教師、課程、學(xué)生三者之間的關(guān)系及各自的學(xué)習(xí)特征等。另外，大數(shù)據(jù)在智慧城市、智能運(yùn)輸?shù)确矫嬉灿谐錾憩F(xiàn)。

綜上所述，大數(shù)據(jù)處理技術(shù)在各行各業(yè)都得到了廣泛的應(yīng)用，隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的飛速發(fā)展，大數(shù)據(jù)未來的發(fā)展空間將會(huì)更加廣闊。

三、大數(shù)據(jù)發(fā)展的挑戰(zhàn)與展望

當(dāng)前，大數(shù)據(jù)處理技術(shù)的應(yīng)用還面臨著很多的挑戰(zhàn)，目前的技術(shù)研究水平還處于初期階段，在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析等方面還存在效率低、不穩(wěn)定的問題，數(shù)據(jù)模型建立、數(shù)據(jù)分析及相應(yīng)的搜索、挖掘算法還有待優(yōu)化。另外，在信息技術(shù)中，數(shù)據(jù)的安全和隱私一直也是人們最為關(guān)注的問題，數(shù)據(jù)量的增多，也意味著大數(shù)據(jù)的處理面臨著更嚴(yán)峻的安全風(fēng)險(xiǎn)。此外，病毒特征、漏洞特征和攻擊特征等信息也更容易通過大數(shù)據(jù)分析而被掌握和利用。如何建立嚴(yán)格的數(shù)據(jù)安全機(jī)制，提升數(shù)據(jù)質(zhì)量也成為大數(shù)據(jù)發(fā)展的制約因素。

綜上所述，大數(shù)據(jù)的發(fā)展還面臨著諸多問題。目前，大數(shù)據(jù)的安全問題已經(jīng)得到了國內(nèi)外研究學(xué)者的高度關(guān)注，但在多源異構(gòu)大數(shù)據(jù)的表示、度量和語義理解方法，建模理論和計(jì)算模型、能效優(yōu)化的分布存儲(chǔ)和處理的軟硬件系統(tǒng)架構(gòu)等方面的研究還有待進(jìn)一步深入。

大數(shù)據(jù)的出現(xiàn)已經(jīng)影響了人們的生活和思維方式，改變了社會(huì)經(jīng)濟(jì)的發(fā)展模式，深入滲透于社會(huì)的各行各業(yè)。數(shù)據(jù)價(jià)值日益凸顯，信息對(duì)人們的生活質(zhì)量有著日益提高的重要作用。大數(shù)據(jù)不僅促進(jìn)了物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等技術(shù)的融合，同時(shí)還催生了很多學(xué)科專業(yè)的交叉融合。目前，以Hadoop為代表的數(shù)據(jù)處理技術(shù)取得了很大的成功，但隨著大數(shù)據(jù)突飛猛進(jìn)的發(fā)展速度，數(shù)據(jù)的規(guī)模會(huì)更大、種類更多、結(jié)構(gòu)也更為復(fù)雜，未來從交叉學(xué)科、人機(jī)交互、信息安全、方法論等角度出發(fā)，大數(shù)據(jù)的發(fā)展會(huì)更加貼近人們的生活，這也必將引起社會(huì)活動(dòng)的巨大變革。

四、結(jié)語

大數(shù)據(jù)的產(chǎn)生對(duì)當(dāng)今社會(huì)經(jīng)濟(jì)的發(fā)展及變革產(chǎn)生了巨大的影響，大數(shù)據(jù)技術(shù)的應(yīng)用及研究已經(jīng)融入到各行各業(yè)中，為社會(huì)經(jīng)濟(jì)的發(fā)展帶來了很大的機(jī)遇和挑戰(zhàn)。但是，大數(shù)據(jù)的發(fā)展同樣也面臨著很多的問題：數(shù)據(jù)種類越來越復(fù)雜，數(shù)據(jù)量日趨龐大，無論是數(shù)據(jù)存儲(chǔ)還是數(shù)據(jù)查詢，都出現(xiàn)了軟硬件等方面的瓶頸問題；用戶的應(yīng)用和分析結(jié)果呈整合趨勢(shì)，對(duì)實(shí)時(shí)性和指令響應(yīng)時(shí)間的要求越來越高；同時(shí)，數(shù)據(jù)處理的模型也越來越復(fù)雜，計(jì)算算法的要求越來越高等，這些都需要從數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)處理（包括數(shù)據(jù)傳輸）等方面去改進(jìn)優(yōu)化。隨著大數(shù)據(jù)技術(shù)在各行各業(yè)的廣泛應(yīng)用，數(shù)據(jù)處理技術(shù)也將會(huì)越來越先進(jìn)，大數(shù)據(jù)將會(huì)更多更深入地與各個(gè)學(xué)科專業(yè)深度融合。相信大數(shù)據(jù)技術(shù)會(huì)對(duì)社會(huì)經(jīng)濟(jì)的發(fā)展產(chǎn)生強(qiáng)有力的推動(dòng)作用。

主要參考文獻(xiàn)：

[1]徐巖.面向計(jì)算機(jī)基礎(chǔ)教學(xué)的Hadoop實(shí)驗(yàn)設(shè)計(jì)[J].試驗(yàn)室研究與探索，2016.1.

[2]方巍，鄭玉，徐江.大數(shù)據(jù)：概念、技術(shù)及應(yīng)用研究綜述[J].南京信息工程大學(xué)學(xué)報(bào)，2014.10.

[3]張引，陳敏，廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].計(jì)算機(jī)研究與發(fā)展，2013.2.