鐘君 張梅燕
摘 要:本文采用文獻(xiàn)研究法,通過(guò)對(duì)大數(shù)據(jù)相關(guān)文獻(xiàn)的閱讀與整理,對(duì)大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行了深入的探究,從智慧之道、高效之道、實(shí)時(shí)之道以及投向更廣闊的技術(shù)領(lǐng)域四個(gè)方面對(duì)相關(guān)技術(shù)進(jìn)行詳細(xì)介紹。
關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)挖掘;計(jì)算;關(guān)鍵技術(shù)
隨著不斷涌現(xiàn)的各種社交網(wǎng)、微博這類(lèi)新型的信息發(fā)布方式及物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的興起,數(shù)據(jù)正在以空前的速度增長(zhǎng),大這意味著大數(shù)據(jù)時(shí)代的到來(lái)。2012年1月在瑞士舉行的達(dá)沃斯世界經(jīng)濟(jì)論壇上,一份名為《大數(shù)據(jù),大影響》(Big Data,Big Impact)的報(bào)告引起熱議。這份報(bào)告認(rèn)為,大數(shù)據(jù)就像貨幣和黃金一樣,是一種新型的經(jīng)濟(jì)資產(chǎn)。多家投資機(jī)構(gòu)甚至據(jù)此判斷,“大數(shù)據(jù)”將會(huì)成為一條全新的投資主線(xiàn)。
筆者通過(guò)對(duì)大數(shù)據(jù)相關(guān)文獻(xiàn)的閱讀與整理,對(duì)其關(guān)鍵技術(shù)進(jìn)行深入的探究,從智慧之道、高效之道、實(shí)時(shí)之道以及投向更廣闊的技術(shù)領(lǐng)域四個(gè)方面對(duì)相關(guān)技術(shù)進(jìn)行詳細(xì)介紹。
1 智慧之道——數(shù)據(jù)挖掘
一般來(lái)說(shuō),數(shù)據(jù)挖掘的方法可分為統(tǒng)計(jì)型和人工智能中的機(jī)器學(xué)習(xí)型兩大類(lèi),在其應(yīng)用中,將有價(jià)值的信息進(jìn)行發(fā)掘都是其最終目標(biāo)。由于各種方法都有自身的功能特點(diǎn)以及應(yīng)用領(lǐng)域(如表1),數(shù)據(jù)挖掘通常是將多種技術(shù)結(jié)合使用,形成優(yōu)勢(shì)互補(bǔ)。[ 1 ]
2 高效之道——分布式計(jì)算
典型的分布式計(jì)算技術(shù)如下:1)中間件技術(shù):分布式應(yīng)用軟件若需要在的技術(shù)之間共享資源則需要借助于此。[ 2 ]2)移動(dòng)Agent技術(shù):一般認(rèn)為此技術(shù)是一類(lèi)自治程序,為分布式應(yīng)用提供高效方便的執(zhí)行框架,并能在自治之下實(shí)現(xiàn)不同計(jì)算機(jī)之間的移動(dòng)。3)網(wǎng)絡(luò)技術(shù):此技術(shù)實(shí)現(xiàn)在動(dòng)態(tài)變化的多個(gè)虛擬機(jī)構(gòu)間共享資源和協(xié)同解決問(wèn)題。[ 3 ]4)P2P技術(shù):能夠充分利用分布在終端電腦上的邊緣性網(wǎng)絡(luò)資源降低對(duì)中央服務(wù)器資源的消耗需求。[ 4 ]5)Web Service技術(shù):即Web服務(wù), 是在Internet上進(jìn)行分布式計(jì)算的基本構(gòu)造塊。 [ 5 ]
3 實(shí)時(shí)之道——內(nèi)存計(jì)算
“內(nèi)存計(jì)算”的出現(xiàn),是為了應(yīng)對(duì)實(shí)時(shí)分析計(jì)算的要求,加快處理速度,讓數(shù)據(jù)分析的時(shí)效性和靈活性同時(shí)提升;“內(nèi)存計(jì)算”的出現(xiàn)與計(jì)算機(jī)處理能力的提升、成本的下降直接相關(guān),由于是“內(nèi)存計(jì)算”數(shù)據(jù)庫(kù),同磁盤(pán)讀取相比運(yùn)行速度顯著提升。
4 投向更廣闊的技術(shù)領(lǐng)域——云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)計(jì)算
4.1 云計(jì)算
典型的云計(jì)算技術(shù)如下:1)虛擬化技術(shù):該技術(shù)打開(kāi)了云計(jì)算的大門(mén)。2)海量分布式存儲(chǔ)技術(shù):云計(jì)算為了彌補(bǔ)了硬件的不可靠而以分布式存儲(chǔ)方式進(jìn)行數(shù)據(jù)的存儲(chǔ),海量分布式存儲(chǔ)和計(jì)算系統(tǒng)由此發(fā)揮作用。3)并行編程模式:云計(jì)算自動(dòng)將任務(wù)分成多個(gè)子任務(wù),采用MapReduced編程模式,將通過(guò)Reduce和Map兩個(gè)步驟進(jìn)行。4)數(shù)據(jù)管理技術(shù):云計(jì)算的數(shù)據(jù)有著非確定性、異構(gòu)、海量的特點(diǎn),故需有效的數(shù)據(jù)管理技術(shù)來(lái)進(jìn)行處理分析,從而構(gòu)建出擴(kuò)展性強(qiáng)、高度可用的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。[ 6 ]5)分布式資源管理技術(shù):是保證系統(tǒng)狀態(tài)正確性的關(guān)鍵技術(shù)。6)云計(jì)算平臺(tái)管理技術(shù):能協(xié)同大量的服務(wù)器,是云計(jì)算的“神經(jīng)網(wǎng)絡(luò)”。
4.2 物聯(lián)網(wǎng)
物聯(lián)網(wǎng)的概念最初來(lái)源于美國(guó)麻省理工學(xué)院(MIT)在1999年建立的自動(dòng)識(shí)別中心 (Auto- IDLabs)提出的網(wǎng)絡(luò)無(wú)線(xiàn)射頻識(shí)別(RFID)系統(tǒng)——把所有物品通過(guò)射頻識(shí)別等信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來(lái),實(shí)現(xiàn)智能化識(shí)別和管理。[ 7 ]其關(guān)鍵技術(shù)如下:
1)RFID:又稱(chēng)電子標(biāo)簽,其系統(tǒng)包含兩部分:一是讀寫(xiě)器,二是電子標(biāo)簽。2)近場(chǎng)通信技術(shù):又稱(chēng)近距離無(wú)線(xiàn)通信,一種短距離的高頻無(wú)線(xiàn)通信技術(shù)。[ 8 ] 3)傳感器網(wǎng)絡(luò)技術(shù):主要解決物聯(lián)網(wǎng)中的信息感知問(wèn)題,是其技術(shù)核心。4)無(wú)線(xiàn)通信技術(shù):此技術(shù)將使物聯(lián)網(wǎng)的構(gòu)想變?yōu)楝F(xiàn)實(shí)。[ 9 ]
4.3 移動(dòng)計(jì)算
主要的移動(dòng)計(jì)算關(guān)鍵技術(shù)如下:
1)移動(dòng)計(jì)算通信協(xié)議:具有特殊運(yùn)行環(huán)境的移動(dòng)計(jì)算需要有異于傳統(tǒng)計(jì)算模式的通信協(xié)議來(lái)支持。2)情景感知:主要解決移動(dòng)計(jì)算如何為移動(dòng)的用戶(hù)提供基于其所處情景的服務(wù)。3)移動(dòng)計(jì)算環(huán)境:其搭建是移動(dòng)計(jì)算為用戶(hù)提供服務(wù)的基礎(chǔ)。4)無(wú)縫遷移技術(shù):要求用戶(hù)任務(wù)在移動(dòng)過(guò)程中,與該任務(wù)各種相關(guān)信息也隨之移動(dòng)。
5 總結(jié)
目前,有些大數(shù)據(jù)的研究,是以商業(yè)利益為驅(qū)動(dòng),一些大的依靠數(shù)據(jù)牟利的大公司也許在今后會(huì)是大數(shù)據(jù)應(yīng)用的主體,然而不管怎樣,大數(shù)據(jù)一定會(huì)成為各界的重點(diǎn)研究領(lǐng)域??偟膩?lái)說(shuō),目前對(duì)于大數(shù)據(jù)的研究仍處于一個(gè)初期的階段,還有很多問(wèn)題需要解決,希望本文的介紹能夠給大數(shù)據(jù)關(guān)鍵技術(shù)研究提供一定的參考。
參考文獻(xiàn):
[1] 黃解軍,潘和平,萬(wàn)幼川.數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用,2003(2):45-47.
[2] 周園春,李淼,張建等.中間件技術(shù)綜述[J].計(jì)算機(jī)工程與應(yīng)用,2002(15):80-82.
[3] 周曉峰,王志堅(jiān).分布式計(jì)算技術(shù)綜述[J].計(jì)算機(jī)時(shí)代,2004(12):3-5.
[4] 周文莉,吳曉非.P2P技術(shù)綜述[J].計(jì)算機(jī)工程與設(shè)計(jì), 2006 (1):76-79.
[5] 王楠,劉心雄,陳和平.Web Service技術(shù)研究[J].計(jì)算機(jī)與數(shù)字工程,2006(7):88-90.
[6] 劉正偉,文中領(lǐng),張海濤.云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].計(jì)算機(jī)研究與發(fā)展,2012(S1):26-31.
[7] 孫其博,劉杰,黎羴等.物聯(lián)網(wǎng):概念,架構(gòu)與關(guān)鍵技術(shù)研究綜述[J].北京郵電大學(xué)學(xué)報(bào),2010(3):1-9.
[8] 李建功,王健全,王晶等.物聯(lián)網(wǎng)關(guān)鍵技術(shù)與應(yīng)用[M].機(jī)械工程出版社,2013:62.
[9] 胡向東.物聯(lián)網(wǎng)研究與發(fā)展綜述[J].數(shù)字通信,2010(4):17-21.