国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)?

2012-07-01 18:05宋均祝林
電訊技術(shù) 2012年4期
關(guān)鍵詞:海量數(shù)據(jù)處理計(jì)算能力

宋均,祝林

(1.中國(guó)西南電子技術(shù)研究所,成都610036;2.四川職業(yè)技術(shù)學(xué)院,四川遂寧629000)

基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)?

宋均1,祝林2

(1.中國(guó)西南電子技術(shù)研究所,成都610036;2.四川職業(yè)技術(shù)學(xué)院,四川遂寧629000)

針對(duì)傳統(tǒng)并行處理技術(shù)在海量數(shù)據(jù)處理中存在的實(shí)際應(yīng)用問(wèn)題,利用云計(jì)算技術(shù)強(qiáng)大的計(jì)算能力、高效的海量數(shù)據(jù)處理方式,結(jié)合關(guān)系數(shù)據(jù)庫(kù)實(shí)時(shí)訪問(wèn)的優(yōu)點(diǎn),在Hadoop分布式計(jì)算框架基礎(chǔ)上,采用Map-Reduce架構(gòu),設(shè)計(jì)并實(shí)現(xiàn)了基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)。實(shí)踐證明,該系統(tǒng)在計(jì)算能力、穩(wěn)定性、可擴(kuò)展性等方面都優(yōu)于傳統(tǒng)并行處理的技術(shù),能有效解決海量數(shù)據(jù)大并發(fā)訪問(wèn)。

云計(jì)算;海量數(shù)據(jù);Hadoop分布式計(jì)算;并行處理技術(shù)

1 引言

在許多行業(yè)和機(jī)構(gòu)中,大中型數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的大批量數(shù)據(jù)集快速批量處理有廣泛的應(yīng)用需求。如何實(shí)現(xiàn)海量數(shù)據(jù)快速交互的批量處理是管理信息系統(tǒng)所面臨日益突出的問(wèn)題,也是數(shù)據(jù)集中工程中急需解決的關(guān)鍵問(wèn)題[1]。傳統(tǒng)的基于并行處理的數(shù)據(jù)平臺(tái)已不能滿足海量數(shù)據(jù)處理的實(shí)際要求,海量信息技術(shù)架構(gòu)迫切需要具有動(dòng)態(tài)的、可伸縮的存儲(chǔ)計(jì)算模式,才能實(shí)現(xiàn)快速響應(yīng)的機(jī)制[2-3]。

大型數(shù)據(jù)庫(kù)大規(guī)模數(shù)據(jù)查詢(xún)、分析、提取、更新等批量處理過(guò)程正面臨著嚴(yán)峻的實(shí)際問(wèn)題[4]:一是傳統(tǒng)的數(shù)據(jù)庫(kù)復(fù)雜,查詢(xún)耗時(shí)過(guò)長(zhǎng),當(dāng)面臨大數(shù)據(jù)量查詢(xún)?nèi)蝿?wù)時(shí)甚至無(wú)法完成;二是系統(tǒng)面臨大并發(fā)的數(shù)據(jù)任務(wù)時(shí),系統(tǒng)性能將急劇降低;三是傳統(tǒng)的數(shù)據(jù)庫(kù)可擴(kuò)展性差,額外增加的可擴(kuò)展硬件根本無(wú)法有效提高系統(tǒng)處理性能;四是海量數(shù)據(jù)的存取與處理成本高、維護(hù)費(fèi)用大,等。研究海量數(shù)據(jù)及時(shí)高效的處理技術(shù)將有效地提高計(jì)算機(jī)系統(tǒng)的應(yīng)用性能,從而更好地提供社會(huì)基礎(chǔ)服務(wù),帶動(dòng)經(jīng)濟(jì)效益的增長(zhǎng)。

作為一種新型的基于互聯(lián)網(wǎng)的商業(yè)計(jì)算模型,云計(jì)算提供了靈活的計(jì)算能力和高效的海量數(shù)據(jù)分析處理方法。本文將云計(jì)算應(yīng)用于關(guān)系數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理當(dāng)中,設(shè)計(jì)并搭建了基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái),為解決關(guān)系數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理問(wèn)題提供了新方法。

2 云計(jì)算技術(shù)

2.1 云計(jì)算的定義

云計(jì)算(Cloud Computing)是在信息技術(shù)進(jìn)步和應(yīng)用需求拉動(dòng)兩方面成熟的條件下逐漸演化而來(lái)的,于2007年被提出。到目前為止,云計(jì)算還沒(méi)有統(tǒng)一、公認(rèn)的定義,維基百科中對(duì)云計(jì)算的定義為:云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式,通過(guò)這種方式,共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。提供資源的網(wǎng)絡(luò)被稱(chēng)為“云”?!霸啤敝械馁Y源在使用者看來(lái)是可以無(wú)限擴(kuò)展的,并且可以隨時(shí)獲取,按需使用,隨時(shí)擴(kuò)展,按使用付費(fèi)。

2.2 云計(jì)算的技術(shù)支撐

云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物,它旨在通過(guò)網(wǎng)絡(luò)把多個(gè)成本相對(duì)較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng),并借助SaaS、PaaS、IaaS、MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶手中[5-6]。云計(jì)算的一個(gè)核心理念就是通過(guò)不斷提高“云”的處理能力,進(jìn)而減少用戶終端的處理負(fù)擔(dān),最終使用戶終端簡(jiǎn)化成一個(gè)單純的輸入輸出設(shè)備,并能按需享受“云”的強(qiáng)大計(jì)算處理能力。

3 系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)需求背景

本文以某藥品經(jīng)營(yíng)管理信息系統(tǒng)為例來(lái)設(shè)計(jì)和實(shí)現(xiàn)基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)。藥品經(jīng)營(yíng)管理具有藥品種類(lèi)繁多、統(tǒng)計(jì)數(shù)量大、藥品的批次號(hào)和有效期管理要求高、銷(xiāo)售門(mén)店多等特點(diǎn),因此該系統(tǒng)具有數(shù)據(jù)量大、并發(fā)用戶多、查詢(xún)復(fù)雜等特點(diǎn)。

3.2 系統(tǒng)設(shè)計(jì)要求與原則

傳統(tǒng)的基于并行處理的海量數(shù)據(jù)技術(shù)存在系統(tǒng)硬件要求高、成本大、并行程序編寫(xiě)困難等缺點(diǎn),海量數(shù)據(jù)的處理要求系統(tǒng)不僅要具有良好的穩(wěn)定性、超強(qiáng)的計(jì)算能力,能夠進(jìn)行快速、并行的數(shù)據(jù)處理,還要求在面對(duì)數(shù)據(jù)庫(kù)的復(fù)雜查詢(xún)問(wèn)題時(shí),系統(tǒng)具有一定的并發(fā)能力,能夠面對(duì)一定程度海量數(shù)據(jù)的大并發(fā)訪問(wèn)[7]。此外,還應(yīng)要求系統(tǒng)核心架構(gòu)具有可擴(kuò)展性,當(dāng)節(jié)點(diǎn)增加時(shí),核心架構(gòu)可實(shí)現(xiàn)線性擴(kuò)展功能[4]。

本系統(tǒng)設(shè)計(jì)遵循的幾點(diǎn)原則:

(1)經(jīng)濟(jì)性原則,充分利用現(xiàn)有的資源構(gòu)建系統(tǒng)基礎(chǔ)設(shè)施,采用Hadoop做為底層集群部署,對(duì)系統(tǒng)硬件要求不高;

(2)高效性原則,以云計(jì)算為基礎(chǔ),充分利用云計(jì)算的優(yōu)點(diǎn)和現(xiàn)有資源,采用合理的結(jié)構(gòu)體系,實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高效處理;

(3)通用性,注重采用目前成熟的軟、硬件技術(shù),在兼顧個(gè)體用戶需求的同時(shí),突出廣大客戶對(duì)系統(tǒng)共性的需求,盡可能地滿足不同類(lèi)用戶的需求;

(4)易操作性,貫徹落實(shí)面向最終用戶的原則,建立友好界面,使用戶操作簡(jiǎn)單直觀,易于學(xué)習(xí)和掌握。

3.3 系統(tǒng)總體架構(gòu)

傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)是集中在一臺(tái)大型服務(wù)器上的,本系統(tǒng)將數(shù)據(jù)分割到相互聯(lián)系的一個(gè)集群上。每個(gè)服務(wù)器上有一小部分?jǐn)?shù)據(jù),整個(gè)集群的數(shù)據(jù)組合成一個(gè)完整的數(shù)據(jù)集。當(dāng)系統(tǒng)并行運(yùn)算時(shí),整個(gè)系統(tǒng)的I/O、CPU、內(nèi)存都遠(yuǎn)遠(yuǎn)高于單服務(wù)器的架構(gòu),從而為數(shù)據(jù)處理速度帶來(lái)巨大的提升。與云計(jì)算的map/reduce/merge架構(gòu)相對(duì)應(yīng),可以將數(shù)據(jù)分割理解為map,將每臺(tái)服務(wù)器單獨(dú)處理的模塊理解為re

duce,在匯總節(jié)點(diǎn)進(jìn)行再處理可理解為Merge。系統(tǒng)總體構(gòu)架如圖1所示。

圖1 系統(tǒng)總體構(gòu)架Fig.1 System architecture

3.4 并行數(shù)據(jù)分割技術(shù)

在并行計(jì)算系統(tǒng)中,如何分割數(shù)據(jù)是整個(gè)并行計(jì)算的核心問(wèn)題之一[7-8]。簡(jiǎn)單按字段做Hash分割,可以快速分割數(shù)據(jù),但是對(duì)系統(tǒng)帶寬有很高的要求,而且對(duì)系統(tǒng)的并發(fā)和可擴(kuò)展性都有很大限制;按業(yè)務(wù)規(guī)則進(jìn)行復(fù)雜的數(shù)據(jù)分割可以極大地減少節(jié)點(diǎn)間數(shù)據(jù)的交換,降低并行計(jì)算系統(tǒng)對(duì)帶寬的要求,但同時(shí)又會(huì)導(dǎo)致巨大的分割運(yùn)算量(例如,當(dāng)對(duì)一個(gè)1.3億條的數(shù)據(jù)按業(yè)務(wù)規(guī)則進(jìn)行分割時(shí),單服務(wù)器進(jìn)行的分割時(shí)間需要20 h以上)。

為了有效解決這個(gè)兩難問(wèn)題,我們開(kāi)發(fā)了并行數(shù)據(jù)分割系統(tǒng),在多機(jī)并行的模式下,按業(yè)務(wù)規(guī)則對(duì)數(shù)據(jù)進(jìn)行有效分割(例如,若對(duì)1.3億條數(shù)據(jù)用9臺(tái)機(jī)器進(jìn)行分割,可在24min內(nèi)完成)。并行分割流程框圖如圖2所示。

圖2 并行數(shù)據(jù)分割流程框圖Fig.2 Diagram of partitioning data parellet

3.5 智能節(jié)點(diǎn)替換技術(shù)

對(duì)于云計(jì)算系統(tǒng)來(lái)說(shuō),容錯(cuò)技術(shù)是保證系統(tǒng)穩(wěn)定的基礎(chǔ)[9]。系統(tǒng)采用多重備份模式,實(shí)現(xiàn)一份數(shù)據(jù),多機(jī)存儲(chǔ)。如圖3所示,當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),系統(tǒng)的節(jié)點(diǎn)替換模塊會(huì)自動(dòng)更新節(jié)點(diǎn)信息,用備份節(jié)點(diǎn)替換掉故障節(jié)點(diǎn)。用戶在前臺(tái)操作時(shí),絲毫感覺(jué)不到系統(tǒng)后臺(tái)的操作。

圖3 系統(tǒng)備份模式流程圖Fig.3 Backupmodes of system

3.6 內(nèi)容負(fù)載均衡技術(shù)

按內(nèi)容條件進(jìn)行負(fù)載均衡技術(shù)查詢(xún)流程如圖4所示,查詢(xún)往往包含很多過(guò)濾條件,如果能有效地利用這些過(guò)濾條件,鎖定它們所在的節(jié)點(diǎn),則可以有效減少對(duì)所有節(jié)點(diǎn)的掃描,降低運(yùn)算所帶來(lái)的時(shí)間浪費(fèi)[10]。通過(guò)指定過(guò)濾條件和數(shù)據(jù)內(nèi)容索引間的關(guān)聯(lián),查出查詢(xún)所需要訪問(wèn)的節(jié)點(diǎn),再針對(duì)性地向?qū)?yīng)節(jié)點(diǎn)發(fā)出請(qǐng)求,大大減少了對(duì)系統(tǒng)資源的使用,同時(shí)也為海量數(shù)據(jù)的大并發(fā)查詢(xún)提供了更多的可用計(jì)算資源。

圖4 內(nèi)容負(fù)載均衡技術(shù)查詢(xún)框圖Fig.4 Content load balancing lnquiry

3.7 任務(wù)負(fù)載均衡技術(shù)

如何應(yīng)對(duì)海量數(shù)據(jù)的大并發(fā)訪問(wèn)是云計(jì)算技術(shù)面臨的技術(shù)挑戰(zhàn),在并行計(jì)算時(shí),所有子節(jié)點(diǎn)的運(yùn)算結(jié)果需要由某個(gè)匯總節(jié)點(diǎn)進(jìn)行集中再處理。在大并發(fā)的條件下,如果這個(gè)匯總節(jié)點(diǎn)是固定的,那么它的任務(wù)負(fù)荷一定會(huì)非常重,可能會(huì)造成整個(gè)系統(tǒng)的崩潰[11-12]。我們采用Master節(jié)點(diǎn)按任務(wù)進(jìn)行負(fù)載均衡的技術(shù),可以讓任意節(jié)點(diǎn)擔(dān)任Master的工作,從而極大地提高了并行計(jì)算系統(tǒng)應(yīng)對(duì)大并發(fā)的能力。

如圖5所示:實(shí)線任務(wù)和虛線任務(wù)兩個(gè)任務(wù)同時(shí)并發(fā),實(shí)線任務(wù)的匯總?cè)蝿?wù)由1號(hào)節(jié)點(diǎn)完成,虛線任務(wù)的匯總?cè)蝿?wù)則是由5號(hào)節(jié)點(diǎn)完成。

圖5 負(fù)載均衡處理框圖Fig.5 Load balancing processing

4 系統(tǒng)模塊組成及其實(shí)現(xiàn)

整個(gè)系統(tǒng)包括六大功能模塊,下面以系統(tǒng)在某醫(yī)療單位運(yùn)行數(shù)據(jù)情況為例,分別進(jìn)行介紹。

(1)數(shù)據(jù)分割模塊

該模塊包括中數(shù)據(jù)精確分割模塊和大數(shù)據(jù)并行分割模塊。

(3)并行查詢(xún)模塊

該模塊包括并行查詢(xún)?cè)O(shè)計(jì)模塊、并行查詢(xún)解析模塊、并行查詢(xún)控制模塊,其中并行查詢(xún)控制模塊又包括并行調(diào)度模塊、節(jié)點(diǎn)替換模塊和負(fù)載均衡模塊。

(3)安全管理模塊

該模塊包括用戶管理、Portal內(nèi)容權(quán)限管理及數(shù)據(jù)內(nèi)容權(quán)限管理。

(4)Portal模塊

該模塊包括報(bào)表管理模塊和縮略圖模塊。

(5)數(shù)據(jù)建模模塊

該模塊主要有元數(shù)據(jù)導(dǎo)入和業(yè)務(wù)視圖模塊。

(6)前臺(tái)展現(xiàn)模塊

該模塊包括用戶交互模塊、表格模塊及圖表模塊。

5 基于云計(jì)算海量數(shù)據(jù)處理系統(tǒng)的特點(diǎn)

系統(tǒng)在試用期間,通過(guò)對(duì)廣大使用客戶的調(diào)研,發(fā)現(xiàn)該系統(tǒng)具有以下幾個(gè)特點(diǎn)。

(1)計(jì)算快速性

云計(jì)算的核心在于數(shù)據(jù)的分布式存儲(chǔ)與大規(guī)模并行計(jì)算,google、yahoo、百度、facebook等互聯(lián)網(wǎng)巨頭正是利用這一技術(shù)來(lái)處理它們后臺(tái)的海量數(shù)據(jù),我們將這一技術(shù)與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)技術(shù)相結(jié)合,設(shè)計(jì)了基于云計(jì)算技術(shù)的海量數(shù)據(jù)處理系統(tǒng),為解決關(guān)系數(shù)據(jù)庫(kù)的海量數(shù)據(jù)快速處理提供了新方法。

(2)穩(wěn)定可靠性

引進(jìn)智能節(jié)點(diǎn)替換技術(shù),在節(jié)點(diǎn)壞掉的時(shí)候,系統(tǒng)可以自動(dòng)用備份節(jié)點(diǎn)替換掉故障節(jié)點(diǎn),保證系統(tǒng)的穩(wěn)定性。該系統(tǒng)采用和hadoop類(lèi)似的多重備份模式,一份數(shù)據(jù),多重備份。當(dāng)有節(jié)點(diǎn)宕機(jī)后,系統(tǒng)自動(dòng)用備份節(jié)點(diǎn)替換掉故障節(jié)點(diǎn),保證系統(tǒng)穩(wěn)定運(yùn)行。

(3)可有效解決并發(fā)能力

采用多項(xiàng)負(fù)載均衡技術(shù),通過(guò)dispather指定任意節(jié)點(diǎn)承擔(dān)Master任務(wù),有效消除并行計(jì)算中Master節(jié)點(diǎn)工作負(fù)荷太重的問(wèn)題;通過(guò)內(nèi)容索引、二次查詢(xún)等技術(shù),有效減少按條件查詢(xún)時(shí)對(duì)所有節(jié)點(diǎn)進(jìn)行的掃描數(shù)量,避免系統(tǒng)資源浪費(fèi)等問(wèn)題。

(4)可擴(kuò)展性

由于系統(tǒng)完全是基于并行模式設(shè)計(jì)的,所以當(dāng)節(jié)點(diǎn)增加時(shí),整個(gè)系統(tǒng)的I/O、CPU、內(nèi)存等核心架構(gòu)可線性擴(kuò)展,以此提高系統(tǒng)計(jì)算性能。

(5)零客戶端

系統(tǒng)的設(shè)計(jì)按照云計(jì)算的架構(gòu),從系統(tǒng)管理[15]報(bào)表到查詢(xún)的開(kāi)發(fā),用戶使用完全基于Web完成。所有操作界面都通過(guò)瀏覽器完成,用戶可以使用私有云在企業(yè)內(nèi)部部署,也可以使用公有云的模式,將數(shù)據(jù)上傳到云中心,然后通過(guò)云的方式使用,分析數(shù)據(jù)。

6 結(jié)束語(yǔ)

隨著信息化進(jìn)程的不斷深入,人們對(duì)信息的需求也將不斷增加,海量數(shù)據(jù)快速處理的技術(shù)需求與目前技術(shù)現(xiàn)狀的滯后之間的矛盾將日趨激烈,已成為全球廣為關(guān)注的熱點(diǎn)議題。本文在對(duì)廣大客戶需求分析的基礎(chǔ)上,針對(duì)傳統(tǒng)并行數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量處理不足等現(xiàn)狀,利用云計(jì)算靈活的計(jì)算能力和高效的海量數(shù)據(jù)分析處理技術(shù),設(shè)計(jì)并搭建了基于云計(jì)算的海量數(shù)據(jù)實(shí)現(xiàn)平臺(tái),最后對(duì)系統(tǒng)運(yùn)行情況進(jìn)行了簡(jiǎn)要展示。系統(tǒng)在投試期間,通過(guò)對(duì)使用客戶的廣泛調(diào)研,發(fā)現(xiàn)本系統(tǒng)在計(jì)算能力、穩(wěn)定性、可擴(kuò)展性等方面都優(yōu)于傳統(tǒng)并行處理的技術(shù)方法,能有效解決系統(tǒng)大并發(fā)問(wèn)題。該系統(tǒng)是云計(jì)算技術(shù)面向海量數(shù)據(jù)處理的一個(gè)實(shí)際應(yīng)用,是解決海量數(shù)據(jù)處理問(wèn)題的一種成功范例,可為面向海量數(shù)據(jù)處理的系統(tǒng)開(kāi)發(fā)提供參考和借鑒。

[1]2010 Digital Universe Study[EB/OL].[2010-7-27]. http://gigaom.files.wordpress.com/2010/05/2010-digital -universe-iview-5-4-10.pdf

[2]陳康,鄭緯民.云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J].軟件學(xué)報(bào),2009,20(5):1337-1348. CHEN Kang,ZHENGWei-min.Cloud Computing:System Instances and Current Research[J].Journal of Software,2009,20(5):1337-1348.(in Chinese)

[3]黃華峰,曹王王木.云計(jì)算:中國(guó)未來(lái)的IT戰(zhàn)略[M].北京:人民郵電出版社,2010. HUANG Hua-feng,CAOQin.Cloud Computing:China Future IT Tactic[M].Beijing:People′s Post and Telecomm Press,2010.(in Chinese)

[4]Armbrust M,F(xiàn)ox A,Grifth R,et al.Above the Clouds:A Berkeley View of Cloud Computing[R]//Technical Report No.UCB/EECS-2009-28.Berkeldy:Department of Electrical Engineering and Computer Sciences,University of California,2009.

[5]劉鵬.云計(jì)算[M].北京:電子工業(yè)出版社,2011. LIU Peng.Cloud Computing[M].Beijing:Publishing House of Electronic Industry,2011.(in Chinese)

[6]Fingar P.云計(jì)算:21世紀(jì)的商業(yè)平臺(tái)[M].王靈俊,譯.北京:電子工業(yè)出版社,2010. Fingar P.Cloud Computing:21st Century Business Platform Built[M].Translated by WANG Ling-jun.Beijing:Publishing House of Electronic Industry,2011.(in Chinese)

[7]Chaves SA,Westphall CB,Lamin FR.SLA Perspective in Security Management for Cloud Computing[C]//Proceedings of the 6th International Conference on Networking and Services.Cancun,Mexico:IEEE,2010:201-217.

[8]Cryans Jean-Daniel,April A,Abran A.Criteria to Compare Cloud Computingwith CurrentDatabase Technology[C]//Proceedings of the International Conferences on Software Process and ProductMeasurement.[S.l.]:IEEE,2008:114-126.

[9]Santos N,Gummadi K P,Rodrigues R.Towards trusted cloud computing[C]//Proceedings of HotCloud 2009.San Diego,CA,USA:[s.n.],2009.

[10]Li Wei,Chen C X.Efficient Data Modeling and Querying Systemfor Multi—dimensional Spatial Data[C]//Proceedings of ACM GIS.Irvine,CA,USA:ACM,2008.

[11]Porter G,UC San Diego,La Jolla.Decoupling Storage and Computation in Hadoop with SuperDataNodes[J].ACM SIGOPSOperating System Review,2010,44(2):41-46.

[12]Raj H,NathujiR,Singh A,etal.Resourcemanagement for isolation enhanced cloud services[C]//Proceedings of the 2009 ACM Workshop on Cloud Computing Security.New York:ACM,2009:77-84.

SONG Jun was born in Suining,Sichuan Province,in 1972.He received the M.S.degree in 2002.He is now a system analyst.

Email:songjun@china.com

祝林(1970—),男,四川射洪人,1994年獲工學(xué)碩士學(xué)位,現(xiàn)為副教授。

ZHU Lin was born in Shehong,Sichuan Province,in 1970.He received the M.S.degree in 1994.He is now an associate professor.

M ass Data Processing Platform Design and Im plementation Based on Cloud Com puting

SONG Jun1,ZHU Lin2
(1.Southwest China Institute of Electronic Technology,Chengdu 610036,China;2.Sichuan Vovational and Technical College,Suining 629000,China)

According to the shortcomings of themassive data processingmethods based on traditional parallel processing techniques in practical applications,by using the powerful computing abilities and effcientways ofmass data processing of cloud computing,and taking the advantages of real-time access to relational databases,a cloud computing platform formass data processing based on the Hadoop distributed computing framework and Map-Reducemodel is developed.Practice shows that the system proposed is superior to the traditional parallel processing techniques in computing ability,stability,scalability,etc.,and what′smore,it can effectively solve the concurrent access tomass data simultaneously.

cloud computing;mass data;hadoop distributed computing;parallel processing technique

TP391

A

10.3969/j.issn.1001-893x.2012.04.029

宋均(1972—),男,四川遂寧人,2002年獲工程碩士學(xué)位,現(xiàn)為系統(tǒng)分析師;

1001-893X(2012)04-0566-05

2011-11-11;

2012-03-26

猜你喜歡
海量數(shù)據(jù)處理計(jì)算能力
一種傅里葉域海量數(shù)據(jù)高速譜聚類(lèi)方法
淺談如何提高小學(xué)生的計(jì)算能力
認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
小學(xué)生計(jì)算能力的提高策略
ILWT-EEMD數(shù)據(jù)處理的ELM滾動(dòng)軸承故障診斷
小學(xué)生計(jì)算能力的培養(yǎng)
海量快遞垃圾正在“圍城”——“綠色快遞”勢(shì)在必行
淺談小學(xué)生計(jì)算能力的培養(yǎng)
一個(gè)圖形所蘊(yùn)含的“海量”巧題
基于希爾伯特- 黃變換的去噪法在外測(cè)數(shù)據(jù)處理中的應(yīng)用