侯青　徐家喜　吉力

摘要：針對(duì)傳統(tǒng)海量數(shù)據(jù)存儲(chǔ)和處理方法成本高、效率低、編寫程序困難等缺點(diǎn)，該文搭建了基于Hadoop框架的云平臺(tái)，設(shè)計(jì)和實(shí)現(xiàn)了基于Hadoop的校園教育資源管理系統(tǒng)。測(cè)試及實(shí)驗(yàn)結(jié)果表明，基于Hadoop的云平臺(tái)在大數(shù)據(jù)和多用戶并發(fā)訪問環(huán)境下，系統(tǒng)運(yùn)行穩(wěn)定，數(shù)據(jù)處理快，能有效降低成本，較傳統(tǒng)單機(jī)服務(wù)器具有明顯優(yōu)勢(shì)，能夠很好的在校園資源管理系統(tǒng)中得到應(yīng)用。

關(guān)鍵詞：云計(jì)算；Hadoop；集群；HDFS；Mapreduce

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）01-0067-05

1 概述

云計(jì)算是IT基礎(chǔ)設(shè)施的交付和使用模式，用戶可以通過網(wǎng)絡(luò)以按需、可擴(kuò)展方式獲得所需要的計(jì)算機(jī)資源，如：硬件、軟件平臺(tái)等，提供資源服務(wù)的平臺(tái)被稱為“云平臺(tái)”。當(dāng)前國內(nèi)外很多大型企業(yè)如：亞馬遜、谷歌、IBM等已經(jīng)推出了自己的云平臺(tái)，并將計(jì)算資源作為服務(wù)提供給用戶，但是由于云計(jì)算平臺(tái)搭建所需要的硬件資源和軟件服務(wù)比較昂貴，技術(shù)和安全性尚未成熟，另外受到帶寬等各個(gè)因素的限制，在實(shí)際應(yīng)用中，企業(yè)提供的云平臺(tái)未必是一個(gè)解決問題的符合實(shí)際的好方案。

Hadoop是Apache基金會(huì)的開源項(xiàng)目，是云計(jì)算研究和應(yīng)用最具有代表性產(chǎn)品。Hadoop分布式框架為開發(fā)者提供了一個(gè)分布式系統(tǒng)的基礎(chǔ)架構(gòu)，用戶可以在不了解分布式系統(tǒng)底層細(xì)節(jié)的情況下開發(fā)分布式應(yīng)用，充分利用由hadoop統(tǒng)一起來的集群存儲(chǔ)資源、網(wǎng)絡(luò)資源和計(jì)算資源，實(shí)現(xiàn)基于海量數(shù)據(jù)的高速運(yùn)算和存儲(chǔ)。當(dāng)前校園教育資源的下載一般是通過FTP來完成，然而由于數(shù)據(jù)量大，并發(fā)用戶多，導(dǎo)致服務(wù)器負(fù)載過重，下載速度慢，所以教育資源系統(tǒng)的資源沒有被很好的使用。該文基于hadoop搭建一個(gè)校園教育資源管理平臺(tái)，充分利用閑置PC機(jī)，發(fā)揮多臺(tái)機(jī)器的功能，解決教育資源管理平臺(tái)“形同虛設(shè)”問題。

2 基于hadoop的校園教育資源管理系統(tǒng)研究

2.1搭建云計(jì)算平臺(tái)

該文為了測(cè)試基于hadoop云平臺(tái)的性能，將機(jī)房即將報(bào)廢的5臺(tái)閑置機(jī)器做了集群。其中一臺(tái)為Master，其余四臺(tái)為Slave。Master主要配置NameNode和JobTracker的角色，負(fù)責(zé)數(shù)據(jù)分塊、存儲(chǔ)并將任務(wù)分配給相應(yīng)節(jié)點(diǎn)進(jìn)行執(zhí)行。Slave節(jié)點(diǎn)主要負(fù)責(zé)各自任務(wù)的具體執(zhí)行。具體實(shí)施步驟如下：

1、 所需資源包：Linux Ubuntu 9.10 、Hadoop 0.20.0 包、Sun-java6-jdk 包 、SSH 包和Eclipse 包。

2、 配置流程如下：

1） 安裝Linux系統(tǒng)。該文使用ubuntu 11.10，將五臺(tái)PC機(jī)安裝同樣版本的Linux系統(tǒng)，同時(shí)創(chuàng)建相同用戶hadoop，并將home路徑來做hadoop的安裝路徑。比如，本系統(tǒng)在所有機(jī)器上都建立了/home/hadoop/program目錄。

2） 安裝jdk到/home/hadoop/program路徑下，并配置Master環(huán)境變量，即：在"/etc/profile"文件的尾部添加以下內(nèi)容：

# set java environment

export JAVA_HOME=/home/hadoop/program /jdk1.6.0_43

export CLASSPATH=.：$CLASSPATH：$JAVA_HOME/lib：$JAVA_HOME/jre/lib

export PATH=$PATH：$JAVA_HOME/bin：$JAVA_HOME/jre/bin

保存并退出，執(zhí)行下面命令使其配置立即生效。

source /etc/profile

Slave的jdk安裝和配置同Master。

3） 下載hadoop并解壓至Master，安裝路徑是/home/hadoop/program/hadoop-1.0.4。

4） 修改配置文件。在hadoop-1.0.4目錄下找到conf目錄，修改以下配置文件：

①配置hadoop-env.sh

該"hadoop-env.sh"文件位于"/home/hadoop/program/hadoop-1.0.4/conf"目錄下。找到#export JAVA_HOME=$JAVA_HOME 將注釋符號(hào)#去掉。

② 配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml，這里配置的是HDFS的地址和端口號(hào)。

hadoop.tmp.dir

/home/hadoop/program/hadoop-1.0.4/tmp

<！— file system properties —>

fs.default.name

hdfs：//192.168.3.100：9000

③ 配置hdfs-site.xml文件

修改Hadoop中HDFS的配置，配置的備份方式默認(rèn)為3。

dfs.replication

3

dfs.permissions

false

Path path = new Path（dst）；

boolean isDel = hdfs.delete（path）；

hdfs.close（）；

return isDel；

}

2.2.4實(shí)驗(yàn)結(jié)果與分析

1） 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)是在由5臺(tái)PC機(jī)組成的Hadoop集群上進(jìn)行測(cè)試的，其中一臺(tái)為NameNode節(jié)點(diǎn)，主機(jī)Slave1，Slave2，Slave3和Slave4為DataNode節(jié)點(diǎn)。五臺(tái)機(jī)器的系統(tǒng)配置如下：

Namenode： cpu i5-2400 3.1Ghz*4，內(nèi)存： 4G，硬盤： 500G，操作系統(tǒng)：ubuntu12.04；

Datanode： cpu i5-3470 3.2Ghz*4，內(nèi)存： 4G，硬盤： 500G，操作系統(tǒng)：ubuntu12.04；

實(shí)驗(yàn)主要是通過測(cè)試多客戶端并發(fā)訪問下載集群數(shù)據(jù)文件的效率，來對(duì)比基于Hadoop的云平臺(tái)和傳統(tǒng)服務(wù)器的性能。為了能夠?qū)崟r(shí)畫出性能曲線圖，使用JFreeChart插件，通過java xml編碼將數(shù)據(jù)實(shí)時(shí)傳到hdfs，繪制出實(shí)驗(yàn)結(jié)果分析圖。

2） 實(shí)驗(yàn)

實(shí)驗(yàn)通過求1到30個(gè)并發(fā)客戶端下載完1G大小文件的平均速度，來對(duì)比普通服務(wù)器ftp方式和基于hadoop的云計(jì)算平臺(tái)hdfs下載兩種方式哪種效率更高，實(shí)驗(yàn)結(jié)果如圖3所示。由實(shí)驗(yàn)數(shù)據(jù)可以看出，當(dāng)客戶端數(shù)量少于6個(gè)時(shí)，集群并不占優(yōu)勢(shì)，平均下載速度略低于普通服務(wù)器，這主要是因?yàn)榧褐?，Namenode調(diào)度和Datanode數(shù)據(jù)塊切換等消耗集群系統(tǒng)資源，在數(shù)據(jù)量交換不是很大的情況下不能體現(xiàn)Hadoop集群優(yōu)勢(shì)。隨著并發(fā)客戶端用戶的增加，單機(jī)服務(wù)器負(fù)荷大大加重，處理大規(guī)模并發(fā)海量數(shù)據(jù)的能力大大降低，而Hadoop集群因其分布式特性，發(fā)揮出了良好優(yōu)勢(shì)，平均下載速度越來越好于單機(jī)服務(wù)器的ftp方式。值得注意的是不同數(shù)量的用戶端的平均速并非是一個(gè)平滑的曲線，而是有些節(jié)點(diǎn)出現(xiàn)了跳躍，這是因?yàn)樵趯?shí)際測(cè)試環(huán)境下，客戶端機(jī)器本身性能差異以及網(wǎng)絡(luò)的不穩(wěn)定等原因所造成，屬于不可避免的。但是，從整體趨勢(shì)來看，集群性能要好于單機(jī)服務(wù)器，所以基于hadoop的校園資源管理平臺(tái)必能節(jié)省學(xué)校硬件資源開銷，同時(shí)提高使用效率。

圖3 hadoop集群與普通服務(wù)器性能對(duì)比

3 結(jié)論

通過對(duì)云計(jì)算基礎(chǔ)知識(shí)、Hadoop云計(jì)算的介紹，搭建基于Hadoop的云平臺(tái)，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)用于處理海量數(shù)據(jù)的校園資源管理平臺(tái)。通過測(cè)試實(shí)驗(yàn)表明，Hadoop在海量數(shù)據(jù)存儲(chǔ)和處理上具有明顯的優(yōu)勢(shì)和穩(wěn)定性。同時(shí)，該系統(tǒng)平臺(tái)可以部署在廉價(jià)的通用硬件上，可以為學(xué)校減少購買服務(wù)器等資源的昂貴開支?？傊?，基于Hadoop云平臺(tái)的校園資源管理，不僅可以降低硬件和軟件開發(fā)成本，提高安全性，而且系統(tǒng)應(yīng)用效率也會(huì)有明顯提高。然而，Hadoop集群在高并發(fā)低延時(shí)訪問方面，優(yōu)勢(shì)并不明顯，HDFS系統(tǒng)需要進(jìn)一步的優(yōu)化才能夠在校園資源管理平臺(tái)上充分發(fā)揮其優(yōu)勢(shì)，所以本文接下來的主要工作是對(duì)HDFS系統(tǒng)性能進(jìn)行優(yōu)化，比如，數(shù)據(jù)塊的優(yōu)化、負(fù)載均衡優(yōu)化和文件下載啟用多線程等使得HDFS系統(tǒng)應(yīng)用更加實(shí)用和廣泛。

參考文獻(xiàn)：

[1] 陳嘉恒.Hadoop實(shí)戰(zhàn)[M]. 北京： 機(jī)械工業(yè)出版社， 2012.1-35.

[2] 劉鵬.實(shí)戰(zhàn)Hadoop[M]. 北京： 電子工業(yè)出版社， 2011.1-83.

[3] 周敏奇，王曉玲，金澈清，等.Hadoop權(quán)威指南 [M]. 北京： 清華大學(xué)出版社， 2011.1-73.

[4] 曹寧，吳中海，劉宏志，等. HDFS下載效率的優(yōu)化[J]. 計(jì)算機(jī)應(yīng)用， 2010，30（8）： 2061-2065.

[5] 韓海雯，齊德昱，封斌. 基于云計(jì)算的廣域級(jí)視頻監(jiān)控綜合業(yè)務(wù)平臺(tái)[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2013，34（5）：1657-1662.

[6] 王梅，朱信忠，趙建民，等. 基于Hadoop的海量圖像檢索系統(tǒng)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展， 2013，23（1）： 204-208.

[7] 李杰輝，張亮，陳健，等. 基于Hadoop的化合生物活性分析系統(tǒng)[J]. 計(jì)算機(jī)工程， 2012， 38（13）： 48-49.

[8] 楊峰，吳華端，朱華吉，等. 基于Hadoop的海量農(nóng)業(yè)數(shù)據(jù)資源管理平臺(tái)[J]. 計(jì)算機(jī)工程， 2011， 37（12）： 242-245.

[9] HADOOP Wi-ki[EB/OL].[2009-07-01] http//wiki.apache.org /hadoop/.