摘要：該文通過(guò)對(duì)云計(jì)算和云存儲(chǔ)的概念的描述，分析了云存儲(chǔ)的體系結(jié)構(gòu)較之傳統(tǒng)文件管理體系的優(yōu)勢(shì)，并針對(duì)檔案管理的工作現(xiàn)狀，提出了基于 Hadoop 構(gòu)建的云存儲(chǔ)系統(tǒng)模型的設(shè)計(jì)。

關(guān)鍵詞：檔案管理；云存儲(chǔ)；Hadoop

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2013）16-3659-02

1 概述

目前，我國(guó)大中型企業(yè)的規(guī)模不斷擴(kuò)大與國(guó)際接軌程度不斷提高，隨之而來(lái)的就是企業(yè)中的數(shù)據(jù)量日益增加，工作人員需要處理的數(shù)據(jù)越來(lái)越多。以檔案室為例，原有的檔案管理存儲(chǔ)系統(tǒng)成本高，平臺(tái)擴(kuò)展能力差，數(shù)據(jù)的訪問(wèn)效率低，已經(jīng)不能滿足日益增長(zhǎng)的數(shù)據(jù)量的需求。而云計(jì)算技術(shù)的推廣和使用可以為檔案室提供一種更高性能、更低成本、的存儲(chǔ)平臺(tái)，為檔案中的大量數(shù)據(jù)的處理提供了新的技術(shù)支持。

2 云計(jì)算與云存儲(chǔ)

云計(jì)算（cloud computing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。他包括互聯(lián)網(wǎng)上各種服務(wù)形式的應(yīng)用和提供這些服務(wù)的軟硬件設(shè)施，互聯(lián)網(wǎng)上的應(yīng)用服務(wù)就是通常用戶所說(shuō)的SaaS，數(shù)據(jù)中心的軟硬件設(shè)施就是云。云計(jì)算一般分為廣義和狹義兩種定義。分別指IT通過(guò)網(wǎng)絡(luò)以按照用戶需求和易擴(kuò)展的使用方式獲得所需資源以及指通過(guò)網(wǎng)絡(luò)以按照用戶需求和易擴(kuò)展的使用方式獲得用戶所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。云計(jì)算是傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，其本質(zhì)特征包括分布式計(jì)算和存儲(chǔ)、較高的可擴(kuò)展性、良好的可交互性。

云存儲(chǔ)（cloudstorage）是在云計(jì)算概念上延伸和衍生發(fā)展出來(lái)的一個(gè)新的概念。與云計(jì)算類似，它是指通過(guò)分布式文件系統(tǒng)和計(jì)算機(jī)的集群技術(shù)運(yùn)用等功能，集合網(wǎng)絡(luò)中不同類型的存儲(chǔ)設(shè)備是他們配合工作，對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問(wèn)功能的系統(tǒng)，云存儲(chǔ)實(shí)際上就是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。

云存儲(chǔ)體系一般分為以下幾個(gè)層次：數(shù)據(jù)存儲(chǔ)層，其作用是將不同類型的存儲(chǔ)設(shè)備連接起來(lái)，實(shí)現(xiàn)海量數(shù)據(jù)的統(tǒng)一存儲(chǔ)。數(shù)據(jù)管理層，數(shù)據(jù)管理層為上層提供不同服務(wù)間公共管理的統(tǒng)一視圖。通過(guò)設(shè)計(jì)統(tǒng)一的用戶管理、數(shù)據(jù)管理等功能模塊實(shí)現(xiàn)多存儲(chǔ)設(shè)備之間的協(xié)同工作。應(yīng)用接口層，應(yīng)用接口層是云存儲(chǔ)平臺(tái)面向用戶的部分，包括數(shù)據(jù)存儲(chǔ)服務(wù)、公共資源服務(wù)、數(shù)據(jù)備份服務(wù)等。數(shù)據(jù)訪問(wèn)層，通過(guò)數(shù)據(jù)訪問(wèn)層，使得用戶都可以隨時(shí)實(shí)地登錄云存儲(chǔ)平臺(tái)系統(tǒng)。

3 云存儲(chǔ)平臺(tái)的選擇

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)，得到了大規(guī)模的推廣和運(yùn)用。Hadoop用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。Hadoop 的基礎(chǔ)組件HDFS 是根據(jù) Google 的 GFS 設(shè)計(jì)思路開(kāi)發(fā)的，具有高容錯(cuò)性的特點(diǎn)，非常適合部署在低廉的硬件上。使用HDFS可以提供高傳輸率（來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。與傳統(tǒng)的分布式系統(tǒng)最大的不同點(diǎn)在于HDFS具有極高高容錯(cuò)性和較低的使用成本。

HDFS 是以流式數(shù)據(jù)訪問(wèn)模式存儲(chǔ)海量數(shù)據(jù)的分布式文件系統(tǒng)。名稱結(jié)點(diǎn)是中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間，它維護(hù)著文件系統(tǒng)樹(shù)及整棵樹(shù)內(nèi)所有的文件和目錄，同時(shí)還記錄著每個(gè)文件中各個(gè)數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點(diǎn)信。數(shù)據(jù)結(jié)點(diǎn)是文件系統(tǒng)的工作節(jié)點(diǎn)，負(fù)責(zé)管理數(shù)據(jù)塊的檢索與存儲(chǔ)，根據(jù)名稱結(jié)點(diǎn)的調(diào)度進(jìn)行塊的創(chuàng)建、刪除和復(fù)制等，并定期向名稱結(jié)點(diǎn)發(fā)送它所存儲(chǔ)的塊的列表。

4 基于云存儲(chǔ)的檔案資料管理系統(tǒng)的設(shè)計(jì)和功能分析

該系統(tǒng)的功能主要包括以下三個(gè)方面：第一是數(shù)據(jù)的備份與恢復(fù)傳統(tǒng)的備份和恢復(fù)系統(tǒng)在可靠性、可擴(kuò)展性、容錯(cuò)性等方面都有較大缺陷，不能滿足現(xiàn)階段檔案館檔案資料的信息量快速增長(zhǎng)的存儲(chǔ)需求。檔案館的管理人員在使用傳統(tǒng)模式進(jìn)行數(shù)據(jù)的備份和恢復(fù)時(shí)會(huì)遇到各種各樣的問(wèn)題。例如，對(duì)超大數(shù)據(jù)的進(jìn)行備份的時(shí)候，不僅很難找到相應(yīng)規(guī)模的數(shù)據(jù)備份載體，同時(shí)服務(wù)器在處理大規(guī)模數(shù)據(jù)時(shí)運(yùn)行速度明顯降低，會(huì)影響到其他用戶進(jìn)程的使用。而利用云存儲(chǔ)系統(tǒng)的高可擴(kuò)展性和高處理性能的特點(diǎn)，可以高效地存儲(chǔ)和管理這些數(shù)據(jù)。在檔案資料管理系統(tǒng)的實(shí)際應(yīng)用中，采用傳統(tǒng)存儲(chǔ)設(shè)備和云存儲(chǔ)系統(tǒng)混合使用的方式，可以充分降低使用成本，使得兩種存儲(chǔ)系統(tǒng)協(xié)同發(fā)揮優(yōu)勢(shì)。現(xiàn)階段檔案室的通常做法是將常用的檔案資料備份到傳統(tǒng)存儲(chǔ)中，然后再將它們存入云存儲(chǔ)系統(tǒng)，這樣的備份效果比其中任何一個(gè)系統(tǒng)的單獨(dú)存放的效果更好。

第二是數(shù)據(jù)共享，在檔案資料的管理過(guò)程中數(shù)據(jù)共享是其重要環(huán)節(jié)之一。在傳統(tǒng)存儲(chǔ)系統(tǒng)中，數(shù)據(jù)共享的效率常常受到受硬件設(shè)備的制約。當(dāng)大量用戶同時(shí)訪問(wèn)共享數(shù)據(jù)時(shí)，系統(tǒng)性能大大降低，甚至出現(xiàn)數(shù)據(jù)不能下載或提示數(shù)據(jù)不存在的問(wèn)題。利用云存儲(chǔ)系統(tǒng)可以大大提供大量用戶同時(shí)訪問(wèn)共享數(shù)據(jù)時(shí)的系統(tǒng)性能。在云存儲(chǔ)系統(tǒng)中每份數(shù)據(jù)都會(huì)在云中保存多份副本，數(shù)據(jù)按塊劃分以后分散存儲(chǔ)在所有數(shù)據(jù)節(jié)點(diǎn)上。這樣的設(shè)計(jì)大大提供了系統(tǒng)的并行效果，能夠同時(shí)響應(yīng)大量的并發(fā)數(shù)據(jù)訪問(wèn)請(qǐng)求。當(dāng)用戶要訪問(wèn)共享文件時(shí)，系統(tǒng)可以同時(shí)從多個(gè)服務(wù)器讀取該文件包含的塊，將得到的信息反饋給用戶。使得用戶在進(jìn)行共享文件的存取和修改的時(shí)候，不會(huì)感受到系統(tǒng)的延遲性。

第三是數(shù)據(jù)挖掘和歸檔。所謂數(shù)據(jù)挖掘是對(duì)數(shù)據(jù)庫(kù)的海量信息進(jìn)行分析和整理，從中找出有潛在價(jià)值和相關(guān)規(guī)律的信息。通過(guò)分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個(gè)步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來(lái)；規(guī)律表示是盡可能以用戶可理解的方式將找出的規(guī)律表示出來(lái)。云存儲(chǔ)為海量和復(fù)雜數(shù)據(jù)對(duì)象的數(shù)據(jù)挖掘提供了基本保證，在檔案資料管理系統(tǒng)中我們主要采用了MapReduce算法。

MapReduce的工作原理是通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。如果一個(gè)節(jié)點(diǎn)保持非活動(dòng)超過(guò)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)記錄將這個(gè)節(jié)點(diǎn)狀態(tài)記錄為死亡，同時(shí)將分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)給別的節(jié)點(diǎn)。命名文件的不可分割操作的使用可以確保并行線程間不會(huì)發(fā)生沖突；當(dāng)文件名被修改之后，系統(tǒng)會(huì)將其復(fù)制另一個(gè)文件名上去。通過(guò)該算法生成智能數(shù)據(jù)建立知識(shí)挖掘系統(tǒng)，從而對(duì)檔案資料進(jìn)行高效管理。數(shù)據(jù)歸檔是將不再經(jīng)常使用的數(shù)據(jù)移到一個(gè)單獨(dú)的存儲(chǔ)設(shè)備來(lái)進(jìn)行長(zhǎng)期保存的過(guò)程。數(shù)據(jù)歸檔通常由舊的數(shù)據(jù)組成，并具有索引和搜索功能，使得用戶可以方便快捷的找到文件。而由于數(shù)據(jù)量的快速增長(zhǎng)，數(shù)據(jù)歸檔對(duì)存儲(chǔ)系統(tǒng)的可靠性和存儲(chǔ)空間可擴(kuò)展性的要求越來(lái)越高。檔案資料管理云存儲(chǔ)系統(tǒng)可以保存數(shù)據(jù)的多個(gè)副本，將數(shù)據(jù)歸檔到云存儲(chǔ)中更有利于保證數(shù)據(jù)的穩(wěn)定性和安全性。

5 結(jié)束語(yǔ)

使用Hadoop 設(shè)計(jì)和構(gòu)建的云存儲(chǔ)系統(tǒng)，很大程度上解決了我國(guó)企業(yè)的海量數(shù)據(jù)存儲(chǔ)和管理的問(wèn)題。較之傳統(tǒng)模式下的管理系統(tǒng)，該系統(tǒng)具有高可靠性、高可擴(kuò)展性等優(yōu)勢(shì)，能夠解決大量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問(wèn)題、存儲(chǔ)層的可靠性問(wèn)題和可擴(kuò)展性問(wèn)題等，滿足了我國(guó)企業(yè)和事業(yè)單位對(duì)存儲(chǔ)系統(tǒng)日益增長(zhǎng)的需求。但是檔案管理云存儲(chǔ)系統(tǒng)的建立信息化程度高，不僅需要先進(jìn)的設(shè)備，更需要專業(yè)人才對(duì)系統(tǒng)進(jìn)行設(shè)計(jì)和管理。這就對(duì)檔案部門(mén)的資金投入和人才培養(yǎng)提出了新的要求。

參考文獻(xiàn)：

[1] 劉琨，李愛(ài)菊，董龍江.基于 Hadoop 的云存儲(chǔ)的研究及實(shí)現(xiàn)[J].微計(jì)算機(jī)信息，2011，27（7）：1008-0570.

[2] 周敬治，修蔽蔽.數(shù)字資源存儲(chǔ)系統(tǒng)的構(gòu)建模式及比較研究[J].情報(bào)雜志，2006（11）：106-108.

[3] 黃曉云.基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D].大連：大連海事大學(xué)，2010.

[4] 蔡炳育，陳慧賢.云計(jì)算與數(shù)字資源存儲(chǔ)問(wèn)題分析[J].巢湖學(xué)院學(xué)報(bào)，2009（6）：27-30.