王毅

【摘要】文章介紹了高校信息中心在數(shù)據(jù)存儲方面的現(xiàn)狀和集群式存儲的一些特點，對在高校部署集群式存儲系統(tǒng)做了簡要的論述，并且總結(jié)了部署集群式存儲系統(tǒng)所帶來的意義。

【關(guān)鍵詞】存儲；高校；共享；安全

【中圖分類號】G40-057 【文獻(xiàn)標(biāo)識碼】A 【論文編號】1009—8097（2013）06—0120—03

一 引言

隨著教育行業(yè)信息化建設(shè)的不斷深入和完善，學(xué)校教學(xué)、科研、管理等工作的正常運行越來越依賴于網(wǎng)絡(luò)信息平臺。目前很多高校的數(shù)據(jù)中心仍然采用很多年前的數(shù)據(jù)處理方式，將前端應(yīng)用程序、數(shù)據(jù)庫、資源庫全部放在服務(wù)器本地硬盤中，雖然現(xiàn)階段基本可以滿足要求，但也存在很多弊端。如：沒有備份恢復(fù)系統(tǒng)、服務(wù)器的硬盤空間沒有統(tǒng)一的規(guī)劃，使用分布不均，造成空間浪費、數(shù)據(jù)無法在各種版本的操作系統(tǒng)間實現(xiàn)簡單快速的共享等。隨著學(xué)校各種業(yè)務(wù)數(shù)據(jù)的不斷增加，現(xiàn)有架構(gòu)的不足將日益凸現(xiàn)出來。因此，建立可靠、安全、便于檢索、快速共享的集群式存儲系統(tǒng)已經(jīng)變得勢在必行。

二 高校信息中心數(shù)據(jù)存儲的現(xiàn)狀

1 幾乎沒有集中的存儲設(shè)備，數(shù)據(jù)丟失風(fēng)險大

重要的教學(xué)資源、學(xué)生信息、財務(wù)數(shù)據(jù)均存放在服務(wù)器本地硬盤或者Raid硬盤組當(dāng)中，缺乏相應(yīng)的保護措施、相應(yīng)的專業(yè)數(shù)據(jù)管理人員。大大加重了數(shù)據(jù)丟失的風(fēng)險。

2 存儲空間浪費嚴(yán)重，數(shù)據(jù)無法安全簡單共享

數(shù)據(jù)分散存儲在各個服務(wù)器中，服務(wù)器硬盤空間無法統(tǒng)籌規(guī)劃，形成一個一個的信息孤島，空間使用分布不均，嚴(yán)重浪費。

不同的主機間所擁有的存儲區(qū)域不可能交叉訪問，傳統(tǒng)文件服務(wù)器基于單一操作系統(tǒng)，故不可能實現(xiàn)真正實現(xiàn)異構(gòu)操作系統(tǒng)如Linux和Windows數(shù)據(jù)的共享。而Linux和Windows之間的互訪則只能通過購買第三方軟件來實現(xiàn)，并且保證不了應(yīng)有的文件訪問權(quán)限。

3 沒有真正的備份恢復(fù)保護系統(tǒng)

服務(wù)器的數(shù)據(jù)很容易因為誤刪除，病毒感染，硬盤設(shè)備壞等原因丟失。沒有專業(yè)的備份系統(tǒng)可以恢復(fù)數(shù)據(jù)。

4整體擁有成本不合理

傳統(tǒng)架構(gòu)下，服務(wù)器的平均資源利用率并不高，造成很多CPU、內(nèi)存、電力、制冷、機架空間等資源的浪費，增加了不必要的開銷，整體擁有成本不合理。

三 集群式存儲

1 集群式存儲發(fā)展的背景

傳統(tǒng)的存儲已經(jīng)不能滿足于當(dāng)下信息的爆炸式發(fā)展。面對日益臃腫和復(fù)雜的數(shù)據(jù)，一旦遇到存儲系統(tǒng)的瓶頸，就不得不升級到更大的存儲系統(tǒng)和添加更多的管理工具，從而浪費了社會資源，加深了數(shù)據(jù)管理的難度。而采用集群存儲則可以提供按比例增加的服務(wù)器或存儲資源的性能、容量、可靠性及可用性，突破了單機設(shè)備的種種限制，帶來更高的可用性、穩(wěn)定性，以及更低的成本。

2 什么是集群式存儲

集群存儲就是將多臺存儲設(shè)備中的存儲空間聚合成一個能夠給應(yīng)用服務(wù)器提供統(tǒng)一訪問接口和管理界面的存儲池，應(yīng)用可以通過該訪問接口透明地訪問和利用所有存儲設(shè)備上的磁盤，可以充分發(fā)揮存儲設(shè)備的性能和磁盤利用率。數(shù)據(jù)將會按照一定的規(guī)則從多臺存儲設(shè)備上存儲和讀取，以獲得更高的并發(fā)訪問性能。

3 集群式存儲的功能

（1）海量數(shù)據(jù)高效管理

隨著資料處理業(yè)務(wù)的增多，存儲系統(tǒng)中將積累大量的數(shù)據(jù)，這就需要存儲系統(tǒng)能夠容納海量的數(shù)據(jù)。同時，存儲系統(tǒng)里面的文件數(shù)量也會快速增長，當(dāng)文件數(shù)量增長到數(shù)千萬以上時，文件的檢索查找等操作將會給文件系統(tǒng)帶來巨大的壓力，特別是一個目錄下面存放的文件超過一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆?。集群存儲系統(tǒng)單卷可支持PB級的存儲空間，高效的管理上百億個文件，單目錄可以高效支持千萬級的文件數(shù)量。集群存儲系統(tǒng)擁有高效的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上百億文件的同時保持極高的文件檢索效率。集群存儲系統(tǒng)能夠在單個目錄下高效管理上千萬個文件的存儲系統(tǒng)，在單目錄下存放上千萬數(shù)量文件時，仍然能夠提供每秒數(shù)萬的文件檢索效率。

（2）數(shù)據(jù)讀寫性能

集群存儲系統(tǒng)通過多臺存儲服務(wù)器提供同時數(shù)據(jù)存取服務(wù)的方法以滿足大量應(yīng)用服務(wù)器的并發(fā)訪問需求。在應(yīng)用服務(wù)器端，當(dāng)應(yīng)用程序往存儲系統(tǒng)上寫文件時，文件將會被根據(jù)一定大小進行分片存放到多臺存儲服務(wù)器上；在應(yīng)用程序讀文件時，則并發(fā)的從多個服務(wù)器上讀取數(shù)據(jù)。由于大量的數(shù)據(jù)IO請求都被分散到多臺存儲服務(wù)器上，使得所有的存儲服務(wù)器上的磁盤性能和網(wǎng)絡(luò)帶寬都可以同時得到充分的利用，這樣集群存儲系統(tǒng)的聚合帶寬由多臺的存儲服務(wù)器上的10帶寬相加而成，從而克服了單一出口點所造成的性能瓶頸，可以滿足多臺應(yīng)用節(jié)點并發(fā)訪問的帶寬需求。通過實現(xiàn)多存儲服務(wù)器的并發(fā)數(shù)據(jù)訪問支持，消除了傳統(tǒng)存儲方案中常見的負(fù)載不均導(dǎo)致的熱點數(shù)據(jù)問題。通過數(shù)據(jù)在存儲服務(wù)器集群中的條帶化分布實現(xiàn)高效、全面的負(fù)載均衡功能，充分利用硬件和網(wǎng)絡(luò)的性能，發(fā)揮出最高IO吞吐量。

（3）數(shù)據(jù)全局共享

大規(guī)模集群存儲系統(tǒng)采用文件系統(tǒng)全局命名空間，所有計算節(jié)點都可看到一致文件系統(tǒng)視圖。數(shù)據(jù)的全局共享可以加強各計算節(jié)點之間的協(xié)作，提高了作業(yè)的運行效率。而且數(shù)據(jù)的統(tǒng)一管理也方便用戶數(shù)據(jù)的統(tǒng)一管理，并簡化應(yīng)用系統(tǒng)的開發(fā)。

（4）數(shù)據(jù)安全性

基于數(shù)據(jù)安全性方面的考慮，用戶可以通過配置工具設(shè)置數(shù)據(jù)相應(yīng)的安全等級，選擇將數(shù)據(jù)和校驗數(shù)據(jù)分別存放在不同的存儲服務(wù)器上。集群存儲系統(tǒng)可以同時使用多條高速數(shù)據(jù)通道，可消除網(wǎng)絡(luò)層的單點故障，進一步提高系統(tǒng)的高可用性。在這樣的情況下，即使出現(xiàn)存儲服務(wù)器宕機、網(wǎng)絡(luò)中斷、磁盤損壞時，仍然能夠保障數(shù)據(jù)完整性和數(shù)據(jù)服務(wù)的持續(xù)運行。例如，在運行中存儲服務(wù)器由于磁盤損壞而丟失了該磁盤上的部分?jǐn)?shù)據(jù)，集群存儲系統(tǒng)將會立刻發(fā)現(xiàn)該異常并自發(fā)的啟動數(shù)據(jù)恢復(fù)流程，利用存放于其它存儲服務(wù)器中該部分?jǐn)?shù)據(jù)的校驗數(shù)據(jù)重新生成一份以保證數(shù)據(jù)仍有一定的冗余度。由于數(shù)據(jù)恢復(fù)是基于真實丟失的數(shù)據(jù)，并且數(shù)據(jù)恢復(fù)是通過整個存儲集群同時并發(fā)進行，所以相對于傳統(tǒng)的RAID技術(shù)具備更快的數(shù)據(jù)重建速度，這也能夠有效提升數(shù)據(jù)的安全性。通過將數(shù)據(jù)和校驗數(shù)據(jù)存放在不同存儲服務(wù)器的方法可以對一系列的軟硬件故障（網(wǎng)絡(luò)、主機、磁盤等）進行自動的隔離，消除了存儲系統(tǒng)的任何單點故障，而且也無需配置任何復(fù)雜的配置。

4 集群式存儲的優(yōu)勢

集群存儲的優(yōu)勢主要體現(xiàn)在提高并行或分區(qū)I/O的整體性能，特別是工作流、讀密集型以及大型文件的訪問，通過采用更高性價比的通用硬件來控制整體成本。目前，能源行業(yè)、廣電行業(yè)和科學(xué)計算、互聯(lián)網(wǎng)等領(lǐng)域的很多創(chuàng)新企業(yè)成了集群存儲市場上首批用戶，并且從集群存儲帶來的種種優(yōu)勢中獲得了非常高的投資回報率。

四 在高校部署集群式存儲的可行性和帶來的意義

1 在高校部署集群式存儲的可行性

（1）集群式存儲系統(tǒng)和現(xiàn)有環(huán)境無縫兼容

存儲系統(tǒng)的設(shè)計是面向通用的硬件和軟件環(huán)境，如使用通用的以太網(wǎng)絡(luò)作為數(shù)據(jù)傳輸通道可以確保充分利用現(xiàn)有的環(huán)境，并且可以無需對環(huán)境做出任何修改。另外能夠直接支持Linux、Windows、Mac等常用的操作系統(tǒng)之間進行數(shù)據(jù)共享，無需對操作系統(tǒng)做任何修改，所以能夠無縫的接入到高?，F(xiàn)有的軟硬件環(huán)境。

（2）系統(tǒng)化的可擴展性

集群存儲系統(tǒng)可以支持動態(tài)的擴展存儲容量，而無需中斷應(yīng)用的運行。用戶可以通過配置工具動態(tài)添加存儲服務(wù)器以擴大系統(tǒng)的容量和規(guī)模，而且隨著存儲服務(wù)器數(shù)據(jù)的增多，整套系統(tǒng)的聚合帶寬也會線性的增長，完全可以滿足業(yè)務(wù)不斷發(fā)展所產(chǎn)生的容量和性能需求。而工業(yè)標(biāo)準(zhǔn)的通用硬件良好的兼容性和可獲得性方便了整套存儲系統(tǒng)將來的使用和擴展。

（3）系統(tǒng)的整體擁有成本低

考慮到教育機構(gòu)不是直接生產(chǎn)單位，不產(chǎn)生直接的效益。因此，考慮系統(tǒng)的整體成本是必要的。由于集群式存儲系統(tǒng)的動態(tài)可擴展技術(shù)，使得用戶可以按需擴展存儲容量，無需一次性投入大量成本來構(gòu)建存儲系統(tǒng)，有效降低了用戶投資的風(fēng)險。

（4）另外，集群式存儲系統(tǒng)將所有的存儲設(shè)備聚合成單一的存儲池，提供給所有的前端應(yīng)用服務(wù)器集群共享訪問，克服了使用單一設(shè)備時所出現(xiàn)的存儲設(shè)備利用率不均衡的情況。

2 部署集群式存儲所帶來的意義

（1）數(shù)據(jù)的充分共享

校園網(wǎng)中的數(shù)據(jù)可以被前端的各種類型的主機共享，無需在Linux和Windows、Mac系統(tǒng)之間進行數(shù)據(jù)遷移。這允許一個數(shù)據(jù)拷貝被所有人員與進程共享，大大減少了對不同環(huán)境下相同的數(shù)據(jù)的多種形式的管理費用。

（2）安全應(yīng)用隔離

存儲系統(tǒng)可以將不同的應(yīng)用在邏輯上進行隔離，校園網(wǎng)中不同應(yīng)用之間的存儲內(nèi)容相互獨立，有效降低人為因素造成的數(shù)據(jù)損壞，大幅度提升了存儲內(nèi)容的安全性和數(shù)據(jù)的完整性。

（3）更低的存儲架構(gòu)規(guī)劃成本

存儲系統(tǒng)可與用戶的現(xiàn)有應(yīng)用環(huán)境無縫連接，便捷地加入到用戶的應(yīng)用環(huán)境中，并即時對外提供存儲服務(wù)。無需像傳統(tǒng)存儲系統(tǒng)一樣對大量復(fù)雜的硬件設(shè)備進行長期的分析、規(guī)劃和配置，大大節(jié)約了前期的規(guī)劃成本，極大提高了存儲系統(tǒng)部署的效率。

（4）集群式存儲系統(tǒng)采用圖形化管理工具，極大簡化了對系統(tǒng)使用的復(fù)雜度，減短了對管理員的培訓(xùn)時間。

（5）提高應(yīng)用服務(wù)器之間的協(xié)作效率

存儲系統(tǒng)對外提供單一的系統(tǒng)映像，所有的應(yīng)用服務(wù)器都看到相同的文件視圖。集中的數(shù)據(jù)共享存儲，方便用戶各業(yè)務(wù)部門之間進行數(shù)據(jù)協(xié)同處理，極大提高了各個部門間的整體效率。

（6）快速的故障恢復(fù)

集群式存儲系統(tǒng)高效的自動數(shù)據(jù)恢復(fù)技術(shù)，使得故障恢復(fù)時間是通用RAID技術(shù)的五分之一，恢復(fù)過程不影響相應(yīng)業(yè)務(wù)的運行，保證業(yè)務(wù)的連續(xù)性。

五 總結(jié)

數(shù)據(jù)存儲是數(shù)據(jù)中心的基礎(chǔ)，是一切服務(wù)的保障，保證數(shù)據(jù)的正確、完整性至關(guān)重要。高校應(yīng)深化對數(shù)據(jù)存儲重要性的認(rèn)識，在經(jīng)費保障的基礎(chǔ)上，實現(xiàn)逐步調(diào)整，實現(xiàn)數(shù)據(jù)的高效存儲。