文/馮愿

高效存儲海量網(wǎng)絡(luò)資源

文/馮愿

基于SAN架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)存儲系統(tǒng)，有效解決數(shù)據(jù)中心大容量數(shù)據(jù)存放及傳輸?shù)膯栴}，提高數(shù)據(jù)的穩(wěn)定性與安全性。

存儲挑戰(zhàn)

高校在校園網(wǎng)建設(shè)中積累了大量的網(wǎng)絡(luò)信息資源，這些信息資源以各自獨(dú)立的服務(wù)器內(nèi)置硬盤或直連存儲（DAS）為存儲空間存放，各個應(yīng)用系統(tǒng)相互獨(dú)立，屬于典型的分散式架構(gòu)。這種架構(gòu)存在以下問題：

1. 存儲空間不能滿足數(shù)據(jù)增長的需求

服務(wù)器直連存儲方式在校園網(wǎng)數(shù)據(jù)中心被廣泛應(yīng)用。存儲設(shè)備作為服務(wù)器的一部分，被掛接在服務(wù)器上，通過SCSI等總線技術(shù)與操作系統(tǒng)緊密整合在一起。單個服務(wù)器的每一個SCSI通道上最多可掛接15個設(shè)備，一臺文件服務(wù)器只允許連接一臺磁盤陣列。SCSI的總線結(jié)構(gòu)從根本上限制DAS方式的擴(kuò)展，要增加存儲空間容量，只有通過不斷地增加數(shù)據(jù)服務(wù)器來解決。

2. 數(shù)據(jù)分散管理導(dǎo)致投資成本增加

數(shù)據(jù)中心應(yīng)用服務(wù)器和數(shù)據(jù)服務(wù)器不斷增加，不僅使數(shù)據(jù)中心擁有不同的軟、硬件平臺和彼此相互獨(dú)立的應(yīng)用系統(tǒng)，形成服務(wù)器分散式管理局面，也導(dǎo)致數(shù)據(jù)中心設(shè)備投資成本的增加。傳統(tǒng)的服務(wù)器連接存儲方式通常難以更新或集中管理，服務(wù)器分散管理方式也很難評估、規(guī)劃當(dāng)前和未來數(shù)據(jù)存儲容量增長變化的需求，數(shù)據(jù)中心的整體存儲空間不能有效地整合和進(jìn)行智能化管理。對于系統(tǒng)管理員來說，在物理位置分散的數(shù)據(jù)存儲方式下，要正確、快捷地管理應(yīng)用系統(tǒng)或數(shù)據(jù)庫系統(tǒng)是極不容易的，尤其是數(shù)據(jù)的備份和數(shù)據(jù)的恢復(fù)工作，管理環(huán)節(jié)增多，操作復(fù)雜，費(fèi)時費(fèi)力。

3. 數(shù)據(jù)處理量增加導(dǎo)致系統(tǒng)和網(wǎng)絡(luò)運(yùn)行效率低下

網(wǎng)絡(luò)環(huán)境下，數(shù)據(jù)中心開展業(yè)務(wù)工作，提供網(wǎng)絡(luò)信息服務(wù)，數(shù)據(jù)處理業(yè)務(wù)繁忙。數(shù)據(jù)的上載、發(fā)布、更新、備份、恢復(fù)等操作往往要占用網(wǎng)絡(luò)帶寬和服務(wù)器資源，尤其是當(dāng)網(wǎng)絡(luò)上數(shù)據(jù)存儲發(fā)展到一定規(guī)模時，數(shù)據(jù)服務(wù)和數(shù)據(jù)管理不僅嚴(yán)重影響主機(jī)系統(tǒng)性能，還要大量占用網(wǎng)絡(luò)資源，增加網(wǎng)絡(luò)負(fù)擔(dān)，使網(wǎng)絡(luò)運(yùn)行效率低下。數(shù)據(jù)中心既不可能根據(jù)各種應(yīng)用數(shù)據(jù)處理的增加而隨時增加網(wǎng)絡(luò)帶寬，也不可能根據(jù)不同的應(yīng)用請求而不斷地提高服務(wù)器的處理性能。有限的服務(wù)器和網(wǎng)絡(luò)性能與持續(xù)增長的數(shù)據(jù)處理需求形成一對不可調(diào)和的矛盾。因此，以服務(wù)器為中心的數(shù)據(jù)網(wǎng)絡(luò)轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的存儲網(wǎng)絡(luò)，是網(wǎng)絡(luò)存儲發(fā)展的必然趨勢。

網(wǎng)絡(luò)存儲系統(tǒng)適應(yīng)多樣性需求

存儲區(qū)域網(wǎng)絡(luò)的優(yōu)勢

數(shù)據(jù)中心是傳統(tǒng)信息向網(wǎng)絡(luò)信息轉(zhuǎn)變的數(shù)字化信息資源服務(wù)系統(tǒng)。數(shù)據(jù)中心建設(shè)的推進(jìn)從客觀上要求解決海量數(shù)據(jù)的存儲、管理和安全等問題。SAN（Storage Area Network，存儲區(qū)域網(wǎng)絡(luò)）的應(yīng)用，適應(yīng)數(shù)據(jù)中心的發(fā)展，滿足海量數(shù)據(jù)存儲與管理的需要。SAN是一種利用Fiber Channel等互聯(lián)協(xié)議連接起來的可以在服務(wù)器和存儲系統(tǒng)之間直接傳送數(shù)據(jù)的存儲網(wǎng)絡(luò)系統(tǒng)，它是采用獨(dú)特的技術(shù)構(gòu)建的，與原有LAN網(wǎng)絡(luò)不同的一個專用的存儲網(wǎng)絡(luò)。存儲設(shè)備和SAN中的應(yīng)用服務(wù)器之間采用的是塊I/O方式進(jìn)行數(shù)據(jù)交換。

獨(dú)特的體系結(jié)構(gòu)和構(gòu)建技術(shù)使得SAN具有幾個優(yōu)勢：1.提供可擴(kuò)展的存儲空間；2.提高數(shù)據(jù)的可用性；3.改進(jìn)數(shù)據(jù)處理方式，優(yōu)化網(wǎng)絡(luò)和系統(tǒng)性能。

三大建設(shè)原則

網(wǎng)絡(luò)存儲系統(tǒng)存放的是學(xué)校的核心教學(xué)數(shù)據(jù)，其性能與質(zhì)量的優(yōu)劣將對學(xué)校的教育信息化產(chǎn)生重大影響。建設(shè)時須考慮以下基本原則：

1. 高可靠性

網(wǎng)絡(luò)存儲系統(tǒng)是集中存放學(xué)校教學(xué)資源和其他數(shù)據(jù)的載體，一旦出現(xiàn)故障，將造成極壞的影響。因此在建設(shè)時一方面要選擇技術(shù)成熟的設(shè)備，另一方面，系統(tǒng)要具有容錯性，采用備份等容錯和容災(zāi)措施。

2. 擴(kuò)充靈活性

由于信息技術(shù)的不斷發(fā)展，在建設(shè)存儲系統(tǒng)時不僅要立足于當(dāng)前的需要，還要保證系統(tǒng)本身的擴(kuò)展性，能根據(jù)技術(shù)的發(fā)展進(jìn)行二次開發(fā)和利用。

3. 開放性

學(xué)校的各種信息處理系統(tǒng)如郵件系統(tǒng)、計費(fèi)系統(tǒng)、教務(wù)管理系統(tǒng)等所需環(huán)境各不相同，存儲系統(tǒng)要能夠?qū)⑦@些不同的廠商、不同的操作系統(tǒng)環(huán)境的服務(wù)器集中起來，因此存儲系統(tǒng)應(yīng)遵循國際標(biāo)準(zhǔn)，具有開放性，能被不同的服務(wù)器接受。

校園數(shù)據(jù)存儲內(nèi)容

經(jīng)過調(diào)查和分析，校園網(wǎng)絡(luò)數(shù)據(jù)存儲需求主要包括：1.學(xué)校網(wǎng)絡(luò)教學(xué)資源，如精品課程、網(wǎng)絡(luò)教學(xué)平臺等課程資源；2.校園文化資源，如各類校園文化的站點(diǎn)、VOD點(diǎn)播、校園視頻新聞等；3.校內(nèi)FTP服務(wù)；4.重要的應(yīng)用系統(tǒng)及公共數(shù)據(jù)庫，如計費(fèi)系統(tǒng)、校園一卡通、辦公、教務(wù)、財務(wù)、人事、資產(chǎn)管理等數(shù)據(jù)庫；5.學(xué)校各類網(wǎng)站；6.大規(guī)模的郵件系統(tǒng)以及相應(yīng)的郵件網(wǎng)關(guān)系統(tǒng)。這些需求包括校園網(wǎng)內(nèi)核心數(shù)據(jù)和普通數(shù)據(jù)，使用35臺操作系統(tǒng)各不相同的服務(wù)器，其特點(diǎn)是應(yīng)用環(huán)境復(fù)雜，數(shù)據(jù)庫呈現(xiàn)多樣性。系統(tǒng)結(jié)構(gòu)分四部分

根據(jù)建設(shè)原則和需求分析，我們在現(xiàn)有服務(wù)器的基礎(chǔ)上構(gòu)建光纖存儲系統(tǒng)（FCSAN）。該系統(tǒng)包括4個組成部分：服務(wù)器、互聯(lián)設(shè)備（光纖交換機(jī)）、存儲設(shè)備（光纖交換機(jī)）、備份系統(tǒng)。如圖所示。

網(wǎng)絡(luò)存儲系統(tǒng)（SAN）使用2臺16口光纖交換機(jī)作為互聯(lián)設(shè)備，分別連接現(xiàn)有數(shù)據(jù)中心的35臺服務(wù)器和光纖存儲陣列?，F(xiàn)有的多臺服務(wù)器通過光纖通道卡（HBA卡）連接到SAN中。光纖存儲陣列通過光纖交換機(jī)提供給服務(wù)器各種應(yīng)用所需的存儲容量，使用存儲管理軟件對存儲容量進(jìn)行添加、刪除、劃分。所有服務(wù)器都通過雙鏈路連接存儲系統(tǒng)，保證服務(wù)器和鏈路的高可用性。

按照信息生命周期管理理念，我們在進(jìn)行存儲容量配置時，采用分層存儲，將不同級別的系統(tǒng)應(yīng)用架構(gòu)在不同成本的存儲介質(zhì)上。根據(jù)南通大學(xué)為網(wǎng)絡(luò)存儲系統(tǒng)建設(shè)投資的經(jīng)費(fèi)預(yù)算，本次共規(guī)劃存儲系統(tǒng)容量13.5T，對于性能要求高的校園一卡通、郵件系統(tǒng)等關(guān)鍵數(shù)據(jù)庫數(shù)據(jù)，配置6T全光纖硬盤存放，對于其他性能要求不高的數(shù)據(jù)如校園文化資源等數(shù)據(jù)配置7.5T光纖通道ATA硬盤存放。因磁盤陣列上放置硬盤的磁盤籠單獨(dú)采購價格比較昂貴，我們在本次網(wǎng)絡(luò)存儲系統(tǒng)建設(shè)中將陣列上的磁盤籠全部配滿，方便將來硬盤擴(kuò)容。存儲陣列的合理選型

存儲陣列是FC-SAN的核心，其性能的優(yōu)越與適用與否決定SAN的整體效能。不同品牌的存儲設(shè)備在性能和技術(shù)參數(shù)有很大差別。我們在采購前對存儲設(shè)備進(jìn)行充分的調(diào)研，將存儲供應(yīng)商提供的設(shè)備性能指標(biāo)、特性參數(shù)及產(chǎn)品優(yōu)勢等數(shù)據(jù)羅列成表逐一對比，結(jié)合學(xué)校特點(diǎn)和需求合理選型。

我們在系統(tǒng)建設(shè)中特別關(guān)注網(wǎng)絡(luò)存儲系統(tǒng)的數(shù)據(jù)交換能力及數(shù)據(jù)在網(wǎng)絡(luò)存儲系統(tǒng)中的安全性。存儲系統(tǒng)的磁盤陣列的控制器采用全交換結(jié)構(gòu)，因?yàn)槿粨Q結(jié)構(gòu)數(shù)據(jù)傳輸能力比點(diǎn)對點(diǎn)結(jié)構(gòu)更強(qiáng)，特別是在磁盤陣列所配容量達(dá)到滿配值的一半時，使用點(diǎn)對點(diǎn)結(jié)構(gòu)的數(shù)據(jù)傳輸能力將大大減弱。存儲系統(tǒng)具有RAID重組技術(shù)，無需停止服務(wù)器對該RAID組的訪問，將數(shù)據(jù)從一個RAID組移動到另一個RAID組，比如Raid5可以與Raid0、Raid0＋1進(jìn)行在線轉(zhuǎn)換。這樣的好處是，可以簡便部署硬盤容量的釋放和數(shù)據(jù)RAID級別轉(zhuǎn)換。存儲系統(tǒng)還具有重要的故障磁盤數(shù)據(jù)保護(hù)功能，它可以預(yù)先對硬盤進(jìn)行參數(shù)檢測，在硬盤出現(xiàn)異常預(yù)兆時提出報警，并把數(shù)據(jù)拷貝到全局熱備份盤中，而不是在硬盤損壞后才將數(shù)據(jù)拷出，這樣能夠避免傳統(tǒng)Raid5同時損壞兩塊盤的情況下無法恢復(fù)數(shù)據(jù)的危險。存儲系統(tǒng)的這些功能大大提高數(shù)據(jù)在備份前的安全性。

備份系統(tǒng)采用增量備份

備份系統(tǒng)由備份管理服務(wù)器和高速磁帶機(jī)組成，它為整個存儲系統(tǒng)提供網(wǎng)絡(luò)數(shù)據(jù)備份和恢復(fù)系統(tǒng)兩個方面的功能。數(shù)據(jù)備份采用增量備份的形式（即自上一次備份以來更新的所有數(shù)據(jù)），在每日用戶量較少時進(jìn)行。我們采用Veritas Netbackup Enterprise Serve數(shù)據(jù)備份管理軟件。該系統(tǒng)軟件可以為大規(guī)模的Unix、Windows、Linux環(huán)境提供大型機(jī)級別的數(shù)據(jù)保護(hù)，還可以為Oracle、Mircosoft SQL Serve、Lotus Notes、Domino Sybase等提供相應(yīng)的數(shù)據(jù)庫和應(yīng)用的備份與恢復(fù)解決方案，符合學(xué)校信息存儲系統(tǒng)數(shù)據(jù)庫多樣性的特點(diǎn)。

圖 網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu)

取得的四大實(shí)效

該存儲系統(tǒng)實(shí)施以來，取得很好的效果，主要表現(xiàn)在以下4個方面：

1. 本次建設(shè)的存儲帶寬達(dá)到4Gbps，能滿足多節(jié)點(diǎn)客戶端數(shù)據(jù)請求及大容量數(shù)據(jù)存儲的需要，較好地解決數(shù)據(jù)傳輸及存儲數(shù)據(jù)的通道瓶頸問題。

2. 由于數(shù)據(jù)處理和主網(wǎng)絡(luò)運(yùn)行分離，從而縮短系統(tǒng)響應(yīng)時間，極大提升了主網(wǎng)絡(luò)的運(yùn)行性能和運(yùn)行速度。針對諸多應(yīng)用如校園郵件、網(wǎng)絡(luò)課程，尤其是對實(shí)時性要求很高的一卡通等關(guān)鍵性應(yīng)用數(shù)據(jù)，校園網(wǎng)用戶能實(shí)時查詢數(shù)據(jù)。

3. 網(wǎng)絡(luò)存儲系統(tǒng)建成后，已經(jīng)成為南通大學(xué)統(tǒng)一的數(shù)據(jù)中心，實(shí)現(xiàn)校園網(wǎng)復(fù)雜的數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)多數(shù)據(jù)庫、多用戶管理、多部門關(guān)鍵數(shù)據(jù)的集中存儲、集中備份和集中管理，為各個應(yīng)用系統(tǒng)和重要數(shù)據(jù)的安全管理提供保障。

4. 本次購買的存儲陣列最大可以配置到35TB容量的全光纖通道硬盤，如果配置其他非光纖盤可以最大達(dá)到60TB容量，在未來較長的一段時間內(nèi)可以滿足學(xué)校數(shù)據(jù)中心數(shù)據(jù)成長的需要。該陣列主機(jī)接口可以擴(kuò)充到8個，同時支持iSCSI接口技術(shù)，方便以后靈活部署SAN的應(yīng)用。

由于SAN的架構(gòu)復(fù)雜，涉及眾多設(shè)備和管理技術(shù)，在建設(shè)過程中需要注意：1.認(rèn)真細(xì)致地做好容量、功能等的需求分析，這樣有利于方案的設(shè)計；2.注意與現(xiàn)有服務(wù)器等設(shè)備和機(jī)房環(huán)境的結(jié)合，使原有設(shè)備投資得到保護(hù)；3.配備必要的專職技術(shù)人員，加強(qiáng)技術(shù)文檔的管理，保障SAN的高效運(yùn)行。

（作者單位為南通大學(xué)現(xiàn)代教育技術(shù)中心）