李淑堃

【摘要】高校課程中心的數(shù)據(jù)訪問量大，磁盤空間需求增長快，其數(shù)據(jù)訪問速度和安全性影響著學校的教學。文章通過分析和比較，提出通過部署EMCCX3-40C網(wǎng)絡(luò)存儲來解決此問題，并詳細闡述了系統(tǒng)性能、硬件架構(gòu)和軟件配置過程。最后總結(jié)出網(wǎng)絡(luò)存儲管理和配置中容易出現(xiàn)的問題，對這些問題做了深層次的原因分析并給出了可行的解決方案。希望能對兄弟學校和同行提供幫助和參考。

【關(guān)鍵詞】課程中心；網(wǎng)絡(luò)存儲；規(guī)劃；實踐研究

【中圖分類號】G420-057【文獻標識碼】A【論文編號】1009－8097（2012）12－0057－04

引言

高校課程中心是高校教育信息化建設(shè)中的一個重要環(huán)節(jié)，它涉及信息化過程中的基礎(chǔ)架構(gòu)和數(shù)據(jù)資源，其建設(shè)的好壞直接關(guān)系到教育信息化的整個進程。高校課程中心的誕生其實也是一個教學發(fā)展的產(chǎn)物。從磁帶錄像到流媒體課程，從單一的課件到依托教學平臺的整合資源，從國家精品課程到精品視頻課程工作的開展，這些都促進了高校課程中心的形成，并且這種發(fā)展對數(shù)據(jù)空間的需求非常大。

課程中心是一個逐步建設(shè)并不斷完善的過程，大多數(shù)學校在開始階段都會配置一定數(shù)量的獨立服務器。這種服務器集訪問、數(shù)據(jù)存儲和數(shù)據(jù)庫于一身，它的存儲空間和磁盤的擴展能力很有限。面對大量圖文、音視頻資源的集中和整合，其有限的存儲空間必將成為課程中心發(fā)展的一大瓶頸。

網(wǎng)絡(luò)存儲是伴隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，是傳統(tǒng)存儲在安全性、便捷性、容量受限等方面不能滿足客戶需求的背景下出現(xiàn)的。它既能為網(wǎng)絡(luò)上的應用提供快速簡便的存儲，也便于對存儲資源進行集中管理，因而成為當前最理想的存儲模式。中南大學課程中心根據(jù)學校的實際情況，選擇EMC的CX3-40C網(wǎng)絡(luò)存儲系統(tǒng)，以解決存儲空間不足和未來對空間增長的需求。

一、網(wǎng)絡(luò)存儲及EMCcx3－40C

網(wǎng)絡(luò)存儲就是通過專用數(shù)據(jù)交換設(shè)備、磁盤陣列等設(shè)備，配以專用的存儲軟件，利用現(xiàn)成網(wǎng)絡(luò)或者新建網(wǎng)絡(luò)而形成的存儲專用網(wǎng)絡(luò)。根據(jù)架構(gòu)可以分為三種類型：直連式存儲（DAS）、網(wǎng)絡(luò)存儲設(shè)備（NAS）和存儲網(wǎng)絡(luò)（SAN）。DAS由于是以服務器為中心，服務器不但要負責存儲，還要負責數(shù)據(jù)輸入/輸出，主要應用在數(shù)據(jù)量存儲不是特別大的環(huán)境。NAS是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實現(xiàn)數(shù)據(jù)存儲的機制，服務器通過TCP/IP網(wǎng)絡(luò)存儲管理數(shù)據(jù)。但是它易受到網(wǎng)絡(luò)上其他流量的影響，并且容易產(chǎn)生數(shù)據(jù)泄漏等安全問題。SAN可以理解為包括存儲設(shè)備和服務器的一個高速專用子網(wǎng)，由接口、連接設(shè)備和通信控制協(xié)議組成。它能夠?qū)崿F(xiàn)大容量的數(shù)據(jù)存儲和共享，并且速度快、靈活，能快速備份，提高了數(shù)據(jù)可靠性和安全性。網(wǎng)絡(luò)存儲從性能上講可以大致劃分為高中低檔，主要是看它的數(shù)據(jù)處理和交換能力。一般來講高級的網(wǎng)絡(luò)存儲應用于數(shù)據(jù)處理和存儲量非常大的環(huán)境，比方電信移動公司等，而中級的應用于一些大中企業(yè)和高校的數(shù)據(jù)中心，低級的網(wǎng)絡(luò)存儲應用于一些擁有獨立網(wǎng)站的小企業(yè)和事業(yè)單位。這種按性能劃分和按架構(gòu)類型的劃分沒有對等關(guān)系，也就是說高檔次的網(wǎng)絡(luò)存儲可以組成DAS、NAS和SAN的存儲架構(gòu)。

EMCCX3-40C是由專業(yè)型的存儲公司EMC提供的一款專門針對大中企業(yè)、高校、政府機構(gòu)的中級存儲陣列。CX3-40C整個系統(tǒng)提供4Gb/s性能，能夠無縫擴展到119TB；構(gòu)建于CLARiiONCX3UltraScale體系結(jié)構(gòu)之上，能夠勝任數(shù)據(jù)密集型數(shù)據(jù)庫、視頻數(shù)據(jù)流、高寬帶應用等環(huán)境；支持廣泛的服務器系統(tǒng)，如Windows、Solaris、Linux、HP-UX、AIX和VMwareESXServer；它支持光纖通道和iSCSI混合連接協(xié)議，可以實現(xiàn)分層化存儲，有效降低用戶投資成本。

從以上特點可以看出CX3-40C具有良好的擴展性，很高的數(shù)據(jù)處理和交換能力，高可用性和可靠的安全性，而且EMC作為專業(yè)型的存儲公司能夠向客戶提供更加專業(yè)服務，可以和其他廠商的服務器一起提供業(yè)務解決方案，其產(chǎn)品性能和性價比符合課程中心的建設(shè)要求。

二、系統(tǒng)拓撲與規(guī)劃

目前我校課程中心業(yè)務服務器主要包括四個：流媒體服務器，CORE資源鏡像服務器，BB教學平臺，精品課程與CAI服務器。它們架設(shè)在相連的三個標準機柜里，并且機柜有足夠的空間架設(shè)CX3-40C設(shè)備，這樣就可以方便用私有地址使服務器和磁盤陣列直接相連，從而避免數(shù)據(jù)暴露于公網(wǎng)，增加了數(shù)據(jù)的安全性，如圖1。

由于CX3-40C具有很好的擴展性，因此中心根據(jù)實際需要和可預期的磁盤增長空間出發(fā)，第一次配置的磁盤空間為16TB。從業(yè)務需求上講，流媒體服務器和BB教學平臺占用的磁盤空間大，而且其數(shù)據(jù)增長也快，因此需要占用較大存儲空間。

磁盤陣列存儲單元是由14個1000GSATAII磁盤組成，一個為熱備盤，剩下的13個盤則為實際數(shù)據(jù)存儲盤，系統(tǒng)盤為5個500GB磁盤組成。在13個存儲磁盤上需創(chuàng)建4個StorageGroup，使之通過Iscsi接口與服務器進行連接，實現(xiàn)數(shù)據(jù)訪問和存儲。規(guī)劃的主機信息如表1。

三、存儲的硬件架設(shè)

CX3-40C主要由以下組件組成：一個存儲處理器存儲模塊（SPE3）和兩個備用電源（SPS），一個光纖通道磁盤陣列存儲模塊（DAE），可選的DAE。SPE3高lu（4.45厘米），包含兩個存儲處理器（SP）。由于所有組件都是標準尺寸，因此在架設(shè)上我們把各組件部署到一個機柜（如圖2），這樣利于接線和管理。

四、存儲系統(tǒng)配置

系統(tǒng)配置是網(wǎng)絡(luò)存儲部署過程中最關(guān)鍵的環(huán)節(jié)，涉及服務器以及存儲系統(tǒng)的配置。在配置的過程中，有時候會出現(xiàn)因為服務器操作系統(tǒng)以及版本的不同，服務器會找不到存儲磁盤，即使找到磁盤但是容量會變小等問題，這些都需要豐富的實踐經(jīng)驗和技術(shù)才能解決。

1、存儲系統(tǒng)初始化

存儲系統(tǒng)的初始化是通過navispherestoragesysteminitializationutility軟件來進行的，其目的是為存儲系統(tǒng)進行網(wǎng)絡(luò)參數(shù)配置，為系統(tǒng)添加管理員，方便以后通過網(wǎng)絡(luò)遠程管理存儲。存儲的缺省IP地址為1.1.1.1，把運行初始化配置軟件的管理工作站的IP地址配成同一網(wǎng)段，再用網(wǎng)線把工作站和存儲的兩個sP網(wǎng)絡(luò)接口相連，啟動配置軟件就可以進行逐步配置。

2、配置磁盤陣列

當對存儲進行初始化配置后，一般我們會更改其管理接口的IP地址，在IE地址欄中輸入相對應的IP地址就可以登錄和管理網(wǎng)絡(luò)存儲了。需要注意的是必須在管理工作站先安裝好Java的Jre軟件，否則不能顯示登錄和管理界面。存儲的基本配置分為三個步驟：創(chuàng)建Raidgroup，BindLUN，創(chuàng)建StorageGroup，如圖3。

（1）創(chuàng)建Raidgroup

存儲的磁盤一般分為三部分：系統(tǒng)盤，熱備盤和數(shù)據(jù)存儲盤?？梢允謩舆M行選擇分組，選擇0-4號盤作為系統(tǒng)盤，作一個RaidgroupO5-17號盤創(chuàng)建一個Raidgroupl；最后一塊盤為Raidgroup2，作為熱備盤。

（2）BindLUN

LUN也就是邏輯單元號（LogicalUnitNumber），把Raidgroup劃分成一個個邏輯單元，并分配一定的磁盤空間，這樣服務器就可以把相對應的LUN當做系統(tǒng)磁盤進行訪問。由前期規(guī)劃可以看出，數(shù)據(jù)主要存儲在Raidgroup1上，并且需要劃分4個大小不同的LUN。右鍵單擊“Raidgroup1”并選擇“BindLUN”，依次劃分出4個LUN，陣列類型都選擇“Raid5”，并分配不同的LUNID號。Raidgroup2由于是用來做熱備的，因此其陣列類型選擇“熱備盤：熱備盤替換”。

（3）創(chuàng)建StorageGroup

當建立好Raidgroup和劃分好LUN后，并且在陣列中注冊了服務器，這個時候就可以創(chuàng)建StorageGroup。StorageGroup是用來建立服務器和LUN之間的通信，它可以決定一個LUN可以被哪些服務器訪問。需要注意的是屬于某一個StorageGroup的LUN不能被其他StorageGroup的服務器進行訪問，這個屬性在實踐中很有用，可以實現(xiàn)服務器備份和訪問權(quán)限的控制。

3、服務器端配置

如果要在服務器上看到分配的磁盤陣列，除了在物理上使服務器和存儲系統(tǒng)進行連接外，還必須安裝兩個程序，即MicrosoftiSCSISoftwareInitiator和NavisphereHostAgent，它們的作用是向存儲設(shè)備“推送”LUN映射信息和操作系統(tǒng)信息，啟動主機系統(tǒng)和存儲設(shè)備之間進行SCSI總線連接，并進行數(shù)據(jù)封裝和可靠傳輸。打開iSCSIInitiator軟件，在相應“discovery”面板中輸入相連陣列的IP地址，并且在“target”面板中建立聯(lián)機，重啟系統(tǒng)就可以在服務器的磁盤管理中看到新增加的磁盤。

五、網(wǎng)絡(luò)存儲管理實踐

網(wǎng)絡(luò)存儲和其他的IT設(shè)備一樣，需要對其進行科學有效的管理，才能夠使其運行正常并且安全可靠。

1、開關(guān)設(shè)備注意事項

在進行存儲以及服務器升級時，會遇到需要關(guān)閉和開啟網(wǎng)絡(luò)存儲的操作。對于開關(guān)設(shè)備的操作，必須嚴格按照正常的開關(guān)順序。開機時的順序為：打開所有DAE磁盤機箱的電源一一打開SPE機箱上電源——打開兩個電池（SPS）的開關(guān)。關(guān)機順序正好如開機順序相反，只是在關(guān)閉SPS電源后，必須等待三分鐘以上的時間再關(guān)閉DAE和SPE等盤柜電源，這是因為存儲要把緩存中的數(shù)據(jù)完全寫入磁盤，防止數(shù)據(jù)丟失。需要強調(diào)一點的是，如果有UNIX操作系統(tǒng)的服務器連接到磁盤陣列上，必須先用umount命令解掛文件系統(tǒng)，再對存儲系統(tǒng)進行關(guān)機。

2、磁盤陣列的自動掛載

服務器找不到磁盤陣列，是管理過程中經(jīng)常出現(xiàn)的問題。這種情況絕大多數(shù)是服務器操作系統(tǒng)和iSCSIInitiator軟件的設(shè)置引起的，比方添加新服務器或者重裝服務器操作系統(tǒng)。

對于Windows系統(tǒng)，如果服務器找不到磁盤陣列，首先要查看“管理工具/服務”下的“MicrosoRiSCSIInitiatorService”和“NavisphereAgent”兩個服務是否啟動，并且其啟動模式是否設(shè)置為“自動”，然后就是查看iSCSlInitiator中的“PersistentTargets”面板，并添加對應目標磁盤，一般情況設(shè)置之后重啟系統(tǒng)就可以找到磁盤陣列。

對于Linux系統(tǒng)，除了把iSCSI服務設(shè)置為啟動外，還要在“/etc/rc.d/rc.local”中添加一條mount掛載磁盤陣列的命令，這樣才能在服務器重啟后自動找到目標磁盤。在實踐中容易犯的錯誤是把自動掛載設(shè)置在“文件/ete/fstab”中，因為一般Linux系統(tǒng)加載文件系統(tǒng)和設(shè)備都是在fstab中編輯自動掛載功能。我們知道網(wǎng)絡(luò)存儲的連接是需要服務器開啟網(wǎng)絡(luò)連接功能的，如果只是寫到fstab中，則Linux系統(tǒng)啟動內(nèi)核掃描fstab文件時，iscsid和network服務還沒有正常啟動，顯然就會出現(xiàn)掛載報錯，不能正常掛載磁盤陣列，因此需要把自動掛載命令寫的到rc.local里，例如BB教學平臺服務器就是在服務器的rc.local里添加命令“mount/dev/mapper/data-bb/data”實現(xiàn)自動掛載。

3、實現(xiàn)簡單的DNS負載均衡

訪問網(wǎng)絡(luò)存儲上的資源，有兩個地方最容易形成網(wǎng)絡(luò)堵塞，一個是服務器外接網(wǎng)卡接口，另一個就是整個課程中心的網(wǎng)絡(luò)總出口。對于網(wǎng)絡(luò)總出口，可以利用諸如路由器、三層交換機進行鏈路聚合、VILRP等配置，以實現(xiàn)負載分擔。而在服務器端，通常是利用多臺服務器，使用服務器操作系統(tǒng)提供的或者專用的群集軟件，進行設(shè)置實現(xiàn)。這兩種方式雖然在效果和穩(wěn)定上都不錯，但實現(xiàn)起來相對復雜。

利用網(wǎng)絡(luò)存儲某一個LUN可以同時被多臺服務器同時訪問，可以實現(xiàn)簡單的DNS負責均衡，這種負載均衡的優(yōu)點是經(jīng)濟、簡單易行。在DNS服務器中為同一個主機名配置多個IP地址，當不同用戶輸入域名進行訪問時，DNS服務器會根據(jù)查詢算法，分配給不同用戶不同的IP地址，也就是指引不同的用戶通過不同的服務器訪問同一個網(wǎng)站資源，從而實現(xiàn)負載分擔。這種簡單的負載分擔非常適合于可預計的訪問量突增環(huán)境，比方每年的精品課程申報，容易導致對精品課程服務器集中訪問而引起的響應變慢，這時就可以利用其他服務器臨時分擔負載。而實現(xiàn)和解除這種DNS負載均衡非常的簡單，并且不會長期占用其他資源，增加了課程中心管理的靈活性。

六、結(jié)束語

網(wǎng)絡(luò)存儲在課程中心的部署，很好地解決了存儲空間不夠的問題。對網(wǎng)絡(luò)存儲的管理，要善于積累和總結(jié)經(jīng)驗，最大化的應用其提供的功能，更好地服務于學校的教學。

高校課程中心作為一個數(shù)據(jù)中心，它的建設(shè)和管理可以分為網(wǎng)絡(luò)、服務器和存儲三大塊，存儲只是其中的一個環(huán)節(jié)。伴隨著課程中心提供業(yè)務多樣化，訪問量的增加，以及提高設(shè)備的利用率，課程中心的虛擬化建設(shè)在所難免。網(wǎng)絡(luò)和服務器的虛擬化如今已經(jīng)成為各數(shù)據(jù)中心的建設(shè)重點，為了提高數(shù)據(jù)的安全性以及充分整合各種資源，許多信息技術(shù)公司都提出了網(wǎng)絡(luò)存儲虛擬化解決方案，例如EMC2、IBM、H3C等。可以想象，網(wǎng)絡(luò)存儲的虛擬化技術(shù)在教育中的應用也是一個趨勢，它需要我們廣大的教育技術(shù)工作者繼續(xù)不斷的進行探索和實踐，使網(wǎng)絡(luò)存儲能更好地服務于高校的教學科研活動。