,, ,
隨著圖書館業(yè)務(wù)系統(tǒng)對存儲容量需求的增加,存儲系統(tǒng)的規(guī)模變得越來越龐大,管理越來越復(fù)雜。圖書館通常會根據(jù)存儲技術(shù)的發(fā)展選用多個廠商的存儲設(shè)備,甚至采用不同的存儲架構(gòu)。這些來自不同廠商的存儲系統(tǒng)會給圖書館帶來“存儲信息孤島”、管理成本高、資源利用率低以及難以擴展等困擾。利用存儲虛擬化技術(shù),打破了實體存儲設(shè)備間的界限,是解決圖書館存儲管理中所面臨問題的有效方法[1]。
存儲虛擬化技術(shù)就是通過一定的手段將多個物理上獨立存在的存儲介質(zhì)進行整合,形成一個邏輯上的虛擬存儲單元供主機訪問。所有的存儲資源在一個存儲池中得到統(tǒng)一管理,從服務(wù)器端看到的不是多個硬盤或多個存儲設(shè)備,而是一個分區(qū)或者卷,就好像是一個超大容量的硬盤[2]。因此,存儲虛擬化技術(shù)是一種將不同存儲設(shè)備整合再分配的虛擬化方式。
存儲虛擬化技術(shù)能夠有效克服物理存儲設(shè)備的局限性,屏蔽具體物理存儲設(shè)備的物理特性,將物理設(shè)備整合成一個邏輯存儲池來實現(xiàn)對具體物理存儲設(shè)備的管理和使用。通過存儲虛擬化,物理設(shè)備的自身優(yōu)勢不但能夠被充分利用,而且物理設(shè)備本身不可避免的局限性得到有效克服。
通過存儲虛擬化技術(shù),能夠?qū)崿F(xiàn)大容量存儲系統(tǒng)簡單、有效的集中管理,用戶能夠以自主、自動的方式在磁盤上存儲數(shù)據(jù)和方便地劃分、擴展、縮小存儲空間。在虛擬化環(huán)境中,所有的存儲管理操作,例如建立和分配虛擬磁盤、擴充存儲空間、系統(tǒng)升級等都可以自動實現(xiàn),存儲管理變得輕松簡單[3]。存儲虛擬化技術(shù)能夠有效地提高存儲資源的利用率,最大限度滿足用戶對存儲資源的空間需求。用戶不必再關(guān)心后端存儲系統(tǒng)的硬件容量、類型等物理特性,只需將注意力完全集中在存儲的空間管理上。
存儲虛擬化技術(shù)屏蔽了具體物理設(shè)備,將不同類型、不同特性的異構(gòu)存儲資源整合成一個統(tǒng)一的存儲空間加以利用,從而實現(xiàn)了對存儲資源的充分利用和有效規(guī)劃[4]。存儲虛擬化技術(shù)通過整合不同類型的存儲設(shè)備,實現(xiàn)存儲資源集中管理使用,為存儲資源管理提供了更好的靈活性。存儲虛擬化技術(shù)不僅能夠簡化存儲管理的復(fù)雜度,提高存儲效率,還能夠有效降低存儲管理中的總擁有成本(Total Cost of Ownership,TCO),增加投資回報(Return On Investment,ROI)。
存儲虛擬化技術(shù)在存儲層上能夠?qū)崿F(xiàn)負載均衡,將數(shù)據(jù)平均合理地分配到存儲池中具體的物理設(shè)備上,避免了因負載不均導(dǎo)致各磁盤和各存儲設(shè)備利用不均衡的問題。虛擬化技術(shù)通過不同存儲設(shè)備存儲區(qū)域的共享提高了存儲系統(tǒng)的訪問性能,有效解決了不同存儲間訪問的不均衡,實現(xiàn)了差異化存儲的合理利用。尤其是對于高數(shù)據(jù)量進行傳輸?shù)姆?wù)應(yīng)用,通過存儲虛擬化技術(shù)能提高數(shù)據(jù)傳輸?shù)恼w帶寬,即把每一次數(shù)據(jù)訪問所需的帶寬合理地分配到各個存儲模塊上,不再需要根據(jù)各個業(yè)務(wù)應(yīng)用的壓力高低進行調(diào)節(jié),從而提高了系統(tǒng)的整體訪問效率[5]。
存儲虛擬化技術(shù)把不同類型的異構(gòu)存儲設(shè)備虛擬成一個高性能、大容量的虛擬存儲池,各類數(shù)據(jù)都存放在這個虛擬存儲池中,所有基于網(wǎng)絡(luò)的RAID分布式I/O、數(shù)據(jù)冗余、硬盤組、邏輯卷、動態(tài)的多個路徑、分層存儲、在線的高速備份等有關(guān)問題,都由虛擬存儲管理系統(tǒng)處理,實現(xiàn)了無縫的存儲和數(shù)據(jù)管理[6]。存儲虛擬化技術(shù)可以對單一數(shù)據(jù)在多個存儲介質(zhì)上創(chuàng)建副本,避免了因存儲環(huán)境發(fā)生故障引起的數(shù)據(jù)損壞丟失等問題,防止因個別存儲介質(zhì)的損壞對整個系統(tǒng)的影響,確保系統(tǒng)的高可用性。
存儲虛擬化技術(shù)能夠提供一些更高級的功能,逐步成為共享存儲管理的主流技術(shù)。例如存儲虛擬化技術(shù)能夠提供基于指針的快照和克隆技術(shù),實現(xiàn)在虛擬環(huán)境下異構(gòu)存儲設(shè)備邏輯卷的數(shù)據(jù)復(fù)制、鏡像以及數(shù)據(jù)交互。在虛擬設(shè)備級別實現(xiàn)的快照功能[7],不僅可以使數(shù)據(jù)在不同種類的平臺之間相互遷移,而且具有更快的備份速度等。
基于主機的虛擬化,也稱為基于系統(tǒng)卷管理器的虛擬化,其實現(xiàn)一般由操作系統(tǒng)下的邏輯卷管理軟件為物理存儲映射到邏輯上的卷提供一個虛擬層。該方法需要在一個或多個主機上安裝代理或管理軟件,因此會占用主機資源,降低應(yīng)用性能。而且基于主機的存儲虛擬化技術(shù)存在操作系統(tǒng)和應(yīng)用的兼容性問題,不同操作系統(tǒng)的邏輯卷管理軟件也不相同,這使虛擬化移植性和可擴展性較差,難以應(yīng)用在異構(gòu)服務(wù)器環(huán)境上。但是,由于基于主機的存儲虛擬化技術(shù)不需要任何硬件支持,也不影響現(xiàn)有存儲系統(tǒng)的基本架構(gòu),因此基于主機的虛擬化方法最容易實現(xiàn),其設(shè)備成本也最低[8]。
基于存儲設(shè)備的虛擬化,也稱為基于存儲控制器的虛擬化,其實現(xiàn)方式是在存儲設(shè)備內(nèi)部的控制器上添加虛擬化功能?;诖鎯υO(shè)備的虛擬化方法依賴于提供相關(guān)功能的存儲模塊[9]。如果沒有第三方的虛擬化軟件,這種方法通常只能虛擬單一存儲供應(yīng)商的特定系列產(chǎn)品,無法支持包含多廠商設(shè)備的存儲系統(tǒng)虛擬化,是一種不完全的存儲虛擬化解決方案。但是,基于存儲的虛擬化技術(shù)比較容易實現(xiàn),并且它對用戶和管理人員都是透明的,因此更容易管理。
基于網(wǎng)絡(luò)的虛擬化是在主機和存儲之間的網(wǎng)絡(luò)設(shè)備上實現(xiàn)存儲虛擬化功能。
根據(jù)其數(shù)據(jù)通路和管理通路的耦合情況可分為帶內(nèi)虛擬化技術(shù)和帶外虛擬化技術(shù)。所謂帶內(nèi)即In Band,是指控制信令和數(shù)據(jù)走的是同一條線路。帶內(nèi)虛擬化設(shè)備安裝在主機和存儲之間的數(shù)據(jù)通道中間,所有的控制信息和數(shù)據(jù)訪問都必須通過這個設(shè)備。這種虛擬化方式不會占用主機的資源,也不會影響現(xiàn)有的SAN架構(gòu),通常只需在SAN中加入存儲虛擬化控制單元,通過利用控制單元的大容量Cache提升系統(tǒng)性能。該方案同時具有很好的靈活性,是最常見的存儲虛擬化形式,也具有最廣泛的適用范圍。帶外即Out Band,是指控制信令和實際數(shù)據(jù)走的不是同一條線路,控制信令走單獨的通路。帶外存儲虛擬化設(shè)備位于主機和存儲之間的數(shù)據(jù)通道之外,通過其他的網(wǎng)絡(luò)連接方式與主機系統(tǒng)通信,因而在主機中需要安裝專門的客戶端軟件。帶外虛擬化技術(shù)擴展性比較好,但帶外存儲需要依靠代理主機和元數(shù)據(jù)控制器訪問存儲設(shè)備,不僅實施難度大,而且使存儲虛擬化更為復(fù)雜。
隨著業(yè)務(wù)的不斷發(fā)展,圖書館會在不同時期分批采購不同的存儲設(shè)備。每套存儲設(shè)備容量、性能都有很大差別,且不易于管理,圖書館正在存儲基礎(chǔ)架構(gòu)中尋求一種全新的變革方式處理和大數(shù)據(jù)相關(guān)的日益增長的數(shù)據(jù)容量[10]。通過存儲虛擬化技術(shù)能夠?qū)⒍鄠€異構(gòu)存儲資源整合成一個大的存儲池,為圖書館提供統(tǒng)一的數(shù)據(jù)存儲,對存儲資源進行集中管理和分配,消除不同品牌存儲間的隔閡和限制,最大限度地發(fā)揮各存儲設(shè)備的性能。
根據(jù)存儲虛擬化技術(shù)的發(fā)展并結(jié)合圖書館應(yīng)用的實際需求,采用目前主流的基于網(wǎng)絡(luò)層的帶內(nèi)存儲虛擬化技術(shù)實現(xiàn)對圖書館異構(gòu)磁盤陣列的整合,從而實現(xiàn)存儲資源共享,消除應(yīng)用服務(wù)器與底層磁盤陣列之間的硬件依賴性,提高存儲系統(tǒng)利用率。通過采用存儲虛擬化技術(shù),所有的信息存儲、信息管理及信息共享均集中存儲在統(tǒng)一的平臺之上,實現(xiàn)對圖書館所有信息資源的統(tǒng)一管理和分配。存儲資源整合系統(tǒng)架構(gòu)如圖1所示。
圖1 存儲資源整合系統(tǒng)架構(gòu)
如圖1所示,利用存儲虛擬化技術(shù)對圖書館的異構(gòu)存儲系統(tǒng)進行整合,首先需要將原有的磁盤陣列及應(yīng)用服務(wù)器接入到SAN網(wǎng)絡(luò)中,然后采用帶有存儲虛擬化功能的存儲虛擬化控制器實現(xiàn)對所有磁盤陣列的整合。
為了保證系統(tǒng)的可靠性,采用冗余SAN網(wǎng)絡(luò)構(gòu)建。在SAN網(wǎng)絡(luò)中同時部署2臺存儲虛擬化控制器,實現(xiàn)硬件上的冗余,消除單點故障。將2臺存儲虛擬化控制器構(gòu)成一個組,具有更高的可靠性。異構(gòu)的磁盤陣列由存儲虛擬化控制器掩蓋物理差異,虛擬化成一個統(tǒng)一的存儲資源池,為應(yīng)用服務(wù)器提供存儲服務(wù)。服務(wù)器不直接訪問存儲設(shè)備,而是通過存儲虛擬化層提供的虛擬存儲空間存取數(shù)據(jù)。存儲虛擬化層完成存儲虛擬化工作,為系統(tǒng)提供存儲虛擬化的功能,管理各存儲設(shè)備。
存儲虛擬化技術(shù)采用3層映射機制將存儲網(wǎng)絡(luò)上不同品牌的存儲設(shè)備進行整合,第一層映射把異構(gòu)存儲資源的所有物理硬盤分成多個存儲塊池,第二層映射將所有存儲塊映射成邏輯磁盤,第三層映射使一個或多個邏輯磁盤映射成不同大小的虛擬卷,并將這些虛擬卷按一定的讀寫授權(quán)分配給存儲網(wǎng)絡(luò)上的各種應(yīng)用服務(wù)器。存儲虛擬化工作原理如圖2所示。
圖2 存儲虛擬化工作原理
由圖2可以看出,存儲系統(tǒng)中的一個或多個存儲單元被映射為存儲虛擬化控制器內(nèi)部的存儲單元,一個或多個存儲單元可以被虛擬化為一個存儲池(Disk Pool),所有的存儲池對SAN網(wǎng)絡(luò)中的存儲虛擬化控制器均可見。Disk Pool是一個存儲池,基于這個存儲池可以按需創(chuàng)建任意數(shù)量的虛擬存儲單元(VDisk),VDisk的容量可以超過存儲池的容量。存儲虛擬化控制器以VDisk為單位對服務(wù)器提供存儲單元映射(LUN-Mapping)服務(wù),使服務(wù)器可以訪問被提供LUN- Mapping服務(wù)的VDisk。
4.3.1 廣泛的異構(gòu)支持能力
存儲虛擬化技術(shù)是一種具備強大擴展能力、全面開放的虛擬化技術(shù),具有磁盤陣列無關(guān)性、存儲協(xié)議無關(guān)性、操作系統(tǒng)無關(guān)性以及應(yīng)用無關(guān)性。也就是說,采用存儲虛擬化技術(shù)可以搭配任何品牌的磁盤陣列,可以與光纖通道(FC)、SCSI、iSCSI、Infiniband等存儲協(xié)議輕松連接,徹底消除了存儲廠商的品牌限制。在采購存儲設(shè)備時不再受限于特定品牌,用戶可以根據(jù)需求自由選擇合適的存儲設(shè)備,消除規(guī)劃和構(gòu)建存儲網(wǎng)絡(luò)時的兼容性障礙,讓資源分配更加靈活,進而降低總體成本。基于網(wǎng)絡(luò)層的存儲虛擬化技術(shù)消除了主機相關(guān)性,可以支持Windows、Linux以及UNIX等廣泛的操作系統(tǒng),同時可以支持Oracle、DB2、SQL、Exchange、Notes、SAP、VMware等眾多的應(yīng)用。
4.3.2 良好的擴展性
存儲虛擬化技術(shù)采用先進的虛擬技術(shù)為存儲資源的無縫擴展提供了可行性[11]。對不同廠家、型號規(guī)格的磁盤陣列高度兼容,使用戶從存儲的技術(shù)壁壘中得以解放。隨著業(yè)務(wù)的增長,可往虛擬存儲池中動態(tài)地添加新型的存儲設(shè)備。靈活的擴展性為未來業(yè)務(wù)應(yīng)用部署存儲打下堅實的基礎(chǔ)。
4.3.3 自動精簡配置技術(shù)
為了避免服務(wù)器運營時發(fā)生存儲空間不足,導(dǎo)致必須停機重新配置磁盤空間的困擾,通常會配置超過應(yīng)用程序所需要的磁盤空間而導(dǎo)致存儲資源的極大浪費。存儲虛擬化基于虛擬卷的自動精簡配置技術(shù)(Thin Provisioning),可以用較大的虛擬磁盤對應(yīng)較少的物理存儲空間,按照實際需求自動分配物理存儲空間,因此服務(wù)器不需要真正配置大量的物理存儲資源。這樣不僅大幅降低新設(shè)備的采購頻率及存儲成本,更能有效減少機房的空間占用與電力消耗。
4.3.4 異構(gòu)存儲數(shù)據(jù)遷移
當(dāng)磁盤陣列設(shè)備老舊或是根據(jù)業(yè)務(wù)需要進行調(diào)整時,都需要將數(shù)據(jù)遷移到新的設(shè)備上[12]。不同品牌的存儲設(shè)備之間遷移數(shù)據(jù),不僅需要花費大量的時間,而且很難保證數(shù)據(jù)的正確性和安全性。存儲虛擬化技術(shù)支持存儲系統(tǒng)之間的同步鏡像,可以大幅簡化數(shù)據(jù)遷移的流程,而且在遷移數(shù)據(jù)過程中,應(yīng)用服務(wù)器完全不需要停機,也不會影響數(shù)據(jù)一致性。
4.3.5 存儲性能加速技術(shù)
通過存儲虛擬化技術(shù)在指定的高性能存儲(例如SSD硬盤組)上開辟一個區(qū)域,用于為指定的虛擬磁盤提供緩存,存放常用數(shù)據(jù)。當(dāng)某個數(shù)據(jù)區(qū)塊被重復(fù)讀寫幾次后,就會被當(dāng)作常用數(shù)據(jù)自動移入該區(qū)域,此時讀寫這部分?jǐn)?shù)據(jù)時的性能是高性能存儲的等級。這就是HotZone——將經(jīng)常需要訪問的“熱”數(shù)據(jù)存放在高性能存儲中。利用HotZone只需配置少量的高性能(例如SSD硬盤)磁盤,就可以讓整個后端存儲看起來都像是高性能存儲。
4.3.6 存儲資源服務(wù)質(zhì)量管理
在異構(gòu)的存儲環(huán)境中,來自不同廠商的各種存儲設(shè)備不僅在功能上存在差別,而且其容量大小、性能等方面也各有所異。同時,不同的業(yè)務(wù)應(yīng)用服務(wù)器具有不同的存儲服務(wù)需求。通過存儲虛擬化技術(shù)將不同的存儲及應(yīng)用歸類,根據(jù)性能要求把不同的存儲設(shè)備被歸類到不同服務(wù)級別的存儲資源池中,把高性能的存儲資源分配給關(guān)鍵的應(yīng)用,低端的存儲資源分配給非關(guān)鍵應(yīng)用。
圖書館利用存儲虛擬化技術(shù)將存儲設(shè)備進行資源池化,不僅能夠?qū)崿F(xiàn)存儲資源的整合,提高存儲設(shè)備的利用率,簡化系統(tǒng)的管理,而且能夠更方便地按需擴容和分級存儲,提供透明的高可用性和可擴展性,實現(xiàn)了對圖書館存儲資源的有效管理和利用。
作為一種有效的存儲管理手段,存儲虛擬化技術(shù)將成為未來圖書館存儲系統(tǒng)發(fā)展的一種趨勢。其在開放性、擴展性、可管理性等方面所體現(xiàn)出的優(yōu)勢將在圖書館數(shù)據(jù)中心存儲管理及應(yīng)用中充分顯現(xiàn)出來。圖書館通過利用存儲虛擬化技術(shù),海量信息資源將能夠被高效存儲和利用,進一步提升圖書館信息服務(wù)的質(zhì)量和水平。