于耳

摘 要：作者研究分析了當(dāng)前高校數(shù)字化圖書館的特點(diǎn)、任務(wù)需求，剖析了當(dāng)前主流的存儲(chǔ)解決方案優(yōu)缺點(diǎn)，運(yùn)用VMware公司最新發(fā)布的vSAN分布式存儲(chǔ)系統(tǒng)技術(shù)，以上海公安高專數(shù)字化圖書館存儲(chǔ)建設(shè)為實(shí)例，探索當(dāng)前存儲(chǔ)擴(kuò)容最佳解決方案。

關(guān)鍵詞：VMware；虛擬化；vSAN；分布式存儲(chǔ)；存儲(chǔ)協(xié)議

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2014）16-0072-04

一、引言

網(wǎng)絡(luò)化、自動(dòng)化、數(shù)字化等計(jì)算機(jī)技術(shù)日新月異，加快了各行各業(yè)現(xiàn)代化改革的步伐，圖書館業(yè)界也面臨著從傳統(tǒng)圖書館向由傳統(tǒng)文獻(xiàn)信息資源與數(shù)字化信息資源相結(jié)合的現(xiàn)代化圖書館轉(zhuǎn)變的新階段。高校圖書館的數(shù)字資源建設(shè)主要包括引進(jìn)數(shù)據(jù)庫、自建數(shù)據(jù)庫兩方面。而在后者當(dāng)中，各館特色資源的數(shù)字化以及數(shù)字特色資源的建設(shè)尤其重要，并已經(jīng)逐步成為主流。高校由于其職業(yè)的特殊性，數(shù)字資源建設(shè)由于對(duì)知識(shí)和文獻(xiàn)數(shù)據(jù)相關(guān)內(nèi)容進(jìn)行整理、使用、傳播、共享、保存，其對(duì)于教學(xué)、培訓(xùn)、科研的輔助作用，乃至整體提高文化和專業(yè)素質(zhì)，意義深遠(yuǎn)。

上海公安高專數(shù)字化圖書館系統(tǒng)信息基礎(chǔ)平臺(tái)一直處于建設(shè)完善過程中，隨著數(shù)字圖書數(shù)據(jù)批量化錄入，同步還引進(jìn)了各類現(xiàn)成的專業(yè)數(shù)圖資源檢索系統(tǒng)，數(shù)字圖書資源每年容量擴(kuò)充需求約10TB，隨著存儲(chǔ)大數(shù)據(jù)需求的增加，其存儲(chǔ)需求容量隨之快速增長(zhǎng)，同時(shí)還要求擴(kuò)展維護(hù)方便，快捷、保持業(yè)務(wù)不中斷，安全穩(wěn)定，性價(jià)比高等等，反而對(duì)存儲(chǔ)的性能（尤其是對(duì)IOPS）沒有太多太高的要求。面對(duì)需求，持續(xù)建設(shè)也刻不容緩。

二、傳統(tǒng)的存儲(chǔ)解決方案和面臨的問題

對(duì)于高校數(shù)字化圖書館的存儲(chǔ)現(xiàn)狀，目前通常采用以下兩種傳統(tǒng)方法來解決數(shù)據(jù)量快速增長(zhǎng)問題：

1.在原有的生產(chǎn)存儲(chǔ)上進(jìn)行擴(kuò)容

如果已經(jīng)具備了統(tǒng)一存儲(chǔ)數(shù)據(jù)中心，可以在其架構(gòu)上進(jìn)行磁盤柜的擴(kuò)展。按照16盤位計(jì)算，滿配2TB SATA盤的擴(kuò)展柜設(shè)計(jì)，考慮到安全性、RAID、熱備盤以及后續(xù)擴(kuò)展需求，如此配置的擴(kuò)展柜可以滿足圖書館系統(tǒng)的容量和安全需求。但這種方案也面臨了以下問題：

（1）由于高校核心生產(chǎn)存儲(chǔ)一般都會(huì)采用知名品牌，其產(chǎn)品價(jià)格成本高（尤其是硬件產(chǎn)品過保后的成本）。

（2）應(yīng)對(duì)存儲(chǔ)的數(shù)據(jù)安全問題，會(huì)采用增加磁盤（采用RAID技術(shù)、熱備盤、多LUN）來保證，均要消耗存儲(chǔ)磁盤，而專業(yè)存儲(chǔ)的磁盤價(jià)格非常高。

（3）雖然存儲(chǔ)的統(tǒng)一和整合能夠提高管理的方便性，但同時(shí)核心存儲(chǔ)的穩(wěn)定性和高可用性愈發(fā)重要。任何存儲(chǔ)故障發(fā)生，都將導(dǎo)致所有業(yè)務(wù)系統(tǒng)的停止。

（4）現(xiàn)在已有很多高校數(shù)字圖書館系統(tǒng)采用了虛擬化技術(shù)，如果現(xiàn)有核心存儲(chǔ)已經(jīng)承載了整個(gè)院校虛擬化的核心服務(wù)，比如上海公安高專的在線虛擬機(jī)數(shù)量達(dá)150臺(tái)，已經(jīng)承載了全校70%信息化平臺(tái)服務(wù)。在此基礎(chǔ)上若再增加數(shù)字圖書系統(tǒng)內(nèi)的多業(yè)務(wù)系統(tǒng)的接入，不僅現(xiàn)有的統(tǒng)一存儲(chǔ)中心的性能受到影響，資源也將過度的消耗。

2.新購數(shù)字化圖書館的專用存儲(chǔ)

根據(jù)數(shù)字化圖書館存儲(chǔ)的實(shí)際需求，有的高校還會(huì)選擇性價(jià)比更高的中低端存儲(chǔ)（如國產(chǎn)存儲(chǔ)），雖然從容量、性價(jià)比來說可以一時(shí)滿足目前高校的需求，但從長(zhǎng)遠(yuǎn)來看，同樣也會(huì)存在以下問題：

（1）后續(xù)擴(kuò)展性和安全問題。隨著后續(xù)存儲(chǔ)空間容量的需求，需要增加新的擴(kuò)展柜，但存儲(chǔ)機(jī)頭的性能不會(huì)增加，逐步會(huì)形成“煙囪式”的存儲(chǔ)架構(gòu)，低性能存儲(chǔ)機(jī)頭后面連接很多擴(kuò)展柜。不僅僅存儲(chǔ)會(huì)面臨存儲(chǔ)性能問題，同時(shí)只要存儲(chǔ)機(jī)頭發(fā)生故障，所有數(shù)據(jù)都會(huì)無法訪問。

（2）性能問題。中低端存儲(chǔ)能否應(yīng)對(duì)數(shù)字化圖書館后期批量導(dǎo)入或者突發(fā)式的訪問高峰，都是疑問。到時(shí)一旦發(fā)生性能問題，在中低端存儲(chǔ)上沒有太多可以擴(kuò)展的技術(shù)手段，后續(xù)風(fēng)險(xiǎn)較大。

（3）管理問題。后期維護(hù)和管理都無法與現(xiàn)有存儲(chǔ)進(jìn)行融合，也將降低管理效率。

傳統(tǒng)存儲(chǔ)解決方案都存在這樣那樣的問題，有沒有一種嶄新的技術(shù)，既可以解決存儲(chǔ)容量、擴(kuò)展性、安全性問題，又有性價(jià)比較高的存儲(chǔ)解決方案呢？此時(shí)新發(fā)布的VMware vSAN技術(shù)步入筆者視野。

三、vSAN（Virtual Store Area Network）技術(shù)介紹

VMware Virtual SAN是全新的軟件定義的存儲(chǔ)層，可以擴(kuò)展vSphere虛擬化管理程序以將計(jì)算和直連存儲(chǔ)池化。通過建立服務(wù)器直連硬盤和固態(tài)硬盤（HDD和SSD）集群，Virtual SAN可創(chuàng)建專門針對(duì)虛擬機(jī)設(shè)計(jì)和優(yōu)化的分布式共享數(shù)據(jù)存儲(chǔ)。

Virtual SAN內(nèi)置在vSphere內(nèi)核中并采用分布式體系結(jié)構(gòu)：利用SSD提供高性能讀/寫緩存，利用HDD確保經(jīng)濟(jì)高效的數(shù)據(jù)持久性。該技術(shù)基于高度可用的體系結(jié)構(gòu)并且無單點(diǎn)故障。它可以應(yīng)對(duì)磁盤、服務(wù)器和網(wǎng)絡(luò)級(jí)別的故障并且不丟失數(shù)據(jù)，因?yàn)樗鼉?nèi)置了冗余機(jī)制，可以為磁盤和主機(jī)上的數(shù)據(jù)透明地存儲(chǔ)多個(gè)副本。

Virtual SAN實(shí)現(xiàn)了基于策略的存儲(chǔ)管理方法。可以通過將簡(jiǎn)單策略與各個(gè)虛擬機(jī)或虛擬磁盤關(guān)聯(lián)起來指定存儲(chǔ)屬性，如容量、性能和可用性。存儲(chǔ)可以根據(jù)指定的策略立即完成資源調(diào)配和自動(dòng)配置。無論位于集群中的什么物理位置，虛擬機(jī)都會(huì)維持自己的獨(dú)特策略。工作負(fù)載條件變化時(shí)，Virtual SAN會(huì)動(dòng)態(tài)地自行調(diào)整并實(shí)現(xiàn)負(fù)載平衡，以遵守每個(gè)虛擬機(jī)的策略。

分布式存儲(chǔ)的主要特點(diǎn)是：

1.Hypervisor層實(shí)現(xiàn)：無需其他硬件和軟件，與vSphere管理無縫整合，簡(jiǎn)化了存儲(chǔ)層的管理，充分利用DRS實(shí)現(xiàn)對(duì)運(yùn)算、存儲(chǔ)和網(wǎng)絡(luò)資源的全面優(yōu)化分配，存儲(chǔ)策略的制定可以具體到某個(gè)虛擬服務(wù)器。內(nèi)嵌在VMware vSphere內(nèi)核的VMware Virtual SAN將提供最佳性能和可擴(kuò)展性。

2.分布式架構(gòu)：VMware Virtual SAN利用SSD硬盤實(shí)現(xiàn)高性能的讀/寫緩存，并利用硬盤實(shí)現(xiàn)高性價(jià)比的數(shù)據(jù)長(zhǎng)期保存。endprint

3.讀/寫I/O緩存：Virtual SAN通過在服務(wù)器端SSD硬盤中內(nèi)置緩存，加快讀/寫磁盤I/O的速度，將存儲(chǔ)延遲降到最低限度。

4.內(nèi)置故障防護(hù)：該技術(shù)利用分布式RAID和緩存鏡像確保磁盤、主機(jī)或網(wǎng)絡(luò)發(fā)生故障時(shí)絕不丟失數(shù)據(jù)。

5.無中斷容量可擴(kuò)展性：我們可以通過為集群添加主機(jī)或?yàn)橹鳈C(jī)添加磁盤，可無中斷的對(duì)Virtual SAN數(shù)據(jù)存儲(chǔ)的容量進(jìn)行擴(kuò)展。

6.以虛擬機(jī)為中心的基于策略的管理：該技術(shù)采用可自動(dòng)轉(zhuǎn)換為系統(tǒng)配置的策略信息，將存儲(chǔ)要求與各個(gè)虛擬機(jī)或虛擬磁盤關(guān)聯(lián)起來。

7.自行調(diào)節(jié)存儲(chǔ)和動(dòng)態(tài)存儲(chǔ)負(fù)載平衡：Virtual SAN自動(dòng)無中斷地保持為每個(gè)虛擬機(jī)指定的存儲(chǔ)容量、性能和可用性級(jí)別。該技術(shù)可以與VMware vSphere Distributed Resource Scheduler進(jìn)行互操作，實(shí)現(xiàn)端到端計(jì)算和存儲(chǔ)平衡。

8.與vSphere數(shù)據(jù)服務(wù)集成：該解決方案利用vSphere快照、vSphere克隆、VMware vSphere Data Protection和vSphere Replication，跨集群或站點(diǎn)提供數(shù)據(jù)保護(hù)、備份、快速克隆和數(shù)據(jù)傳輸以便進(jìn)行災(zāi)難恢復(fù)。

9.廣泛的硬件兼容性：Virtual SAN是獨(dú)立于硬件的解決方案，可以在所有服務(wù)器OEM廠商提供的硬件上部署。

四、vSAN分布式存儲(chǔ)在上海公安高專數(shù)字化圖書館中的部署

對(duì)于以上vSAN的理解，如僅僅從字面上看，vSAN是指虛擬的SAN（Store Area Network），常常會(huì)被誤以為是SAN的替代品。其實(shí)vSAN只是將物理的存儲(chǔ)資源轉(zhuǎn)化成虛擬的存儲(chǔ)資源池，物理存儲(chǔ)資源是存儲(chǔ)虛擬化的基礎(chǔ)。這就好比是服務(wù)器虛擬化，并不是要替代物理的服務(wù)器，而是要提升物理服務(wù)器的使用效率。

從vSAN分布式存儲(chǔ)的特點(diǎn)來看，其完全符合上海公安高專數(shù)字化圖書館對(duì)目前存儲(chǔ)的要求，而且上海公安高?；赩Mware的服務(wù)器虛擬化已經(jīng)歷經(jīng)了三期的部署，虛擬化平臺(tái)的先進(jìn)性、穩(wěn)定性、安全性都取得了非常大的成效。在此基礎(chǔ)上部署vSAN分布式存儲(chǔ)，與原有服務(wù)器虛擬化進(jìn)行無縫的融合，又大大提升了安全性和運(yùn)維的高效性。

結(jié)合上海公安高專數(shù)字化圖書館對(duì)存儲(chǔ)的要求，此次vSAN存儲(chǔ)服務(wù)器硬件配置設(shè)計(jì)如上表。

由于vSAN可以實(shí)現(xiàn)存儲(chǔ)服務(wù)器之間Raid的技術(shù)，不計(jì)高速緩沖SSD空間，每臺(tái)服務(wù)器可以提供18TB可用容量，采用N-1的模式，4臺(tái)服務(wù)器可以提供3臺(tái)服務(wù)器的存儲(chǔ)空間容量，即3×18TB=54TB容量可用。

結(jié)合公安高專的實(shí)際硬件和網(wǎng)絡(luò)特點(diǎn)，我們最終設(shè)計(jì)的拓?fù)浣Y(jié)構(gòu)圖如圖2。

在每個(gè)服務(wù)器中配置2個(gè)萬兆的端口，交換機(jī)配置方案中采用2臺(tái)24口的萬兆二層交換機(jī)，來保證內(nèi)部的高速通訊。

1.實(shí)施過程中注意的事項(xiàng)

在vSAN部署過程中，需要注意以下幾點(diǎn)：

（1）vSAN 要求提供存儲(chǔ)的主機(jī)上的每個(gè)磁盤組都至少有 1 塊 SSD 和 1 塊磁盤。每個(gè)磁盤組最多可以包含 1 塊 SSD 和 6 塊磁盤。如果 HDD 超過 6 塊或 SSD 達(dá)到或超過2塊，則需要另行創(chuàng)建一個(gè)磁盤組。為 vSAN 數(shù)據(jù)存儲(chǔ)提供容量的每個(gè)主機(jī)都至少有一個(gè)本地磁盤組。每個(gè)主機(jī)最多可以包含 5 塊磁盤組。

（2）SSD硬盤的容量不計(jì)入 vSAN 數(shù)據(jù)存儲(chǔ)總?cè)萘?。調(diào)整環(huán)境大小時(shí)，不要在總?cè)萘坑?jì)算中計(jì)入 SSD 容量。建議將每個(gè)磁盤組中 SSD 容量與 HDD 容量的最小比例設(shè)定為 1：10，換句話說，如果我們有 1TB 的 HDD 容量，則建議 SSD 容量至少為 100GB。如果所選 SSD 的性能合適，則很容易使 vSAN 的性能提高 5 倍到 10 倍。默認(rèn)情況下，可用 SSD 容量的 70% 將用作讀取緩存，30% 將用作寫入緩沖區(qū)。因?yàn)樵趘SAN規(guī)劃設(shè)計(jì)中，緩存容量最好大于緩沖區(qū)容量。

Virtual SAN（vSAN） 群集目前最多可以包含 8 臺(tái)主機(jī)，最少為 3 臺(tái)。（請(qǐng)注意，這是目前vSAN的限制，以后會(huì)有所變化）。

（3）建議使用兩個(gè) 10GbE 網(wǎng)卡處理vSAN VMkernel 流量，雖然 1GbE 就完全夠用了，但在 I/O 密集型環(huán)境下可能會(huì)有一定的局限性。VSS和 VDS 均受支持。建議每個(gè)物理網(wǎng)卡上都有一個(gè) vSAN VMkernel，一定將其配置為“活動(dòng)/待機(jī)”兩種狀態(tài)，這樣如果有 2 塊物理網(wǎng)卡端口，則 2 個(gè)vSAN VMkernel 都有自己的端口。還要注意到，不支持一個(gè)主機(jī)上的多個(gè) vSAN VMkernel 網(wǎng)卡位于同一個(gè)子網(wǎng)中，要求不同的vSAN VMkernel位于不同的子網(wǎng)。

（4）調(diào)整環(huán)境大小時(shí)，一定要把數(shù)據(jù)副本考慮在內(nèi)。

（5）定義虛擬機(jī)存儲(chǔ)策略時(shí)，請(qǐng)避免使用不必要的“閃存讀取緩存預(yù)留”。vSAN 具有內(nèi)部讀取緩存優(yōu)化算法，可以完全依靠該算法來實(shí)現(xiàn)緩存操作。

2.vSAN不足之處

由于vSAN是當(dāng)今IT領(lǐng)域里，運(yùn)用純軟件技術(shù)將軟、硬件界限變模糊的一種最新概念的技術(shù)， 所以使用中發(fā)現(xiàn)vSAN還存在一些相關(guān)的不足，有待完善。

（1）vSAN 目前不支持容量大于 2TB 的虛擬機(jī)。

（2）vSAN 不支持 FT、DPM、Storage DRS 或 Storage I/O Control。但應(yīng)注意，vSAN 會(huì)根據(jù)需要進(jìn)行內(nèi)部調(diào)度和平衡控制。Storage DRS 和 SIOC 適用于 SAN/NAS 環(huán)境。

（3）vSAN采用基于TCP/IP的存儲(chǔ)協(xié)議RDT（Reliable Datagram Transport），以提供類似iSCSI的存儲(chǔ)訪問方式。這種方式的存儲(chǔ)訪問，需要消耗部分主機(jī)端的系統(tǒng)資源（需要進(jìn)行相關(guān)數(shù)據(jù)包的拆包和存儲(chǔ)協(xié)議信息的組合），當(dāng)IO吞吐量比較大的時(shí)候，基于TCP/IP協(xié)議的存儲(chǔ)訪問，其效率肯定不及FC協(xié)議的訪問效率。

（4）作為一種比較新的分布式存儲(chǔ)，其產(chǎn)品成熟度也有待提升。因此在部署此種存儲(chǔ)架構(gòu)的同時(shí)，需要對(duì)數(shù)據(jù)安全性考慮更加完善（例如需要配合常規(guī)數(shù)據(jù)備份保護(hù)方式）。

五、vSAN分布式存儲(chǔ)部署最終實(shí)現(xiàn)的效果

以上海公安高專數(shù)字化圖書館實(shí)施vSAN分布式存儲(chǔ)部署實(shí)例，在數(shù)字化圖書館存儲(chǔ)系統(tǒng)中應(yīng)用情況判斷，歸結(jié)起來有以下好處：

1.可以在原有VMware架構(gòu)體系內(nèi)實(shí)現(xiàn)大容量存儲(chǔ)的需求，與VMware sphere無縫結(jié)合，可以大大提高使用范圍和管理效率，并可保護(hù)現(xiàn)有的軟硬件投資。

2.可以通過增加副本數(shù)量的設(shè)置，保證圖書館數(shù)據(jù)保留多份，提升數(shù)據(jù)的安全性。

3.vSAN存儲(chǔ)與成本相對(duì)較高的IP SAN集中存儲(chǔ)性能相當(dāng)，完全可以擔(dān)當(dāng)中高端IP SAN存儲(chǔ)的任務(wù)。 實(shí)際使用下來，由于vSAN存儲(chǔ)服務(wù)器配置的SSD和SATA硬盤互相呼應(yīng)，當(dāng)多個(gè)圖情數(shù)字業(yè)務(wù)系統(tǒng)有多任務(wù)高并發(fā)的突發(fā)流量產(chǎn)生時(shí)，在IOPS比較大或者吞吐量增大的情況下，與理論上完全能自動(dòng)實(shí)現(xiàn)先將數(shù)據(jù)緩存到SSD高速硬盤，再寫入到普通SATA硬盤結(jié)果相符，沒有出現(xiàn)當(dāng)多個(gè)檢索系統(tǒng)服務(wù)器在同時(shí)多任務(wù)高并發(fā)運(yùn)行時(shí)，存儲(chǔ)后端有讀寫速度緩慢或減慢現(xiàn)象。

4.方便的海量擴(kuò)展性。對(duì)于后續(xù)存儲(chǔ)空間的增加，只需要配置普通的PC服務(wù)器，按照之前的配置要求加入到相應(yīng)的存儲(chǔ)服務(wù)器組即可完成，無需停機(jī)或者業(yè)務(wù)停頓，業(yè)務(wù)的連續(xù)性也得到了保證。

5.前景最為看好的是：采用了vSAN分布式存儲(chǔ)后，可以不再依賴某種存儲(chǔ)或者幾種存儲(chǔ)。后續(xù)擴(kuò)容可以避免高昂的存儲(chǔ)硬件服務(wù)成本和硬件擴(kuò)容成本。只需考慮普通PC服務(wù)器的服務(wù)和硬件擴(kuò)容成本，后續(xù)存儲(chǔ)投入成本幾乎是對(duì)半，具有很高的性價(jià)比；幾乎支持所有的圖情數(shù)字業(yè)務(wù)系統(tǒng)的擴(kuò)容需求。對(duì)于高校的數(shù)字圖書館存儲(chǔ)中心來說，如需要部署方式簡(jiǎn)單、快捷，業(yè)務(wù)又不中斷，更不用考慮對(duì)已有的存儲(chǔ)架構(gòu)產(chǎn)生性能等方面的影響，vSAN非常有吸引力。

（編輯：魯利瑞）endprint