都業(yè)濤

摘要：信息化的發(fā)展推動了高校數(shù)據(jù)中心建設(shè)，數(shù)據(jù)中心建設(shè)現(xiàn)已成為高校信息化發(fā)展的重點(diǎn)，從最初的多個獨(dú)立的物理服務(wù)器分別承載各自的應(yīng)用系統(tǒng)，逐步向以軟件定義，多個物理服務(wù)器組成的一個或多個集群來承載所有的應(yīng)用系統(tǒng)的虛擬化平臺架構(gòu)方向發(fā)展。首先了解超融合的技術(shù)及優(yōu)點(diǎn)。其次以某高校數(shù)據(jù)中心為例，運(yùn)用超融合技術(shù)架構(gòu)對高校數(shù)據(jù)中心進(jìn)行改造。實(shí)施結(jié)果證實(shí)，超融合虛擬化平臺具有性能提升、降低成本、操作簡便、方便擴(kuò)容等優(yōu)點(diǎn)。超融合虛擬化平臺可以完善高校數(shù)據(jù)中心架構(gòu)，滿足高校各業(yè)務(wù)系統(tǒng)運(yùn)維需求，為今后高校建設(shè)、改造數(shù)據(jù)中心積累經(jīng)驗(yàn)。

關(guān)鍵詞：超融合；高校數(shù)據(jù)中心；虛擬化

一、前言

近年，依據(jù)我國“十三五”，特別是“十四五”信息化發(fā)展規(guī)劃，全國各高校建設(shè)數(shù)字智慧校園已經(jīng)到了深度融合期。為落實(shí)上級部門針對高校內(nèi)部全面實(shí)現(xiàn)教學(xué)服務(wù)的“一網(wǎng)、一門、一戶”的原則，提高為教學(xué)服務(wù)意識，構(gòu)建方便快捷、優(yōu)質(zhì)高效的服務(wù)體系。數(shù)據(jù)中心已成為高校建設(shè)數(shù)字智慧校園不可或缺的組成部分，其使為高校教學(xué)及科研，師生人員管理及生活的服務(wù)的各類相關(guān)信息系統(tǒng)集中管理和運(yùn)維，使各類信息系統(tǒng)不再淪為信息孤島。

傳統(tǒng)的數(shù)據(jù)中心主要以物理服務(wù)器，交換機(jī)，路由器，網(wǎng)絡(luò)安全等設(shè)備組成。幾乎每個單位或部門都有一套獨(dú)立的網(wǎng)絡(luò)架構(gòu)。各信息系統(tǒng)為了實(shí)現(xiàn)其所需的功能，以黑龍江科技大學(xué)財(cái)務(wù)系統(tǒng)為例，配備2個主服務(wù)器，1個數(shù)據(jù)存儲服務(wù)器，1個本地容災(zāi)服務(wù)器（分別是兩家不同的服務(wù)器供應(yīng)商），3個專用交換機(jī)，2個專用邊界防護(hù)設(shè)備，占用了兩個半的2.2米機(jī)柜空間。隨著信息化的發(fā)展，業(yè)務(wù)及數(shù)據(jù)量激增，后期系統(tǒng)的擴(kuò)容和升級可能導(dǎo)致還需更多的使用空間。系統(tǒng)的定期維護(hù)也需要相應(yīng)設(shè)備的廠家工程師相互配合來完成。單從這方面來看，傳統(tǒng)的架構(gòu)方式物力及人工成本較高，且時效性較低。以目前的超融合技術(shù)發(fā)展來看，高校數(shù)據(jù)中心基本架構(gòu)的改革可能成為一種必然的趨勢。

二、超融合技術(shù)特點(diǎn)

超融合的架構(gòu)是指使用多臺物理服務(wù)器和交換機(jī)組成一個集群或多個集群，形成一套單元設(shè)備，并具備計(jì)算、網(wǎng)絡(luò)、存儲和服務(wù)器虛擬化功能，將運(yùn)算和存儲單元合二為一。超融合架構(gòu)是通過虛擬化平臺軟件來合理硬件資源的，運(yùn)算資源和儲存資源都是通過虛擬機(jī)來合理調(diào)配使用，是一種以虛擬機(jī)為核心的虛擬化應(yīng)用。減少傳統(tǒng)數(shù)據(jù)中心的硬件設(shè)備，有效節(jié)省投資成本，縮短應(yīng)用上線時間。

（一）多副本技術(shù)

多副本，是指將數(shù)據(jù)保存多份的一種冗余技術(shù)，超融合平臺的副本復(fù)制模塊來保證副本的一致性和副本之間的同步。底層管理的副本對上層服務(wù)是透明的，上層不感知副本的存在。副本所存放的位置必須滿足主機(jī)互斥原則，即不可能出現(xiàn)兩個副本同時存在同一臺主機(jī)上的現(xiàn)象。以兩副本為例，若寫入一段數(shù)據(jù)，該數(shù)據(jù)依次經(jīng)過條帶化和分片之后，會再經(jīng)過副本復(fù)制模塊，分別寫入到不同的主機(jī)中。在無故障的情況下，為保證副本數(shù)據(jù)的一致性，兩個數(shù)據(jù)副本必須都寫入完成后，這段數(shù)據(jù)才算寫入成功。若讀取一段數(shù)據(jù)，會選擇其中任意一個副本進(jìn)行讀取。在沒有網(wǎng)絡(luò)中斷，硬盤損壞掉線等異常狀態(tài)下，文件的副本數(shù)據(jù)是始終保持一致的。

（二）分布式存儲

分布式存儲[1]是一種數(shù)據(jù)存儲技術(shù)，一般使用常規(guī)x86服務(wù)器，通過軟件技術(shù)將常規(guī)x86服務(wù)器的存儲單元構(gòu)成一個虛擬的存儲單元，利用可擴(kuò)展的架構(gòu)，一方面可以分擔(dān)數(shù)據(jù)存取的讀寫壓力，提高性能，另一方面利用軟件的定位信息，可以提供橫向擴(kuò)展的“scale-out”的擴(kuò)容能力。

（三）數(shù)據(jù)多副本保護(hù)

當(dāng)硬件層面發(fā)生故障時（硬盤損壞，存儲交換機(jī)/存儲網(wǎng)卡故障等），導(dǎo)致該故障主機(jī)上的數(shù)據(jù)丟失或者不能被訪問，影響業(yè)務(wù)運(yùn)行；超融合平臺提供數(shù)據(jù)多副本保護(hù)機(jī)制，確保業(yè)務(wù)數(shù)據(jù)在存儲池中存有多份，并且互斥地分布在不同的物理主機(jī)的不同磁盤上；因此，此時用戶數(shù)據(jù)在其他主機(jī)上依然有完好的副本，可以保證數(shù)據(jù)不會發(fā)生丟失，業(yè)務(wù)可以正常運(yùn)行。

（四）高可靠性

當(dāng)外部環(huán)境故障（比如主機(jī)網(wǎng)線斷了，所在存儲不能訪問等）導(dǎo)致業(yè)務(wù)中斷時，超融合平臺提供了成熟的HA機(jī)制（HA是Highly Available縮寫，是雙機(jī)集群系統(tǒng)簡稱）[2]，將發(fā)生的故障主機(jī)的業(yè)務(wù)在資源充沛的非故障主機(jī)上自動重啟，即可實(shí)現(xiàn)業(yè)務(wù)的連續(xù)運(yùn)行或短暫中斷。在超融合平臺集群中，對啟用了HA功能的虛擬機(jī)所在節(jié)點(diǎn)進(jìn)行心跳檢測，每隔幾秒鐘檢測一次虛擬機(jī)狀態(tài)，一旦發(fā)現(xiàn)虛擬機(jī)出現(xiàn)故障，并且故障持續(xù)時間達(dá)到用戶預(yù)設(shè)的時長時，將把該虛擬機(jī)上的所有進(jìn)程轉(zhuǎn)移到其他虛擬機(jī)節(jié)點(diǎn)上運(yùn)行，從而為客戶提供不間斷的服務(wù)。一旦虛擬機(jī)宕機(jī)， HA能夠?qū)㈠礄C(jī)時間縮短至幾秒鐘。而且能夠?qū)⑾到y(tǒng)恢復(fù)到宕機(jī)以前的狀態(tài)，從而保證虛擬機(jī)機(jī)的穩(wěn)定運(yùn)行。在HA的保護(hù)下，各個信息系統(tǒng)再也不用因?yàn)橛布收匣蛉粘Ｐ缘木S護(hù)而中斷運(yùn)行。

超融合平臺網(wǎng)絡(luò)層采用管理面、控制面、數(shù)據(jù)轉(zhuǎn)發(fā)面相互獨(dú)立的架構(gòu)，各層面通過標(biāo)準(zhǔn)化和解耦的接口進(jìn)行通信。若某個子模塊發(fā)生故障，只影響這個模塊內(nèi)部，不會導(dǎo)致整個網(wǎng)絡(luò)平臺出現(xiàn)故障。

管理面采用集中式控制方案，通過集群模塊選舉出管理面主控節(jié)點(diǎn)，使用集群文件系統(tǒng)將數(shù)據(jù)分布式地存儲在每個網(wǎng)絡(luò)節(jié)點(diǎn)中，若控制節(jié)點(diǎn)發(fā)生故障，超融合平臺會自動選出新的主控節(jié)點(diǎn)，新的主控節(jié)點(diǎn)通過集群文件系統(tǒng)獲取集群網(wǎng)絡(luò)配置數(shù)據(jù)，保障管理面的高可靠。

控制面與管理面一樣采用集中式控制方案，復(fù)用集群模塊推選主控，主控節(jié)點(diǎn)會拉起中央控制器；通過各個計(jì)算和網(wǎng)絡(luò)節(jié)點(diǎn)的網(wǎng)絡(luò)代理模塊主動上報機(jī)制，中央控制器恢復(fù)對當(dāng)前每個計(jì)算和網(wǎng)絡(luò)節(jié)點(diǎn)的實(shí)時狀態(tài)掌握，保障控制面的高可靠。

數(shù)據(jù)轉(zhuǎn)發(fā)面運(yùn)行在應(yīng)用層，可保證轉(zhuǎn)發(fā)面出現(xiàn)異常時，不會導(dǎo)致內(nèi)核宕機(jī)，并通過重啟服務(wù)方式快速恢復(fù)轉(zhuǎn)發(fā)面，大大減少轉(zhuǎn)發(fā)面對平臺本身可靠性的影響;數(shù)據(jù)轉(zhuǎn)發(fā)面支持單主機(jī)內(nèi)主備切換，備進(jìn)程包含數(shù)據(jù)轉(zhuǎn)發(fā)面的所有配置信息，可以在主進(jìn)程異常退出后，備進(jìn)程立刻成為主進(jìn)程，接管所有的網(wǎng)絡(luò)轉(zhuǎn)發(fā)業(yè)務(wù)，用戶業(yè)務(wù)不會中斷，保障數(shù)據(jù)轉(zhuǎn)發(fā)面單主機(jī)高可靠。

網(wǎng)絡(luò)層中虛擬路由器為集中式路由器，進(jìn)行三層轉(zhuǎn)發(fā)的流量需要通過路由器進(jìn)行轉(zhuǎn)發(fā)，當(dāng)路由器所在節(jié)點(diǎn)出現(xiàn)故障或者路由器連接的業(yè)務(wù)網(wǎng)口無法通信時，會影響連接到該路由器的設(shè)備之間的通信。

超融合平臺網(wǎng)絡(luò)層提供路由器HA功能保障三層轉(zhuǎn)發(fā)網(wǎng)絡(luò)可靠性，通過網(wǎng)絡(luò)控制器實(shí)時監(jiān)控集群中主機(jī)運(yùn)行狀態(tài)和業(yè)務(wù)網(wǎng)口狀態(tài)，當(dāng)發(fā)現(xiàn)主機(jī)故障或者業(yè)務(wù)網(wǎng)口無法通信時，中央控制器會計(jì)算受到影響的虛擬路由器，自動將這些路由器切換到其他正常工作的主機(jī)上，保證經(jīng)過該路由器的流量可以正常轉(zhuǎn)發(fā)。

三、超融合架構(gòu)技術(shù)在高校數(shù)據(jù)中心建設(shè)中的應(yīng)用案例

（一）硬件設(shè)備

傳統(tǒng)存儲中主要為NAS[3]和SAN存儲[4]，分別有各自的應(yīng)用場景。比如，NAS 有自己的文件系統(tǒng)，因此存儲設(shè)備端負(fù)載相對較重，一般 NAS 適合I/O請求次數(shù)較少，但是文件存取能力較高的場景。而SAN存儲，不管采用 iSCSI還是FC協(xié)議進(jìn)行連接，在掛載 SAN存儲前，需要系統(tǒng)對其進(jìn)行格式化安裝文件系統(tǒng)，即在SAN存儲端沒有文件系統(tǒng)，存儲設(shè)備的負(fù)載比較輕，相比而言，SAN存儲更加適合I/0請求次數(shù)較多、數(shù)據(jù)訪問小而頻繁的場景，數(shù)據(jù)庫場景為典型應(yīng)用場景，傳統(tǒng)業(yè)務(wù)部署模式選擇服務(wù)器+外置FC存儲部署就是基于此原因。對于超融合分布式存儲而言，需滿足更多的場景需求，因?yàn)槌诤纤械膽?yīng)用數(shù)據(jù)都是放于同一個存儲介質(zhì)上，不論隨機(jī)I/0、順序I/0，或讀密集型、寫密集型應(yīng)用。這種情況下，首先應(yīng)該考慮選擇什么樣的存儲介質(zhì)可以有效提高性價比。

機(jī)械硬盤（HDD，Hard Disk Drive）是計(jì)算機(jī)上使用堅(jiān)硬的旋轉(zhuǎn)盤片為基礎(chǔ)的非易失性存儲器，它在平整的磁性表面存儲和檢索數(shù)字?jǐn)?shù)據(jù)[5]。機(jī)械硬盤以價格低、容量大而著稱，但其性能卻比較低，尤其是隨機(jī)讀寫的性能通常只有幾百 IOPS。

固態(tài)硬盤（SSD，Soild State Disks）是一種主要以閃存（NAND Flash）作為永久性存儲器的計(jì)算機(jī)存儲設(shè)備，具有優(yōu)異的 IOPS 和吞能力。雖然 SSD 性能高，但其價格高、容量小的問題也是當(dāng)前階段其大規(guī)模推廣的主要障礙。雖然SSD價格近幾年下降很多，但是大容量的SSD價格仍然昂貴，相比HDD的10T的容量，每單位容量價格貴了10倍有余。使用全閃存存儲最大的問題就是成本過高。

因此為了實(shí)現(xiàn)存儲系統(tǒng)在性能、容量、成本三者之間達(dá)到最佳均衡，鑒于以上原則，超融合架構(gòu)出于對當(dāng)前階段的絕大部分場景如何達(dá)到最優(yōu)性價比和性能的考慮，黑龍江科技大學(xué)數(shù)據(jù)中心的做法是使用混合硬盤配置方式，即使用固態(tài)硬盤SSD 作為I/0讀寫提速的緩存層，用于存放用戶業(yè)務(wù)經(jīng)常被訪問的數(shù)據(jù)，而機(jī)械硬盤HDD則作為數(shù)據(jù)最終存放的位置。

（二）磁盤組

在混合硬盤配置前提下，基于性能最佳實(shí)踐，超融合分布式存儲會將緩存盤和數(shù)據(jù)盤以磁盤組的關(guān)系進(jìn)行配對，磁盤組由1個SSD 帶 n個HDD組成 （n≤7）。單一主機(jī)內(nèi)可以有多個磁盤組，每個磁盤組相互邏輯隔離，即每個磁盤組的 SSD僅為其磁盤組下的HDD提供緩存加速的能力。

磁盤組所帶來的好處之一是減少了 SSD 故障所影響的范圍。當(dāng)某塊SSD發(fā)生故障后，故障影響的范圍會限制在該 SSD 所在的磁盤組內(nèi)的磁盤，在進(jìn)行數(shù)據(jù)修復(fù)時，也僅需修復(fù)其磁盤組內(nèi)的HDD上的數(shù)據(jù)，無需整機(jī)進(jìn)行修復(fù)。

黑龍江科技大學(xué)數(shù)據(jù)中心超融合平臺總體硬件設(shè)備主要分為服務(wù)器和交換機(jī)。服務(wù)器采用6臺Lenovo SR850，其中每臺服務(wù)器配置4塊600GB的SSD硬盤及10塊1.8TB的HDD硬盤。交換機(jī)采用2臺萬兆以太網(wǎng)交換機(jī)作為存儲交換機(jī)；2臺萬兆以太網(wǎng)交換機(jī)作為業(yè)務(wù)及數(shù)據(jù)通信交換機(jī)；2臺千兆以太網(wǎng)交換機(jī)作為管理交換機(jī)。以上是黑龍江科技大學(xué)數(shù)據(jù)中心超融合總體的硬件配置，分為超融合架構(gòu)建設(shè)工程和擴(kuò)容一期工程。擴(kuò)容一期內(nèi)容是分別為每個主機(jī)Node節(jié)點(diǎn)增加了6塊HDD硬盤，從采購到擴(kuò)容完成歷時2個工作日。

（三）超融合網(wǎng)絡(luò)架構(gòu)

超融合的網(wǎng)絡(luò)架構(gòu)由管理網(wǎng)、業(yè)務(wù)網(wǎng)、數(shù)據(jù)通信網(wǎng)、存儲網(wǎng)四個網(wǎng)絡(luò)平面組成，每個網(wǎng)絡(luò)平面獨(dú)立部署。

管理網(wǎng)是指管理員接入管理網(wǎng)對超融合集群進(jìn)行管理。管理網(wǎng)通過雙交換機(jī)聚合實(shí)現(xiàn)鏈路冗余，單個交換機(jī)或單條鏈路發(fā)生故障不會影響超融合管理模塊的穩(wěn)定性。

業(yè)務(wù)網(wǎng)是指某個信息系統(tǒng)用于進(jìn)行正常的業(yè)務(wù)訪問。業(yè)務(wù)網(wǎng)也可通過雙交換機(jī)端口聚合實(shí)現(xiàn)鏈路冗余，對業(yè)務(wù)出入口配置靜態(tài)綁定，并且可以配置多個業(yè)務(wù)出口供虛擬網(wǎng)絡(luò)中虛擬機(jī)選擇，保障業(yè)務(wù)網(wǎng)冗余高可靠。

數(shù)據(jù)通信網(wǎng)是指虛擬機(jī)之間的東西向流量，可實(shí)現(xiàn)業(yè)務(wù)之間的通信，組建私網(wǎng)保障數(shù)據(jù)安全。同管理網(wǎng)和業(yè)務(wù)網(wǎng)一樣，兩臺或以上數(shù)量的物理交換機(jī)通過端口聚合實(shí)現(xiàn)鏈路冗余。超融合虛擬交換機(jī)采用分布式部署方式，即集群所有主機(jī)上都設(shè)置一個虛擬交換機(jī)，若其中一臺主機(jī)掉線時，通過虛擬路由和虛擬機(jī)HA技術(shù)，其他主機(jī)會接管原本經(jīng)過這臺掉線主機(jī)上虛擬交換機(jī)的流量。

存儲網(wǎng)是指執(zhí)行需要經(jīng)過網(wǎng)絡(luò)的IO動作，實(shí)現(xiàn)數(shù)據(jù)存儲功能。組建私網(wǎng)保障數(shù)據(jù)安全無需靜態(tài)綁定和交換機(jī)上鏈路聚合，超融合平臺從軟件層面實(shí)現(xiàn)了鏈路聚合功能，按照TCP連接實(shí)現(xiàn)私網(wǎng)鏈路的負(fù)載均衡，主機(jī)之間不同的TCP連接可以使用不同的物理鏈路。

綜上所述，超融合網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)了網(wǎng)絡(luò)鏈路的全冗余，任何一個網(wǎng)絡(luò)平面的故障都不會影響其余的網(wǎng)絡(luò)平面。

（四）超融合架構(gòu)應(yīng)用情況

超融合系統(tǒng)架構(gòu)用于黑龍江科技大學(xué)數(shù)據(jù)中心建設(shè)完成后，超融合平臺位于校園網(wǎng)中，支持對外提供87.5TB硬盤及6*512GB內(nèi)存容量，提供100多個虛擬機(jī)（均至少2副本保護(hù)）。如今，已平穩(wěn)運(yùn)行3年有余，為學(xué)校財(cái)務(wù)處、教務(wù)處、保衛(wèi)處、學(xué)生處等單位提供優(yōu)質(zhì)服務(wù)。

四、結(jié)語

黑龍江科技大學(xué)利用了有限的資金初步完成了對數(shù)據(jù)中心架構(gòu)的部分改造，雖然校內(nèi)還有一些信息系統(tǒng)沒有納入超融合平臺，但是從已在超融合平臺的信息系統(tǒng)使用情況來看，已經(jīng)取得了良好的效果，獲得各級使用單位及師生的一致肯定。自從使用了超融合架構(gòu)，明顯節(jié)省了數(shù)據(jù)中心的寶貴空間，釋放機(jī)房維護(hù)人員的精力。相對于傳統(tǒng)的系統(tǒng)架構(gòu)，超融合平臺架構(gòu)在系統(tǒng)的擴(kuò)展性，維護(hù)性，空間及硬件的利用率等方面有許多明顯的優(yōu)勢。為了確保高校數(shù)據(jù)中心的穩(wěn)定性、易用性、持續(xù)性、安全性，并降低維護(hù)成本，使用超融合架構(gòu)技術(shù)是一個很不錯的選擇。為建設(shè)數(shù)字智慧校園，全面實(shí)現(xiàn)校園信息化，建設(shè)專業(yè)特色鮮明的高水平應(yīng)用型大學(xué)提供有力保障。H

參考文獻(xiàn)

[1]張翅.高校實(shí)驗(yàn)室云桌面數(shù)據(jù)存儲方案的探索與實(shí)踐[J].信息記錄材料 2022，23（07），177-179.

[2]趙烽帆.基于VMware ESX軟件的高可用性虛擬化服務(wù)器系統(tǒng)建設(shè)應(yīng)用[J].震災(zāi)防御技術(shù)，2014，9（03），540-549.

[3]付長冬.網(wǎng)絡(luò)存儲體系結(jié)構(gòu)的發(fā)展和研究[J].小型微型計(jì)算機(jī)系統(tǒng) 2004，（04），485-489.

[4]付長冬.基于自主運(yùn)算的自適應(yīng)存儲區(qū)域網(wǎng)絡(luò)系統(tǒng)[J].軟件學(xué)報 2004，（07），1056-1063.

[5]孫瑞.固態(tài)硬盤與機(jī)械硬盤綜合比較探究[J].科技尚品，2016（01）：172-173.