vSAN群集中閃存設(shè)備概述

SSD既是磁盤(pán)組讀寫(xiě)性能的關(guān)鍵，其質(zhì)量好壞、壽命也對(duì)整個(gè)磁盤(pán)組數(shù)據(jù)安全性有重要的影響。

如果磁盤(pán)組中的某塊容量磁盤(pán)損壞，只會(huì)影響這塊磁盤(pán)所涉及的虛擬機(jī)；但如果某塊緩存磁盤(pán)損壞，則會(huì)影響到這整塊磁盤(pán)組中所有的虛擬機(jī)。在機(jī)械磁盤(pán)中，很少有機(jī)械磁盤(pán)在短時(shí)間內(nèi)連續(xù)出錯(cuò)，所以用作容量磁盤(pán)的機(jī)械磁盤(pán)（HDD）出錯(cuò)，vSAN還有重建或恢復(fù)的時(shí)間。但如果用作緩存磁盤(pán)的SSD在短時(shí)間內(nèi)連續(xù)出錯(cuò)，那影響的有可能是整個(gè)架構(gòu)！

閃存磁盤(pán)（SSD，或固態(tài)硬盤(pán)）有擦寫(xiě)壽命，在使用相對(duì)平均的vSAN磁盤(pán)組中，同一批閃存磁盤(pán)有可能是同一時(shí)間達(dá)到其壽命從而導(dǎo)致閃存磁盤(pán)報(bào)廢！所以，在vSAN架構(gòu)中，閃存磁盤(pán)的選擇與使用期限至關(guān)重要。

在規(guī)劃vSAN群集時(shí)，要合理地評(píng)估磁盤(pán)組數(shù)據(jù)變動(dòng)量（寫(xiě)入、刪除、重復(fù)數(shù)據(jù)寫(xiě)入），并根據(jù)所用SSD的容量、壽命，合理評(píng)估緩存磁盤(pán)的使用壽命，在其壽命終結(jié)之前逐步、有序地用全新、更高級(jí)別、更大容量的閃存磁盤(pán)替換。

例如，在一個(gè)vSAN群集系統(tǒng)中，每塊磁盤(pán)組選擇MLC的200GB的SSD，設(shè)計(jì)（評(píng)估）SSD的使用壽命是1000天，則應(yīng)該在第900～950天的時(shí)間，花費(fèi)大約1周～1個(gè)月的時(shí)間，用400GB的SSD一一替換原來(lái)200GB的SSD（不要一次全部替換，正確的作法是將某臺(tái)主機(jī)置于維護(hù)模式，并撤出全部數(shù)據(jù)。當(dāng)數(shù)據(jù)遷移到其他主機(jī)后，刪除該主機(jī)的磁盤(pán)組，然后從主機(jī)移除緩存磁盤(pán)，添加新的緩存磁盤(pán)，最后重新添加磁盤(pán)組，使用新的緩存磁盤(pán)和原來(lái)的容量磁盤(pán)組成新的磁盤(pán)組），等這臺(tái)主機(jī)添更新完成并運(yùn)行24小時(shí)甚至更長(zhǎng)時(shí)間無(wú)誤之后，再為下一臺(tái)主機(jī)更換緩存磁盤(pán)。

用400GB的SSD替換，原因有兩點(diǎn)：首先vSAN群集的數(shù)據(jù)寫(xiě)入量整體應(yīng)該是持續(xù)上升的，用容量增加1倍的SSD，相同P/E次數(shù)的持久性會(huì)增加；其次電子產(chǎn)品整體價(jià)格是下降的，900天后400GB的SSD的費(fèi)用應(yīng)該比現(xiàn)在200GB的SSD的費(fèi)用要下降。

為vSAN選擇SSD時(shí)，有兩個(gè)重要參數(shù)：讀寫(xiě)性能與P/E擦寫(xiě)次數(shù)。由于SSD所選擇的芯片不同，每秒寫(xiě)入次數(shù)決定了其讀寫(xiě)性能，而P/E次數(shù)（閃存完全擦寫(xiě)次數(shù)）決定了其使用壽命。

1.VMware兼容性指南中的閃存設(shè)備的性能分級(jí)（SSD Performance Classes）如下。

例如，對(duì)于400GB的SSD來(lái)說(shuō)，要達(dá)到Class D級(jí)別，TBW大于等于7300。則總寫(xiě)入次數(shù)＝ 7300×1000÷400＝18250（次）。即其P/E次數(shù)為18250次以上，這是數(shù)據(jù)中心級(jí)SSD所能達(dá)到的次數(shù)。

如果規(guī)劃SSD使用壽命為5年，一年365天，則每天可寫(xiě)入次數(shù)＝18250÷5÷365＝10。每天寫(xiě)入次數(shù)10，對(duì)于400GB的SSD來(lái)說(shuō)，允許每天寫(xiě)入4000GB的數(shù)據(jù)，連續(xù)使用5年。

VMware閃存持久性定義的 A、B、C、D級(jí)別，根據(jù)SSD硬盤(pán)總寫(xiě)入量來(lái)定義的。但并沒(méi)有限制硬盤(pán)容量的大小。舉例來(lái)說(shuō)，Class D級(jí)的7300：

對(duì)于400GB的SSD來(lái)計(jì)算，寫(xiě)入7300TB的數(shù)據(jù)其寫(xiě)入次數(shù)是18250次；

對(duì)于800GB的SSD來(lái)計(jì)算，寫(xiě)入7300TB的次數(shù)是9125次；

對(duì)于1200GB的SSD來(lái)計(jì)算，寫(xiě)入7300TB的次數(shù)是6083.3次。

在當(dāng)前的vSAN 6.x的規(guī)格中，每個(gè)磁盤(pán)組中使用的SSD緩存容量上限為600GB，但這并不影響選擇使用更大容量的緩存磁盤(pán)，例如800GB。由于P/E次數(shù)的存儲(chǔ)，雖然vSAN只使用600GB用作緩存，但800GB的硬盤(pán)比600GB的硬盤(pán)具有更高的TBW。

例如，對(duì)于P/E次數(shù)為10000次的相同SSD芯片來(lái)說(shuō)，800GB的 SSD其持久性將達(dá)到8000TBW；而600GB的SSD其持久性則達(dá)到6000TBW。

根據(jù)VMware建議，在全閃存架構(gòu)中，作為緩存層的SSD持久性應(yīng)選擇Class C及其以上級(jí)別；在混合架構(gòu)中，作為緩存層的SSD持久性至少要選擇Class B級(jí)別。其中VMware的建議如表1所列。

表1 VMware建議持久性級(jí)別及對(duì)應(yīng)選擇

評(píng)估閃存設(shè)備的生命周期

在使用閃存設(shè)備時(shí)，可監(jiān)控閃存設(shè)備的使用頻率并估算其生命周期。

在產(chǎn)品規(guī)劃設(shè)計(jì)時(shí)，為vSAN選擇的較高持久性的SSD。但在產(chǎn)品上線(xiàn)一段時(shí)間之后，還需要實(shí)際統(tǒng)計(jì)計(jì)算ESXi主機(jī)中用于緩存設(shè)備的SSD的實(shí)際寫(xiě)入量，以及在全閃存架構(gòu)中緩存SSD與容量SSD的實(shí)際寫(xiě)入量，以正確的評(píng)估閃存設(shè)備的壽命。

下面通過(guò)某4節(jié)點(diǎn)vSAN群集為例（混合架構(gòu)，每主機(jī)2個(gè)磁盤(pán)組，每個(gè)磁盤(pán)組一塊400GB的 SSD、5塊 900GB的HDD），介紹評(píng)估閃存設(shè)備生命周期的方法。

1.某單位使用4臺(tái)聯(lián)想3650 M5服務(wù)器組成標(biāo)準(zhǔn)vSAN群集，每臺(tái)服務(wù)器配置有2個(gè)E5-2620 V4、256GB內(nèi)存、2塊Intel S3700 400GB SSD、10塊 900GB 10000轉(zhuǎn) /分的2.5寸SAS磁盤(pán)、2端口萬(wàn)兆網(wǎng)卡，如圖1所示。

2.在vSphere Web Client中導(dǎo)航器中選擇群集或數(shù)據(jù)中心，在右側(cè)單擊“主機(jī)”選項(xiàng)卡，查看并記錄每臺(tái)主機(jī)正常運(yùn)行時(shí)間，如圖2所示。此時(shí)看到3臺(tái)服務(wù)器連續(xù)運(yùn)行83天，一臺(tái)運(yùn)行35天。

圖1 某4節(jié)點(diǎn)vSAN群集

圖2 計(jì)算每臺(tái)主機(jī)連續(xù)運(yùn)行時(shí)間

圖3 記錄每塊閃存設(shè)備的標(biāo)識(shí)符

3.記錄每臺(tái)主機(jī)閃存設(shè)備的標(biāo)識(shí)符。本示例以記錄其中一臺(tái)主機(jī)為例。在導(dǎo)航器中選中一臺(tái)主機(jī)，在“配置→存儲(chǔ)設(shè)備”中，查看并記錄閃存設(shè)備的“標(biāo)識(shí)符”，如圖3所示。

可以將這4臺(tái)主機(jī)每塊SSD的標(biāo)識(shí)符復(fù)制、粘貼并保存到“記事本”中，例如：

4.為主機(jī)啟用SSH，使用xShell等軟件以SSH方式登錄到ESXi主機(jī)，運(yùn)行 “esxcli storage core device stats get -d=device_ID” 命令。

例如，對(duì)于ESXi主機(jī)-1的第一塊SSD來(lái)說(shuō)，其命令格式為：

表2 某vSAN群集中SSD寫(xiě)入數(shù)據(jù)統(tǒng)計(jì)

Blocks Written后 面的數(shù)據(jù)顯示從上次重新啟動(dòng)后寫(xiě)入設(shè)備的塊的數(shù)量。在本示例中，該值為121329054632。每次重新引導(dǎo)后，該值會(huì)重置為0。

之后在該主機(jī)執(zhí)行：

然后在其他主機(jī)，分別執(zhí)行類(lèi)似命令獲得該主機(jī)每塊SSD的寫(xiě)入塊數(shù)并記錄下來(lái)。

5.計(jì)算每塊SSD的總寫(xiě)入量。

一個(gè)塊是512字節(jié)。要計(jì)算寫(xiě)入的總量，請(qǐng)將“寫(xiě)入的塊”值乘以512，然后將得到的值轉(zhuǎn)換為GB。

在ESXi主機(jī)-1的示例中，從上次重新啟動(dòng)后寫(xiě)入的總量分別為62120GB、69033GB。

其計(jì)算公式為：寫(xiě)入的塊 ×512÷(1000×1000×1000)。

【說(shuō)明】正常情況下1GB＝1024MB，1MB ＝ 1024KB，1KB ＝1024B。但設(shè)備廠商是10進(jìn)制，即1GB＝1000MB。例如120GB的固態(tài)硬盤(pán)，實(shí)際是111.79GB。為了計(jì)算方便，在計(jì)算時(shí)以1000為例計(jì)算。這并不影響實(shí)際的計(jì)算結(jié)果。

6.估算每天平均寫(xiě)入量（以GB單位），這可以用距上次重新啟動(dòng)后寫(xiě)入的總量除以距上次重新啟動(dòng)的天數(shù)。

在本示例中，ESXi主機(jī)-1正常運(yùn)行時(shí)間為83天，硬盤(pán)大小為400GB，則2塊SSD每天寫(xiě)入數(shù)量約748.44GB、831.73GB。本示例中4臺(tái)主機(jī)每塊SSD寫(xiě)入數(shù)據(jù)統(tǒng)計(jì)如表2所示。

7.使用以下公式估算設(shè)備的生命周期。

供應(yīng)商提供的每天寫(xiě)入量乘以供應(yīng)商提供的生命周期除以每天實(shí)際平均寫(xiě)入量。

例如，如果供應(yīng)商保證在每天寫(xiě)入20GB的情況下生命周期為5年，而每天實(shí)際寫(xiě)入量為30GB，則閃存設(shè)備的生命周期約為3.3年。

當(dāng)前選擇的Intel S3700固態(tài)硬盤(pán)，其400GB的寫(xiě)入壽命約7.25PB，800GB的寫(xiě)入壽命約14.5PB。其P/E次數(shù)為18125。

當(dāng)前ESXi主機(jī)1配置的2塊400GB的固態(tài)硬盤(pán)，其每天的P/E次數(shù)分別為1.87、2.08。以當(dāng)前選擇的P/E次數(shù)大于18125次的固態(tài)硬盤(pán)來(lái)說(shuō)，當(dāng)前固態(tài)硬盤(pán)的使用壽命大約是25年。當(dāng)然，一個(gè)vSphere群集的設(shè)計(jì)壽命一般是5～8年左右。在生命周期內(nèi)，不需要更換固態(tài)硬盤(pán)。