譚世偉 張翔宇 陳思睿 丁兆鵬

摘要：在后互聯(lián)網(wǎng)時(shí)代，計(jì)算是生產(chǎn)力，數(shù)據(jù)是生產(chǎn)資料，數(shù)據(jù)的存儲(chǔ)與應(yīng)用越來(lái)越引起關(guān)注。針對(duì)熱數(shù)據(jù)采用NVME協(xié)議的SSD用于快速存儲(chǔ)與計(jì)算，針對(duì)冷數(shù)據(jù)采用SATA或者SAS形式的機(jī)械硬盤(pán)作為存儲(chǔ)數(shù)據(jù)與應(yīng)用。相應(yīng)的為了滿足當(dāng)前對(duì)數(shù)據(jù)量的需求，大容量的存儲(chǔ)服務(wù)器，存儲(chǔ)Jbod，存儲(chǔ)Jbof越來(lái)越應(yīng)用到互聯(lián)網(wǎng)行業(yè)中。存儲(chǔ)Jbof作為熱數(shù)據(jù)進(jìn)行快速存儲(chǔ)，存儲(chǔ)Jbod作為冷數(shù)據(jù)為大容量數(shù)據(jù)進(jìn)行長(zhǎng)期存儲(chǔ)，形成數(shù)據(jù)存儲(chǔ)保護(hù)的硬件基石。存儲(chǔ)服務(wù)器，存儲(chǔ)Jbod及存儲(chǔ)Jbof因?yàn)闈M足了大容量數(shù)據(jù)的存儲(chǔ)需求，越來(lái)越得到行業(yè)的大力發(fā)展。本文章將通過(guò)結(jié)合實(shí)際的應(yīng)用場(chǎng)景提出存儲(chǔ)服務(wù)器，存儲(chǔ)Jbod及存儲(chǔ)Jbof的設(shè)計(jì)及測(cè)試要點(diǎn).

關(guān)鍵詞：存儲(chǔ)服務(wù)器;設(shè)計(jì)要點(diǎn);存儲(chǔ)Jbod;存儲(chǔ)Jbof;測(cè)試驗(yàn)證

中圖分類號(hào)：TP311? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)：1009-3044（2020）36-0047-03

Abstract： In the post-Internet era， computing is compression， data is production material， and data storage and application are attracting more and more attention. SSDs using NVME protocol for hot data are used for fast storage and calculations， and mechanical hard drives in the form of SATA or SAS are used for cold data to store data and applications. Correspondingly， in order to meet the current demand for data volume， large-capacity storage servers， storage Jbod， and storage Jbof are increasingly used in the Internet industry. Storage Jbof is used as hot data for fast storage， storage Jbod is used as a storage server， and storage Jbod and storage Jbof are more and more vigorously developed in the industry because they meet the storage needs of large-capacity data. The actual application scenario proposes the design and test points of storage server， storage Jbod and storage Jbof.

Key words： storage server;design points; store jbod; store jbof; test verification

后互聯(lián)網(wǎng)時(shí)代，AI以及邊緣計(jì)算崛起，但是計(jì)算是生產(chǎn)力需要大量的數(shù)據(jù)作為分析的源泉。數(shù)據(jù)的發(fā)掘分析成就了互聯(lián)網(wǎng)時(shí)代的興盛，而數(shù)據(jù)量成指數(shù)型規(guī)模化增長(zhǎng)，帶來(lái)了數(shù)據(jù)存儲(chǔ)的大量需求。用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)服務(wù)器，存儲(chǔ)Jbob，存儲(chǔ)Jbof等硬件架構(gòu)，為數(shù)據(jù)存儲(chǔ)提供了PB級(jí)別的數(shù)據(jù)存儲(chǔ)能力。存儲(chǔ)Jbod以機(jī)械硬盤(pán)為主，重點(diǎn)用于冷數(shù)據(jù)存儲(chǔ);存儲(chǔ)Jbof以SSD以及最新的nvme SSD為主，以近內(nèi)存的速度提供快速的數(shù)據(jù)存儲(chǔ)與應(yīng)用。文中將存儲(chǔ)Jbod和存儲(chǔ)Jbof全部歸為存儲(chǔ)BOX。鑒于存儲(chǔ)BOX可以改配成任何形式的機(jī)頭，使其應(yīng)用場(chǎng)景非常廣泛。只要機(jī)頭（服務(wù)器）擁有pcie插槽，支持相應(yīng)的SAS卡or RAID卡or 100G網(wǎng)卡，均可以改配連接后端的存儲(chǔ)BOX。存儲(chǔ)服務(wù)器兼具計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)BOX純數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)。本文重點(diǎn)探討研究存儲(chǔ)服務(wù)器，存儲(chǔ)BOX設(shè)計(jì)以及測(cè)試驗(yàn)收要點(diǎn)。

名詞解釋：

1） 存儲(chǔ)BOX：指存儲(chǔ)Jbod與存儲(chǔ)Jbof的總稱。

2） JBOD： Just a Bunch Of Disks，磁盤(pán)簇，是在一個(gè)底板上安裝的帶有多個(gè)磁盤(pán)驅(qū)動(dòng)器的存儲(chǔ)設(shè)備，SAS or SATA 機(jī)械硬盤(pán)柜。

3） JBOF：Just a Bunch Of Flash，非機(jī)械硬盤(pán)組成的存儲(chǔ)柜，SAS-SSD? SATA-SSD? NVME-SSD等非機(jī)械硬盤(pán)組成的存儲(chǔ)柜。

4） 存儲(chǔ)服務(wù)器以偏重?cái)?shù)據(jù)存儲(chǔ)為重點(diǎn)，支持多硬盤(pán)大存儲(chǔ)容量的服務(wù)器，對(duì)計(jì)算能力要求不高，可支持單CPU，雙M.2等簡(jiǎn)單服務(wù)器配置。

1 存儲(chǔ)服務(wù)器及存儲(chǔ)BOX測(cè)試常見(jiàn)故障

分布式存儲(chǔ)中存儲(chǔ)服務(wù)器，存儲(chǔ)BOX，在研發(fā)設(shè)計(jì)和測(cè)試中經(jīng)常遇到如下常見(jiàn)設(shè)計(jì)以及測(cè)試故障：

1） 掉盤(pán);

2） 性能差;

3） 關(guān)鍵核心部件沒(méi)有溫度監(jiān)控;

4） Jbof與機(jī)頭SAS接口連線順著插和反著插均可用，外觀指示燈無(wú)差別均顯示正常;

5） 插拔Jbod后，鏈路狀態(tài)顯示正常，但是跑出來(lái)的性能極差;

6） BOX不支持先開(kāi)機(jī)頭再開(kāi)BOX;

7） 硬盤(pán)單體沒(méi)有efruse保護(hù)機(jī)制;

8）? 硬盤(pán)背板以及硬盤(pán)無(wú)過(guò)流保護(hù);

9） 硬盤(pán)背板，PDB供電板等設(shè)置OCP點(diǎn)過(guò)低;

10）? 高速信號(hào)鏈路余量不足等;

11）? 一些升級(jí)需要AC斷電才生效;

12）? 存儲(chǔ)服務(wù)器系統(tǒng)盤(pán)不支持冗余設(shè)計(jì)等。

以上種種問(wèn)題導(dǎo)致耽誤大量的人力和時(shí)間去分析定位根因。測(cè)試中測(cè)試前準(zhǔn)備工作不足，設(shè)計(jì)工作做的不充分，導(dǎo)致實(shí)際測(cè)試工作中，各種掉盤(pán)問(wèn)題，掉帶寬問(wèn)題等等，研發(fā)定位分析問(wèn)題測(cè)試復(fù)現(xiàn)問(wèn)題等超過(guò)1個(gè)月才完成問(wèn)題定位。

存儲(chǔ)服務(wù)器，存儲(chǔ)BOX，因?yàn)槿鄙僭O(shè)計(jì)以及測(cè)試規(guī)范，缺少合理的測(cè)試流程和測(cè)試手法，導(dǎo)致投入大量人力和時(shí)間去分析定位問(wèn)題，項(xiàng)目一直延期。

2 存儲(chǔ)服務(wù)器及存儲(chǔ)BOX設(shè)計(jì)及測(cè)試要點(diǎn)

現(xiàn)針對(duì)存儲(chǔ)服務(wù)器及存儲(chǔ)BOX，提出如下實(shí)際設(shè)計(jì)與測(cè)試總結(jié)的要點(diǎn)，方便后期研發(fā)設(shè)計(jì)以及測(cè)試人員參考。

存儲(chǔ)服務(wù)器及存儲(chǔ)BOX測(cè)試要點(diǎn)[4]：

實(shí)際中應(yīng)以硬盤(pán)采用的芯片決定Server使用的 SAS卡or RAID卡的型號(hào)。比如硬盤(pán)使用的Expander芯片是LSI的，Server端的SAS卡 or RAID卡必須也是LSI的;硬盤(pán)端采用的Expander芯片是PMC的，Server端的SAS卡 or RAID卡也必須是PMC的卡子。

1）如果Server 主板BMC不支持SAS卡 or RAID卡的監(jiān)控功能，SAS卡 or RAID卡就配置成不支持監(jiān)控功能的NVDATA版本。

2） 一般硬盤(pán)數(shù)量超過(guò)40塊，SAS卡 or RAID卡NVDATA配置參數(shù)需要設(shè)置成不掃描后端硬盤(pán)的配置參數(shù);一般硬盤(pán)數(shù)量過(guò)多將導(dǎo)致開(kāi)機(jī)等待時(shí)間過(guò)長(zhǎng)，bios需要更長(zhǎng)的檢測(cè)時(shí)間等。

3）存儲(chǔ)服務(wù)器在測(cè)試之前，使用SAS卡 or RAID卡芯片廠商提供的工具檢測(cè)一下誤碼率，防止沒(méi)有檢查誤碼率的情況下進(jìn)行開(kāi)展大量測(cè)試;一般Expander or? Switch芯片廠商均會(huì)提供芯片的治具來(lái)能夠直接查看誤碼率和帶寬。

4）存儲(chǔ)服務(wù)器 or 存儲(chǔ)BOX測(cè)試之前，需要對(duì)測(cè)試硬盤(pán)進(jìn)行選型，必須選用能夠支持的功耗最大的盤(pán)進(jìn)行測(cè)試，比如空氣盤(pán)，比如雙磁臂硬盤(pán)，比如SAS? SSD等;

5）在測(cè)試之前，對(duì)最大功耗的硬盤(pán)進(jìn)行壓測(cè)時(shí)，認(rèn)真參考此款硬盤(pán)的功耗說(shuō)明書(shū)，檢查一下硬盤(pán)在哪種模式下功耗最高，大多數(shù)機(jī)械硬盤(pán)，在隨機(jī)讀寫(xiě)時(shí)功耗最高，測(cè)試腳本需要優(yōu)先使用此模式進(jìn)行測(cè)試。 如下兩種模式是壓測(cè)中功耗比較大的配置參數(shù)：隨機(jī)寫(xiě) 4K小塊（Random RW 4KB Qd=8）（random read 4K16Q）。

6） 在進(jìn)行滿配最大功耗硬盤(pán)進(jìn)行壓測(cè)時(shí)，要進(jìn)行拔掉一塊PSU線纜等異常測(cè)試。單PSU情況下，PSU輸出壓降會(huì)變大，故障率會(huì)比較高。此時(shí)實(shí)時(shí)查看單PSU供電情況下壓測(cè)是否存在硬盤(pán)或者硬盤(pán)背板電壓降低的告警和故障。

7）存儲(chǔ)服務(wù)器測(cè)試，重點(diǎn)關(guān)注硬盤(pán)背板OCP點(diǎn)，PDB供電板最大輸出功率等;需要進(jìn)行全鏈路壓降測(cè)試。

8） 針對(duì)通過(guò)線纜給硬盤(pán)背板供電的，重點(diǎn)關(guān)注供電線纜的壓降情況。

9） 需要進(jìn)行所有的硬盤(pán)由sleep到wake最大整機(jī)輸入功耗測(cè)試，此種情況下功耗最高。

3 存儲(chǔ)服務(wù)器及存儲(chǔ)BOX測(cè)試報(bào)告及評(píng)審要點(diǎn)

針對(duì)存儲(chǔ)服務(wù)器及存儲(chǔ)BOX測(cè)試驗(yàn)收標(biāo)準(zhǔn)重點(diǎn)關(guān)注如下測(cè)試報(bào)告驗(yàn)收項(xiàng)。

4 存儲(chǔ)服務(wù)器及存儲(chǔ)BOX硬件變更測(cè)試要點(diǎn)

現(xiàn)針對(duì)存儲(chǔ)服務(wù)器及存儲(chǔ)BOX SIT測(cè)試驗(yàn)證驗(yàn)收，提出如下實(shí)際測(cè)試總結(jié)的測(cè)試策略和大綱，方便后期測(cè)試人員參考：

1）異常場(chǎng)景測(cè)試;

2）最大化滿配配置測(cè)試;

3）核心部件溫度傳感器監(jiān)控溫度測(cè)試;

4）硬盤(pán)單體efruse保護(hù)機(jī)制測(cè)試;

5）AC? DC? Reboot測(cè)試;

6）BOX與機(jī)頭插拔測(cè)試;

7）BOX與機(jī)頭插拔測(cè)試后壓力測(cè)試;

8）BOX與機(jī)頭插拔測(cè)試后性能測(cè)試并對(duì)比;

9）客戶實(shí)際應(yīng)用場(chǎng)景模擬測(cè)試;

10）設(shè)計(jì)需求驗(yàn)收測(cè)試;

11）最大化配置下壓力穩(wěn)定性長(zhǎng)期測(cè)試;

12）可維護(hù)部件熱插拔測(cè)試以及插拔壽命測(cè)試;

13）硬盤(pán)熱插拔測(cè)試并插拔后速率檢查;

14）性能測(cè)試以及性能瓶頸點(diǎn)分析驗(yàn)收;

15）可維護(hù)部件更換時(shí)間測(cè)試;

16）結(jié)構(gòu)絲印驗(yàn)收測(cè)試;

17）所有硬盤(pán)由sleep到wake時(shí)，整機(jī)最大輸入功耗測(cè)試等。

5 結(jié)論

存儲(chǔ)服務(wù)器、存儲(chǔ)Jbod及存儲(chǔ)Jbof，隨著數(shù)據(jù)量的劇增，將越來(lái)越大量地應(yīng)用到市場(chǎng)端。所以存儲(chǔ)服務(wù)器、存儲(chǔ)Jbod及存儲(chǔ)Jbof的長(zhǎng)期穩(wěn)定性及產(chǎn)品質(zhì)量要求也越來(lái)越嚴(yán)苛，這就對(duì)存儲(chǔ)服務(wù)器設(shè)計(jì)以及測(cè)試驗(yàn)收等研發(fā)階段提出更高的要求和技術(shù)能力提升。產(chǎn)品質(zhì)量是企業(yè)的生命線，數(shù)據(jù)安全關(guān)乎企業(yè)的生存，所以存儲(chǔ)服務(wù)器及存儲(chǔ)BOX設(shè)計(jì)及測(cè)試要點(diǎn)需要不斷更新完善。

參考文獻(xiàn)：

[1] 田洪元.高密度存儲(chǔ)服務(wù)器可靠性設(shè)計(jì)和實(shí)現(xiàn)方法研究[D].北京：中國(guó)科學(xué)院大學(xué)，2017.

[2] 劉建峰.基于FPGA的SAS控制器設(shè)計(jì)與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2008.

[3] 沙超群，尤揚(yáng)，胡長(zhǎng)軍，等.高密度存儲(chǔ)服務(wù)器熱設(shè)計(jì)[J].計(jì)算機(jī)工程與科學(xué)，2015，37（12）：2228-2232.

[4] 譚世偉，丁兆鵬，陳思睿.存儲(chǔ)Jbod測(cè)試規(guī)范[J].電腦知識(shí)與技術(shù)，2020，16（15）：260-261.

[5] 朱晨松.冷存儲(chǔ)系統(tǒng)關(guān)鍵模塊設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2019.

【通聯(lián)編輯：梁書(shū)】