游偉倩 盛樂標 周慶林 張予倩

摘要：該文詳細闡述了南京大學高性能計算中心兩套集群存儲系統(tǒng)的搭建方式。通過兩套存儲系統(tǒng)的測試結(jié)果對比，指出兩類存儲系統(tǒng)的各自的優(yōu)缺點。通過兩套集群的Linpack測試結(jié)果對比，指出存儲系統(tǒng)的選擇在集群搭建過程中的重要性。

關鍵詞：高性能計算；存儲系統(tǒng)；存儲性能測試；Linpack測試

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2018）09-0022-02

高性能計算（High Performance Computing， HPC）主要致力于開發(fā)超級計算機，提高并行計算效率。高性能計算集群主要用于處理復雜的科學計算問題。近些年，高性能計算發(fā)展非常迅速[1]，高性能計算應用的領域越來越寬廣[2]，伴隨著高性能計算需求越來越多，各地的高性能計算機群也應運而生[3]。南京大學高性能計算中心自2010年成立以來，先后搭建了兩套高性能計算集群系統(tǒng)。第一套為IBM刀片集群系統(tǒng)，于2009年建成，集群總計算節(jié)點有402個，總計3216個核。由于這套設備不足以滿足校內(nèi)科研用戶的計算需求。2015年12月，南京大學再次投資5000萬，建設了一套聯(lián)想Flex集群，F(xiàn)lex集群總計算節(jié)點為910個，總CPU計算能力達873Tflops?？梢詽M足大規(guī)?？茖W計算需求。眾所周知，集群建設過程中一個很很關鍵的部分是存儲系統(tǒng)的選擇，南京大學高性能計算中心在建設IBM集群和Flex集群過程中，也是將存儲系統(tǒng)的選擇作為重中之重。本文將詳細闡述本中心兩套集群存儲系統(tǒng)的搭建方式，以及最終達到的效果。給出IBM集群多年的運行過程中存儲系統(tǒng)優(yōu)越性以及不足，最后對兩種存儲系統(tǒng)測試結(jié)果做一對比，最終證明南京大學高性能計算中心存儲系統(tǒng)選擇的正確性以及高效性。

1 IBM集群存儲系統(tǒng)

IBM刀片集群平臺由402個雙路四核的IBM BladeCenter HS22刀片服務器組成，通過高速Infiniband網(wǎng)絡連接。集群包括10臺IBM HS22登錄節(jié)點，1臺IBM X3550服務器管理節(jié)點，3臺IBM機架式X3650 M2服務器構(gòu)成3個作業(yè)調(diào)度節(jié)點，402臺IBM HS22刀片構(gòu)成402個計算節(jié)點，共3216個CPU核。兩臺Voltaire 288口 20Gb 4X Infiniband交換機組成準全線速無阻塞并行計算網(wǎng)絡；四臺4口萬兆上行48口BNT公司的千兆交換機組成千兆無阻塞作業(yè)調(diào)度系統(tǒng)和管理網(wǎng)絡。集群存儲系統(tǒng)共有兩套，分別是專用存儲系統(tǒng)和并行文件存儲系統(tǒng)，下面將著重介紹這兩套存儲系統(tǒng)。

專用存儲系統(tǒng)：1臺IBM DS5300 SAN架構(gòu)光纖共享存儲系統(tǒng)，雙控制器，16GB共享緩存，16個4Gb光纖主機接口，16個對內(nèi)擴展柜接口，16分區(qū)支持，每磁盤擴展柜配置16塊1TB 7200轉(zhuǎn)SATA盤，共計容量128TB， 實測存儲連續(xù)讀寫帶寬大于2.1GB/s。

并行文件存儲系統(tǒng)：20臺IBM X3650服務器構(gòu)成20個并行存儲節(jié)點，每節(jié)點配置兩塊Intel Xeon E5430 CPU， 32GB 內(nèi)存，20Gb IB HCA 卡，6塊450GB 15000轉(zhuǎn)/分SAS盤，組成總?cè)萘?4TB并行計算存儲系統(tǒng)，文件系統(tǒng)采用IBM的GPFS文件系統(tǒng)， 實測存儲連續(xù)讀寫總帶寬大于6.2GB/秒。IBM集群的總體框架圖見圖1。

該套系統(tǒng)在2009年10月份的Linpack測試中，取得了并行效率91.92%的佳績，Linpack實際計算能力達到了31.3萬億次/秒。

之所以選擇這兩種存儲搭建方式，是因為多臺服務器構(gòu)成的并行文件系統(tǒng)有一個不足之處，若其中某一臺服務器出現(xiàn)故障或者宕機，整個文件系統(tǒng)將無法正常使用，因此在穩(wěn)定性方面存在一定劣勢?；谶@個原因，我們采用了一臺IBM DS5300光纖共享存儲設備，建立了一個專用存儲系統(tǒng)作為用戶家目錄，當并行存儲系統(tǒng)出現(xiàn)故障的時候，家目錄系統(tǒng)依然可以正常使用。事實證明：IBM集群自2010年投入運行一直到2017年停止使用，DS5300光纖共享存儲系統(tǒng)未出現(xiàn)過一次故障，穩(wěn)定性非常高。同時，并行存儲系統(tǒng)的由于讀寫帶寬速度快，在IBM集群運行前期發(fā)揮了重要作用。但是集群使用到后期（2015年至2017年），并行存儲系統(tǒng)經(jīng)常出現(xiàn)故障，穩(wěn)定性相對要低一些。

2 Flex集群存儲系統(tǒng)

聯(lián)想Flex集群平臺配置一臺x3650 M5管理節(jié)點；三臺x3650 M5的作業(yè)調(diào)度節(jié)點，采用Platform LSF作業(yè)調(diào)度系統(tǒng)。4個Lenovo Flex x240 M5登錄節(jié)點，負責所有用戶登錄集群以及提交作業(yè)使用?？傆?10臺System Flex X240M計算節(jié)點，共21840個CPU核， 4臺Lenovo System X3650M5 GPU節(jié)點。兩臺MellanoxSX6536 56Gb/s IB 交換機。兩臺G7052千兆交換機，主要用于硬件管理。兩臺G8272萬兆交換機，主要用于作業(yè)調(diào)度網(wǎng)絡。兩套存儲系統(tǒng)如下：

存儲系統(tǒng)一為一臺IBM ESS GL6高端存儲，雙控制器，256G緩存，12個56G FDR主機接口，裸容量為2P，實測存儲連續(xù)讀寫帶寬18.9GB/s。

存儲系統(tǒng)二為SSD并行存儲，由16臺System X3650M5服務器裸容量為1P的SSD硬盤存儲組成。每臺服務器配置2顆Intel E5-2680v3， 256GB內(nèi)存，2塊480GB SSD硬盤，M5210 SAS RAID卡，實測存儲連續(xù)讀寫帶寬80.4GB/s。

Flex集群的總體框架圖見圖2。

iozone是一個文件系統(tǒng)的benchmark工具，可以測試不同的操作系統(tǒng)中文件系統(tǒng)的讀寫性能。Flex集群ESS存儲聚合帶寬性能測試結(jié)果如表1：單位：（GB/s）

同SSD性能測試一樣，ssd存儲存儲聚合帶寬性能測試結(jié)果如表2，15臺IO server測試結(jié)果如下：單位：（GB/s）

由上述測試結(jié)果可見：ESS存儲系統(tǒng)IO讀寫速度大于等于18GB/s， SSD并行存儲IO讀寫速度大于等于80GB/s，存儲系統(tǒng)讀寫速度非常高。

Flex集群在2016年12月份的Linpack測試忠并行效率為79.62%，Linpack實際計算能力達到了687.1萬億次/秒。眾所周知， 由于在超大規(guī)模集群系統(tǒng)中， 存儲的IO性能是整個計算系統(tǒng)的最大瓶頸， 而我們這兩套存儲系統(tǒng)不論在存儲容量上和IO讀寫帶寬上都達到了很高的標準， 為整個系統(tǒng)安全、可靠、高效的運行提供了強有力的保障。

3 IBM集群和Flex集群存儲測試以及集群性能對比

為了可以清晰地對比兩套存儲系統(tǒng)的性能，請看表3兩套集群的各個性能參數(shù)對比。

由表可見，南京大學高性能計算中心無論是IBM集群還是Flex集群，在存儲系統(tǒng)的選擇上都是十分合理的。Flex集群的存儲系統(tǒng)IO讀寫帶寬達到很高的標準， 為整個集群系統(tǒng)高效的運行提供了強有力的保障。雖然Flex集群由于其核數(shù)增加，并行效率有所下降，但是其實際計算能力大幅度增加，也大大緩解了之前南京大學計算資源嚴重不足的現(xiàn)狀。

4 結(jié)束語

本文詳細闡述了“中心”兩套集群存儲系統(tǒng)，給出兩套系統(tǒng)的各個測試性能參數(shù)。最后通過對兩套集群測試結(jié)果的對比，證明IBM集群和Flex集群存儲系統(tǒng)的選擇十分合理且性能優(yōu)越。南京大學高性能計算中心一直走在高校高性能計算的前沿，“中心”兩套集群的存儲搭建方式也為今后其他單位搭建高性能計算集群系統(tǒng)提供了很好的參考依據(jù)。

參考文獻：

[1] 周興銘.高性能計算技術(shù)發(fā)展[J].自然雜志，2011，33（5）：249-254.

[2] 王彬. 高性能計算計算在氣象部門的應用[J].計算機工程與設計，2014，35（4）：1476-1479.

[3] 盛樂標，游偉倩，周慶林.南京大學高性能計算中心建設的探索與實踐[J].實驗技術(shù)與管理，2013，20（11）：144-146.