涂金龍

摘 要：本研究闡述了高性能計(jì)算集群平臺(tái)的特點(diǎn)，然后介紹了平臺(tái)的硬件和軟件組成，并簡(jiǎn)要地闡述了平臺(tái)的構(gòu)建過(guò)程，最后通過(guò)一個(gè)測(cè)試案例探討了利用平臺(tái)進(jìn)行作業(yè)調(diào)度的流程和方法，希望可以為企業(yè)高性能計(jì)算運(yùn)維人員提供一些借鑒和參考。

關(guān)鍵詞：高性能計(jì)算;集群部署;高?？茖W(xué)計(jì)算

中圖分類(lèi)號(hào)：TP38 ? ? 文獻(xiàn)標(biāo)志碼：A ? ? 文章編號(hào)：1003-5168（2022）3-0026-04

DOI：10.19968/j.cnki.hnkj.1003-5168.2022.03.006

Design and Implementation of High Performance Computing Cluster Platform for Scientific Research Institutions

TU Jinlong

（Network and Information Technology Center of Jiangxi University of Chinese Medicine，

Nanchang 330004，China）

Abstract：This paper describes the characteristics of high-performance computing cluster platform， then introduces the hardware and software composition of the platform， and briefly describes the construction process of the platform. Finally， through a test case， this paper discusses the process and method of job scheduling using the platform， hoping to provide some reference for enterprise high-performance computing operation and maintenance personnel.

Keywords：high performance computing; cluster deployment; scientific computing in colleges and universities

0 引言

高性能計(jì)算（High Performance Computing，HPC）也被稱(chēng)為數(shù)據(jù)分析的超級(jí)計(jì)算機(jī)，是一套計(jì)算性能強(qiáng)大、數(shù)據(jù)傳輸率超高、具有大規(guī)模存儲(chǔ)空間和完整軟件的系統(tǒng)，通常包含計(jì)算處理單元、并行存儲(chǔ)單元、網(wǎng)絡(luò)單元、管理調(diào)度軟件單元，主要采用集群架構(gòu)，通過(guò)網(wǎng)絡(luò)將大量的服務(wù)器連接起來(lái)，讓所有服務(wù)器協(xié)調(diào)工作來(lái)完成一系列計(jì)算任務(wù)[1]。超級(jí)計(jì)算機(jī)和傳統(tǒng)的計(jì)算機(jī)不同，它具有超強(qiáng)的計(jì)算能力，能夠解決很多在日常生活中難以處理的問(wèn)題。當(dāng)前，計(jì)算與理論方法、試驗(yàn)手段并列為人類(lèi)認(rèn)識(shí)世界的三大主要手段[2]。在大型工程中，試驗(yàn)和理論方法在解決尖端問(wèn)題，如開(kāi)展科學(xué)研究等，存在著一定程度的瓶頸。因此，使用高性能計(jì)算技術(shù)來(lái)解決此類(lèi)問(wèn)題，就成為發(fā)展的必然趨勢(shì)?，F(xiàn)代科技和經(jīng)濟(jì)的發(fā)展使高性能計(jì)算服務(wù)應(yīng)用的門(mén)檻不斷降低。美國(guó)、日本等發(fā)達(dá)國(guó)家在高性能計(jì)算技術(shù)發(fā)展的支持下，其工業(yè)、科學(xué)研究、新材料、新能源、服務(wù)行業(yè)等產(chǎn)業(yè)發(fā)展很快，高性能計(jì)算技術(shù)已經(jīng)與社會(huì)生產(chǎn)發(fā)展實(shí)現(xiàn)了深度融合。

江西省在物理、化學(xué)、生物、新能源、新材料等領(lǐng)域?qū)Ω咝阅苡?jì)算的需求總量峰值達(dá)100萬(wàn)億次以上。然而，江西省的高性能計(jì)算基礎(chǔ)設(shè)施非常薄弱并且較分散，基本以科研單位購(gòu)買(mǎi)自用為主。江西省內(nèi)各高校對(duì)各類(lèi)科學(xué)計(jì)算的超算資源需求都比較旺盛。但目前各類(lèi)研究單位在高性能計(jì)算能力方面相對(duì)比較薄弱，資源供給無(wú)法滿(mǎn)足應(yīng)用發(fā)展的需求。因此，迫切需要構(gòu)建一個(gè)集中公共的高性能計(jì)算服務(wù)平臺(tái)，來(lái)應(yīng)對(duì)各類(lèi)科學(xué)計(jì)算服務(wù)。建設(shè)基于高性能計(jì)算集群的服務(wù)平臺(tái)，可以大大緩解這樣的不利局面。

1 高性能計(jì)算集群平臺(tái)的設(shè)計(jì)

1.1 高性能計(jì)算集群的硬件配置

某高校高性能集群系統(tǒng)拓?fù)鋱D如圖1所示。該系統(tǒng)包含以下幾部分。

1.1.1 管理節(jié)點(diǎn)。由一臺(tái)管理節(jié)點(diǎn)組成，負(fù)責(zé)用戶(hù)登錄、管理調(diào)度整個(gè)集群、任務(wù)提交等，對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控管理，所配的型號(hào)為NF5270M4。

1.1.2 登錄節(jié)點(diǎn)。包括一臺(tái)登錄節(jié)點(diǎn)服務(wù)器，為用戶(hù)登錄平臺(tái)使用，是直接和用戶(hù)交互的節(jié)點(diǎn)，便于用戶(hù)作業(yè)的上傳、程序代碼的編寫(xiě)、作業(yè)的提交和任務(wù)結(jié)果的查看等，所配的型號(hào)為NF5270M4。

1.1.3 存儲(chǔ)節(jié)點(diǎn)。配置了分布式存儲(chǔ)系統(tǒng)和Lustre并行文件系統(tǒng)，負(fù)責(zé)存儲(chǔ)大量的計(jì)算數(shù)據(jù)，高可用、高安全，所配置型號(hào)為SA5224H。

1.1.4 計(jì)算節(jié)點(diǎn)。由25臺(tái)高性能刀片服務(wù)器組成，承載平臺(tái)的計(jì)算任務(wù)請(qǐng)求，所配置的型號(hào)為NX5440M4;胖節(jié)點(diǎn)型號(hào)為NF8460M3;MIC加速節(jié)點(diǎn)、GPU加速節(jié)點(diǎn)型號(hào)為NF5588M3。

1.1.5 網(wǎng)絡(luò)子系統(tǒng)。由管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)組成，管理網(wǎng)絡(luò)負(fù)責(zé)集群管理使用，由以太網(wǎng)1 000 M連接管理交換機(jī)。業(yè)務(wù)網(wǎng)絡(luò)由Infiniband網(wǎng)絡(luò)連接計(jì)算節(jié)點(diǎn)和存儲(chǔ)子系統(tǒng)，是業(yè)務(wù)數(shù)據(jù)通信的專(zhuān)用網(wǎng)絡(luò)。

1.1.6 KVM切換器。KVM系統(tǒng)用于連接所有計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)和管理節(jié)點(diǎn)，方便運(yùn)維人員系統(tǒng)調(diào)式和管理使用。

1.1.7 顯示系統(tǒng)。配置2臺(tái)電視顯示屏和1臺(tái)筆記本電腦，電視大屏作為集群平臺(tái)監(jiān)控和作業(yè)調(diào)度可視化，為T(mén)CL電視，掛壁安裝。

1.2 高性能集群平臺(tái)的軟件組成

高性能集群平臺(tái)的軟件包括底層Linux操作系統(tǒng)、集群管理系統(tǒng)、集群作業(yè)調(diào)度系統(tǒng)、集群平行環(huán)境和集群開(kāi)發(fā)環(huán)境[3]。

①集群平臺(tái)運(yùn)行環(huán)境管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)均安裝Redhat as 6.5企業(yè)版64位操作系統(tǒng)。

②集群管理系統(tǒng)。實(shí)現(xiàn)集群集中管理和集中監(jiān)控的功能，部署的軟件為ClusterEnginer。

③集群作業(yè)調(diào)度系統(tǒng)。OpenPBS作業(yè)調(diào)度系統(tǒng)以支持命令行及web方式實(shí)現(xiàn)作業(yè)的提交、查看等。

④集群平行開(kāi)發(fā)環(huán)境。安裝Intel C++/Fortran編譯器、Intel編譯、調(diào)試軟件等編譯器，Intel MKL數(shù)學(xué)核心庫(kù)等數(shù)學(xué)庫(kù)，滿(mǎn)足大部分科學(xué)計(jì)算需要。

2 高性能計(jì)算集群平臺(tái)的部署

2.1 高性能計(jì)算集群平臺(tái)基礎(chǔ)環(huán)境的配置

高性能計(jì)算集群平臺(tái)基礎(chǔ)環(huán)境的配置主要包括RSH、NIS、NFS、SSH等4個(gè)服務(wù)的配置過(guò)程。

2.1.1 RSH服務(wù)。需要在集群全部的節(jié)點(diǎn)中配置RSH權(quán)限，配置步驟如下：首先，在其中的一個(gè)節(jié)點(diǎn)的配置HOSTS文件中，配置全部計(jì)算節(jié)點(diǎn)的IP地址及計(jì)算機(jī)名信息;其次，共享給其他節(jié)點(diǎn)通用;然后，需要對(duì)操作系統(tǒng)中的RHOSTS和HOSTS.EQUIV文件配置加入全部節(jié)點(diǎn)的計(jì)算機(jī)名信息;最后，完成RSH服務(wù)配置，可以重啟RSH服務(wù)。

2.1.2 NIS服務(wù)。NIS服務(wù)是一項(xiàng)目錄服務(wù)技術(shù)，用來(lái)對(duì)多個(gè)系統(tǒng)管理的數(shù)據(jù)庫(kù)作集中控制的網(wǎng)絡(luò)產(chǎn)品服務(wù)[4]。客戶(hù)端用戶(hù)不用自己建立自己的/etc/passwd，可利用NIS服務(wù)使用服務(wù)器端的管理文件，需要負(fù)責(zé)維護(hù)在NIS服務(wù)器的文件即可。服務(wù)端的NIS配置#echo 'nisdomainname TS10K' >>/etc/rc.d/rc.local。

2.1.3 NFS服務(wù)。NFS服務(wù)是網(wǎng)絡(luò)文件共享服務(wù)。NFS的作用是借助于計(jì)算機(jī)網(wǎng)絡(luò)，可以把自己的文件目錄共享給他人使用，遠(yuǎn)程服務(wù)器端的文件，能夠被用戶(hù)和程序隨機(jī)地訪(fǎng)問(wèn)和使用[5]。在本集群管理節(jié)點(diǎn)中配置好共享。配置的步驟如下：

建立文件/etc/exports

vi/etc/exports/，在文件內(nèi)添加上語(yǔ)句：

/home*（rw，insecure，no_root_squash，sync）

/opt*（rw，insecure，no_root_squash，sync）

啟動(dòng)nfs

#/sbin/chkconfig nfs on

#/sbin/service nfs restart

在客戶(hù)端通過(guò)利用命令showmount-e IP查看服務(wù)器端開(kāi)放共享出來(lái)的文件目錄。

2.1.4 SSH服務(wù)。SSH服務(wù)能夠提供一種較可靠、專(zhuān)為桌面遠(yuǎn)程登錄使用、為其他網(wǎng)絡(luò)服務(wù)等提供的一種安全性的協(xié)議[6]。集群節(jié)點(diǎn)之間一般都是通過(guò)腳本配置無(wú)密碼訪(fǎng)問(wèn)，在腳本中配置HOSTFILE文件中加入需要SSH服務(wù)的節(jié)點(diǎn)的主機(jī)名稱(chēng)。

2.2 集群管理軟件的部署

批處理是指通過(guò)命令對(duì)所有計(jì)算節(jié)點(diǎn)進(jìn)行統(tǒng)一操作。本集群平臺(tái)批處理采用的是開(kāi)源軟件Tentakel。Tentakl是集群常用軟件，能十分方便地在管理節(jié)點(diǎn)中安裝配置軟件。# vi /etc/tentakel.conf 中添加需要管理的機(jī)器名和群組。使用普通用戶(hù)登錄集群，然后所有計(jì)算節(jié)點(diǎn)執(zhí)行以下命令，如果正常輸出，可說(shuō)明節(jié)點(diǎn)狀態(tài)正常。輸入# tentakel -g allc 'date'來(lái)驗(yàn)證Tentakel是否正常部署。

2.3 集群平臺(tái)平行開(kāi)發(fā)環(huán)境的配置

①將intel編譯器壓縮包放到/root下。輸入如下命令，安裝編譯程序。

# tar -xvf parallel_studio_xe_2015_update1.tgz # 。/install.sh

②配置環(huán)境變量?？梢酝ㄟ^(guò)編寫(xiě).sh腳本，配置全局環(huán)境變量，將腳本放在/etc/profile.d下。如果是單用戶(hù)的變量，可以寫(xiě)入每個(gè)用戶(hù)的$HOME/.bashrc下。

# vi /etc/profile.d/intel.sh source /opt/intel/composer_xe_2015.1.133/bin/compilervars.sh intel64so-urce /opt/intel/mkl/bin/intel64/mklvars_intel64.sh

2.4 集群平臺(tái)作業(yè)調(diào)度軟件的配置

作業(yè)調(diào)度軟件是專(zhuān)為高性能集群平臺(tái)而開(kāi)發(fā)的一款作業(yè)調(diào)度軟件，底層用openpbs和maui作業(yè)調(diào)度管理軟件。作業(yè)管理提供負(fù)載均衡共享服務(wù)，有時(shí)被稱(chēng)作為負(fù)載管理。它主要用于用戶(hù)的作業(yè)調(diào)度，能最優(yōu)地調(diào)度和優(yōu)化系統(tǒng)中的各類(lèi)計(jì)算資源[7]。目的是有效地管理集群，合理地調(diào)度作業(yè)，充分利用集群的軟硬件資源及寶貴的CPU時(shí)間，提高系統(tǒng)的吞吐率和利用率，如圖2所示。

3 作業(yè)提交調(diào)度實(shí)踐

利用作業(yè)調(diào)度系統(tǒng)，可以對(duì)集群平臺(tái)中的硬件資源和軟件資源進(jìn)行集中統(tǒng)一的管理，也可以管理用戶(hù)所提交的作業(yè)任務(wù)，并根據(jù)集群中資源使用的實(shí)際情況，合理調(diào)度作業(yè)執(zhí)行，從而達(dá)到提高各類(lèi)資源的利用率及用戶(hù)作業(yè)的執(zhí)行度的作用[8]。作業(yè)調(diào)度過(guò)程如圖3所示。

下面以一個(gè)實(shí)際的案例，闡述作業(yè)提交的步驟和作業(yè)調(diào)度的流程。

3.1 添加新用戶(hù)

在集群中添加新用戶(hù)，首先在管理節(jié)點(diǎn)mu01上添加新用戶(hù)，編輯/var/yp 目錄，這樣client端可以使用創(chuàng)建的用戶(hù)登錄系統(tǒng)。創(chuàng)建完用戶(hù)后，在NIS基礎(chǔ)上，節(jié)點(diǎn)間實(shí)現(xiàn)ssh無(wú)密碼訪(fǎng)問(wèn)后，還需要針對(duì)環(huán)境變量進(jìn)行相關(guān)設(shè)定。只需要在mu01節(jié)點(diǎn)上修改（/home/tujl1010目錄是共享的），使用Tentakel工具在所有節(jié)點(diǎn)上執(zhí)行source命令即可。在bashrc添加對(duì)應(yīng)的環(huán)境變量，環(huán)境變量中可以指定Intel c、Intel fortran、MKL和MPI的安裝路徑。此處修改后就不需要在pbs腳本中指定。bashrc文件輸入如下命令。

#vi? /home/tujl1010/.bashrc

source /opt/intel/composer_xe_2015.1.133/bin/compilervars.sh intel64

source /opt/intel/impi_5.0.2/bin64/mpivars.sh

source /opt/intel/mkl/bin/mklvars.sh intel64

以lammps應(yīng)用為例，圖4介紹PBS腳本文件的編寫(xiě)。

3.2 提交作業(yè)

使用普通用戶(hù)，登錄到mu01節(jié)點(diǎn)，使用#qsub sleep.pbs提交作業(yè)，每個(gè)作業(yè)提交后必有一個(gè)作業(yè)號(hào)碼。

3.3 查看作業(yè)狀態(tài)及結(jié)果

通過(guò)qstat -n命令查看作業(yè)的狀態(tài)，計(jì)算完畢后查看輸出結(jié)果，以sleep為例，這里的名字取決于在腳本中設(shè)定的作業(yè)名字，后面的數(shù)字15即作業(yè)號(hào)。運(yùn)行后看到多出了文件sleep.e15 sleep.o15，其中e代表錯(cuò)誤輸出，o代表正確輸出。同時(shí)也可以通過(guò)web監(jiān)控界面觀察作業(yè)調(diào)度情況，如圖5所示。Job statistics 中Q為排隊(duì)狀態(tài)、R為正在執(zhí)行狀態(tài)、C為執(zhí)行結(jié)束狀態(tài)。

4 結(jié)語(yǔ)

高性能計(jì)算集群平臺(tái)要求有直觀的界面化操作，以虛擬化技術(shù)快速部署資源，實(shí)現(xiàn)動(dòng)態(tài)的、可伸縮可擴(kuò)展的服務(wù)，按需求提供資源，通過(guò)互聯(lián)網(wǎng)提供服務(wù)等智能化的管理體系來(lái)提高科學(xué)計(jì)算的效率、節(jié)省計(jì)算成本。平臺(tái)的建立將極大地推動(dòng)超級(jí)計(jì)算機(jī)的普及應(yīng)用和產(chǎn)業(yè)化，解決目前科研院校計(jì)算資源不足的問(wèn)題，從而促進(jìn)藥物設(shè)計(jì)、新材料、新能源等領(lǐng)域的發(fā)展，有效地推進(jìn)了江西省產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級(jí)、發(fā)展方式轉(zhuǎn)變。

參考文獻(xiàn)：

[1] 黃建強(qiáng)，孟永偉，曹騰飛，等.青海大學(xué)三江源數(shù)據(jù)分析中心高性能計(jì)算集群的構(gòu)建與設(shè)備管理[J].實(shí)驗(yàn)技術(shù)與管理，2014（12）：237-240.

[2] 廖湘科，肖儂.新型高性能計(jì)算系統(tǒng)與技術(shù)[J].中國(guó)科學(xué)：信息科學(xué)，2016（9）：1175-1210.

[3] 安喜鋒.高性能計(jì)算集群管理系統(tǒng)與作業(yè)調(diào)度技術(shù)研究與實(shí)現(xiàn)[D].西安：西北工業(yè)大學(xué)，2005.

[4] 吳夢(mèng)蕓.一種基于1分布式數(shù)值計(jì)算模式軟件的實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2016.

[5] 劉建.基于CIFS的文件屬性信息掃描方法研究[J].硅谷，2012（24）：100-101.

[6] 郭默.分布式網(wǎng)絡(luò)爬蟲(chóng)的研究與實(shí)現(xiàn)[D].西安：西北大學(xué)，2016.

[7] 葉慶華.基于服務(wù)的機(jī)群作業(yè)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所），2002.