楊敏 李淑倩 關(guān)宇 何蕓 侯波

摘要：集群作業(yè)管理系統(tǒng)作為高性能計(jì)算領(lǐng)域的核心技術(shù)，伴隨著計(jì)算機(jī)技術(shù)的發(fā)展進(jìn)步逐漸成為計(jì)算機(jī)學(xué)科的熱點(diǎn)研究領(lǐng)域。作為集群系統(tǒng)軟件的重要組成部分，集群作業(yè)管理系統(tǒng)可以根據(jù)用戶(hù)的需求，統(tǒng)一管理和調(diào)度集群的軟硬件資源，保證用戶(hù)作業(yè)公平合理地共享集群資源，提高系統(tǒng)利用率和吞吐率。傳統(tǒng)作業(yè)管理系統(tǒng)大多需要以命令行的方式進(jìn)行管理，用戶(hù)需要熟練掌握多種調(diào)度器命令。Slurm 是一種可用于大型計(jì)算節(jié)點(diǎn)集群的高度可伸縮和容錯(cuò)的集群管理器和作業(yè)調(diào)度系統(tǒng)，被世界范圍內(nèi)的超級(jí)計(jì)算機(jī)和計(jì)算集群廣泛采用。本文以Slurm作業(yè)調(diào)度器為例，對(duì)其體系結(jié)構(gòu)、作業(yè)執(zhí)行過(guò)程做了重點(diǎn)研究，重點(diǎn)闡述其在地震處理軟件中的應(yīng)用。其高效便捷的操作方式，極大提升工作效率，極大程度地優(yōu)化了集群管理工作。

關(guān)鍵詞：Slurm;高性能計(jì)算;作業(yè)調(diào)度系統(tǒng)

中圖分類(lèi)號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）36-0153-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

新疆油田公司地球物理研究所主要業(yè)務(wù)是地震資料處理解釋勘探研究，同時(shí)也是高性能計(jì)算中心。油氣地震勘探研究是利用高性能計(jì)算機(jī)的數(shù)據(jù)處理能力對(duì)野外收集的原始資料進(jìn)行各種去粗取精、去偽存真的數(shù)據(jù)處理加工工作。隨著地震勘探技術(shù)進(jìn)步，特別是近幾年油氣勘探地質(zhì)目標(biāo)逐步轉(zhuǎn)向“低、深、隱、難”的小斷裂和薄儲(chǔ)層識(shí)別，野外高密度寬方位地震采集技術(shù)逐步推廣，采集的地震資料數(shù)據(jù)量動(dòng)輒幾十TB甚至上百TB，數(shù)據(jù)體規(guī)模越來(lái)越大，數(shù)據(jù)類(lèi)型繁雜，數(shù)據(jù)結(jié)構(gòu)復(fù)雜，地震勘探研究邁進(jìn)大數(shù)據(jù)時(shí)代隨著油氣地震勘探工作難度的日益增大，引進(jìn)以密集計(jì)算為特征的新的地震資料處理方法和運(yùn)行平臺(tái)HPC集群，來(lái)滿(mǎn)足復(fù)雜地質(zhì)目標(biāo)研究需求。我所建成了一套計(jì)算規(guī)模9000多核CPU+GPU異構(gòu)集群，每秒354.55Tflops萬(wàn)億次浮點(diǎn)運(yùn)算的理論處理能力，為油田公司資料數(shù)據(jù)處理提供了有力保障。主要應(yīng)用于Paradigm2011處理系統(tǒng)、CGGVeritas Geovation處理系統(tǒng)、Geoeast處理解釋一體化平臺(tái)、AGT逆時(shí)偏移軟件、Lightning疊前偏移軟件。集群節(jié)點(diǎn)應(yīng)用層面，地震資料處理過(guò)程中的常規(guī)處理工作依舊通過(guò)CPU節(jié)點(diǎn)進(jìn)行，地震疊前逆時(shí)偏移等高精度成像技術(shù)由于計(jì)算量巨大，通過(guò)CPU/GPU節(jié)點(diǎn)的協(xié)同進(jìn)行數(shù)據(jù)并行計(jì)算。這么大規(guī)模的集群存儲(chǔ)節(jié)點(diǎn)，集群作業(yè)調(diào)度系統(tǒng)作為集群系統(tǒng)軟件的重要組成部分，是地震勘探處理軟件的核心內(nèi)容。用戶(hù)自定義集群分組信息，作業(yè)在分組計(jì)算節(jié)點(diǎn)單元按需求運(yùn)行，Slurm操作界面高效管理和便捷調(diào)度，保障用戶(hù)作業(yè)有序高效進(jìn)行，共享整個(gè)集群計(jì)算資源，提高計(jì)算節(jié)點(diǎn)資源的利用率和吞吐率。Slurm是具備開(kāi)源、容錯(cuò)、高可伸縮的集群管理和大型小型 Linux 集群作業(yè)調(diào)度系統(tǒng)。由60萬(wàn)行C代碼組成。它不需要對(duì)操作系統(tǒng)內(nèi)核進(jìn)行修改，而是相對(duì)獨(dú)立的。Slurm在一段時(shí)間內(nèi)為用戶(hù)分配獨(dú)占或者非獨(dú)占的計(jì)算資源節(jié)點(diǎn)，按照自定義好的計(jì)算資源執(zhí)行作業(yè)任務(wù);其次，它能提供管理功能，用于分配的計(jì)算節(jié)點(diǎn)集上啟動(dòng)作業(yè)、執(zhí)行作業(yè)、監(jiān)視計(jì)算資源利用情況的功能，常規(guī)是并行作業(yè)任務(wù);最后，它通過(guò)管理掛起的工作隊(duì)列，來(lái)仲裁資源爭(zhēng)奪問(wèn)題。

2 Slurm技術(shù)架構(gòu)

處理集群通常有多個(gè)用途，安裝多種應(yīng)用軟件，為多個(gè)用戶(hù)提供服務(wù)、集群用途和系統(tǒng)配置經(jīng)常調(diào)整，日常維護(hù)服務(wù)體系復(fù)雜。集群資源調(diào)度難，需要將通用的集群監(jiān)控調(diào)度軟件和集群運(yùn)維定制開(kāi)發(fā)工具相結(jié)合，搭建適用于實(shí)際工作環(huán)境的集群資源調(diào)度管理體系，通過(guò)監(jiān)控收集集群運(yùn)行數(shù)據(jù)，支撐集群優(yōu)化，保障系統(tǒng)高效穩(wěn)定運(yùn)行。

Slurm是適應(yīng)不同計(jì)算規(guī)模Linux集群的資源管理和調(diào)度軟件。它提供高效的資源與作業(yè)管理。包括狀態(tài)監(jiān)控、資源管理、作業(yè)調(diào)度和用量記賬。

Slurm技術(shù)架構(gòu)如下：

1）運(yùn)行在每個(gè)計(jì)算節(jié)點(diǎn)上的Slurmd守護(hù)進(jìn)程;

2）運(yùn)行在管理節(jié)點(diǎn)上的中央Slurmctld守護(hù)進(jìn)程（可選的故障切換節(jié)點(diǎn)模式） 。

它的一個(gè)管理控制進(jìn)程是Slurmctld運(yùn)行在管理節(jié)點(diǎn)，是資源的控制中樞。它負(fù)責(zé)記錄節(jié)點(diǎn)狀態(tài)、進(jìn)行分區(qū)作業(yè)管理、作業(yè)調(diào)度和資源分配。記賬存儲(chǔ)進(jìn)程Slurmdbd也運(yùn)行在管理節(jié)點(diǎn)，它將作業(yè)信息保存到數(shù)據(jù)庫(kù)，記錄用戶(hù)、賬號(hào)、資源限制、QOS等信息，負(fù)責(zé)用戶(hù)認(rèn)證和安全隔離。節(jié)點(diǎn)監(jiān)控進(jìn)程Slurmd運(yùn)行在每個(gè)計(jì)算節(jié)點(diǎn)，監(jiān)控節(jié)點(diǎn)狀態(tài)，并向控制進(jìn)程注冊(cè)，接收來(lái)自控制進(jìn)程與用戶(hù)的請(qǐng)求并進(jìn)行處理。作業(yè)管理進(jìn)程Slurmstepd加載計(jì)算任務(wù)時(shí)由節(jié)點(diǎn)監(jiān)控進(jìn)程啟動(dòng)，管理一個(gè)作業(yè)步的所有任務(wù)，啟動(dòng)計(jì)算任務(wù)進(jìn)程、標(biāo)準(zhǔn)I/O轉(zhuǎn)發(fā)，信號(hào)傳遞和任務(wù)控制與資源使用信息收集。

如下圖2所示，由這些 Slurm 守護(hù)程序管理的實(shí)體，包括：

1）計(jì)算資源node;

2）計(jì)算資源組成的邏輯集partition;

3）分配給用戶(hù)指定的時(shí)間量的資源分配job;

4）作業(yè)中的一組任務(wù)（有可能是并行任務(wù)）。

這些分區(qū)可以被視為作業(yè)隊(duì)列， 其中每一個(gè)都有各種約束， 如作業(yè)大小限制、工作時(shí)間限制、允許使用它的用戶(hù)等。 按照優(yōu)先級(jí)排序的作業(yè)，從隊(duì)列中分配節(jié)點(diǎn)，直至該隊(duì)列分資源，如節(jié)點(diǎn)、處理器、內(nèi)存等耗盡。一旦一個(gè)job分配了一組節(jié)點(diǎn)后， 用戶(hù)就能夠按照任何分配配置，以作業(yè)步驟形式啟動(dòng)并行工作。 例如， 可以啟動(dòng)一個(gè)作業(yè)步驟， 利用分配給作業(yè)的所有節(jié)點(diǎn)， 或者多個(gè)作業(yè)步驟可以獨(dú)立地使用分配的一部分。

作業(yè)運(yùn)行模式分為：交互模式、批處理模式和分配模式。這幾種模式只是用戶(hù)使用方式區(qū)別，管理、調(diào)度和記賬是一樣的模式。交互模式作業(yè)yhrun，在終端提交資源分配請(qǐng)求，指定資源數(shù)量與限制，等待資源分配，獲得資源后，加載計(jì)算任務(wù)，運(yùn)行中，可與任務(wù)進(jìn)行交互，任務(wù)結(jié)束后資源釋放。批處理模式y(tǒng)hbatch，用戶(hù)編寫(xiě)作業(yè)腳本、提交作業(yè)、作業(yè)排隊(duì)等資源分配，分配后，在首節(jié)點(diǎn)加載執(zhí)行作業(yè)腳本，腳本運(yùn)行結(jié)束，釋放資源，運(yùn)行結(jié)果定向到指定的文件中記錄。一個(gè)作業(yè)可使用多個(gè)yhrun生成多個(gè)作業(yè)步。分配模式y(tǒng)halloc，它的模式是提交資源分配請(qǐng)求，作業(yè)排隊(duì)等待資源分配，執(zhí)行用戶(hù)指定命令，命令執(zhí)行結(jié)束后，釋放資源。

3 Slurm 在生產(chǎn)中的應(yīng)用

基于Slurm的高性能集群管理，選定一臺(tái)機(jī)器作為控制節(jié)點(diǎn)，其他機(jī)器作為計(jì)算節(jié)點(diǎn);獲取到集群中所有計(jì)算節(jié)點(diǎn)的主機(jī)名或IP信息，將集群安裝包和安裝腳本拷貝到各個(gè)計(jì)算節(jié)點(diǎn);在控制節(jié)點(diǎn)上通過(guò)SSH服務(wù)登錄到各個(gè)計(jì)算節(jié)點(diǎn)，通過(guò)安裝腳本完成節(jié)點(diǎn)上集群環(huán)境的搭建部署;在控制節(jié)點(diǎn)部署控制接收進(jìn)程，用于監(jiān)控計(jì)算資源，接收計(jì)算節(jié)點(diǎn)發(fā)送的信息;在各個(gè)計(jì)算節(jié)點(diǎn)上存在守護(hù)進(jìn)程用來(lái)管控集群中的計(jì)算節(jié)點(diǎn)，定時(shí)采集節(jié)點(diǎn)狀態(tài)以及節(jié)點(diǎn)上信息并通過(guò)SSH服務(wù)發(fā)送給控制節(jié)點(diǎn);對(duì)計(jì)算節(jié)點(diǎn)及冗余備份節(jié)點(diǎn)進(jìn)行協(xié)同管理;基于Slurm作業(yè)管理機(jī)制和節(jié)點(diǎn)狀態(tài)監(jiān)控進(jìn)程，依據(jù)集群系統(tǒng)資源的當(dāng)前狀況對(duì)隊(duì)列中的作業(yè)進(jìn)行部署、監(jiān)控和分配操作。

筆者單位共64個(gè)節(jié)點(diǎn)，建立了7組隊(duì)列，每個(gè)隊(duì)列節(jié)點(diǎn)不一，同時(shí)并發(fā)執(zhí)行，Slurm管理查看界面分為工作列表、分區(qū)列表、節(jié)點(diǎn)情況等，故障點(diǎn)標(biāo)紅宜排查，能夠?qū)崟r(shí)監(jiān)測(cè)查看隊(duì)列作業(yè)執(zhí)行情況，管理操作高效簡(jiǎn)潔。

4 結(jié)論

本文從高性能計(jì)算集群管理的需求環(huán)境背景，到Slurm作業(yè)調(diào)度系統(tǒng)研究背景、技術(shù)架構(gòu)和應(yīng)用前景等進(jìn)行了深入分析闡述。從應(yīng)用實(shí)踐得出，Slurm 是優(yōu)秀的開(kāi)源作業(yè)調(diào)度系統(tǒng)，Slurm 集成度更高，操作管理簡(jiǎn)潔，性能穩(wěn)定且功能強(qiáng)大。

參考文獻(xiàn)：

[1] 張軍華，臧勝濤，單聯(lián)瑜，等.高性能計(jì)算的發(fā)展現(xiàn)狀及趨勢(shì)[J].石油地球物理勘探，2010，45（6）：918-925，936，791-792.

[2] 段新華，王宏勇，丁汨.集群作業(yè)管理系統(tǒng)的關(guān)鍵技術(shù)分析及比較[J].計(jì)算機(jī)技術(shù)與發(fā)展，2009，19（2）：87-90.

[3] 薛勇，萬(wàn)偉，艾建文.高性能地學(xué)計(jì)算進(jìn)展[J].世界科技研究與發(fā)展，2008，30（3）：314-319.

[4] 欒翠菊，宋廣華，鄭耀，等.一種網(wǎng)格并行任務(wù)執(zhí)行時(shí)間預(yù)測(cè)算法[J].計(jì)算機(jī)集成制造系統(tǒng)，2007，13（9）：1805-1810.

[5] 趙宗弟，胡凱，胡建平.基于PBS的集群作業(yè)調(diào)度策略的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與數(shù)字工程，2006，34（11）：123-127.

[6] 羅紅兵，張曉霞，魏勇.大規(guī)模并行計(jì)算機(jī)作業(yè)調(diào)度評(píng)價(jià)[J].計(jì)算機(jī)工程與應(yīng)用，2006，42（10）：79-83.

【通聯(lián)編輯：李雅琪】