白香君 馬征 宋萬強(qiáng)

摘要：航空工業(yè)某高性能計(jì)算中心對于支撐各接入單位的數(shù)字化建模、仿真及優(yōu)化等大規(guī)模復(fù)雜系統(tǒng)任務(wù)，縮短項(xiàng)目研制周期，節(jié)約項(xiàng)目經(jīng)費(fèi)起到了重要作用。通過應(yīng)用軟件集成優(yōu)化、調(diào)度系統(tǒng)優(yōu)化及資源監(jiān)控和統(tǒng)計(jì)分析優(yōu)化，有效解決了該計(jì)算中心運(yùn)行管理過程中命令行作業(yè)提交及管理方式限制用戶群、固定的資源調(diào)度及分配原則限制計(jì)算效率及計(jì)算資源使用率的提升、資源監(jiān)控及統(tǒng)計(jì)分析結(jié)果難以可視化等問題，為航空領(lǐng)域高性能計(jì)算中心的管理提供參考。

關(guān)鍵詞：高性能計(jì)算；集成；調(diào)度；統(tǒng)計(jì)分析；優(yōu)化

中圖分類號：V211文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2020.08.010

高性能計(jì)算是利用超級計(jì)算機(jī)強(qiáng)大的計(jì)算能力來解決現(xiàn)實(shí)復(fù)雜問題的工具。美國能源部、國防部和美國航空航天局等國家機(jī)構(gòu)、企業(yè)和大學(xué)都在開展為數(shù)眾多的高性能計(jì)算項(xiàng)目。歐盟專門成立了戰(zhàn)略研究委員會來研究高性能計(jì)算基礎(chǔ)設(shè)施的發(fā)展戰(zhàn)略。日本從1977年就已經(jīng)開始了超級計(jì)算機(jī)的研制以及應(yīng)用。英國在國家層面上就設(shè)有高性能計(jì)算戰(zhàn)略規(guī)劃委員會，負(fù)責(zé)規(guī)劃英國高性能計(jì)算的發(fā)展[1]。2019年，我國全部使用自主知識產(chǎn)權(quán)芯片的神威“太湖之光”超級計(jì)算機(jī)更是在全球超級計(jì)算機(jī)排行榜Top500中位居第三?？梢姼咝阅苡?jì)算的重要性已經(jīng)被提升到了國家戰(zhàn)略層面。從Top500排名的統(tǒng)計(jì)來看，學(xué)術(shù)界、政府部門、產(chǎn)業(yè)界、科研界作為高性能計(jì)算應(yīng)用的主體，其應(yīng)用領(lǐng)域在不斷擴(kuò)大[1-2]。

伴隨著高性能計(jì)算在飛行器設(shè)計(jì)領(lǐng)域的廣泛應(yīng)用，利用數(shù)值分析和建模技術(shù)，進(jìn)行快速設(shè)計(jì)、優(yōu)化和仿真驗(yàn)證，再進(jìn)行地面物理試驗(yàn)和飛行試驗(yàn)的新型迭代過程，逐漸成為標(biāo)準(zhǔn)的現(xiàn)代飛行器設(shè)計(jì)方法。高精度、多學(xué)科的數(shù)值模擬和設(shè)計(jì)優(yōu)化技術(shù)作為區(qū)別于傳統(tǒng)理論分析與物理試驗(yàn)的第三種手段，正在變革著飛機(jī)設(shè)計(jì)的流程和理念[3-4]。高性能計(jì)算可以更快地獲得更復(fù)雜問題的解決方案、更精確的數(shù)值結(jié)果以改進(jìn)飛行器性能，縮短新產(chǎn)品開發(fā)周期、降低先進(jìn)技術(shù)的應(yīng)用和新產(chǎn)品開發(fā)的總體成本[5]。

部署在航空工業(yè)專網(wǎng)上的某高性能計(jì)算集成平臺，集成了航空領(lǐng)域主要的通用軟件和自研軟件，按照分布模式，共享軟硬件資源和公共數(shù)據(jù)庫，為專網(wǎng)內(nèi)接入該計(jì)算中心的各航空廠所提供了專用的、安全可靠的異地協(xié)同創(chuàng)新平臺[6]。計(jì)算平臺涉及諸多的軟硬件解決方案，系統(tǒng)架構(gòu)設(shè)計(jì)復(fù)雜，同時(shí)與用戶的應(yīng)用系統(tǒng)和行業(yè)專網(wǎng)緊密集成，由此給高性能計(jì)算中心的運(yùn)行管理帶來諸多技術(shù)難題。本文主要通過應(yīng)用軟件集成優(yōu)化、調(diào)度系統(tǒng)優(yōu)化及資源監(jiān)控和統(tǒng)計(jì)分析優(yōu)化來解決單一復(fù)雜的命令行作業(yè)提交及管理方式限制用戶群、固定的資源調(diào)度及分配原則限制計(jì)算效率及計(jì)算資源使用率的提升、資源監(jiān)控及統(tǒng)計(jì)分析結(jié)果難以可視化[7]等問題，為航空領(lǐng)域高性能計(jì)算中心的管理提供參考。

1航空工業(yè)某高性能計(jì)算中心整體架構(gòu)

航空工業(yè)某高性能計(jì)算中心基于行業(yè)專網(wǎng)建設(shè)，以提高航空工業(yè)綜合創(chuàng)新能力和促進(jìn)航空科學(xué)技術(shù)進(jìn)步為宗旨，面向先進(jìn)航空產(chǎn)品研發(fā)和技術(shù)研究，專門為飛機(jī)、直升機(jī)、發(fā)動(dòng)機(jī)和機(jī)載系統(tǒng)等領(lǐng)域設(shè)計(jì)中的數(shù)字化建模、多學(xué)科仿真及綜合優(yōu)化等大型復(fù)雜任務(wù)提供高性能計(jì)算服務(wù)；提供多學(xué)科數(shù)值模擬方法的數(shù)值工具、技術(shù)支持和業(yè)務(wù)咨詢；支持開展空氣動(dòng)力學(xué)、計(jì)算流體力學(xué)、計(jì)算結(jié)構(gòu)力學(xué)等方面的計(jì)算研發(fā)、應(yīng)用和驗(yàn)證[8]；通過基于數(shù)值方法的飛行器新概念設(shè)計(jì)、性能分析及驗(yàn)證服務(wù)，為各單位解決綜合性設(shè)計(jì)和優(yōu)化問題。計(jì)算中心整體架構(gòu)分為應(yīng)用軟件、基礎(chǔ)軟件、基礎(chǔ)硬件和物理環(huán)境4個(gè)層面，如圖1所示。

2應(yīng)用軟件集成優(yōu)化

傳統(tǒng)的高性能計(jì)算中心用戶采用命令行的方式提交和管理作業(yè)，這不僅要求用戶具備本專業(yè)領(lǐng)域軟件的操作能力，還需具備熟練的計(jì)算機(jī)專業(yè)技能，很大程度上限制了用戶群。為了優(yōu)化作業(yè)提交和管理模式，開發(fā)了航空工業(yè)數(shù)值模擬與應(yīng)用系統(tǒng)AVICNAS，為集群用戶和管理員提供靈活的、以應(yīng)用程序?yàn)橹行那乙子谑褂煤凸芾淼慕缑?，使得用戶通過AVICNAS方便地提交作業(yè)，然后通過作業(yè)調(diào)度管理器LSF對作業(yè)進(jìn)行調(diào)度、管理和排隊(duì)，從而實(shí)現(xiàn)對軟件的靈活控制，對整個(gè)集群節(jié)點(diǎn)的整體管理和調(diào)度。AVICNAS包含軟件體系模塊和作業(yè)及數(shù)據(jù)模塊，組織架構(gòu)如圖2所示。用戶通過AVICNAS系統(tǒng)實(shí)現(xiàn)作業(yè)提交、作業(yè)管理、數(shù)據(jù)管理及圖形管理等功能。

除此之外，為了滿足航空領(lǐng)域用戶對結(jié)構(gòu)力學(xué)相關(guān)軟件、流體力學(xué)相關(guān)軟件、空氣動(dòng)力學(xué)相關(guān)軟件，以及自研軟件等的不同使用需求，AVICNAS提供了一套基于XML二次開發(fā)接口模板，支持集成應(yīng)用程序接口以及軟件操作界面的靈活定制。以某流體動(dòng)力學(xué)計(jì)算程序?yàn)槔绍浖投ㄖ平缑嫘枳裱缦虏僮髁鞒蹋?/p>

（1）在管理節(jié)點(diǎn)上編寫XML文件來設(shè)計(jì)軟件的顯示界面，或者直接通過Web portal來定制Web界面，為用戶提供“所見即所得”的軟件操作界面定制模式。

（2）配置LSF隊(duì)列文件lsf.queues，根據(jù)優(yōu)先級分配需要設(shè)計(jì)的計(jì)算程序隊(duì)列組，以確保用戶提交的計(jì)算作業(yè)能夠進(jìn)入資源調(diào)度排隊(duì)，正常或者優(yōu)先使用計(jì)算資源。

（3）在LSF應(yīng)用程序配置文件lsb. applications中增加對該應(yīng)用程序的定義，使得作業(yè)調(diào)度管理器能夠正確識別計(jì)算軟件并且合理調(diào)度作業(yè)，然后重新配置系統(tǒng)，使得該操作生效。

（4）配置LSF與AVICNAS的接口程序，這樣用戶在Web界面的操作就能通過接口程序傳遞給作業(yè)調(diào)度管理器，并實(shí)現(xiàn)數(shù)據(jù)上傳、作業(yè)提交、作業(yè)排隊(duì)、資源調(diào)度、應(yīng)用程序運(yùn)行計(jì)算以及結(jié)果數(shù)據(jù)處理等一系列操作。在管理節(jié)點(diǎn)上配置接口程序，接收AVICNAS傳遞的環(huán)境變量，并根據(jù)這些變量設(shè)置LSF作業(yè)提交和應(yīng)用程序運(yùn)行選項(xiàng)及參數(shù)，最終生成實(shí)際的作業(yè)提交命令。

（5）創(chuàng)建針對該應(yīng)用程序的作業(yè)裝載程序，在該程序中需根據(jù)LSF傳遞來的節(jié)點(diǎn)分配信息、應(yīng)用程序運(yùn)行選項(xiàng)及參數(shù)，為并行計(jì)算程序制定程序啟動(dòng)的全部配置，完成作業(yè)運(yùn)行環(huán)境的設(shè)置。軟件集成定制流程如圖3所示。

3調(diào)度系統(tǒng)優(yōu)化

航空工業(yè)某高性能計(jì)算中心采用LSF作為作業(yè)管理調(diào)度系統(tǒng)。隨著計(jì)算中心用戶以及任務(wù)作業(yè)數(shù)量的不斷增加，計(jì)算任務(wù)的種類也變得更加多樣化，根據(jù)各個(gè)計(jì)算任務(wù)的緊迫程度以及種類進(jìn)行優(yōu)先級別的劃分、資源的限制和分配變得很有必要。

（1）優(yōu)先級別的劃分

根據(jù)航空工業(yè)某高性能計(jì)算中心用戶使用計(jì)算資源進(jìn)行計(jì)算的規(guī)律，遵循資源利用率最大化以及用戶等待時(shí)間最小化的原則，按照優(yōu)先級別，在lsb.users中對用戶進(jìn)行了分組，分別為普通級用戶組、優(yōu)先級用戶組和獨(dú)占資源用戶組。在lsb.queues中為不同優(yōu)先級別的用戶組定義相應(yīng)的隊(duì)列，并針對用戶分組進(jìn)行訪問控制，獨(dú)占資源用戶組的資源在lsb.hosts中進(jìn)行單獨(dú)定義。

普通級用戶計(jì)算的優(yōu)先等次為普通，作業(yè)提交到普通級隊(duì)列，優(yōu)先級別低于優(yōu)先級用戶，同級別用戶先到先算，保證了普通用戶能夠根據(jù)工作需要，有序使用計(jì)算資源。

優(yōu)先級用戶計(jì)算的優(yōu)先等次為優(yōu)先，作業(yè)提交到優(yōu)先級隊(duì)列，優(yōu)先級別是高于普通級用戶的，同屬該級別的用戶先到先算，這樣既能保證比較緊迫的計(jì)算任務(wù)優(yōu)先占用計(jì)算資源進(jìn)行計(jì)算，也能使得優(yōu)先級用戶能夠優(yōu)先且有序地使用計(jì)算資源。

獨(dú)占資源用戶區(qū)別于普通級用戶和優(yōu)先級用戶，不需要排隊(duì)使用計(jì)算資源，而是獨(dú)自占用一部分計(jì)算資源進(jìn)行計(jì)算，這有效保障了特殊緊迫任務(wù)能夠及時(shí)使用計(jì)算中心資源進(jìn)行計(jì)算，獲得計(jì)算結(jié)果。

（2）資源的限制

為解決計(jì)算中心用戶作業(yè)多、相互等待時(shí)間長，某用戶長期大量占用計(jì)算資源及存儲資源不釋放，導(dǎo)致計(jì)算及存儲資源短缺的問題，采取限制單個(gè)用戶使用資源的方式來均衡各單位用戶計(jì)算作業(yè)的有序進(jìn)行。在lsb.resources文件中的多個(gè)Limit段可以配置資源分配限制，Limit段設(shè)置不同類型的作業(yè)指定的可用資源參數(shù)和該限制應(yīng)用于哪些消費(fèi)者參數(shù)，例如：

除此之外，由于在不同的文件中可以對相同的參數(shù)進(jìn)行限制，從而出現(xiàn)限制沖突。常見的限制沖突有兩種，對于配置在lsb.resources/lsb.users/lsb.hosts/lsb.queues的類似限制，將采用最嚴(yán)格的限制。例如，在lsb.resources中為所有用戶配置slot限制為3，在lsb.users中配置的MAX_JOBS為2，兩個(gè)限制類似，但不等價(jià)，則以lsb.users中配置的限制較為嚴(yán)格的參數(shù)為準(zhǔn)。對于在lsb.resources中的新限制和已有的在lsb.users/lsb.hosts/lsb.queue中的限制等價(jià)，但值不同，新的限制將覆蓋已有的限制，在lsb.users/lsb.hosts/lsb. queues等價(jià)的限制被忽略，采用在lsb.resources中的新限制。

4資源監(jiān)控和統(tǒng)計(jì)分析優(yōu)化

高性能計(jì)算中心通過shell腳本從AVICNAS和LSF中獲取用戶作業(yè)使用資源的數(shù)據(jù)，并根據(jù)用戶的統(tǒng)一身份認(rèn)證及軟件的種類來對用戶和軟件使用的計(jì)算資源進(jìn)行監(jiān)控和統(tǒng)計(jì)分析，但監(jiān)控和統(tǒng)計(jì)的結(jié)果數(shù)據(jù)難以可視化。為了以友好界面的方式向用戶呈現(xiàn)計(jì)算中心使用資源的情況，并且對統(tǒng)計(jì)的結(jié)果數(shù)據(jù)進(jìn)行有效的驗(yàn)證與分析，開發(fā)了一套資源監(jiān)控與統(tǒng)計(jì)分析系統(tǒng)。該系統(tǒng)包含系統(tǒng)監(jiān)控和分析模塊、系統(tǒng)統(tǒng)計(jì)模塊、消息推送和報(bào)警模塊、系統(tǒng)運(yùn)行報(bào)告模塊。

系統(tǒng)監(jiān)控和分析模塊主要針對高性能計(jì)算集群運(yùn)行的作業(yè)及節(jié)點(diǎn)狀態(tài)進(jìn)行監(jiān)控，從作業(yè)調(diào)度系統(tǒng)及系統(tǒng)負(fù)載，性能數(shù)據(jù)采集軟件獲取信息并以HTTPAPI提供集群狀態(tài)信息，方便進(jìn)行二次開發(fā)。該系統(tǒng)模塊定期從作業(yè)調(diào)度系統(tǒng)獲取作業(yè)信息更新作業(yè)狀態(tài)，將作業(yè)信息存儲到數(shù)據(jù)庫中。Web界面從數(shù)據(jù)庫獲得作業(yè)信息數(shù)據(jù)，所有人都可以通過網(wǎng)頁查看高性能計(jì)算集群的作業(yè)運(yùn)行狀態(tài)。

該模塊還能以圖表形式顯示集群整體利用率，集群是否可用、是否有故障，以及節(jié)點(diǎn)負(fù)載狀態(tài)等信息。

根據(jù)門戶分系統(tǒng)中對作業(yè)信息和計(jì)算資源信息的統(tǒng)計(jì)分析要求，系統(tǒng)統(tǒng)計(jì)模塊提供對作業(yè)來源信息、作業(yè)使用資源信息、作業(yè)運(yùn)行及歷史信息、資源池實(shí)時(shí)負(fù)載信息、資源池運(yùn)行信息和資源池歷史負(fù)載信息的統(tǒng)計(jì)分析。該模塊主要包括作業(yè)信息統(tǒng)計(jì)分析子功能和計(jì)算資源信息統(tǒng)計(jì)分析子功能。

消息推送和報(bào)警模塊確保在系統(tǒng)各項(xiàng)負(fù)載達(dá)到管理員設(shè)定的閾值時(shí)通過郵件或是網(wǎng)頁消息的方式發(fā)送報(bào)警信息給管理員，以便及時(shí)處理。

系統(tǒng)運(yùn)行報(bào)告模塊可以根據(jù)用戶需求進(jìn)行定制，自動(dòng)生成系統(tǒng)使用報(bào)告，如圖4所示。

5結(jié)論

航空工業(yè)某高性能計(jì)算中心的運(yùn)行管理中主要存在命令行提交及管理作業(yè)方式限制用戶群，不合理的調(diào)度策略導(dǎo)致計(jì)算效率低下、資源監(jiān)控和統(tǒng)計(jì)分析結(jié)果無法可視化等難點(diǎn)。通過應(yīng)用軟件集成優(yōu)化，使得用戶在不經(jīng)過專業(yè)培訓(xùn)的情況下就能夠快速入門并且直觀簡便地實(shí)現(xiàn)對計(jì)算中心各種軟件的使用和控制，極大保障了各類用戶群的使用需求；通過調(diào)度系統(tǒng)優(yōu)化，使計(jì)算中心的資源得到合理配置和調(diào)度，確保用戶都有較好的使用體驗(yàn)，提高了計(jì)算效率及計(jì)算資源使用率；通過資源監(jiān)控和統(tǒng)計(jì)分析優(yōu)化，管理團(tuán)隊(duì)能夠通過報(bào)表直觀全面掌握整個(gè)計(jì)算中心的使用情況，并根據(jù)統(tǒng)計(jì)數(shù)據(jù)分析做出科學(xué)的決策，提升高性能計(jì)算機(jī)使用效率，同時(shí)接入用戶可以清楚掌握各自作業(yè)的運(yùn)行狀況，并對作業(yè)進(jìn)行優(yōu)化配置，提高運(yùn)行效率。

參考文獻(xiàn)

[1]唐川，姜禾，張勐，等.高性能計(jì)算國家發(fā)展態(tài)勢分析[R].中國科學(xué)院國家科學(xué)圖書館，2008. Tang Chuan，Jiang He，Zhang Meng，et al.Analysis of national development trend of high performance computing[R].National Library of Science， Chinese Academy of Science， 2008. （in Chinese）

[2]顧蓓蓓，顧虹，遲學(xué)斌，等.國內(nèi)外高性能計(jì)算應(yīng)用發(fā)展概況分析[J].科研信息化技術(shù)與應(yīng)用，2014，5（4）：82-91. Gu Beibei，Gu Hong，Chi Xuebin，et al. Analysis on the development of high performance computing application at home and abroad[J]. Research Information Technology and Application，2014，5（4）：82-91. （in Chinese）

[3]李思昆，蔡勛，王文珂，等.大規(guī)模流場科學(xué)計(jì)算可視化[M].北京：國防工業(yè)出版社，2013. Li Sikun， Cai Xun， Wang Wenke，et al. Visualization of largescale flow field scientific calculation[M]. Beijing： National Defense Industry Press， 2013. （in Chinese）

[4]陳國良.并行計(jì)算-結(jié)構(gòu)？算法？編程[M].北京：高等教育出版社，2012. ChenGuoliang.Parallelcomputing-structure？algorithm？ programing [M]. Beijing： Higher Education Press， 2012. （in Chinese）

[5]劉巍，張理論，王勇獻(xiàn)，等.計(jì)算空氣動(dòng)力學(xué)并行編程基礎(chǔ)[M].北京：國防工業(yè)出版社，2013. Liu Wei，Zhang Lilun，Wang Yongxian，et al. Computational aerodynamicsparallelprogrammingbasics[M]. Beijing： National Defense Industry Press， 2013. （in Chinese）

[6]魏金鐘，白文，田志民，等.航空工業(yè)高性能計(jì)算和網(wǎng)格應(yīng)用系統(tǒng)[J].航空科學(xué)技術(shù)，2011（2）：40-43. Wei Jinzhong，Bai Wen，Tian Zhimin，et al.High performance computing and grid[J]. Aeronautical Science & Technology，2011（2）：40-43. （in Chinese）

[7]宋萬強(qiáng)，徐悅，徐琳.CFD軟件可視化交互技術(shù)在航空領(lǐng)域應(yīng)用研究[J].航空科學(xué)技術(shù)，2017（5）：63-66. Song Wanqiang，Xu Yue，Xu Lin.Application study of visual interactiontechniquesinaeronauticalCFDsoftware[J]. Aeronautical Science & Technology，2017（5）：63-66. （in Chinese）

[8]鐘敏，華俊，孫俠生，等.空氣動(dòng)力學(xué)驗(yàn)證模型與CFD-風(fēng)洞數(shù)據(jù)相關(guān)性[J].航空科學(xué)技術(shù)，2020，31（1）：1-16. Zhong Min，Hua Jun，Sun Xiasheng， et al. The correlation between aerodynamics verification model and CFD-wind tunnel data [J].Aeronautical Science & Technology，2020，31（1）：1-16. （in Chinese）（責(zé)任編輯王為）

作者簡介

白香君（1989-）女，碩士，工程師。主要研究方向：高性能計(jì)算。

Tel：18811432330E-mail：baixiangjun@cae.ac.cn

Optimization of Management Technology of a High Performance Computing Center in Aviation Industry

Bai Xiangjun*，Ma Zheng，Song Wanqiang

Chinese Aeronautical Establishment，Beijing 100012，China

Abstract： The HPC center in the aviation industry plays an important role in supporting large-scale and complex system tasks such as digital modeling， simulation and optimization of each access unit，shortening the development period of the project and saving project funds. By means of application software integration optimization，scheduling system optimization，job management technology optimization，resource monitoring and statistical analysis optimization， we can effectively solve the problems in the process of operation and management of the computing center such as single and complex command line job submission and management mode limiting the user group， fixed resource scheduling and allocation principle limiting the calculation efficiency and the improvement of the utilization rate of computing resources，resource monitoring and statistical analysis results which are difficult to be visualized，and provide reference for the management of HPC in the aviation field.

Key Words： HPC； integrate； schedule； statistical analysis； optimize