袁國興，張云泉，袁 良

(1.北京應(yīng)用物理與計算數(shù)學(xué)研究所，北京100088;2.中國科學(xué)院計算技術(shù)研究所計算機體系結(jié)構(gòu)國家重點實驗室，北京100191)

1 引言

在國際上，自1993年起每年都會按Linpack的測試性能公布在世界范圍內(nèi)已安裝的前500套高性能計算機排行[1]，這已成為高性能計算機研制生產(chǎn)、市場發(fā)展、應(yīng)用交流和趨勢分析預(yù)測的重要參考。2002年，中國軟件行業(yè)協(xié)會數(shù)學(xué)軟件分會首次發(fā)布中國高性能計算機性能排行榜，并在隨后每一年的10月末或11月初公布當(dāng)年我國高性能計算機性能TOP100排行榜[2-12]。在過去的十余年間，已由中國軟件行業(yè)協(xié)會數(shù)學(xué)軟件分會聯(lián)合中國計算機學(xué)會高性能計算專業(yè)委員會與國家863高性能計算機評測中心發(fā)布的中國HPC(High Performance Computing)TOP100排行榜為我國高性能計算機的研制及在眾多領(lǐng)域的應(yīng)用推廣作出了顯著的貢獻。2018年TOP100排行榜發(fā)布單位變更為中國計算機學(xué)會高性能計算專業(yè)委員會與中國工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會高性能計算與數(shù)學(xué)軟件專業(yè)委員會，發(fā)布單位于2018年8月修定了“中國高性能計算機性能TOP100排行榜工作條例”，進一步細(xì)化明確了排行榜規(guī)則等細(xì)節(jié)。

2021年11月12日，最新一期中國HPC TOP100排行榜在北京召開的第三屆中國超級算力大會上發(fā)布。本文基于最新排行榜數(shù)據(jù)，對我國高性能計算機的性能、制造廠商、體系結(jié)構(gòu)、應(yīng)用領(lǐng)域及部署機構(gòu)等進行了討論分析。

2 性能分析

與2020年類似，本年度中國HPC TOP100排行榜對同一用戶、同一廠商、同一地區(qū)安裝的相似結(jié)構(gòu)的計算機，在榜單中列出Linpack較高的一套。改進的規(guī)則使得更多的系統(tǒng)或高性能計算用戶得以進入榜單，能更好地反映我國高性能計算現(xiàn)狀。2021年3家單位聯(lián)想、北龍超云和服務(wù)器供應(yīng)商分別提交了18,7和4總共29套新系統(tǒng)，相比2020年的73套有較大幅度降低。聯(lián)想提交的18套新系統(tǒng)合并了12套，合并后新增6套，其他單位提交的新系統(tǒng)無合并。合并后的17套系統(tǒng)全部上榜，去年榜單留存83套系統(tǒng)。今年全部榜單中100個性能位置共有158套高性能計算系統(tǒng)。今年榜單前10名變化較大，新增的17套系統(tǒng)中，有8套擠入前10。

2021年，由服務(wù)器供應(yīng)商研制、部署于網(wǎng)絡(luò)公司的CPU+GPU異構(gòu)眾核主機系統(tǒng)占據(jù)榜首，它是當(dāng)前中國最高性能的計算機系統(tǒng)，包括285 000個CPU核，系統(tǒng)峰值為240 PFlops，Linpack實測性能為125 PFlops，應(yīng)用領(lǐng)域為算力服務(wù)，是排名第2的神威·太湖之光系統(tǒng)Linpack測試值的1.34倍。

由國家并行計算機工程技術(shù)研究中心研制、部署于國家超級計算無錫中心的神威·太湖之光超級計算機下降為第2名。神威·太湖之光由40個機柜、總共160個超級結(jié)點組成，每個超級結(jié)點含256個計算結(jié)點，每個計算結(jié)點配備1顆1.45 GHz、260核的申威26010處理器，全系統(tǒng)總峰值性能為125.435 9 PFlops，Linpack實測性能為93.014 6 PFlops。

由服務(wù)器供應(yīng)商研制、部署于網(wǎng)絡(luò)公司的CPU+GPU異構(gòu)眾核主機系統(tǒng)獲得第3名，包括190 000 個CPU核，系統(tǒng)峰值性能為160 PFlops，Linpack實測性能為87 PFlops，應(yīng)用領(lǐng)域為算力服務(wù)。

由國防科技大學(xué)研制的部署于國家超級計算廣州中心的天河二號超級計算機下降為第4名。2018年天河二號系統(tǒng)使用國產(chǎn)加速卡Matrix 2000進行了升級，系統(tǒng)峰值性能達(dá)到100 PFlops。

排名第5的系統(tǒng)是由服務(wù)器供應(yīng)商研制、部署于網(wǎng)絡(luò)公司的CPU+GPU異構(gòu)眾核主機系統(tǒng)，包括120 000個CPU核，系統(tǒng)峰值性能為110 PFlops，Linpack實測性能為55 PFlops，應(yīng)用領(lǐng)域為算力服務(wù)。排名1～5的系統(tǒng)均為峰值性能達(dá)100 PFlops的系統(tǒng)。

排名第6的系統(tǒng)是由服務(wù)器供應(yīng)商研制、部署于超算中心的主機系統(tǒng)，包括992個SW26010Pro 異構(gòu)眾核處理器，每個處理器包括390核，全系統(tǒng)共有386 880核，其中控制核心頻率為2.1 GHz，從核頻率為2.25 GHz，互連網(wǎng)絡(luò)為Sunway Network。系統(tǒng)峰值性能為13.91 PFlops，Linpack實測性能為12.569 PFlops，效率達(dá)到90.3%，應(yīng)用領(lǐng)域為科學(xué)計算。

由北京超云和Intel聯(lián)合研制的、部署于北京超級云計算中心的北京超級云計算中心T6分區(qū)超級計算機位列第7名，系統(tǒng)包括2 680個計算結(jié)點，共5 360個Intel Xeon Platinum 9242 同構(gòu)眾核處理器，單處理器為48核，頻率為2.3 GHz，總核數(shù)為257 280，互連網(wǎng)絡(luò)為EDR。系統(tǒng)峰值性能為18.93 PFlops，Linpack實測性能為10.83 PFlops，應(yīng)用領(lǐng)域為算力服務(wù)。

第8名和第9名系統(tǒng)是由服務(wù)器供應(yīng)商研制、部署于網(wǎng)絡(luò)公司的2臺主機系統(tǒng)，分別包括192 640 和179 200個CPU核，系統(tǒng)峰值性能分別為16.66 PFlops和15.48 PFlops，Linpack實測性能分別為9.54 PFlops和9.12 PFlops，應(yīng)用領(lǐng)域均為算力服務(wù)。第6～9名系統(tǒng)的峰值實測均超過了10 PFlops。

由北京超云和DELL聯(lián)合研制的、部署于北京超級云計算中心的北京超級云計算中心A6分區(qū)超級計算機位列第10名，系統(tǒng)包括3 000個計算結(jié)點共6 000個AMD EPYC 7452處理器，單處理器為32核，頻率為2.35 GHz，總核數(shù)為192 000，互連網(wǎng)絡(luò)為EDR。系統(tǒng)峰值性能為7.21 PFlops，Linpack實測性能為4.04 PFlops，應(yīng)用領(lǐng)域為算力服務(wù)。

完整的前10名榜單如表1所示。

2020年榜單中的第3名、由北龍超云和DELL聯(lián)合研制的、部署于北京超級云計算中心的北京超級云計算中心A分區(qū)超級計算機下降到第11名，包括3 000個計算結(jié)點共6 000個AMD EPYC 7452 32C 2.350 GHz處理器，總核數(shù)為192 000，網(wǎng)絡(luò)配置為FDR。Linpack實測性能為3.74 PFlops，系統(tǒng)峰值性能為7.03 PFlops，Linpack效率為53.20%。

2020年榜單中的第29名和第30名為由國防科技大學(xué)研制的部署于國家超級計算天津中心的天河一號A超級計算機以及部署在國家超級計算濟南中心的神威E級原型系統(tǒng)，今年分別下降到第44名和第45名。

Table 1 Top 10 systems of China HPC TOP100 in 2021表1 2021中國HPC TOP100前10名系統(tǒng)

今年由北龍超云和DELL聯(lián)合研制的、分別部署于浙江云谷云計算有限公司和寧夏超算云的浙江云谷超級云計算中心M6分區(qū)和寧夏超算云E分區(qū)2套系統(tǒng)分別排在第52名和第69名。前者包括1 680個AMD EPYC 7H12處理器，單處理器為64核，頻率為2.6 GHz,網(wǎng)絡(luò)為EDR，Linpack實測性能為2.42 PFlops，系統(tǒng)峰值性能為4.47 PFlops。后者包括2 400個Intel Xeon Platinum 8163處理器，單處理器為24核，頻率為2.5 GHz,網(wǎng)絡(luò)為FDR，Linpack實測性能為2.21 PFlops，系統(tǒng)峰值性能為4.6 PFlops。

聯(lián)想新增的6套系統(tǒng)均為深騰8800超級計算機，其中5套部署于網(wǎng)絡(luò)公司用于大數(shù)據(jù)處理，1套部署于高校。這充分說明了互聯(lián)網(wǎng)和視頻大數(shù)據(jù)處理在我國大陸的強勁發(fā)展勢頭。

2021年上榜系統(tǒng)的Linpack性能全部超過1.98 PFlops，2P級系統(tǒng)已經(jīng)基本成為高端計算的主流，其中Linpack性能超過2.5 PFlops的系統(tǒng)達(dá)到47套。

2021年，作為入榜門檻的第100套系統(tǒng)是浪潮TS10000集群，部署于深圳某實驗室，應(yīng)用領(lǐng)域為科學(xué)計算，網(wǎng)絡(luò)類型為EDR，Linpack實測性能為1.98 PFlops，系統(tǒng)峰值性能為3.12 PFlops.

2021年所有100套入榜系統(tǒng)的Linpack平均性能為6 913 TFlops，這是2020年平均性能3 842 TFlops的1.79倍。平均性能增速較2020年的1.1有較大提升，主要歸功于前10套系統(tǒng)的變化。2021年中國HPC TOP100系統(tǒng)與2020年系統(tǒng)性能對照如圖1所示。

Figure 1 System performance comparison for China HPC TOP100 between 2020 and 2021圖1 2021年中國HPC TOP100系統(tǒng)與2020年系統(tǒng)性能對照

3 制造商分析

2021年，性能排名前100的共158套上榜系統(tǒng)由浪潮、聯(lián)想和曙光等9家廠商研制，排除并列系統(tǒng)套數(shù)后，聯(lián)想以40套排名廠商份額繼續(xù)排名第1，浪潮28套排名第2，曙光12套排名第3，北龍超云、國防科技大學(xué)和國家并行計算機工程技術(shù)研究中心以5,4,2的裝機數(shù)量分列第5～7名，清華同方、聯(lián)泰集群各有1套系統(tǒng)上榜并列第8。圖2給出了中國HPC TOP100計算機制造商的前100套系統(tǒng)統(tǒng)計。

Figure 2 Vendors system share圖2 制造商系統(tǒng)份額(前100套系統(tǒng))

以聯(lián)想、曙光和浪潮為代表的國內(nèi)廠商是我國HPC系統(tǒng)的主要研制單位，占據(jù)了絕大部分市場份額，2018年國外廠商的系統(tǒng)全部退出TOP100榜單，為歷史首次，2019年的榜單再次為全國產(chǎn)計算機，DELL公司提交1套安裝在武漢大學(xué)超算中心的異構(gòu)系統(tǒng)，但是Linpack實測性能為1 403 TFlops，未能上榜，2020年DELL公司新增1套系統(tǒng)上榜。本年度排行榜的一個特色是北龍超云聯(lián)合Intel和DELL研制了5套系統(tǒng)，為我國超算領(lǐng)域的多元化發(fā)展提供了動力。

如圖3所示，從系統(tǒng)的性能份額來看，服務(wù)器供應(yīng)商以43%領(lǐng)先，聯(lián)想占據(jù)15%系統(tǒng)性能緊隨其后，國家并行計算機工程技術(shù)研究中心的系統(tǒng)性能份額下降到14%，排名第3，繼續(xù)超過了國防科技大學(xué)的10%和浪潮公司的9%。國家并行計算機工程技術(shù)研究中心和國防科技大學(xué)2家單位的6套系統(tǒng)占據(jù)了全部系統(tǒng)總性能的24%。國防科技大學(xué)、國家并行計算機工程研究中心為代表的國家隊專注于數(shù)量少但世界領(lǐng)先的超大規(guī)模計算系統(tǒng)，而以曙光、聯(lián)想和浪潮等為代表的商業(yè)化公司致力于HPC系統(tǒng)的市場化和普及化，這種兩條腿走路的模式已經(jīng)是并將依舊是相當(dāng)長一段時間內(nèi)我國HPC系統(tǒng)研制的常態(tài)。

Figure 3 Performance share圖3 性能份額(前100套系統(tǒng))

4 體系結(jié)構(gòu)分析

共享內(nèi)存(SMP)、分布式共享內(nèi)存(DSM)、大規(guī)模并行處理(MPP)等多種體系架構(gòu)百花爭艷的時代已經(jīng)過去，分布式集群計算系統(tǒng)(Cluster)成為當(dāng)前高性能計算機的絕對主流，近6年來進入TOP100榜單的系統(tǒng)絕大部分都是采用集群架構(gòu)。但需要注意的是，基于自主眾核高性能處理器并采用專有架構(gòu)的神威·太湖之光系統(tǒng)更接近于傳統(tǒng)的MPP架構(gòu)，結(jié)合當(dāng)前世界排名前10系統(tǒng)中有5套采用MPP架構(gòu)的事實，可見在高端系統(tǒng)中，MPP仍是重要的體系架構(gòu)。

除神威·太湖之光采用國產(chǎn)申威處理器，國防科技大學(xué)采用國產(chǎn)Matrix 2000加速卡，以及北龍超云的3套系統(tǒng)使用的AMD處理器外，其余系統(tǒng)均采用了Intel Xeon系列處理器，IBM Power處理器依然未出現(xiàn)在榜單中。

專用加速計算部件首先出現(xiàn)在TOP100榜單中是2009年，由國防科技大學(xué)研制部署于國家超級計算天津中心的天河一號系統(tǒng)配備了2 560塊ATI Radeon加速卡，并以此獲得563.1 TFlops的計算性能，成為該年最高性能的HPC系統(tǒng)。自2010年起，基于NVIDIA公司的Tesla系列GPU的HPC系統(tǒng)登上榜單并逐漸成為加速計算的主流?；贗ntel Xeon Phi加速卡的系統(tǒng)出現(xiàn)于2013年，并在TOP100榜單中占據(jù)少量但穩(wěn)定的份額。除去國防科技大學(xué)天河二號升級系統(tǒng)采用了Matrix 2000作為加速部件外，2021年有34套系統(tǒng)采用NVIDIA GPU或Intel Xeon Phi等進行性能加速，這一數(shù)據(jù)較2020年的39變化不大(如圖4所示)。今年共有33套系統(tǒng)采用NVIDIA Tesla GPU，其中絕大部分用于與深度學(xué)習(xí)相關(guān)的計算。需要指出的是，Intel已宣布停產(chǎn)Xeon Phi。

Figure 4 Variations of accelerator and network from 2010 to 2021圖4 2010～2021加速計算部件及系統(tǒng)網(wǎng)絡(luò)變化

關(guān)于專用加速計算設(shè)備的應(yīng)用，特別需要指出的是，無論是NVIDIA/AMD GPU，還是Intel Xeon Phi，在上榜系統(tǒng)中最先都是由國防科技大學(xué)、中國科學(xué)院等科研類機構(gòu)研制采用，且主要應(yīng)用于基礎(chǔ)科學(xué)研究；隨后才被浪潮、曙光和聯(lián)想等商業(yè)化公司采用，并在眾多領(lǐng)域得到大規(guī)模應(yīng)用。這無疑是一種良好的模式。

體系結(jié)構(gòu)上變化最為明顯的是系統(tǒng)互連網(wǎng)絡(luò)，千兆以太網(wǎng)2014年占據(jù)了100套系統(tǒng)中的70%，而自2017年以來連續(xù)5年不再在榜單中出現(xiàn)，已經(jīng)徹底退出歷史舞臺；相對應(yīng)地，萬兆以太網(wǎng)從7年前的16%到2020年的71%再至2021年的62%，仍然是高性能計算系統(tǒng)的絕對主流互連網(wǎng)絡(luò)。需要注意的是，這里的萬兆網(wǎng)包括了100 GbE,40 GbE,25 GbE和最低性能的10 GbE共4類，而在今年占據(jù)主流的是10 GbE和25 GbE。

InfiniBand網(wǎng)絡(luò)繼續(xù)保持較高占比，相比2020年的23%，今年的數(shù)據(jù)增長為25%，這一占比主要與榜單中用于科學(xué)計算的計算機數(shù)目相當(dāng)。從需求和用戶的角度，我們期望這兩者能保持良好的競爭態(tài)勢，以提供性能更佳、價格更優(yōu)的互連網(wǎng)絡(luò)環(huán)境。

5 應(yīng)用領(lǐng)域分析

圖5給出了2021年中國HPC TOP100中的行業(yè)應(yīng)用領(lǐng)域的性能份額統(tǒng)計，包括算力服務(wù)(46%)、超算中心(24%)、人工智能(9%)、云計算(5%)、短視頻(4%)、科學(xué)計算(3%)、金融(2%)、互聯(lián)網(wǎng)(1%)、教育科研(1%)、能源石油(1%)、電子商務(wù)(1%)、政府(1%)、工業(yè)制造(1%)和電信(1%)。

Figure 5 Application area share圖5 TOP100系統(tǒng)在不同應(yīng)用領(lǐng)域的分布

依據(jù)應(yīng)用模式的不同，上述應(yīng)用可進一步大致歸并為4大類：

(1)算力服務(wù)類。這是今年新增的一類服務(wù)，反映了算力經(jīng)濟的蓬勃發(fā)展。

(2)人工智能類。Map-Reduce、深度學(xué)習(xí)計算模型等基于數(shù)據(jù)的(非數(shù)值類)應(yīng)用。

(3)科學(xué)與工程計算類。主要指傳統(tǒng)的數(shù)值計算類應(yīng)用，通常是計算密集型(也有數(shù)據(jù)密集型)。

(4)信息服務(wù)類。頻繁交互的互聯(lián)網(wǎng)服務(wù)類應(yīng)用。

2021年度，算力服務(wù)類應(yīng)用系統(tǒng)占據(jù)所有系統(tǒng)的51%，人工智能類應(yīng)用系統(tǒng)占據(jù)9%，傳統(tǒng)的科學(xué)與工程計算類應(yīng)用系統(tǒng)與2020年的30%持平，信息服務(wù)類應(yīng)用系統(tǒng)比2020年有所微降，從11%降到10%。

6 部署機構(gòu)分析

2021年中國HPC TOP100系統(tǒng)部署機構(gòu)統(tǒng)計如圖6所示，互聯(lián)網(wǎng)企業(yè)以46%繼續(xù)占最大份額，相比2020年的45%有所增加，其他企業(yè)(金融、制造業(yè)等)占30%，兩者合計為75%，這一數(shù)據(jù)相比2020年的65%有所增加?？蒲性核统阒行母髡?%和13%，這表明用于科學(xué)計算的系統(tǒng)數(shù)量繼續(xù)維持穩(wěn)定，也充分說明了高性能計算機、高性能計算技術(shù)的主要應(yīng)用還是在科學(xué)計算領(lǐng)域，并在多個領(lǐng)域尤其是互聯(lián)網(wǎng)領(lǐng)域發(fā)揮著不可替代的作用。今年的系統(tǒng)中依然有5%用于視頻公司，雖然相比2020年的13%有所降低，但依然將其單獨列出，充分反映當(dāng)前以短視頻為代表的多種新興應(yīng)用的蓬勃發(fā)展。

Figure 6 System sites share圖6 TOP100系統(tǒng)部署機構(gòu)類別

Figure 7 China HPC TOP 100 from 2002 to 2021圖7 2002～2021年中國高性能TOP100數(shù)據(jù)

7 結(jié)束語

2021年中國高性能計算機繼續(xù)呈現(xiàn)快速發(fā)展態(tài)勢，無論是性能、應(yīng)用領(lǐng)域還是應(yīng)用規(guī)模均有著長足發(fā)展。圖7 給出了2002～2021年共20年來TOP100數(shù)據(jù)變化?？梢钥吹?，近10年來，第1名系統(tǒng)受國家相關(guān)科研計劃影響，其性能呈跳躍式發(fā)展；最后1名系統(tǒng)性能則呈規(guī)律性指數(shù)增長，但是幅度逐步減緩，2022年入榜性能預(yù)計在2.2～2.3 PFlops。