文／李文化 陳討海

海南大學(xué)高性能計算與云計算平臺融合

文／李文化 陳討海

對于一些預(yù)算不足，無法獨(dú)立購置高性能計算集群的用戶，以及一些負(fù)載突增，導(dǎo)致短期現(xiàn)有資源無法應(yīng)對的用戶，如果能夠利用靈活擴(kuò)展的云計算資源用于解決HPC任務(wù)，能象軍隊那樣“戰(zhàn)時集結(jié)、平時機(jī)動”錯峰共享資源，將是一件非常美妙的事。

高性能計算（High-Performance Computing，HPC）以解決復(fù)雜的科學(xué)計算或數(shù)值計算問題為目的，由多臺節(jié)點(diǎn)機(jī)(服務(wù)器)構(gòu)成的一種松散耦合的計算資源集合。其中多臺節(jié)點(diǎn)（服務(wù)器）通過相應(yīng)的硬件及高速網(wǎng)絡(luò)互連，由軟件控制，將復(fù)雜的問題分解開來，并分配到各個計算節(jié)點(diǎn)。每個節(jié)點(diǎn)獨(dú)立運(yùn)行自己的進(jìn)程，這些進(jìn)程之間可以彼此通信（數(shù)據(jù)交換），共同讀取統(tǒng)一的數(shù)據(jù)資源，協(xié)同完成整個計算任務(wù)，以多臺計算節(jié)點(diǎn)共同運(yùn)算的模式來換取較小的計算時間。

從HPC并行任務(wù)間的關(guān)系我們可以把HPC分為兩類：1.高吞吐計算(High-throughput Computing)——并行的子任務(wù)彼此間沒有什么關(guān)聯(lián)；2.分布計算(Distributed Computing) ——并行的子任務(wù)間聯(lián)系很緊密，并需要大量的數(shù)據(jù)交換。HPC一般主要面向科學(xué)計算、工程模擬、動漫渲染等領(lǐng)域，大多屬于計算密集型的應(yīng)用，如天氣預(yù)報、石油勘探、分子模擬、基因測序等領(lǐng)域。根據(jù)不同的計算模式與規(guī)模，構(gòu)成集群系統(tǒng)的節(jié)點(diǎn)數(shù)可以從幾個到上千，也可以達(dá)到數(shù)千甚至上萬。目前，隨著HPC應(yīng)用的普及，中小規(guī)模的高性能計算集群也慢慢走進(jìn)中小型用戶的視野，高性能計算集群系統(tǒng)的部署，極大地滿足了此類用戶對復(fù)雜運(yùn)算的能力的需求，大大拓展了其業(yè)務(wù)范圍，為中小型用戶的成長提供支持。云計算主要是在Web2.0/3.0、社交網(wǎng)絡(luò)、企業(yè)(院校)信息化等領(lǐng)域，以數(shù)據(jù)與I/O密集型應(yīng)用為主。它是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)、服務(wù)器、存儲、軟件、服務(wù)），這些資源能夠被快速提供(即時交付)，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互；是并行計算、分布式計算、效用計算、 網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡、熱備份冗余等傳統(tǒng)計算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。

雖然HPC與云計算的側(cè)重點(diǎn)不同，但兩者之間都經(jīng)常使用分布式計算、網(wǎng)格、集群計算等技術(shù)，既然HPC與云計算有那么多相同技術(shù)，高校能否構(gòu)建HPC與云計算互為融合的新型數(shù)據(jù)中心呢？

雖然HPC與云計算的側(cè)重點(diǎn)不同，但兩者之間都經(jīng)常使用分布式計算、網(wǎng)格、集群計算等技術(shù)。

探索之路

對HPC與云計算要求越來越高

（1）海南大學(xué)HPC需求從無到有

HPC是高水平大學(xué)科研與應(yīng)用的重要基礎(chǔ)條件，也是高?？蒲袑?shí)力重要標(biāo)志之一，國內(nèi)985高校和大部分211高校都有高性能計算中心，作為“211工程”建設(shè)大學(xué)的海南大學(xué)（簡稱“海大”）在2014年前還沒有真正意義上的高性能計算平臺。

2011年前，海大信息學(xué)院某教授向海大科研處了解有無高性能計算的科研需求，收到的答復(fù)是沒聽說過（不代表沒有）；2012～2013年，信息學(xué)院一位在讀博士老師問網(wǎng)絡(luò)中心有無性能超高的服務(wù)器為他的研究提供算法測試，另一位從事計算數(shù)學(xué)的D類人才向?qū)W校申請經(jīng)費(fèi)購買20臺PC機(jī)搭建一個高性能計算環(huán)境；2014年，海大農(nóng)學(xué)院計劃引進(jìn)一個國外從事生物信息學(xué)的人才，該博士首先就問學(xué)校有沒有高性能計算平臺？海大海洋學(xué)院一位海歸博士用自己的課題經(jīng)費(fèi)購置了兩臺高性能服務(wù)器進(jìn)行生物信息學(xué)方面的研究。

（2）海南大學(xué)對信息服務(wù)能力要求越來越高

隨著學(xué)校的發(fā)展，新的業(yè)務(wù)管理系統(tǒng)和應(yīng)用系統(tǒng)不斷啟用，新的教學(xué)模式MOOC（SPOC）對計算性能要求越來越高，學(xué)校對信息化服務(wù)能力要求越來越高，計算能力與存儲空間需求增長很快，教學(xué)與管理需要的計算資源在不斷加大，特別是訪問比較集中、并發(fā)數(shù)比較高的選課、成績上報與查詢、迎新時段。構(gòu)建性能更高的云計算與數(shù)據(jù)中心成為必然趨勢。

“綠色I(xiàn)T”對構(gòu)建高效能HPC與云計算提出更高要求

隨著學(xué)校信息化發(fā)展的需要，2012年，海大決定構(gòu)建云計算與數(shù)據(jù)中心，按理說同時構(gòu)建HPC也屬正常，但HPC的“造價高、人才缺、利用低”給海大信息管理部門的領(lǐng)導(dǎo)帶來了很大困擾。

1.從軍隊“戰(zhàn)時集結(jié)、平時機(jī)動”聯(lián)想到高性能計算資源的共享問題

為了國家安全，戰(zhàn)時哪個國家都希望有一支龐大的軍隊可以“集團(tuán)作戰(zhàn)”(類似集群)，但維持龐大的軍隊成本會很高，在和平時期會覺得很“浪費(fèi)”(類似計算資源閑置)。為了更好地發(fā)揮軍隊的作用，我國常在和平建設(shè)時期會將大部隊“拆分”（類似高性能物理機(jī)虛擬化）成小分隊支援地方建設(shè)或抗洪救災(zāi)等。

同樣，發(fā)展中高校有HPC建設(shè)需求，但高性能計算集群計算（集團(tuán)軍作戰(zhàn)）需求可能不足，計算資源空閑情況可能很嚴(yán)重，而服務(wù)于應(yīng)用系統(tǒng)的云計算平臺對高性能計算資源集群要求不高但需要能靈活調(diào)配，同樣存在資源閑置情況。

對于一些預(yù)算不足，無法獨(dú)立購置高性能計算集群的用戶，以及一些負(fù)載突增，導(dǎo)致短期現(xiàn)有資源無法應(yīng)對的用戶，如果能夠利用靈活擴(kuò)展的云計算資源用于解決HPC任務(wù)，能象軍隊那樣“戰(zhàn)時集結(jié)、平時機(jī)動”錯峰共享資源，將是一件非常美妙的事。

2.業(yè)界爭論與海大設(shè)想

在2010年之前大絕大多數(shù)人認(rèn)為：虛擬化和高性能計算可謂“水火不容”。 人們通常認(rèn)為的虛擬化會嚴(yán)重影響應(yīng)用程序的性能，虛擬化提升靈活性的優(yōu)點(diǎn)被其降低了應(yīng)用程序吞吐量的缺點(diǎn)所壓倒；另外，傳統(tǒng)的HPC基礎(chǔ)架構(gòu)的利用率已經(jīng)非常高了（通常為80%～95%），HPC中一個計算任務(wù)就能把多個機(jī)器的CPU都跑滿了，虛擬機(jī)沒什么用武之地，因此，通常推動企業(yè)采用虛擬化的動因（提高硬件利用率、整合服務(wù)器或提高許可證利用率）不足以抵消使用虛擬化資源運(yùn)行工作負(fù)載帶來的復(fù)雜性和費(fèi)用增加的缺點(diǎn)。

另一方面，人們又期望以云計算的靈活的彈性應(yīng)用模式來解決公共高性能計算平臺的系統(tǒng)管理問題。中國工程院院士李國杰認(rèn)為，“云計算的易用性會影響傳統(tǒng)的HPC計算模式，按需的云計算給HPC提供了更易交互的計算模式。如同幾年前用大眾化的PC服務(wù)器搭建集群以及最近用GPU加速科學(xué)計算一樣，云計算對于HPC也是一次模式轉(zhuǎn)變?！?/p>

通過查閱大量文獻(xiàn)和搜尋閱讀大量資料，海大網(wǎng)絡(luò)中心主要負(fù)責(zé)人認(rèn)為HPC與云計算融合意義重大，不僅理論上可行，在實(shí)踐上也具有一定的可操作性，因此在2012年初步?jīng)Q定采用HPC與云計算融合架構(gòu)。為確保項目成功且避免不必要的資源浪費(fèi)，提出“兼顧HPC的云計算”設(shè)想：新建云計算平臺計算能力6萬億次以上，能利用舊設(shè)備或共享圖書信息中心空閑計算資源達(dá)到10萬億次以上，計算網(wǎng)絡(luò)采用兼容性好性價比高的萬兆以太網(wǎng)絡(luò)，存儲60T以上，以支撐海大全部業(yè)務(wù)管理系統(tǒng)和應(yīng)用系統(tǒng)為基礎(chǔ)，任何時候閑置資源可“集群”支撐高性能計算。要求應(yīng)用系統(tǒng)可在線飄移，時間不高于10分鐘，閑置計算資源集群就緒時間不超過30分鐘，閑置硬件資源利用率65%以上。

3.尋找解決方案

海大從2012年到2013年開始充分利用國內(nèi)多家知名服務(wù)器和云計算廠商在全國巡展（特別是海南）期間與對方交流，但得到的大部分是禮節(jié)性的回復(fù)，也有部分廠家針對我們的想法提出解決思路:將物理服務(wù)器分成兩部分，一部分專用于高性能計算（計算網(wǎng)絡(luò)用InfiniBand），另一部分專用于虛擬化(云計算，計算網(wǎng)絡(luò)以太網(wǎng))，服務(wù)器之間資源不共享，但統(tǒng)一平臺方便管理。顯然這樣的解決方案不符合我們的初衷。

2014年上半年，海大繼續(xù)與國內(nèi)從事網(wǎng)絡(luò)（含云計算）、服務(wù)器、虛擬化的多個廠家進(jìn)行了溝通交流，對于我們的想法（需求）開始有多家廠商表示可以提供解決方案，通過組織校內(nèi)外專家對廠家方案進(jìn)行了嚴(yán)格的評審答辯，最后選定最好的三家方案作為基礎(chǔ)進(jìn)行整合優(yōu)化，形成公開招標(biāo)方案。

最終，某廠商在公開招標(biāo)環(huán)節(jié)勝出，為海大提供了最優(yōu)的HPC與云計算融合的計算平臺解決方案（HPC in Cloud），即業(yè)務(wù)管理系統(tǒng)和公共服務(wù)平臺，面向目標(biāo)用戶提供虛擬化服務(wù)及高性能計算服務(wù)。包括：云計算管理系統(tǒng)軟件的應(yīng)用，以Web方式訪問的云管理平臺，無縫管理多個虛擬化環(huán)境；提供虛擬機(jī)服務(wù)及應(yīng)用，意在以云端服務(wù)的模式替換傳統(tǒng)IDC機(jī)房模式，最終實(shí)現(xiàn)學(xué)院的各項應(yīng)用系統(tǒng)遷移至融合計算平臺，新建應(yīng)用以虛擬化模式全面實(shí)現(xiàn)。同時，在業(yè)務(wù)系統(tǒng)運(yùn)行空閑時段可為高性能計算提供服務(wù)，實(shí)現(xiàn)安全、可靠和快捷的在虛擬化模式與HPC模式之間的方便切換。

圖1 云計算平臺整體架構(gòu)

總體規(guī)劃設(shè)計

服務(wù)教學(xué)、科研與管理綜合計算平臺

海大兼顧高性能的云計算平臺（HPC in Cloud）將網(wǎng)教中心機(jī)房和圖書館機(jī)房的IT資源進(jìn)行集中管理調(diào)度，構(gòu)建面向高校教學(xué)、科研、管理的綜合平臺，支撐學(xué)校各類業(yè)務(wù)管理系統(tǒng)和公共服務(wù)平臺的穩(wěn)定運(yùn)行，同時還能支撐諸如大數(shù)據(jù)處理、課程培訓(xùn)、云計算教學(xué)、動漫設(shè)計等科研和教學(xué)應(yīng)用場景。整體架構(gòu)如圖1所示。

融合平臺將各類硬件基礎(chǔ)設(shè)施（服務(wù)器、存儲、網(wǎng)絡(luò)設(shè)備等）和軟件（操作系統(tǒng)、數(shù)據(jù)庫、中間件、各種高性能計算軟件等）進(jìn)行統(tǒng)一管理，構(gòu)建共享資源池，并提供各種自動化的云服務(wù)（除了基本的虛擬機(jī)、存儲、網(wǎng)絡(luò)外，還提供了彈性伸縮、數(shù)據(jù)庫自動化、應(yīng)用自動化部署、大數(shù)據(jù)處理、高性能計算、3D渲染等），這些自動化云服務(wù)可以很好地支撐學(xué)校各類應(yīng)用系統(tǒng)、高性能計算、教學(xué)管理等需求。

融合平臺構(gòu)建完成后，網(wǎng)絡(luò)中心的老師通過云平臺管理界面設(shè)定資源的利用策略，例如平均利用每一臺服務(wù)器、優(yōu)先利用某一臺服務(wù)器、HPC計算專用其中幾臺服務(wù)器等，還可以監(jiān)控各類資源的運(yùn)行狀態(tài)，并導(dǎo)出資源使用的各類報表。針對科研項目、老師的教學(xué)需求，網(wǎng)絡(luò)中心提供資源申請機(jī)制，通過高校已有的OA或郵件方式提交資源申請，由網(wǎng)絡(luò)中心管理員為需求者分配資源限額，如CPU、存儲容量、備份容量等。各學(xué)院的老師、學(xué)生可以在資源配額范圍內(nèi)自助登錄云平臺使用各類自動化云服務(wù)，完成各種教學(xué)、科研工作。

圖2 海大云計算中心管理平臺規(guī)劃功能架構(gòu)

融合平臺功能架構(gòu)

海大云計算中心管理平臺規(guī)劃功能架構(gòu)如圖2所示。該融合平臺整體包括四大模塊，分別是：

1.IT基礎(chǔ)硬件。為了充分利用學(xué)校內(nèi)部的高性能計算資源、最大限度地避免重復(fù)建設(shè)與資源浪費(fèi)，云平臺需要對網(wǎng)教中心和圖書館的服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備進(jìn)行統(tǒng)一調(diào)度管理，以實(shí)現(xiàn)資源的優(yōu)化配置、充分共享。

2.資源池。利用云平臺的虛擬化技術(shù)，將底層IT基礎(chǔ)硬件設(shè)備進(jìn)行虛擬化處理，借助云平臺控制器對虛擬資源進(jìn)行統(tǒng)一納管，屏蔽底層各類硬件環(huán)境的復(fù)雜性，構(gòu)建統(tǒng)一的虛擬化云資源池，為上層的業(yè)務(wù)管理系統(tǒng)和公共服務(wù)平臺的運(yùn)行、HPC高性能計算提供必須的計算、存儲和網(wǎng)絡(luò)資源。

3.自動化云服務(wù)。在虛擬化層基礎(chǔ)上，云平臺對虛擬資源進(jìn)行能力封裝，提供了多項自動化的云服務(wù)，包括基礎(chǔ)能力（虛擬機(jī)、存儲卷、網(wǎng)絡(luò)資源等）、應(yīng)用支撐能力（應(yīng)用自動化部署、數(shù)據(jù)庫服務(wù)、負(fù)載均衡服務(wù)等）、輔助能力（HPC、大數(shù)據(jù)處理、3D渲染等）等，云平臺用戶可以通過這些服務(wù)滿足各種場景下的IT需求。該層是整個云平臺的核心部分，直接決定著云數(shù)據(jù)中心的能力大小。

4.自助服務(wù)。云平臺為學(xué)校各部門、學(xué)院、用戶提供了自助服務(wù)門戶。云平臺管理員只需要為每個用戶分配一定的資源配額，用戶就可以自助登錄到云平臺界面，使用云平臺提供的各項功能進(jìn)行應(yīng)用部署、HPC計算等工作。

“海大云”特色

構(gòu)建完成的兼顧HPC的云計算平臺有鮮明的“海大云”特色。

1.靈活高效的彈性計算平臺。云平臺設(shè)備采用萬兆網(wǎng)絡(luò)，充分滿足科研大數(shù)據(jù)量傳輸?shù)母邘捯?；通過服務(wù)器配置SSD緩存加速固態(tài)盤，大大增加熱點(diǎn)數(shù)據(jù)的讀寫速度，滿足高性能計算的數(shù)據(jù)快速存取需求。針對Linux下的高性能計算還提供容器模式，在最大限度使用物理機(jī)性能的同時，提高靈活度。

2.一體化的存儲系統(tǒng)。方案中利用業(yè)內(nèi)趨勢，采用SMP多核計算產(chǎn)品，計算/存儲共用的模式技術(shù)構(gòu)建云平臺，分布式存儲系統(tǒng)將計算服務(wù)器的本地存儲硬盤統(tǒng)一納管，提供高性能的共享存儲空間，提升平臺的存儲利用水平。

3.全面的系統(tǒng)安全性。方案的設(shè)計充分考慮高校業(yè)務(wù)系統(tǒng)和科研對于安全性的需求，從計算、存儲、網(wǎng)絡(luò)，到用戶的接入訪問、權(quán)限控制等，都提供了安全策略。同時，云平臺控制器本身作了高可用配置，保證平臺能夠7×24小時對外提供服務(wù)。

4.多樣化的應(yīng)用場景。除了能夠支撐學(xué)校大量業(yè)務(wù)系統(tǒng)和公共平臺的穩(wěn)定運(yùn)行和科研計算外，HPC云平臺還能夠提供諸如高校課程培訓(xùn)、云計算教學(xué)、動漫渲染、大數(shù)據(jù)處理等多種增值服務(wù)。

5.“海大云”兼顧的HPC除集群虛機(jī)模式外，將繼續(xù)探索集群閑置物理機(jī)模式，做到兩種模式共存，因需選用，希望小長假啟用虛擬機(jī)集群模式（應(yīng)用穩(wěn)定、即時交付），大長假根據(jù)需要啟用裸機(jī)集群模式（提高利用率），未來將分兩階段來走：第一階段保證應(yīng)用，兼顧高性能，培養(yǎng)人才，提高效率，積累經(jīng)驗(yàn)；第二階段提高軟硬件資源利用率，根據(jù)學(xué)校高性能計算需求量擴(kuò)充性能、優(yōu)化配置。

云計算的易用性會影響傳統(tǒng)的HPC計算模式，傳統(tǒng)的排隊批處理方式很難實(shí)現(xiàn)按需即時響應(yīng)的科學(xué)計算，On-demand的云計算給HPC提供了更易交互的計算模式。如同幾年前用大眾化的PC服務(wù)器搭建集群以及最近用GPU加速科學(xué)計算一樣，云計算對于HPC也是一次模式轉(zhuǎn)變。

美國IT戰(zhàn)略科學(xué)家Dan Reed指出，云計算使得計算和海量數(shù)據(jù)存儲特別便宜，云平臺最終將取代傳統(tǒng)HPC基礎(chǔ)設(shè)施。

（作者單位為海南大學(xué)網(wǎng)絡(luò)與教育技術(shù)中心）