在高性能計(jì)算當(dāng)中,海量數(shù)據(jù)的計(jì)算、存儲(chǔ)與傳輸是并舉的三要素。在最理想的情況下,三者應(yīng)該呈等比例縮放,以相匹配的步調(diào)共同發(fā)展,但這畢竟只是理想情況。事實(shí)上,多核、眾核、混合架構(gòu)等新技術(shù)的出現(xiàn),讓計(jì)算遠(yuǎn)遠(yuǎn)走在前面,存儲(chǔ)和互聯(lián)往往成為限制系統(tǒng)性能發(fā)揮的瓶頸。目前最為流行的是集群系統(tǒng),其節(jié)點(diǎn)數(shù)目隨系統(tǒng)計(jì)算能力提升而增加。這樣一來(lái),節(jié)點(diǎn)內(nèi)部及節(jié)點(diǎn)之間的高速I/O就顯得尤為關(guān)鍵。

當(dāng)高性能計(jì)算機(jī)逐漸越過(guò)百萬(wàn)億次的門(mén)檻,沖向下一個(gè)數(shù)量級(jí)千萬(wàn)億次時(shí),到底哪種技術(shù)才有可能勝任如此龐大系統(tǒng)的高速互聯(lián)呢?這個(gè)熱點(diǎn)議題正是日前召開(kāi)的HPC顧問(wèn)委員會(huì)亞洲研討會(huì)的研討焦點(diǎn)。

慎選互聯(lián)技術(shù)

系統(tǒng)互聯(lián)帶來(lái)的瓶頸被形象地稱為“互聯(lián)墻”,中科院計(jì)算所副研究員霍志剛認(rèn)為,不僅高密度節(jié)點(diǎn)給系統(tǒng)互聯(lián)帶來(lái)了很大壓力,我們過(guò)去長(zhǎng)期依賴的經(jīng)驗(yàn)也顯得過(guò)時(shí)了,很難再用處理器主頻與內(nèi)存容量、I/O速度的簡(jiǎn)單匹配來(lái)指導(dǎo)更大規(guī)模的高性能計(jì)算機(jī)設(shè)計(jì)。當(dāng)規(guī)模變得龐大,規(guī)則就有可能被打破,過(guò)去的一些小問(wèn)題也開(kāi)始被放大,甚至可能影響到整個(gè)系統(tǒng)。

霍志剛是我國(guó)正在研制的千萬(wàn)億次高性能計(jì)算機(jī)——曙光6000的通信與容錯(cuò)課題的負(fù)責(zé)人。他表示,曙光6000對(duì)于高速互聯(lián)網(wǎng)絡(luò)的考量主要有幾個(gè)方面:首先是兼顧低成本與高性能。高性能主要表現(xiàn)在要有可接受的低延遲,系統(tǒng)規(guī)模增大時(shí)能與之匹配擴(kuò)展,以及具有良好的可用性,不會(huì)再重蹈過(guò)去使用InfiniBand技術(shù)時(shí)的覆轍。除此之外,系統(tǒng)廠商還需要有對(duì)所采用互聯(lián)技術(shù)的出色的技術(shù)支持,并且保證開(kāi)放性,“最起碼要有多個(gè)廠商可以提供產(chǎn)品和解決方案,以免發(fā)生技術(shù)壟斷”。

InfiniBand前景看好

美國(guó)橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室,這個(gè)以高性能計(jì)算模擬核爆而聞名的機(jī)構(gòu)也同樣遭遇了系統(tǒng)互聯(lián)難題。該實(shí)驗(yàn)室今年最新部署的一套“蜘蛛”(Spider)系統(tǒng)的峰值性能達(dá)到了1.38PFlops,是世界上最為龐大的高性能計(jì)算機(jī)之一。該實(shí)驗(yàn)室研究科學(xué)家王非一介紹,他在解決問(wèn)題時(shí)采用了與HPC顧問(wèn)委員會(huì)及合作伙伴共同研制開(kāi)發(fā)的辦法,最終決定采用InfiniBand高速互聯(lián)技術(shù)搭建“蜘蛛”。將所有節(jié)點(diǎn)連接在一起的線纜長(zhǎng)度超過(guò)5km,InfiniBand端口超過(guò)3000個(gè)。

Gilad Shainer是HPC顧問(wèn)委員會(huì)主席,他領(lǐng)導(dǎo)的這一致力于提供HPC實(shí)踐并探索其未來(lái)發(fā)展的全球性組織,目前已擁有廠商、用戶等110多個(gè)會(huì)員單位。對(duì)于系統(tǒng)互聯(lián)問(wèn)題,他同樣態(tài)度鮮明,認(rèn)為需要改變過(guò)去服務(wù)器與網(wǎng)絡(luò)帶寬的分配比率,網(wǎng)絡(luò)互聯(lián)設(shè)備需要針對(duì)每代系統(tǒng)平臺(tái)提供4倍的性能,而發(fā)展中的InfiniBand將是千萬(wàn)億次高性能計(jì)算機(jī)采用的理想技術(shù)。

Gilad Shainer進(jìn)一步分享了HPC顧問(wèn)委員會(huì)與系統(tǒng)互聯(lián)技術(shù)相關(guān)的實(shí)測(cè)數(shù)據(jù)。在MPQC、NAMD等大型并行量子化學(xué)、分子動(dòng)力學(xué)等Benchmark測(cè)試中,結(jié)果顯示,相比千兆以太網(wǎng)和萬(wàn)兆以太網(wǎng),InfiniBand技術(shù)在性能表現(xiàn)和可擴(kuò)展性方面都有著明顯優(yōu)勢(shì),從DDR到QDR模式演進(jìn)后,這種優(yōu)勢(shì)更是壓倒性的。

據(jù)了解,InfiniBand技術(shù)目前在高端HPC應(yīng)用較多,比如走鵑(Roadrunner)、蜘蛛(Spider)都采用了這項(xiàng)技術(shù)。在今年全球HPC Top500的系統(tǒng)中,前10名中有4套,前100名中有59套系統(tǒng)都采用了InfiniBand,而且還呈繼續(xù)增長(zhǎng)的趨勢(shì)?；糁緞偢嬖V記者,曙光6000應(yīng)該毫無(wú)懸念地采用InfiniBand互聯(lián)技術(shù),只是曙光6000為異構(gòu)系統(tǒng),將大量采用龍芯處理器,他們正在仔細(xì)考量InfiniBand對(duì)龍芯的支持程度如何,以及研究技術(shù)實(shí)現(xiàn)曙光6000上的InfiniBand虛擬化。