董晶

摘要： 為具體了解CFD軟件NUMECA FINE/Turbo的并行計算性能，良好把握后續(xù)的科研工作進(jìn)度，分別研究在激活超線程情況下單節(jié)點計算與多節(jié)點并行計算以及CPU在激活超線程前、后計算速度的差異.結(jié)果表明：在多節(jié)點并行計算時，計算速度與實際參加并行計算的CPU物理核心數(shù)量成正比；在激活超線程的情況下，并行計算節(jié)點數(shù)在超過實際物理核心數(shù)后明顯降低計算速度的提升.

關(guān)鍵詞： 并行計算； 超線程； 計算節(jié)點數(shù)； CPU核心數(shù)量； 計算速度； NUMECA； FINE/Turbo

中圖分類號： O246文獻(xiàn)標(biāo)志碼： B

0引言

計算機產(chǎn)業(yè)在不斷進(jìn)步，對計算機系統(tǒng)可提供的計算速度的需求總在不斷增長，對計算的要求也越來越高，因此并行計算的開發(fā)和應(yīng)用也愈發(fā)的重要.[13]即使在目前所提供的運算速度最快、容量最大的超級計算機上進(jìn)行計算，一個三維定常問題的數(shù)值模擬也要花費幾十個小時.因此，并行計算方法的研究越來越被人們重視.[45]并行計算，或稱平行計算，是相對于串行計算來說的.所謂并行計算可分為時間上的并行和空間上的并行.時間上的并行是指流水線技術(shù)，而空間上的并行則是指用多個處理器并發(fā)執(zhí)行計算.[67]為利用并行計算，通常計算問題表現(xiàn)為以下特征：

1）工作可分成離散部分，有助于同時解決；

2）隨時并及時地執(zhí)行多個程序指令；

3）多計算資源下解決問題的耗時要少于單個計算資源下的耗時.

本文研究內(nèi)容為空間上的并行，測試采用具有單個CPU處理器的DELL PRECISION T5500工作站和具有2個CPU處理器的HP Z820工作站，選取不同數(shù)量線程數(shù)和超線程激活前后開展測試，得出相關(guān)的對比數(shù)據(jù)和經(jīng)驗.

NUMECA是總部位于比利時布魯塞爾市的NUMECA國際公司的產(chǎn)品，該公司于1992年在國際著名葉輪機械氣體動力學(xué)及CFD專家、比利時王國科學(xué)院院士、布魯塞爾自由大學(xué)流體力學(xué)系主任查爾斯·赫思教授的倡導(dǎo)下成立，其核心軟件是在20世紀(jì)八九十年代為歐洲宇航局編寫的CFD軟件——歐洲空氣動力數(shù)值求解器——的基礎(chǔ)之上發(fā)展起來的.其分析軟件包包括FINE/Turbo，F(xiàn)INE/Marine和FINE/Open等，其中均包括前處理、求解器和后處理3個部分.本文主要采用FINE/Turbo模塊完成相關(guān)的計算測試工作.

1測試模型

在測試研究過程中共采用4種計算網(wǎng)格模型.

1）模型1選取長輸管線輸油泵國產(chǎn)化項目的雙吸葉輪與導(dǎo)葉單通道網(wǎng)格計算模型，見圖1，在DELL PRECISION T5500工作站平臺上，開展在激活超線程的情況下單點計算與多點并行計算速度測試研究，網(wǎng)格節(jié)點數(shù)約為293.4萬個.

圖 1測試模型1

Fig.1Test model 1

2）模型2為國家重大專項“CAP 1400屏蔽電機主泵研制”項目研制過程中的CAP 1400屏蔽電機主泵水力模型的全通道網(wǎng)格計算模型，見圖2.開展CPU在超線程激活前后計算速度差異情況的研究，網(wǎng)格節(jié)點數(shù)約為1 962.6萬個.

3）模型3以模型2為基礎(chǔ)，在HP Z820工作站雙CPU平臺上對網(wǎng)格數(shù)量進(jìn)行調(diào)整，得到網(wǎng)格節(jié)點數(shù)約為3 354萬個.

4）模型4為AP 1000屏蔽電機主泵研究迷宮密封的網(wǎng)格模型，見圖3.在HP Z820工作站雙CPU平臺上對網(wǎng)格數(shù)量進(jìn)行調(diào)整，網(wǎng)格節(jié)點數(shù)約為2 236萬個.

圖 2測試模型2

Fig.2Test model 2

圖 3測試模型4

Fig.3Test model 4

2測試硬件

NUMECA軟件單點硬件平臺為DELL PRECISION T5500機型，Red Hat 6.0系統(tǒng)，CPU為Intel（R） Xeon（R） X5650@2.67 GHz，內(nèi)核數(shù)為6個，超線程12個，內(nèi)存48 GiB，硬盤2 TiB；并行計算測試硬件平臺為HP Z820機型，Red Hat 6.0系統(tǒng)，CPU為Intel Xeon E52667 v2 3.30 GHz，內(nèi)核數(shù)為16個，超線程32個，內(nèi)存64 GiB，硬盤2 TiB.

3計算測試

在激活超線程狀態(tài)下采用DELL PRECISION T5500完成單線程與多線程測試工作，共完成單節(jié)點、2個節(jié)點、4個節(jié)點、8個節(jié)點與10個節(jié)點的并行計算測試.計算的收斂曲線見圖4，其中粗網(wǎng)格疊代2次，每次500步，細(xì)網(wǎng)格計算共完成6 000步.模型1并行計算統(tǒng)計表見表1，可知計算耗時主要集中在細(xì)網(wǎng)格計算部分.計算公式為TS=T0÷6 000（1）

V=60÷TS（2）式中：TS為細(xì)網(wǎng)格單位步數(shù)耗時，s/步；T0為6 000步細(xì)網(wǎng)格的總耗時，s；V為計算速度，步/min.由表1可知，隨著計算節(jié)點數(shù)的增加：在計算節(jié)點數(shù)小于6個的范圍內(nèi)，計算速度基本呈線性增加的趨勢，超過6個以后計算速度的增速放緩，見圖5a.初步分析這種現(xiàn)象產(chǎn)生的原因為實際參加計算的線程數(shù)超過CPU的物理核心數(shù)所致.圖5b可以進(jìn)一步驗證上述分析，圖中5個節(jié)點的數(shù)據(jù)來源于表1中的10個并行節(jié)點數(shù)的數(shù)據(jù).由此可以認(rèn)為在使用NUMECA開展相關(guān)的多節(jié)點并行數(shù)值計算時，其計算速度與實際參加并行計算的CPU物理核心數(shù)量成正比關(guān)系.

圖 4測試模型1的收斂曲線

Fig.4Convergence curve of test model 1

表 1測試模型1并行計算統(tǒng)計表

Tab.1Parallel computing statistics of test model 1方案12345節(jié)點數(shù)/個1248102層粗網(wǎng)格總耗時T2/s131704140321層粗網(wǎng)格總耗時T1/s1 626869494465384T0/（s/步）189 690100 31656 61052 13444 084Ts/（s/步）31.316.69.48.67.3V/（步/min）1.93.66.478.2endprint

a）曲線1b）曲線2圖 5測試模型1計算速度曲線

Fig.5Computation speed curves of test model 1

在未激活超線程的情況下，在HP Z820工作站上開展模型3的速度測試，測試結(jié)果顯示計算速度與并行節(jié)點數(shù)基本呈線性關(guān)系，在并行節(jié)點數(shù)為14時計算速度達(dá)到3.8 步/min，具體見圖6.為進(jìn)一步驗證，在HP Z820工作站上繼續(xù)開展模型4的速度測試，測試結(jié)果顯示計算速度與并行節(jié)點數(shù)也基本呈線性關(guān)系，在并行節(jié)點數(shù)為14時計算速度約4.9 步/min，具體見圖7.圖 6測試模型3的速度曲線

Fig.6Computation speed curve of test model 3

圖 7測試模型4速度曲線

Fig.7Computation speed curve of test model 4

為進(jìn)一步研究計算工作站在激活超線程前后的速度差異，采用圖2測試模型2及DELL PRECISION T5500工作站完成相關(guān)的對比測試.在未激活超線程的情況下，并行計算采用5個計算節(jié)點，在激活超線程的情況下，并行計算采用11個節(jié)點.計算結(jié)果見表2，可知方案2的每步耗時高于方案1約10.7%，方案1實際參加計算的物理核數(shù)為5.5，這與計算機CPU實際參加計算的物理核心數(shù)的比例關(guān)系基本一致，相差基本為10%.

表 2超線程激活前后的測試結(jié)果

Tab.2Test results before and after hyperthread is activated方案總線程

數(shù)/個計算用線

程數(shù)/個細(xì)網(wǎng)格計算

100步時間/s細(xì)網(wǎng)格每

步耗時/s備注112113 167.131.7超線程2653 513.435.1常規(guī)

4結(jié)論

通過在多核CPU的計算工作站平臺上使用NUMECA進(jìn)行2種情況下并行計算的對比分析，可以得出如下結(jié)論.

1）無論計算模型網(wǎng)格有多少，其計算速度與實際參加并行計算的CPU物理核心數(shù)基本上成正比關(guān)系.

2）在激活超線程的情況下，多任務(wù)計算工作站使用的并行計算節(jié)點數(shù)在超過實際物理核心數(shù)后會明顯地降低計算速度的提升.

3）在CPU未滿負(fù)荷運行且參與計算的物理核心數(shù)相同的情況下，計算工作站的CPU在超線程激活前后，其并行計算的速度基本一致.參考文獻(xiàn)：

[1]李鵬， 邵明剛. 并行計算技術(shù)[J]. 中國科技信息， 2006（7）： 254255.

LI Peng， SHAO Minggang. Parallel computing technologies[J]. China Sci & Technol Inform， 2006（7）： 254255.

[2]胡峰， 胡保生. 并行計算技術(shù)與并行算法綜述[J]. 電腦與信息技術(shù)， 1999， 7（5）： 4759.

HU Feng， HU Baosheng. Overview on parallel computing technologies and parallel algorithm[J]. Comput & Inform Technol， 1999， 7（5）： 4759.

[3]何有世， 袁壽其， 王大承， 等. 計算流體力學(xué)CFD中的迭代法及其并行計算方法[J]. 中國安全科學(xué)學(xué)報， 2002， 12（3）： 4345.

HE Youshi， Yuan Shouqi， WANG Dacheng， et al. Iteration and its parallel computation in computational fluid dynamics[J]. China Safety Sci J， 2002， 12（3）： 4345.

[4]李珊珊， 錢大琳. 基于多核并行計算技術(shù)的混合交通微觀仿真[J]. 中南大學(xué)學(xué)報： 自然科學(xué)版， 2012， 43（12）： 49314938.

LI Shanshan， QIAN Dalin. Mixed traffic microscopic simulation based on multicore parallel computing technology[J]. J Central South Univ： Nat Sci， 2012， 43（12）： 49314938.

[5]NAGLE K， RICKERT M. Parallel implementation of TRANSIMS microsimulation[J]. Parallel Computing， 2001， 27（12）： 16111639.

[6]侯中喜， 王承堯， 梁劍寒. 面向?qū)ο蠹夹g(shù)在CFD分區(qū)并行計算中的應(yīng)用研究[J]. 空氣動力學(xué)學(xué)報， 2002， 20（S1）： 4551.

HOU Zhongxi， WANG Chengyao， LIAN Jianhan. The study of objectoriented technology applied in zone divided parallel calculation in CFD[J]. Acta Aerodynamica Sinica， 2002， 20（S1）： 4551.

[7]狄鵬. Grbner基生成算法的并行[D]. 西安： 西安電子科技大學(xué)， 2008年.

（編輯武曉英）endprint

a）曲線1b）曲線2圖 5測試模型1計算速度曲線

Fig.5Computation speed curves of test model 1

在未激活超線程的情況下，在HP Z820工作站上開展模型3的速度測試，測試結(jié)果顯示計算速度與并行節(jié)點數(shù)基本呈線性關(guān)系，在并行節(jié)點數(shù)為14時計算速度達(dá)到3.8 步/min，具體見圖6.為進(jìn)一步驗證，在HP Z820工作站上繼續(xù)開展模型4的速度測試，測試結(jié)果顯示計算速度與并行節(jié)點數(shù)也基本呈線性關(guān)系，在并行節(jié)點數(shù)為14時計算速度約4.9 步/min，具體見圖7.圖 6測試模型3的速度曲線

Fig.6Computation speed curve of test model 3

圖 7測試模型4速度曲線

Fig.7Computation speed curve of test model 4

為進(jìn)一步研究計算工作站在激活超線程前后的速度差異，采用圖2測試模型2及DELL PRECISION T5500工作站完成相關(guān)的對比測試.在未激活超線程的情況下，并行計算采用5個計算節(jié)點，在激活超線程的情況下，并行計算采用11個節(jié)點.計算結(jié)果見表2，可知方案2的每步耗時高于方案1約10.7%，方案1實際參加計算的物理核數(shù)為5.5，這與計算機CPU實際參加計算的物理核心數(shù)的比例關(guān)系基本一致，相差基本為10%.

表 2超線程激活前后的測試結(jié)果

Tab.2Test results before and after hyperthread is activated方案總線程

數(shù)/個計算用線

程數(shù)/個細(xì)網(wǎng)格計算

100步時間/s細(xì)網(wǎng)格每

步耗時/s備注112113 167.131.7超線程2653 513.435.1常規(guī)

4結(jié)論

通過在多核CPU的計算工作站平臺上使用NUMECA進(jìn)行2種情況下并行計算的對比分析，可以得出如下結(jié)論.

1）無論計算模型網(wǎng)格有多少，其計算速度與實際參加并行計算的CPU物理核心數(shù)基本上成正比關(guān)系.

2）在激活超線程的情況下，多任務(wù)計算工作站使用的并行計算節(jié)點數(shù)在超過實際物理核心數(shù)后會明顯地降低計算速度的提升.

3）在CPU未滿負(fù)荷運行且參與計算的物理核心數(shù)相同的情況下，計算工作站的CPU在超線程激活前后，其并行計算的速度基本一致.參考文獻(xiàn)：

[1]李鵬， 邵明剛. 并行計算技術(shù)[J]. 中國科技信息， 2006（7）： 254255.

LI Peng， SHAO Minggang. Parallel computing technologies[J]. China Sci & Technol Inform， 2006（7）： 254255.

[2]胡峰， 胡保生. 并行計算技術(shù)與并行算法綜述[J]. 電腦與信息技術(shù)， 1999， 7（5）： 4759.

HU Feng， HU Baosheng. Overview on parallel computing technologies and parallel algorithm[J]. Comput & Inform Technol， 1999， 7（5）： 4759.

[3]何有世， 袁壽其， 王大承， 等. 計算流體力學(xué)CFD中的迭代法及其并行計算方法[J]. 中國安全科學(xué)學(xué)報， 2002， 12（3）： 4345.

HE Youshi， Yuan Shouqi， WANG Dacheng， et al. Iteration and its parallel computation in computational fluid dynamics[J]. China Safety Sci J， 2002， 12（3）： 4345.

[4]李珊珊， 錢大琳. 基于多核并行計算技術(shù)的混合交通微觀仿真[J]. 中南大學(xué)學(xué)報： 自然科學(xué)版， 2012， 43（12）： 49314938.

LI Shanshan， QIAN Dalin. Mixed traffic microscopic simulation based on multicore parallel computing technology[J]. J Central South Univ： Nat Sci， 2012， 43（12）： 49314938.

[5]NAGLE K， RICKERT M. Parallel implementation of TRANSIMS microsimulation[J]. Parallel Computing， 2001， 27（12）： 16111639.

[6]侯中喜， 王承堯， 梁劍寒. 面向?qū)ο蠹夹g(shù)在CFD分區(qū)并行計算中的應(yīng)用研究[J]. 空氣動力學(xué)學(xué)報， 2002， 20（S1）： 4551.

HOU Zhongxi， WANG Chengyao， LIAN Jianhan. The study of objectoriented technology applied in zone divided parallel calculation in CFD[J]. Acta Aerodynamica Sinica， 2002， 20（S1）： 4551.

[7]狄鵬. Grbner基生成算法的并行[D]. 西安： 西安電子科技大學(xué)， 2008年.

（編輯武曉英）endprint

a）曲線1b）曲線2圖 5測試模型1計算速度曲線

Fig.5Computation speed curves of test model 1

在未激活超線程的情況下，在HP Z820工作站上開展模型3的速度測試，測試結(jié)果顯示計算速度與并行節(jié)點數(shù)基本呈線性關(guān)系，在并行節(jié)點數(shù)為14時計算速度達(dá)到3.8 步/min，具體見圖6.為進(jìn)一步驗證，在HP Z820工作站上繼續(xù)開展模型4的速度測試，測試結(jié)果顯示計算速度與并行節(jié)點數(shù)也基本呈線性關(guān)系，在并行節(jié)點數(shù)為14時計算速度約4.9 步/min，具體見圖7.圖 6測試模型3的速度曲線

Fig.6Computation speed curve of test model 3

圖 7測試模型4速度曲線

Fig.7Computation speed curve of test model 4

為進(jìn)一步研究計算工作站在激活超線程前后的速度差異，采用圖2測試模型2及DELL PRECISION T5500工作站完成相關(guān)的對比測試.在未激活超線程的情況下，并行計算采用5個計算節(jié)點，在激活超線程的情況下，并行計算采用11個節(jié)點.計算結(jié)果見表2，可知方案2的每步耗時高于方案1約10.7%，方案1實際參加計算的物理核數(shù)為5.5，這與計算機CPU實際參加計算的物理核心數(shù)的比例關(guān)系基本一致，相差基本為10%.

表 2超線程激活前后的測試結(jié)果

Tab.2Test results before and after hyperthread is activated方案總線程

數(shù)/個計算用線

程數(shù)/個細(xì)網(wǎng)格計算

100步時間/s細(xì)網(wǎng)格每

步耗時/s備注112113 167.131.7超線程2653 513.435.1常規(guī)

4結(jié)論

通過在多核CPU的計算工作站平臺上使用NUMECA進(jìn)行2種情況下并行計算的對比分析，可以得出如下結(jié)論.

1）無論計算模型網(wǎng)格有多少，其計算速度與實際參加并行計算的CPU物理核心數(shù)基本上成正比關(guān)系.

2）在激活超線程的情況下，多任務(wù)計算工作站使用的并行計算節(jié)點數(shù)在超過實際物理核心數(shù)后會明顯地降低計算速度的提升.

3）在CPU未滿負(fù)荷運行且參與計算的物理核心數(shù)相同的情況下，計算工作站的CPU在超線程激活前后，其并行計算的速度基本一致.參考文獻(xiàn)：

[1]李鵬， 邵明剛. 并行計算技術(shù)[J]. 中國科技信息， 2006（7）： 254255.

LI Peng， SHAO Minggang. Parallel computing technologies[J]. China Sci & Technol Inform， 2006（7）： 254255.

[2]胡峰， 胡保生. 并行計算技術(shù)與并行算法綜述[J]. 電腦與信息技術(shù)， 1999， 7（5）： 4759.

HU Feng， HU Baosheng. Overview on parallel computing technologies and parallel algorithm[J]. Comput & Inform Technol， 1999， 7（5）： 4759.

[3]何有世， 袁壽其， 王大承， 等. 計算流體力學(xué)CFD中的迭代法及其并行計算方法[J]. 中國安全科學(xué)學(xué)報， 2002， 12（3）： 4345.

HE Youshi， Yuan Shouqi， WANG Dacheng， et al. Iteration and its parallel computation in computational fluid dynamics[J]. China Safety Sci J， 2002， 12（3）： 4345.

[4]李珊珊， 錢大琳. 基于多核并行計算技術(shù)的混合交通微觀仿真[J]. 中南大學(xué)學(xué)報： 自然科學(xué)版， 2012， 43（12）： 49314938.

LI Shanshan， QIAN Dalin. Mixed traffic microscopic simulation based on multicore parallel computing technology[J]. J Central South Univ： Nat Sci， 2012， 43（12）： 49314938.

[5]NAGLE K， RICKERT M. Parallel implementation of TRANSIMS microsimulation[J]. Parallel Computing， 2001， 27（12）： 16111639.

[6]侯中喜， 王承堯， 梁劍寒. 面向?qū)ο蠹夹g(shù)在CFD分區(qū)并行計算中的應(yīng)用研究[J]. 空氣動力學(xué)學(xué)報， 2002， 20（S1）： 4551.

HOU Zhongxi， WANG Chengyao， LIAN Jianhan. The study of objectoriented technology applied in zone divided parallel calculation in CFD[J]. Acta Aerodynamica Sinica， 2002， 20（S1）： 4551.

[7]狄鵬. Grbner基生成算法的并行[D]. 西安： 西安電子科技大學(xué)， 2008年.

（編輯武曉英）endprint