張來平，鄧小剛，何 磊，李 明，赫 新1，

（1.中國空氣動力研究與發(fā)展中心空氣動力學(xué)國家重點實驗室，四川綿陽 621000；2.中國空氣動力研究與發(fā)展中心計算空氣動力研究所，四川綿陽 621000；3.國防科學(xué)技術(shù)大學(xué)，湖南長沙 410073）

E級計算給CFD帶來的機(jī)遇與挑戰(zhàn)

張來平1，2，＊，鄧小剛1，3，何 磊2，李 明2，赫 新1，2

（1.中國空氣動力研究與發(fā)展中心空氣動力學(xué)國家重點實驗室，四川綿陽 621000；2.中國空氣動力研究與發(fā)展中心計算空氣動力研究所，四川綿陽 621000；3.國防科學(xué)技術(shù)大學(xué)，湖南長沙 410073）

E級（Exascale）計算機(jī)有望在2020年前后投入使用，E級計算將給計算科學(xué)和科學(xué)研究帶來革命性的變化。計算流體力學(xué)（CFD）作為超大規(guī)模計算機(jī)應(yīng)用的重要領(lǐng)域之一，將迎來前所未有的發(fā)展機(jī)遇，同時也將面臨極其嚴(yán)峻的技術(shù)挑戰(zhàn)。本文對當(dāng)前國內(nèi)外超大規(guī)模CFD計算的現(xiàn)狀進(jìn)行了概述，探討了未來CFD的發(fā)展趨勢，并對E級計算給CFD帶來的機(jī)遇與挑戰(zhàn)進(jìn)行了分析，最后提出了適應(yīng)未來E級計算的CFD發(fā)展思路與建議。為了實現(xiàn)E級計算的宏偉目標(biāo)，CFD與計算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)等學(xué)科的“協(xié)同設(shè)計”勢在必行。我們期待本文的分析能對我國的高性能計算應(yīng)用、CFD發(fā)展有一定的啟示作用。

E級計算；高性能并行計算；計算流體力學(xué)

0 引言：計算科學(xué)及CFD的重要性

2005年，美國總統(tǒng)信息技術(shù)咨詢委員會的報告《計算科學(xué)：確保美國競爭力》［1］中指出：計算科學(xué)是提升國家競爭力的關(guān)鍵技術(shù)之一；21世紀(jì)最偉大的科學(xué)突破將是大型計算科學(xué)所獲得的成就；計算科學(xué)等同于理論、實驗，已成為科學(xué)探索的第三大支柱。

計算科學(xué)與天體物理、核物理、天氣預(yù)報、生物醫(yī)藥、海洋工程、石油勘探等領(lǐng)域的結(jié)合，推動了這些領(lǐng)域的飛速發(fā)展。流體力學(xué)及空氣動力學(xué)與計算科學(xué)的結(jié)合催生了計算流體力學(xué)（CFD）的誕生。經(jīng)過半個多世紀(jì)的發(fā)展，CFD已經(jīng)在以航空航天為代表的諸多工業(yè)領(lǐng)域得到成功的應(yīng)用［2－4］，并在流體力學(xué)和空氣動力學(xué)學(xué)科發(fā)展中發(fā)揮著越來越重要的作用。相對于空氣動力學(xué)研究的其它兩種手段（風(fēng)洞試驗和模型飛行試驗），其突出優(yōu)勢主要體現(xiàn)為：

1）由CFD軟件和高性能計算機(jī)相結(jié)合而形成的“數(shù)值風(fēng)洞”能夠快速提供飛行器氣動性能分析、結(jié)構(gòu)／飛控設(shè)計所需要的基礎(chǔ)數(shù)據(jù)，進(jìn)而節(jié)省研究費用，縮短設(shè)計周期；

2）高精度CFD軟件可以提供流場細(xì)節(jié)數(shù)據(jù)，便于流動機(jī)理分析，在空氣動力學(xué)基礎(chǔ)研究及飛行器關(guān)鍵氣動技術(shù)攻關(guān)方面可以發(fā)揮重要作用；

3）精細(xì)的CFD數(shù)值模擬可以為風(fēng)洞試驗及風(fēng)洞試驗技術(shù)發(fā)展提供支撐，如為天平和支架設(shè)計提供載荷估計，研究更加精細(xì)的洞壁和支架干擾修正方法，對風(fēng)洞試驗結(jié)果進(jìn)行天地?fù)Q算等；

4）以CFD為核心的飛行器多學(xué)科多目標(biāo)優(yōu)化設(shè)計是未來飛行器設(shè)計的重要發(fā)展方向，其將引發(fā)飛行器設(shè)計模式的變革，“數(shù)值優(yōu)化設(shè)計”的實現(xiàn)將全面提升飛行器綜合設(shè)計能力和水平；

5）CFD與飛行力學(xué)和飛行控制等學(xué)科的耦合，將可以實現(xiàn)基于CFD的“虛擬飛行試驗”，或又稱為“數(shù)值虛擬飛行”，有利于在設(shè)計初期即對控制系統(tǒng)進(jìn)行一體化優(yōu)化設(shè)計。

隨著計算機(jī)技術(shù)的飛速發(fā)展，E級（Exascale）計算機(jī)將在2020年前后投入使用，E級計算將給以CFD為代表的超大規(guī)模計算應(yīng)用帶來前所未有的發(fā)展機(jī)遇，同時也會帶來極其嚴(yán)峻的技術(shù)挑戰(zhàn)?？梢灶A(yù)期，基于CFD與E級計算機(jī)結(jié)合的“數(shù)值風(fēng)洞試驗”、“數(shù)值優(yōu)化設(shè)計”、“數(shù)值虛擬飛行”將給航空航天飛行器設(shè)計帶來革命性的變化，并將推動流體力學(xué)和空氣動力學(xué)等學(xué)科的創(chuàng)新發(fā)展。

本文將就E級計算給CFD帶來的機(jī)遇與挑戰(zhàn)展開討論。首先，對當(dāng)前國內(nèi)外超大規(guī)模CFD計算的現(xiàn)狀進(jìn)行了概述，其次分析了當(dāng)前面臨的一系列挑戰(zhàn)性問題，探討了未來CFD的發(fā)展趨勢，隨后對E級計算給CFD帶來的機(jī)遇與挑戰(zhàn)進(jìn)行了分析，最后提出了適應(yīng)未來E級計算的CFD發(fā)展思路與建議，期待以上分析與建議能對我國高性能計算機(jī)的發(fā)展、CFD的研究與應(yīng)用等有一定的啟示作用。

1 CFD對超級計算機(jī)的需求及E級計算機(jī)研制現(xiàn)狀

由于CFD所求解的問題越來越復(fù)雜，因此CFD對于計算資源的需求可謂“永無止境”。以最具代表性的復(fù)雜外形湍流數(shù)值模擬為例，由于湍流脈動從積分尺度到最小耗散尺度所涵蓋的尺度范圍很大，湍流直接數(shù)值模擬（DNS）需要目前最快的計算機(jī)都難以承受的計算量。假設(shè)問題的積分尺度為L，相應(yīng)的雷諾數(shù)為ReL，則DNS要求的空間網(wǎng)格和計算時間步數(shù)至少要達(dá)到O（Re9／4L）和O（Re1／2L）［5］。工程實際中遇到的問題通常ReL＞1.0×106，因此要求的網(wǎng)格點數(shù)應(yīng)滿足Ng＞1.0×1013，而大型飛機(jī)邊界層流動的直接數(shù)值模擬要求Ng＞1.0×1015。所以有學(xué)者早在1997年就估算，商業(yè)飛機(jī)巡航狀態(tài)一秒鐘的計算，用每秒萬億次計算機(jī)需要數(shù)千年［6］。據(jù)美國Boeing公司Edward N.Tinoco博士2009年的估計，以當(dāng)時的高性能計算機(jī)發(fā)展速度，至2080年才有可能進(jìn)行民航客機(jī)全機(jī)的DNS模擬；即便是進(jìn)行大渦模擬（LES），也要等到2045年［7］。

由于計算資源的限制，目前對于復(fù)雜飛行器的湍流數(shù)值模擬，我們?nèi)云毡椴捎美字Z平均Navier－Stokes（RANS）方法，計算網(wǎng)格規(guī)模也大多限定在千萬量級。盡管LES較DNS對計算機(jī)資源的需求小數(shù)個量級，但是即便是在當(dāng)今最快的計算機(jī)上，進(jìn)行復(fù)雜飛行器的大渦模擬也是不現(xiàn)實的。所以，近年來，發(fā)展了多種以脫體渦模擬（DES）為代表的RANS／LES混合算法［8］。然而這些方法應(yīng)用于實際復(fù)雜外形的報道亦不多見，其主要原因仍是計算量過于龐大。圖1（取自文獻(xiàn)［9］）給出了從翼型、機(jī)翼到整機(jī)三個階段氣動特性分析與設(shè)計對計算機(jī)速度和內(nèi)存的需求。從圖中可以看出，目前我們已經(jīng)可以對機(jī)翼進(jìn)行基于壁面模型的LES（WM－LES，Wallmodeled LES）或RANS／LES混合模擬，但是對于整機(jī)的WM－LES模擬（尤其是以達(dá)到設(shè)計目標(biāo)的WMLES）卻需要E級以上的計算機(jī)。

可喜的是，計算機(jī)運算速度一直在按照Moore定律飛速增長。據(jù)統(tǒng)計分析，高性能計算機(jī)的計算速度每十年將提高三個量級［10］。5年前，P級計算機(jī)（1015Flops）已研制成功并投入使用。尤其是2013年6月，我國研制的“天河二號”排名世界Top500超級計算機(jī)第一名，而且三年來穩(wěn)居第一，榮獲Top500“六連冠”。該計算機(jī)采用CPU／MIC異構(gòu)融合體系架構(gòu)，峰值性能達(dá)到5.49億億次／秒（約55P），持續(xù)性能達(dá)到3.39億億次／秒（約34P）；共有16，000個運算節(jié)點，共約312萬個計算核心?！疤旌印薄笆锕狻薄吧裢钡认盗杏嬎銠C(jī)的問世，標(biāo)志著我國高性能計算機(jī)研制能力與水平已躋身國際前列。

圖1 翼型、機(jī)翼和整機(jī)分析與設(shè)計對計算機(jī)速度和內(nèi)存的需求（取自文獻(xiàn)［9］）Fig.1 Computer speed and memory requirements for analysis and design of airfoils，wings，and complete aircraft for three different stages of approximation（From Ref.［9］）

當(dāng)前，世界各國均將E級計算作為下一個努力爭奪的戰(zhàn)略高地［10］。美國對E級計算機(jī)的研制高度重視，總統(tǒng)奧巴馬在“Strategy for American Innovation”計劃中，將E級計算列為21世紀(jì)美國最主要的技術(shù)挑戰(zhàn)。2011年12月美國國會通過美國能源部科研經(jīng)費申請，提供1.26億美元用于E級計算研究（不含E級計算機(jī)的建設(shè)經(jīng)費）。美國國防部高級研究計劃署（DARPA）提出：研究新的計算架構(gòu)和編程模型，計劃于2018年完成E級原型系統(tǒng)研制。2014年11月在全球超級計算機(jī)Top500榜單發(fā)布前夕，美國能源部發(fā)布了“珊瑚計劃”，將投資3.25億美元建設(shè)兩臺100P－150P量級的超級計算機(jī)，另投入1億美元用于應(yīng)用軟件的開發(fā)與升級。計算機(jī)強國日本也不甘落后，2011年11月，實現(xiàn)首臺萬萬億次（10.51P）計算機(jī)“京”（K－Computer）。與此同時，日本政府于2011年投資13億美元用于E級計算機(jī)的研究，預(yù)計于2020年前實現(xiàn)他們的E級計算機(jī)。歐盟集歐洲各國的力量，力爭持續(xù)增強自身的競爭力。2010年，歐洲將E級計算納入其第七框架計劃，為泛歐E級高性能計算服務(wù)的實現(xiàn)制定了路線圖并開展研制；歐洲巴塞羅那超算中心計劃在近期構(gòu)建性能高于200P的計算機(jī)系統(tǒng)［11］。俄羅斯作為一個超級大國，也已實施“2012－2020俄羅斯E級技術(shù)發(fā)展”計劃，計劃投資15億美元，于2020年前實現(xiàn)E級計算機(jī)［11］。亞洲鄰國印度不甘示弱，計劃投資20億美元，于2017年建成世界最快的高性能計算機(jī)。我國政府對E級計算也高度重視，國家科技部等機(jī)構(gòu)對E級計算機(jī)及相關(guān)領(lǐng)域應(yīng)用軟件開發(fā)給予了持續(xù)投入，“天河二號”有望在近期升級至100P，而E級高性能計算機(jī)的研制亦正在緊鑼密鼓地進(jìn)行。盡管E級計算機(jī)研制本身仍存在較多的技術(shù)瓶頸，尤其是能耗問題，預(yù)期研制進(jìn)度（2020年）有可能推遲，但是2025年前投入使用，2030年前提供穩(wěn)定應(yīng)用應(yīng)該沒有問題。

高性能計算機(jī)的迅猛發(fā)展為計算科學(xué)和科學(xué)研究提供了前所未有的發(fā)展機(jī)遇。當(dāng)我們?yōu)槲覈诟咝阅苡嬎銠C(jī)領(lǐng)域取得的輝煌成就而歡欣鼓舞時，我們應(yīng)該清晰地認(rèn)識到，我國在以CFD為代表的大規(guī)模應(yīng)用軟件的開發(fā)方面，與西方發(fā)達(dá)國家相比仍有很大的差距。這一差距使得我國的高性能計算機(jī)尚未能充分發(fā)揮應(yīng)有的作用。

2 國內(nèi)外超大規(guī)模CFD計算現(xiàn)狀與面臨的挑戰(zhàn)

目前，大規(guī)模CFD模擬已在以航空航天為代表的工業(yè)領(lǐng)域得到廣泛應(yīng)用［2－4］。在美歐等航空航天強國，基于大量風(fēng)洞試驗的氣動設(shè)計傳統(tǒng)模式，正在向以CFD為核心的多學(xué)科多目標(biāo)優(yōu)化設(shè)計并經(jīng)風(fēng)洞試驗驗證的新模式轉(zhuǎn)化。從國內(nèi)外發(fā)展趨勢來看，CFD在飛行器設(shè)計中發(fā)揮的作用日益凸顯，據(jù)文獻(xiàn)顯示，在美國航空航天飛行器研制中，CFD占整個氣動研究工作的比重已達(dá)50%左右，而波音公司CFD在氣動設(shè)計工作中的比重更是達(dá)到70%［12］。目前，以二階精度計算格式為基礎(chǔ)的CFD軟件在模擬能力、數(shù)據(jù)質(zhì)量和生產(chǎn)效率等方面已能基本滿足飛行器常規(guī)狀態(tài)氣動特性預(yù)測的需求。就飛行器常規(guī)狀態(tài)的CFD數(shù)值模擬而言，西方先進(jìn)國家的計算網(wǎng)格規(guī)模已達(dá)數(shù)千萬，部分達(dá)到數(shù)億量級（主要用于RANS模擬），少量達(dá)到百億量級以上（如在第八屆國際計算流體力學(xué)會議上，日本學(xué)者Kato教授介紹了他們采用320億網(wǎng)格在“京”超級計算機(jī)上進(jìn)行汽車LES的應(yīng)用實例［13］）；在運算處理器（Processing Unit or Computing Core）規(guī)模方面，一般為數(shù)百至數(shù)千核，少量達(dá)到數(shù)萬甚至數(shù)十萬以上；在計算模型或方法方面，仍普遍采用RANS模型，部分采用URANS、RANS／LES（或DES）等模型，少量采用了LES模型。在基礎(chǔ)研究領(lǐng)域，關(guān)于湍流的直接數(shù)值模擬（DNS），其計算網(wǎng)格規(guī)模已達(dá)數(shù)十億，甚至上千億，如美國于2013年在激波與各向同性湍流相互干擾的數(shù)值模擬中采用了4.1T（1012）網(wǎng)格、利用了197萬個核進(jìn)行超大規(guī)模的并行計算［14－15］。

在國內(nèi)，由于計算機(jī)資源的限制，對于中等復(fù)雜程度的飛行器構(gòu)型（如機(jī)動導(dǎo)彈），一般采用數(shù)百萬的計算網(wǎng)格；對于復(fù)雜的全機(jī)構(gòu)型（如C919民航客機(jī)），網(wǎng)格規(guī)模也已達(dá)到數(shù)千萬；對于極少數(shù)的極端復(fù)雜外形（如16車編組高速列車），網(wǎng)格規(guī)模達(dá)到6.5億。在運算處理器規(guī)模方面，由于條件的限制，一般采用數(shù)十至數(shù)百核進(jìn)行分區(qū)并行計算；個別算例進(jìn)行過數(shù)萬至十余萬核的并行測試。例如，中國空氣動力研究與發(fā)展中心計算空氣動力研究所于2014年初曾在廣州超算中心的“天河二號”上，利用自主開發(fā)的CFD軟件平臺，進(jìn)行過十三萬純CPU核的并行測試；中國科學(xué)院軟件研究所于2014年在“天河二號”上實現(xiàn)了6144個異構(gòu)計算節(jié)點（14.7萬CPU核＋105.1萬MIC核）的區(qū)域歐拉中尺度大氣模擬［16］。

總體而言，經(jīng)過半個多世紀(jì)的發(fā)展，CFD已在很多領(lǐng)域得到成功應(yīng)用，并呈現(xiàn)蓬勃發(fā)展的強勁勢頭。但是我們應(yīng)清醒地認(rèn)識到，CFD在許多方面仍存在極大的挑戰(zhàn)［4，17－18］，比如：1）飛行器全包線的高保真度氣動特性模擬，尤其是帶動力飛行器在全包線內(nèi)的大渦模擬；2）耦合飛行控制律、飛行力學(xué)、結(jié)構(gòu)動力學(xué)的動態(tài)數(shù)值模擬，即所謂的“數(shù)值虛擬飛行”；3）動力系統(tǒng)（發(fā)動機(jī)）的真實物理／化學(xué)過程的數(shù)值模擬，尤其是渦扇發(fā)動機(jī)非設(shè)計狀態(tài)的瞬態(tài)模擬；4）以CFD為核心的飛行器多學(xué)科多目標(biāo)優(yōu)化設(shè)計（MDAO）和概率設(shè)計；5）基于CFD的飛行器氣動聲學(xué)特性直接數(shù)值模擬；6）高超聲速飛行器氣動熱環(huán)境／熱響應(yīng)／熱應(yīng)力等多物理場的一體化耦合計算，等等。當(dāng)然，這些僅是部分具有代表性的挑戰(zhàn)性問題，更多挑戰(zhàn)性的問題絕非僅限于此。以下就上述挑戰(zhàn)性問題進(jìn)行簡要分析。

2.1 飛行器全包線的高保真度氣動特性模擬

在最簡單的應(yīng)用中，通過計算確定整個飛行包線相關(guān)參數(shù)點上的氣動力和力矩，可以獲得純靜態(tài)的氣動數(shù)據(jù)庫。飛行包線參數(shù)空間可以分為流動參數(shù)和幾何參數(shù)。例如，流動參數(shù)一般包括Mach數(shù)、迎角和側(cè)滑角等；幾何參數(shù)包括各種控制面的偏角，例如副翼、升降舵、方向舵等。如果我們假設(shè)對于每個參數(shù)需要5個狀態(tài)的計算結(jié)果（往往遠(yuǎn)不止五個狀態(tài)），需要計算的參數(shù)矩陣大小將是5p，其中p＝參數(shù)個數(shù)。如果考慮更多的物理參數(shù)或更復(fù)雜的氣動效應(yīng)，如發(fā)動機(jī)推力裝置、Re數(shù)效應(yīng)等，需要模擬的狀態(tài)總數(shù)將很容易達(dá)到百萬量級［4］。因此對計算機(jī)在短時間內(nèi)提供百萬量級狀態(tài)計算結(jié)果的“容量計算”能力提出了很高的要求。

在P級計算機(jī)問世前的2004－2005年，美國CFD專家利用他們當(dāng)時最為成熟的CFD軟件（Cart3D和OVERFLOW），在當(dāng)時NASA最先進(jìn)的SGI工作站（256CPU，400MHz MIPS4處理器）上，一周的時間也只能進(jìn)行2863個無粘流狀態(tài)（140萬Cartesian網(wǎng)格）和211個定常粘性流狀態(tài)（850萬重疊結(jié)構(gòu)網(wǎng)格）的計算［4，19］。

因此，對于上百萬狀態(tài)的氣動數(shù)據(jù)庫建設(shè)，即便是在現(xiàn)有的P級計算機(jī)上，采用完全的RANS模擬也是非常困難的，更不要說RANS／LES和LES了。鑒于當(dāng)前計算機(jī)資源的限制，目前常用的做法是利用高效的低保真度計算方法（如Euler方程流場解算器，甚至面元法等）建立基礎(chǔ)數(shù)據(jù)庫，然后利用高保真度方法（RANS方法等）進(jìn)行典型狀態(tài)的差量計算（一般取數(shù)千個狀態(tài)），確定粘性干擾效應(yīng)、真實氣體效應(yīng)、稀薄氣體效應(yīng)等的影響差量，進(jìn)而修正低保真度計算結(jié)果。當(dāng)然，利用現(xiàn)代試驗設(shè)計方法，可以大幅減少計算狀態(tài)，但是高保真度的氣動數(shù)據(jù)庫建設(shè)仍需要充分的氣動數(shù)據(jù)，因此計算量無疑是巨大的。

由此可見，E級計算機(jī)的問世將為我們提供更加強大的計算資源，解決眾多狀態(tài)中等規(guī)模（數(shù)千萬網(wǎng)格、數(shù)百至數(shù)千核）并行的“容量”計算問題。然而典型狀態(tài)的“能力”計算（如帶動力飛機(jī)全機(jī)構(gòu)型的大渦模擬）仍是重大挑戰(zhàn)性問題之一［17］。在這種情況下，CFD的模擬能力集中體現(xiàn)在能否準(zhǔn)確模擬飛行包線關(guān)鍵點處繞復(fù)雜飛機(jī)構(gòu)型的流動，如低速起飛和著陸狀態(tài)、跨聲速抖振、大迎角大范圍流動分離等。在這些情況下，氣動性能高度依賴于湍流現(xiàn)象，如流動分離和激波－邊界層干擾的預(yù)測。顯然，為實現(xiàn)該目標(biāo)，僅靠高性能計算的進(jìn)步并不足以解決這一重大挑戰(zhàn)問題，必須在計算方法、物理模型等方面持續(xù)改進(jìn)，同時研發(fā)適應(yīng)超大規(guī)模計算平臺、經(jīng)過全局優(yōu)化的流場解算器。

2.2 數(shù)值虛擬飛行一體化模擬

更加具有挑戰(zhàn)性的問題是時間相關(guān)的機(jī)動飛行器動態(tài)模擬，即所謂的耦合了“氣動／運動／控制／結(jié)構(gòu)／動力”等因素的“數(shù)值虛擬飛行”一體化模擬（Virtual Flight Simulation或Digital Flight）［18］。對比前面討論的靜態(tài)氣動數(shù)據(jù)庫方法，這里的全飛行包線氣動特性是無法預(yù)先得到的。每次單個動作的機(jī)動和軌道運動將需要一次全新的時間相關(guān)計算。該方法的優(yōu)點在于它能精確地計算在飛行包線內(nèi)目標(biāo)區(qū)域的全動態(tài)、非線性和多學(xué)科耦合效應(yīng)，但是這反過來對單個解算器的效率和多學(xué)科耦合計算方法提出了更高的要求，而且動態(tài)模擬也極大地增大了計算量。

據(jù)2006年的文獻(xiàn)介紹［18］，利用當(dāng)時最新的CFD解算器（TLNS3D）和最先進(jìn)的硬件設(shè)備（NASA的Columbia超級計算機(jī)），對某飛行器60秒飛行時間的模擬大約需要512個CPU運行1.5天（網(wǎng)格規(guī)模5千萬，時間分辨率50Hz）。如果增加空間分辨率或提高時間分辨率，或者延長模擬的飛行時間，亦或考慮其他更多的物理效應(yīng)（如結(jié)構(gòu)分析、氣動加熱等），計算時間很容易就增長1個以上的量級。很顯然，現(xiàn)有計算機(jī)硬件的計算能力無法滿足“數(shù)值虛擬飛行”在數(shù)小時內(nèi)完成模擬任務(wù)的實際需求。

盡管現(xiàn)有計算方法的保真度在網(wǎng)格分辨率、模型復(fù)雜度、多學(xué)科耦合等方面還達(dá)不到我們期待的要求，但是最近的研究表明：在現(xiàn)有的P級計算機(jī)上進(jìn)行機(jī)動飛行器的多學(xué)科耦合動態(tài)模擬仍是可能的，而E級計算更為數(shù)值虛擬飛行提供了堅實的后盾。自2007年始，美國國防部高性能計算現(xiàn)代化計劃（DoD HPCMP）開始實施總投資達(dá)3.6億美元的雄心勃勃的CREATE項目（Computational Research and Engineering Acquisition Tools and Environment）。該項目旨在研發(fā)關(guān)于艦船、飛機(jī)、雷達(dá)等的設(shè)計和分析軟件系統(tǒng)［20－21］。其中關(guān)于飛行器的分項名為CREATE－AV，其又包括四個子項，即：直升機(jī)虛擬模擬工具（Helios）、固定翼飛機(jī)虛擬模擬工具（Kestrel）、機(jī)體／推進(jìn)一體化模擬工具（Firebolt）和概念設(shè)計工具（DaVinci）。該項目計劃持續(xù)12年，從2010年開始每個子系統(tǒng)每年推出一個升級版本。與固定翼飛行器虛擬飛行直接相關(guān)的是Kestrel軟件系統(tǒng)，其目的是建立耦合空氣動力學(xué)、結(jié)構(gòu)動力學(xué)、飛行動力學(xué)和運動學(xué)的一體化模擬平臺。在研發(fā)過程中，他們利用該軟件對F16C、F／A－18E、F－22等先進(jìn)戰(zhàn)斗機(jī)進(jìn)行了大量的靜動態(tài)氣動特性模擬及氣動力建模分析，并將CFD計算結(jié)果與氣動力建模結(jié)果、風(fēng)洞試驗?zāi)酥溜w行試驗結(jié)果等進(jìn)行了比較。雖然氣動力系數(shù)存在一定的差異，但是對于如此復(fù)雜的飛行器，其整體趨勢和量值已比較令人滿意，而且其計算效率也令人鼓舞［21］。而國內(nèi)在這方面的研究才剛剛起步，相關(guān)研究工作嚴(yán)重滯后。

2.3 動力系統(tǒng)的真實物理／化學(xué)過程的數(shù)值模擬

利用三維非定常CFD方法模擬完整的發(fā)動機(jī)將可以形成虛擬發(fā)動機(jī)實驗的能力，這將有助于我們加深對各部件間相互干擾的理解，進(jìn)而改進(jìn)和優(yōu)化設(shè)計，提升發(fā)動機(jī)整體性能。例如，普惠發(fā)動機(jī)公司（Pratt＆Whitney）使用改進(jìn)的CFD方法，直接將昂貴的噴氣發(fā)動機(jī)高壓實驗次數(shù)削減了50%［9］。然而，在最近十幾年內(nèi)發(fā)動機(jī)實驗次數(shù)僅有10%的減少，其主要原因是用于飛機(jī)推進(jìn)的燃?xì)鉁u輪發(fā)動機(jī)的流體力學(xué)問題本身比外流空氣動力學(xué)更復(fù)雜；而且發(fā)動機(jī)幾何構(gòu)型也更復(fù)雜，其由上千個貫穿整個渦輪機(jī)的活動部件、燃燒室的多相反應(yīng)流以及渦輪葉片內(nèi)錯綜復(fù)雜的冷卻通道組成［9］。

對于燃燒室內(nèi)復(fù)雜的湍流混合燃燒和多物理／化學(xué)現(xiàn)象（液體燃料分解、高溫氣體混合和化學(xué)反應(yīng)）的模擬，當(dāng)前普遍采用的RANS方法已不適應(yīng)，需要利用高保真度的LES方法。因此，美國在這方面開展了大量的前期研究工作，以發(fā)展復(fù)雜環(huán)境下湍流燃燒模擬的LES方法。1997年，由于當(dāng)時計算資源的限制，湍流燃燒的第一次大渦模擬僅限于對一個簡化的同軸腔燃燒室內(nèi)的氣相燃燒的研究［22］；而到2007年，斯坦福大學(xué)和普惠公司合作，已能進(jìn)行一個真實的燃燒室（PW6000發(fā)動機(jī)燃燒室）20度扇面的LES模擬，并與渦輪機(jī)組的RANS模擬相集成（耦合）［23］（圖2）。該模型中包含了注入的液體燃料如何分解成液滴，以及液滴的拉格朗日跟蹤、蒸發(fā)和燃燒等。

圖2 Stanford大學(xué)領(lǐng)導(dǎo)的DOE ASC項目中高保真度發(fā)動機(jī)模擬模型分解圖。壓縮機(jī)和渦輪機(jī)采用RANS模擬，燃燒室采用LES方法模擬（取自文獻(xiàn)［4］）Fig.2 Decomposition of the engine for flow simulations for high fidelity simulations performed at Stanford University under the DOE ASC program.Compressor and turbine simulations are performed with RANS models；Combustor simulation is performed with LES（From Ref.［4］）

2010年前后，科學(xué)家們首次利用P級計算機(jī)（阿貢國家實驗室的BlueGene／P）和LES方法模擬了完整的直升機(jī)燃燒室［9］，給出了發(fā)動機(jī)內(nèi)的不穩(wěn)定湍流運動和聲波傳播的清晰描述（圖3）。在此基礎(chǔ)上，工程師們將可以設(shè)計相應(yīng)的控制方法以防止這種不穩(wěn)定現(xiàn)象的發(fā)生。然而，全發(fā)動機(jī)湍流燃燒及整機(jī)進(jìn)排氣耦合模擬，尤其是渦扇發(fā)動機(jī)非設(shè)計狀態(tài)的非定常模擬，仍是一個巨大的挑戰(zhàn)。對整臺發(fā)動機(jī)進(jìn)行時間相關(guān)的模擬，將包括全環(huán)旋轉(zhuǎn)部件、二次流、燃燒化學(xué)和耦合熱傳導(dǎo)等復(fù)雜幾何和復(fù)雜流動現(xiàn)象。與前述的第一個重大挑戰(zhàn)問題類似，為達(dá)到這一目標(biāo)，將需要在分離流的精確預(yù)測、復(fù)雜幾何外形處理、滑移和自適應(yīng)網(wǎng)格生成以及非線性非定常流CFD技術(shù)方面取得突破性進(jìn)展，并得到精細(xì)實驗的驗證與確認(rèn)。此外，在大范圍變時間尺度的內(nèi)流計算、燃燒過程和熱混合的預(yù)測精度方面也需同步發(fā)展。

圖3 直升機(jī)燃燒室噴油嘴附近的瞬時溫度（左）和壓力（右）分布（取自文獻(xiàn)［9］）Fig.3 Instantaneous temperature（left）and pressure（right）fields on a cylinder view plane passing through the injectors of the helicopter chamber（From Ref.［9］）

2.4 以CFD為核心的飛行器多學(xué)科多目標(biāo)優(yōu)化設(shè)計和概率設(shè)計

現(xiàn)代飛行器對飛行性能和飛行品質(zhì)的要求越來越高。隨著優(yōu)化理論的發(fā)展，優(yōu)化設(shè)計作為一種強大的設(shè)計工具已被廣泛地應(yīng)用于飛行器設(shè)計領(lǐng)域。這種方法可以在確定約束條件后，在計算機(jī)上自動地進(jìn)行最優(yōu)化設(shè)計，減少對設(shè)計師經(jīng)驗的依賴，提高設(shè)計效率，改善設(shè)計質(zhì)量，節(jié)約設(shè)計經(jīng)費，因而受到世界各國的極大重視。

以CFD為核心的多學(xué)科多目標(biāo)優(yōu)化設(shè)計不僅涉及空氣動力學(xué)，還涉及到結(jié)構(gòu)氣動彈性變形、氣動噪聲特性、隱身性能、推進(jìn)系統(tǒng)、飛行控制等等；對于高超聲速飛行器，還需要考慮氣動熱環(huán)境與熱防護(hù)、氣動物理特性等等。在當(dāng)前的計算機(jī)資源條件下，多學(xué)科優(yōu)化設(shè)計只能將現(xiàn)有的各學(xué)科低保真度模型耦合起來進(jìn)行計算；另一個采用低保真度模型的因素，是這些模型通常在較寬的范圍內(nèi)比高保真度模型更容易耦合，并且更魯棒。因此，各學(xué)科均采用高保真緊耦合的計算模型和方法是對未來E級計算的重大挑戰(zhàn)，尤其是需要考慮高保真度的非定常計算模型時［4］。

以旋翼的優(yōu)化設(shè)計為例，在前行的葉片上，會產(chǎn)生跨聲速效應(yīng)，而后行的葉片則會發(fā)生邊界層分離。在某些飛行條件下，葉片與前面葉片的尾渦接近和相交時會發(fā)生葉片／旋渦相互作用（Blade Vortex Interaction，BVI）。BVI是旋翼飛機(jī)的主要噪聲來源。由于旋翼空氣動力學(xué)和結(jié)構(gòu)動力學(xué)的強烈耦合，旋翼飛機(jī)設(shè)計往往需要多學(xué)科分析，這進(jìn)一步增加了復(fù)雜性。例如，邊界層分離引起的非定常氣動力會降低旋翼性能并增強其葉片的疲勞。在極端情形下，由此導(dǎo)致的葉片顫振會限制直升機(jī)的飛行包線。作為典型的空氣動力學(xué)和結(jié)構(gòu)動力學(xué)耦合問題，旋翼飛機(jī)設(shè)計采用多學(xué)科分析已經(jīng)超過三十年，然而，直至今日，多學(xué)科模型仍然是低保真度的［24］。在2006年的綜述論文中，Strawn、Caradonna和Duque等［25］指出，目前在旋翼飛機(jī)設(shè)計中應(yīng)用CFD方法主要有如下兩個方面挑戰(zhàn)：一是后行葉片失速；二是旋翼尾跡演化。對葉片失速來說，困難在于適當(dāng)?shù)霓D(zhuǎn)捩和湍流模擬手段。旋翼尾跡演化的挑戰(zhàn)則在于，在許多個渦核長度的距離上，對渦結(jié)構(gòu)對流的精確模擬。他們估計精確的尾跡對流模擬需要超過10億網(wǎng)格點，除非發(fā)展出動態(tài)自適應(yīng)方法或其他渦保持方法。在實踐中，由于非定常流動和葉片運動的存在，需要發(fā)展非定常問題的優(yōu)化方法。對于定常優(yōu)化問題，伴隨矩陣方法是一種較好的選擇。而對非定常問題，需要求解一個非定常伴隨矩陣，伴隨矩陣與非線性問題本身的時間推進(jìn)方向相反：從最后的模擬時間向初始條件推進(jìn)。因此，非定常伴隨矩陣方法的計算開銷令人生畏。假定流場和伴隨矩陣求解要求大致相等的計算量，相應(yīng)的優(yōu)化分析的計算量將是流場計算的100到200倍。由此估算，非定常旋翼飛機(jī)優(yōu)化設(shè)計問題，采用1億網(wǎng)格點模擬全360°葉片旋轉(zhuǎn)將需要10000個核在60個小時（墻上時鐘）內(nèi)完成［4］。其計算量無疑是驚人的。

概率設(shè)計方法應(yīng)用于航空航天工業(yè)的結(jié)構(gòu)分析和設(shè)計已經(jīng)有超過二十年的歷史［26］。例如，NASA已經(jīng)將概率設(shè)計的方法應(yīng)用于先進(jìn)發(fā)射系統(tǒng)的可靠性評估［27－28］。此外，NASA開發(fā)了一套概率結(jié)構(gòu)分析軟件（Numerical Evaluation of Stochastic Structures Under Stress，NESSUS），這一軟件已經(jīng)被用于航天飛機(jī)主發(fā)動機(jī)關(guān)鍵結(jié)構(gòu)部件的靜、動態(tài)分析。同樣，美國空軍采用概率設(shè)計工具來減小渦輪機(jī)葉輪設(shè)計中較大的安全因子，并將概率方法應(yīng)用于預(yù)測關(guān)鍵發(fā)動機(jī)部件以及機(jī)身的使用壽命。相對于結(jié)構(gòu)分析和耐用性分析，關(guān)于氣動熱的概率分析和設(shè)計仍然很少，其挑戰(zhàn)主要來源于物理現(xiàn)象的復(fù)雜性和由此導(dǎo)致的龐大計算量。

以下以渦輪葉片的壽命預(yù)測為例說明概率設(shè)計給高性能計算帶來的挑戰(zhàn)性問題。渦輪葉片的壽命預(yù)測是一個典型的多學(xué)科問題，要求模擬外部空氣動力學(xué)（圍繞葉片的氣體通道）問題、冷卻通道流動、熱傳導(dǎo)、結(jié)構(gòu)動力學(xué)和壽命預(yù)測。葉片故障通常由局部現(xiàn)象主導(dǎo)，因而高保真度模擬將會是提高壽命分析可靠性的基本因素，然而遺憾的是，由于計算資源的限制，實際的分析中只能采用高低保真度模型混合的方法。葉片壽命對溫度的極端敏感，每升高20℃，發(fā)動機(jī)壽命減少50%，而渦輪發(fā)動機(jī)的葉片數(shù)量進(jìn)一步放大了低壽命葉片的影響。如果制造一個低壽命葉片的概率是p，那么對一組n個葉片的葉柵，具有至少一個低壽命葉片的概率為：1－（1－p）n。如果制造一個低壽命葉片的概率是1%，那么一組80個葉片的葉柵，出現(xiàn)至少一個低壽命葉片的概率大約為55%［29］。因此我們需要對葉片冷卻裝置的性能、特別是溫度進(jìn)行準(zhǔn)確的預(yù)測。文獻(xiàn)計算顯示，采用三維非定常Navier－Stokes方程模擬包含獨立冷卻孔和簡化內(nèi)流通道（無渦流發(fā)生條）的一級渦輪，采用210萬的重疊網(wǎng)格，大約需要500CPU核小時。Burdet和Abhari估計，準(zhǔn)確模擬膜冷卻渦輪葉片所需要的網(wǎng)格點數(shù)在5000萬到1億［30］。如果我們假定概率方法作壽命預(yù)測需要1000次模擬，并且計算開銷主要來自CFD分析，那么保守估計概率壽命分析將需要10000個CPU核運行2500個小時（墻上時間）［4］。由此可將，其龐大的計算量對現(xiàn)有的計算機(jī)資源是一種極大的挑戰(zhàn)。

2.5 基于CFD的飛行器氣動聲學(xué)特性高精度模擬

噪聲問題是高速飛機(jī)面臨的主要問題，而湍流是飛機(jī)噪聲的主要來源。不幸的是，通過現(xiàn)代光學(xué)診斷技術(shù)，還無法測量時空數(shù)據(jù)來揭示氣動噪聲的機(jī)理；只有高保真的模擬技術(shù)，如大渦模擬，甚至DNS，才能夠預(yù)測噪聲及其產(chǎn)生過程中湍流渦旋的具體細(xì)節(jié)。

與傳統(tǒng)的計算流體動力學(xué)相比，氣動聲學(xué)有很多獨特性，主要表現(xiàn)為：1）多尺度特征。聲場信號引起的物理量變化與流體介質(zhì)運動所引起的物理量變化相比相差巨大，比如馬赫數(shù)為1.5的噴流出口40倍直徑處的噪聲為124dB，聲波的脈動速度與噴流的速度之比是1.5×10－4，壓力脈動也具有類似的比值；2）噪聲頻帶很寬；3）衰減速度慢，傳播距離遠(yuǎn)。噪聲傳播距離比流體運動空間大很多。在近場，流體介質(zhì)的非定常運動產(chǎn)生聲波；在遠(yuǎn)場，聲波的運動幾乎是無色散無耗散的等熵運動；4）非定常特性。氣動噪聲是流體介質(zhì)的非定常運動產(chǎn)生的，定常運動不會產(chǎn)生噪聲；5）對邊界條件敏感、難于處理。由于氣動噪聲是一種微弱的信號，對邊界條件非常敏感，如果處理不當(dāng)則會產(chǎn)生很強的反射聲波。

這些特點構(gòu)成了對CFD的嚴(yán)峻挑戰(zhàn)，并形成了一個相對獨立的學(xué)科——計算氣動聲學(xué)（CAA）。從“純”數(shù)值模擬的角度來看，計算氣動聲學(xué)對格式的要求非常高，需要數(shù)值格式具有高階精度、高分辨率、低耗散、低色散特性；對超聲速問題，還需要格式能夠捕捉強激波，目前尚缺乏較為理想的計算格式。由于必須采用高階精度計算格式，且需要足夠密的計算網(wǎng)格，因此其計算量無疑是驚人的。正是由于當(dāng)前計算機(jī)條件的限制（當(dāng)然也有計算方法和模型不夠成熟的原因），目前的工程應(yīng)用中仍普遍采用Lighthill的聲比擬方法等獲取遠(yuǎn)場的聲學(xué)特性，少量的研究工作利用RANS、LES或RANS／LES混合方法進(jìn)行近場聲源的計算，遠(yuǎn)場傳播采用Euler方程進(jìn)行計算或直接用更簡單的工程方法。

E級計算將對噪聲產(chǎn)生的機(jī)理研究帶來變革性的影響，并會在消減噪聲的方案設(shè)計中發(fā)揮重要作用。2010年，CFD工作者首次利用大渦模擬方法，對超聲速射流湍流噪聲進(jìn)行了直接數(shù)值模擬［9］。雖然模擬結(jié)果與實測噪聲數(shù)據(jù)基本吻合，但是對于噴嘴內(nèi)的流動還沒有實現(xiàn)高分辨模擬，原因可能是網(wǎng)格分辨率不足。這種演示性計算已經(jīng)相當(dāng)費力，并且僅限于非常簡單的外形。隨著E級計算的來臨，高可信度工具不僅會用于了解和預(yù)測流動所產(chǎn)生的噪聲，還能用于流動和噪聲控制。

2.6 高超聲速飛行器氣動熱環(huán)境／熱響應(yīng)／熱應(yīng)力等多物理場的一體化耦合計算

無論是傳統(tǒng)的戰(zhàn)略導(dǎo)彈還是新型大推力火箭，無論是載人航天飛行器還是新型臨近空間高超聲速飛行器，其不可避免地會涉及到氣動熱環(huán)境的預(yù)測、熱傳導(dǎo)問題的分析和熱防護(hù)系統(tǒng)的綜合設(shè)計。傳統(tǒng)的設(shè)計模式是先根據(jù)飛行性能指標(biāo)設(shè)計氣動外形，然后進(jìn)行氣動熱環(huán)境的預(yù)測，根據(jù)氣動熱環(huán)境選取相應(yīng)的防熱材料，進(jìn)行防熱結(jié)構(gòu)設(shè)計。如此循環(huán)迭代的周期很長，而且為了安全起見，防熱系統(tǒng)設(shè)計往往過于保守，導(dǎo)致結(jié)構(gòu)重量過大、有效載荷減少。新型的設(shè)計模式應(yīng)該是在氣動力、氣動熱、熱傳導(dǎo)、熱應(yīng)力等的精確預(yù)測的基礎(chǔ)上，與飛行彈道和飛行控制耦合進(jìn)行氣動／防熱系統(tǒng)的一體化設(shè)計。然而，遺憾的是，由于計算機(jī)條件的限制，目前尚無法實現(xiàn)真正意義上的一體化綜合設(shè)計。其中的主要挑戰(zhàn)表現(xiàn)為以下幾個方面：

1）復(fù)雜外形的氣動熱環(huán)境精確預(yù)測。對于簡單的高速聲速外形（如球錐等），傳統(tǒng)的工程估算方法亦能得到較好的結(jié)果。但是對于復(fù)雜外形高超聲速飛行器，由于其存在復(fù)雜的激波干擾、層流至湍流的轉(zhuǎn)捩等現(xiàn)象，表面熱環(huán)境的預(yù)測必須采用高精度的數(shù)值計算方法，由于熱流分布與邊界層內(nèi)的溫度梯度相關(guān)，因此對計算網(wǎng)格的質(zhì)量和數(shù)量具有更嚴(yán)格的要求，其收斂速度較常規(guī)氣動力計算慢數(shù)倍，相應(yīng)的計算量是氣動力計算的數(shù)倍甚至數(shù)十倍。另一方面，在高超聲速情況下，往往要考慮高溫?zé)峄瘜W(xué)非平衡效應(yīng)，由此需要考慮復(fù)雜的化學(xué)反應(yīng)動力學(xué)模型、壁面燒蝕／催化模型；在更真實的情況下，還應(yīng)考慮湍流轉(zhuǎn)捩、壁面溫度變化等的影響，其本身就是一個計算量巨大的任務(wù)。

2）熱氣動彈性耦合計算。高超聲速飛行器熱氣動彈性問題受到越來越廣泛的關(guān)注，其涉及到非定常氣動力、氣動熱環(huán)境、結(jié)構(gòu)熱傳導(dǎo)和熱應(yīng)力／應(yīng)變等多物理場的耦合。有別于航空領(lǐng)域的氣動彈性問題，在高超聲速氣動加熱情況下，材料的屬性會隨著氣動加熱、熱傳導(dǎo)的影響而發(fā)生變化，導(dǎo)致材料和結(jié)構(gòu)固有振動模態(tài)及振動頻率的變化，這反過來會影響機(jī)體和控制舵面的彈性變形。因此其耦合求解的難度和計算量都很大，目前尚處于初期研究階段。

3）沿彈道的熱防護(hù)系統(tǒng)性能分析。新型臨近空間飛行器將長時間在高空熱環(huán)境中飛行，而飛行性能指標(biāo)又要求保持飛行器氣動外形，即防熱材料應(yīng)盡可能不燒蝕或微燒蝕。因此，需對飛行器沿彈道的熱防護(hù)系統(tǒng)進(jìn)行性能分析。目前的方法只能是依據(jù)工程估算或少數(shù)彈道點的數(shù)值計算給出的熱環(huán)境，作為輸入邊界條件，在數(shù)量有限的離散彈道點上進(jìn)行熱傳導(dǎo)和熱應(yīng)力的分析，尚無法進(jìn)行非定常的雙向耦合計算，其主要原因是由于長時間飛行導(dǎo)致的計算量過于龐大，而且耦合計算的代價太高。

3 E級CFD應(yīng)用面臨的挑戰(zhàn)

3.1 CFD大規(guī)模并行計算的特點及未來發(fā)展趨勢

根據(jù)現(xiàn)有的計算機(jī)體系結(jié)構(gòu)，結(jié)合CFD的自身特點，CFD大規(guī)模并行計算呈現(xiàn)以下主要特點：

隨著國企改革進(jìn)入深水區(qū)，“新電改方案”的通過標(biāo)志著電力市場進(jìn)一步開放，電網(wǎng)企業(yè)面臨著更多的挑戰(zhàn)。從內(nèi)生角度降低管理成本，提質(zhì)增效，以提升企業(yè)市場核心競爭力成為在開放競爭市場上取得競爭優(yōu)勢的重要手段[1]。集約化能夠通過規(guī)模經(jīng)濟(jì)效益，降低管理成本；也能通過提高規(guī)范化水平，降低企業(yè)財務(wù)、審計風(fēng)險；并且能夠統(tǒng)籌資源調(diào)配，有效配置提升資源利用率。在物資合同結(jié)算管理方面，省級電網(wǎng)企業(yè)作為集約化管理的重要環(huán)節(jié)，起到了承上啟下的作用。

1）基于網(wǎng)格分區(qū)的并行計算。隨著所涉及的流動問題和物理模型越來越復(fù)雜，CFD工程應(yīng)用中的計算網(wǎng)格規(guī)模由數(shù)百萬已經(jīng)激增至數(shù)千萬，甚至數(shù)億。對于湍流的大渦模擬和直接模擬，計算網(wǎng)格已經(jīng)達(dá)到數(shù)十億，甚至數(shù)千億。對于如此龐大的網(wǎng)格規(guī)模，必須采用分區(qū)方法才能進(jìn)行并行計算。

2）普遍采用隱式計算方法。由于顯式計算方法穩(wěn)定性條件的限制，為了加速流動模擬的收斂歷程，一般采用各種隱式計算方法，如ADI、LU－SGS、GMRES等等；即便是對于一些非定常問題，也普遍采用雙時間步方法，而子迭代中一般采用隱式方法。但是，在分區(qū)并行計算時交界面邊界條件的處理難以實現(xiàn)隱式，因此隱式算法的分區(qū)并行如何保證與串行計算的一致一直是研究的難點問題。

3）高保真度的物理／化學(xué)模型。CFD所計算的物理模型已經(jīng)由最初的線化位勢流方程、過渡到Euler方程和RANS方程、并逐步過渡到全NS方程，未來BGK方程、Boltzmann方程或許也將成為主流流動控制方程。對于高超聲速流動，還需要考慮復(fù)雜的化學(xué)反應(yīng)熱力學(xué)模型、材料燒蝕／侵蝕模型；對于發(fā)動機(jī)內(nèi)流的湍流燃燒過程，需要考慮復(fù)雜的燃油霧化、燃油摻混、燃燒反應(yīng)模型等等。只有采用保真度更高的物理／化學(xué)模型才能更真實地模擬實際物理／化學(xué)過程。

4）高精度的計算方法。盡管以二階精度格式為基礎(chǔ)的CFD方法和軟件已經(jīng)在航空航天飛行器設(shè)計中發(fā)揮了重要的作用，但是由于二階精度格式的耗散和色散較大，因此對一些非常復(fù)雜的流動現(xiàn)象（如旋渦、分離、湍流等），二階精度格式仍難以給出精細(xì)的流場結(jié)構(gòu)，尤其是對于湍流的大渦模擬、直接模擬，必須采用高階精度格式；在計算氣動聲學(xué)領(lǐng)域，由于聲波具有小擾動、寬頻特性和長距離傳播等特點，二階精度格式無法準(zhǔn)確模擬流場的聲學(xué)特性，必須采用耗散和色散更小的高階精度計算格式。

5）CFD與其他學(xué)科的耦合并行計算。多學(xué)科多目標(biāo)優(yōu)化設(shè)計、數(shù)值虛擬飛行一體化計算、多介質(zhì)／多相流的數(shù)值模擬、自由界面問題求解、計算電磁流體力學(xué)、氣動光學(xué)、計算氣動聲學(xué)等等，無不涉及到CFD與其他學(xué)科的交叉融合。多物理場的耦合并行計算策略對計算結(jié)果的精度和效率將產(chǎn)生直接的影響。

3.2 E級計算的挑戰(zhàn)及需要突破的屏障

2010年4月，IBM公司的《Some Challenges on Road from Petascale to Exascale》報告［31］指出E級計算系統(tǒng)的五大挑戰(zhàn)，即訪存、通訊、可靠性、能耗及應(yīng)用。CFD數(shù)值模擬是高性能計算的主要應(yīng)用領(lǐng)域之一，其中的計算方法、物理模型、并行策略、軟件實現(xiàn)等均是重大挑戰(zhàn)性問題，在前面的論述已經(jīng)進(jìn)行了討論，在后文中還將涉及，因此此處暫且不表。以下就其它四個問題與CFD的關(guān)系進(jìn)行簡要論述：

1）訪存墻問題。該問題仍然是提升計算速度的第一大難題。處理器的運算速度和訪存速度之間極不匹配，CPU運算速度達(dá)到0.2ns，而存儲器讀寫速度僅10ns；處理器單個引腳的信號傳輸速度和引腳數(shù)受限。多核處理器的出現(xiàn)只是提高了計算速度，不但沒有緩解訪存墻問題，反而使其變得更加嚴(yán)重［10］。而全機(jī)構(gòu)型的湍流模擬需要億量級（甚至數(shù)千億以上）的計算網(wǎng)格，因此對訪存速度提出了更高的要求。

2）通訊墻問題。超級計算機(jī)的規(guī)模不斷增加，互連網(wǎng)絡(luò)對計算性能的影響越來越大，E級計算對互連網(wǎng)絡(luò)提出了更高的要求，互連網(wǎng)絡(luò)已成為制約超級計算機(jī)發(fā)展的核心因素之一。分區(qū)并行計算必然涉及到分區(qū)間的信息通訊，尤其是在采用高階精度格式和高保真度的物理模型進(jìn)行計算時，通訊量更大，通訊速度直接影響并行效率。

4）能耗墻問題。資料顯示目前Titan的系統(tǒng)功耗為8.209MW。如果照此發(fā)展，E級系統(tǒng)功耗將達(dá)466.7MW，全年用電量40.88億千瓦時，相當(dāng)于長沙2012年全市用電量的1／5。過高的功耗產(chǎn)生一系列問題，如穩(wěn)定性、可用性、可靠性將降低，冷卻成本將增加，使用成本將增加［10］。為了降低功耗，目前超級計算機(jī)的發(fā)展趨勢是采用異構(gòu)體系結(jié)構(gòu)，即通用處理器CPU和專用處理器（如GPU等）的混合結(jié)構(gòu)，而且普遍采用“眾核”技術(shù)（如MIC）。對比傳統(tǒng)的CPU并行計算，新型異構(gòu)體系結(jié)構(gòu)的并行計算策略更加復(fù)雜，如何充分發(fā)揮異構(gòu)系統(tǒng)的并行計算效能，是當(dāng)前急需解決的重大挑戰(zhàn)性問題。

訪存、通信、可靠性、能耗等問題嚴(yán)重制約著并行計算的可擴(kuò)展性，而可擴(kuò)展性是超大規(guī)模CFD并行計算需要突破的重要瓶頸問題之一。這些方面無疑涉及到計算機(jī)科學(xué)本身，同時亦涉及到CFD應(yīng)用，二者的緊密耦合是問題的關(guān)鍵所在。

4 CFD未來發(fā)展的思考

2014年初，NASA在其《CFD Vision 2030Study：A Path to Revolutionary Computational Aerosciences》的報告［17］中，列舉了未來需要重點發(fā)展的六大技術(shù)領(lǐng)域，即：1）高性能計算（HPC）；2）物理建模；3）數(shù)值算法；4）幾何與網(wǎng)格生成；5）知識提取；6）多學(xué)科分析與優(yōu)化（MDAO）。報告中結(jié)合E級計算的發(fā)展，提出了2030年前后的技術(shù)發(fā)展路線圖（圖4）。該報告對于我國CFD的發(fā)展具有很好的借鑒作用。

以上六個方面無疑是非常重要的研究領(lǐng)域，也是我國CFD界需要長期努力的發(fā)展方向。但是，我國的CFD在這六大領(lǐng)域的發(fā)展極不平衡。首先在HPC硬件水平上我國已取得重大突破，但是HPC軟件水平仍相對較弱，尤其是CFD應(yīng)用軟件與HPC硬件的匹配方面仍十分落后；其次，我國CFD學(xué)者在計算格式的研究方面與國際水平相當(dāng)，部分研究成果躋身世界前列，但是在加速收斂技術(shù)研究方面明顯落后，如隱式計算方法大多采用傳統(tǒng)方法、Multigrid技術(shù)的應(yīng)用效果較國際先進(jìn)水平有較大差距等等；第三，我國CFD學(xué)者在物理建模方面投入有限，物理建模方面的進(jìn)展明顯落后，絕大多數(shù)CFD研究人員采用的仍是國外學(xué)者建立的各種物理（化學(xué)）模型，如湍流模型、轉(zhuǎn)捩模型、化學(xué)反應(yīng)模型、燃燒模型等；第四，我國CFD界對網(wǎng)格生成技術(shù)和以流場顯示為核心內(nèi)容的知識提取的研究關(guān)注不夠，僅有少量人員涉足該領(lǐng)域，目前CFD研究人員大多采用商用網(wǎng)格生成和流場顯示軟件，但是這些軟件對于超大規(guī)模網(wǎng)格生成、動態(tài)網(wǎng)格生成、海量數(shù)據(jù)流場顯示等有較大的限制，而關(guān)于知識提取中最為重要的氣動數(shù)據(jù)庫，國內(nèi)基本分散于各型號研制單位，尚無統(tǒng)一的綜合氣動數(shù)據(jù)庫；第五，關(guān)于多學(xué)科耦合模擬和優(yōu)化，國內(nèi)相關(guān)單位開展了一些研究，初步形成了多學(xué)科多目標(biāo)優(yōu)化設(shè)計能力，但是對于全機(jī)構(gòu)型的整體優(yōu)化能力仍很弱，急需提升。

根據(jù)CFD和計算機(jī)科學(xué)當(dāng)前的發(fā)展趨勢和面臨的挑戰(zhàn)，結(jié)合我國的具體實際，作者僅從以下幾個方面談?wù)勎覀兊恼J(rèn)識。

4.1 高保真度的計算模型

隨著計算機(jī)技術(shù)和CFD本身的發(fā)展，CFD所求解的計算模型由最初的線化勢流方程、全速勢方程，逐步發(fā)展為Euler方程和RANS方程，近十年來進(jìn)一步發(fā)展為脫體渦模擬（DES）以及RANS／LES混合模擬，并向?qū)嶋H構(gòu)型的LES、DNS方向發(fā)展。基于RANS的湍流模型仍將是用于預(yù)測復(fù)雜構(gòu)型大范圍流動的標(biāo)準(zhǔn)方法。然而，對于大范圍的分離流動，現(xiàn)有湍流模型的預(yù)測精度有限，仍需繼續(xù)發(fā)展和改進(jìn)湍流模型，尤其是雷諾應(yīng)力輸運（RST）模型［17］。在可預(yù)見的2030年前，RANS／LES混合方法或許是能夠捕捉復(fù)雜外形更多流動細(xì)節(jié)的最有希望的方法，研制基于RANS／LES方法的生產(chǎn)型軟件是可行的［17］。而實際構(gòu)型的LES和DNS在E級計算機(jī)上的實現(xiàn)仍非常困難，可行的計算模型是所謂的壁面模型大渦模擬（WMLES）。對于實際的流動問題，除了前述的基本方程或模型外，還涉及到其它許多物理（化學(xué)）模型，如高超聲速流動中涉及到熱化學(xué)非平衡反應(yīng)模型、壁面催化／燒蝕模型等，發(fā)動機(jī)燃燒問題中涉及到湍流燃燒模型、兩相流霧化模型、火焰面模型等等；而對于稀薄流和過渡流區(qū)的模擬，CFD工作者們正努力求解由分子動力學(xué)導(dǎo)出的BGK方程，甚至更高階的Boltzmann方程，期待建立連續(xù)流／過渡流／稀薄流統(tǒng)一計算模型。因此高保真度的計算模型是提高計算結(jié)果精準(zhǔn)度的關(guān)鍵問題之一，應(yīng)予以高度重視。

圖4 NASA的2030年CFD發(fā)展路線圖（取自文獻(xiàn)［17］）Fig.4 Technology development roadmap of NASA CFD through 2030（From Ref.［17］）

4.2 可高度并行化的高精度數(shù)值計算方法

數(shù)值計算新算法的發(fā)展將是實現(xiàn)2030目標(biāo)的關(guān)鍵。對于前述的重大挑戰(zhàn)性問題，僅靠高性能計算機(jī)的發(fā)展將不足以實現(xiàn)這些目標(biāo)，必須尋求新的計算方法。1）就傳統(tǒng)空間離散格式而言，高階精度格式無疑是重要的研究領(lǐng)域，其包括基于結(jié)構(gòu)網(wǎng)格的高階有限差分方法，基于非結(jié)構(gòu)／混合網(wǎng)格的高階有限體積、有限元方法，以及各種新型的混合方法等［32－34］。雖然高階精度格式提供了更高精度的潛力，但是其仍然存在魯棒性較差和計算成本過高等方面的問題，如何提高其對復(fù)雜外形計算的魯棒性是當(dāng)務(wù)之急。2）一些新穎的非傳統(tǒng)方法，如格子Boltzmann方法（LBM）、浸入邊界法（IBM）、無網(wǎng)格（Meshless）方法等或許能提供全新的解決途徑，因此需要深入研究其特殊應(yīng)用。3）需要特別指出的是，計算格式必須與計算網(wǎng)格、邊界條件等相匹配，否則無法實現(xiàn)全場的一致高精度。4）數(shù)值方法的可并行化是未來E級計算的重中之重。超大規(guī)模的并行計算是必然趨勢，如果一個計算格式在提升計算精度的同時，需要增加過多的周邊網(wǎng)格的信息，則這種格式的可并行度就會受到較大的限制。因此，發(fā)展高度“緊致”的計算格式是適應(yīng)超大規(guī)模并行化的優(yōu)先選擇。5）流場、結(jié)構(gòu)、飛行、控制、動力、傳熱、防熱、聲學(xué)、光學(xué)、電磁等眾多學(xué)科的耦合計算將是未來的重要發(fā)展趨勢，發(fā)展多學(xué)科的高效耦合計算方法是當(dāng)前的研究重點之一。

4.3 高效的超大規(guī)模隱式并行計算方法

正如前述，為了提高計算效率，隱式計算格式是CFD工程應(yīng)用中的常用方法。盡管其已經(jīng)取得長足發(fā)展，但是近10年度卻少有突破，尤其是在我國CFD界，高效的隱式計算方法研究仍相對落后，急需針對實際工程問題的計算開展深入研究。1）在時間離散格式方面，包括眾所周知的基于矩陣技術(shù)的隱式計算格式和各種加速收斂技術(shù)，如以GMRES為代表的Krylov方法、針對網(wǎng)格尺度和格式精度的hp－Multigrid方法等等，或者其他目前尚未可知的全新方法。2）隱式計算格式和各種加速收斂技術(shù)的可并行化至關(guān)重要，如何保證并行計算與串行計算結(jié)果的一致性一直是需要重點關(guān)注的問題。3）最為重要的是，與未來E級計算機(jī)異構(gòu)體系結(jié)構(gòu)相適應(yīng)的并行計算方法。E級系統(tǒng)將廣泛采用“流處理器”，其并行計算將是一種多級多層結(jié)構(gòu)，如MPI＋OpenMP＋CUDA＋……，或許還會出現(xiàn)更新的并行計算編程環(huán)境。如何適應(yīng)新型計算機(jī)體系結(jié)構(gòu)和編程環(huán)境就成為E級并行計算的關(guān)鍵所在。

4.4 高度自動化的超大規(guī)模并行網(wǎng)格生成及自適應(yīng)技術(shù)

網(wǎng)格生成是數(shù)值模擬的第一步。文獻(xiàn)研究表明，網(wǎng)格生成的時間約占整個計算周期的60%－70%，因此其是制約CFD走向?qū)嶋H工程應(yīng)用的“瓶頸”問題。網(wǎng)格生成技術(shù)研究和網(wǎng)格生成軟件研制在20世紀(jì)90年代得到蓬勃發(fā)展，先后發(fā)展了多塊結(jié)構(gòu)網(wǎng)格、非結(jié)構(gòu)網(wǎng)格和混合網(wǎng)格技術(shù)，而網(wǎng)格生成軟件的市場化更是推動了技術(shù)的發(fā)展，大大提升了離散復(fù)雜外形的網(wǎng)格生成能力。然而近年來，網(wǎng)格生成技術(shù)的突破基本處于停滯狀態(tài)，面對未來的E級計算，網(wǎng)格規(guī)模動輒達(dá)到數(shù)十億，甚至千億以上，利用人工操作生成如此大規(guī)模的計算網(wǎng)格顯然是不現(xiàn)實的。為了將CFD應(yīng)用者從繁重的網(wǎng)格生成工作中解放出來，必須發(fā)展高度自動化的網(wǎng)格生成技術(shù)。1）首先要建立CAD數(shù)模到表面網(wǎng)格生成的無縫連接，現(xiàn)有的CAD幾何描述往往存在幾何構(gòu)型不封閉、曲面碎片化等不足，需要發(fā)展自動化的幾何數(shù)模修補技術(shù)。2）自動化的表面和空間網(wǎng)格生成是提高網(wǎng)格生成效率的關(guān)鍵。然而無論是結(jié)構(gòu)網(wǎng)格還是非結(jié)構(gòu)網(wǎng)格，甚至混合網(wǎng)格，針對復(fù)雜外形粘性流動模擬的計算網(wǎng)格生成的自動化程度仍很低，人機(jī)交互費時費力。3）超大規(guī)模的并行網(wǎng)格生成是E級計算的基礎(chǔ)，在單臺微機(jī)和服務(wù)器上生成數(shù)十億以上的網(wǎng)格幾乎不可能，更何況千億量級的網(wǎng)格。4）網(wǎng)格自適應(yīng)技術(shù)將有效提高網(wǎng)格離散效率，尤其是局部各向異性網(wǎng)格自適應(yīng)技術(shù)。當(dāng)前，并行化的網(wǎng)格自適應(yīng)、與CAD緊耦合的曲面修正、動態(tài)網(wǎng)格自適應(yīng)、基于伴隨方程的網(wǎng)格自適應(yīng)等技術(shù)是研究熱點。5）隨著高階精度格式的廣泛應(yīng)用，發(fā)展高階的曲邊界網(wǎng)格生成方法值得重視。6）動態(tài)網(wǎng)格技術(shù)的自動化、并行化、魯棒性將關(guān)系到未來復(fù)雜飛行器“數(shù)值虛擬飛行”模擬的成敗。

4.5 高度智能化的知識提取和三維虛擬現(xiàn)實顯示技術(shù)

P級和E級計算將生成海量的計算數(shù)據(jù)，為更有效地利用大規(guī)模CFD和MDAO在航空航天工程中的模擬結(jié)果，應(yīng)及早推進(jìn)數(shù)據(jù)知識提取的研究工作，其中主要包括流場可視化，數(shù)據(jù)庫的建設(shè)、管理和利用等。1）對于流場可視化，發(fā)展三維、并行、實時、虛擬可視化技術(shù)是當(dāng)前及未來的發(fā)展趨勢，而在生產(chǎn)型CFD軟件中直接引入可視化能力（如所謂的“原位可視化”），為分析者提供對流場更直觀、自然、方便、智能的顯示界面無疑是必須的。2）數(shù)據(jù)庫是進(jìn)入“大數(shù)據(jù)（Big Data）”時代的主要標(biāo)志，其中的數(shù)據(jù)是非常寶貴的財富，因此國際航空航天界對于氣動數(shù)據(jù)庫的建設(shè)非常重視，所有來源于風(fēng)洞試驗、數(shù)值模擬和飛行試驗的數(shù)據(jù)均得到了很好的保存和利用。但是我國在這方面的投入明顯不足，尚未建成完整的氣動數(shù)據(jù)庫，更不用說數(shù)據(jù)的開發(fā)與應(yīng)用了。這在很大程度上造成了數(shù)據(jù)資源的浪費?？上驳氖?，我國空氣動力學(xué)領(lǐng)域的“數(shù)據(jù)再利用”工程已經(jīng)提上議事日程，風(fēng)洞試驗、數(shù)值模擬和飛行試驗“三大手段”的數(shù)據(jù)融合、數(shù)據(jù)挖掘技術(shù)將有望發(fā)揮更為強大的作用。3）基于“大數(shù)據(jù)”的“深度學(xué)習(xí)（Deep Learning）”在互聯(lián)網(wǎng)、人工智能等領(lǐng)域研究火熱，將這些領(lǐng)域的研究成果推廣應(yīng)用于海量CFD數(shù)據(jù)的分析，或許能催生創(chuàng)新的研究成果。

4.6 通用的大規(guī)模并行CFD基礎(chǔ)軟件平臺開發(fā)

無論是計算模型還是數(shù)值方法，無論是網(wǎng)格技術(shù)還是流場顯示，歸根到底都需要利用計算機(jī)語言，開發(fā)相應(yīng)的CFD軟件。軟硬件的有機(jī)結(jié)合，才能實現(xiàn)“數(shù)值風(fēng)洞試驗”，開展多學(xué)科多目標(biāo)“數(shù)值優(yōu)化設(shè)計”，實現(xiàn)多學(xué)科耦合的“數(shù)值虛擬飛行”。面對E級計算的來臨，傳統(tǒng)的“面向過程”的軟件設(shè)計思想已遠(yuǎn)不能滿足大型通用CFD軟件平臺開發(fā)的需求。正如前述，大型通用CFD軟件將涉及各種計算網(wǎng)格（結(jié)構(gòu)網(wǎng)格、非結(jié)構(gòu)網(wǎng)格、混合網(wǎng)格、動態(tài)網(wǎng)格、自適應(yīng)網(wǎng)格、重疊網(wǎng)格、多重網(wǎng)格等等）、物理／化學(xué)模型（完全氣體、化學(xué)非平衡氣體、湍流模型、轉(zhuǎn)捩模型、RANS／LES混合模型、LES亞格子模型等等）、空間離散格式（有限差分、有限體積、有限元、二階和高階等等）、時間推進(jìn)算法（顯式Runge－Kutta，隱式ADI、LUSGS、GMRES，雙時間步方法，半隱半顯方法及其他加速收斂策略等等）、并行計算策略（網(wǎng)格自動分區(qū)、MPI、OpenMP、CUDA等等）；對于多學(xué)科耦合計算和多學(xué)科多目標(biāo)優(yōu)化設(shè)計問題，還將涉及到結(jié)構(gòu)動力學(xué)、數(shù)值傳熱學(xué)、燃燒動力學(xué)、多相流體力學(xué)、電磁流體力學(xué)、飛行力學(xué)、飛行控制、數(shù)值優(yōu)化等等一系列計算技術(shù)；作為一個實用的工具系統(tǒng)，其還將涉及到計算作業(yè)管理、CAD數(shù)模構(gòu)建和網(wǎng)格自動生成、交互式流場可視化、氣動數(shù)據(jù)分析與入庫等等。要想在一個統(tǒng)一的CFD平臺上集成上述功能模塊，唯有采用“面向?qū)ο蟆钡能浖O(shè)計技術(shù)，將各功能模塊抽象為合適的“對象”，即各種“類（Class）”，并通過這些“類”派生出更加豐富的“子類”，對每個“類（子類）”進(jìn)行適度的封裝，才能保證軟件系統(tǒng)的通用性、可維護(hù)性和可擴(kuò)展性［35］。這是當(dāng)前和未來大型CFD軟件開發(fā)的必然趨勢。

為此，當(dāng)前需要開展以下方面的研究：1）通用CFD軟件的體系結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)研究。大型通用軟件的基礎(chǔ)是軟件的體系結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)，體系結(jié)構(gòu)構(gòu)建了整個軟件的框架結(jié)構(gòu)，而數(shù)據(jù)結(jié)構(gòu)貫穿于軟件體系結(jié)構(gòu)之中。合理的體系結(jié)構(gòu)將保證軟件的可擴(kuò)展性和易維護(hù)性，規(guī)范的數(shù)據(jù)結(jié)構(gòu)將保證數(shù)據(jù)的完整性，提高數(shù)據(jù)的利用效率。2）針對E級計算機(jī)異構(gòu)體系結(jié)構(gòu)的并行支撐庫開發(fā)。新型計算機(jī)異構(gòu)體系結(jié)構(gòu)導(dǎo)致并行計算更加復(fù)雜，非計算機(jī)專業(yè)人員難以全面掌握，因此有必要開發(fā)相應(yīng)的并行支撐庫，使得CFD研究者能更專注于自身領(lǐng)域的研究。3）在E級計算機(jī)上，超大規(guī)模的湍流數(shù)值模擬將涉及到百萬量級以上的計算單元并行。正如前述，如此規(guī)模的計算單元協(xié)同運行，必然會出現(xiàn)故障單元，依據(jù)現(xiàn)有的計算模式，一旦一個計算單元出現(xiàn)故障，將導(dǎo)致整個計算任務(wù)的失敗。不僅浪費資源，更有可能無法得到最終結(jié)果。因此，在軟件設(shè)計過程中引入“容錯”算法是非常必要的。在某些計算單元出現(xiàn)故障時自動復(fù)制到備份單元繼續(xù)計算，這樣才能維持整個作業(yè)的正常運行。4）自動化的CFD驗證與確認(rèn)平臺研制。驗證與確認(rèn)是CFD軟件研制的重要環(huán)節(jié)，而驗證與確認(rèn)是一項系統(tǒng)工程，軟件每一處細(xì)小的改動，均需要經(jīng)過系列算例的嚴(yán)格對比計算，方可在新版本的軟件中得到認(rèn)可。而目前的驗證與確認(rèn)工作主要依靠開發(fā)者人工發(fā)送計算作業(yè)，手動收集計算結(jié)果進(jìn)行對比分析，這占用了CFD軟件開發(fā)者的大量時間，嚴(yán)重影響了大型CFD軟件的開發(fā)效率。因此開展自動化的測試及驗證與確認(rèn)平臺的研制非常重要。

5 結(jié)束語

本文對當(dāng)前國內(nèi)外CFD高性能計算的現(xiàn)狀進(jìn)行了概述，探討了當(dāng)前CFD的重大挑戰(zhàn)性問題及未來發(fā)展趨勢，并對E級計算給CFD帶來的機(jī)遇與挑戰(zhàn)進(jìn)行了分析，最后就如何適應(yīng)未來E級計算，對CFD發(fā)展之路進(jìn)行了探討。

顯然，E級計算的來臨，將帶給計算流體力學(xué)革命性發(fā)展，由此將帶來流體力學(xué)、空氣動力學(xué)的創(chuàng)新發(fā)展，進(jìn)而推動航空航天飛行器設(shè)計的重大革新。但是，我們也應(yīng)該清晰地認(rèn)識到，要實現(xiàn)這一宏偉目標(biāo)仍有很長的路要走，仍面臨眾多的重大挑戰(zhàn)。而解決這些挑戰(zhàn)性問題，僅靠CFD界的努力是遠(yuǎn)遠(yuǎn)不夠的，必須與計算機(jī)科學(xué)、計算和應(yīng)用數(shù)學(xué)、物理化學(xué)等學(xué)科的研究人員開展緊密的“協(xié)同設(shè)計（Co－design）”。

協(xié)同設(shè)計是E級計劃的關(guān)鍵組成部分。在邁向E級計算的征途中，有必要從早期系統(tǒng)設(shè)計階段就納入?yún)f(xié)同設(shè)計的理念，無論是計算機(jī)硬件系統(tǒng)還是計算機(jī)基礎(chǔ)軟件，無論是CFD應(yīng)用軟件還是相關(guān)領(lǐng)域的工程應(yīng)用，都需要多學(xué)科的協(xié)同設(shè)計。唯有此，才能保證E級計劃的成功。

雖然在邁向E級計算的征途中，我們會遇到前所未有的挑戰(zhàn)，但是我們有理由相信，E級計算是勢不可擋的發(fā)展趨勢，E級計算的實現(xiàn)必將帶來CFD和航空航天應(yīng)用領(lǐng)域的革命性突破。

［1］Computational Science：Ensuring America’s competitiveness.Report to the President［R］.President’s Information Technology Advisory Committee，June 2005.

［2］Shang J S.Three decades of accomplishments in computational fluid dynamics［J］.Progress in Aerospace Sciences，2004，40：173－197.

［3］Johnson F T，Tinoco E N，Yu N J.Thirty years of the development and application of CFD at Boeing commercial airplanes，Seattle［R］.AIAA 2003－3439.

［4］Mavriplis D J，Darmofal D，Keyes D，et al.Petaflops opportunities for the NASA fundamental aeronautics program［R］.AIAA 2007－4084.

［5］Lesieur M，Metais O，Comte P.Large－eddy simulations of turbulence［M］.Cambridge University Press，2005.

［6］Moin P，Kim J.Tackling turbulence with supercomputers［J］.Scientific American，1997，276（1）：62－68.

［7］Tinoco E N.The impact of high performance computing and computational fluid dynamics on aircraft development［EB／DB］.2009.http：／／www.casc.org／meetings／09sept／Edward＿Tinoco.ppt

［8］Haase W，Braza M，Revell A.DESider－a European effort on hybrid RANS－LES modeling，results of the European－union funded project，2004－2007［R］.Springer－Verlag Berlin Heidelberg，2009.

［9］The ASCAC Subcommittee on Exascale Computing.The opportunities and challenges of exascale computing［EB／DB］.2010.http：／／science.energy.gov／～／media／ascr／ascac／pdf／reports／Exascale＿subcommittee＿report.pdf（又見：田榮，黎雷生，王迎瑞等譯，百億億級計算機(jī)遇與挑戰(zhàn)［J］.信息技術(shù)快報，2012，10（3）：1－49）

［10］楊學(xué)軍.E級計算的挑戰(zhàn)與思考［R］.2012全國高性能計算大會（HPC China 2012），特邀報告.湖南張家界：2012，10.

［11］陳皖蘇，李利.歐洲E級計算概覽［J］.高性能計算發(fā)展與應(yīng)用，2012，2：2－5.

［12］Jameson A.The role of CFD in preliminary aerospace design［C］／／Proceedings of FEDSM 03 4th ASME JSME joint fluids engineering conference，F(xiàn)EDSM2003－45812，Hawaii，USA，2003.

［13］Kato C.Engineering applications of fully－resolved LES：present status and future perspectives［C］／／The eighth international conference on computational fluid dynamics，Chengdu，China，July 14－18，2014.

［14］Bermejo－Moreno I，Bodart J，Larsson J，et al.Solving the compressible Navier－Stokes equations on up to 1.97million cores and 4.1trillion grid points［C］／／SC13，November 17－21 2013，Denver，CO，USA.

［15］Larsson J，Bermejo－Moreno I，Lele S K.Reynolds－and Machnumber effects in canonical shock－turbulence interaction［J］.Journal of Fluid Mechanics，2013，717：293－321.

［16］Xue W，Ranjan R，Wang L.Ultra－scalable CPU－MIC acceleration of mesoscale atmosphere modeling on Tianhe－2［J］.IEEE Transaction Computers，2015，64：2382－2393.doi：10.1109／TC.2014.2366754.

［17］Slotnick J，Khodadoust A，Alonso J，et al.CFD vision 2030 study：apath to revolutionary computational aerosciences［R］.NASA／CR－2014－218178，2014.

［18］Salas M D.Digital flight：The last CFD aeronautical grand challenge［J］.Journal of Scientific Computing，2006，28（2／3）：479－505.

［19］Murman S M，Aftosmis M J，Nemec M.Automated parameter studies using a Cartesian method［R］.AIAA Paper 2004－5076，presented at the 22nd AIAA Applied Aerodynamics Conference，Providence，RI，August 2004.

［20］Morton S A，Eymann T A，Lamberson S，et al.Relative motion simulations using an overset multimesh paradigm with Kestrel v3［R］.AIAA 2012－0712.

［21］Dean J P，Clifton J D，Bodkin D J，et al.High resolution CFD simulations of maneuvering aircraft using the CREATE／AVKestrel solver［R］.AIAA 2011－1109.

［22］Pierce C D，Moin P.Large eddy simulation of a confined coaxial jet with swirl and heat release［R］.AIAA 1998－2892.

［23］Moin P，Iaccarino G.Complex effects in large eddy simulations［J］.Lecture Notes in Computational Science and Engineering，2007，56：1－14.

［24］Kunz D L.Comprehensive rotorcraft analysis：past，present，and future［R］.AIAA 2005－2244.

［25］Strawn R C，Caradonna F X，Duque E P N.Thirty years of rotorcraft computational fluid dynamics research and development［J］.Journal of the American Helicopter Society，2006，51（1）：5－21.

［26］Lykins C，Thomson D，Pomfret C.The air Force’s application of probabilistics to gas turbine engines［R］.AIAA 94－1440－CP，1994.

［27］Safie F M.Use of probabilistic design methods for NASA applications［J］.Reliability Technology，1992，28：17－24.

［28］Chamis C C.Probabilistic structural analysis methods for space propulsion system components［J］.Probabilistic Engineering Mechanics，1987，2（2）：100－110.

［29］Sidwell V，Darmofal D.The impact of blade－to－blade variability and assembly on turbine cooling performance［J］.ASME Journal of Turbomachinery，2005，127（4）：763－770.

［30］Burdet A，Abhari R.Three－dimensional flow prediction and improvement of holes arrangement of a film－cooled turbine blade using a feature－based jet model［J］.ASME Journal of Turbomachinery，2007，129（2）：258－268.

［31］Steinmacher－Burow B，Gara A.Some challenges on road from petascale to exascale［EB／DB］.http：／／www.physik.uni－regensburg.de／forschung／wettig／workshops／APO＿April2010／talks／20100404%20IQCD%20RegenburgStainmacher－Burowv07.pdf

［32］Zhang L P，He L X，Liu W，et al.Reviews of high－order methods on unstructured and hybrid grid［J］.Advances in Mechanics，2013，43（2）：202－236.in Chinese）張來平，賀立新，劉偉，等.基于非結(jié)構(gòu)／混合網(wǎng)格的高階精度格式研究進(jìn)展［J］.力學(xué)進(jìn)展，2013，43（2）：202－236.

［33］Ekaterinaris J A.High－order accurate，low numerical diffusion methods for aerodynamics［J］.Progress in Aerospace Sciences，2005，41：192－300.

［34］Wang Z J.High－order methods for the Euler and Navier－Stokes equations on unstructured grids［J］.Progress in Aerospace Sciences，2007，43：1－41.

［35］He X，Zhang L P，Zhao Z，et al.Research of general large scale CFD software architecture and data structure［J］.Acta Aerodynamica Sinica，2012，30（5）：557－565.（in Chinese）赫新，張來平，趙鐘，等.大型通用CFD軟件體系結(jié)構(gòu)與數(shù)據(jù)結(jié)構(gòu)研究［J］.空氣動力學(xué)學(xué)報，2012，30（5）：557－565.

The opportunity and grand challenges in computational fluid dynamics by exascale computing

Zhang Laiping1，2，＊，Deng Xiaogang1，3，He Lei2，Li Ming2，He Xin1，2
（1.State Key Laboratory of Aerodynamics，China Aerodynamics Research and Development Center，Mianyang Sichuan 621000，China；2.Computational Aerodynamics Institute of China Aerodynamics Research and Development Center，Mianyang Sichuan 621000，China；3.National University of Defense Technology，Changsha Hunan 410074，China）

Exascale computer system will come into service in around 2020，and exascale computing will lead to transformational changes in computing scientific and scientific research.In Computational Fluid Dynamics（CFD），one of the main application fields of high performance computing，computing at the exascale promises dramatic advances in our capabilities to model and simulate complex phenomena of flows，at levels of fidelity that have the potential to dramatically change both our understanding and our ability to comprehend.Thus，there are almost certain to be great benefits to going to the exascale.In this paper，the opportunity and grand challenges in CFD were discussed with approaching of exascale computing.Firstly，the current progress of high performance computing in CFD was reviewed briefly.Secondly，the grand challenges and development tendency in CFD itself and applications of exascale computing in CFD were discussed.Finally，the suggestion for the development of future CFD was presented in the authors’opinion.In order to achieve the goal of exascale computing in CFD，the co－design of CFD，applied the applied math，the computer science，and the hardware community（including the hardware vendors）should be closely coupled in the exascale program.

exascale computing；high performance computing；computational fluid dynamics

V211.3

Adoi：10.7638／kqdlxxb－2014.0118

0258－1825（2016）04－0405－13

2015－02－14；

2015－03－23

國家自然科學(xué)基金（11532016，11272339）

張來平＊（1968－），研究員，博士生導(dǎo)師，主要從事非結(jié)構(gòu)／混合網(wǎng)格生成技術(shù)、基于非結(jié)構(gòu)／混合網(wǎng)格的計算格式、非定常流動機(jī)理等方面的研究與應(yīng)用.E－mail：zhanglp＿cardc＠126.com

張來平，鄧小剛，何磊，等.E級計算給CFD帶來的機(jī)遇與挑戰(zhàn)［J］.空氣動力學(xué)學(xué)報，2016，34（4）：405－417.

10.7638／kqdlxxb－2014.0118 Zhang L P，Deng X G，He L，et al.The opportunity and grand challenges in computational fluid dynamics by exascale computing［J］.Acta Aerodynamica Sinica，2016，34（4）：405－417.