孫以環(huán)（湖北工業(yè)大學(xué)，湖北 武漢 430068）

CPU-GPU耦合的多尺度模擬應(yīng)用

孫以環(huán)（湖北工業(yè)大學(xué)，湖北 武漢 430068）

簡(jiǎn)要介紹了多尺度問題與研究方法。論述了常見多尺度問題的模擬計(jì)算方法與研究進(jìn)展，對(duì)現(xiàn)有研究的局限性和存在的問題進(jìn)行分析，指出了進(jìn)一步研究多尺度模擬與計(jì)算的必要性。離散顆粒模型（DPM）在顆粒流體系統(tǒng)的模擬中已經(jīng)得到了廣泛的應(yīng)用，但DPM對(duì)大規(guī)模系統(tǒng)進(jìn)行模擬時(shí)計(jì)算量巨大，嚴(yán)重制約了它的應(yīng)用。而近年迅速發(fā)展的圖形處理器（GPU）以其強(qiáng)大的計(jì)算能力和良好的并行性為離散顆粒模型的發(fā)展應(yīng)用提供了另外一種途徑。

多尺度；模擬；DPM；應(yīng)用

化學(xué)工程是一門擁有接近百年發(fā)展史的學(xué)科，它的發(fā)展和進(jìn)步對(duì)整個(gè)化學(xué)工業(yè)的發(fā)展和興起起到了巨大的推動(dòng)作用，到目前為止，化學(xué)工程的服務(wù)對(duì)象不單是化學(xué)工業(yè)，而且已經(jīng)擴(kuò)展到材料、冶金、能源、生物、環(huán)境等諸多過程工業(yè)。世界工業(yè)化的發(fā)展和繁榮離不開化學(xué)工程，因此化學(xué)工程學(xué)科也在不斷擴(kuò)大其科學(xué)內(nèi)涵，向著更為交叉學(xué)科發(fā)展起來，尤其應(yīng)用于研究物質(zhì)在各個(gè)學(xué)科轉(zhuǎn)化過程中，向著化學(xué)、生物等學(xué)科中物質(zhì)運(yùn)動(dòng)、傳遞和反應(yīng)及其相互關(guān)系為科學(xué)內(nèi)涵的過程工程學(xué)科間轉(zhuǎn)移。目前，化學(xué)工業(yè)在我國(guó)整個(gè)國(guó)民生產(chǎn)中占據(jù)非常重要的比例，過程工業(yè)的產(chǎn)值約占工業(yè)總產(chǎn)值的一半，并且占據(jù)工業(yè)總稅收的l/3，由此可見化學(xué)工程學(xué)科的發(fā)展不僅在科學(xué)領(lǐng)域有著重要的意義，而且在我國(guó)國(guó)民經(jīng)濟(jì)中起著同樣舉足輕重的作用。

多尺度現(xiàn)象幾乎出現(xiàn)在所有的自然科學(xué)和實(shí)際工程應(yīng)用中，因此對(duì)于多尺度問題模擬與計(jì)算研究的課題在材料科學(xué)、化學(xué)、力學(xué)和生物學(xué)等許多領(lǐng)域中屢見不鮮。隨著社會(huì)的不斷發(fā)展，人們對(duì)于材料的要求也在不斷的提高，材料設(shè)計(jì)系統(tǒng)也逐漸趨向于細(xì)致化和復(fù)雜化， 因此，原本用于單一尺度的模型顯示出其固有的局限性，單一尺度模型其中的一個(gè)主要的局限性就是它的精度無法滿足實(shí)際應(yīng)用的需要。除此之外，單一尺度模型的局限性還表現(xiàn)在對(duì)微觀尺度上的力學(xué)性能的忽略，而微觀上被忽略的力學(xué)性能往往會(huì)對(duì)模型的合理性有非常重要的影響。例如，在建筑中常用到的混凝土，其微觀結(jié)構(gòu)對(duì)宏觀性能(如尺寸大小穩(wěn)定性、強(qiáng)度以及耐久性等) 有著至關(guān)重要的影響，可是現(xiàn)如今所經(jīng)常使用到的混凝土模型遠(yuǎn)遠(yuǎn)沒有反映微觀結(jié)構(gòu)對(duì)其宏觀性能的影響。此外，為了克服有些單一尺度量級(jí)的模型是半經(jīng)驗(yàn)的，研究者們就開始從微觀尺度模型上著手。而將微觀尺度量級(jí)的模型使用在整個(gè)系統(tǒng)上，卻給建模和計(jì)算帶來極大的復(fù)雜程度，不僅有可能無法實(shí)現(xiàn)， 而且對(duì)于有用信息的提取也是件十分困難的事情。因此，本文將對(duì)一個(gè)能夠克服上述困難的有力工具——多尺度模型進(jìn)行探討。

1 多尺度模擬概念

上世紀(jì)50～60年代，“三傳一反”原理廣泛應(yīng)用于各個(gè)學(xué)科和工業(yè)上，已經(jīng)成為是化學(xué)工程的基石，“三傳一反”原理本質(zhì)上是一種宏觀的表述，其科學(xué)內(nèi)涵僅限于宏觀上數(shù)學(xué)和物理歸納。實(shí)際上，化學(xué)工程討論的范圍同時(shí)涉及到很寬的時(shí)間和空間尺度上，時(shí)間上從分子化學(xué)間振動(dòng)的納秒(〈10-4 s)到工業(yè)過程所需的幾天，空間上從分子或顆粒的納米(〈10-9 m)到工廠的米或千米（〉10km）。如果要對(duì)某一尺度進(jìn)行控制，則需要在另一尺度中尋找可操作的手段?，F(xiàn)如今，化學(xué)工程已開始慢慢傾向于生物學(xué)科、醫(yī)藥學(xué)科、納米顆粒、材料學(xué)科、環(huán)境等學(xué)科和過程，而我們傳統(tǒng)化學(xué)工業(yè)依然存在過程調(diào)控、放大和優(yōu)化等復(fù)雜問題。因此，從分子尺度到宏觀過程尺度的多尺度關(guān)聯(lián)將逐漸在化學(xué)工程中得到應(yīng)用。傳統(tǒng)的“三傳一反”將面臨著巨大的新的挑戰(zhàn)，必須要換一個(gè)角度，從新的角度來認(rèn)識(shí)化學(xué)工程的現(xiàn)象和規(guī)律[1]。不均勻時(shí)空多尺度結(jié)構(gòu)是化學(xué)工程眾多現(xiàn)象中突出的特征，并且不均勻時(shí)空的多尺度結(jié)構(gòu)慢慢得到研究人員的關(guān)注[2]。李靜海等[3]最早提出了能量最小多尺度作用模型，并且已成功預(yù)測(cè)了快速流化床中局部稀密兩相不均勻分布和密相的聚團(tuán)尺寸以及氣固流型。這項(xiàng)研究表明了用多尺度方法是非常可行的，也預(yù)示其對(duì)化學(xué)工程進(jìn)行量化具有可行性，并將在未來化學(xué)工業(yè)有一定的發(fā)展勢(shì)頭?；瘜W(xué)工程中的現(xiàn)象可歸納為以下4種過程：流動(dòng)、傳遞、分相和反應(yīng)；6種尺度：分子、納微米、單元(顆粒、液滴、氣泡)、聚團(tuán)、設(shè)備、工廠。

多尺度法可歸納為：（1）把總過程分解為若干不同尺度的子過程；（2）研究不同尺度下各個(gè)子過程；（3）對(duì)不同子過程以及子過程之間的相互聯(lián)系進(jìn)行研究；（4）采用物理化學(xué)過程手段，對(duì)系統(tǒng)產(chǎn)生多尺度結(jié)構(gòu)的控制機(jī)理分析和歸納；（5）將這些不同子過程的研究結(jié)果綜合起來，解決總過程的問題?？墒沁@些步驟的實(shí)施存在很多難題，難點(diǎn)分為：（1）選擇有代表性的尺度以及尺度空間，可以表達(dá)過程的結(jié)構(gòu)特征；（2）不同尺度間的相互聯(lián)系的分析；（3）多過程多尺度綜合的方法和規(guī)則。多尺度模擬考慮空間和時(shí)間的跨尺度與跨層次特征，并將相關(guān)尺度禍合起來，提高模擬和計(jì)算效率，分析出有用的微觀信息，是求解各種復(fù)雜的材料和工程問題的重要方法和技術(shù)。抓住不同時(shí)空條件下材料或者系統(tǒng)的物理響應(yīng)特征是多尺度模擬的目標(biāo)，并要對(duì)其性能或者使用壽命進(jìn)行預(yù)測(cè)，掌握較小尺度的結(jié)構(gòu)與性能對(duì)材料或者系統(tǒng)宏觀行為的影響。

目前，按照連接尺度的范圍大小，多尺度模擬主要包括納觀、微觀、細(xì)觀和宏觀等主要尺度的模擬。一般情況下，納觀尺度上常運(yùn)用量子力學(xué)（quantum mechanics，QM）理論，微觀尺度上常運(yùn)用分子動(dòng)力學(xué)（moleeular damies，MD）理論，而細(xì)觀和宏觀尺度運(yùn)用連續(xù)介質(zhì)力學(xué)（continuum mechanies，CM）理論，但細(xì)觀尺度比宏觀小得多并且有一定的隨機(jī)性，還需要結(jié)合統(tǒng)計(jì)學(xué)方法。

對(duì)多尺度模擬建模的策略常有以下兩種：一種策略是先在較低的尺度上進(jìn)行建模，分析總結(jié)，尋找其中的規(guī)律和法則，然后再將規(guī)律放入高尺度模型中，這個(gè)過程是一個(gè)從小尺度到大尺度的遞階過程。采用這種策略的方法一般稱作信息傳遞的多尺度方法(information-passing multi-scale methods )或遞階的多尺度方法(hierarehical multi-seale methods ) 。另一種策略是在不同尺度上同時(shí)進(jìn)行建模， 并把區(qū)域進(jìn)行劃分，將區(qū)域分成不同尺度定律控制的區(qū)域， 這些區(qū)域可以重疊也可以不重疊，并且在區(qū)域之間交界連接。在第二種策略中， 區(qū)域之間的連接也是一個(gè)重要問題。采用這種策略的方法一般稱作一致 的多尺度方法(coneurent multi-seale methods)。

2 CPU-GPU 耦合的多尺度模擬應(yīng)用

顆粒軌道模型由于能夠得到微觀尺度上單個(gè)顆粒的具體信息，對(duì)于探索顆粒流體系統(tǒng)中的復(fù)雜流動(dòng)行為能夠提供十分有益的幫助，同時(shí)在實(shí)際工程應(yīng)用中表現(xiàn)出巨大的潛力[4-7]。但由于工業(yè)裝置均規(guī)模較大而且具有復(fù)雜的邊界，同時(shí)工業(yè)過程伴有復(fù)雜的流動(dòng)和傳熱以及反應(yīng)，應(yīng)用顆粒軌道模型依然需要大量的處理時(shí)間。

最近幾年，圖形處理器(GPU)的發(fā)展很大程度上提高了計(jì)算機(jī)圖形處理的速度以及圖形質(zhì)量。并且同時(shí)，圖形處理器繪制流水線的高速度和并行性以及近年來發(fā)展起來的可編程功能，方便了圖形處理以外的數(shù)字圖像處理和通用并行計(jì)算，并且，近年來人們關(guān)注的新的熱點(diǎn)問題聚焦在使用GPU對(duì)傳統(tǒng)的通用計(jì)算和圖像處理算法和進(jìn)行并行加速[8-12]。針對(duì)顆粒軌道模型中最耗時(shí)的顆粒相間作用，利用 GPU進(jìn)程間快速便捷的通信，可以減少傳統(tǒng)并行機(jī)進(jìn)程間通信和管理的損耗；同時(shí)GPU的執(zhí)行時(shí)間和粒子規(guī)模為次線性關(guān)系，不僅提高了算法的運(yùn)算速度而且大大增加計(jì)算的規(guī)模。本文針對(duì)傳統(tǒng)并行顆粒軌道模型在實(shí)際應(yīng)用中的缺點(diǎn)，結(jié)合GPU的高速并行性，提出了一種多尺度并行顆粒軌道模型，而這種模型則是基于GPU加速，并且減少了計(jì)算時(shí)間，解決了計(jì)算的粒子規(guī)模問題，極大提高了顆粒軌道模型的運(yùn)算速度。

2.1 計(jì)算方法

2.1.1 CPU-GPU 耦合的多尺度計(jì)算模式

文獻(xiàn)提出的基于GPU加速CPU-GPU耦合的多尺度并行顆粒軌道模型，其計(jì)算結(jié)構(gòu)示意圖如圖1所示。在宏觀尺度上由主節(jié)點(diǎn)進(jìn)行任務(wù)劃分，進(jìn)而基于區(qū)域分解法在介觀尺度上的流體相運(yùn)動(dòng)方程在CPU上并行求解，而微觀尺度上的計(jì)算量大的顆粒相間作用以及粒子搜索等在GPU中加速并行執(zhí)行。

圖1 CPU-GPU耦合的多尺度計(jì)算結(jié)構(gòu)的示意圖

2.1.2 CPU-GPU 耦合的多尺度計(jì)算流程

根據(jù)上述的CPU-GPU耦合的多尺度計(jì)算模式所建立的計(jì)算模型的流程如圖2所示。首先上層的CPU主節(jié)點(diǎn)讀入整體計(jì)算區(qū)域和計(jì)算參數(shù)以及初始計(jì)算條件，完成初始化后進(jìn)行負(fù)載調(diào)度和計(jì)算區(qū)域分割，并將分割后的任務(wù)分配到各個(gè)CPU節(jié)點(diǎn)。計(jì)算過程中每次迭代計(jì)算完成后，中層的各個(gè)CPU節(jié)點(diǎn)的流量殘差要?dú)w約收集到上層的CPU以進(jìn)行收斂判斷。然后中層的CPU節(jié)點(diǎn)接到任務(wù)后進(jìn)行流體動(dòng)量方程的求解，流體動(dòng)量方程的求解完畢后則計(jì)算在此流場(chǎng)下顆粒所受到的曳力，并發(fā)送到GPU，然后進(jìn)行下一個(gè)時(shí)間步的計(jì)算。最后下層的GPU將中層的CPU的顆粒相計(jì)算區(qū)域作為一個(gè)柵格，其中所包含的每個(gè)顆粒的運(yùn)動(dòng)方程利用一個(gè)線程進(jìn)行并行求解。顆粒運(yùn)動(dòng)方程的求解過程主要包括：（1）交換該柵格和相鄰柵格的重疊區(qū)域的粒子的信息；（2）搜索定位每個(gè)顆粒的所在元胞，并確定其鄰居顆粒的信息；（3）進(jìn)行顆粒碰撞過程的計(jì)算；（4）根據(jù)顆粒碰撞所受到的合力，并將更新后的顆粒速度和位置信息發(fā)送到中層GPU，然后進(jìn)行下一個(gè)時(shí)間步的計(jì)算。

圖2 CPU-GPU耦合的多尺度計(jì)算的流程圖

2.2 流態(tài)化不同流型過渡的模擬

基于上述的CPU-GPU耦合的顆粒軌道模型的計(jì)算流程，有文獻(xiàn)對(duì)具有不同反應(yīng)器幾何結(jié)構(gòu)而具有相同平均空隙率和入口氣速的三種不同工況下的氣固流態(tài)化系統(tǒng)進(jìn)行了模擬研究。模擬中對(duì)于氣相，入口處以固定的氣速進(jìn)入，對(duì)于固體邊壁采用無滑移邊界條件，上端的出口采用自由出流邊界條件處理，顆粒初始隨機(jī)在整個(gè)管內(nèi)分布。三種工況下的顆粒的非均勻結(jié)構(gòu)的動(dòng)態(tài)演化過程的模擬結(jié)果分別如圖3～5所示。正如李等[13]所提出的設(shè)備尺寸的改變同樣會(huì)導(dǎo)致流動(dòng)結(jié)構(gòu)的突變即所謂的放大效應(yīng)，本文的模擬結(jié)果展示了在不同系統(tǒng)具有相同氣速和空隙率的情況下，隨著設(shè)備尺寸的改變，兩相流動(dòng)的流型由節(jié)涌流態(tài)化向湍動(dòng)流態(tài)化和快速流態(tài)化過渡的過程。

圖3 近似節(jié)涌流態(tài)化的動(dòng)態(tài)演化過程圖

圖4 近似湍動(dòng)流態(tài)化的動(dòng)態(tài)演化過程

圖5 近似快速流態(tài)化的動(dòng)態(tài)演化過程

2.3 流態(tài)化系統(tǒng)的大規(guī)模模擬

基于CPU-GPU耦合的顆粒軌道模型的計(jì)算模式，對(duì)包含50萬個(gè)顆粒的氣固流態(tài)化系統(tǒng)進(jìn)行了模擬研究。模擬中對(duì)于氣相，入口處以固定的氣速進(jìn)入，對(duì)于固體邊壁采用無滑移邊界條件，上端的出口采用自由出流邊界條件處理，顆粒初始隨機(jī)在整個(gè)管內(nèi)分布。模擬結(jié)果如圖6所示。由圖6可以看出，模擬結(jié)果復(fù)現(xiàn)了具有軸向上，上稀下濃，而徑向上，中間稀兩邊濃的非均勻結(jié)構(gòu)特征的稀密相共存的環(huán)核結(jié)構(gòu)的形成過程，同時(shí)展示了顆粒的團(tuán)聚過程由小的團(tuán)簇逐漸發(fā)展為帶狀團(tuán)聚物進(jìn)而發(fā)展為顆粒群的過程。

圖6 大規(guī)模顆粒流體系統(tǒng)的非均勻結(jié)構(gòu)的動(dòng)態(tài)演化過程

綜上所述，針對(duì)顆粒軌道模型中顆粒計(jì)算量過大而限制其應(yīng)用的問題，利用求解顆粒運(yùn)動(dòng)方程的離散單元法良好的并行性，同時(shí)結(jié)合GPU的超強(qiáng)計(jì)算能力，提出了一種基于GPU加速的多尺度并行顆粒軌道模型，并詳細(xì)論述了該模型的多尺度計(jì)算結(jié)構(gòu)的實(shí)現(xiàn)。先以設(shè)備尺度變化而導(dǎo)致的流動(dòng)結(jié)構(gòu)的突變作為算例進(jìn)行了模擬研究，模擬結(jié)果展示了在不同系統(tǒng)具有相同氣速和空隙率的情況下，隨著設(shè)備尺寸的改變，兩相流動(dòng)的流型由節(jié)涌流態(tài)化向湍動(dòng)流態(tài)化和快速流態(tài)化過渡的過程。進(jìn)而對(duì)包含有50萬個(gè)顆粒的氣固流態(tài)化系統(tǒng)的非均勻結(jié)構(gòu)的動(dòng)態(tài)演化過程進(jìn)行了模擬研究，復(fù)現(xiàn)了具有軸向上，上稀下濃，而徑向上，中間稀兩邊濃的非均勻結(jié)構(gòu)特征的稀密相共存的環(huán)核結(jié)構(gòu)的形成過程，同時(shí)展示了顆粒的團(tuán)聚過程由小的團(tuán)簇逐漸發(fā)展為帶狀團(tuán)聚物進(jìn)而發(fā)展為顆粒群的過程。

3 存在問題及結(jié)論

由于自身理論體系的問題，多尺度分析方法缺乏系統(tǒng)性和完整性。雖然在解決一些實(shí)際問題時(shí)，多尺度分析方法很有成效，但其針對(duì)性很強(qiáng)，一般都是一對(duì)一的解決方法，對(duì)于普通的模型缺少適用性。多尺度模擬當(dāng)今研究的難點(diǎn)和重點(diǎn)仍然是不同尺度區(qū)域間的連接以及低尺度建模理論。大型商用計(jì)算程序還沒有和多尺度模擬與計(jì)算有效結(jié)合起來，還沒能夠有效實(shí)現(xiàn)，基本上要靠研究人員編寫計(jì)算程序或者采用一些發(fā)達(dá)國(guó)家沿用的理論和設(shè)別，多尺度方法的發(fā)展與應(yīng)用在這種現(xiàn)狀下很難進(jìn)行下去。此外，多尺度方法的最終目標(biāo)之一還是要建立連接納米尺度、微米尺度、細(xì)觀尺度和宏觀尺度等全尺度模擬的理論與方法。此外， 這種方法還需要進(jìn)行大規(guī)模的普及，吸引更多的研究者和專家加入，實(shí)現(xiàn)這些目標(biāo)對(duì)復(fù)雜材料、生物學(xué)、化學(xué)、力學(xué)以及系統(tǒng)設(shè)計(jì)等領(lǐng)域有重要意義。

[1] 張鎖江, 張香平. 分子工程與過程工程[M]．北京: 化學(xué)工業(yè)出版社，2004. 36 - 49．

[2] 李靜海, 郭慕孫. 過程工程量化的科學(xué)途徑-多尺度法[J]. 自然科學(xué)進(jìn)展, 1999, 9 (121)：1073 - 1078．

[3] 李靜海．顆粒流體兩相流多尺度方法和能量最小模型[D]．北京：中國(guó)科學(xué)院化工冶金研究所，1987．

[4] Hoomans B P B，Kuipers J A M ，Briels W J, van Swaaij W P M. Discrete Particle Simulation of Bubbleand Slug Fclrmation in a Two-dimensional Gasfluidized: a Hard-sphere Approach[J]. Chem. Eng. Sci., 1996,51: 99 - 108.

[5] 0uyang J, Li J H. Particle-motion-resolved Discrete Model for Simulating Gas-Solid Fluidization[J]. Chem.Eng. Sci., 1999, 54: 2077 - 2083.

[6] Tsuji Y, Kawaguchi T, Tanaka T. Discrete Particle Simulation of Twodimensional Fluidized Bed[J]. Powder Techno1., 1993, 77: 79 - 87.

[7] Xu B H，Yu A B. Numerical Simulation of the Gas-Solid Flow in a Fluidized Bed by Combining Discrete Particle Method with Computation Fluid Dynamics[J]. Chem. Eng. Sci., 1997, 52: 2785 - 2809.

[8] Li J, Kuipersa J A M. Gas-particle interactions in dense gas-fluidized beds[J]. Chem. Eng. Sci.，2003, 58:711-718.

[9] Belleman Robert G., Bedorf Jeroen, Zwart Simon F. Portegies. High performance direct gravitational N-body simulations on graphics processing units II: An implementation in CUDA[J]. New Astronomy, 2008,13(2): 103 - 112.

[10] van Meel J A, Arnold A, Frenkel D, Zwart S F Portegies, Belleman R G. Harvesting graphics power for MD simulations[J]. Molecular Simulation, 2008, 34(3): 259 - 266.

[11] Anderson J A, Lorenz C D, Travesset A. General purpose molecular dynamics simulations fully implemented on graphics processing units[J]. Comput. Phys., 2008, 227(10): 5342 - 5359.

[12] 多相復(fù)雜系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室多尺度離散模擬項(xiàng)目組. 基于GPU 的多尺度離散模擬并行計(jì)算[M]. 北京: 科學(xué)出版社, 2008.

[13] Li J, Kwauk M. Exporing complex systems in chemical engineering－the multi-scale methodology[J]. Chem.Eng. Sci, 2003, 58: 521 - 535.

The Multi-scale Simulation Application of the Coupling of CPU-GPU

This paper briefly introduces the multi-scale problem and its research methods, discusses the research on the multi-scale simulation calculation method and the research progress, and points out the limitations of current researches and the existing problems, making further research on the multi-scale simulation and calculation very necessary. Discrete particle model (DPM) in the numerical simulation of particle fluid system has been widely used, but the DPM of large-scale system generates a huge computation and has seriously restricted its application. In recent years, the rapid development of the graphics processing units (GPU) with its powerful computing capacity and good parallelism provides another way for the development and application of discrete particle model.

Multi-scale; Simulation; DPM; Application

B

1003-0492(2015)05-0096-04

TP391

孫以環(huán)（1983-），女，江蘇沐陽人，湖北工業(yè)大學(xué)儀器儀表工程專業(yè)碩士研究生在讀，現(xiàn)就職于中國(guó)石油天然氣運(yùn)輸公司長(zhǎng)慶運(yùn)輸分公司。