韋 昌 樊昱晨 周永清 劉 欣, 張超群 王赫陽(yáng),1)

* (天津大學(xué)機(jī)械工程學(xué)院,天津 300072)

? (煙臺(tái)龍?jiān)措娏夹g(shù)股份有限公司,山東煙臺(tái) 264006)

引言

近年來(lái),隨著計(jì)算資源和可用數(shù)據(jù)的暴發(fā)式增長(zhǎng),機(jī)器學(xué)習(xí)技術(shù)不僅在計(jì)算機(jī)視覺(jué)[1]、自然語(yǔ)言處理[2]和智能推薦系統(tǒng)[3]等方面取得了革命性成果,在智能計(jì)算領(lǐng)域也展現(xiàn)出了巨大潛力[4].目前,機(jī)器學(xué)習(xí)技術(shù)已被廣泛應(yīng)用于各種常見(jiàn)的科學(xué)問(wèn)題[5]和工程問(wèn)題[6].例如,基于高斯過(guò)程[7]求解線性和非線性偏微分方程(partial differential equations,PDE),采用稀疏回歸算法[8]從觀測(cè)數(shù)據(jù)中反演物理系統(tǒng)的狀態(tài)和屬性,以及基于深度學(xué)習(xí)方法對(duì)流場(chǎng)進(jìn)行超分辨重構(gòu)[9]等.但是,上述機(jī)器學(xué)習(xí)技術(shù)屬于基于數(shù)據(jù)驅(qū)動(dòng)的方法,強(qiáng)大的代理模型需要建立在大量的訓(xùn)練數(shù)據(jù)之上.而在現(xiàn)實(shí)應(yīng)用場(chǎng)景中,數(shù)據(jù)的獲取通常伴隨著昂貴的代價(jià)和成本,這導(dǎo)致人們往往要在信息不完備的情況下對(duì)復(fù)雜系統(tǒng)做出預(yù)測(cè)和決策.另外,絕大多數(shù)先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)都是建立在概率統(tǒng)計(jì)上的一種黑箱模型[10],缺乏對(duì)物理系統(tǒng)內(nèi)部機(jī)理的合理解釋.在這種背景下,物理信息神經(jīng)網(wǎng)絡(luò)[11](physics-informed neural networks,PINN)因其訓(xùn)練數(shù)據(jù)少和內(nèi)嵌了物理先驗(yàn)知識(shí)而受到學(xué)術(shù)界的廣泛關(guān)注.

PINN 的基本原理是神經(jīng)網(wǎng)絡(luò)的函數(shù)通用近似定理[12],核心思想是將PDE 的殘差形式嵌入到神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中,約束訓(xùn)練參數(shù)的求解空間.該思想最早出現(xiàn)于1994 年,Dissanayake 等[13]基于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性近似能力,將求解PDE 的數(shù)值問(wèn)題轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題,通過(guò)最小化損失函數(shù)實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)輸出對(duì)PDE 解的近似.但是,由于當(dāng)時(shí)反向傳播算法的落后以及計(jì)算資源的限制,使用神經(jīng)網(wǎng)絡(luò)求解PDE 的方法并未引起太多的關(guān)注.近年來(lái),隨著機(jī)器學(xué)習(xí)技術(shù)的崛起和自動(dòng)微分技術(shù)[14]的出現(xiàn),該方法才再次走進(jìn)科研人員的視野.在2019 年,Raissi 等[11]采用自動(dòng)微分技術(shù)代替了原始的手動(dòng)求導(dǎo)方法,極大地提升了神經(jīng)網(wǎng)絡(luò)的計(jì)算效率,并正式將嵌入物理知識(shí)的神經(jīng)網(wǎng)絡(luò)命名為PINN.并且,為了應(yīng)對(duì)不同的使用場(chǎng)景,Raissi 進(jìn)一步設(shè)計(jì)了連續(xù)時(shí)間模型和離散時(shí)間模型兩種不同的神經(jīng)網(wǎng)絡(luò)模型.

PINN 的概念自從被提出后,迅速成為數(shù)據(jù)科學(xué)工程和人工智能領(lǐng)域的研究熱點(diǎn)[15].為了提高PINN求解PDE 問(wèn)題的精度、加快收斂速度以及增強(qiáng)泛化性能,研究人員從神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)類型和激活函數(shù)形式等方面展開(kāi)了深入研究,并提出了各種PINN 的變體.Yu 等[16]利用PDE 的梯度信息,將額外的梯度項(xiàng)嵌入到損失函數(shù)中,提出了梯度增強(qiáng)型物理信息神經(jīng)網(wǎng)絡(luò)(gPINN)框架,提高了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和泛化性.針對(duì)PINN 訓(xùn)練過(guò)程中存在梯度反向傳播不平衡的問(wèn)題,Wang 等[17]提出了一種自適應(yīng)學(xué)習(xí)率退火算法,可以在PINN 訓(xùn)練期間動(dòng)態(tài)調(diào)節(jié)各個(gè)損失項(xiàng)的量級(jí),提高模型求解精度.Jagtap 等[18]通過(guò)在激活函數(shù)中加入可縮放因子,提出了一種自適應(yīng)激活函數(shù),加快了PINN 求解非線性PDE 的收斂速度.

根據(jù)損失函數(shù)不同的構(gòu)造方式,PINN 可以分為連續(xù)時(shí)間模型和離散時(shí)間模型,離散時(shí)間模型也被稱為基于龍格庫(kù)塔法的物理信息神經(jīng)網(wǎng)絡(luò)(physicsinformed neural networks based on the Runge-Kutta method,PINN-RK).為方便起見(jiàn),文中后續(xù)內(nèi)容中的PINN 將特指物理信息神經(jīng)網(wǎng)絡(luò)連續(xù)時(shí)間模型.雖然PINN 具有出色的高效性和靈活性,但是仍存在兩個(gè)局限性[19-23].在正問(wèn)題中,隨著PDE 維度的升高,其施加物理約束所需的采樣點(diǎn)數(shù)量呈指數(shù)級(jí)增長(zhǎng),增加了計(jì)算負(fù)擔(dān).在逆問(wèn)題中,其前提假設(shè)是采樣數(shù)據(jù)在整個(gè)時(shí)空域內(nèi)是連續(xù)可用的,采樣點(diǎn)能夠取到求解域內(nèi)的任意時(shí)空坐標(biāo)點(diǎn).但是,在實(shí)際的應(yīng)用場(chǎng)景中,該假設(shè)往往難以得到滿足.數(shù)據(jù)采集過(guò)程中,傳感器通常在固定位置上以固定時(shí)間間隔對(duì)系統(tǒng)進(jìn)行采樣.并且,對(duì)于采樣空間較大的應(yīng)用,采樣數(shù)據(jù)在時(shí)空域內(nèi)往往呈現(xiàn)出稀疏離散的特點(diǎn).與PINN 相比,PINN-RK 的使用并不存在該假設(shè)限制,更加符合實(shí)際應(yīng)用場(chǎng)景,約束點(diǎn)數(shù)量也不會(huì)隨PDE維度的升高而呈現(xiàn)指數(shù)級(jí)增長(zhǎng).但是,迄今為止,針對(duì)PINN-RK 的研究少之又少,且主要集中在一維非穩(wěn)態(tài)問(wèn)題上.另外,由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的限制,PINNRK 的輸出僅能表征一種物理量,無(wú)法同時(shí)反映多個(gè)物理量的狀態(tài),導(dǎo)致現(xiàn)有的PINN-RK 模型僅適用于求解單個(gè)PDE,而無(wú)法求解相互耦合的PDE 系統(tǒng).

因此,為了擴(kuò)展PINN-RK 的應(yīng)用范圍和實(shí)現(xiàn)對(duì)PDE 系統(tǒng)的求解,本文提出了一種基于龍格庫(kù)塔法的多輸出物理信息神經(jīng)網(wǎng)絡(luò)(multi-output physicsinformed neural networks based on the Runge-Kutta method,MO-PINN-RK).MO-PINN-RK 在PINNRK 的基礎(chǔ)上采用了并行輸出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)將神經(jīng)網(wǎng)絡(luò)劃分為多個(gè)子網(wǎng)絡(luò),建立了多個(gè)神經(jīng)網(wǎng)絡(luò)輸出層,利用不同輸出層近似不同的物理量,并通過(guò)輸出層共享的隱藏層捕捉不同物理量之間的耦合關(guān)系,使MO-PINN-RK 不僅可以同時(shí)預(yù)測(cè)多個(gè)物理量,還可實(shí)現(xiàn)耦合PDE 系統(tǒng)的求解.為驗(yàn)證MOPINN-RK 的有效性,本文將二維不可壓縮流體的圓柱繞流問(wèn)題作為測(cè)試案例.基于觀測(cè)數(shù)據(jù),使用MOPINN-RK 對(duì)流場(chǎng)預(yù)測(cè)和參數(shù)辨識(shí)兩種問(wèn)題展開(kāi)研究,并將模型預(yù)測(cè)解與基準(zhǔn)解進(jìn)行對(duì)比.本工作采用并行的多輸出神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建了新型的PDE 求解器,以期為工程和科學(xué)領(lǐng)域的問(wèn)題求解提供準(zhǔn)確高效的解決方案.

1 物理信息神經(jīng)網(wǎng)絡(luò)

1.1 PINN

一般情況下,線性和非線性PDE 的通用形式為

其中,u(t,x)表示PDE 的解,下標(biāo)t表示函數(shù)u(t,x)對(duì)時(shí)間的偏導(dǎo)數(shù),N [·] 表示線性或非線性微分算子,?為 RD的子集.從神經(jīng)網(wǎng)絡(luò)的通用近似定理可知,一個(gè)包含足夠多神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)模型可以以任意精度近似一個(gè)非線性函數(shù).基于該定理,在大量訓(xùn)練數(shù)據(jù)的基礎(chǔ)上,可以通過(guò)神經(jīng)網(wǎng)絡(luò)的輸出近似PDE 的解.然而,很多科學(xué)問(wèn)題和工程系統(tǒng)的數(shù)據(jù)采集較為困難,基于大量數(shù)據(jù)的機(jī)器學(xué)習(xí)技術(shù)并不適用于這些小數(shù)據(jù)系統(tǒng).人們對(duì)于科學(xué)問(wèn)題和工程應(yīng)用卻有著大量的先驗(yàn)知識(shí),這些先驗(yàn)知識(shí)的存在恰好可以彌補(bǔ)數(shù)據(jù)上的不足.一般而言,先驗(yàn)知識(shí)以PDE 守恒方程的形式出現(xiàn),如式(1)所示.與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同,PINN 是一種將物理先驗(yàn)知識(shí)嵌入到損失函數(shù)中的神經(jīng)網(wǎng)絡(luò)模型,如圖1 所示.

PINN 通過(guò)最小化損失函數(shù)的方式,使用梯度下降算法不斷更新神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏差,以實(shí)現(xiàn)近似PDE 解的目的[24].將PDE 的殘差形式以懲罰項(xiàng)的方式加入到神經(jīng)網(wǎng)絡(luò)損失函數(shù)中,可以為神經(jīng)網(wǎng)絡(luò)的優(yōu)化學(xué)習(xí)指明方向,減少可行解的參數(shù)空間,降低訓(xùn)練代價(jià).當(dāng)神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)不滿足約束條件時(shí),懲罰項(xiàng)會(huì)導(dǎo)致?lián)p失函數(shù)的增加.因此,在神經(jīng)網(wǎng)絡(luò)優(yōu)化過(guò)程中,懲罰項(xiàng)會(huì)影響權(quán)重的調(diào)整,以達(dá)到在約束條件下降低總損失值的目標(biāo).先驗(yàn)知識(shí)的嵌入相當(dāng)于人為地從數(shù)據(jù)中提取了物理規(guī)律,代替機(jī)器學(xué)習(xí)模型進(jìn)行了部分特征提取工作,節(jié)省了優(yōu)化算法自身進(jìn)行數(shù)據(jù)挖掘的時(shí)間.另外,相比于優(yōu)化算法主動(dòng)學(xué)習(xí)隱藏在數(shù)據(jù)中的物理規(guī)律,顯式地將先驗(yàn)知識(shí)嵌入到神經(jīng)網(wǎng)絡(luò)中的做法可以進(jìn)一步放大增強(qiáng)數(shù)據(jù)中的信息量[25],更有益于模型朝著最優(yōu)解的方向前進(jìn).

1.2 PINN-RK

龍格庫(kù)塔法是一種高階精度的數(shù)值方法,常被用于科學(xué)計(jì)算和工程應(yīng)用中.該方法通過(guò)在每個(gè)時(shí)間步中計(jì)算多個(gè)中間節(jié)點(diǎn)加權(quán)和的方式逼近數(shù)值解,可以有效地抑制數(shù)值發(fā)散等問(wèn)題,提高了數(shù)值求解過(guò)程的穩(wěn)定性,因此更適用于處理長(zhǎng)時(shí)間跨度問(wèn)題.PINN-RK 是神經(jīng)網(wǎng)絡(luò)與龍格庫(kù)塔法結(jié)合的產(chǎn)物.將q階龍格庫(kù)塔公式[26]應(yīng)用到式(1),可以得到

其中,q為龍格庫(kù)塔階數(shù),?t表示時(shí)間間隔,aij為龍格庫(kù)塔公式中的系數(shù),龍格庫(kù)塔公式的顯式格式和隱式格式由這些系數(shù)所決定.由于隱式格式具有非常出色的穩(wěn)定性,本文后續(xù)計(jì)算均采用隱式龍格庫(kù)塔公式.ci和cj為龍格庫(kù)塔節(jié)點(diǎn),un+ci和un+cj為龍格庫(kù)塔采樣值

為了便于書(shū)寫(xiě)表達(dá),式(2)可以被轉(zhuǎn)化為如下形式

在PINN-RK 中,輸出層神經(jīng)元數(shù)量等于龍格庫(kù)塔階數(shù)q+1,具體形式如下所示

其中,un(x)表示PDE 當(dāng)前時(shí)刻的解,un+1(x)表示PDE下一時(shí)刻的解.

通過(guò)整合PINN 框架、龍格庫(kù)塔公式(5)和相應(yīng)的PDE,即可得到PINN-RK 模型.相比于PINN,PINN-RK 的輸入量?jī)H為空間坐標(biāo)x,不含任何時(shí)間變量t.時(shí)間變量通過(guò)龍格庫(kù)塔公式被隱式地嵌入到了損失函數(shù)中,能夠顯著提升求解過(guò)程中的穩(wěn)定性.PINN-RK 的輸出為q階龍格庫(kù)塔采樣值與下一時(shí)刻PDE 的解

從式(7)中可以看到,由于龍格庫(kù)塔公式的嵌入和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的限制,PINN-RK 的輸出層只能表示單個(gè)物理量的龍格庫(kù)塔采樣值,無(wú)法同時(shí)描述多個(gè)物理量.這導(dǎo)致PINN-RK 僅適用于求解單個(gè)PDE 的問(wèn)題,無(wú)法處理相互耦合的PDE 系統(tǒng).究其原因,主要是因?yàn)镻INN-RK 中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于簡(jiǎn)單,輸出層個(gè)數(shù)僅為1,使得神經(jīng)網(wǎng)絡(luò)表達(dá)能力較差,難以準(zhǔn)確近似多個(gè)物理量.為此,本文通過(guò)對(duì)PINNRK 結(jié)構(gòu)的改進(jìn),提出了MO-PINN-RK.

1.3 MO-PINN-RK

為了闡明MO-PINN-RK 的構(gòu)建方法,本文將以N-S 方程為例描述多輸出神經(jīng)網(wǎng)絡(luò)的構(gòu)建過(guò)程,并詳細(xì)介紹如何將物理先驗(yàn)知識(shí)嵌入到損失函數(shù)中.通常情況下,全連接神經(jīng)網(wǎng)絡(luò)包含一個(gè)輸入層、多個(gè)隱藏層和一個(gè)輸出層,而在MO-PINN-RK 中則采用了多個(gè)輸出層的結(jié)構(gòu)設(shè)計(jì),以實(shí)現(xiàn)同時(shí)求解耦合PDE 的目的.另外,該模型還采用了并行的隱藏層結(jié)構(gòu),能夠捕獲不同物理量之間的差異,增強(qiáng)了神經(jīng)網(wǎng)絡(luò)模型的表達(dá)能力.MO-PINN-RK 的輸出層數(shù)量取決于PDE 問(wèn)題中的未知數(shù)個(gè)數(shù).對(duì)于二維流動(dòng)問(wèn)題N-S 方程,未知的物理量為u,v和p,因此輸出層個(gè)數(shù)為3.其次,根據(jù)龍格庫(kù)塔階數(shù)確定輸出層神經(jīng)元個(gè)數(shù),每個(gè)輸出層的神經(jīng)元個(gè)數(shù)等于龍格庫(kù)塔階數(shù)q+1.最后,以采樣點(diǎn)的二維空間坐標(biāo) (x,y)作為神經(jīng)網(wǎng)絡(luò)的輸入,選擇合適的隱藏層層數(shù)和神經(jīng)元個(gè)數(shù),建立MO-PINN-RK 模型,如圖2 所示.

MO-PINN-RK 模型隱藏層可以分為兩個(gè)部分.一部分為共享隱藏層,另一部分為并行隱藏層.共享隱藏層與神經(jīng)網(wǎng)絡(luò)常規(guī)的隱藏層相同,均為全連接結(jié)構(gòu).共享隱藏層可以學(xué)習(xí)到多個(gè)子任務(wù)之間的特征表示,提取不同物理量之間的共同特征.并行隱藏層則分為3 個(gè)并行子網(wǎng)絡(luò),不同子網(wǎng)絡(luò)近似不同的物理量,每個(gè)子網(wǎng)絡(luò)中的隱藏層均為全連接結(jié)構(gòu),不同子網(wǎng)絡(luò)的隱藏層互不干擾.并行隱藏層允許每個(gè)子網(wǎng)絡(luò)根據(jù)其所要解決的任務(wù)特點(diǎn),自由設(shè)計(jì)隱藏層結(jié)構(gòu)和參數(shù).這樣的靈活性使得每個(gè)子網(wǎng)絡(luò)可以更好地適應(yīng)不同任務(wù)的復(fù)雜性和數(shù)據(jù)特點(diǎn),從而提高整體模型的性能.

采用多輸出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),可以利用不同的輸出層表示不同的物理量,提高了模型的準(zhǔn)確性和泛化能力.由于每個(gè)輸出層專注于自己的任務(wù),神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)每個(gè)物理量的特征,并通過(guò)共享的隱藏層捕捉不同物理量之間的耦合關(guān)系,使得MOPINN-RK 可以有效地求解耦合PDE 系統(tǒng),更好地描述復(fù)雜的物理過(guò)程.

下列式子為本文所采用的N-S 方程表達(dá)式

其中,u和v分別表示流向速度分量和橫向速度分量,p表示壓力.下標(biāo)t,x和y分別表示函數(shù)對(duì)時(shí)間和空間的一階偏導(dǎo)數(shù),下標(biāo)xx和yy分別表示對(duì)空間的二階偏導(dǎo)數(shù).為了將N-S 方程嵌入MO-PINN-RK 的損失函數(shù)中,使用q階隱式龍格庫(kù)塔公式對(duì)其進(jìn)行離散化,可得

其中,下標(biāo)i表示不同的空間采樣點(diǎn),取值范圍由采樣點(diǎn)數(shù)量決定,上標(biāo)j表示龍格庫(kù)塔階數(shù),j=1,2,···,q,q+1.式(14)和式(15)分別為式(12)和式(13)的一部分,表示不同采樣點(diǎn)下不同龍格庫(kù)塔節(jié)點(diǎn)處N-S方程的殘差形式.兩式的作用是為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)引入物理約束,指導(dǎo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練朝著滿足N-S 方程的方向進(jìn)行.

根據(jù)式(11)～式(13)構(gòu)建用于MO-PINN-RK的損失函數(shù).不同的損失函數(shù)形式會(huì)對(duì)訓(xùn)練結(jié)果產(chǎn)生不同的影響,文中采用了平方誤差和(sum of squared errors,SSE)形式.總損失函數(shù)由3 部分組成

其中,SSEm為連續(xù)性方程損失函數(shù),SSEu為x方向動(dòng)量方程損失函數(shù),SSEv為y方向動(dòng)量方程損失函數(shù),N為訓(xùn)練集中采樣點(diǎn)個(gè)數(shù),和表示神經(jīng)網(wǎng)絡(luò)輸出,和表示已知的觀測(cè)數(shù)據(jù).MO-PINN-RK將以最小化損失函數(shù)SSE 為目標(biāo),通過(guò)優(yōu)化器不斷更新神經(jīng)網(wǎng)絡(luò)中權(quán)重,直至損失函數(shù)低于設(shè)定的閾值.

為了更加深入地理解MO-PINN-RK 的訓(xùn)練原理,可以將其與自編碼器中的編碼神經(jīng)網(wǎng)絡(luò)和解碼神經(jīng)網(wǎng)絡(luò)[27]進(jìn)行類比.在MO-PINN-RK 中,觀測(cè)數(shù)據(jù)可視為編碼神經(jīng)網(wǎng)絡(luò)中的輸入特征向量,前向傳播過(guò)程則類似于對(duì)觀測(cè)數(shù)據(jù)進(jìn)行編碼操作,而輸出層神經(jīng)元所代表的變量則可視為編碼神經(jīng)網(wǎng)絡(luò)所輸出的潛在變量,即解碼神經(jīng)網(wǎng)絡(luò)的輸入特征.MOPINN-RK 輸出層應(yīng)用龍格庫(kù)塔公式的過(guò)程類似于解碼網(wǎng)絡(luò)中的解碼操作.為了最小化編碼神經(jīng)網(wǎng)絡(luò)輸入特性向量和解碼神經(jīng)網(wǎng)絡(luò)輸出特征之間的差異,自編碼器模型以最小化重構(gòu)誤差為目標(biāo)進(jìn)行訓(xùn)練.在MO-PINN-RK 中,最小化損失函數(shù)的作用與最小化重構(gòu)誤差相同,均用于指導(dǎo)神經(jīng)網(wǎng)絡(luò)的優(yōu)化訓(xùn)練過(guò)程.但是,與之相比,MO-PINN-RK 還嵌入了物理先驗(yàn)知識(shí),提高了模型的泛化性能.此外,MOPINN-RK 中的解碼過(guò)程由龍格庫(kù)塔公式和描述物理守恒定律的PDE 充當(dāng),使得解碼方式由隱式形式轉(zhuǎn)化為了顯式形式,顯著地增強(qiáng)了模型的可解釋性,提高了模型的魯棒性.同時(shí),這種轉(zhuǎn)變也使MOPINN-RK 可以更加準(zhǔn)確地求解復(fù)雜的PDE 系統(tǒng).

2 數(shù)值實(shí)驗(yàn)

2.1 問(wèn)題設(shè)置

圓柱繞流因幾何形狀簡(jiǎn)單而流動(dòng)形態(tài)豐富、機(jī)理復(fù)雜,一直作為流體力學(xué)中的經(jīng)典問(wèn)題被廣泛研究[28].當(dāng)流體流經(jīng)圓柱體時(shí)會(huì)出現(xiàn)剪切流動(dòng),產(chǎn)生邊界層分離和渦的非對(duì)稱脫落現(xiàn)象.這種繞流現(xiàn)象廣泛地存在于各種工程應(yīng)用中,例如跨海大橋的穩(wěn)定性設(shè)計(jì)、熱電廠輸運(yùn)管道的優(yōu)化以及水利機(jī)械的制造等.了解圓柱體周?chē)牧鲃?dòng)模式對(duì)這些結(jié)構(gòu)的優(yōu)化設(shè)計(jì)和性能提高具有至關(guān)重要的作用.為此,人們從理論、實(shí)驗(yàn)和數(shù)值模擬進(jìn)行了各種研究.

為了驗(yàn)證MO-PINN-RK 的有效性,本文使用該模型對(duì)二維不可壓縮流體的圓柱繞流問(wèn)題進(jìn)行流場(chǎng)推斷預(yù)測(cè)和參數(shù)辨識(shí)研究.在圓柱繞流中,圓柱尾跡的流動(dòng)狀態(tài)不僅展現(xiàn)出了豐富的流動(dòng)現(xiàn)象,如圖3(a)和圖3(b)所示,而且還蘊(yùn)含著深刻的物理規(guī)律,因此本文只對(duì)圓柱下游特定的小矩形區(qū)域進(jìn)行研究,如圖3(c)所示.

圖3 圓柱繞流示意圖Fig.3 Schematic diagram of flow around a cylinder

圓柱繞流現(xiàn)象背后的物理規(guī)律由N-S 方程所控制.為此,根據(jù)前一節(jié)中闡述的方法,建立如圖2 所示的MO-PINN-RK 架構(gòu).考慮到目前已有大量文獻(xiàn)對(duì)圓柱繞流問(wèn)題進(jìn)行了數(shù)值模擬研究,本文將直接使用文獻(xiàn)[11]中提供的流場(chǎng)數(shù)據(jù)作為MO-PINNRK 的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù),以確保結(jié)果的可靠性.對(duì)于流場(chǎng)分布預(yù)測(cè)問(wèn)題,MO-PINN-RK 以一個(gè)時(shí)間切片的速度觀測(cè)值作為輸入來(lái)預(yù)測(cè)另一個(gè)時(shí)間切片的速度分布.從數(shù)值模擬數(shù)據(jù)的時(shí)空分布中隨機(jī)選擇某一時(shí)間點(diǎn)作為數(shù)據(jù)采集時(shí)刻t,并將該時(shí)刻下的流向速度分布u(x,y)和橫向速度分布v(x,y)作為模型的數(shù)據(jù)集,如圖3(a)和圖3(b)所示.在圓柱下游特定矩形區(qū)域內(nèi)進(jìn)行數(shù)據(jù)集的隨機(jī)采樣操作,總計(jì)采樣5000 個(gè)觀測(cè)點(diǎn),采樣區(qū)域如圖3(c)所示.設(shè)置損失函數(shù)中龍格庫(kù)塔公式的時(shí)間步長(zhǎng)為 ?t.通過(guò)迭代訓(xùn)練和優(yōu)化過(guò)程,MO-PINN-RK 能夠根據(jù)觀測(cè)數(shù)據(jù)推斷損失函數(shù)中N-S 方程的解,學(xué)習(xí)流體的時(shí)空動(dòng)態(tài)行為,并準(zhǔn)確地提供未來(lái)t+?t時(shí)刻的速度分布.

對(duì)于參數(shù)辨識(shí)問(wèn)題,MO-PINN-RK 以時(shí)間間隔為 ?t的N個(gè)速度觀測(cè)值作為輸入,用于推測(cè)PDE 中的未知參數(shù).在參數(shù)辨識(shí)中,MO-PINN-RK 中的NS 方程并非完全已知,而是存在部分未知參數(shù) λ1和λ2,如下式所示.參數(shù) λ1和 λ2的真實(shí)值由文獻(xiàn)[11]確定

基于部分觀測(cè)數(shù)據(jù)和不完備的物理知識(shí),MOPINN-RK 通過(guò)最小化損失函數(shù)并采用梯度下降方法來(lái)進(jìn)行優(yōu)化訓(xùn)練,以獲取最優(yōu)的參數(shù)估計(jì).經(jīng)過(guò)充分訓(xùn)練后,MO-PINN-RK 能夠從觀測(cè)數(shù)據(jù)中學(xué)習(xí)和理解系統(tǒng)的物理規(guī)律,并準(zhǔn)確地推斷出未知參數(shù)的值.這使得MO-PINN-RK 成為了一種強(qiáng)大的工具,可在缺乏部分信息的情況下,通過(guò)結(jié)合物理先驗(yàn)知識(shí)和觀測(cè)數(shù)據(jù),推斷出系統(tǒng)的隱藏特性和未知參數(shù),并生成準(zhǔn)確的預(yù)測(cè)結(jié)果.

2.2 神經(jīng)網(wǎng)絡(luò)配置

神經(jīng)元中的非線性激活函數(shù)是神經(jīng)網(wǎng)絡(luò)能夠具備強(qiáng)大表達(dá)能力和擬合性能的關(guān)鍵因素.神經(jīng)網(wǎng)絡(luò)中常見(jiàn)的激活函數(shù)有ReLU,Tanh 和Sigmoid 等[29].在智能科學(xué)計(jì)算中,由于損失函數(shù)中嵌入了物理約束PDE,通常需要獲得神經(jīng)網(wǎng)絡(luò)輸出關(guān)于輸入的導(dǎo)數(shù)信息.由于Tanh 激活函數(shù)具有無(wú)限可導(dǎo)的特點(diǎn),文中所有的隱藏層均采用Tanh 激活函數(shù).但是,Tanh 函數(shù)的輸出范圍僅為[-1,1]區(qū)間,為了不限制神經(jīng)網(wǎng)絡(luò)的輸出,輸出層不設(shè)置激活函數(shù).設(shè)定神經(jīng)網(wǎng)絡(luò)共享隱藏層數(shù)量為10,并行隱藏層數(shù)量為2,每個(gè)隱藏層包含20 個(gè)神經(jīng)元.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇全連接神經(jīng)網(wǎng)絡(luò),權(quán)重初始化方式采用Glorot 正態(tài)分布初始化.

MO-PINN-RK 的訓(xùn)練過(guò)程是對(duì)PDE 不斷尋優(yōu)求解的過(guò)程,訓(xùn)練算法的好壞對(duì)神經(jīng)網(wǎng)絡(luò)的性能起到了決定性的作用.本文將神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程分為兩個(gè)階段,前期使用隨機(jī)梯度下降算法的變體Adam 算法,訓(xùn)練10 000 代,后期則使用L-BFGSB 算法訓(xùn)練,直至算法迭代收斂.Adam 等[30]結(jié)合AdaGrad 算法和RMSProp 算法的優(yōu)點(diǎn),并引入了動(dòng)量的概念,不僅能夠自適應(yīng)地調(diào)整學(xué)習(xí)率,而且還能借助動(dòng)量加速收斂,逃離局部極小值.但是,Adam 算法對(duì)學(xué)習(xí)率的選擇非常敏感,過(guò)高的學(xué)習(xí)率會(huì)導(dǎo)致優(yōu)化過(guò)程的不穩(wěn)定.L-BFGS-B 算法[31]是一種基于擬牛頓方法的優(yōu)化算法,通常比梯度下降等一階優(yōu)化算法更高效,收斂速度更快,且不需要手動(dòng)調(diào)整學(xué)習(xí)率.然而,L-BFGS-B 算法在非凸優(yōu)化問(wèn)題中容易陷入局部極小值.因此,本文訓(xùn)練過(guò)程采用Adam 和L-BFGS-B 結(jié)合的方式,先利用Adam 盡可能地逼近全局最優(yōu)點(diǎn),再使用L-BFGS-B 加快神經(jīng)網(wǎng)絡(luò)的收斂.文中的所有計(jì)算代碼均基于TensorFlow2.9 版本的Python 庫(kù)完成,并在GeForce RTX3090 顯卡上進(jìn)行運(yùn)算.

3 結(jié)果和討論

3.1 流場(chǎng)預(yù)測(cè)

本小節(jié)將應(yīng)用MO-PINN-RK 和PINN 兩種模型對(duì)二維不可壓縮流體的圓柱繞流問(wèn)題進(jìn)行流場(chǎng)預(yù)測(cè)研究,并對(duì)模型預(yù)測(cè)結(jié)果展開(kāi)深入討論.當(dāng)預(yù)測(cè)時(shí)間間隔 ?t為0.1 時(shí),由MO-PINN-RK 和PINN 模型所獲得的速度云圖如圖4 所示.圖中,第1 列對(duì)應(yīng)著基準(zhǔn)解,第2 列上下圖分別為MO-PINN-RK 和PINN 模型的預(yù)測(cè)解,第3 列則展示了不同模型與基準(zhǔn)解之間的絕對(duì)誤差.絕對(duì)誤差公式為

綜合來(lái)看,兩種模型的預(yù)測(cè)解與基準(zhǔn)解之間具有很好的一致性,都能夠成功地捕獲到圓柱繞流中渦街脫落的形態(tài)和位置.根據(jù)圖4 中的絕對(duì)誤差分布圖可以觀察到,PINN 的預(yù)測(cè)誤差主要集中在圓柱下游的尾跡區(qū)域.造成該現(xiàn)象的原因是尾跡區(qū)域的流動(dòng)特性比較復(fù)雜,常常涉及邊界層分離和旋渦的相互作用.這些因素增大了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度,導(dǎo)致預(yù)測(cè)結(jié)果與基準(zhǔn)解間的誤差增大.然而,相比于PINN,MO-PINN-RK 在整個(gè)求解域內(nèi)都表現(xiàn)出更低的絕對(duì)誤差,包括尾跡區(qū)域.究其原因,這主要是由于MO-PINN-RK 中不僅嵌入了龍格庫(kù)塔方法,而且還使用了多輸出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),可以同時(shí)捕獲系統(tǒng)的不同屬性,因此能夠更好地學(xué)習(xí)尾跡區(qū)域的流動(dòng)特性,產(chǎn)生更精確的預(yù)測(cè)結(jié)果.

在較短的時(shí)間跨度內(nèi),流動(dòng)的演變幅度較小,使得模型能夠獲得較好的預(yù)測(cè)精度.但是,隨著時(shí)間的推移,流動(dòng)過(guò)程中的非線性特性會(huì)加劇系統(tǒng)的演變,給模型的預(yù)測(cè)任務(wù)帶來(lái)挑戰(zhàn).為了對(duì)MO-PINN-RK的性能進(jìn)行深入驗(yàn)證,進(jìn)一步推進(jìn)模型預(yù)測(cè)的時(shí)間間隔.圖5 展示了當(dāng)預(yù)測(cè)時(shí)間間隔 ?t為0.4 時(shí),由MO-PINN-RK 和PINN 所獲得的速度云圖.從圖5(a)可以觀察到,PINN 的預(yù)測(cè)解已經(jīng)出現(xiàn)了偏離基準(zhǔn)解的趨勢(shì),產(chǎn)生了較大的預(yù)測(cè)誤差.然而,MO-PINNRK 仍能具備精確捕捉圓柱尾跡流動(dòng)特性的能力,展現(xiàn)出了出色的預(yù)測(cè)精度.在面對(duì)長(zhǎng)時(shí)間跨度的流體動(dòng)態(tài)預(yù)測(cè)任務(wù)時(shí),由于龍格庫(kù)塔法的融入,MO-PINNRK 不僅可以實(shí)現(xiàn)對(duì)流體動(dòng)態(tài)過(guò)程的精確模擬,而且還能根據(jù)初始觀測(cè)數(shù)據(jù)優(yōu)化模型的預(yù)測(cè)能力.這種結(jié)合了數(shù)值方法和物理約束的深度學(xué)習(xí)框架使得MO-PINN-RK 在預(yù)測(cè)流體行為和捕捉流場(chǎng)特性方面表現(xiàn)出了更高的準(zhǔn)確性.

為了從定量的角度比較MO-PINN-RK 和PINN 的預(yù)測(cè)準(zhǔn)確性,本文采用模型預(yù)測(cè)解與基準(zhǔn)解之間的L2相對(duì)誤差作為衡量標(biāo)準(zhǔn),其計(jì)算公式如下所示

表1 MO-PINN-RK 和PINN-RK 流場(chǎng)預(yù)測(cè)值與基準(zhǔn)值之間的L2 相對(duì)誤差Table 1 The L2 relative errors between the flow field predictions of MO-PINN-RK and PINN-RK and the benchmark solutions

根據(jù)表1 提供的數(shù)據(jù)可以得出,在各個(gè)預(yù)測(cè)時(shí)間間隔下,MO-PINN-RK 的預(yù)測(cè)誤差均比PINN 低.這一結(jié)果進(jìn)一步驗(yàn)證了MO-PINN-RK 在流場(chǎng)預(yù)測(cè)方面的優(yōu)越性.在預(yù)測(cè)流向速度分布時(shí),MO-PINNRK 最大L2相對(duì)誤差僅為0.026 2.相比之下,PINN的預(yù)測(cè)誤差約為MO-PINN-RK 的2 倍.在對(duì)橫向速度預(yù)測(cè)時(shí),MO-PINN-RK 的L2相對(duì)誤差雖然略有升高,但仍將最大誤差控制在0.038 9.而PINN 的相對(duì)誤差則為0.128 7,約為MO-PINN-RK 模型的3 倍.這表明經(jīng)過(guò)足夠的迭代次數(shù),MO-PINN-RK 能夠逐漸學(xué)習(xí)真實(shí)系統(tǒng)的物理規(guī)律,更加有效地捕捉流體流動(dòng)的時(shí)間演化和動(dòng)態(tài)行為,具有較高的預(yù)測(cè)精度.

3.2 參數(shù)辨識(shí)

本小節(jié)將應(yīng)用MO-PINN-RK 和PINN 兩種模型對(duì)圓柱繞流問(wèn)題進(jìn)行參數(shù)辨識(shí)研究,并對(duì)模型辨識(shí)結(jié)果展開(kāi)深入討論,以評(píng)估不同模型的可行性和有效性.在參數(shù)辨識(shí)問(wèn)題中,未知參數(shù) λ1和 λ2是需要從給定的數(shù)據(jù)中推斷或估計(jì)的參數(shù).未知參數(shù) λ1和λ2并非以顯式的形式存在于神經(jīng)網(wǎng)絡(luò)的輸出中,而是借助TensorFlow 庫(kù)的功能,以可訓(xùn)練參數(shù)的形式嵌入到神經(jīng)網(wǎng)絡(luò)中.

在模型的訓(xùn)練初期,隨機(jī)假設(shè)未知參數(shù)的初始值.為了說(shuō)明MO-PINN-RK 的性能,選擇不同的采樣時(shí)間間隔 ?t=0.1,0.2,0.3,0.4.圖6 為MO-PINNRK 與PINN 在不同采樣時(shí)間間隔下對(duì)N-S 方程中未知參數(shù) λ1和 λ2的辨識(shí)結(jié)果.圖中,藍(lán)色虛線和紅色虛線分別表示 λ1和 λ2的真實(shí)值,藍(lán)色實(shí)線和紅色實(shí)線分別表示MO-PINN-RK 對(duì) λ1和 λ2的辨識(shí)結(jié)果,藍(lán)色點(diǎn)線和紅色點(diǎn)線分別表示PINN 對(duì) λ1和 λ2的辨識(shí)結(jié)果,綠色實(shí)點(diǎn)表示Adam 算法的結(jié)束位置和LBFGS 算法的起始位置.

圖6 MO-PINN-RK 和PINN 參數(shù)辨識(shí)結(jié)果與真實(shí)值對(duì)比Fig.6 Comparison between the parameter identification results of the MO-PINN-RK and PINN with the true values

整體上看,在較短時(shí)間間隔內(nèi),隨著迭代次數(shù)的不斷增加,不同模型的辨識(shí)結(jié)果逐漸趨向于真實(shí)值.但是,隨著采樣時(shí)間間隔的增加,PINN 的辨識(shí)結(jié)果開(kāi)始逐漸偏離真實(shí)值,產(chǎn)生了較大的預(yù)測(cè)誤差.與之相比,MO-PINN-RK 的辨識(shí)結(jié)果一直具有較高的精度,不隨采樣時(shí)間間隔的增大而偏離真實(shí)值.這主要是因?yàn)镸O-PINN-RK 具有多個(gè)神經(jīng)網(wǎng)絡(luò)輸出層,可同時(shí)捕捉相互耦合的多變量信息,具有更強(qiáng)的描述復(fù)雜流動(dòng)形態(tài)的能力.并且,龍格庫(kù)塔方法的嵌入使得該模型能夠更好地處理長(zhǎng)時(shí)間跨度問(wèn)題.相較于PINN,MO-PINN-RK 可以高效地從稀疏離散的觀測(cè)數(shù)據(jù)中學(xué)習(xí)潛在的物理規(guī)律,具有更好的適應(yīng)性.

為了從定量的角度比較MO-PINN-RK 和PINN的辨識(shí)準(zhǔn)確性,本文采用模型辨識(shí)值與真實(shí)值之間的相對(duì)誤差進(jìn)行衡量,其計(jì)算公式如下

不同采樣時(shí)間間隔下,由不同模型獲得的辨識(shí)值與真實(shí)值的之間相對(duì)誤差如表2 所示.從表中可以看到,PINN 模型的相對(duì)誤差隨著采樣時(shí)間的增加而增大,且最大誤差達(dá)到了19.38%,大幅偏離了真實(shí)值.與之相比,MO-PINN-RK 能夠準(zhǔn)確地辨識(shí)出未知參數(shù) λ1和 λ2,且最大相對(duì)誤差保持在低于1.11%的水平.另外,可以觀察到,無(wú)論是對(duì)參數(shù) λ1還是λ2的辨識(shí),MO-PINN-RK 的相對(duì)誤差始終比PINN 的相對(duì)誤差低一個(gè)數(shù)量級(jí).這一結(jié)果表明,MO-PINNRK 在參數(shù)辨識(shí)方面具有更好的性能,能夠從流體復(fù)雜的動(dòng)態(tài)演化過(guò)程中推測(cè)出數(shù)學(xué)模型中的未知參數(shù),對(duì)于推斷流體系統(tǒng)的未知屬性具有非常重要的意義.

表2 MO-PINN-RK 和PINN-RK 辨識(shí)參數(shù)和真實(shí)參數(shù)的相對(duì)誤差Table 2 The relative errors between the identified parameters by MO-PINN-RK,PINN-RK and the true values

4 結(jié)論

針對(duì)PINN-RK 無(wú)法求解耦合PDE 系統(tǒng)的問(wèn)題,本文提出了一種MO-PINN-RK.MO-PINN-RK 在原始PINN-RK 架構(gòu)的基礎(chǔ)上設(shè)計(jì)了并行的神經(jīng)網(wǎng)絡(luò)輸出層,通過(guò)采用不同輸出層近似不同物理量、共享隱藏層捕捉不同物理量之間耦合關(guān)系的方式,成功實(shí)現(xiàn)了在損失函數(shù)中嵌入多個(gè)PDE 并同時(shí)求解的目的.與PINN 相比,MO-PINN-RK 中嵌入了龍格庫(kù)塔法的數(shù)值求解方法,提高了神經(jīng)網(wǎng)絡(luò)的求解精度和泛化性能.與PINN-RK 相比,MO-PINN-RK 增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的表達(dá)能力,實(shí)現(xiàn)了對(duì)耦合PDE系統(tǒng)的求解,將PINN-RK 的應(yīng)用范圍從一維空間擴(kuò)展到了多維空間域.

為驗(yàn)證MO-PINN-RK 的有效性,本文選擇二維不可壓縮流體的圓柱繞流問(wèn)題作為測(cè)試案例,分別進(jìn)行了流場(chǎng)預(yù)測(cè)和參數(shù)辨識(shí)研究.測(cè)試結(jié)果表明,在流場(chǎng)預(yù)測(cè)問(wèn)題中,定性上,MO-PINN-RK 的預(yù)測(cè)解與基準(zhǔn)解完全吻合.定量上,MO-PINN-RK 的L2相對(duì)誤差保持在低于0.038 9 的水平,具有較高的準(zhǔn)確性.在參數(shù)辨識(shí)問(wèn)題中,定性上,MO-PINN-RK 的辨識(shí)值會(huì)隨著迭代次數(shù)的增加收斂于真實(shí)值,且收斂行為不受采樣時(shí)間間隔增大的影響.定量上,MO-PINNRK 辨識(shí)值與真實(shí)值之間的最大相對(duì)誤差僅為1.11%,擁有極高的辨識(shí)性能.因此,本文所提出的MOPINN-RK 作為一種新型的物理信息神經(jīng)網(wǎng)絡(luò)架構(gòu),無(wú)論是在流場(chǎng)預(yù)測(cè)還是參數(shù)辨識(shí)方面都具有非常大的潛力.