郭曉斌, 袁冬芳, 曹富軍*

(1. 內(nèi)蒙古科技大學(xué) 信息工程學(xué)院, 內(nèi)蒙古 包頭 014010; 2. 內(nèi)蒙古科技大學(xué) 理學(xué)院, 內(nèi)蒙古 包頭 014010)

偏微分方程在流體力學(xué)、氣候現(xiàn)象、新能源、材料和航天航空領(lǐng)域都有著廣泛的應(yīng)用[1-2],研究求解偏微分方程的高精度、快速算法具有重要的意義.大多數(shù)偏微分方程都不能找到解析解,因此需要研究數(shù)值近似方法來(lái)進(jìn)行求解.傳統(tǒng)的數(shù)值方法包括有限元法、有限差分法、或有限體積法等[3-5],這些方法需要將復(fù)雜計(jì)算區(qū)域離散為計(jì)算網(wǎng)格,在離散網(wǎng)格上構(gòu)造數(shù)值格式,通過(guò)求解數(shù)值格式所形成的代數(shù)方程組獲得方程的近似解.盡管傳統(tǒng)數(shù)值方法在過(guò)去的幾十年中已經(jīng)取得了顯著的進(jìn)步,并且能夠處理相當(dāng)復(fù)雜和高度振蕩的問(wèn)題,然而數(shù)值解的精度和效率嚴(yán)重依賴(lài)網(wǎng)格的質(zhì)量.對(duì)于復(fù)雜計(jì)算區(qū)域問(wèn)題,生成高質(zhì)量的計(jì)算網(wǎng)格所花費(fèi)的時(shí)間,在求解時(shí)間中占了相當(dāng)大的比重.此外,因?yàn)楦呔S問(wèn)題中網(wǎng)格點(diǎn)的數(shù)量相對(duì)于問(wèn)題維數(shù)的增加呈指數(shù)級(jí)增長(zhǎng),極大增加了問(wèn)題求解的空間和時(shí)間復(fù)雜度,不可避免地面臨“維數(shù)災(zāi)難”等問(wèn)題.面對(duì)以上的挑戰(zhàn), 本文的目標(biāo)是基于神經(jīng)網(wǎng)絡(luò)的方法求解任意形狀幾何域上定義的橢圓型偏微分方程. 此方法無(wú)需生成計(jì)算網(wǎng)格, 只需要在計(jì)算域內(nèi)部和邊界上進(jìn)行隨機(jī)采樣并作為訓(xùn)練點(diǎn)集合, 因此可以處理任意形狀的計(jì)算區(qū)域,避免了網(wǎng)格生成的困難. 此外,該方法不會(huì)受到維數(shù)增加的影響,當(dāng)維數(shù)增加時(shí),只會(huì)增加少量的參數(shù),能夠有效避免“維數(shù)災(zāi)難”問(wèn)題,因此具有十分重要的研究意義和價(jià)值.

過(guò)去幾十年見(jiàn)證了深度學(xué)習(xí)的革命,人工神經(jīng)網(wǎng)絡(luò)(ANN)的發(fā)展和進(jìn)化是關(guān)鍵要素之一.基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法能夠解決圖像處理、語(yǔ)音識(shí)別、醫(yī)學(xué)診斷等領(lǐng)域一些非常復(fù)雜的應(yīng)用問(wèn)題. 此外,人工神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)領(lǐng)域也已經(jīng)得到了廣泛的應(yīng)用,因?yàn)樗鼈兡軌蛴行У亟迫我夂瘮?shù)[6].雖然人工神經(jīng)網(wǎng)絡(luò)在幾個(gè)重要的應(yīng)用領(lǐng)域取得了令人印象深刻的成果,但關(guān)于它們?yōu)槭裁匆约霸鯓佑行У毓ぷ?仍然存在著許多問(wèn)題.從傳統(tǒng)意義上來(lái)講,使用單一的隱藏層神經(jīng)網(wǎng)絡(luò)可以求解任意的偏微分方程,因?yàn)橹灰粋€(gè)隱藏層含有足夠多的神經(jīng)元,就可以逼近任何函數(shù),而且神經(jīng)網(wǎng)絡(luò)解的偏導(dǎo)數(shù)可以用解析閉合形式計(jì)算[7-8].研究表明,隨著網(wǎng)絡(luò)深度的增加,神經(jīng)網(wǎng)絡(luò)逼近函數(shù)的能力也越強(qiáng).因此,應(yīng)用深度神經(jīng)網(wǎng)絡(luò)(DNN)求解偏微分方程得到眾多研究者的廣泛關(guān)注.E等[9]研究了一種求解高維拋物型偏微分方程和倒向隨機(jī)微分方程的新算法, 損失函數(shù)由規(guī)定的終端條件和BSDE解之間的誤差給出. E等[10]提出了一種基于深度學(xué)習(xí)的深度Ritz法,通過(guò)變分的方法求解偏微分方程問(wèn)題.Khoo等[11]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的求解非齊次偏微分方程的方法,將求解的物理量參數(shù)化,通過(guò)神經(jīng)網(wǎng)絡(luò)執(zhí)行時(shí)間演化來(lái)尋找偏微分方程的解,進(jìn)而證明使用神經(jīng)網(wǎng)絡(luò)來(lái)表征這種量的合理性.Nabian等[12]針對(duì)高維隨機(jī)偏微分方程提出一種侵入性的、完全不受監(jiān)督的和沒(méi)有網(wǎng)絡(luò)的基于深度學(xué)習(xí)的解決方案.Perdikaris等[13]提出了物理信息神經(jīng)網(wǎng)絡(luò),基于訓(xùn)練過(guò)程實(shí)現(xiàn)變分問(wèn)題的優(yōu)化.Raissi等[14]和Owhadi[15]在機(jī)器學(xué)習(xí)法的基礎(chǔ)上采用高斯過(guò)程擬合線(xiàn)性算子,并進(jìn)一步將該方法推廣到非線(xiàn)性算子的回歸.Berg等[16]基于PINN的方法來(lái)求解復(fù)雜域上的偏微分方程,并取得了一些良好的結(jié)果.盡管使用PINNs在解決偏微分方程問(wèn)題上有許多優(yōu)點(diǎn),但是PINNs仍然存在一些問(wèn)題.首先,沒(méi)有理論基礎(chǔ)來(lái)了解神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的規(guī)模和所需的數(shù)據(jù)量,那么就不能保證算法不會(huì)收斂到局部最小值,并且他們的訓(xùn)練時(shí)間要比傳統(tǒng)的數(shù)值方法慢.Dwivedi等[17]開(kāi)發(fā)了物理信息極限學(xué)習(xí)機(jī)(PIELM),可以應(yīng)用于和時(shí)間相關(guān)的線(xiàn)性偏微分方程問(wèn)題上,同時(shí)證明了PIELM在一系列問(wèn)題上超過(guò)了PINNs的準(zhǔn)確性.Anitescu等[18]提出了一種利用人工神經(jīng)網(wǎng)絡(luò)和自適應(yīng)配置策略求解偏微分方程的方法.

本文研究一種基于深度神經(jīng)網(wǎng)絡(luò)的通用偏微分方程求解方法,結(jié)合物理信息的神經(jīng)網(wǎng)絡(luò)及小樣本學(xué)習(xí)求解具有復(fù)雜計(jì)算區(qū)域的問(wèn)題.該方法不需要生成計(jì)算網(wǎng)格或設(shè)計(jì)特殊的基函數(shù)或數(shù)值格式來(lái)計(jì)算橢圓型偏微分方程的解,具有易于實(shí)現(xiàn)和無(wú)網(wǎng)格的優(yōu)點(diǎn),有助于求解具有復(fù)雜區(qū)域的橢圓型偏微分方程.通過(guò)對(duì)四類(lèi)典型的橢圓型偏微分方程進(jìn)行求解說(shuō)明了該方法的效率和精度.

1 神經(jīng)網(wǎng)絡(luò)及其結(jié)構(gòu)

首先定義一個(gè)單隱層神經(jīng)網(wǎng)絡(luò),給定d維行向量x∈Rd作為模型的輸入,則神經(jīng)網(wǎng)絡(luò)的k維輸出為以下形式

y=σ(xw1+b1)w2+b2

(1)

式中:w1和w2是大小為d×q和q×k的權(quán)重矩陣;b1和b2是大小為和1×k的1×q偏差向量;σ(·)為激活函數(shù).在深度神經(jīng)網(wǎng)絡(luò)中,每一隱層通過(guò)權(quán)重矩陣和偏差對(duì)輸入變量進(jìn)行線(xiàn)性處理,然后用激活函數(shù)進(jìn)行非線(xiàn)性變換. 上一隱層的非線(xiàn)性輸出繼續(xù)作為下一個(gè)隱藏層的輸入再次重復(fù)權(quán)重矩陣的線(xiàn)性處理及激活函數(shù)的非線(xiàn)性變換.每一隱層中新的權(quán)重矩陣和偏差構(gòu)成了神經(jīng)網(wǎng)絡(luò)中的一個(gè)新的隱藏層.通常,神經(jīng)網(wǎng)絡(luò)逼近復(fù)雜非線(xiàn)性函數(shù)的能力可以通過(guò)增加更多的隱藏層或增加隱藏層的維數(shù)來(lái)提升.具有k-1個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)可以表示為

Nθ(z)=Tk°σ°Tk-1°…°T1°σ°T0(z)

(2)

式中:Tk(zk-1)=wkzk-1+bk,wk表示第k-1層的與第k層之間的權(quán)重矩陣,zk-1和bk分別表示第k-1層隱藏層的輸出和偏差向量,Nθ(z)為神經(jīng)網(wǎng)絡(luò)的輸出,z0=z表示輸入?yún)?shù).σ(·)為非線(xiàn)性激活函數(shù).目前,最流行的激活函數(shù)包括Sigmoid、Tanh和ReLU.ReLU激活函數(shù)是使用最廣泛的函數(shù)之一,其形式為f(z)=max(0,z).但是,ReLU的高階導(dǎo)數(shù)為0,這就限制了本文處理高階導(dǎo)數(shù)組成的微分方程的適用性.Tanh或Sigmoid激活函數(shù)可用于二階或高階偏微分方程.Sigmoid激活函數(shù)是非對(duì)稱(chēng)的,將每個(gè)神經(jīng)元的輸出限制在區(qū)間[0,1]內(nèi),因此會(huì)對(duì)神經(jīng)元的輸出引入系統(tǒng)偏差.而Tanh激活函數(shù)是反對(duì)稱(chēng)的,通過(guò)允許每個(gè)神經(jīng)元的輸出在區(qū)間[-1,1]上取值,克服了Sigmoid激活引起的系統(tǒng)偏差問(wèn)題.此外,與非對(duì)稱(chēng)激活的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練相比,反對(duì)稱(chēng)激活的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程收斂的更快.

在給定多個(gè)訓(xùn)練數(shù)據(jù)點(diǎn)的回歸問(wèn)題中,本文可以使用歐基里德?lián)p失函數(shù)來(lái)校準(zhǔn)權(quán)重矩陣和偏差,如下所示:

(3)

模型參數(shù)可根據(jù)式(4)進(jìn)行求解

(4)

使用梯度下降法對(duì)模型進(jìn)行優(yōu)化,具體來(lái)說(shuō),在第i次迭代中,模型參數(shù)θ={w1,w2,…,b1,b2,…}通過(guò)式(5)更新

θ(i+1)=θ(i)-η(i)?θJ(i)(θ(i);x,y)

(5)

式中

η(i)是第i次迭代的步長(zhǎng).

在反向傳播過(guò)程中,利用鏈?zhǔn)椒▌t,首先計(jì)算最后一層的梯度,最后計(jì)算第一層的梯度,當(dāng)前層的部分梯度在此前的梯度計(jì)算中被重復(fù)使用.這種信息的反向流動(dòng)促進(jìn)了深層神經(jīng)網(wǎng)絡(luò)中每一層梯度的有效計(jì)算.算法1是梯度下降迭代算法.該算法主要用于更新神經(jīng)網(wǎng)絡(luò)中的參數(shù).

Algorithm 1：梯度下降迭代算法

1) 給定學(xué)習(xí)率η;迭代收斂準(zhǔn)則eps.

3) while沒(méi)有達(dá)到停止準(zhǔn)則do

采集M個(gè)樣本的訓(xùn)練集{x1,…,xM},對(duì)應(yīng)目標(biāo)為yi;

計(jì)算梯度g=?θJ(θ;x,y);

計(jì)算更新:Δθ=-η*g;

應(yīng)用更新:θ←θ+Δθ;

endwhile

4) 得到神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)θ.

2 偏微分方程

根據(jù)以下微分方程求解DNN近似解u(x,θ)

(6)

式中:θ為DNN的可訓(xùn)練參數(shù);N(·)是一個(gè)通用的微分算子,它是由空間導(dǎo)數(shù)以及線(xiàn)性項(xiàng)和非線(xiàn)性項(xiàng)組成;x是有界連續(xù)空間域D?RD上定義的位置向量,D中包含邊界?D.B(·)表示邊界條件,由微分、線(xiàn)性項(xiàng)或非線(xiàn)性項(xiàng)組成.為了計(jì)算函數(shù)解,即計(jì)算參數(shù)θ,本文通過(guò)定義在整個(gè)離散域上的非負(fù)殘差來(lái)計(jì)算,

(7)

式中:rB(θ)=rdir(θ)+rneu(θ),rdir(θ)是Dirichlet邊界上的均方誤差;rneu(θ)是Neumman邊界上的均方誤差;Nint和Nbnd分別是計(jì)算區(qū)域內(nèi)部點(diǎn)和邊界點(diǎn)的個(gè)數(shù);Ndir是Dirichlet邊界點(diǎn)的個(gè)數(shù);Nneu是Neumman邊界點(diǎn)的個(gè)數(shù),且Nbnd=Ndir+Nneu.

最佳參數(shù)θ*可以根據(jù)式(8)計(jì)算,

θ*=argminr(θ)

(8)

因此, 求解微分方程(6)的解便轉(zhuǎn)化為求解式(8)的優(yōu)化問(wèn)題,其中邊界條件可以視為約束條件.根據(jù)約束條件的處理方法和嚴(yán)格程度,將其分為軟約束和硬約束兩種不同的方法.在軟約束中,約束被轉(zhuǎn)化為損失函數(shù)的附加懲罰項(xiàng)[19],這種方法易于實(shí)現(xiàn),但不清楚如何調(diào)整損失函數(shù)中不同項(xiàng)的相對(duì)重要性,不能保證最終的解決方案會(huì)滿(mǎn)足約束條件.在硬約束中,通過(guò)構(gòu)造函數(shù),使得任何具有該函數(shù)形式的解都保證滿(mǎn)足邊界條件[7].對(duì)于不規(guī)則的邊界,構(gòu)造解函數(shù)的難度很大.本文將采用以上兩種約束方法計(jì)算神經(jīng)網(wǎng)絡(luò)近似解.

在軟約束中,令us(x,θ)=uDNN(x,θ)為深度神經(jīng)網(wǎng)絡(luò)的近似解,根據(jù)式(9)求解DNN參數(shù)θ,

(9)

式中:λ1為懲罰項(xiàng)系數(shù),用于調(diào)整損失函數(shù)中每一項(xiàng)的相對(duì)重要性[20].

神經(jīng)網(wǎng)絡(luò)通過(guò)式(10)更新第i次迭代中的參數(shù)

(10)

(11)

在硬約束中,近似解的函數(shù)形式可以采用以下一般形式[7]:

uh(x,θ)=C(x)+G(x,uDNN(x,θ))

(12)

式中：函數(shù)C(x)滿(mǎn)足邊界條件,函數(shù)G(x,uDNN(x,θ))不受邊界條件的影響.根據(jù)式(13)求解DNN參數(shù)θ,

(13)

為了解決無(wú)約束優(yōu)化問(wèn)題(9)和式(13),本文采用Adam梯度下降算法.在A(yíng)dam梯度下降算法的每次迭代中,損失函數(shù)的梯度使用輸入空間中的一個(gè)點(diǎn)來(lái)近似求解,基于該點(diǎn)更新神經(jīng)網(wǎng)絡(luò)的參數(shù).這種迭代更新被證明滿(mǎn)足梯度的無(wú)偏估計(jì)[22].

同理,在硬約束中,DNN參數(shù)根據(jù)式(14)進(jìn)行更新,

(14)

式中

(15)

實(shí)踐中每次迭代時(shí),損失函數(shù)的梯度是在n個(gè)不同的樣本輸入點(diǎn)上計(jì)算平均值,而不是僅在一個(gè)點(diǎn)上評(píng)估.

算法2總結(jié)了神經(jīng)網(wǎng)絡(luò)解法的過(guò)程.該算法可以基于預(yù)先指定的最大迭代次數(shù)停止,也可以通過(guò)損失值的動(dòng)態(tài)變化作為停止標(biāo)準(zhǔn).

Algorithm 2：復(fù)雜區(qū)域橢圓型偏微分方程的深度學(xué)習(xí)算法

輸入：區(qū)域內(nèi)部點(diǎn):xΩ=(x1,…,xi,…,xNint)T,區(qū)域邊界點(diǎn):xΓ=(x1,…,xj,…,xNbnd)T.

輸出：DNN中的參數(shù)值θ(i).

1) 選擇求解區(qū)域,設(shè)置計(jì)算區(qū)域內(nèi)部點(diǎn)和邊界點(diǎn)的個(gè)數(shù).

2) 設(shè)置DNN架構(gòu)(層數(shù),每層的維數(shù),激活函數(shù),以及神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)).

3) 初始化DNN參數(shù)θ(0).

4) 設(shè)置Adam優(yōu)化器迭代次數(shù)Niter;設(shè)置學(xué)習(xí)率η.

5) forifrom 1 toNiterdo

(1) 根據(jù)式(2)計(jì)算出神經(jīng)網(wǎng)絡(luò)輸出y;

(3) 通過(guò)式(4)和式(5)計(jì)算DNN最佳參數(shù)θ(i).

end for

3 數(shù)值算例

本文求解復(fù)雜區(qū)域的橢圓型偏微分方程的解,大致步驟為：首先確定計(jì)算邊界,并在邊界上選取N個(gè)訓(xùn)練點(diǎn).同時(shí)在計(jì)算區(qū)域內(nèi)部任意選取M個(gè)訓(xùn)練點(diǎn),將兩部分訓(xùn)練點(diǎn)(M+N)作為訓(xùn)練集放到tensorflow框架中對(duì)神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí),通過(guò)訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)最優(yōu)參數(shù)以及模型的近似解.然后,在計(jì)算域內(nèi)選取足夠的點(diǎn)作為測(cè)試集,并對(duì)訓(xùn)練后的近似解進(jìn)行測(cè)試,驗(yàn)證該方法的準(zhǔn)確性.

3.1 泊松方程

首先考慮具有混合邊界條件的泊松方程,

其中,x,y∈[0,1].取計(jì)算區(qū)域Ω為正方形,在Ω內(nèi)隨機(jī)選擇M=500個(gè)訓(xùn)練點(diǎn),在?Ω上均勻選擇N=200個(gè)訓(xùn)練點(diǎn),將M和N共同作為訓(xùn)練集,如圖1所示.且方程的解析解為

圖1 訓(xùn)練集Fig.1 The traning set

u(x,y)=e-x(x+y3)

損失函數(shù)構(gòu)造如下:

其中,λ1為1 000,λ2為30,選擇學(xué)習(xí)率η為0.001,經(jīng)過(guò)30 000次的迭代訓(xùn)練,得到方程的訓(xùn)練解.取M=200 000,N=2 000作為測(cè)試集,測(cè)試集的解析解和DNN近似解如圖2、圖3所示.

圖2 解析解Fig.2 The analysis solution

圖3 DNN近似解Fig.3 The DNN solution

圖4給出了測(cè)試集上的誤差,可以看出神經(jīng)網(wǎng)絡(luò)求解的結(jié)果與解析解的誤差在-1%～5‰之間,效果比較理想.

圖4 測(cè)試集誤差Fig.4 The error of the testing sets

針對(duì)泊松方程,分別采用Adam,SGD,Adadelta,RMSProp,Adagrad等5種梯度優(yōu)化算法處理?yè)p失函數(shù),損失函數(shù)收斂曲線(xiàn)如圖5所示.橫軸代表的是梯度下降算法迭代次數(shù),縱軸表示損失函數(shù)的損失值.隨著迭代次數(shù)的增加,損失值逐漸減小.其中,Adam優(yōu)化算法對(duì)模型的優(yōu)化效果要比其余方法要好,主要是因?yàn)樵撍惴ńY(jié)合了Adagrad和RMSProp算法的優(yōu)點(diǎn),相對(duì)于傳統(tǒng)的梯度下降算法來(lái)說(shuō),Adam優(yōu)化算法具有自適應(yīng)能力,計(jì)算收斂更快.SGD優(yōu)化算法結(jié)果與Adam算法的梯度下降曲線(xiàn)效果相近,但是,當(dāng)數(shù)據(jù)集比較大的時(shí)候,SGD算法的收斂速度和效率優(yōu)于A(yíng)dam,所以在不同的情況下應(yīng)該選用合適的優(yōu)化算法.本文計(jì)算表明,采用Adam優(yōu)化算法可以達(dá)到理想的效果.

圖5 不同優(yōu)化方法的收斂性Fig.5 The convergence of different optimization methods

3.2 二維線(xiàn)形平流方程

平流方程在大氣運(yùn)動(dòng)的研究中具有重要意義,是大氣運(yùn)動(dòng)中重要的過(guò)程之一,運(yùn)動(dòng)方程、熱通量方程和水汽方程中都含有平流項(xiàng).然而,數(shù)值求解方法很難求出此類(lèi)方程的解析解,因此研究神經(jīng)網(wǎng)絡(luò)解平流方程具有非常重要的現(xiàn)實(shí)意義.

其中:x,y∈[0,1],且滿(mǎn)足混合邊界條件,方程的解析解為

u(x,y)=sin(3πx)cos(3πy)

其中,a,b是平流系數(shù),在此問(wèn)題中,取a=2,b=3,取計(jì)算區(qū)域Ω為正方形,在Ω內(nèi)生成M=500個(gè)任意的訓(xùn)練點(diǎn),在?Ω上生成N=200個(gè)訓(xùn)練點(diǎn),如圖6所示.

圖6 訓(xùn)練集Fig.6 The traning set

圖7、圖8分別為測(cè)試集在解析解和DNN解上的函數(shù)結(jié)果,圖9給出了二維線(xiàn)性平流方程在測(cè)試集上的誤差,誤差結(jié)果在-4‰～8‰之間.

圖7 解析解Fig.7 The analysis solution

圖8 DNN近似解Fig.8 The DNN solution

圖9 測(cè)試集誤差Fig.9 The error of the testing set

損失函數(shù)構(gòu)造如下:

其中:λ1=200,λ2=50,λ3=50,Nneu1是y=1時(shí)的Neumman邊界點(diǎn)的個(gè)數(shù),Nneu2是y=0時(shí)的Neumman邊界點(diǎn)的個(gè)數(shù).取M=200 000,N=2 000作為測(cè)試集.

圖10比較了隨著迭代次數(shù)的增加,不同優(yōu)化算法的收斂曲線(xiàn).

圖10 不同優(yōu)化方法的收斂性Fig.10 The convergence of different optimization methods

3.3 二維對(duì)流擴(kuò)散方程

本算例考慮二維對(duì)流擴(kuò)散方程

其中:計(jì)算區(qū)域?yàn)榛ò晷?花瓣的半徑[23]可以表示為Φ(x,y)=r-(0.4+0.3sin(5θ)),其中

將Ω區(qū)間劃分為80×80個(gè)網(wǎng)格點(diǎn),判斷網(wǎng)格點(diǎn)是否落在花瓣半徑以?xún)?nèi),當(dāng)-0.1<Φ(xi,yi)<0時(shí),此時(shí)的(xi,yi)i=1,2,…,M是花瓣的邊界,當(dāng)Φ(xj,yj)<-0.1,(xj,yj)j=1,2,…,N為花瓣的內(nèi)部點(diǎn),如圖11所示.

圖11 訓(xùn)練集Fig.11 The traning set

方程的解析解為

損失函數(shù)構(gòu)造如下:

其中:λ1為1 000選取花瓣內(nèi)的網(wǎng)格點(diǎn)M=14 400,N=6 300作為測(cè)試集.圖12和圖13給出了測(cè)試集在解析解和DNN近似解函數(shù)圖像.圖14給出了測(cè)試集的誤差,誤差范圍在-6‰～4‰之間,表現(xiàn)出較高的精度.圖15比較了隨著迭代次數(shù)的增加,不同優(yōu)化方法的損失函數(shù)收斂曲線(xiàn),可以看出Adam方法的收斂效率優(yōu)于其它四種方法.

圖12 解析解Fig.12 The analysis solution

圖13 DNN近似解Fig.13 The DNN solution

圖14 測(cè)試集誤差Fig.14 The error of the testing set

圖15 不同優(yōu)化方法的收斂性Fig.15 The convergence of different optimization methods

3.4 二維勢(shì)能方程——由梯度勢(shì)能計(jì)算力場(chǎng)

在分子動(dòng)力學(xué)中,力場(chǎng)可以由勢(shì)能的負(fù)梯度求得

方程的解析解為

u(x,y)=1+y2-2x2+x6

損失函數(shù)構(gòu)造如下：

其中：λ1為100,F(x,y)是力場(chǎng),u(x,y)是勢(shì)能.計(jì)算區(qū)域Ω為中國(guó)大陸,在Ω內(nèi)任意選擇M=500個(gè)訓(xùn)練點(diǎn),在?Ω上選擇N=455個(gè)訓(xùn)練點(diǎn),如圖16所示.采用具有2個(gè)隱藏層、30個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)計(jì)算訓(xùn)練解.取M=100 000,N=2 276作為測(cè)試集代入ANN訓(xùn)練解中.圖17為測(cè)試集上的精確解.圖18為測(cè)試集上的近似解.圖19給出了測(cè)試集上的誤差,誤差范圍在-1%～7‰之間.圖20比較了隨著迭代次數(shù)的增加,不同優(yōu)化方法的損失收斂曲線(xiàn).由于不同偏微分方程的復(fù)雜度是不同的,復(fù)雜度高的偏微分方程在訓(xùn)練過(guò)程中不容易訓(xùn)練,損失函數(shù)收斂過(guò)程比較慢,且不易收斂,在訓(xùn)練過(guò)程中需要增加訓(xùn)練次數(shù),并采用適當(dāng)?shù)膬?yōu)化方法來(lái)處理.

圖16 訓(xùn)練集Fig.16 The traning set

圖17 解析解Fig.17 The analysis solution

圖18 DNN近似解Fig.18 The DNN solution

圖19 測(cè)試集誤差Fig.19 The error of the testing set

圖20 不同優(yōu)化方法的收斂性Fig.20 The convergence of different optimization methods

4 結(jié)論

本文研究一種利用神經(jīng)網(wǎng)絡(luò)求解復(fù)雜區(qū)域橢圓型偏微分方程的方法.該方法使用完全無(wú)監(jiān)督的類(lèi)梯度下降算法進(jìn)行迭代訓(xùn)練,在求解過(guò)程中無(wú)需調(diào)用其他的偏微分方程數(shù)值解算器.此外,它在整個(gè)空間域上是無(wú)網(wǎng)格的,因此,有利于處理不規(guī)則的計(jì)算區(qū)域.通過(guò)反向傳播算法的推導(dǎo),將二階偏微分方程擴(kuò)展到任意階偏微分方程組.數(shù)值算例結(jié)果表明,在本文提供的神經(jīng)網(wǎng)絡(luò)計(jì)算框架下,任意橢圓型偏微分方程在任何區(qū)域內(nèi)都可以通過(guò)訓(xùn)練得到它們的近似解,且具有較高的精度;同時(shí),神經(jīng)網(wǎng)絡(luò)方法求解復(fù)雜區(qū)域橢圓型偏微分方程的收斂性和計(jì)算效率還需要進(jìn)一步提升和改進(jìn).因此,還需要考察不同的優(yōu)化方法,進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)方法的性能.

致謝：本文得到內(nèi)蒙古科技大學(xué)創(chuàng)新基金(2019YQL02)項(xiàng)目的資助,在此表示感謝.