蔣佳彤, 李明偉, 尚憲朝, 耿敬

(1.黑龍江大學(xué) 水利電力學(xué)院,黑龍江 哈爾濱 150006; 2.哈爾濱工程大學(xué) 船舶工程學(xué)院,黑龍江 哈爾濱 150001; 3.海洋石油工程股份有限公司, 天津 300452)

大壩運(yùn)行過程中,在防洪、發(fā)電、航運(yùn)、灌溉等方面發(fā)揮著重要的作用,大壩的運(yùn)行狀況也關(guān)乎著周邊環(huán)境的生命安全、生態(tài)安全和財(cái)產(chǎn)安全。由于混凝土壩具有抗震性好、安全、泄洪方便等優(yōu)點(diǎn),在我國得到了廣泛的應(yīng)用[1]。變形是目前公認(rèn)能夠有效綜合反映大壩運(yùn)行狀態(tài)的典型效應(yīng)量[2],建立有效、精準(zhǔn)的變形監(jiān)測模型,研究混凝土壩在運(yùn)行過程中的變形規(guī)律,加強(qiáng)混凝土壩變形的安全監(jiān)測是壩工事業(yè)的重點(diǎn)內(nèi)容。

傳統(tǒng)的監(jiān)測模型是假設(shè)大壩的變形效應(yīng)量與各個(gè)影響因素之間呈線性關(guān)系,而實(shí)際上,大壩的變形效應(yīng)量與各個(gè)影響因素之間呈復(fù)雜的非線性關(guān)系,降低了模型的預(yù)測性能。隨著人工智能理論的發(fā)展,人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)由于具有很強(qiáng)的非線性映射能力和自適應(yīng)學(xué)習(xí)能力,在大壩變形分析中得到了較為廣泛的應(yīng)用[3-4]。ANN在處理不確定性及非線性等問題上顯現(xiàn)出巨大的優(yōu)勢,但其具有收斂速度慢、易陷入局部最優(yōu)、網(wǎng)絡(luò)結(jié)構(gòu)難以確定等問題[5]。

近年來,深度神經(jīng)網(wǎng)絡(luò)因具有更強(qiáng)大的特征學(xué)習(xí)能力得到了高速發(fā)展和廣泛使用[6]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)由于具有局部連接和權(quán)值共享等特點(diǎn),已成為深度學(xué)習(xí)領(lǐng)域中最成功的算法之一,在處理時(shí)間序列數(shù)據(jù)的問題中,常將卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合使用。門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)(gate recurrent unit,GRU)是循環(huán)神經(jīng)網(wǎng)絡(luò)的特殊形式,模型簡單,參數(shù)少且不容易過擬合,可充分挖掘時(shí)間序列數(shù)據(jù)的非線性關(guān)系,在各個(gè)領(lǐng)域取得了不錯(cuò)的效果。Gupta等[7]提出了基于CNN和GRU的方法,建立分析顧客行為的自動化系統(tǒng),結(jié)果表現(xiàn)良好;周海南[8]建立了基于GRU和CNN的水位智能預(yù)測模型,實(shí)現(xiàn)了內(nèi)河水位的預(yù)測;趙兵等[9]提出了基于注意力機(jī)制的CNN-GRU模型,來實(shí)現(xiàn)短期電力負(fù)荷的預(yù)測;Yu等[10]提出了一種基于CNN與GRU相結(jié)合的菇房多點(diǎn)溫濕度預(yù)測方法,并取得較高的預(yù)測精度;趙全明等[11]提出了CNN-GRU集成深度模型,用于預(yù)測玉米根區(qū)不同深度土壤含水量,提供灌溉依據(jù)。

本文針對大壩變形時(shí)間序列的強(qiáng)非線性,設(shè)計(jì)了基于CNN和GRU的深度學(xué)習(xí)組合模型,提出了CNN-GRU混凝土壩變形預(yù)測方法。

1 CNN-GRU大壩變形預(yù)測模型構(gòu)建

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[12]具有權(quán)值共享和局部連接的特點(diǎn)。權(quán)值共享是指其中某個(gè)神經(jīng)元的權(quán)值參數(shù)可以與其他神經(jīng)元共享,減少了參數(shù)。局部連接是指卷積層的節(jié)點(diǎn)不再與前一層所有的節(jié)點(diǎn)連接,而是與部分節(jié)點(diǎn)進(jìn)行連接,可減少神經(jīng)網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)。由于卷積神經(jīng)網(wǎng)絡(luò)具有的這2種特點(diǎn)使得模型訓(xùn)練速度提高,有效地避免過擬合。

CNN的卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分,卷積層的輸入可以是輸入層的輸入數(shù)據(jù),也可以是經(jīng)過池化處理后得到的數(shù)據(jù)。卷積過程為:

ci=f(ci-1?fi+bi)

(1)

式中:ci-1為卷積層的輸入矩陣;fi為卷積核的權(quán)矩陣;bi為偏置值;f(x)為激勵函數(shù),以提高CNN的非線性能力。

池化層也稱為下采樣層,用來降低上一層的空間維度,使其結(jié)果參數(shù)減少,增加了網(wǎng)絡(luò)的稀疏性,但網(wǎng)絡(luò)深度并不改變,可在一定程度上防止網(wǎng)絡(luò)過擬合。一般采用平均值池化法或最大值池化方式得到特征圖。CNN的全連接層在卷積神經(jīng)網(wǎng)絡(luò)的最后,防止局部連接的特征丟失,將經(jīng)過卷積和池化后學(xué)習(xí)到的特征結(jié)果進(jìn)行組合與推斷,形成利于分類的特征,最后將結(jié)果輸出,運(yùn)算過程與淺層的神經(jīng)網(wǎng)絡(luò)的運(yùn)算方式相同。

1.2 門控循環(huán)單元

門控循環(huán)單元是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊形式,是長短時(shí)記憶網(wǎng)絡(luò)LSTM的一種變體,旨在解決標(biāo)準(zhǔn)RNN梯度爆炸或丟失問題,同時(shí)保留長期序列信息。GRU[13]是基于 LSTM 的結(jié)構(gòu)基礎(chǔ),把LSTM的3個(gè)門結(jié)構(gòu)簡化為2個(gè)門結(jié)構(gòu),即刪除遺忘門,保留重置門和更新門,使得參數(shù)量減少,具有更簡單的模型結(jié)構(gòu),減少訓(xùn)練時(shí)間,提高模型計(jì)算效率。GRU的內(nèi)部結(jié)構(gòu)如圖1所示。

圖1 GRU網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 GRU network structure

rt=σ(Wr[ht-1,xt])

(2)

(3)

zt=σ(Wz[ht-1,xt])

(4)

(5)

式中:zt表示更新門;Wz表示更新門權(quán)重矩陣。

1.3 CNN-GRU變形預(yù)測模型

為了對大壩變形情況進(jìn)行精準(zhǔn)預(yù)測,本文將卷積神經(jīng)網(wǎng)絡(luò)與門控循環(huán)單元相結(jié)合,建立基于CNN-GRU的混凝土壩變形監(jiān)測模型。

1.3.1 確定各層參數(shù)

本文旨在利用CNN提取大壩監(jiān)測數(shù)據(jù)的空間相關(guān)特征,再送入GRU層進(jìn)一步挖掘變形序列變化趨勢,因此使用一維卷積神經(jīng)網(wǎng)絡(luò)。

1)輸入層。為了耦合影響大壩變形的特征信息,充分挖掘這些特征的時(shí)間、空間特征規(guī)律,將大壩的歷史變形量和相關(guān)的特征數(shù)據(jù)構(gòu)成一個(gè)新的時(shí)間序列特征向量,作為CNN-GRU變形預(yù)測模型的輸入數(shù)據(jù)。

2)CNN層。CNN層主要對大壩的歷史變形數(shù)據(jù)進(jìn)行特征提取,使用一維卷積神經(jīng)網(wǎng)絡(luò)挖掘大壩變形監(jiān)測數(shù)據(jù)的空間相關(guān)特征,再送入GRU層進(jìn)一步提取變形序列變化趨勢。經(jīng)過反復(fù)優(yōu)化模型,將卷積層數(shù)定為2,卷積核的數(shù)量定為16,大小為6時(shí)模型精度最高。選擇最大池化法對提取的高維特征進(jìn)行降維,將提取的特征作為GRU層的輸入。

3)GRU層。主要負(fù)責(zé)從CNN層所提取的特征中學(xué)習(xí)變形的變化規(guī)律,經(jīng)反復(fù)優(yōu)化,構(gòu)建1層GRU結(jié)構(gòu)時(shí)可達(dá)到最好預(yù)測效果,激活函數(shù)采用Tanh,最后通過全連接層處理,反歸一化后得到大壩變形預(yù)測值。

1.3.2 激活函數(shù)的選擇

混凝土壩變形量與變形因子之間具有復(fù)雜的非線性關(guān)系,需要在神經(jīng)網(wǎng)絡(luò)模型中添加激活函數(shù)引入非線性,使神經(jīng)網(wǎng)絡(luò)模型能夠更好地學(xué)習(xí)變形量與變形因子之間的非線性關(guān)系。常用的激活函數(shù)主要有sigmoid函數(shù)、Tanh函數(shù)、Relu函數(shù)[15]等。

Sigmoid函數(shù)是在神經(jīng)網(wǎng)絡(luò)模型中最常用的激活函數(shù),函數(shù)輸出值(0,1),在函數(shù)圖像斜率大的地方,類似神經(jīng)元的敏感區(qū),在函數(shù)圖像兩側(cè)的平緩區(qū),類似神經(jīng)元的抑制區(qū)。Sigmoid函數(shù)由于涉及很多冪運(yùn)算,所以計(jì)算時(shí)較繁瑣,會增加模型的訓(xùn)練時(shí)間。同時(shí),在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,涉及的參數(shù)較復(fù)雜,容易造成梯度消失和梯度爆炸問題。ReLu函數(shù)在近幾年中比較普遍用,在正區(qū)間內(nèi)有效地解決了梯度消失問題。而且ReLu函數(shù)沒有指數(shù)運(yùn)算,可極大地提高計(jì)算速度。但ReLu函數(shù)在反向傳播過程中,如果輸入為負(fù)時(shí),梯度完全為0。且ReLu函數(shù)不是以0為中心的函數(shù),在使用時(shí),容易導(dǎo)致權(quán)重更新緩慢。Tanh函數(shù),也叫雙曲正切函數(shù),函數(shù)以0為中心,輸出值(-1,1)。Tanh函數(shù)相較于Sigmoid函數(shù)收斂速度較快,在本文中,采用Tanh函數(shù)作為激活函數(shù)。

2 混凝土壩工程實(shí)例預(yù)測

為驗(yàn)證CNN-GRU模型的預(yù)測精度,本文以實(shí)際混凝土壩工程為例,進(jìn)行分析研究。根據(jù)已有的大壩理論知識[16],大壩變形監(jiān)測中主要考慮由水壓、溫度以及時(shí)效引起的變形,在本文中,影響混凝土壩變形量的水壓分量取上游水位H、H2、H3;溫度分量取sin(2πkt/365)、cos(2πkt/365)、k=(1,2),t為從起始日開始的累計(jì)天數(shù);時(shí)效分量取θ、lnθ,其中θ=0.01t。因此,混凝土壩變形量與影響因素之間的函數(shù)關(guān)系為:

(6)

本文選取該壩其中某一測段的264期監(jiān)測數(shù)據(jù),以1～234期數(shù)據(jù)作為訓(xùn)練樣本,235～264共30期數(shù)據(jù)作為測試樣本。為評價(jià)CNN-GRU變形預(yù)測模型的性能,分別建立了BP神經(jīng)網(wǎng)絡(luò)模型、CNN模型、LSTM模型和GRU模型進(jìn)行對比分析,各模型的預(yù)測值和殘差值見圖2、3。

圖2 模型的預(yù)測值和實(shí)際值對比Fig.2 Comparison between predicted and actual values of the model

由圖2實(shí)際值的變化曲線可看出,大壩變形序列波動變化較劇烈,主要呈非線性變化,具有很強(qiáng)的變化隨機(jī)性。如果用單純的統(tǒng)計(jì)變形模型很難實(shí)現(xiàn)變形值的精確預(yù)測。在所有預(yù)測曲線中,BP神經(jīng)網(wǎng)絡(luò)模型偏離實(shí)際變形值最大,誤差較大。而基于CNN-GRU的預(yù)報(bào)模型相對于其他3種模型的預(yù)測效果更好。從整體預(yù)測趨勢看,大壩變形值在第245期以后出現(xiàn)較大波動,此時(shí),BP和CNN網(wǎng)絡(luò)模型所得的預(yù)測值與大壩實(shí)際變形趨勢的誤差較大。LSTM模型和GRU模型預(yù)測精度相比于前2種模型更接近實(shí)際值,但是仍存在較大誤差。而CNN-GRU模型結(jié)合CNN和GRU的優(yōu)勢,能有效地學(xué)習(xí)輸入數(shù)據(jù)中的特征和規(guī)律,更好地預(yù)測出大壩變化曲線,誤差最小。

由圖3的殘差對比可以看出,BP神經(jīng)網(wǎng)絡(luò)模型的最大殘差為-8.181 9,最小殘差為-0.281 1;CNN神經(jīng)網(wǎng)絡(luò)模型的最大殘差為-4.216 6,最小殘差為0.082 2;LSTM神經(jīng)網(wǎng)絡(luò)模型的最大殘差為-3.137 3,最小殘差為0.036 8;GRU神經(jīng)網(wǎng)絡(luò)模型的最大殘差為-3.254 9,最小殘差為-0.098 9;而本文提出的CNN-GRU神經(jīng)網(wǎng)絡(luò)模型的最大殘差為2.509 8,最小殘差為-0.064 5,且能保證更好的全局預(yù)測精度,更有利于提高大壩的變形預(yù)測精度。綜合分析結(jié)果表明,CNN-GRU模型在大壩變形預(yù)測中取得了更好的預(yù)測效果。

圖3 模型的預(yù)測殘差對比Fig.3 Comparison of prediction residuals of models

為了進(jìn)一步比較所建模型對大壩變形預(yù)測的準(zhǔn)確性和穩(wěn)定性,本文選取均方根誤差(root mean square error,RMSE)、平均絕對誤差(mean absolute error,MAE)、平均絕對百分誤差(mean absolute percentage error,MAPE)作為模型性能評價(jià)的指標(biāo)。評價(jià)指標(biāo)表示預(yù)測數(shù)據(jù)的誤差情況和相對偏離程度,值越小表示預(yù)測效果越好、預(yù)測精度越高。

(7)

(8)

(9)

表1 不同預(yù)測模型的性能指標(biāo)對比Table 1 Comparison of performance indicators of different prediction models

從表1中可以看出,相比于BP、CNN、LSTM和GRU預(yù)測模型,CNN-GRU的ERMS分別降低了0.718 9、0.535 8、0.148 9、0.151 8;EMA分別降低了0.526 6、0.515 2、0.098 4、0.134 7;EMAP分別降低了7.63、7.36、1.69、2.41。由此可知,CNN-GRU模型的預(yù)測值與實(shí)際大壩位移變形值更加接近,預(yù)測效果更好,能夠更好地預(yù)測大壩位移的變化趨勢。從整體預(yù)測趨勢看,預(yù)測值在第245期以后出現(xiàn)較大差異,為更詳細(xì)比較各模型預(yù)測性能,將預(yù)測結(jié)果列于表2。

表2 模型部分預(yù)測結(jié)果Table 2 Model part prediction results mm

由表2可得出,在變化波動幅度較大這幾期,BP神經(jīng)網(wǎng)絡(luò)模型所得的預(yù)測值誤差最大,很難準(zhǔn)確預(yù)測出大壩實(shí)際變形趨勢;CNN模型預(yù)測值比實(shí)際值偏小,誤差較大;LSTM模型和GRU模型預(yù)測精度相比于前2種模型更接近實(shí)際值,但是仍然存在誤差較大的情況;而CNN-GRU模型能更好地預(yù)測出大壩變化曲線,誤差最小。由此可得,在不同模型預(yù)測值差異較大的15期數(shù)據(jù)中,CNN-GRU的預(yù)測結(jié)果精度最高。綜合分析結(jié)果表明,CNN-GRU模型在大壩變形預(yù)測中取得了更好的預(yù)測效果。

3 結(jié)論

1)本文建立的基于CNN-GRU的混凝土壩變形預(yù)測模型,充分利用了CNN和GRU的優(yōu)勢,深度挖掘數(shù)據(jù)在時(shí)間和空間上的特征規(guī)律,更好地預(yù)測大壩變形量與各影響因素之間的非線性關(guān)系。

2)工程實(shí)例表明,該模型與BP神經(jīng)網(wǎng)絡(luò)模型、CNN模型、LSTM模型、GRU模型相比,本文的方法能夠獲得更高的大壩變形量預(yù)測精度,預(yù)測值與大壩實(shí)際變形值更接近,是一種更先進(jìn)的大壩變形預(yù)測模型。

3)本研究建立的大壩變形監(jiān)測模型,除可應(yīng)用于混凝土壩外,還可以研究拓展應(yīng)用于其他壩體結(jié)構(gòu),可為大壩智能管理系統(tǒng)提供技術(shù)支撐。