李自立，蒙素素

（廣西師范大學(xué)電子工程學(xué)院，廣西 桂林 541004）

1 引言

海洋波浪高度的短期預(yù)測(cè)對(duì)人類(lèi)海洋活動(dòng)的開(kāi)展有著極為重要的意義[1-2]，例如，對(duì)于海上航行、海上施工、漁業(yè)捕撈和海上軍事等活動(dòng)，波高短期預(yù)測(cè)精度越高，海上活動(dòng)相關(guān)狀況的應(yīng)對(duì)就會(huì)越充分。在海洋數(shù)值預(yù)測(cè)研究中，有效波高的短期預(yù)測(cè)一直都是熱點(diǎn)和難點(diǎn)問(wèn)題[3]。海浪有效波高預(yù)測(cè)方法主要分為經(jīng)驗(yàn)預(yù)測(cè)法和數(shù)值模型預(yù)測(cè)法[4]。經(jīng)驗(yàn)預(yù)測(cè)法是通過(guò)對(duì)歷史觀測(cè)得到的海浪數(shù)據(jù)按照時(shí)間先后進(jìn)行外推，進(jìn)而得到相關(guān)海浪狀態(tài)的預(yù)期數(shù)值[5]，這種預(yù)測(cè)方法主要依靠歷史數(shù)據(jù)和傳統(tǒng)分析相結(jié)合，在實(shí)用性和準(zhǔn)確度方面都存在較大局限性。隨著數(shù)學(xué)科學(xué)的發(fā)展，海浪波高相關(guān)研究在數(shù)值建模新領(lǐng)域獲得了一些具有較高研究?jī)r(jià)值的數(shù)值模型，如SWAN（Simulating WAve Nearshore）、WAVEWATCH-Ⅲ以及WAM（Wave Model）等。數(shù)值模型的結(jié)果是基于大量數(shù)據(jù)計(jì)算得到的，對(duì)計(jì)算量和計(jì)算速度有著較高的要求，在數(shù)據(jù)不是很充分的情況下，其計(jì)算精度存在較大的局限。隨著近幾年神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的興起，人們嘗試搭建各種神經(jīng)網(wǎng)絡(luò)或混合模型來(lái)預(yù)測(cè)海浪高度。比如Makarynskyy 等[6-7]以波高數(shù)據(jù)為輸入搭建了神經(jīng)網(wǎng)絡(luò)；Tsai等[8]將反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于短期海浪預(yù)測(cè)和數(shù)據(jù)補(bǔ)充，取得了較好的效果；Fan 等[9]將長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）應(yīng)用于波高預(yù)測(cè)，提高了有效波高的預(yù)報(bào)精度；Mandal 等[10]利用時(shí)域單變量建模和遞歸神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)波高；Zhang 等[11]構(gòu)造了受限波爾茲曼機(jī)-深度置信網(wǎng)絡(luò)模型，具有較好的波高短期預(yù)測(cè)能力。本文在前人研究的基礎(chǔ)上，把深度殘差網(wǎng)絡(luò)（Residual Network，ResNet）理論引入到長(zhǎng)短期記憶網(wǎng)絡(luò)技術(shù)中，對(duì)北部灣特定海域的波浪數(shù)據(jù)進(jìn)行建模研究，嘗試獲得一個(gè)置信度較高的波高數(shù)值模型，并依據(jù)此網(wǎng)絡(luò)對(duì)有效波高進(jìn)行短期預(yù)測(cè)分析，通過(guò)多網(wǎng)絡(luò)算法對(duì)比驗(yàn)證模型的有效性與預(yù)測(cè)的準(zhǔn)確度。

2 數(shù)據(jù)準(zhǔn)備

本實(shí)驗(yàn)研究數(shù)據(jù)由國(guó)家海洋局南海信息中心提供，為2016—2018年北部灣海域定點(diǎn)浮標(biāo)實(shí)測(cè)數(shù)據(jù)，有效波高的最小采樣間隔為1 h，數(shù)據(jù)的樣本點(diǎn)總數(shù)為26 277 個(gè)。為了能夠準(zhǔn)確地分析波高的數(shù)學(xué)特征和分布狀況，我們對(duì)實(shí)測(cè)有效波高進(jìn)行了特征分析，結(jié)果見(jiàn)表1。

表1 定點(diǎn)浮標(biāo)有效波高數(shù)據(jù)值分析結(jié)果Tab.1 The analysis results of the effective wave height data of the fixed-point buoy

表1中原始數(shù)據(jù)的缺失值為242個(gè)，缺失數(shù)據(jù)只占總值的9.21%，對(duì)整體數(shù)據(jù)分析的誤差影響極小。為了批量數(shù)據(jù)分析的便捷，將缺失值用前向填充法對(duì)其進(jìn)行插值處理。經(jīng)過(guò)數(shù)據(jù)清洗后有效波高的數(shù)值統(tǒng)計(jì)特征如下：均值為0.98 m，標(biāo)準(zhǔn)差為0.75 m，最小值為0 m。當(dāng)有效波高數(shù)值達(dá)到6 m及以上時(shí)，可定義為災(zāi)難性海浪[12-13]，此海況出現(xiàn)的幾率小，有很強(qiáng)的偶然性，對(duì)長(zhǎng)時(shí)的模型預(yù)測(cè)研究意義不大。為了方便研究有效波高的長(zhǎng)時(shí)規(guī)律，本文將超過(guò)6 m的數(shù)值全部限幅為6 m。本文設(shè)定模型輸入為當(dāng)前時(shí)刻6 h前的波高數(shù)據(jù)，網(wǎng)絡(luò)標(biāo)簽數(shù)據(jù)設(shè)置為預(yù)測(cè)當(dāng)前時(shí)刻未來(lái)6 h 的波高數(shù)據(jù)。實(shí)驗(yàn)時(shí)，選取總數(shù)據(jù)的80%為訓(xùn)練集，用于模型建模訓(xùn)練；剩余的20%為模型的測(cè)試集，用于模型預(yù)測(cè)效果測(cè)試分析。

3 基于LSTM-ResNet的模型原理

隨著層數(shù)的增加，單一堆疊的LSTM 網(wǎng)絡(luò)模型會(huì)發(fā)生梯度消失和網(wǎng)絡(luò)性能的退化問(wèn)題，因此，本文引入ResNet 模塊接入LSTM 層生成LSTMResNet 模型。該模型由ResNet 模塊和LSTM 模塊組成。模型總體構(gòu)圖如圖1所示。

圖1 中上方LSTM 層中32 表示隱藏層數(shù)量，整流線性單元（Rectified Linear Unit，ReLU）為激活函數(shù)，第一個(gè)箭頭左邊的數(shù)字代表當(dāng)前輸入6 個(gè)時(shí)間刻度和1個(gè)變量，這里省略了Batch_Size維度。

圖1 LSTM-ResNet模型總體結(jié)構(gòu)圖Fig.1 Overall structure of the LSTM-ResNet model

3.1 長(zhǎng)短期記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是一種節(jié)點(diǎn)定向連接成環(huán)的人工神經(jīng)網(wǎng)絡(luò)。與前饋神經(jīng)網(wǎng)絡(luò)（Feedfoward Neural Network，F(xiàn)NN）不同的是，RNN 可以利用它內(nèi)部的記憶來(lái)處理任意時(shí)序的輸入序列，這讓其可以更容易處理如不分段的手寫(xiě)識(shí)別或語(yǔ)音識(shí)別等。然而，當(dāng)連續(xù)時(shí)間數(shù)據(jù)的輸入序列加長(zhǎng)時(shí)，就會(huì)造成網(wǎng)絡(luò)訓(xùn)練時(shí)梯度爆炸和梯度消失的問(wèn)題，從而使RNN網(wǎng)絡(luò)喪失長(zhǎng)期記憶的功能。Hochreiter 等[14]在1997 年提出LSTM 模型，通過(guò)設(shè)計(jì)門(mén)結(jié)構(gòu)來(lái)避免梯度消失等問(wèn)題，門(mén)結(jié)構(gòu)使得LSTM單元可以保存和獲取長(zhǎng)時(shí)間周期的上下文信息。LSTM單元結(jié)構(gòu)圖如圖2所示[9]。

圖2 LSTM單元的原理圖Fig.2 Schematic diagram of the LSTM unit

圖2中各參數(shù)的計(jì)算公式如下：

式中，it、ft和ot分別為輸入門(mén)、遺忘門(mén)和輸出門(mén)；xt為當(dāng)前時(shí)刻的輸入特征；Wi、Wf、Wo和Wc為待訓(xùn)練參數(shù)矩陣；bi、bf、bo和bc為訓(xùn)練偏置項(xiàng)；σ表示激活函數(shù)；ht-1為隱藏層前一時(shí)刻的輸出。

式（1）—（3）經(jīng)過(guò)Sigmoid 激活函數(shù)使得3 個(gè)門(mén)的大小在0～1 之間；式（4）是當(dāng)前信息和前一步信息歸納形成的新記憶C^t，從而實(shí)現(xiàn)信息的更新；式（5）通過(guò)遺忘門(mén)去忘記一些舊信息再同時(shí)加入一些新信息；式（6）主要是把過(guò)濾好的信息輸出，當(dāng)有多層循環(huán)網(wǎng)絡(luò)時(shí)，當(dāng)前層網(wǎng)絡(luò)的輸入xt是前一層網(wǎng)絡(luò)提取出來(lái)的有用信息ht。

3.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)作為2015 年ImageNet 競(jìng)賽（Image Net Large-Scale Visual Recognition Challenge）的冠軍，其top5錯(cuò)誤率（預(yù)測(cè)的前5個(gè)類(lèi)別中不包含正確類(lèi)別的比例）為3.57%。VGGNet（Visual Geometry Group Net）和GoogLeNet（Google Inception Net）的成功，說(shuō)明網(wǎng)絡(luò)越深，模型表現(xiàn)越良好。然而，單純堆疊神經(jīng)網(wǎng)絡(luò)層數(shù)會(huì)使網(wǎng)絡(luò)模型退化，導(dǎo)致后面的特征丟失了前邊特征的原本模樣，產(chǎn)生梯度消失或者梯度爆炸等問(wèn)題，造成訓(xùn)練和測(cè)試效果變差。為了解決模型“退化”的問(wèn)題，崔文植[15]提出了殘差結(jié)構(gòu)（見(jiàn)圖3）。

圖3 殘差網(wǎng)絡(luò)的核心結(jié)構(gòu)Fig.3 The core structure of the residual network

圖3 是ResNet 的核心結(jié)構(gòu)圖。如圖所示，ResNet 加入了一根跳連線后，其輸入可以直接短連接到非線性層的輸出上，輸出結(jié)果為直接連接過(guò)來(lái)的恒等映射x和非線性輸出F（x）兩路值元素的對(duì)應(yīng)相加。這個(gè)步驟能有效緩解神經(jīng)網(wǎng)絡(luò)模型堆疊導(dǎo)致的梯度消失問(wèn)題。

4 仿真和討論

4.1 評(píng)估指標(biāo)

為了評(píng)價(jià)不同神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果，本文采用均方根誤差（Root Mean Square Error，RMSE）、平均絕對(duì)誤差（Mean Absolute Error，MAE）、均方誤差（Mean Squared Error，MSE）和相關(guān)系數(shù)R2來(lái)反映預(yù)測(cè)效果。公式如下:

式中，oi為預(yù)測(cè)值；ui為觀測(cè)值；為預(yù)測(cè)值的平均值；為觀測(cè)值的平均值；n為樣本數(shù)量。

根據(jù)MAE、MSE、RMSE 和R2的結(jié)果來(lái)判斷模型的好壞，結(jié)果的取值范圍均為[0，1]。前3 個(gè)評(píng)價(jià)指標(biāo)的值越接近0，說(shuō)明模型擬合效果越好；R2越接近1，表示模型擬合效果越好。

4.2 有效波高的短期時(shí)刻預(yù)測(cè)結(jié)果

為了驗(yàn)證模型的預(yù)測(cè)性能，采用表1 清洗過(guò)的有效波高序列為研究對(duì)象，將其輸入LSTM-ResNet模型、LSTM 模型和ResNet 模型以及目前應(yīng)用最廣泛的BP 模型進(jìn)行對(duì)比試驗(yàn)。4 種模型的隱藏層數(shù)量均設(shè)置為32個(gè)，且都采用ReLU激活函數(shù)。

4.3 結(jié)果分析

表2 列出了4 種算法的有效波高短期預(yù)測(cè)結(jié)果，最優(yōu)結(jié)果以粗體顯示。數(shù)值結(jié)果表明LSTMResNet 網(wǎng)絡(luò)的短期預(yù)測(cè)效果最優(yōu)，在1 h 的預(yù)測(cè)中MAE 低 至0.08 m，R2高 至0.96。 ResNet 網(wǎng) 絡(luò)、LSTM 網(wǎng)絡(luò)和BP 網(wǎng)絡(luò)的總體預(yù)測(cè)效果與實(shí)測(cè)數(shù)據(jù)基本一致，但是預(yù)測(cè)精度沒(méi)有LSTM-ResNet 網(wǎng)絡(luò)高。隨著預(yù)測(cè)時(shí)間的逐漸加長(zhǎng)，數(shù)據(jù)的有效性不斷降低，4 種算法的MAE 數(shù)值逐漸增大，R2數(shù)值不斷減小，LSTM-ResNet 網(wǎng)絡(luò)的性能衰減程度相對(duì)較慢，盡管MAE 最高達(dá)到了0.23 m，R2最多下降至0.70，但是預(yù)測(cè)結(jié)果還是處于可以接受的精度范圍內(nèi)。

表2 短期預(yù)測(cè)的性能結(jié)果比較Tab.2 Comparison of performance results for short-term forecasting

圖4 為浮標(biāo)實(shí)測(cè)值和4 種算法的有效波高1 h預(yù)測(cè)數(shù)值對(duì)比圖，圖中的曲線變化對(duì)比表明LSTMResNet 網(wǎng)絡(luò)在預(yù)測(cè)波高的變化趨勢(shì)和數(shù)值穩(wěn)定性方面都表現(xiàn)出優(yōu)于其他算法的效果。基于LSTM網(wǎng)絡(luò)的周期性結(jié)構(gòu)和門(mén)機(jī)制，本文設(shè)計(jì)的網(wǎng)絡(luò)在信息選取上具有優(yōu)勢(shì)，相較于其他算法能夠獲得最優(yōu)信息；在加入ResNet網(wǎng)絡(luò)并對(duì)網(wǎng)絡(luò)進(jìn)行層數(shù)加深設(shè)置后，網(wǎng)絡(luò)計(jì)算的數(shù)值精度得到較大的提高，綜合以上算法優(yōu)點(diǎn)取得了波高預(yù)測(cè)與浮標(biāo)數(shù)據(jù)擬合度較好的結(jié)果。與之對(duì)比的LSTM 網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)和ResNet 網(wǎng)絡(luò)，預(yù)測(cè)結(jié)果與浮標(biāo)數(shù)值雖然也具有一定的一致性，但是在某些時(shí)刻或者時(shí)間段上出現(xiàn)了預(yù)測(cè)值相對(duì)滯后的情況。

圖4 1 h時(shí)間范圍內(nèi)觀測(cè)結(jié)果與算法結(jié)果的比較圖Fig.4 Comparison of observation results and algorithm results in the time range of 1 hour

圖5 為2018 年5 月6 日3：00—9 月8 日9：00 基于LSTM-ResNet 網(wǎng)絡(luò)的有效波高間隔1 h 和6 h 的數(shù)值預(yù)測(cè)對(duì)比圖。相對(duì)于6 h 的預(yù)測(cè)結(jié)果，1 h 的預(yù)測(cè)結(jié)果在數(shù)值上與浮標(biāo)測(cè)量值更貼近。雖然6 h 的預(yù)測(cè)結(jié)果偏差略大，但總體預(yù)測(cè)的曲線變化趨勢(shì)與浮標(biāo)測(cè)量值基本一致，進(jìn)一步驗(yàn)證了LSTM-ResNet網(wǎng)絡(luò)在短時(shí)間隔的有效波高預(yù)測(cè)方面的有效性。

圖5 預(yù)測(cè)值與觀測(cè)值對(duì)比圖Fig.5 Comparison of predicted and observed values

5 結(jié)論

本文運(yùn)用神經(jīng)網(wǎng)絡(luò)的相關(guān)模型方法，對(duì)北部灣海洋有效波高的變化規(guī)律進(jìn)行了數(shù)值建模，并進(jìn)行了數(shù)值預(yù)測(cè)研究與結(jié)果對(duì)比分析。將4種網(wǎng)絡(luò)模型方法的波高數(shù)據(jù)建模預(yù)測(cè)數(shù)值結(jié)果進(jìn)行對(duì)比，結(jié)果表明本文采用的LSTM-ResNet 網(wǎng)絡(luò)模型在短時(shí)有效波高預(yù)測(cè)中能夠取得比較好的結(jié)果。在浮標(biāo)實(shí)測(cè)數(shù)值的結(jié)果對(duì)比分析中，采用4 個(gè)統(tǒng)計(jì)指標(biāo)對(duì)預(yù)測(cè)結(jié)果進(jìn)行綜合評(píng)價(jià)，本文采用的LSTM-ResNet網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與實(shí)測(cè)數(shù)值的一致性最好，預(yù)測(cè)的時(shí)間容許范圍最大，相較于其余對(duì)比方法，在短時(shí)有效波高預(yù)測(cè)上具有一定的實(shí)用性，因此在海洋數(shù)值預(yù)測(cè)中具有一定的應(yīng)用潛力。