王嘉琳 金宇悅 李志剛

摘要：激勵(lì)函數(shù)對(duì)深度神經(jīng)網(wǎng)絡(luò)的非線性逼近性能具有重要影響，其選擇與任務(wù)相關(guān)。針對(duì)這一問(wèn)題，提出基于自適應(yīng)選擇算法的深度置信回聲狀態(tài)網(wǎng)絡(luò)模型，并應(yīng)用于海洋環(huán)境多因素時(shí)間序列預(yù)測(cè)。該模型集成了14種激勵(lì)函數(shù)，通過(guò)預(yù)測(cè)性能比較實(shí)現(xiàn)自適應(yīng)選擇功能。仿真結(jié)果表明，該模型能夠正確選擇出最優(yōu)激勵(lì)函數(shù)，具有良好的海洋數(shù)據(jù)多因素預(yù)測(cè)能力。

關(guān)鍵詞：海洋環(huán)境數(shù)據(jù);時(shí)間序列預(yù)測(cè);深度置信回聲狀態(tài)網(wǎng)絡(luò);自適應(yīng)選擇算法;激勵(lì)函數(shù)

Abstract： Activation function （AF） has an important effect on the nonlinear approximation performance of deep neural networks. The choice of AFs is task-related. For this problem， a deep belief echo-state network based on self-adaptive selection （SAS-DBEN） is proposed for ocean-related multi-factor time series prediction. In this model， 14 activation functions are integrated， and the self-adaptive selection is implemented by comparing the prediction performance. Experimental results show that SAS-DBEN can select the optimal AF correctly and has a good multi-factor prediction ability of ocean data.

Key words： ocean environment data; time series prediction; deep belief echo-state network; self-adaptive selection algorithm; activation function

1 引言

近年來(lái)，我國(guó)多個(gè)近岸海域污染嚴(yán)重。如何加強(qiáng)對(duì)海洋污染的應(yīng)對(duì)，維護(hù)海洋環(huán)境長(zhǎng)久穩(wěn)定，是當(dāng)前急需解決的問(wèn)題。葉綠素是影響海洋環(huán)境污染的主要因素。藻類植物作為葉綠素的主要提供者，其增殖過(guò)程受多種海洋環(huán)境因素共同影響，是一種極其復(fù)雜的非線性過(guò)程[1]。鑒于此，本文研究多因素預(yù)測(cè)葉綠素和藍(lán)綠藻的方法。

目前，深度學(xué)習(xí)已成為數(shù)據(jù)預(yù)測(cè)領(lǐng)域的主流方法。深度置信回聲狀態(tài)網(wǎng)絡(luò)（Deep Belief Echo-state Network， DBEN）由于其強(qiáng)大的特征提取功能和非線性回歸能力，已成功應(yīng)用于海洋領(lǐng)域[2]。實(shí)際上，激勵(lì)函數(shù)在深度神經(jīng)網(wǎng)絡(luò)中具有關(guān)鍵作用。通過(guò)激勵(lì)函數(shù)，網(wǎng)絡(luò)可以在任何給定的深度學(xué)習(xí)架構(gòu)中，實(shí)現(xiàn)層結(jié)構(gòu)之間的復(fù)雜函數(shù)計(jì)算和非線性映射[3]。

鑒于DBEN良好的預(yù)測(cè)能力以及激勵(lì)函數(shù)在DNN中的重要作用，提出了一種結(jié)合自適應(yīng)選擇算法（Self-adaptive Selection， SAS）和DBEN的新型海洋環(huán)境多因素預(yù)測(cè)模型SAS-DBEN。該模型提供了一種自適應(yīng)的通用功能，使模型具有靈活性，有利于提高海洋環(huán)境多因素預(yù)測(cè)精度。

2 海洋環(huán)境多因素預(yù)測(cè)模型

2.1 建立激勵(lì)函數(shù)池

SAS-DBEN通過(guò)比較不同激勵(lì)函數(shù)下的預(yù)測(cè)性能來(lái)確定最優(yōu)激勵(lì)函數(shù)。首先，建立激勵(lì)函數(shù)池F={f1， f2， …， fM}（m=1，2， …， M），對(duì)所考慮的函數(shù)進(jìn)行封裝和標(biāo)記，為后續(xù)自適應(yīng)激勵(lì)機(jī)制和函數(shù)調(diào)用做準(zhǔn)備。這里，我們考慮了14種激勵(lì)函數(shù)集成到SAS-DBEN框架下的激勵(lì)函數(shù)池中，具體激勵(lì)函數(shù)如表1所示。

2.2 海洋環(huán)境特征提取

建立激勵(lì)函數(shù)池后，我們將經(jīng)過(guò)數(shù)據(jù)預(yù)處理后的數(shù)據(jù)集注入SAS-DBEN模型中。該模型以DBN作為特征提取器，與可見(jiàn)層v和隱藏層h相關(guān)的能量函數(shù)表達(dá)如下：

2.3 非線性逼近

準(zhǔn)確的海洋環(huán)境數(shù)據(jù)預(yù)測(cè)取決于深度神經(jīng)網(wǎng)絡(luò)中的非線性回歸機(jī)制。SAS-DBEN采用了基于儲(chǔ)備池計(jì)算理論的非線性逼近方法，儲(chǔ)備池狀態(tài)更新和網(wǎng)絡(luò)輸出表示為：

其中，W表示內(nèi)部權(quán)重矩陣，I表示輸入權(quán)重矩陣，Wback表示反饋權(quán)重矩陣，O表示輸出權(quán)重矩陣，m（t）表示時(shí)間步長(zhǎng)為t時(shí)刻的儲(chǔ)備池輸入信號(hào)，x（t）和y（t）分別表示儲(chǔ)備池的狀態(tài)和輸出，σ（?）表示儲(chǔ)備池內(nèi)部的激活函數(shù)，本章采用Tanh函數(shù)作為回歸階段神經(jīng)元中的激活函數(shù)。

2.4 自適應(yīng)激勵(lì)機(jī)制

在訓(xùn)練過(guò)程中，通過(guò)自適應(yīng)激勵(lì)機(jī)制，模型可以根據(jù)輸入數(shù)據(jù)的特征選擇適用于該數(shù)據(jù)的激勵(lì)函數(shù)。本文以歸一化均方根誤差（Normalized Root Mean Squared Error， NRMSE）作為最優(yōu)激勵(lì)函數(shù)的度量標(biāo)準(zhǔn)。按照激勵(lì)函數(shù)池中的標(biāo)記順序，分別對(duì)m個(gè)誤差數(shù)值進(jìn)行比較，置換出較小誤差值繼續(xù)比較，得出最優(yōu)激勵(lì)函數(shù)，完成自適應(yīng)激勵(lì)函數(shù)選擇，這也意味著SAS-DBEN模型訓(xùn)練結(jié)束。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)采用海、陸、空、天四維立體化海洋監(jiān)測(cè)網(wǎng)獲取的海洋數(shù)據(jù)，考慮了10種與海洋環(huán)境高度相關(guān)的因素作為模型的輸入，即1/10波浪周期、平均波浪周期、氣溫、相對(duì)濕度、磷酸鹽、氨氮、水溫、pH值、葉綠素和藍(lán)綠藻。采用上述因素進(jìn)行2組仿真實(shí)驗(yàn)，預(yù)測(cè)葉綠素和藍(lán)綠藻的動(dòng)態(tài)變化趨勢(shì)，實(shí)現(xiàn)多輸入單輸出預(yù)測(cè)。將數(shù)據(jù)的70%用于模型訓(xùn)練，30%用于模型測(cè)試。為緩解網(wǎng)絡(luò)初始化對(duì)儲(chǔ)備池狀態(tài)造成的影響，舍棄了訓(xùn)練和測(cè)試時(shí)間序列中的前100個(gè)數(shù)據(jù)。