周紅哲，沈陸明，陳義明

（湖南農(nóng)業(yè)大學(xué)信息與智能科學(xué)技術(shù)學(xué)院，湖南 長沙 410128）

溶解氧是水生生物賴以生存的必要條件之一，是淡水養(yǎng)殖中最重要且最容易發(fā)生變化的水質(zhì)因子[1]。及時(shí)掌握溶解氧含量的變化，預(yù)測(cè)未來時(shí)刻的溶解氧含量，對(duì)提升水產(chǎn)養(yǎng)殖的智能化管理水平，提高水產(chǎn)養(yǎng)殖的經(jīng)濟(jì)效益具有重要的意義。溶解氧含量的精準(zhǔn)預(yù)測(cè)面臨很多困難和挑戰(zhàn)。首先，溶解氧含量的變化受諸多外部因素的影響，包括大氣壓強(qiáng)、風(fēng)速、風(fēng)向、水體溫度和土壤條件等[2]。因此確定外部相關(guān)因素對(duì)溶解氧含量的影響非常重要，解決這個(gè)問題的關(guān)鍵就在于動(dòng)態(tài)獲取溶解氧含量與外部相關(guān)因素之間的空間相關(guān)性。這種相關(guān)性很難用一個(gè)線性系統(tǒng)來建模。其次，溶解氧含量的變化存在不規(guī)則性，因此建立溶解氧含量變化的時(shí)間相關(guān)性模型也具有極大地挑戰(zhàn)。精準(zhǔn)預(yù)測(cè)溶解氧含量的關(guān)鍵就在于提取溶解氧序列本身的時(shí)間依賴關(guān)系和溶解氧序列與外部相關(guān)因素序列之間的空間相關(guān)性。

利用過去時(shí)刻的溶解氧含量和外部相關(guān)因素?cái)?shù)據(jù)預(yù)測(cè)未來時(shí)刻的溶解氧含量，是典型的時(shí)間序列預(yù)測(cè)問題[3]。近年來，深度學(xué)習(xí)模型被廣泛用于時(shí)間序列建模。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（Recurrent Neural Network）及其變體是適用于序列數(shù)據(jù)建模的典型深度學(xué)習(xí)模型，它能夠記憶過去時(shí)刻的信息，被廣泛用于時(shí)間序列預(yù)測(cè)建模[4]。注意力機(jī)制通過給不同的屬性分配不同的權(quán)值實(shí)現(xiàn)對(duì)關(guān)鍵信息的重點(diǎn)關(guān)注。Cheng 等[5]使用基于注意力的長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM（Long Short-Term Memory）預(yù)測(cè)股票價(jià)格，取得了比不使用注意力的LSTM 更優(yōu)的性能表現(xiàn)?！熬幋a器-解碼器”框架最初用于統(tǒng)計(jì)機(jī)器翻譯[6]，引入注意力機(jī)制后帶來了性能的巨大提升[7]。Qin 等[8]提出雙階段注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，采用注意力機(jī)制同時(shí)給不同的屬性分配權(quán)重。Liu 等[9]提出時(shí)空聯(lián)合注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型用于溶解氧預(yù)測(cè)，并取得較好的預(yù)測(cè)結(jié)果，但并沒有充分利用外部相關(guān)因素的時(shí)空依賴關(guān)系。

該研究針對(duì)溶解氧含量受外部相關(guān)因素的干擾和自身不規(guī)則變化的影響，提出一種基于兩階段雙注意力的溶解氧含量預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)模型。模型在利用溶解氧含量序列本身時(shí)間依賴的同時(shí)，充分利用外部相關(guān)因素序列的時(shí)空依賴特征，從而提高溶解氧預(yù)測(cè)的準(zhǔn)確率，主要貢獻(xiàn)如下：（1）基于“編碼器-解碼器”框架的兩階段溶解氧含量預(yù)測(cè)模型，在利用溶解氧序列本身時(shí)間依賴特征的同時(shí)，充分利用外部相關(guān)因素的空間特征；（2）提出在兩階段提取特征的雙注意力機(jī)制，即編碼階段采用自注意力同時(shí)提取溶解氧外部相關(guān)序列的時(shí)空依賴特征并組合在一起，解碼階段利用自注意力提取溶解氧序列的時(shí)間依賴特征，采用注意力機(jī)制提取溶解氧序列本身與外部相關(guān)因素序列之間的空間依賴特征；（3）真實(shí)數(shù)據(jù)集上的預(yù)測(cè)試驗(yàn)表明提出的兩階段雙注意力溶解氧預(yù)測(cè)模型比已有的模型性能更加優(yōu)異。

1 問題描述

假設(shè)xt= (x，x，…，x)'∈Rn為t時(shí)刻溶解氧的外部相關(guān)因素向量，xk= (x，x，…，x)'∈RT表示第k個(gè)外部相關(guān)因素序列，其中，n為外部相關(guān)因素的個(gè)數(shù)，T 為時(shí)間窗口大小，用X= (x1，x2，…，xn)∈RT×n表示所有外部關(guān)聯(lián)因素序列，Y= (y1，y2，…，yT)'∈RT表示時(shí)間窗口大小為T 的溶解氧含量數(shù)據(jù)序列。溶解氧含量預(yù)測(cè)即利用過去時(shí)刻的溶解氧含量和外部相關(guān)因素的測(cè)量值，構(gòu)建預(yù)測(cè)模型，從而輸出未來時(shí)刻的溶解氧含量值=T+τ(τ=1，2，…)。溶解氧含量預(yù)測(cè)模型就是一個(gè)關(guān)于多變量（y1，y2，…，yT，x1，x2，…，xT）的非線性依賴函數(shù)?=G(y1，y2，…，yT，x1，x2，…，xT)。

2 兩階段雙注意力預(yù)測(cè)模型構(gòu)建

兩階段雙注意力模型（Two-Stage Dual Attention Neural Network，TDANN）基于“編碼器-解碼器”框架，編碼階段同時(shí)提取溶解氧外部相關(guān)因素序列的時(shí)間和空間依賴特征；解碼階段首先提取溶解氧序列本身的時(shí)間依賴特征，然后提取溶解氧含量序列與外部相關(guān)因素之間的空間依賴特征。基于兩階段雙注意力的神經(jīng)網(wǎng)絡(luò)模型來構(gòu)建溶解氧含量預(yù)測(cè)的非線性依賴關(guān)系模型，其架構(gòu)如圖1 所示。

圖1 兩階段雙注意力模型TDANN 架構(gòu)圖

2.1 編碼階段

編碼階段采用自注意力機(jī)制同時(shí)提取溶解氧外部相關(guān)因素的時(shí)間注意力特征和空間注意力特征。編碼器由輸入層、時(shí)間空間自注意力層和映射層組成。輸入層通過全連接將輸入的溶解氧外部相關(guān)因素序列X∈RT×n映射到dmodel維的序列Eextern∈RT×d model，同時(shí)為了增強(qiáng)溶解氧外部相關(guān)因素序列的時(shí)間依賴關(guān)系，輸入層加入位置編碼。位置編碼PE的計(jì)算方式如下：

式中，pos 表示位置，i 表示維數(shù)。

時(shí)間空間自注意力層利用自注意力機(jī)制同時(shí)計(jì)算溶解氧外部相關(guān)因素的時(shí)間依賴特征A和空間依賴特征A；時(shí)間依賴特征的計(jì)算過程為：

映射層進(jìn)一步提取時(shí)間空間自注意力層的特征信息，由2 個(gè)全連接的線性變換組成，將該變換表示為函數(shù)f(x)，則編碼器的輸出為：

2.2 解碼階段

解碼階段先后利用溶解氧含量本身的時(shí)間依賴特征和溶解氧外部相關(guān)因素的空間依賴特征，由輸入層、時(shí)間注意力層、空間注意力層和線性映射層組成。輸入層將溶解氧含量序列Y映射為dmodel維的向量EDO。

空間注意力層計(jì)算ADO在外部影響因素時(shí)空特征上的注意力，進(jìn)一步利用外部影響因素的信息，計(jì)算公式為：

線性映射層采用與編碼器相同的映射輸出函數(shù)f(x)，解碼器的最終輸出為：

模型的預(yù)測(cè)結(jié)果由Fout通過最后的線性映射得到，表示為：

式中，函數(shù)g表示全連接等操作。

綜合公式(4)、(6)，(7)，(8)，(10)，(11)、(12)，(13)，可以實(shí)現(xiàn)溶解氧含量預(yù)測(cè)模型=G(y1,y2, …,yT,x1,x2, …,xT)的建模。

2.3 模型優(yōu)化與訓(xùn)練

在模型訓(xùn)練過程中，使用反向傳播更新模型參數(shù)，使得預(yù)測(cè)值?與真實(shí)值y之間的平方誤差最小化：

模型訓(xùn)練過程中，采用Adam 優(yōu)化器與自定義的學(xué)習(xí)速度調(diào)度程序配合使用的方案。Adam 優(yōu)化器參數(shù)為β1=0.90，β2=0.98，ε=10-9。學(xué)習(xí)速率為：

式中，warmup_steps=4 000。

3 兩階段雙注意力預(yù)測(cè)模型應(yīng)用

3.1 數(shù)據(jù)集

數(shù)據(jù)集是來自中國浙江省淡水漁業(yè)研究所的一個(gè)真實(shí)數(shù)據(jù)集，包括6 個(gè)氣象參數(shù)，1 個(gè)水質(zhì)參數(shù)、2個(gè)土壤參數(shù)和溶解氧含量，如表1 所示。數(shù)據(jù)集包含5 006 組參數(shù)數(shù)據(jù)，將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，分別占整個(gè)數(shù)據(jù)集的80%和20%。

表1 數(shù)據(jù)集因素及度量單位

3.2 對(duì)比模型

為驗(yàn)證所提出兩階段雙注意力模型TDANN 的優(yōu)越性，選取了7 種具有代表性的可用于溶解氧含量預(yù)測(cè)的模型作為對(duì)比試驗(yàn)。首先是多層感知機(jī)模型MLP（Multilayer Perceptron），該模型直接構(gòu)建將來某時(shí)刻溶解氧含量與時(shí)間窗口內(nèi)所有變量的回歸模型，實(shí)現(xiàn)溶解氧含量預(yù)測(cè)。基于時(shí)間序列的模型，包括直接進(jìn)行時(shí)間序列建模的模型和“編碼器-解碼器”框架的模型。直接序列建模選用擅長捕獲非線性依賴關(guān)系的長短期記憶模型LSTM[5]，可以充分利用序列各時(shí)刻之間的非線性依賴關(guān)系以提高溶解氧含量預(yù)測(cè)的精確性?；凇熬幋a器-解碼器”架構(gòu)的溶解氧預(yù)測(cè)模型是試驗(yàn)對(duì)比的重點(diǎn)?；凇熬幋a器-解碼器”框架的預(yù)測(cè)模型主要包括采用循環(huán)網(wǎng)絡(luò)的Encoder-Decoder模型、雙階段注意力模型DARNN[8]、時(shí)空聯(lián)合注意力模型Spatio-temporal-Attn[9]。另外，為探索不同方面的注意力機(jī)制在溶解氧含量預(yù)測(cè)中的重要性，分別將DARNN 模型只保留第一階段注意力的Input-Attn 模型和只保留第二階段注意力的Temporal-Attn 模型也作為對(duì)比試驗(yàn)?zāi)Ｐ汀?/p>

3.3 模型評(píng)估標(biāo)準(zhǔn)

模型使用平均絕對(duì)誤差（MEA）、均方誤差（MSE）來評(píng)估模型在測(cè)試集上的預(yù)測(cè)性能。假設(shè)yi表示溶解氧含量的真實(shí)值，i表示模型輸出的預(yù)測(cè)值，則它們的定義如下：

3.4 結(jié)果與分析

表2 列出了所有對(duì)比模型和提出的兩階段雙注意力模型TDANN 預(yù)測(cè)1 h 后即時(shí)溶解氧含量，當(dāng)時(shí)間窗口大小Windows_size 分別取3、5、10、15 和20 時(shí)在測(cè)試集上進(jìn)行溶解氧預(yù)測(cè)的MAE 和MSE 度量值。為了更加直觀地比較，圖2 可視化所有模型在不同窗口大小時(shí)的MAE 和MSE 度量值。圖3 為Windows_size 為20 時(shí)TDANN 模型預(yù)測(cè)結(jié)果的可視化。

圖3 注意力機(jī)制的溶解氧預(yù)測(cè)模型結(jié)果對(duì)比

從圖2 可以觀察到各個(gè)模型的表現(xiàn)性能存在較明顯的差異。與MLP 回歸模型相比，LSTM 序列預(yù)測(cè)模型能夠解決時(shí)間上的長期依賴問題，表現(xiàn)性能也更加優(yōu)異。當(dāng)時(shí)間窗口大小為20 時(shí)，LSTM 模型的MAE 值比MLP 模型減小了10.7%，因此時(shí)間依賴關(guān)系對(duì)溶解氧含量的精準(zhǔn)預(yù)測(cè)起到積極作用。而基于“Encoder-Decoder”架構(gòu)的模型，其性能明顯優(yōu)于MLP 和LSTM 模型，表明這種架構(gòu)可以更加有效地提取并利用好各種外部相關(guān)因素序列的特征。其中基于注意力的模型比不使用注意力機(jī)制的Encoder-Decoder 模型性能表現(xiàn)更加優(yōu)異。在時(shí)間窗口大小為5 時(shí)，基于空間注意力機(jī)制的Input-Attn 模型比Encoder-Decoder 模型在MAE 和MSE 度量值上分別減少了24.8%和13.4%，而基于時(shí)間注意力機(jī)制的Temporal-Attn 模型比Encoder-Decoder 模型在MAE 和MSE 度量值上分別減少了33.6%和36.2%，這說明注意力機(jī)制可以更有效地提取溶解氧和外部相關(guān)因素序列的時(shí)間與空間依賴特征，對(duì)溶解氧含量的精準(zhǔn)預(yù)測(cè)起到更加重要的作用。DARNN 和Spatio-temporal-Attn 模型同時(shí)使用了時(shí)間和空間注意力，在時(shí)間窗口大小為10 時(shí)，DARNN 和Spatio-temporal-Attn 模型在MSE 度量值上分別比Temporal-Attn 模型減少4.5%和8.3%，表明同時(shí)利用溶解氧序列的時(shí)空特征能夠?qū)崿F(xiàn)更加精準(zhǔn)的溶解氧預(yù)測(cè)任務(wù)。提出的TDANN 模型在時(shí)間窗口大小為15 時(shí)，MAE 和MSE 度量值分別比DARNN 模型減少了3.0%和8.6%。這表明TDANN模型可以更好地提取溶解氧序列的時(shí)空依賴關(guān)系，同時(shí)克服了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型不能并行計(jì)算的缺陷，實(shí)現(xiàn)了更加精準(zhǔn)的溶解氧預(yù)測(cè)任務(wù)。

表 2 不同時(shí)間窗口大小時(shí)各個(gè)模型的MAE 和MSE 比較

圖2 溶解氧預(yù)測(cè)TDANN 模型MAE（A）和MSE（B）指標(biāo)對(duì)比

4 結(jié) 論

該研究提出一種新穎的基于兩階段雙注意力的溶解氧含量預(yù)測(cè)模型，該模型能夠綜合利用溶解氧含量序列本身的時(shí)間依賴特征和外部相關(guān)因素序列的時(shí)空依賴特征。在真實(shí)數(shù)據(jù)集上的試驗(yàn)表明基于兩階段雙注意力預(yù)測(cè)模型在溶解氧含量預(yù)測(cè)中表現(xiàn)出優(yōu)異的性能，實(shí)現(xiàn)了更加精準(zhǔn)的溶解氧含量預(yù)測(cè)。