鄒可可，李中原，穆小玲，李鐵生，于福榮

(1.河南省平頂山水文水資源勘測局，河南 平頂山 467000； 2.河南省水文水資源局，河南 鄭州 450003；3.河南省鄭州水文水資源勘測局，河南 鄭州 450006； 4.鄭州大學(xué) 化學(xué)與分子工程學(xué)院，河南 鄭州 450052；5.華北水利水電大學(xué)，河南 鄭州 450046)

水質(zhì)是由水資源內(nèi)所含物理、化學(xué)和生物等多種參數(shù)共同定義而成[1]。在用于飲用水、農(nóng)業(yè)、娛樂和工業(yè)用水等各種預(yù)期用途之前，確定水資源質(zhì)量至關(guān)重要。一般情況下，污水水質(zhì)預(yù)測模型可分為機(jī)理式[2]水質(zhì)預(yù)測模型和非機(jī)理式[3]水質(zhì)預(yù)測模型。機(jī)理式水質(zhì)預(yù)測模型復(fù)雜，且普適性較弱，目前國內(nèi)外普遍采用非機(jī)理式水質(zhì)預(yù)測模型，預(yù)測水質(zhì)的長期和短期變化趨勢。常用的方法有時(shí)間序列預(yù)測法、人工神經(jīng)網(wǎng)絡(luò)預(yù)測法、回歸分析預(yù)測法、熵值法等。梁中耀等[4]利用時(shí)間序列預(yù)測法對(duì)滇池外海的水質(zhì)指標(biāo)的時(shí)間序列數(shù)據(jù)進(jìn)行遞歸迭代，并對(duì)水質(zhì)趨勢的時(shí)、空變化特征進(jìn)行識(shí)別和判定。然而該方法屬于無原因變量的統(tǒng)計(jì)預(yù)測模型，其特點(diǎn)是數(shù)學(xué)理論基礎(chǔ)完善，實(shí)踐難度較大，誤差較大。袁宏林等[5]運(yùn)用Levenberg-Marguardt優(yōu)化算法對(duì)學(xué)習(xí)樣本進(jìn)行訓(xùn)練，建立以上游斷面水質(zhì)監(jiān)測數(shù)據(jù)預(yù)測下游水質(zhì)變化的反向傳播(Back Propagation，BP)神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測模型。該方法建立的預(yù)測模型的預(yù)測精度可以達(dá)到令人滿意的程度，但從預(yù)測模型中尚不清楚水質(zhì)變化趨勢的具體原因和內(nèi)在聯(lián)系，從而影響了模型的預(yù)測精度。笪英云等[6]提出了一種基于關(guān)聯(lián)向量機(jī)回歸的水質(zhì)時(shí)間序列預(yù)測模型，該方法通過對(duì)大量數(shù)據(jù)樣本進(jìn)行相關(guān)分析，得出相關(guān)性，并建立回歸方程，在考慮預(yù)測誤差的基礎(chǔ)上確定未來水質(zhì)預(yù)測值，然而模型復(fù)雜，對(duì)數(shù)據(jù)和樣本的分布要求較高。陳昭[7]應(yīng)用熵值法改進(jìn)集對(duì)分析模糊評(píng)價(jià)方法，實(shí)現(xiàn)河流水質(zhì)狀況等級(jí)評(píng)價(jià)。然而該方法容易受到數(shù)據(jù)不穩(wěn)定性的影響，從而產(chǎn)生較大的預(yù)測誤差。

由于水質(zhì)參數(shù)是一個(gè)動(dòng)態(tài)的時(shí)間序列，因此更適合使用遞歸神經(jīng)網(wǎng)絡(luò)[8-9](RNN)。另外，水質(zhì)參數(shù)的預(yù)測過程是漸進(jìn)的，即當(dāng)前水質(zhì)參數(shù)與歷史水質(zhì)參數(shù)相關(guān)聯(lián)。這就要求RNN能夠動(dòng)態(tài)地記憶歷史水質(zhì)參數(shù)信息，并在學(xué)習(xí)新信息的同時(shí)保留歷史水質(zhì)參數(shù)信息。為此，本文引入了一種改進(jìn)的長—短記憶網(wǎng)絡(luò)結(jié)構(gòu)(LSTM-GRU)來增加RNN的隱層，從而高效學(xué)習(xí)歷史水質(zhì)參數(shù)信息，使得預(yù)測結(jié)果更加精確。

1 神經(jīng)網(wǎng)絡(luò)模型

1.1 RNN神經(jīng)網(wǎng)絡(luò)模型

遞歸神經(jīng)網(wǎng)絡(luò)(RNN)通常用于機(jī)器視覺和自然語言處理，它具有特征學(xué)習(xí)能力，能夠從輸入數(shù)據(jù)中提取高級(jí)特征。一維CNN(1D RNN)可用于時(shí)間序列數(shù)據(jù)處理，二維CNN(2D RNN)可用于圖像識(shí)別等視覺處理。

1D-RNN的結(jié)構(gòu)如圖1所示，它由輸入層、卷積層、池化層、全連接層和輸出層組成。卷積層通過不同大小的卷積核提取特征，池化層通過壓縮數(shù)據(jù)來降低信息的維數(shù)。為了有效地提取和保留數(shù)據(jù)特征，卷積層和池層交替出現(xiàn)。全連通層將從不同空間提取的分布特征展平，實(shí)現(xiàn)回歸或分類。RNN注重局部特征提取，通過參數(shù)共享減少權(quán)值，大大減少了網(wǎng)絡(luò)的計(jì)算參數(shù)。

圖1 1D-RNN的結(jié)構(gòu)Fig.1 1D-RNN structure

1.2 GRU和LSTM

門控遞歸單元(GRU)和長短時(shí)記憶(LSTM)可以看作是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的變種，常用于處理序列問題。它們可以解決傳統(tǒng)RNN中的長時(shí)記憶和反向傳播算法中的梯度爆炸問題。

GRU和LSTM采用門結(jié)構(gòu)代替標(biāo)準(zhǔn)RNN結(jié)構(gòu)中的隱藏單元，可以選擇性地記憶重要信息而忘記不重要信息。與LSTM相比，GRU用更新門zt和復(fù)位門rt代替LSTM的輸入門、遺忘門和輸出門。在GRU的預(yù)測精度不低于LSTM的預(yù)測精度的前提下，可以減少訓(xùn)練參數(shù)，以獲得更快的收斂速度。傳統(tǒng)RNN和GRU的結(jié)構(gòu)如圖2所示。

圖2 RNN和GRU網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 RNN and GRU network structure

復(fù)位門rt確定新輸入與先前存儲(chǔ)器的組合，并且更新門zt定義保存到當(dāng)前時(shí)間步長的先前存儲(chǔ)器的數(shù)量。zt值越大，從前一時(shí)刻到當(dāng)前時(shí)刻的狀態(tài)信息就越多。rt值越小，先前時(shí)刻的狀態(tài)信息被遺忘得越多。

因此，GRU的工作原理可以概括如下：①根據(jù)當(dāng)前時(shí)刻的輸入狀態(tài)信息xt和前一時(shí)刻存儲(chǔ)的隱藏層信息hi-1來計(jì)算zt和rt。②使用復(fù)位門來確定存儲(chǔ)在節(jié)點(diǎn)hi-1中新信息的數(shù)量。③通過更新門計(jì)算當(dāng)前時(shí)刻的隱藏層輸出。GRU的計(jì)算過程如下:

(1)

2 網(wǎng)絡(luò)模型設(shè)計(jì)

2.1 模型框架

LSTM-GRU預(yù)測模型的總體框架如圖3所示，包括5個(gè)功能模塊：輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)預(yù)測。輸入層負(fù)責(zé)對(duì)原始河流水質(zhì)參數(shù)內(nèi)容進(jìn)行初步處理，以滿足網(wǎng)絡(luò)輸入要求。隱藏層使用LSTM-GRU單元構(gòu)建的網(wǎng)絡(luò)，輸出層提供預(yù)測結(jié)果。網(wǎng)絡(luò)訓(xùn)練采用隨機(jī)梯度下降法(SGD)作為優(yōu)化器，網(wǎng)絡(luò)預(yù)測采用迭代法。

圖3 預(yù)測模型的總體框架Fig.3 Overall framework of forecasting model

2.2 模型訓(xùn)練參數(shù)設(shè)置

采用程序自尋優(yōu)法確定最優(yōu)參數(shù)，需要調(diào)整的主要參數(shù)是存儲(chǔ)單元數(shù)、模型結(jié)構(gòu)和訓(xùn)練集的時(shí)間窗口大小。每例均監(jiān)測100次錯(cuò)誤率，該模型的效果波動(dòng)很小，各參數(shù)的誤差率小于5%。當(dāng)LSTM-GRU模型層數(shù)設(shè)為3層、訓(xùn)練集時(shí)間窗為460、隱層存儲(chǔ)單元數(shù)為20時(shí)，效果較好。將每個(gè)時(shí)間點(diǎn)的數(shù)據(jù)輸入LSTM-GRU網(wǎng)絡(luò)，預(yù)測下一個(gè)時(shí)間點(diǎn)高錳酸鉀指數(shù)(COD含量)。然后，將下一個(gè)時(shí)間點(diǎn)的真實(shí)COD含量作為已知的輸入網(wǎng)絡(luò)繼續(xù)預(yù)測，并進(jìn)行在線滾動(dòng)。由于模型穩(wěn)定性高，采用自動(dòng)優(yōu)化的方法建立模型無需人工調(diào)試。

3 仿真與分析

3.1 數(shù)據(jù)預(yù)處理

河流水質(zhì)指標(biāo)包括總磷(P)、總氮(N)、溶解氧(BOD)、氨氮(NH4-NO3)和高錳酸鉀指數(shù)(COD)，河流水質(zhì)參數(shù)預(yù)測的目的是判斷采集水樣的污染等級(jí)，為污染防治和水源保護(hù)提供依據(jù)。由于在水質(zhì)預(yù)測中COD與水污染直接相關(guān)，因此選取COD作為反映河流水質(zhì)參數(shù)評(píng)價(jià)的綜合指標(biāo)。為了防止由于不同自變量幅值的巨大差異而引起奇異解，對(duì)測量數(shù)據(jù)進(jìn)行歸一化處理，將輸入變量線性變換成[-1，1]，使數(shù)據(jù)適應(yīng)sigmoid和tanh激活函數(shù)。數(shù)據(jù)規(guī)范化使用以下函數(shù)：

(2)

式中，xmin、xmax分別為測得的最小值和最大值；ymin、ymax分別為歸一化處理后最小值和最大值，通常取0.01和0.99。

實(shí)測指標(biāo)值對(duì)應(yīng)的水質(zhì)分級(jí)等級(jí)見表1。

表1 地表水環(huán)境質(zhì)量標(biāo)準(zhǔn)Tab.1 Environmental quality standard of surface water mg/L

選擇LSTM模型和GRU模型作為河流水質(zhì)參數(shù)的對(duì)比預(yù)測模型，以重慶市某河流COD含量日監(jiān)測數(shù)據(jù)中的460組實(shí)測數(shù)據(jù)作為LSTM模型、GRU模型和LSTM-GRU模型的訓(xùn)練數(shù)據(jù)集，將其中25組實(shí)測數(shù)據(jù)作為上述3種模型的測試數(shù)據(jù)集。

3.2 評(píng)價(jià)指標(biāo)的選取

為了保證誤差測量結(jié)果的有效性，采用均方根誤差(RMSE)和平均絕對(duì)百分比誤差(MAPE)作為預(yù)測精度的評(píng)價(jià)標(biāo)準(zhǔn)，RMSE和MAPE值越小，預(yù)測結(jié)果越準(zhǔn)確。計(jì)算公式如下：

(3)

(4)

3.3 性能評(píng)估

采用LSTM模型、GRU模型和LSTM-GRU模型的指標(biāo)預(yù)測值與真實(shí)值對(duì)比結(jié)果如圖4所示。對(duì)3個(gè)模型的RMSE和MAPE值分別進(jìn)行了分析，結(jié)果見表2。

圖4 不同方法預(yù)測與真實(shí)值對(duì)比結(jié)果Fig.4 Comparison results between predicted and real values by different methods

表2 不同模型預(yù)測結(jié)果的性能指標(biāo)Tab.2 Performance index of prediction results of different models

從圖4可以看出，用LSTM模型和GRU模型預(yù)測COD含量偏差值較大，預(yù)測效果不理想。采用LSTM-GRU模型預(yù)測COD含量，預(yù)測值與真實(shí)值變化趨勢基本一致，數(shù)據(jù)跟蹤效果較好，預(yù)測精度高，在污水處理預(yù)測上比使用單個(gè)預(yù)測模型的預(yù)測精度高、效果好。

由表2可以看出，與LSTM模型和GRU模型相比，LSTM-GRU模型的預(yù)測評(píng)價(jià)指標(biāo)值均小于傳統(tǒng)水質(zhì)模型，說明就河流水質(zhì)參數(shù)預(yù)測而言，與傳統(tǒng)的水質(zhì)參數(shù)預(yù)測模型相比，LSTM-GRU模型的泛化能力更強(qiáng)，預(yù)測精度更高。

4 結(jié)論

水資源質(zhì)量檢測對(duì)于飲用水、農(nóng)業(yè)、娛樂和工業(yè)用水等水資源的管理及保護(hù)具有重要作用。然而水質(zhì)參數(shù)的預(yù)測過程是一個(gè)漸進(jìn)過程，需要同時(shí)考慮當(dāng)前水質(zhì)參數(shù)與歷史水質(zhì)參數(shù)相關(guān)性。為此，本文對(duì)遞歸神經(jīng)網(wǎng)絡(luò)中LSTM和GRU模型進(jìn)行了研究，該技術(shù)提高了水質(zhì)檢測精度。