蔣思瑋 孫 妍 陳 靜 袁 昕 宋雪樺

（江蘇大學(xué)計算機科學(xué)與通信工程學(xué)院 鎮(zhèn)江 212013）

1 引言

中國作為糧食需求大國，糧食問題關(guān)乎國運民生，科學(xué)儲糧是糧食產(chǎn)后的重要環(huán)節(jié)。目前，如何防治害蟲、霉菌的污染是糧食存儲面臨的重大安全問題。當發(fā)生霉變、蟲害時，儲糧環(huán)境的多方面因素會受到影響，在這些因素中儲糧溫度是反映糧食安全存儲的重要指標［1］。糧食自身的呼吸作用以及糧堆內(nèi)部發(fā)生蟲害、霉變時產(chǎn)生的代謝都會影響儲糧溫度［2］，預(yù)測儲糧溫度的變化是儲糧安全監(jiān)測和預(yù)警的有效手段。

隨著人工智能技術(shù)的發(fā)展，機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在溫度預(yù)測中得到了廣泛的應(yīng)用。鄧玉睿［3］提出基于溫度、濕度、CO2 建立BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建糧情監(jiān)控模型，對糧食霉變情況分類預(yù)測；郭利進［4］采用基于SOM 聚類算法和灰色關(guān)聯(lián)分析處理模型輸入向量，將灰色模型與改進BP 神經(jīng)網(wǎng)絡(luò)相結(jié)合實現(xiàn)糧倉溫度預(yù)測，該方法相對于單一BP 網(wǎng)絡(luò)提高了溫度預(yù)測精度。BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，每個隱含層之間的神經(jīng)元相互獨立，在面對具有時序性的數(shù)據(jù)時，不能有效地提取數(shù)據(jù)的時序特征。糧食溫度預(yù)測需要對溫度這一時序數(shù)列的變化特征做出分析，針對這種時間依賴的特性，循環(huán)神經(jīng)網(wǎng)絡(luò)能很好地適應(yīng)這種情況［5］。林靖皓［6］等針對每年芒果產(chǎn)量的影響因素在時間上的關(guān)聯(lián)性，采用卷積神經(jīng)網(wǎng)絡(luò)和雙向門控單元建立芒果產(chǎn)量預(yù)測模型。JIA［7］等根據(jù)拉依達準則（PauTa Criterion）和拉格朗日差值對礦井瓦斯?jié)舛缺O(jiān)測數(shù)據(jù)進行預(yù)處理，為充分利用礦井瓦斯?jié)舛葦?shù)據(jù)的時間序列特征，提出了一種基于門控遞歸單元（Gated Recurrent Unit，GRU）的礦井瓦斯?jié)舛阮A(yù)測模型。徐一軒等［8］采集服務(wù)器溫度監(jiān)控數(shù)據(jù)和運行參數(shù)，提出基于長短記憶網(wǎng)絡(luò)的溫度預(yù)測模型，預(yù)測服務(wù)器入口溫度。馮鴻超［9］基于長短期記憶網(wǎng)絡(luò)（Long Short-term Memory，LSTM）建立糧堆溫度預(yù)測模型，并使用Adam算法優(yōu)化網(wǎng)絡(luò)參數(shù)，通過將預(yù)測值與閾值對比預(yù)測儲糧糧情。

根據(jù)儲糧溫度具有時序特性，本文提出一種基于門控循環(huán)單元的儲糧溫度預(yù)測方法。該方法利用GRU 網(wǎng)絡(luò)提取儲糧數(shù)據(jù)的時序特征，采用非線性慣性因子和自適應(yīng)學(xué)習(xí)因子的粒子群算法（Particle Swarm Optimization，PSO）優(yōu)化神經(jīng)網(wǎng)絡(luò)的初始權(quán)重，在模型中加入Dropout 算法和RMSProp 優(yōu)化器訓(xùn)練網(wǎng)絡(luò)參數(shù)，該方法較傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)預(yù)測誤差更小，可以有效地擬合儲糧溫度變化曲線。

2 儲糧溫度預(yù)測模型構(gòu)建

2.1 預(yù)測模型框架

預(yù)測模型為三層神經(jīng)網(wǎng)絡(luò)，輸入層和隱藏層使用GRU 網(wǎng)絡(luò)學(xué)習(xí)時序數(shù)據(jù)特征，通過全連接層變換維度輸出預(yù)測結(jié)果。以時間窗滑動的方式輸入時序數(shù)據(jù)，預(yù)測模型框架如圖1所示。每個GRU單元獲取當前時間步的輸入向量xt和上一時間步傳遞的隱藏層狀態(tài)?t。輸入向量進入GRU 網(wǎng)絡(luò)后，沿兩個方向傳播，即沿網(wǎng)絡(luò)層前向和沿時間梯度傳播。

圖1 預(yù)測模型網(wǎng)絡(luò)框架

1）時序數(shù)據(jù)特征提取

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是時序數(shù)據(jù)、自然語言處理的常用模型，在訓(xùn)練過程中RNN 對短期記憶較為敏感，而對時序數(shù)據(jù)會有梯度消失和梯度爆炸的問題［10］。GRU 單元是長短期記憶網(wǎng)絡(luò)的變體，可避免在反向傳播時的梯度消失和梯度爆炸問題，對于長期依賴的時序數(shù)據(jù)有良好的學(xué)習(xí)能力。GRU 較LSTM 網(wǎng)絡(luò)參數(shù)少，收斂速度快。GRU 將LSTM 中的細胞狀態(tài)和隱藏狀態(tài)合并成隱藏層狀態(tài)?t，且僅包含重置門zt和更新門rt，其結(jié)構(gòu)如圖2所示。

圖2 GRU模型結(jié)構(gòu)圖

圖2中，?t為當前時刻的隱藏狀態(tài)；xt為當前時刻的輸入向量；yt為當前單元輸出向量；σ為sigmoid激活函數(shù)。

GRU單元計算方式如下步驟所示。

（1）確定t-1 時刻狀態(tài)信息的保留程度rt，rt越大表明保留的信息越多。

（2）確定t-1 時刻的狀態(tài)信息的遺忘程度zt，范圍在0～1之間。

（3）生成當前隱藏狀態(tài)更新候選值。

（4）更新當前隱藏狀態(tài)，zt越接近1說明t-1時刻的信息遺忘的越少，zt越接近0說明遺忘的信息越多［11］。

（5）計算單元的輸出向量。

式中：wr、wz、w?、wy為權(quán)重。

2）過擬合優(yōu)化

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可能出現(xiàn)過擬合現(xiàn)象。本文在GRU 層和全連接層之間加入Dropout正則化，隨機選擇一部分神經(jīng)元使其失活，其他神經(jīng)元保持不變，然后訓(xùn)練損失反向傳播，更新未失活的神經(jīng)元參數(shù)，其他神經(jīng)元參數(shù)保持不變，這種方式能有效解決過擬合問題。全連接層進行維度變換輸出下一時刻的預(yù)測值，計算預(yù)測值與期望值之間的error，如式（6）所示，使用RMSProp 優(yōu)化器局調(diào)整網(wǎng)絡(luò)參數(shù)。

式中：m 為預(yù)測值的個數(shù)；yt為第t時刻的期望值；yt為第t時刻的預(yù)測值。

2.2 改進粒子群算法優(yōu)化網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練模型時可能會陷入局部最優(yōu)的問題，在初始化網(wǎng)絡(luò)時使用粒子群算法對模型初始權(quán)值和閾值尋優(yōu)，將網(wǎng)絡(luò)權(quán)值調(diào)整到全局最優(yōu)解附近區(qū)間避免模型陷入局部極值［12］。粒子群算法（Particle Swarm Optimization，PSO）是根據(jù)鳥類覓食過程得到的群智能優(yōu)化算法，在搜尋最優(yōu)解時各個粒子相互協(xié)調(diào)，不斷迭代實現(xiàn)全局尋優(yōu)［13］。粒子群算法的特點是參數(shù)簡單，收斂速度快，在求解模型、優(yōu)化結(jié)構(gòu)等多領(lǐng)域得到廣泛的應(yīng)用。

在d維候選解空間中，分布有若干個優(yōu)化問題的 候 選 解 向 量 集 合X=(x1，x2，x3…xi，i=1，2，3，…，m），候選解向量xi=（xi1，xi2，xi3…xid）為粒子群中的第i個粒子當前位置。粒子的運動過程即在向量空間中搜尋最優(yōu)解的過程，粒子運動方式靠速度v和位置x決定［14］。每次粒子位置迭代更新如式（7）和（8）所示：

標準的粒子群算法使用的慣性因子ω是定值，容易存在收斂早熟，陷入局部最優(yōu)的問題。因此，本文引入非線性慣性權(quán)重［15］，如式（9）所示：

式中：ωmax為慣性因子最大值；ωmin為慣性因子最小值；Tmax為總迭代次數(shù)；T為當前迭代次數(shù)。

引入非線性慣性權(quán)重后慣性因子在迭代前期較大，全局搜尋步長變大，有利于防止粒子趨向局部極值，確保在全局范圍內(nèi)搜尋最優(yōu)解，到迭代后期，粒子逐步趨向全局最優(yōu)，慣性因子取值減小，防止粒子在最優(yōu)解空間內(nèi)產(chǎn)生震蕩，加強粒子在局部尋優(yōu)能力。同時在PSO中引入異步變化學(xué)習(xí)因子［16］調(diào)整粒子搜尋策略，如式（10）所示：

式中：c1用于控制粒子根據(jù)自身經(jīng)驗的學(xué)習(xí)能力，c1，max和c1，min是c1的最大值和最小值，c2用于控制粒子根據(jù)群體經(jīng)驗的學(xué)習(xí)能力，c2，max和c2，min是c2的最大值和最小值。

兩種學(xué)習(xí)因子根據(jù)自身特點使用不同的方式控制粒子尋優(yōu)，在搜尋前期注重全局尋優(yōu)的能力，盡可能地擴大搜尋范圍，粒子需要加強自我學(xué)習(xí)能力減少群體尋優(yōu)經(jīng)驗對粒子的影響。在搜尋后期，需要逐漸加強群體經(jīng)驗對粒子的影響，使粒子逐步收斂至全局最優(yōu)點區(qū)域，因而，c1的初始值較大，隨著迭代次數(shù)增加而減小，c2的初始值較小，隨著迭代次數(shù)增加而增大。

2.3 預(yù)測方法設(shè)計

1）數(shù)據(jù)預(yù)處理

本文采用的數(shù)據(jù)從天津科技大學(xué)模擬糧倉獲得。在每個實驗倉取上、中、下三個存儲位置的溫度、濕度，數(shù)據(jù)獲取的頻率為每小時一次。數(shù)據(jù)集的時間范圍是2019 年1 月至12 月。因儀器故障、電源斷電等意外因素，采集的數(shù)據(jù)中存在短時間的缺失值，采用均值插值方式填補。預(yù)測模型以12小時為一個時間滑動窗口預(yù)測后一時刻的數(shù)據(jù)，時間窗滑動的步長為1h。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，由于不同特征的數(shù)量級存在差異，導(dǎo)致部分特征沒有表現(xiàn)出明顯的特性，為了消除數(shù)量級上的影響，對數(shù)據(jù)進行歸一化處理，如式（11）所示。

式中：x*為歸一化處理后得到的數(shù)據(jù)，xmin為原始數(shù)據(jù)最小值，xmax為原始數(shù)據(jù)最大值，x為原始數(shù)據(jù)。

2）IPSO優(yōu)化預(yù)測模型

IPSO 算法搜尋的最優(yōu)候選解向量的過程即優(yōu)化神經(jīng)網(wǎng)絡(luò)中GRU單元的權(quán)值wr、wz、w?、wy和全連接層wd。具體步驟如下所示：

（1）首先確定粒子規(guī)模m、粒子集合X、學(xué)習(xí)因子初始值和終止值C1，max，C1，min，C2，max，C1，min、慣性因子最大值ωmax、慣性因子最小值ωmin、總迭代次數(shù)maxiter、粒子位置邊界B和最大飛行速度vmax。構(gòu)建粒子位置集合X，X={ }x1，x2，x3…xi，i∈[1，m]，每個粒子的位置信息xi包括GRU神經(jīng)網(wǎng)絡(luò)的權(quán)值。

（2）計算粒子適應(yīng)度

適應(yīng)度函數(shù)是將粒子位置作為網(wǎng)絡(luò)參數(shù)時神經(jīng)網(wǎng)絡(luò)得到的損失函數(shù)，實驗中使用真實值與預(yù)測值的均方誤差MSE作為訓(xùn)練損失函數(shù)。

式中：m 為預(yù)測值的個數(shù)；yi為第i個時間點的真實值；為第i個時間點的預(yù)測值。

（3）迭代更新粒子位置

在每輪迭代中，若第i個粒子的粒子適應(yīng)度fitness(xi)優(yōu)于當前個體最佳適應(yīng)值Fbest，i或歷史最佳適應(yīng)值Fbest，g，則將該粒子位置xi更新為pi或pg。

在迭代過程中利用式（7）～（8）更新粒子位置和速度。若在計算過程中粒子位置超出邊界，則令粒子位置等于邊界值，xid=Bd；若速度超過最大速度vmax，則vid=vmax。當?shù)螖?shù)達到最大迭代次數(shù)時，pg為PSO優(yōu)化得到的最優(yōu)權(quán)值。

綜上得到預(yù)測模型的初始權(quán)重，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，預(yù)測方法流程如圖3所示。

圖3 預(yù)測方法流程圖

3 實驗分析

3.1 實驗及評價指標

實驗環(huán)境：64 位Windows10 操作系統(tǒng)，Intel i7處理器，16G 內(nèi)存，PyCharm，TensorFlow。構(gòu)建神經(jīng)網(wǎng)絡(luò)模型時合適的超參數(shù)選擇對訓(xùn)練準確度有至關(guān)重要的影響，經(jīng)過多次實驗，模型的超參數(shù)設(shè)置如表1所示。

表1 預(yù)測模型超參數(shù)

為了評價模型預(yù)測效果和精度，使用均方根誤差（RMSE），平均絕對誤差（MAE），平均百分比誤差（MAPE）作為模型預(yù)測結(jié)果的評價指標，并將IPSO-GRU 與GRU、LSTM、BP 網(wǎng)絡(luò)對比。計算誤差如式（14）～（16）所示：

式中：n為樣本數(shù)，pi為預(yù)測值，yi為真實值。當上述三個指標值越接近零代表預(yù)測值與真實值越接近。

3.2 實驗結(jié)果分析

3.2.1 時間窗長度對比實驗

時間窗長度是模型訓(xùn)練的重要指標，在無外界干擾的情況下，儲糧狀態(tài)的數(shù)值變化緩慢且具有周期性，將該特點作為參考依據(jù)本文對不同時間窗長度進行對比實驗，在GRU 網(wǎng)絡(luò)上設(shè)置從4～24 的不同的時間窗長度，將測試誤差作為評價模型的指標。

圖4是不同時間窗模型訓(xùn)練結(jié)果，當時間窗的長度是12 時預(yù)測模型的均方誤差最小，確定時間窗長度為12。

圖4 不同時間窗長的對比實驗

3.2.2 模型訓(xùn)練優(yōu)化器選擇

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，優(yōu)化器可以影響模型收斂的速度，本實驗設(shè)置兩層GRU 網(wǎng)絡(luò)，一層全連接網(wǎng)絡(luò)，輸入層節(jié)點為64，經(jīng)過300次迭代訓(xùn)練，使用每次迭代的損失函數(shù)MSE 作為評價指標，計算RMSProp，Adam，AdaGrad 優(yōu)化器的訓(xùn)練誤差，如圖5所示。

圖5 不同優(yōu)化器模型的訓(xùn)練誤差對比

實驗表明使用AdaGrad 優(yōu)化器的模型收斂速度較慢，RMSProp，Adam 優(yōu)化器對模型收斂有較好的效果。在經(jīng)過300 次迭代之后，RMSProp 的訓(xùn)練誤差最小，因此選擇RMSProp作為訓(xùn)練模型的優(yōu)化器。

3.2.3 不同模型預(yù)測結(jié)果對比

為評估本文模型的預(yù)測精度，選取三種模型進行對比，模型的隱含層層數(shù)和節(jié)點數(shù)和本文模型一致，迭代次數(shù)為300，過擬合參數(shù)設(shè)置為0.1。

圖6 為不同模型的溫度預(yù)測擬合曲線，其中TRUE 代表模型的期望輸出，IPSO-GRU 代表本文模型的預(yù)測輸出，從圖可以看出BP 網(wǎng)絡(luò)預(yù)測溫度曲線的擬合效果較差，本文模型能有效的擬合溫度變化曲線。表2是不同模型評價指標對比結(jié)果。

表2 不同模型預(yù)測評價指標對比

圖6 不同模型預(yù)測結(jié)果對比圖

從表中可知，GRU 網(wǎng)絡(luò)和LSTM 網(wǎng)絡(luò)預(yù)測準確度比較接近，BP 網(wǎng)絡(luò)預(yù)測的準確度最低。IPSO-GRU 在三種評價指標上的誤差分別是0.078，0.060，0.344%，均大于GRU，LSTM 和BP 網(wǎng)絡(luò)。IPSO-GRU 和GRU 網(wǎng)絡(luò)對比RMSE 誤差減小13%，和LSTM 對比誤差減小16%，和BP網(wǎng)絡(luò)對比誤差減小74%。

圖7是不同模型的預(yù)測誤差對比，BP網(wǎng)絡(luò)的預(yù)測誤差集中在0.2～0.4 之間且隨時間變化誤差逐漸增加，最大誤差為0.42。IPSO-GRU 的整體誤差小于其他模型且趨勢較為平穩(wěn)，最大誤差為0.13。IPSO-GRU 網(wǎng)絡(luò)，誤差集中于0～0.1之間；GRU 網(wǎng)絡(luò)的最大誤差為0.16，LSTM 網(wǎng)絡(luò)的最大誤差為0.19，兩者誤差集中于0～0.2之間。從實驗結(jié)果可以看出IPSO-GRU 模型的預(yù)測誤差最小且對于時間序列的數(shù)據(jù)預(yù)測更加準確，這是由于在處理時序數(shù)據(jù)方面GRU 網(wǎng)絡(luò)較BP 網(wǎng)絡(luò)更具優(yōu)勢，能充分利用儲糧環(huán)境因素的時間序列特征。GRU網(wǎng)絡(luò)經(jīng)過IPSO算法全局尋優(yōu)，將網(wǎng)絡(luò)初始參數(shù)調(diào)整至最優(yōu)區(qū)間，采用Dropout算法防止過擬合增強模型的預(yù)測精度和泛化能力，使模型得到更好的預(yù)測效果。

圖7 不同模型預(yù)測誤差對比圖

4 結(jié)語

本文針對糧食存儲溫度時序數(shù)據(jù)的特點，提出基于改進粒子群優(yōu)化GRU 網(wǎng)絡(luò)的儲糧溫度預(yù)測方法。該方法使用粒子群算法優(yōu)化網(wǎng)絡(luò)初始權(quán)重，在粒子群中引入了非線性慣性因子和自適應(yīng)學(xué)習(xí)因子，優(yōu)化粒子搜索策略，增強粒子全局搜索能力，在模型中加入Dropout算法和RMSProp優(yōu)化器訓(xùn)練網(wǎng)絡(luò)參數(shù)。實驗使用溫濕度傳感器采集的模擬糧倉數(shù)據(jù)，為驗證模型預(yù)測精度，選取三種模型與本文模型對比，預(yù)測結(jié)果證明本文構(gòu)建的IPSO-GRU 模型較其他傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的預(yù)測精度更高，為糧情預(yù)測提供了新的思路。