馮冬青，楊書顯

(鄭州大學 電氣工程學院 河南 鄭州 450001)

氧樂果合成過程的PSO-回歸BP網(wǎng)絡建模方法

馮冬青，楊書顯

(鄭州大學 電氣工程學院 河南 鄭州 450001)

為了提高模型效率，更好地反映實際系統(tǒng)的動態(tài)特性，根據(jù)氧樂果合成過程特點確定了PSO-回歸BP網(wǎng)絡結(jié)構(gòu).采用慣性權重動態(tài)調(diào)整的粒子群算法進行初始尋優(yōu)，并基于改進的BP算法對優(yōu)化的網(wǎng)絡權閾值進一步精確優(yōu)化，建立了氧樂果合成過程的PSO-回歸BP網(wǎng)絡模型.仿真結(jié)果表明，所建模型誤差小、收斂速度快、網(wǎng)絡泛化能力強，能更好地反映實際對象特點.

粒子群算法； 回歸BP網(wǎng)絡； 氧樂果合成； 溫度對象

0 引言

氧樂果是農(nóng)業(yè)生產(chǎn)中廣泛使用的一種農(nóng)藥，其質(zhì)量的優(yōu)劣對農(nóng)業(yè)生產(chǎn)有很大的影響，為其生產(chǎn)過程建立較為精確的數(shù)學模型，將有利于改善控制效果，提高產(chǎn)品質(zhì)量與經(jīng)濟效益.氧樂果合成過程是典型的間歇生產(chǎn)過程，反應釜溫度對象具有多變量、非線性、時變、分布復雜等特點，因此利用傳統(tǒng)方法建模非常困難.

以往的氧樂果合成過程建模研究中，曾在BP網(wǎng)絡的基礎上加上TDL環(huán)節(jié)，建立了回歸網(wǎng)絡模型，采用BP算法進行學習訓練[1-2].文[3]基于遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡模型，用遺傳算法對BP神經(jīng)網(wǎng)絡進行優(yōu)化取得了較好效果，但仍避免不了一些缺點.粒子群優(yōu)化(particle swarm optimization，PSO)算法采用速度位移模式[4-5]，保留全局搜索策略，概念簡單，具有計算復雜度低、收斂速度快，僅有少量參數(shù)需要調(diào)整，操作簡單、易實現(xiàn)等特點，作為一種全局優(yōu)化算法為神經(jīng)網(wǎng)絡的優(yōu)化問題提供了便捷高效的解決方法，并已在實際問題的應用中顯示出極大的優(yōu)越性[6-7].本文將粒子群優(yōu)化算法與回歸BP網(wǎng)絡相結(jié)合，建立氧樂果合成過程的PSO-回歸BP網(wǎng)絡模型，并用歷史數(shù)據(jù)對網(wǎng)絡進行訓練和測試，結(jié)果表明所建模型誤差小、網(wǎng)絡泛化能力強.

1 氧樂果合成過程特性分析

氧樂果合成反應是一個劇烈的放熱反應，反應物是一甲胺和精酯，反應產(chǎn)物是氧樂果粗原油，反應設備主要包括計量罐、反應釜、冷卻系統(tǒng)等.氧樂果的合成反應過程對溫度和一甲胺投料速度均有較高的要求.

生產(chǎn)過程中通常先將精酯裝入外壁纏有冷卻鹽水管道的反應釜中，將其冷卻到-20 ℃以下，之后計量罐中的一甲胺開始滴注到反應釜內(nèi)并進行均勻攪拌，在冷卻系統(tǒng)的作用下實現(xiàn)合成反應.反應初期由于反應釜中精酯含量較高，投入的一甲胺還比較少，所以反應產(chǎn)生的熱量很快被吸收，溫升較慢.隨著一甲胺投入量的增加，反應釜溫度開始迅速攀升，此時要減小一甲胺流量，抑制合成反應的放熱量和放熱速度，從而使反應溫度的上升趨勢放緩，防止由于溫升速率過高造成溫度超標.當反應釜溫度上升到-14～-12 ℃時，應當保持適當?shù)耐读纤俣龋瓜到y(tǒng)處于熱平衡狀態(tài)，反應溫度在小范圍內(nèi)變化.當一甲胺的剩余量較少時，由于反應釜內(nèi)的精酯大部分已經(jīng)被消耗掉，反應釜溫度不會快速攀升，在溫度不超過-12 ℃的前提下盡快完成一甲胺投料.

該反應過程受到很多干擾因素的影響，具有多變量特性.其中一甲胺流量、反應進行時間、冷卻鹽水溫度、一甲胺累積投料量對反應釜溫度的影響較為顯著.此外，精酯含量、一甲胺含量、冷卻系統(tǒng)熱交換的好壞等對反應釜溫度也有一定的影響.通過對生產(chǎn)過程的特性分析知道該反應過程還具有明顯的非線性和時變特性.針對此類復雜系統(tǒng)，無法采用傳統(tǒng)方法建立精確的模型，因此有必要研究智能建模方法.

2 氧樂果合成過程建模

近年來動態(tài)回歸網(wǎng)絡受到了人們的普遍關注，回歸網(wǎng)絡的一個最顯著特點就是它的輸出端信號通過延時環(huán)節(jié)或者一階慣性環(huán)節(jié)的反饋機構(gòu)連接到輸入端.其代表是Hopfield網(wǎng)絡和Elman網(wǎng)絡,此類網(wǎng)絡在建立動態(tài)系統(tǒng)模型方面有其長處，但同時應指出它采用的是動態(tài)反傳算法，其運算量比靜態(tài)BP算法大得多.因此，一些研究者嘗試將BP算法中采用的梯度下降法推廣到回歸網(wǎng)絡中，由此產(chǎn)生了回歸BP網(wǎng)絡.

氧樂果生產(chǎn)過程中的溫度是每隔一分鐘采樣一次，前一分鐘的溫度對當前時刻的溫度可能產(chǎn)生重大影響.所以我們要采用回歸BP網(wǎng)絡，將溫度輸出變量延時一拍作為神經(jīng)網(wǎng)絡的一個輸入，使網(wǎng)絡同時具有前饋和反饋機制，可以充分利用輸入輸出數(shù)據(jù)的動態(tài)信息，使其一開始就能夠跟蹤對象的特性，以期獲得更為精確的溫度對象模型.

2.1確定回歸BP網(wǎng)絡模型結(jié)構(gòu)

影響反應釜溫度的主要因素有4種，它們之間關系可以表示為

Tfyf=f(Fyja,Tlqs,sumyja,tfy)，

(1)

其中，F(xiàn)yja為一甲胺流量；Tlqs為冷卻鹽水的溫度；sumyja為一甲胺的總投料量；tfy為反應進行時間.

那么，網(wǎng)絡的輸入變量就為影響反應釜溫度的4個主要因素及反應釜前一時刻的溫度Tfyf(t-1)；輸出變量為反應釜溫度Tfyf；網(wǎng)絡隱含層節(jié)點數(shù)先由經(jīng)驗公式確定為12個，后經(jīng)試驗方法驗證12個較為理想.故本文采用的神經(jīng)網(wǎng)絡結(jié)構(gòu)就為5×12×1，輸入層為5維的輸入向量和一個閾值結(jié)點，該閾值的存在保證了網(wǎng)絡的收斂特性.中間層有12個神經(jīng)元和一個閾值結(jié)點，輸出層只有一個神經(jīng)元,為反應釜溫度輸出.相鄰兩層神經(jīng)元之間以全連接的方式相連.

2.2優(yōu)化網(wǎng)絡參數(shù)的PSO算法

對BP模型的初始權閾值先采用一定的策略進行優(yōu)化，然后再采用BP算法進行二次優(yōu)化確定最終權閾值可以提高模型的運行效率[8].PSO算法的特點使其在神經(jīng)網(wǎng)絡參數(shù)優(yōu)化方面已獲得較為廣泛的應用[9-10].

楊偉東畢業(yè)于位于江蘇南京的河海大學中文系，并不出眾的學歷，加上又是在海歸遠“吃香”于土鱉的外企，他還是在2009年到2011年，從一名普通職員一路升到了諾基亞大中國區(qū)市場營銷總監(jiān)。之后，楊偉東等人創(chuàng)立了麥特文化，一只腳踏進了文娛圈。

PSO算法是基于群體的，最初是為了在二維空間圖形化模擬鳥群優(yōu)美而不可預測的運動[11]，從這種模型中得到啟發(fā)并用于解決優(yōu)化問題，后來將其推廣到D維空間.每個優(yōu)化問題的解就是搜索空間中的一只鳥，鳥被抽象為沒有質(zhì)量和體積的微粒點,鳥在搜索空間中以一定的速度飛行，這個速度根據(jù)它本身的飛行經(jīng)驗和同伴的飛行經(jīng)驗來動態(tài)調(diào)整.第i個微粒在D維空間的位置矢量表示為xi(xi1,xi2,…,xiD)T，速度矢量表示為vi=(vi1,vi2,…,viD)T.每個粒子都有一個被優(yōu)化的函數(shù)決定的適應值，它經(jīng)歷過的最好位置(有最好的適應值)記為pi=(pil,pi2,…,piD)，也稱為pbest，這個可看作粒子本身的飛行經(jīng)驗.群體所有微粒經(jīng)歷過的最好位置用Pg表示，也稱為gbest，這個可看作是粒子同伴的飛行經(jīng)驗.PSO算法是一種基于迭代的優(yōu)化工具，對于每一代，它的第d維(1≤d≤D)根據(jù)方程(2)、(3)進行變化：

vid(t+1)=w(t)×vid(t)+c1×r1×(pid(t)-xid(t))+c2×r2×(pgd(t)-xid(t)),

(2)

xid(t+1)=xid(t)+vid(t+1).

(3)

其中，i=1,2,…，M，M為該群體中粒子總數(shù)；d=1,2,…,D，D為解空間維數(shù)，即自變量的個數(shù)；w為慣性權重函數(shù)，通常在進化過程中線性遞減；t為進化代數(shù)；c1和c2為位移變化的限定因子，通常為2；r1和r2為兩個在[0,1]范圍里變化的隨機值.此外，微粒的速度vi被一個最大速度vmax所限制，控制粒子的位移不至過大，如果當前對微粒的加速導致它在某維的速度vid超過該維的最大速度vmax,d，則該維的速度被限制為最大速度vmax,d.迭代終止條件一般選為最大迭代次數(shù)或滿足較好的適應值.

2.3數(shù)據(jù)預處理

從現(xiàn)場采集的歷史數(shù)據(jù)中取出4組，其中Fyja，T1qs和Tfyf是可以直接測量的數(shù)據(jù)；sumyja可由計量罐液位計算得到，反應時間tfy由反應時刻t計算得到.因為輸入輸出數(shù)據(jù)存在測量噪聲，系統(tǒng)本身也存在動態(tài)干擾，故在系統(tǒng)辨識之前有必要對原始數(shù)據(jù)進行預處理.首先應對數(shù)據(jù)進行壞值剔除，消除粗差；其次將數(shù)據(jù)進行隨機誤差與系統(tǒng)誤差預處理；最后按(4)式進行歸一化處理.

(4)

式中y,y′分別為歸一化前后的數(shù)據(jù)，ymin,ymax分別是所有采樣數(shù)據(jù)中的最小值和最大值.

將歸一化后的數(shù)據(jù)取3組作為訓練樣本，另一組作為測試樣本.其中Fyja，T1qs，sumyja,tfy,Tfyf構(gòu)成輸入矩陣P，反應釜溫度構(gòu)成目標矩陣Q.

基于PSO算法的優(yōu)點，將其與BP算法結(jié)合起來形成混合算法，對回歸BP神經(jīng)網(wǎng)絡的權閾值進行優(yōu)化.首先我們根據(jù)已確定好的回歸BP網(wǎng)絡結(jié)構(gòu)計算粒子群神經(jīng)網(wǎng)絡的維數(shù)；然后將神經(jīng)網(wǎng)絡的全體權值和閾值向量映射為粒子群搜索空間中的位置元素；其次采用粒子群算法尋找模型的初始權值與閾值；最后再采用改進的BP算法訓練經(jīng)過粒子群算法尋優(yōu)的初始權值與閾值，得到最終模型.

建模過程用matlab程序?qū)崿F(xiàn)，具體流程如下：

Step1根據(jù)已確定好的回歸BP網(wǎng)絡結(jié)構(gòu)5×12×1，計算粒子群神經(jīng)網(wǎng)絡的維數(shù)n=(5+1)×12+(12+1)×1=85.

Step2確定粒子群規(guī)模及迭代次數(shù).對于粒子個數(shù)m，通常在10～50之間取值，文中取為40.將神經(jīng)網(wǎng)絡的全體權值和閾值向量映射為粒子群搜索空間中的位置元素，則粒子搜索空間的維數(shù)即為85.迭代次數(shù)Tmax=150.

Step3慣性因子w的設置.慣性權重用來控制粒子以前速度對當前速度的影響，它將影響粒子的全局搜索能力和局部搜索能力，較大的w有利于跳出局部極小點，較小的w有利于算法收斂.但由PSO微粒的搜索特征不難發(fā)現(xiàn)[12]，線性減小策略中w保持較大值和較小值的時間都很短，不能很好滿足開始搜索速度快些、搜索后期速度慢些的要求.本文w采取(5)式按余弦規(guī)律遞減的策略，使w由0.9動態(tài)遞減至0.1.

(5)

式中，Tmax為最大迭代次數(shù)；t為當前迭代次數(shù)；wmax=0.9；wmin=0.1.

Step4確定適應度評價函數(shù).文中適應度函數(shù)取為訓練均方誤差函數(shù)，

(6)

Step5速度與位置初始化[13].隨機生成m個個體，每個個體由兩部分組成，第一部分為粒子的速度矩陣，第二部分代表粒子的位置矩陣.由于BP 神經(jīng)網(wǎng)絡的權值與閾值一般初始化為[-1,1] 之間的隨機數(shù)，故將粒子群中每個粒子位置參數(shù)均取為[-1,1]之間的隨機數(shù)作為PSO 算法的初始解集.

Step6輸入訓練樣本的輸入矩陣和目標矩陣，計算網(wǎng)絡的輸出，并根據(jù)(6)式評價每個粒子在神經(jīng)網(wǎng)絡訓練樣本下的適應度.

Step7進行極值更新.比較每個粒子的適應值和pbest，若粒子當前適應度優(yōu)于pbest,pbest被當前位置替換；若所有粒子的當前最優(yōu)適應值優(yōu)于gbest,gbest被當前最優(yōu)位置替換.

Step8根據(jù)(2)、(3)和(5)式進行粒子速度和位置的更新，即調(diào)整神經(jīng)網(wǎng)絡的權值與閾值.

Step9檢驗是否符合結(jié)束條件，如果當前的迭代次數(shù)達到了預先設定的最大次數(shù)(文中設為150次)或達到最小誤差要求，則停止迭代，轉(zhuǎn)Step10，否則返回Step6繼續(xù)進行迭代.

Step10算法停止迭代時，Pg對應的值即為訓練問題的最優(yōu)解，即回歸BP網(wǎng)絡的權值與閾值.

Step11回歸BP神經(jīng)網(wǎng)絡模型中隱含層傳輸函數(shù)取為“tansig”，輸出層傳輸函數(shù)取為“l(fā)ogsig”；網(wǎng)絡訓練目標誤差取為0.000 1.將Step10得到的最優(yōu)解代入回歸BP神經(jīng)網(wǎng)絡模型中，采用改進的BP算法(添加動量項與自適應學習率相結(jié)合)進行二次訓練學習，最終形成所需的對象模型.

3 模型驗證與分析

保存得到的最終對象模型，取出測試樣本(與訓練樣本經(jīng)過相同預處理)對訓練好的神經(jīng)網(wǎng)絡模型進行驗證.為對比起見，我們也建立了BP網(wǎng)絡模型進行驗證，驗證結(jié)果如圖1和圖2所示.從圖中可以看出，BP網(wǎng)絡模型誤差較大，通過計算得到BP網(wǎng)絡模型最大誤差高達12.4% .這些誤差比較大的點出現(xiàn)在合成反應的溫度上升階段，這個階段合成反應的總體放熱效果開始超過系統(tǒng)的冷卻效果，系統(tǒng)的熱平衡被打破，反應溫度開始快速增長.而PSO-回歸BP網(wǎng)絡具有反饋機制，充分利用了輸入輸出數(shù)據(jù)之間的關系，較好地跟蹤對象特性，尤其是在溫度上升階段誤差明顯減小，更好地模擬了溫度過程的變化，曲線擬合精度更高，最大誤差只有4.9%，最小誤差還不足0.03%.

圖3所示為PSO尋找回歸BP網(wǎng)絡模型參數(shù)的最優(yōu)適應度變化曲線，由圖可知經(jīng)過100余次迭代粒子群算法已找到初步最優(yōu)解，在此基礎上采用改進的BP算法繼續(xù)學習訓練，只用9步就達到了訓練目標，網(wǎng)絡收斂很快，訓練誤差曲線如圖4所示，而單獨采用改進的BP算法經(jīng)過2 000余次迭代還遠達不到訓練目標.這主要是由于PSO算法通過動態(tài)遞減的慣性權重協(xié)調(diào)了全局搜索與局部搜索，既能以較大的概率保證最優(yōu)解，克服BP算法局部最優(yōu)的缺陷，又可以提高局部區(qū)域的收斂速度，避免在局部區(qū)域搜索過程中的收斂停滯現(xiàn)象.

圖1 基于BP網(wǎng)絡的溫度輸出驗證曲線Fig.1 Verifying curve of temperature output based on BP network

圖2 PSO-回歸BP網(wǎng)絡的溫度輸出驗證曲線Fig.2 Verifying curve of temperature network output of PSO-recurrent BP network

圖3 PSO最優(yōu)適應度曲線Fig.3 Curve of fitness of PSO

圖4 PSO-回歸BP網(wǎng)絡訓練誤差曲線Fig.4 Curve of training error of PSO-recurrent BP network

4 結(jié)論

PSO優(yōu)化算法對神經(jīng)網(wǎng)絡模型的訓練操作簡單，計算復雜度低，它能有效地搜索到神經(jīng)網(wǎng)絡的最優(yōu)權值和最佳閾值，而回歸網(wǎng)絡能更好地體現(xiàn)系統(tǒng)的動態(tài)特性.本文將二者相結(jié)合，建立了氧樂果合成過程溫度對象的PSO-回歸BP網(wǎng)絡模型，仿真結(jié)果表明該模型結(jié)合了粒子群算法的全局尋優(yōu)能力和 BP神經(jīng)網(wǎng)絡算法的局部搜索優(yōu)勢，更體現(xiàn)了實際系統(tǒng)的動態(tài)性能，較真實地反映了氧樂果合成反應的溫度特性，具有較高的精度、較好的性能，可以用來研究氧樂果合成過程溫度自動控制系統(tǒng)的優(yōu)化控制算法，為實現(xiàn)綜合優(yōu)化控制提供有力的依據(jù).

[1] Yang J M, Kao C Y.A robust evolutionary algorithm for training neural networks[J].Neural Computing and Application,2001,10(3):214-230.

[2] 馮冬青，張新征，費敏銳.基于回歸神經(jīng)網(wǎng)絡的氧樂果合成過程建模與仿真[J].系統(tǒng)仿真學報，2005,17(6):1522-1524.

[3] 王曉沛.基于神經(jīng)網(wǎng)絡的智能控制方法研究[D].鄭州：鄭州大學，2007.

[4] Yang Shuxia.Neural network forecast under the organic hybrid model of genetic algorithm and particle swarm algorithm[C]//Proceedings of the 2008 International Conference on Wavelet Analysis and Pattern Recognition.Hong Kong, 2008:30-31.

[5] AlRashidi M R， El-Hawary M E.A survey of particle swarm optimization applications in electric power systems[J].IEEE Transactions on Evolutionary Computation,2009,13(4):913-918.

[6] 田麗，夏新運，蔣慧，等.基于PSO-BP混合算法的短期電力負荷預測[J].自動化與儀器儀表,2009(2):40-41.

[7] 孫世昶，劉洪波，林鴻飛，等.一種離散粒子群算法在對等網(wǎng)絡鄰接選擇問題中的應用[J].鄭州大學學報：理學版，2009,41(1)：86-89.

[8] 岳琳，張宏偉，王亮.粒子群優(yōu)化算法在城市需水量預測中的應用[J]天津大學學報：自然科學版，2007,40(6):742-746.

[9] 梁本亮, 王增忠, 孫富學.基于PSO的結(jié)構(gòu)損傷檢測應用研究[J].鄭州大學學報：理學版，2006,38(4):93-97.

[10] 楊光友，劉瓊.前向神經(jīng)網(wǎng)絡粒子群優(yōu)化學習算法研究[J].廣西師范大學學報：自然科學版，2008，26(3):151-156.

[11] Kennedy J, Eberhart R C.Particle swarm optimization [C]//IEEE International Conference on Neural Networks. Piscataway, 1995:1942-1948．

[12] 陳國初，俞金壽.增強型微粒群優(yōu)化算法及其在軟測量中的應用[J].控制與決策：2005，20(4)：377-381.

[13] 王海軍，白玫，賈兆立，等.基于粒子群神經(jīng)網(wǎng)絡的期貨價格預測[J].計算機工程與設計,2009，30(10)：2428-2430.

ModelingMethodofPSO-recurrentBPNetworkforOmethoateSynthesisProcess

FENG Dong-qing, YANG Shu-xian

(SchoolofElectricalEngineering,ZhengzhouUniversity,Zhengzhou450001,China)

In order to improve the model efficiency and show dynamic characteristic of the system, the modeling method of PSO-recurrent BP network for omethoate synthesis process was studied.Firstly, the structure of PSO-recurrent BP network was determined according to the features of the object.Secondly, PSO algorithm was used to optimize the weight and threshold of BP neural network.Finally, the improved BP algorithm was used to train the pre-optimized weight and threshold for getting further accurate parameters of the model.The simulation results showed that this model not only had small error, fast convergence speed and strong ability of network generalization, but also show characteristics of the actual object well.

PSO algorithm； recurrent BP neural network； omethoate synthesis； temperature object

TP 391.9

A

1671-6841(2011)03-0113-05

2010-05-12

國家自然科學基金資助項目，編號60774059.

馮冬青(1958-),男,教授,主要從事智能控制理論與應用研究，E-mail:dqfeng@zzu.edu.cn；通訊作者：楊書顯(1983-),女,碩士研究生, 主要從事智能控制理論與應用研究.