汪圣祥, 金朝永

?

基于BP神經(jīng)網(wǎng)絡(luò)的PID改進(jìn)和研究

汪圣祥, 金朝永

(廣東工業(yè)大學(xué)應(yīng)用數(shù)學(xué)學(xué)院, 廣州 510520)

主要對(duì)BP神經(jīng)網(wǎng)絡(luò)PID控制算法進(jìn)行了研究, 提出一種改變步長(zhǎng)和學(xué)習(xí)率的迭代法, 能有效的減少網(wǎng)絡(luò)收斂次數(shù). 然后從神經(jīng)網(wǎng)絡(luò)激活函數(shù)的選擇出發(fā), 提出一種新的非線(xiàn)性誤差函數(shù). 仿真表明, 該方法能減少網(wǎng)絡(luò)訓(xùn)練的次數(shù), 加快收斂, 也能避免網(wǎng)絡(luò)學(xué)習(xí)下初期的振蕩現(xiàn)象.

PID神經(jīng)網(wǎng)絡(luò); 動(dòng)量項(xiàng); 激勵(lì)函數(shù)

引言

近年來(lái), 由于神經(jīng)元網(wǎng)絡(luò)的研究和應(yīng)用, 人們開(kāi)始結(jié)合神經(jīng)元網(wǎng)絡(luò)和PID控制, 以便改進(jìn)傳統(tǒng)PID控制的性能, PIDNN控制通過(guò)神經(jīng)網(wǎng)絡(luò)將參數(shù)網(wǎng)絡(luò)化后, 再用于PID中, 以此來(lái)提高該控制器的性能. 文[1]將PID控制規(guī)律并入到神經(jīng)網(wǎng)絡(luò), 并融入遺傳算法和BP的反向算法, 從而做到優(yōu)化參數(shù)的學(xué)習(xí), 通過(guò)仿真證實(shí)了該控制器的收斂速度比之前加快, 且其穩(wěn)定性也取得更好的效果. 然而PIDNN的初始權(quán)值不確定, 且具有任意性, 從而使得其學(xué)習(xí)也不確定, 最終收斂方向也出現(xiàn)了任意性, 導(dǎo)致極易陷入飽和區(qū). 本文針對(duì)此情況對(duì)動(dòng)量項(xiàng)進(jìn)行優(yōu)化, 改進(jìn)了算法. 最后還對(duì)激勵(lì)函數(shù)進(jìn)行了研究.

1 PIDNN算法

1.1 PIDNN前向算法

(1) 輸入層

神經(jīng)元的輸出

(2) 隱含層

隱含層有3個(gè)神經(jīng)元, 分別為比例元, 積分元和微分元, 各自的輸入值為輸入層至隱含層的加權(quán)總和,可表達(dá)為

(3) 輸出層

神經(jīng)元的輸出

神經(jīng)元的輸出

1.2 PIDNN的誤差反向傳播算法

PIDNN訓(xùn)練和學(xué)習(xí)的目的是使偏差平方均值為最小, 其中.

隱含層至輸出層的權(quán)重迭代公式為

.

輸入層至隱含層的權(quán)重迭代公式為

.

對(duì)上式進(jìn)行變形, 得

即得到PIDNN輸入層至隱含層的權(quán)重算法修改為

2 動(dòng)量項(xiàng)分析及簡(jiǎn)介

D.E.Rumelhart[2]等在BP算法中依據(jù)反向傳播的誤差來(lái)改變神經(jīng)元之間權(quán)值, 有效地改變了多層神經(jīng)網(wǎng)絡(luò)的問(wèn)題. 在這個(gè)過(guò)程中權(quán)值不停地被修改, 這就是訓(xùn)練的過(guò)程, 直到網(wǎng)絡(luò)的誤差達(dá)到可以接受的范圍為止. 盡管這樣它還是有很大的應(yīng)用價(jià)值, 但也存在諸多問(wèn)題. 例如: 學(xué)習(xí)率的選擇, 學(xué)習(xí)率的變化影響權(quán)值的變化且權(quán)值的變化與學(xué)習(xí)率的變化一致, 但是學(xué)習(xí)率如果太大, 則網(wǎng)絡(luò)可能出現(xiàn)不穩(wěn)定的振蕩.

傳統(tǒng)的反向傳播即梯度下降法, 它在當(dāng)前位置尋找出下降最快的方向. 如果在整個(gè)訓(xùn)練過(guò)程中動(dòng)量項(xiàng)都不變, 就有可能導(dǎo)致上一次的權(quán)值調(diào)整對(duì)當(dāng)前的影響比較大, 很有可能超過(guò)最速下降的方向, 這樣就延緩了收斂速度.

D.E.Rumelhart提出了既可以加快學(xué)習(xí)速度又可以保持穩(wěn)定的方法, 即在迭代公式中增加一個(gè)動(dòng)量項(xiàng)

其中第一個(gè)是修正量, 第二個(gè)是動(dòng)量項(xiàng). 動(dòng)量項(xiàng)可以記住上一次權(quán)值的變化方向, 這樣就可以改變學(xué)習(xí)率, 對(duì)加快學(xué)習(xí)速度起到了一定的緩沖作用. 另外添加動(dòng)量項(xiàng)可以使得算法能較快地逃離平滑區(qū).

2007年, 劉益民在文[3]中提出了一種添加多重動(dòng)量項(xiàng)的方法, 該方法能有效地減少網(wǎng)絡(luò)訓(xùn)練次數(shù):

D.J Swanston et al[4]做出了改進(jìn), 做出如下變形:

.

L.W.Chan and F.Fallside 提出了一種學(xué)習(xí)率和動(dòng)量項(xiàng)均自適應(yīng)變化的算法, 更新公式為

2005年, 鄭高峰在文[5]中介紹了一種動(dòng)量項(xiàng)系數(shù)根據(jù)目前的梯度最速下降方向和權(quán)值上一步改變的方向的信息而自適應(yīng)變化的BMP算法.

通過(guò)上面的討論, 可以知道要使帶動(dòng)量項(xiàng)的反向傳播算法在多數(shù)情況下有效的話(huà), 那么動(dòng)量項(xiàng)系數(shù)應(yīng)該發(fā)生變化, 在保證算法穩(wěn)定性的前提下使學(xué)習(xí)率盡可能的大, 這樣才能真正達(dá)到算法穩(wěn)定和加速收斂的目的. 根據(jù)這種想法, 本文提出了一種動(dòng)量項(xiàng)隨時(shí)間的變化而自適應(yīng)的傳播算法:

結(jié)果表明動(dòng)量項(xiàng)系數(shù)按本文方法選取的優(yōu)點(diǎn)是, 在保證算法穩(wěn)定的情況下，增大了學(xué)習(xí)率的選取范圍, 減小了振蕩起到了加速的作用.

3 激勵(lì)函數(shù)的改進(jìn)

由文[6]權(quán)值的變化公式可知, 權(quán)值變化與激勵(lì)函數(shù)導(dǎo)數(shù)有很大的關(guān)系, 同時(shí)使用激勵(lì)函數(shù)對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)都有很大的影響. 神經(jīng)網(wǎng)絡(luò)研究初期的時(shí)候, 對(duì)神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)要求很?chē)?yán)格, 要滿(mǎn)足連續(xù)、單調(diào)遞增和可微的要求. 后來(lái)學(xué)者Hornik給出了激勵(lì)函數(shù)的理論條件, 就是要滿(mǎn)足連續(xù)有界.

2003年, 沈艷軍[7]等將激活函數(shù)做了一個(gè)變形, 給出了網(wǎng)絡(luò)學(xué)習(xí)的一種快速算法. 2008年, 李恩玉[8]等提出了一種四個(gè)可調(diào)的參數(shù)激活函數(shù)模型, 具有更強(qiáng)的非線(xiàn)性映射能力. 2014年, 曲朝陽(yáng)[9]等提出了一種傳遞函數(shù)自我優(yōu)化的算法來(lái)改進(jìn)神經(jīng)網(wǎng)絡(luò), 得到了較好的結(jié)果, 并運(yùn)用到了實(shí)際中. 2015年, 張敏[10]等分析設(shè)計(jì)了基于激勵(lì)函數(shù)自尋優(yōu)的BP網(wǎng)絡(luò)模型自適應(yīng)控制, 得到令人滿(mǎn)意的結(jié)果.

假設(shè)被控對(duì)象的數(shù)學(xué)模型為

通過(guò)分析激勵(lì)函數(shù)的網(wǎng)絡(luò)的影響, 提出了一種新的激勵(lì)函數(shù)并且加入了兩個(gè)可調(diào)的參數(shù), 實(shí)現(xiàn)了動(dòng)態(tài)性, 使其有較強(qiáng)的非線(xiàn)性映射能力. 在同一個(gè)條件下通過(guò)對(duì)比, 用本文的激勵(lì)函數(shù)仿真結(jié)果表明, 改進(jìn)后的PIDNN有更好的效果.

4 結(jié)束語(yǔ)

本文首先對(duì)動(dòng)量項(xiàng)迭代進(jìn)行了分析, 改進(jìn)了算法, 使用新得到的迭代法進(jìn)行仿真, 結(jié)果表明該方法能有效地加快收斂速度. 然后又對(duì)非線(xiàn)性誤差函數(shù)的選擇進(jìn)行了研究, 使得網(wǎng)絡(luò)泛化能力加強(qiáng), 并利用MATLAB進(jìn)行了仿真, 結(jié)果表明, 改進(jìn)后神經(jīng)網(wǎng)絡(luò)能減少振蕩, 說(shuō)明提出的方法有一定的效果. 兩種方法都有一定的可行性, 值得推廣應(yīng)用.

[1] Dong W, Qu D, Dong W.[J]. Binggong Zidonghua/ Ordnance Industry Automation, 2011, 30(2): 66~69

[2] Rumelhart D, Mcclelland J.[M]. MIT Press, 1987

[3] 劉益民. 基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的PID控制方法的研究[D]. 西安: 中國(guó)科學(xué)院研究生院(西安光學(xué)精密機(jī)械研究所)碩士學(xué)位論文, 2007

[4] Swanston D J, Bishop J M, Mitchell R J.[J]. Electronics Letters, 1994 30(18):1498~1500

[5] 鄭高峰. 帶動(dòng)量項(xiàng)的BP神經(jīng)網(wǎng)絡(luò)收斂性分析[D]. 大連: 大連理工大學(xué)碩士學(xué)位論文, 2005

[6] 肖俊芳, 王耀青. 一種激勵(lì)函數(shù)可調(diào)的快速BP算法[J]. 自動(dòng)化技術(shù)與應(yīng)用, 2002,06: 26~29

[7] 沈艷軍, 汪秉文. 激活函數(shù)可調(diào)的神經(jīng)元網(wǎng)絡(luò)的一種快速算法[J]. 中國(guó)科學(xué)E輯: 技術(shù)科學(xué), 2003, 08: 733~740

[8] 李恩玉, 楊平先, 孫興波. 基于激活函數(shù)四參可調(diào)的BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法[J]. 微電子學(xué)與計(jì)算機(jī), 2008, 11: 89~93

[9] 曲朝陽(yáng), 計(jì) 超, 郭曉利, 等. 基于傳遞函數(shù)自我優(yōu)化的BP網(wǎng)絡(luò)算法改進(jìn)[J]. 電測(cè)與儀表, 2014, 11: 56~59+64

[10] 張 敏, 徐啟華. 基于改進(jìn)BP的神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制[J]. 軟件,2015,07: 118~123.

[11] 劉金琨. 先進(jìn)PID控制MATLAB仿真[M]. 北京: 電子工業(yè)出版社, 2004

Improvement and Research of PID Controller Based on BP Neural Network

WANG Shengxiang, JIN Chaoyong

(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

We study the algorithm of BP PID neural network control, and propose an iterative method of changing the step and the learning rate, which can effectively reduce the number of network convergence. And then we propose a new nonlinear error function, selecting from the neural network activation function. Simulation results show that this method can reduce the number of network training and accelerate the convergence, but also can avoid oscillation phenomenon under early learning.

PID neural network, momentum, activation function

TP18

A

1672-5298(2017)01-0026-06

2016-12-26

汪圣祥(1989? ), 男, 湖北咸寧人, 廣東工業(yè)大學(xué)應(yīng)用數(shù)學(xué)學(xué)院碩士研究生. 主要研究方向: 人工智能控制技術(shù)