肖　林,皮賽男,孟凡斌

(吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南 吉首 416000)

?

梯度神經(jīng)網(wǎng)絡(luò)在p次方根求解中的應(yīng)用

肖林,皮賽男,孟凡斌

(吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南 吉首 416000)

摘要：設(shè)計了一個針對一般問題求解的梯度神經(jīng)網(wǎng)絡(luò)模型.為了求解p次方根,定義一個基于平方的標(biāo)量取值的能量函數(shù)，再根據(jù)梯度下降法,進一步推導(dǎo)出求解p次方根的梯度神經(jīng)網(wǎng)絡(luò)模型.使用Matlab仿真軟件進行建模、仿真和驗證，計算機仿真結(jié)果證實了梯度神經(jīng)網(wǎng)絡(luò)實時求解p次方根的有效性.

關(guān)鍵詞：梯度神經(jīng)網(wǎng)絡(luò)；p次方根；Matlab仿真

梯度神經(jīng)網(wǎng)絡(luò)是由若干個非線性神經(jīng)元構(gòu)成的全連接型的人工神經(jīng)網(wǎng)絡(luò)，其中任何一個神經(jīng)元既接收來自于其他神經(jīng)元的輸入，同時也對其他神經(jīng)元輸出信號[1].遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)成的是具有反饋的系統(tǒng)，輸出可以返回來調(diào)節(jié)輸入，從而建立動態(tài)關(guān)系.因此，也可將遞歸神經(jīng)網(wǎng)絡(luò)看作是以權(quán)值和外部輸入為參數(shù)的、關(guān)于內(nèi)部狀態(tài)的一個動力學(xué)系統(tǒng)[2].當(dāng)前，梯度神經(jīng)網(wǎng)絡(luò)因具有平行分布特性、自適應(yīng)和自學(xué)習(xí)等能力，已成為許多學(xué)科十分活躍的研究話題，并在聯(lián)想記憶、優(yōu)化計算、魯棒控制、模式識別、機械臂運動控制、故障診斷等領(lǐng)域得到廣泛應(yīng)用[3-4].

求解p次方根是求解等式問題中的一個重要情況[5]，應(yīng)用在各種科學(xué)與工程領(lǐng)域中.通過求解p次方根，一幅圖可以在Torelli群中被描述出來，再如Harris圖像可以從其原圖像的p次方根中提煉得到[5].因此，很多的數(shù)值算法被提出來求解這樣一類p次方根問題.在對神經(jīng)網(wǎng)絡(luò)深入研究的基礎(chǔ)上，許多基于神經(jīng)動力學(xué)的模擬求解器也被廣泛提出來.考慮到潛在的大規(guī)模電路實現(xiàn)和高性能并行處理能力，神經(jīng)動力學(xué)方法已經(jīng)被認為是一種強有力的實時問題求解方法.

1梯度神經(jīng)網(wǎng)絡(luò)設(shè)計

作為進一步討論的基礎(chǔ)，將針對標(biāo)量取值的一般等式問題，設(shè)計一個可以普遍應(yīng)用的梯度神經(jīng)網(wǎng)絡(luò).

1.1 問題描述

考慮如下標(biāo)量取值的一般等式問題：

f(x)=0，

(1)

其中f(·)代表一個映射函數(shù)，它既可以為線性函數(shù)，也可以為非線性函數(shù).接下來，就等式問題(1),設(shè)計一個梯度神經(jīng)網(wǎng)絡(luò)，該梯度神經(jīng)網(wǎng)絡(luò)可以實時求解一個x(t)∈R,它能滿足一般方程(1)的要求.

1.2 梯度神經(jīng)網(wǎng)絡(luò)模型

在這一節(jié),將根據(jù)梯度神經(jīng)網(wǎng)絡(luò)設(shè)計方法，開發(fā)一般的梯度神經(jīng)網(wǎng)絡(luò)模型來實時求解一般等式問題(1).

首先,為了監(jiān)控等式(1)的求解過程,利用梯度設(shè)計方法,可以定義一個基于平方的標(biāo)準(zhǔn)取值的能量函數(shù):

(2)

顯然,當(dāng)該能量函數(shù)等于0時,所對應(yīng)的解x可以滿足一般等式問題(1)的要求.

其次,為了使該能量函數(shù)(2)能夠收斂到0,可以使該能量函數(shù)沿著它的負梯度方向下降,所以能量函數(shù)(2)的負梯度可以求得如下:

最后,基于一個典型的負梯度信息的連續(xù)時間自適應(yīng)法則，可以推導(dǎo)出如下普遍適應(yīng)的梯度神經(jīng)網(wǎng)絡(luò)模型:

(3)

其中神經(jīng)狀態(tài)x(t)從隨機產(chǎn)生的初始值x(0)出發(fā).對應(yīng)于一般等式方程(1)的解,設(shè)計參數(shù)λ>0用來調(diào)節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)模型(3)的收斂速度.

2梯度神經(jīng)網(wǎng)絡(luò)在p次方根求解中的應(yīng)用

如上文所提到的,求解p次方根是求解等式問題中的一個重要情況，如通過求解p次方根，一幅圖可以在Torelli群中被描述出來，再如Harris圖像可以從其原圖像的p次方根中提煉得到.所以,根據(jù)上一節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計過程，現(xiàn)將該設(shè)計方法具體應(yīng)用到p次方根求解.

首先,考慮如下標(biāo)量取值的p次方根問題:

xp(t)-a=0t∈[0,+∞)，

(4)

其中a∈R表示一個標(biāo)量取值的實數(shù).現(xiàn)主要工作就是設(shè)計一個梯度神經(jīng)網(wǎng)絡(luò)來實時求解一個x(t)∈R,它能滿足以上p次方根方程(4)的要求.為了表示方便，令x*(t)∈R表示a∈R的p次方根的理論解.

根據(jù)以上一般梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計過程，為了監(jiān)控靜態(tài)p次方根的求解過程，先定義如下的一個基于平方的標(biāo)準(zhǔn)取值的能量函數(shù):

(5)

(6)

其中神經(jīng)狀態(tài)x(t)從隨機產(chǎn)生的初始值x(0)出發(fā).對應(yīng)于p次方根方程(4)的解,設(shè)計參數(shù)λ>0用來調(diào)節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)模型(6)的收斂速度.

3計算機仿真驗證

為了驗證梯度神經(jīng)網(wǎng)絡(luò)模型(6)的有效性,將挑選幾個富有代表性的p次方根進行求解.

例1首先考慮如下的p次方根求解(具體來說p=4):

x4-16=0.

(7)

很顯然,在實數(shù)域里面,方程(7)有2個理論解:一個是x*=2,另一個是x*=-2.下面將運用梯度神經(jīng)網(wǎng)絡(luò)模型(6)去實時求解p次方根方程(7).不失一般性,令設(shè)計參數(shù)λ=1,初始狀態(tài)x(0)在[-5,5]區(qū)域內(nèi)隨機產(chǎn)生,仿真結(jié)果如圖1，2所示.由圖1可以看出,從[-5,5]區(qū)域內(nèi)隨機產(chǎn)生的初始狀態(tài)出發(fā),神經(jīng)狀態(tài)解在0.02 s內(nèi)都收斂到p次方根的理論解x*=2或者x*=-2.這充分說明了梯度神經(jīng)網(wǎng)絡(luò)的有效性.神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)收斂情況具體如圖2所示.從圖2可以得知，隨著時間的推移,神經(jīng)狀態(tài)解對應(yīng)的誤差函數(shù)也在0.02 s內(nèi)收斂到0,這更加直觀地證明了梯度神經(jīng)網(wǎng)絡(luò)的有效性.

圖1　梯度神經(jīng)網(wǎng)絡(luò)的狀態(tài)解　　　　　　　　　　　　圖2　對應(yīng)的誤差函數(shù)收斂情況

此外,為了說明設(shè)計參數(shù)λ的重要性,在其他條件不變的情況下,將設(shè)計參數(shù)λ調(diào)大為10.因神經(jīng)狀態(tài)的變化情況與圖1類似,便不再展示,現(xiàn)只給出λ=10所對應(yīng)的誤差函數(shù)收斂情況.從圖3可以看出,當(dāng)λ=10,誤差函數(shù)在2ms內(nèi)就能收斂到0.如果再繼續(xù)將λ調(diào)大為1 000,如圖4所示,誤差函數(shù)的收斂時間就只需要不到20μs.這仿真結(jié)果說明，設(shè)計參數(shù)λ對梯度神經(jīng)網(wǎng)絡(luò)的收斂速度有至關(guān)重要的作用.因此,在實際的應(yīng)用中,應(yīng)根據(jù)具體需求,選擇一個合適的設(shè)計參數(shù)去設(shè)計梯度神經(jīng)網(wǎng)絡(luò).

圖3　λ=10時誤差函數(shù)的收斂情況　　　　　　　　　　圖4　λ=1 000時誤差函數(shù)的收斂情況

在例1中,p次方根的理論解比較容易計算,但是有些p次方根的理論解是較難以計算出來的,所以為了再次驗證梯度神經(jīng)網(wǎng)絡(luò)的有效性,下面來考慮一個更加復(fù)雜的p次方根.

例2考慮如下的p次方根求解：

x6+sin(5)-13=0.

(8)

顯然,現(xiàn)無法手工計算該p次方根的理論解,因此將依據(jù)誤差函數(shù)是否收斂到0來判斷梯度神經(jīng)網(wǎng)絡(luò)是否收斂到p次方根方程(8)的理論解.在與例1相同的情況下,運用梯度神經(jīng)網(wǎng)絡(luò)來求解p次方根方程(8).圖5顯示了梯度神經(jīng)網(wǎng)絡(luò)求解該p次方根的誤差函數(shù)收斂情況.從圖5看到,誤差函數(shù)在0.01s內(nèi)就能收斂到0,這說明了梯度神經(jīng)網(wǎng)絡(luò)的有效性.圖6給出了該誤差函數(shù)所對應(yīng)的狀態(tài)解,在[-5,5]區(qū)域內(nèi)的神經(jīng)狀態(tài)解都收斂到某一特定值.經(jīng)Matlab軟件核對,神經(jīng)狀態(tài)解都收斂到該p次方根方程(8)的理論解x*=1.55或者x*=-1.55.這一仿真實例再次證實了梯度神經(jīng)網(wǎng)絡(luò)的有效性.

圖5　梯度神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)收斂情況　　　　　　　　　　　圖6　對應(yīng)的狀態(tài)解

4結(jié)語

提出一類求解p次方根的梯度神經(jīng)網(wǎng)絡(luò),該神經(jīng)網(wǎng)絡(luò)的設(shè)計是基于一個標(biāo)量取值的正能量函數(shù).利用這個梯度神經(jīng)網(wǎng)絡(luò)進行計算機仿真,2個仿真實例都證實了梯度神經(jīng)網(wǎng)絡(luò)求解p次方根問題的有效性.通過選取不同的設(shè)計參數(shù)λ值,可以進一步加快梯度神經(jīng)網(wǎng)絡(luò)的收斂速度.

參考文獻：

[1] 張雨濃,張禹珩,陳軻,等.線性矩陣方程的梯度法神經(jīng)網(wǎng)絡(luò)求解及其仿真驗證[J].中山大學(xué)學(xué)報：自然科學(xué)版，2008,47(3):4 028-4 031.

[2] 馬桂雨,王雪丹,萬丹.基于遺傳小波神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷[J].吉首大學(xué)學(xué)報：自然科學(xué)版，2013,34(1):51-56.

[3] 湯京永,時貞軍.一類全局收斂的記憶梯度法及其線性收斂性[J].數(shù)學(xué)進展，2007,36(1):67-75.

[4] 趙鳳遙,馬震岳.基于遞歸小波神經(jīng)網(wǎng)絡(luò)的非線性動態(tài)系統(tǒng)仿真[J].系統(tǒng)仿真學(xué)報，2007,19(7):1 453-1 455.

[5]ZHANGYunong,XIAOLin,RUANGongqin,etal.ContinuousandDiscreteTimeZhangDynamicsforTime￣Varying4thRootFinding[J].NumericalAlgorithms,2011,57(1):35-51.

(責(zé)任編輯向陽潔)

Application of Gradient Neural Network to pth Root

XIAO Lin,PI Sainan,MENG Fanbin

(College of Information Science and Engineering,Jishou University,Jishou 416000,Hunan China)

Abstract:In this paper,a general gradient neural network is designed for solving the common problem.In order to find the pth root,a scalar￣valued square￣based energy function is defined.Then,according to the gradient descent method,a gradient￣neural￣network model is further derived for finding the pth root.Finally,the Matlab software is used for modeling,simulation,and verification.Computer￣simulation examples and their simulative results substantiate the effectiveness of the gradient neural network for finding the pth root.

Key words:gradient neural network;pth root;Matlab simulation

作者簡介：肖林(1986—)，男，湖南邵陽人，吉首大學(xué)信息科學(xué)與工程學(xué)院講師，博士，主要從事神經(jīng)網(wǎng)絡(luò)和機器人研究；孟凡斌(1964—)，男，湖南永順人，吉首大學(xué)信息科學(xué)與工程學(xué)院副教授，主要從事電子電路和神經(jīng)網(wǎng)絡(luò)研究.

收稿日期：2014-12-01

中圖分類號：TP183；O151.2

文獻標(biāo)志碼：A

DOI:10.3969/j.issn.1007-2985.2015.03.004

文章編號：1007-2985(2015)03-0015-04