張躍中 肖 敏 王 璐 徐豐羽

眾所周知,神經(jīng)網(wǎng)絡(luò)在信號(hào)處理、自動(dòng)控制、聯(lián)想記憶、人工智能[1]、生物醫(yī)學(xué)治療等領(lǐng)域有著廣闊的應(yīng)用前景,這些基本應(yīng)用在很大程度上依賴于神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性.由于神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)是生物生理學(xué)和非線性動(dòng)力學(xué)的交叉學(xué)科,研究其穩(wěn)定性、振蕩、分岔、混沌和同步等多種動(dòng)力學(xué)行為具有生物學(xué)和動(dòng)力學(xué)意義[2].一般來說,神經(jīng)網(wǎng)絡(luò)具有大規(guī)模的非線性動(dòng)力學(xué)性質(zhì)和復(fù)雜的行為,為進(jìn)一步把握神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)本質(zhì),大批研究者將研究重點(diǎn)放在簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型上[3-5],為尋求大型復(fù)雜神經(jīng)網(wǎng)絡(luò)的研究方案做鋪墊.例如,在文獻(xiàn)[3]中,作者提出了3 個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)模型;文獻(xiàn)[4]研究了7 個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)模型;文獻(xiàn)[5]研究了具有雙向聯(lián)想記憶五維神經(jīng)網(wǎng)絡(luò).顯然,如果僅僅研究一個(gè)簡(jiǎn)單的網(wǎng)絡(luò),一些復(fù)雜問題可能會(huì)被忽略,并且在現(xiàn)實(shí)生物學(xué)中神經(jīng)網(wǎng)絡(luò)以及網(wǎng)絡(luò)的構(gòu)建模型都是錯(cuò)綜復(fù)雜,多種多樣的.因此,本文提出一類大型神經(jīng)網(wǎng)絡(luò)的研究是極具理論價(jià)值和實(shí)踐價(jià)值.

在如神經(jīng)網(wǎng)絡(luò)、生物模型和進(jìn)化生態(tài)學(xué)等大多數(shù)實(shí)際的動(dòng)態(tài)網(wǎng)絡(luò)中,時(shí)間延遲的存在是難以避免的.然而,由于時(shí)滯的存在,系統(tǒng)可能變得不穩(wěn)定,系統(tǒng)的動(dòng)態(tài)行為變得更加復(fù)雜.在神經(jīng)網(wǎng)絡(luò)中,由于突觸中信號(hào)傳播速度和處理時(shí)間的有限性,不同相鄰神經(jīng)元之間的通信存在時(shí)滯差異.人們對(duì)研究具有時(shí)延的神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)越來越感興趣,理論成果也相繼發(fā)表.因此,以時(shí)滯(離散時(shí)滯[6]、分布式時(shí)滯[7]、多時(shí)滯[8]、泄露時(shí)滯[9-11]等)作為研究對(duì)象,分析神經(jīng)網(wǎng)絡(luò)的特性和動(dòng)力學(xué)以及控制時(shí)滯系統(tǒng)的動(dòng)態(tài)行為是十分必要和重要的.

在動(dòng)力系統(tǒng)中,可通過分岔方法獲得某些豐富的動(dòng)力特性,這是無可爭(zhēng)辯的.分岔方法的優(yōu)越性在于能捕捉復(fù)雜系統(tǒng)的內(nèi)在性質(zhì),涉及振蕩行為出現(xiàn)的分岔可以幫助理解網(wǎng)絡(luò)中觀察到的參數(shù)敏感性,并提供有利于網(wǎng)絡(luò)的信息[12-14].例如,對(duì)于帶有抑制的環(huán)結(jié)構(gòu)遺傳模型,其漸近行為得到廣泛的檢驗(yàn).大腸桿菌循環(huán)抑制網(wǎng)絡(luò)模型的建立[15]就是很好的體現(xiàn).分岔的種類也有很多種,其中隨著參數(shù)的變化,系統(tǒng)在穩(wěn)定與不穩(wěn)定之間切換的平衡點(diǎn)被稱為Hopf 分岔點(diǎn)[16].近年來,對(duì)神經(jīng)網(wǎng)絡(luò)有關(guān)Hopf分岔分析進(jìn)行了大量的數(shù)學(xué)研究,人們可以通過Hopf 分岔的深入而清晰的認(rèn)識(shí)某個(gè)網(wǎng)絡(luò),可以提供有用的網(wǎng)絡(luò)信息,為網(wǎng)絡(luò)的應(yīng)用提供更多的可能性.因此,研究神經(jīng)網(wǎng)絡(luò)的Hopf 分岔具有重要意義.此外,Hopf 分岔可以由延遲誘導(dǎo)的生物系統(tǒng)是如何表現(xiàn)出周期性響應(yīng),更準(zhǔn)確地說,由時(shí)間延遲引起的Hopf 分岔可以得到一些有趣的結(jié)果,如延遲與振蕩幅度的關(guān)系.還有研究表明,這些Hopf 分岔分析有助于生物視覺信息的快速處理,并可用于預(yù)測(cè)大腦的病理狀態(tài).

顯然,具有時(shí)滯依賴的高維神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性是值得研究的,但影響其動(dòng)力學(xué)的因素很多,其中網(wǎng)絡(luò)結(jié)構(gòu)也是關(guān)注的因素之一.眾所周知,約有1 000 億個(gè)神經(jīng)細(xì)胞組成了人的大腦,每個(gè)神經(jīng)細(xì)胞可長(zhǎng)出2 000 至數(shù)萬個(gè)樹突與其他神經(jīng)細(xì)胞連接.然而人腦的開發(fā)僅有1%,倘若能進(jìn)一步的開發(fā)或者未來通過人工神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)生物神經(jīng)網(wǎng)絡(luò)將是極具意義和價(jià)值的.在人腦和脊柱中,大量的神經(jīng)元構(gòu)成一個(gè)大型的復(fù)雜神經(jīng)網(wǎng)絡(luò),通過網(wǎng)絡(luò)的結(jié)構(gòu)特性也可以簡(jiǎn)單地剖析成放射狀網(wǎng)絡(luò)、鏈狀網(wǎng)絡(luò)和環(huán)狀網(wǎng)絡(luò)等.因此,以結(jié)構(gòu)作為研究點(diǎn)是極具代表性和研究?jī)r(jià)值的.例如Xiao 等[17]提出了具有輻射狀的神經(jīng)網(wǎng)絡(luò)模型;Bootan 等[7]和Huang 等[18]研究了具有單環(huán)狀的神經(jīng)網(wǎng)絡(luò)模型.其次,科研者更多提出的是形式單一且結(jié)構(gòu)簡(jiǎn)單的網(wǎng)絡(luò),依舊缺少具有多類網(wǎng)絡(luò)結(jié)構(gòu)組合的大型網(wǎng)絡(luò).為此,本文提出一類融合多種結(jié)構(gòu)的超環(huán)神經(jīng)網(wǎng)絡(luò)模型.如圖1示,由超多環(huán)形網(wǎng)絡(luò)組合的大型神經(jīng)網(wǎng)絡(luò)圖,即體現(xiàn)了神經(jīng)網(wǎng)絡(luò)的環(huán)狀、輻射狀,也可簡(jiǎn)化到鏈狀形態(tài).此外,研究這些簡(jiǎn)化的連通性結(jié)構(gòu)的目的是進(jìn)一步理解具有更復(fù)雜連通性的遞歸網(wǎng)絡(luò)行為的機(jī)制,以及研究復(fù)雜網(wǎng)絡(luò)中相互連接的模式,即網(wǎng)絡(luò)基序[19],對(duì)于了解整個(gè)網(wǎng)絡(luò)的動(dòng)態(tài)行為是非常重要的.

在上述研究基礎(chǔ)上,本文提出一類基于時(shí)滯誘導(dǎo)且融合了多種結(jié)構(gòu)和高維性的超環(huán)神經(jīng)網(wǎng)絡(luò),對(duì)該類網(wǎng)絡(luò)的穩(wěn)定分析及分岔現(xiàn)象問題進(jìn)行研究.本文的主要貢獻(xiàn)如下:

1)提出一類高維超環(huán)神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)不僅融合了多類結(jié)構(gòu),也體現(xiàn)了一般性.

2)針對(duì)大型神經(jīng)網(wǎng)絡(luò),選用離散時(shí)滯作為分岔參數(shù),討論其網(wǎng)絡(luò)所帶來的新型穩(wěn)定性及分岔理論.

3)引用矩陣與線性方程組的圖解法,解決一類規(guī)則性高維復(fù)雜網(wǎng)絡(luò)模型的特征方程問題.

1 建立結(jié)構(gòu)型高維神經(jīng)網(wǎng)絡(luò)模型

本文研究了多時(shí)滯誘導(dǎo)的具有n2個(gè)神經(jīng)元組成的一類復(fù)雜的神經(jīng)網(wǎng)絡(luò).針對(duì)該網(wǎng)絡(luò),首先繪制出簡(jiǎn)化的神經(jīng)網(wǎng)絡(luò)模型圖(見圖1),對(duì)應(yīng)的數(shù)學(xué)表達(dá)式如下:

圖1 一類融合多種結(jié)構(gòu)的超環(huán)神經(jīng)網(wǎng)絡(luò)模型圖Fig.1 Model diagram of a class of super multi ring neural network fused with multiple structures

注 1.生物神經(jīng)網(wǎng)絡(luò)具有多姿多態(tài)、復(fù)雜多變的特性,僅對(duì)輻射狀或環(huán)狀網(wǎng)絡(luò)模型的研究與實(shí)際神經(jīng)網(wǎng)絡(luò)還有一定差距.因此,有必要構(gòu)建一類有機(jī)復(fù)合多種結(jié)構(gòu)的一般性網(wǎng)絡(luò).網(wǎng)絡(luò)(1)的提出融合了環(huán)型和輻射狀的結(jié)構(gòu),并將低維擴(kuò)展到高維,使其能更準(zhǔn)確地描述真實(shí)神經(jīng)網(wǎng)絡(luò).

本文主要研究大型神經(jīng)網(wǎng)絡(luò)(1)的穩(wěn)定性和分岔問題.建立網(wǎng)絡(luò)(1)的分岔?xiàng)l件,并討論時(shí)滯、結(jié)構(gòu)對(duì)網(wǎng)絡(luò)(1)分岔的影響.為推論出網(wǎng)絡(luò)(1)的有關(guān)穩(wěn)定性和分岔現(xiàn)象的基本結(jié)果,需要并可以作以下假設(shè).

假設(shè) 1.

顯然,由假設(shè)1 可得,網(wǎng)絡(luò)(1) 具有平衡點(diǎn)O(0,0,···,0)1×n2.

注 2.網(wǎng)絡(luò)(1)是高維多時(shí)滯系統(tǒng),擁有不唯一的平衡點(diǎn).即,除了平凡平衡點(diǎn)O(0,0,···,0)1×n2外,可能還有其他平衡點(diǎn).本文重點(diǎn)研究原點(diǎn)O(0,0,···,0)1×n2鄰近的局部動(dòng)力學(xué)行為,比如局部穩(wěn)定性和Hopf 分岔.關(guān)于其他平衡點(diǎn)的動(dòng)態(tài)演化行為,可以通過坐標(biāo)變換將平衡點(diǎn)平移到原點(diǎn),之后的處理方法類似.因此,僅討論原點(diǎn)的局部動(dòng)力學(xué)特征是具有代表性的.

假設(shè) 2.

注 3.由于神經(jīng)元間連接強(qiáng)度、突觸等因素的影響,信息傳輸?shù)臅r(shí)間延遲不同.網(wǎng)絡(luò)(1)很好地體現(xiàn)了信息傳輸時(shí)滯的相異性.本文重點(diǎn)研究神經(jīng)網(wǎng)絡(luò)的環(huán)狀結(jié)構(gòu).因此,假設(shè)2 展現(xiàn)了外環(huán)和中心環(huán)的時(shí)滯和是相等的.這樣既可以簡(jiǎn)化模型分析,又可以很好地保留環(huán)狀特性.

2 局部穩(wěn)定性和Hopf 分岔

本節(jié)研究時(shí)滯對(duì)網(wǎng)絡(luò)(1) 穩(wěn)定性和分岔的影響,并從數(shù)值分析上準(zhǔn)確地確定分岔點(diǎn)與時(shí)滯的關(guān)系式.針對(duì)網(wǎng)絡(luò)(1),基于假設(shè)1 可得到在平衡點(diǎn)處線性化模型為

注 4.已知系統(tǒng)的局部穩(wěn)定性和Hopf 分岔閾值取決于系統(tǒng)的一次項(xiàng)部分.因此,對(duì)網(wǎng)絡(luò)(1)進(jìn)行線性化處理,期望得到其穩(wěn)定性條件和分岔判據(jù).

針對(duì)該雅可比矩陣,利用矩陣與線性方程組的圖解法[20]并給出如下引理.

2.1 無時(shí)滯狀態(tài)

當(dāng)τ=0 時(shí)為無時(shí)滯狀態(tài),在此狀態(tài)下判斷系統(tǒng)的初始穩(wěn)定情況.因此,特征方程(3)可退化為:

引理 2.當(dāng)滿足條件ΔI ＞0,(I=1,2,···,n2)時(shí),式(5)的所有根都分布在坐標(biāo)軸的左半平面.

證明.由赫爾維茨判據(jù)[21]可知,若某特征方程各項(xiàng)系數(shù)所構(gòu)成的主行列式及其順序主子式都為正,則該特征方程的解都是具有負(fù)實(shí)部的解.因此,利用赫爾維茨判據(jù),由 ΔI ＞0,(I=1,2,···,n2)易得式(5)的所有根都分布在坐標(biāo)軸的左半平面.

2.2 有時(shí)滯狀態(tài)

由第2.1 節(jié)可知,在無時(shí)滯狀態(tài)下可以判斷出網(wǎng)絡(luò)的初始狀態(tài)是否穩(wěn)定,進(jìn)而隨著時(shí)滯的引入,分析總結(jié)出網(wǎng)絡(luò)穩(wěn)定性及分岔的條件.首先,在時(shí)滯狀態(tài)下令ξ(λ)=(λ+ρ)neλτ對(duì)式(4)進(jìn)行簡(jiǎn)化,可得:

由于ξ(λ)前的系數(shù)是已知常數(shù),所以可定義ξj(λ),j=1,2,···,n為式(7)所對(duì)應(yīng)的n個(gè)解.其次,為尋找臨界值(分岔點(diǎn)),需找取式(7) 的純虛根,進(jìn)而假設(shè)λ=iω.令ξj(λ)=αj+iβj,?j=1,2,···,n代入式(7),整理可得:

顯然,式(8)是一個(gè)ω的復(fù)值等式,為了解決未知變量ω和τ的問題,可以將式(8)分解成實(shí)部部分和虛部部分,拆分的等式如下:

針對(duì)式(9),利用克拉默法則容易推得:

由 cos2(ωτ)+sin2(ωτ)=1 可推得:

取ε=ω2,對(duì)式(11)進(jìn)行展開整理得:

其中,Ak,?k=1,2,···,n-1 為式(11)展開式有關(guān)ε的系數(shù).在此,定義h(·)函數(shù) :

3 數(shù)值算例與仿真

本節(jié)使用一個(gè)數(shù)值例子來仿真驗(yàn)證所得到的理論推導(dǎo).神經(jīng)網(wǎng)絡(luò)中激活函數(shù)常用 t anh(·)表示.考慮以下系統(tǒng):

然后,給出數(shù)值仿真所需的初始參數(shù)(見表1).

表1 網(wǎng)絡(luò)(15)的初始參數(shù)設(shè)定表Table 1 Initial parameter setting table for network (15)

本節(jié)討論時(shí)滯對(duì)網(wǎng)絡(luò)(15)穩(wěn)定性和分岔的影響.首先,根據(jù)第2 節(jié)理論推導(dǎo)出分岔點(diǎn)τ0=3.22 s,其次,驗(yàn)證無時(shí)滯時(shí)網(wǎng)絡(luò)(15) 的特征方程子行列式的值是滿足引理1 的假設(shè).最后,根據(jù)定理1可知,當(dāng)選取時(shí)滯為τ=3.15 s＜τ0時(shí),網(wǎng)絡(luò)(15)是穩(wěn)定的,顯然圖2 的仿真圖是對(duì)應(yīng)的,可以看到網(wǎng)絡(luò)在平衡點(diǎn)附近是漸近穩(wěn)定的.當(dāng)τ=3.3 s＞τ0時(shí),仿真結(jié)果見圖3,網(wǎng)絡(luò)的平衡點(diǎn)不穩(wěn)定,并且明顯地可以觀測(cè)到相圖中出現(xiàn)了極限環(huán).顯然,數(shù)值仿真的結(jié)果本文的結(jié)論是相統(tǒng)一.說明所得的分岔結(jié)果是非常精確和有效的.

圖2 當(dāng) τ=3.15 s ＜ τ0時(shí),網(wǎng)絡(luò)(15)漸近穩(wěn)定Fig.2 When τ=3.15 s ＜ τ0,network (15)is asymptotically stable

圖3 當(dāng) τ=3.3 s ＞ τ0 時(shí),網(wǎng)絡(luò)(15)失穩(wěn)Fig.3 Network (15)is unstable when τ=3.3 s ＞ τ0

本文研究大規(guī)模超環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)演化行為.進(jìn)一步,通過數(shù)值仿真給出環(huán)的個(gè)數(shù)和神經(jīng)元數(shù)量對(duì)神經(jīng)網(wǎng)絡(luò)分岔的影響規(guī)律.選取表1 中的自反饋系數(shù)ρ和耦合連接權(quán)重,并假設(shè)外環(huán)神經(jīng)元個(gè)數(shù)為3.表2 展現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)對(duì)穩(wěn)定性和分岔的影響.顯然,隨著環(huán)數(shù)和神經(jīng)元數(shù)量的增加,分岔點(diǎn)逐漸減小,即穩(wěn)定閾值變小,Hopf分岔將提前發(fā)生.這意味著網(wǎng)絡(luò)規(guī)模越大,環(huán)狀結(jié)構(gòu)越多,系統(tǒng)的穩(wěn)定性越差.

表2 結(jié)構(gòu)變化影響分岔點(diǎn)位置情況表Table 2 Table of the influence of structural change on the location of bifurcation points

4 結(jié)論

本文選取時(shí)滯作分岔參數(shù),研究了一類大規(guī)模超環(huán)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與分岔動(dòng)力學(xué).研究重點(diǎn)主要包括以下3 個(gè)方面:1)將簡(jiǎn)單的單環(huán)神經(jīng)網(wǎng)絡(luò)模型推廣到一般的大規(guī)模多環(huán)網(wǎng)絡(luò)模型;2)通過分析特征方程根的分布情況,給出了網(wǎng)絡(luò)的穩(wěn)定性及產(chǎn)生分岔現(xiàn)象的條件;3)揭示了網(wǎng)絡(luò)規(guī)模和環(huán)的個(gè)數(shù)對(duì)網(wǎng)絡(luò)動(dòng)力學(xué)的影響規(guī)律.

超環(huán)神經(jīng)網(wǎng)絡(luò)模型的提出及研究是具有前瞻性的,此外,未來研究工作的延伸和方向性的指導(dǎo)將更有助于實(shí)際神經(jīng)網(wǎng)絡(luò)的應(yīng)用.為此,后續(xù)將開展以下工作:1)考慮雙向連接及多類型時(shí)滯融合的大規(guī)模神經(jīng)網(wǎng)絡(luò)的分岔動(dòng)力學(xué);2)將整數(shù)階神經(jīng)網(wǎng)絡(luò)推廣到分?jǐn)?shù)階神經(jīng)網(wǎng)絡(luò),研究階次對(duì)動(dòng)力學(xué)的影響;3)設(shè)計(jì)可行控制策略,優(yōu)化神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)演化過程.