王廣

摘 要：人工神經(jīng)網(wǎng)絡(luò)是20世紀(jì)80年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)，本文基于有監(jiān)督和無監(jiān)督學(xué)習(xí)將神經(jīng)網(wǎng)絡(luò)分為前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，詳細(xì)分析了兩類神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，綜述了兩類神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀，根據(jù)各自的特點(diǎn)指出了解決收斂較慢且容易陷入局部極小問題的有效方法。

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；前饋神經(jīng)網(wǎng)絡(luò)；遞歸神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TP183 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1673-1069（2017）06-165-2

1 緒論

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。ANN通過模仿人類大腦的結(jié)構(gòu)和功能，并借鑒生物神經(jīng)科學(xué)的研究成果，實(shí)現(xiàn)對(duì)信息的處理，是一種新興的交叉學(xué)科，不但推動(dòng)了智能化計(jì)算的應(yīng)用和發(fā)展，同時(shí)也為信息科學(xué)和神經(jīng)生物學(xué)的研究方法帶來革命性的變化，現(xiàn)已成功應(yīng)用于腦科學(xué)，認(rèn)知科學(xué)，模式識(shí)別，智能控制，計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域。

在實(shí)際應(yīng)用中，人工神經(jīng)網(wǎng)絡(luò)的選取通常包括適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)模型，合理的網(wǎng)絡(luò)結(jié)構(gòu)及快速有效的網(wǎng)絡(luò)參數(shù)訓(xùn)練算法[1]。而針對(duì)某一特定網(wǎng)絡(luò)模型，ANN的研究主要集中在結(jié)構(gòu)的調(diào)整和訓(xùn)練算法的改進(jìn)兩個(gè)方面。所謂神經(jīng)網(wǎng)絡(luò)訓(xùn)練，也就是網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)和調(diào)整，是一個(gè)反復(fù)調(diào)節(jié)節(jié)點(diǎn)之間權(quán)值和閾值的過程，其學(xué)習(xí)可以分成三類，即有監(jiān)督學(xué)習(xí)（Supervised learning），無監(jiān)督學(xué)習(xí)（Unsupervised learning）和強(qiáng)化學(xué)習(xí)（Reinforcement learning），本文基于有監(jiān)督和無監(jiān)督學(xué)習(xí)進(jìn)行分類，分別分析了前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及研究現(xiàn)狀、遞歸神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及研究現(xiàn)狀。

2 前饋神經(jīng)網(wǎng)絡(luò)

2.1 前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

前饋神經(jīng)網(wǎng)絡(luò)的主要種類包括：感知器，線性神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)，徑向基網(wǎng)絡(luò)（RBF）等。其訓(xùn)練算法主要采用梯度下降法（Gradient descent），包括：誤差反向傳播算法（Back Propagation， BP），改進(jìn)的BP算法，Levenberg-Marquardt法（LM）等。前饋神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)簡(jiǎn)單，收斂較快等優(yōu)點(diǎn)，因此在實(shí)際應(yīng)用中，一般選取三層或以上的網(wǎng)絡(luò)結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)的任意逼近定理指出，訓(xùn)練合適的多層前饋神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)[2]。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)已知的情況下，訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是確定最優(yōu)權(quán)值和閾值的方法，前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式一般采用網(wǎng)絡(luò)理想輸出和實(shí)際輸出的誤差作為權(quán)值調(diào)整信號(hào)，解空間一般是多峰函數(shù)，由于訓(xùn)練過程中很容易陷入局部極小，因此網(wǎng)絡(luò)的訓(xùn)練目標(biāo)就是求解一組最優(yōu)的權(quán)值，使誤差達(dá)到最小。

傳統(tǒng)的誤差反向傳播算法由于為網(wǎng)絡(luò)的訓(xùn)練提供了簡(jiǎn)單而有效的實(shí)現(xiàn)途徑，目前已成為研究和應(yīng)用最廣泛的有監(jiān)督學(xué)習(xí)算法。但BP算法存在許多問題，例如在多層網(wǎng)絡(luò)中收斂較慢且容易陷入局部極小，而且不能對(duì)多個(gè)網(wǎng)絡(luò)進(jìn)行同時(shí)訓(xùn)練[3]。改進(jìn)的BP算法有多種形式，主要有通過附加動(dòng)量和學(xué)習(xí)率的引入改進(jìn)BP網(wǎng)絡(luò)的自適應(yīng)能力等方法，附加動(dòng)量方法雖然在一定程度上改善了易陷入局部極小的問題，仍然存在收斂速度較慢的問題。調(diào)整學(xué)習(xí)率方法通過將學(xué)習(xí)率限制在一定范圍內(nèi)自動(dòng)調(diào)整，雖然能夠提高網(wǎng)絡(luò)收斂速率，但對(duì)權(quán)值的改變和影響并不大，仍然導(dǎo)致誤差較大問題。LM法具有訓(xùn)練時(shí)間段，收斂速度快的優(yōu)點(diǎn)，但由于LM法需要計(jì)算誤差的Jacobian矩陣，這是一個(gè)復(fù)雜的高維運(yùn)算問題，需要占用大量系統(tǒng)存儲(chǔ)空間，同時(shí)，LM也存在易陷入局部極小的問題[4、5]。

2.2 前饋神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，預(yù)估校正法或者經(jīng)驗(yàn)選擇是最常被使用的網(wǎng)絡(luò)結(jié)構(gòu)選取方式[6]。在訓(xùn)練和優(yōu)化網(wǎng)絡(luò)權(quán)值和閾值過程中，訓(xùn)練算法在上述分析中已知，存在著容易陷入局部最優(yōu)并且難以跳出的缺點(diǎn)，因此誤差函數(shù)要求必須是連續(xù)可求導(dǎo)的函數(shù)。因此，這些權(quán)值訓(xùn)練方法常和進(jìn)化算法等全局搜索算法相結(jié)合。使用全局搜索算法的全局搜索能力幫助網(wǎng)絡(luò)跳出局部極小。在編碼時(shí)采用實(shí)數(shù)編碼，克服二進(jìn)制編碼受到編碼串長(zhǎng)度和精度的限制。例如，Sexton等人用一種改進(jìn)的遺傳算法優(yōu)化前饋神經(jīng)網(wǎng)路權(quán)值，結(jié)果表明改進(jìn)的算法使網(wǎng)路訓(xùn)練精度得到顯著提高[3]。Abbass通過將傳統(tǒng)BP算法和差分進(jìn)化算法相結(jié)合，提出了一種的新的權(quán)值訓(xùn)練方法并用于乳腺癌的預(yù)測(cè)實(shí)驗(yàn)，取得較好結(jié)果[7]。Iionen等人使用差分進(jìn)化算法對(duì)前饋網(wǎng)絡(luò)的權(quán)值進(jìn)行訓(xùn)練和優(yōu)化，將優(yōu)化結(jié)果與其他幾種基于梯度下降的網(wǎng)絡(luò)訓(xùn)練方法比較，結(jié)果表明該方法具有較好的精度[8]。更多研究成果表明，將DE、PSO應(yīng)用于網(wǎng)絡(luò)權(quán)值在線訓(xùn)練和優(yōu)化具有明顯優(yōu)勢(shì)，這些改進(jìn)方法也成功應(yīng)用在了醫(yī)學(xué)和工程技術(shù)等領(lǐng)域[9、10]。

此外，多種優(yōu)化算法相結(jié)合也被證明是有效的。例如，在文獻(xiàn)[11]中，作者提出了一種DE和LM相結(jié)合的神經(jīng)網(wǎng)絡(luò)快速訓(xùn)練方法。Liu等人提出一種粒子群算法（Particle Swarm Optimization， PSO）和共軛梯度算法相結(jié)合的混合算法，并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的權(quán)值優(yōu)化[12]。在優(yōu)化過程中，首先確定網(wǎng)絡(luò)結(jié)構(gòu)，然后使用PSO的全局搜索能力獲得最后權(quán)值組合，最后使用傳統(tǒng)方法進(jìn)行權(quán)值微調(diào)，取得較好結(jié)果。在文獻(xiàn)[13]中，作者采用相反方式將基本PSO和傳統(tǒng)BP算法相結(jié)合使用，首先用BP算法對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行計(jì)算，然后使用PSO對(duì)網(wǎng)絡(luò)結(jié)構(gòu)固定的權(quán)值進(jìn)行優(yōu)化和改進(jìn)。有學(xué)者提出一種具有控制參數(shù)自適應(yīng)選擇能力的差分進(jìn)化算法，用于訓(xùn)練前饋網(wǎng)絡(luò)，并將該方法用于奇偶分類實(shí)驗(yàn)中，將實(shí)驗(yàn)結(jié)果與幾種其他方法進(jìn)行比較得知，提出的方法具有更好的準(zhǔn)確性。Epitropakis等人在訓(xùn)練離散Pi-Sigma神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)中，采用一種分布式離散差分進(jìn)化算法和分布式離散PSO算法相結(jié)合的方式。該離散網(wǎng)絡(luò)仍然是一種多層前饋網(wǎng)絡(luò)，在輸出層，通過將神經(jīng)元求積的方式獲得輸出，作者認(rèn)為這種整數(shù)權(quán)值的離散方式更適合用于硬件實(shí)現(xiàn)[14]。在離散化權(quán)值方面，Bao等人的工作表明，通過采用一種可重建的動(dòng)態(tài)差分進(jìn)化算法，可以有效用于訓(xùn)練固定結(jié)構(gòu)的網(wǎng)絡(luò)權(quán)值。

前饋神經(jīng)網(wǎng)絡(luò)的權(quán)值訓(xùn)練方法在近幾十年一直是人工智能領(lǐng)域的研究熱點(diǎn)之一。越來越多的工作表明，將多種優(yōu)化方法相結(jié)合，通過對(duì)傳統(tǒng)訓(xùn)練方法的取長(zhǎng)補(bǔ)短，可以將前饋網(wǎng)絡(luò)有效應(yīng)用于多個(gè)領(lǐng)域的應(yīng)用中。

3 遞歸神經(jīng)網(wǎng)絡(luò)

3.1 遞歸神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

遞歸神經(jīng)網(wǎng)絡(luò)不同于前饋網(wǎng)絡(luò)，是一種帶有信息反饋功能，帶有同力學(xué)時(shí)間特性的ANN。遞歸神經(jīng)網(wǎng)絡(luò)模擬了人類大腦神經(jīng)突觸連接進(jìn)行信號(hào)處理的方式，其中神經(jīng)元之間的權(quán)值代表網(wǎng)絡(luò)的記憶，能存儲(chǔ)一部分?jǐn)?shù)據(jù)信息，相當(dāng)于模擬了人類大腦的內(nèi)部短期記憶功能，常見的有Hopfield 神經(jīng)網(wǎng)絡(luò)、玻爾茲曼機(jī)、細(xì)胞神經(jīng)網(wǎng)絡(luò)、雙向聯(lián)結(jié)記憶（BAM）神經(jīng)網(wǎng)絡(luò)和 Cohen-Grossberg 神經(jīng)網(wǎng)絡(luò)等。通常情況下，遞歸神經(jīng)網(wǎng)絡(luò)可以在某一瞬態(tài)響應(yīng)中實(shí)現(xiàn)對(duì)某一時(shí)間信號(hào)的存儲(chǔ)，然后從存儲(chǔ)的信息狀態(tài)中重新構(gòu)建上一瞬態(tài)的歷史信息，實(shí)現(xiàn)對(duì)記憶的聯(lián)想?？梢娺f歸網(wǎng)絡(luò)的一個(gè)根本特征是具有短時(shí)記憶功能，因此很多遞歸網(wǎng)絡(luò)的機(jī)構(gòu)設(shè)計(jì)和訓(xùn)練算法研究都是圍繞其記憶特性展開。

遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)特性表現(xiàn)在，其內(nèi)部的信號(hào)是存在反饋的，也就是說，網(wǎng)絡(luò)在某一時(shí)刻的輸出值不僅與當(dāng)前狀態(tài)有關(guān)，還與之前時(shí)刻的狀態(tài)有關(guān)。遞歸網(wǎng)絡(luò)的這種特性使得它同時(shí)具備動(dòng)力學(xué)特性和信息存儲(chǔ)能力，因此遞歸型網(wǎng)絡(luò)常被用來學(xué)習(xí)和模擬系統(tǒng)中的動(dòng)態(tài)性能。此外，穩(wěn)定性是遞歸神經(jīng)網(wǎng)絡(luò)的另一個(gè)特性，因?yàn)樵谶f歸網(wǎng)絡(luò)中，網(wǎng)絡(luò)狀態(tài)是隨時(shí)間變化的，要想保證網(wǎng)絡(luò)運(yùn)行在正常范圍并不出現(xiàn)發(fā)散和振蕩，必須首先對(duì)其穩(wěn)定性進(jìn)行分析和計(jì)算，設(shè)置合理的網(wǎng)絡(luò)參數(shù)。

3.2 遞歸神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀

針對(duì)某一類問題，往往需要將遞歸網(wǎng)絡(luò)進(jìn)行適當(dāng)調(diào)整和改進(jìn)才能獲得更好的應(yīng)用，其改進(jìn)方法通常有兩種，即參數(shù)學(xué)習(xí)訓(xùn)練算法和網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法。所謂參數(shù)訓(xùn)練算法，是指單純對(duì)網(wǎng)絡(luò)神經(jīng)元節(jié)點(diǎn)的權(quán)值進(jìn)行學(xué)習(xí)改進(jìn)，而不改變網(wǎng)絡(luò)結(jié)構(gòu)（層數(shù)和節(jié)點(diǎn)數(shù)）。結(jié)構(gòu)優(yōu)化算法則相反，主要是通過某種學(xué)習(xí)規(guī)則（增長(zhǎng)或刪減機(jī)制）動(dòng)態(tài)的調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，使其效果達(dá)到最優(yōu)。在算法改進(jìn)的研究中，常常借鑒前饋型網(wǎng)絡(luò)的改進(jìn)算法思想，將其應(yīng)用于遞歸型網(wǎng)絡(luò)中。

不同的遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法都各自有其自身的特點(diǎn)，同時(shí)也適用于不同的應(yīng)用對(duì)象。1986年，Hinton等人在Natural上發(fā)表文章，提出一種由遞歸網(wǎng)絡(luò)展開而成的一種多層前饋型網(wǎng)絡(luò)，該網(wǎng)絡(luò)的訓(xùn)練方法就是目前最主要的BPTT（Back-Propagation through time）算法。然而，該算法在訓(xùn)練中存在收斂較慢問題，且對(duì)系統(tǒng)的內(nèi)存需求過大，往往導(dǎo)致訓(xùn)練失敗。Shen等人在Hinton工作的基礎(chǔ)上對(duì)該算法進(jìn)行了改進(jìn)，并將其應(yīng)用于帶有約束條件的建模問題，例如時(shí)間序列問題，實(shí)驗(yàn)結(jié)果表明他們的方法具有較高精度。Williams等人設(shè)計(jì)了一種具有遞歸運(yùn)算方式的梯度計(jì)算方法，用于全局遞歸網(wǎng)絡(luò)的設(shè)計(jì)。實(shí)際上，RTRL算法與BPTT算法都是梯度下降法在遞歸網(wǎng)絡(luò)中的變形形式，訓(xùn)練方式可以分為在線和離線兩種。所謂在線學(xué)習(xí)方式，或稱串行方式或順序方式，是指每次只輸入一個(gè)樣本進(jìn)行學(xué)習(xí)，對(duì)權(quán)值修改，然后再學(xué)習(xí)下一個(gè)樣本。而離線方式，或稱集中方式，是一種數(shù)據(jù)批處理的運(yùn)算，顧名思義，是每次將一批數(shù)據(jù)同時(shí)輸入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的方式。BPTT就是一種離線訓(xùn)練方式，通過將全時(shí)間段求和然后調(diào)整權(quán)值，這種方式不適合應(yīng)用于時(shí)效性較強(qiáng)的任務(wù)。在Williams之后的研究中，一種適合于遞歸神經(jīng)網(wǎng)絡(luò)在線進(jìn)行梯度學(xué)習(xí)的算法被提出，也有學(xué)者將BPTT進(jìn)行改進(jìn)，使之應(yīng)用于在線訓(xùn)練方式。Hinton于2006年在Science上發(fā)表文章，提出一種快速有效的遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，成功克服了傳統(tǒng)BP算法的幾個(gè)缺點(diǎn)，提出一種無監(jiān)督的貪心逐層網(wǎng)絡(luò)訓(xùn)練方法，命名為深度信念網(wǎng)（Deep Belief Network，DBN），之后很多學(xué)者對(duì)該網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行研究和改進(jìn)，成功應(yīng)用于遞歸網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，取得一定的成果。

Al-Tamimi等人研究了非線性放射系統(tǒng)的最優(yōu)控制問題，提出一種將神經(jīng)網(wǎng)絡(luò)和ADP結(jié)合使用的控制方法，由于該方法的性能指標(biāo)具有二次型的形式，因此適合于二次型最優(yōu)控制在非線性系統(tǒng)中的應(yīng)用，此外，在理論方面，也給出了神經(jīng)網(wǎng)絡(luò)逼近HJB方程的最優(yōu)解和相關(guān)的收斂性證明。Vamvoudakis等人提出一種將神經(jīng)網(wǎng)絡(luò)作為評(píng)價(jià)和控制作用的逼近器方法，該方法首先采用梯度下降法對(duì)被控網(wǎng)絡(luò)逼近器進(jìn)行學(xué)習(xí)和建模，通過分析李亞普諾夫理論得到該算法中重要參數(shù)的選取范圍，保證系統(tǒng)收斂，然后將該方法與在線自適應(yīng)評(píng)價(jià)方法相結(jié)合，應(yīng)用于連續(xù)系統(tǒng)無窮時(shí)域的優(yōu)化控制問題中，實(shí)驗(yàn)結(jié)果表明具有較好的精度和收斂性。Fu等人研究和分析了某一類評(píng)價(jià)及控制的神經(jīng)網(wǎng)絡(luò)逼近器，對(duì)LM算法進(jìn)行了改進(jìn)，得到一種適用于計(jì)算雅克比矩陣的高效方法，并將該方法用于網(wǎng)絡(luò)權(quán)值的訓(xùn)練，得到較好的效果。近幾年，神經(jīng)網(wǎng)絡(luò)越來越多的應(yīng)用于具有非行動(dòng)依賴特性的自適應(yīng)動(dòng)態(tài)規(guī)劃問題，這是因?yàn)橄到y(tǒng)的輸入輸出測(cè)量數(shù)據(jù)往往包含著系統(tǒng)內(nèi)部的動(dòng)力學(xué)特性，因此通過大量采集輸入輸出數(shù)據(jù)，通過數(shù)據(jù)驅(qū)動(dòng)的方式對(duì)系統(tǒng)的動(dòng)力學(xué)特性進(jìn)行學(xué)習(xí)和模擬，能夠利用遞歸網(wǎng)絡(luò)來實(shí)現(xiàn)，因此遞歸網(wǎng)絡(luò)是較好的系統(tǒng)辨識(shí)工具。Hayakawa等人在系統(tǒng)模型未知的條件下，采用基于數(shù)據(jù)驅(qū)動(dòng)的方式利用神經(jīng)網(wǎng)絡(luò)對(duì)未知系統(tǒng)進(jìn)行建模，該方法是利用神經(jīng)網(wǎng)絡(luò)的HDP控制策略具有較好收斂性的特點(diǎn)，分析取值參數(shù)，從而得到較好的系統(tǒng)模型。目前的一些無模型控制方法需要系統(tǒng)的全部狀態(tài)具有可觀可測(cè)，但實(shí)際上由于硬件條件的限制或者測(cè)量成本較高，往往難以保證測(cè)得所需信息。然而利用遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性對(duì)未知系統(tǒng)進(jìn)行建模，利用數(shù)據(jù)驅(qū)動(dòng)模式實(shí)現(xiàn)建模是一種簡(jiǎn)單有效的方法。但在應(yīng)用中，需要注意遞歸網(wǎng)絡(luò)的精度往往影響到ADP最終的控制效果，這是因?yàn)槿绻平骶炔桓撸厝粚?dǎo)致評(píng)價(jià)策略的精度不高，控制策略不能實(shí)現(xiàn)精確控制進(jìn)一步影響下一環(huán)節(jié)的評(píng)價(jià)精度，造成惡性循環(huán)，甚至造成系統(tǒng)控制失敗。因此，對(duì)于采用遞歸神經(jīng)網(wǎng)絡(luò)作為逼近器的 ADP 控制而言，遞歸神經(jīng)網(wǎng)絡(luò)需要對(duì)復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)具有一個(gè)較高的逼近精度，才能提高評(píng)價(jià)網(wǎng)絡(luò)的精度，進(jìn)而提高評(píng)價(jià)結(jié)果的準(zhǔn)確性。

在不同領(lǐng)域中，任務(wù)往往各不相同，因此針對(duì)不同的動(dòng)態(tài)系統(tǒng)，不同類型的遞歸網(wǎng)絡(luò)的也相繼被提出并得到研究，使之成為人工智能界的研究熱點(diǎn)之一。因其具有獨(dú)特的優(yōu)化能力，聯(lián)想記憶功能，遞歸神經(jīng)網(wǎng)絡(luò)已引起AI界極大的研究和關(guān)注，并成功應(yīng)用于多種模式識(shí)別問題，例如圖像處理，聲音辨識(shí)，信號(hào)處理等。

4 結(jié)論

本章分析和研究了神經(jīng)網(wǎng)絡(luò)的兩種主要類型，前饋型和遞歸型，并對(duì)其特點(diǎn)進(jìn)行了分析。前饋網(wǎng)絡(luò)的主要特點(diǎn)是計(jì)算簡(jiǎn)單，運(yùn)算方便，缺點(diǎn)是耗時(shí)較長(zhǎng)，容易陷入局部極??；遞歸網(wǎng)絡(luò)的特點(diǎn)是具有動(dòng)力學(xué)特性和聯(lián)想記憶特性，但使用時(shí)需要注意穩(wěn)定性和收斂性，且對(duì)初始狀態(tài)具有高度敏感特性。針對(duì)兩類神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，可通過多種優(yōu)化相結(jié)合的方法解決收斂較慢且容易陷入局部極小問題，應(yīng)用參數(shù)學(xué)習(xí)訓(xùn)練算法和網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法對(duì)遞歸網(wǎng)絡(luò)進(jìn)行適當(dāng)?shù)恼{(diào)整，以應(yīng)用于具體問題。

參 考 文 獻(xiàn)

[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.

[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.

[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.

[4] 商琳， 王金根， 姚望舒，等. 一種基于多進(jìn)化神經(jīng)網(wǎng)絡(luò)的分類方法[J]. 軟件學(xué)報(bào)， 2005， 16（9）： 1577-1583.

[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.

[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.

[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.

[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.

[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.

[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.

[11] 王剛， 高陽， 夏潔. 基于差異進(jìn)化算法的人工神經(jīng)網(wǎng)絡(luò)快速訓(xùn)練研究 [J]. 管理學(xué)報(bào)， 2005， 2 （4） ： 450-454.

[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN07）， 2007， pp. 219-224.

[13] 李祚泳，汪嘉楊，郭淳. PSO算法優(yōu)化BP網(wǎng)絡(luò)的新方法及仿真實(shí)驗(yàn)[J]. 電子學(xué)報(bào)， 2008，36（11）：2224-2228.

[14] M.G. Epitropakis， V.P. Plagianakos， M.N. Vrahatis. Hardware-friendly higher-order neural network training using distributed evolutionary algorithms [J]. Applied