杜秉航

摘 要 本文重點(diǎn)總結(jié)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，并闡述了它的仿生學(xué)原理、BP算法步驟及其改進(jìn)，最后分析了人工神經(jīng)網(wǎng)絡(luò)在具體領(lǐng)域的應(yīng)用并展望了它的前景。

關(guān)鍵詞 人工神經(jīng)網(wǎng)絡(luò)；發(fā)展；應(yīng)用；BP算法

中圖分類號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2018）203-0066-03

1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展背景分析

人工神經(jīng)網(wǎng)絡(luò)是一門(mén)人工智能領(lǐng)域的新興信息系統(tǒng)，運(yùn)用了模仿人腦結(jié)構(gòu)的仿生學(xué)原理，它得天獨(dú)厚的非線性信息的處理、整合的強(qiáng)大功能，使之在信息、醫(yī)學(xué)、經(jīng)濟(jì)、交通、控制、心理學(xué)等領(lǐng)域具有極其廣闊的發(fā)展前景。它的發(fā)展可概括為四個(gè)歷史時(shí)期：起步時(shí)期、低迷時(shí)期、恢復(fù)時(shí)期、新發(fā)展時(shí)期。

1.1 啟蒙時(shí)期：20世紀(jì)40年代—20世紀(jì)60年代

人工神經(jīng)網(wǎng)絡(luò)發(fā)展的奠基時(shí)期。

1943年，開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的是一個(gè)神經(jīng)元模型（M-P模型）。

1952年，英國(guó)生物學(xué)家 Hodgkin和Huxley建立著名的H-H方程。這一方程廣泛用于描述神經(jīng)膜中的非線性現(xiàn)象，有重大歷史意義。

1960年，Widrow和Hoff提出激起許多學(xué)者興趣Adaline網(wǎng)絡(luò)模型，可用于自適應(yīng)系統(tǒng)。上述成果足以表明初期人工神經(jīng)網(wǎng)絡(luò)所取得的奠基性成就。

1.2 低谷時(shí)期

正當(dāng)人們受到極大的鼓舞努力追求神經(jīng)網(wǎng)絡(luò)那美好的目標(biāo)但卻忽視其本身的局限性時(shí)，人工智能的創(chuàng)始人之一Minskyh和Papert經(jīng)過(guò)多年的深入研究，于1969年在《Percep2trons》一書(shū)中，明確指出當(dāng)前的網(wǎng)絡(luò)只能應(yīng)用于簡(jiǎn)單的線性問(wèn)題而不能有效地應(yīng)用于多層網(wǎng)絡(luò)的巨大局限。由此，美蘇的科研機(jī)構(gòu)紛紛撤資，從而形成了長(zhǎng)達(dá)10年的發(fā)展低谷。可喜的是，在低谷中仍有一些科學(xué)家不忘初心，鍥而不舍地追求人工神經(jīng)網(wǎng)絡(luò)的研究，使它出現(xiàn)了灰色時(shí)期的微馨。

先輩們持之以恒的工作精神值得我們后來(lái)者學(xué)習(xí)，杰出的成果更是為日后神經(jīng)網(wǎng)絡(luò)研究打下了極其堅(jiān)固的地基。

1.3 復(fù)興時(shí)期

1986年，美國(guó)Rumelhart和McCkekkand提出PDP網(wǎng)絡(luò)思想，進(jìn)一步被推動(dòng)神經(jīng)網(wǎng)絡(luò)發(fā)展同時(shí)對(duì)BP算法進(jìn)行了極具歷史性的整合總結(jié)。

20世紀(jì)90年代中后期，神經(jīng)網(wǎng)絡(luò)研究在已有理論不斷深化的基礎(chǔ)上達(dá)到了一個(gè)新的高度，新的理論和方法不斷出現(xiàn)并被投入使用。

1.4 迅速發(fā)展時(shí)期

20世紀(jì)80年代，伴隨著人工神經(jīng)網(wǎng)絡(luò)在世界范圍內(nèi)的不斷興起、復(fù)蘇，中國(guó)也逐步開(kāi)始研究神經(jīng)網(wǎng)絡(luò)。

1990年2月，中國(guó)8個(gè)頂尖學(xué)會(huì)聯(lián)合在北京召開(kāi)“中國(guó)神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會(huì)議”。經(jīng)過(guò)二十幾年的不斷發(fā)展，中國(guó)的研究取得了萬(wàn)眾矚目的輝煌成就。

2 理論分析

2.1 人工神經(jīng)網(wǎng)絡(luò)仿生學(xué)原理

人工神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)運(yùn)用了仿生學(xué)原理。大家都知道，人類的大腦是一個(gè)十分神秘的器官，可以說(shuō)有無(wú)限的開(kāi)發(fā)潛能。據(jù)美國(guó)著名大腦專家東尼博贊統(tǒng)計(jì)，如果一個(gè)人從出生開(kāi)始以每秒10條信息的速度向大腦輸入信息，那么到這個(gè)人將去世的時(shí)候，他的大腦所儲(chǔ)存的信息也不到總腦容量的一半。再舉一個(gè)現(xiàn)實(shí)中的例子：聞名遐邇的科學(xué)家阿爾伯特·愛(ài)因斯坦的大腦開(kāi)發(fā)量也不超過(guò)4%。所以人工神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)就是在這樣一種令人驚異的人腦基礎(chǔ)上展開(kāi)研究的，經(jīng)過(guò)一個(gè)世紀(jì)的研究，展現(xiàn)出了難以估量的潛力和誘人的前景，吸引無(wú)數(shù)專家學(xué)者“沉溺”其中，推動(dòng)著它不斷縱向和橫向發(fā)展。

人工神經(jīng)網(wǎng)絡(luò)的仿生起點(diǎn)，是神經(jīng)元的信號(hào)傳遞方式，一個(gè)神經(jīng)元就是一個(gè)神經(jīng)細(xì)胞，它是神經(jīng)系統(tǒng)的基本組成單位，神經(jīng)元之間通過(guò)突觸連接，構(gòu)成了極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

初期的人工神經(jīng)網(wǎng)絡(luò)通過(guò)模仿一個(gè)簡(jiǎn)單神經(jīng)元的工作過(guò)程：來(lái)自外界或其他細(xì)胞的信號(hào)通過(guò)突觸傳導(dǎo)給神經(jīng)元，當(dāng)細(xì)胞收到的信號(hào)總和達(dá)到一定的閾值后細(xì)胞釋放神經(jīng)遞質(zhì)，通過(guò)軸突向下一個(gè)細(xì)胞發(fā)送電信號(hào)。這個(gè)過(guò)程就蘊(yùn)藏著細(xì)胞對(duì)外界信息加工的過(guò)程。

人工神經(jīng)網(wǎng)絡(luò)研究的愿景與靈感大抵如上所述。

2.2 人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)

2.2.1 McCulloch-pitts模型

由W.S. McCulloch和W.H.Pitts于1943年提出此模型。

神經(jīng)元是此模型中的功能是將輸入信號(hào)加權(quán)求和，當(dāng)求和值超過(guò)閾值時(shí)神經(jīng)元進(jìn)入激活狀態(tài)，輸出值為1，如果不超過(guò)閾值，輸出值為0，這個(gè)模型可用公式：

θj稱為閾值邏輯單元，若要使輸出值為1或-1，則可用符號(hào)函數(shù)sgh（.）替代θ（.）

很顯然，這個(gè)模型是高度簡(jiǎn)化的，只是反映出神經(jīng)元的最簡(jiǎn)單的功能特征，但是作為一種極度的抽象形式，這一科技模型反映著神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)的研究出發(fā)點(diǎn)，是人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

它作為一種最簡(jiǎn)單的可學(xué)習(xí)機(jī)器，只能完成線性可分?jǐn)?shù)據(jù)分類問(wèn)題，對(duì)于非線性問(wèn)題它無(wú)能為力。但當(dāng)多個(gè)基礎(chǔ)模型交錯(cuò)組合形成的一般神經(jīng)網(wǎng)絡(luò)就具備了很強(qiáng)的非線性問(wèn)題處理能力。

2.2.2 BP算法的建立及其改進(jìn)

毫不夸張地說(shuō)，BP神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)的左膀右臂，實(shí)際上是一個(gè)多元函數(shù)的優(yōu)化問(wèn)題，即以連接權(quán)系數(shù)為變量，將誤差函數(shù)最小化作為目標(biāo)的優(yōu)化問(wèn)題。

BP算法上的突破主要源于著名的Singmoid函數(shù)（S形函數(shù)）來(lái)代替初期感知器中的閾值函數(shù)來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)。如圖1。

Sigmoid函數(shù)可表示為其值域?yàn)椋?，1），由于處處可導(dǎo)，則可以看作是對(duì)階躍函數(shù)的逼近，Sigmoid函數(shù)的構(gòu)建實(shí)現(xiàn)了誤差的逆?zhèn)鞑ィ瑥亩沟梅聪騻鞑ミ^(guò)程中根據(jù)輸出節(jié)點(diǎn)的實(shí)際輸出和理想輸出的誤差逐層修改權(quán)值成為可能，自主尋找并提取解決問(wèn)題的求解規(guī)劃，很對(duì)人工智能自學(xué)的胃口。由此，可以認(rèn)為BP算法的建立是人工神經(jīng)網(wǎng)絡(luò)的一個(gè)飛躍式進(jìn)步。endprint

2.3 BP算法的基本步驟

BP算法的目標(biāo)函數(shù)（誤差函數(shù)）是神經(jīng)網(wǎng)絡(luò)在所有樣本上期望輸出與預(yù)測(cè)輸出的切方誤差，通過(guò)采用梯度下降法來(lái)調(diào)整各層權(quán)值求目標(biāo)函數(shù)的最小化。

具體步驟如下：

1）隨機(jī)賦予各權(quán)值的一定初值。

2）前向過(guò)程：當(dāng)某個(gè)具體樣本作用在輸出端后，利用當(dāng)前權(quán)值計(jì)算輸出，即一個(gè)信號(hào)從輸入到隱層再到輸出。

3）誤差逆轉(zhuǎn)修正權(quán)值。計(jì)算所得到的輸出與樣本已知正確輸出之間誤差，并根據(jù)誤差對(duì)節(jié)點(diǎn)權(quán)值的偏導(dǎo)數(shù)修正權(quán)值，直到把各層權(quán)值都修正一次。

選擇另一樣本重復(fù)上述過(guò)程。

4）訓(xùn)練中總的誤差水平達(dá)到預(yù)先設(shè)定閾值或訓(xùn)練時(shí)間達(dá)到預(yù)定上限時(shí)終止學(xué)習(xí)。

BP算法的關(guān)鍵在于能夠?qū)⒄`差反向傳播到各隱層節(jié)點(diǎn)，從而對(duì)中間各層權(quán)值進(jìn)行學(xué)習(xí)。

BP算法的局限性：BP算法的本質(zhì)是梯度下降法，它所要的最小化目標(biāo)函數(shù)非常復(fù)雜，因此算法可能陷入目標(biāo)函數(shù)的局部最小點(diǎn)，即出現(xiàn)“鋸齒形現(xiàn)象”，所以不能保證收斂到全局最優(yōu)點(diǎn)，這同時(shí)也注定BP算法是低效的。

BP算法的優(yōu)化：BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)算法。

優(yōu)化點(diǎn)（一）初始權(quán)值的選取。

未改進(jìn)的BP算法采用隨機(jī)抽取思想，產(chǎn)生大量隨機(jī)初始點(diǎn)，逐步迭代，最終選出最優(yōu)解，但其具有一定的隨機(jī)盲目性。我們可以采用逐步搜索法即將初值區(qū)域n等分，在這幾個(gè)區(qū)域分別產(chǎn)生初始權(quán)值進(jìn)行學(xué)習(xí)，選取誤差最小的區(qū)域再進(jìn)行n等分，分別學(xué)習(xí)，直到誤差不能再小時(shí)終止。經(jīng)檢驗(yàn)，只要區(qū)域足夠小，這種方法可避免局部行為。

優(yōu)化點(diǎn)（二）輸入層節(jié)點(diǎn)數(shù)目確定。

由于BP網(wǎng)絡(luò)是解決非線性復(fù)雜問(wèn)題，其因變量受多個(gè)自變量影響，我們可以先用自組織算法（應(yīng)用不完全歸納法，使用線生逼近得結(jié)果）盡量全面廣泛，不必經(jīng)專門(mén)主觀篩選地找出輸入變量，再利用BP算法進(jìn)行學(xué)習(xí)，二者取長(zhǎng)補(bǔ)短，增強(qiáng)BP網(wǎng)絡(luò)對(duì)復(fù)雜系統(tǒng)建模處理能力。

優(yōu)化點(diǎn)（三）網(wǎng)絡(luò)隱層層數(shù)與隱節(jié)點(diǎn)數(shù)目確定。

Lippmann和Cyberko指出只需兩個(gè)隱層就可解決任何形式分類問(wèn)題，而且Robert Hecht Nielson也通過(guò)研究指出：只有一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)，只要有足夠多的隱節(jié)點(diǎn)，就可以以任意精度逼近一個(gè)非線性函數(shù)。所以為了尋找合適的隱節(jié)點(diǎn)數(shù)要在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中根據(jù)環(huán)境的要求，自適應(yīng)地調(diào)整自己的結(jié)構(gòu)，最終獲得一個(gè)大小合適的人工神經(jīng)網(wǎng)絡(luò)模型。

3 人工神經(jīng)網(wǎng)絡(luò)前景展望及應(yīng)用

經(jīng)過(guò)近一個(gè)世紀(jì)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)以其與其他各門(mén)科學(xué)技術(shù)緊密結(jié)合的廣泛應(yīng)用性及工作時(shí)高速度和潛在的超高速的強(qiáng)大性能吸引了無(wú)數(shù)學(xué)者和工程人員投入其中。

3.1 應(yīng)用

3.1.1 信息領(lǐng)域

信息的來(lái)源十分不完整，并且在一定程度上包含虛假信息，決策規(guī)則很多時(shí)候非常蕪雜，十分繁復(fù)導(dǎo)致在處理許多問(wèn)題時(shí)寸步難行。而神經(jīng)網(wǎng)絡(luò)的仿生原理使其具備結(jié)構(gòu)上的兩大特性—數(shù)據(jù)數(shù)理的越大規(guī)模并行性和數(shù)據(jù)存儲(chǔ)的分布性，使人工神經(jīng)網(wǎng)絡(luò)具有模仿或代替人的思維的優(yōu)良性能，從而形成與傳統(tǒng)方法有著天壤之別的獨(dú)到處理方法。

此外，即使在戰(zhàn)爭(zhēng)中線路遭到十分嚴(yán)重的破壞，由于人工神經(jīng)網(wǎng)絡(luò)具有極強(qiáng)的容錯(cuò)容差能力及自組織性，所以，它仍能維持在優(yōu)化工作狀態(tài)。這使得它在軍事系統(tǒng)電子設(shè)備中大顯身手，由此它被引入報(bào)警系統(tǒng)、自動(dòng)控制制導(dǎo)系統(tǒng)和自動(dòng)跟蹤監(jiān)測(cè)儀器系統(tǒng)等領(lǐng)域。

3.1.2 經(jīng)濟(jì)領(lǐng)域

預(yù)測(cè)社會(huì)消費(fèi)品零售總額和分析商品價(jià)格的變動(dòng)等問(wèn)題需要考慮多種因素的不同影響并對(duì)這類問(wèn)題進(jìn)行綜合性分析。人工神經(jīng)網(wǎng)絡(luò)中的BP神經(jīng)網(wǎng)絡(luò)模型就是一個(gè)多元函數(shù)的優(yōu)化，對(duì)于這種不完整的、模糊不確定的數(shù)據(jù)有獨(dú)到的處理方法，相對(duì)于傳統(tǒng)方法來(lái)說(shuō)其有無(wú)法比擬的巨大優(yōu)勢(shì)，從而可以大大增加了得到準(zhǔn)確評(píng)價(jià)結(jié)果的可能性。

3.1.3 控制領(lǐng)域

人工神經(jīng)網(wǎng)絡(luò)以其特有固有的非線性問(wèn)題處理能力，以及高度的魯棒性等令人驚異的突出特征，使迅猛發(fā)展的控制領(lǐng)域如虎添翼。最優(yōu)決策控制、監(jiān)督控制、內(nèi)?？刂?、預(yù)測(cè)控制等都是基本的控制結(jié)構(gòu)。

3.2 前景展望

人工神經(jīng)網(wǎng)絡(luò)或許無(wú)法代替人類大腦，或許它也只是對(duì)數(shù)字計(jì)算機(jī)的補(bǔ)充，而非替代，但它確確實(shí)實(shí)地拓展了人們對(duì)外部環(huán)境的識(shí)知和控制處理能力，它特有的非線性適應(yīng)性信息處理能力使之與各門(mén)科學(xué)技術(shù)相互交錯(cuò)，共同發(fā)展。

人工智能可能的發(fā)展趨勢(shì)如下：

1）人工神經(jīng)網(wǎng)絡(luò)正奔跑在模擬人類認(rèn)識(shí)的道路上。

2）通過(guò)光電結(jié)合的神經(jīng)計(jì)算機(jī)創(chuàng)造出功能更強(qiáng)大、應(yīng)用更廣泛的人工神經(jīng)網(wǎng)絡(luò)，同時(shí)研究更加高效簡(jiǎn)潔的網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)大神經(jīng)元芯片的作用范圍。

3）實(shí)現(xiàn)智能機(jī)器人的自然口譯、與人流暢談話和用自然語(yǔ)言與計(jì)算機(jī)對(duì)話也是其發(fā)展方向之一。

4 結(jié)論

本文通過(guò)背景回顧、理論分析、應(yīng)用前景3個(gè)方面，系統(tǒng)地介紹了人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的非線性、自學(xué)習(xí)、自適應(yīng)能力激勵(lì)著我們這些后學(xué)者們投入對(duì)它的探索。筆者堅(jiān)信，人工神經(jīng)網(wǎng)絡(luò)定會(huì)以其廣泛的應(yīng)用前景在不久的將來(lái)變得家喻戶曉。

參考文獻(xiàn)

[1]毛健，趙紅東，姚婧婧.人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應(yīng)用[J].電子設(shè)計(jì)工程，2011，19（24）：62-65.

[2]楊曉帆，陳延槐.人工神經(jīng)網(wǎng)絡(luò)固有的優(yōu)點(diǎn)和缺點(diǎn)[J].計(jì)算機(jī)科學(xué)，1994，21（2）：23-26.

[3]李曉峰，徐玖平，王蔭清，等.BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)算法的建立及其應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2004，24（5）：1-8.endprint