曲 川

摘要:神經(jīng)網(wǎng)絡(luò)是人們?cè)谀７氯四X處理問(wèn)題的過(guò)程中發(fā)展起來(lái)的一種新型智能信息處理理論,它通過(guò)大量的稱為神經(jīng)元的簡(jiǎn)單處理單元構(gòu)成非線性動(dòng)力學(xué)系統(tǒng),對(duì)人腦的形象思維、聯(lián)想記憶等進(jìn)行模擬和抽象,實(shí)現(xiàn)與人腦相似的學(xué)習(xí)、識(shí)別、記憶等信息處理能力。神經(jīng)網(wǎng)絡(luò)在經(jīng)歷了40多年的曲折發(fā)展之后,在信息科學(xué)領(lǐng)域等許多應(yīng)用方面己顯示出巨大潛力和廣闊的應(yīng)用前景。

關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);計(jì)算機(jī);智能信息;應(yīng)用

中圖分類號(hào):TP183

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):16723198(2009)20028602お

1神經(jīng)網(wǎng)絡(luò)的定義

一般情況下,人工神經(jīng)元網(wǎng)絡(luò)是作為信息處理單元來(lái)模仿大腦,執(zhí)行特定的任務(wù)或完成感興趣的功能。關(guān)于它的定義有很多種,而下面的Hecht睳ielsen給出的神經(jīng)網(wǎng)絡(luò)定義最具有代表意義: 神經(jīng)網(wǎng)絡(luò)是一種并行的分布式信息處理結(jié)構(gòu),它通過(guò)稱為連接的單向信號(hào)通路將一些處理單元互連而成。每一個(gè)處理單元都有一個(gè)單輸出到所期望的連接。每一個(gè)處理單元傳送相同的信號(hào)——處理單元輸出信號(hào)。處理單元的輸出信號(hào)可以是任一種所要求的數(shù)學(xué)類型。在每一個(gè)處理單元中執(zhí)行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵(lì)信號(hào)的當(dāng)前值和處理單元本身所存儲(chǔ)記憶的值。

2神經(jīng)網(wǎng)絡(luò)的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。

(2)非局域性: 非局域性是人的神經(jīng)系統(tǒng)的一個(gè)特性,人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量的神經(jīng)元連接模擬人腦的非局域性,它的分布存儲(chǔ)是非局域性的一種表現(xiàn)。

(3)非定常性: 神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運(yùn)動(dòng)的動(dòng)力學(xué)系統(tǒng),它應(yīng)按不同時(shí)刻的外界刺激對(duì)自己的功能進(jìn)行修改,故而它是一個(gè)時(shí)變的系統(tǒng)。

(4)非凸性:神經(jīng)網(wǎng)絡(luò)的非凸性即是指它有多個(gè)極值,也即系統(tǒng)具有不只一個(gè)的較穩(wěn)定的平衡狀態(tài)。這種屬性會(huì)使系統(tǒng)的演化多樣化。

3神經(jīng)網(wǎng)絡(luò)模型的分類

(1)按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分,則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

(2)按照學(xué)習(xí)方式區(qū)分,則有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。

(3)按照網(wǎng)絡(luò)性能區(qū)分,則有連續(xù)型和離散性網(wǎng)絡(luò),隨機(jī)型和確定型網(wǎng)絡(luò)。

(4)按照突觸性質(zhì)區(qū)分,則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。

(5)按對(duì)生物神經(jīng)系統(tǒng)的層次模擬區(qū)分,則有神經(jīng)元層次模型,組合式模型,網(wǎng)絡(luò)層次模型,神經(jīng)系統(tǒng)層次模型和智能型模型。

通常人們較多地考慮神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)。一段而言,神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu)。在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中,人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和AR雙自適應(yīng)共振理論網(wǎng)絡(luò)。

Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型,它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單層,并且不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對(duì)稱連接。這個(gè)網(wǎng)絡(luò)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。

BP網(wǎng)絡(luò)是誤差反向傳播(Back Propagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò),采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語(yǔ)言綜合,識(shí)別和自適應(yīng)控制等用途。BP網(wǎng)絡(luò)需有教師訓(xùn)練。

Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò),這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元;而輸出層是二維的神經(jīng)元,神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而,在輸出層中,神經(jīng)元之間有近揚(yáng)遠(yuǎn)抑的反饋特性,從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測(cè)器。

ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性,穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中,通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用.這兩個(gè)子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡(luò)主要用于模式識(shí)別,它不足之處是在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感。

4誤差反向傳播的前饋網(wǎng)絡(luò)(BP網(wǎng)絡(luò))

學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點(diǎn)。自從40年代Hebb提出的學(xué)習(xí)規(guī)則以來(lái),人們相繼提出了各種各樣的學(xué)習(xí)算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應(yīng)用最多的有效算法。

(1)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu):在神經(jīng)網(wǎng)絡(luò)中,對(duì)外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練,并能存儲(chǔ)這種模式,則稱為感知器,感知器采用有教師信號(hào)進(jìn)行學(xué)習(xí)。感知器的學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最典型的學(xué)習(xí)。這種學(xué)習(xí)系統(tǒng)分成三個(gè)部分:輸入部,訓(xùn)練部和輸出部。

輸入部接收外來(lái)的輸入樣本X,由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)值W調(diào)整,然后由輸出部輸出結(jié)果。在這個(gè)過(guò)程中,期望的輸出信號(hào)可以作為教師信號(hào)輸入,由該教師信號(hào)與實(shí)際輸出進(jìn)行比較,產(chǎn)生的誤差去控制修改權(quán)值W。

(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的梯度算法:從感知器的學(xué)習(xí)算法可知,學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)值,使到網(wǎng)絡(luò)對(duì)于所輸入的模式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時(shí),也即神經(jīng)網(wǎng)絡(luò)能正確分類時(shí),顯然權(quán)值就反映了同類輸人模式樣本的共同特征。換句話講,權(quán)值就是存儲(chǔ)了的輸人模式。由于權(quán)值是分散存在的,故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲(chǔ)的特點(diǎn)。

感知器學(xué)習(xí)算法相當(dāng)簡(jiǎn)單,當(dāng)函數(shù)不是線性可分時(shí)求不出結(jié)果,而且不能推廣到一般前饋網(wǎng)絡(luò)中,為此出現(xiàn)了另一種算法-梯度算法((LMS)。梯度算法把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù),例如非對(duì)稱Sigmoid函數(shù)為f (x) = l/(1 + e-x ),或?qū)ΨQSigmoid函數(shù)f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來(lái)感知器的學(xué)習(xí)算法進(jìn)了一大步。

(3)反向傳播學(xué)習(xí)的BP算法:感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中,它只能改變最后權(quán)值。因此,感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。1986年,Rumelhart提出了反向傳播學(xué)習(xí)算法,即BP算法。這種算法可以對(duì)網(wǎng)絡(luò)中各層的權(quán)值進(jìn)行修正,故適用于多層網(wǎng)絡(luò)的學(xué)習(xí)。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說(shuō),改變隱含層的權(quán)值,可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

5結(jié)語(yǔ)

神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法是近幾年興起的模式識(shí)別領(lǐng)域的一個(gè)新的研究方向。由于神經(jīng)網(wǎng)絡(luò)的高速并行處理、分布存貯信息等特性符合人類視覺系統(tǒng)的基本工作原則,具有很強(qiáng)的自學(xué)習(xí)性、自組織性、容錯(cuò)性、高度非線性、高魯棒性、聯(lián)想記憶功能和推理意識(shí)功能等,能夠?qū)崿F(xiàn)目前基于計(jì)算理論層次上的模式識(shí)別理論所無(wú)法完成的模式信息處理工作,所以,采用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別,突破了傳統(tǒng)模式識(shí)別技術(shù)的束縛,開辟了模式識(shí)別發(fā)展的新途徑。同時(shí),神經(jīng)網(wǎng)絡(luò)模式識(shí)別也成為神經(jīng)網(wǎng)絡(luò)最成功和最有前途的應(yīng)用領(lǐng)域之一。