潘園園，張 力，段玲玲，段法兵

(青島大學(xué)復(fù)雜性科學(xué)研究所，山東 青島 266071)

0 引言

自1943年McCulloch和Pitts首次提出了人工神經(jīng)元模型以來，新的神經(jīng)元模型及其組成的神經(jīng)網(wǎng)絡(luò)不斷被提出[1-2]，已成為目前非線性科學(xué)和計算智能研究的一個主要研究方向。其中，神經(jīng)網(wǎng)絡(luò)圖像識別技術(shù)隨著當(dāng)代計算機(jī)技術(shù)、圖像處理、人工智能、模式識別理論等快速發(fā)展，是傳統(tǒng)圖像識別方法與神經(jīng)網(wǎng)絡(luò)算法相融合的一種圖像識別方法[3-4]。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識別在計算機(jī)識別領(lǐng)域占有越來越重要的地位，并且廣泛應(yīng)用于霧天或者夜晚的交通車牌識別、機(jī)器視覺等實際應(yīng)用領(lǐng)域。近些年來，利用Hopfield神經(jīng)網(wǎng)絡(luò)識別噪聲字符、汽車牌照字符等實例表明這種方法識別率高、魯棒性好且具有很好的實用性：例如朱獻(xiàn)文[5]研究了基于遺傳算法Hopfield神經(jīng)網(wǎng)絡(luò)的字符識別方法；魏武[6]等人對車牌字符識別模板匹配的神經(jīng)網(wǎng)絡(luò)方法進(jìn)行改進(jìn)；丘敏[7]等人在汽車牌照字符識別的應(yīng)用中將Hopfield和BP網(wǎng)絡(luò)結(jié)合使用提高了識別率；Tatem[8]等人利用了Hopfield神經(jīng)網(wǎng)絡(luò)識別遙感圖像中的土地覆蓋目標(biāo)。

以上關(guān)于字符識別的研究都把噪聲作為有害因素，專注于噪聲的消除，而忽視了噪聲的有益作用，實際上噪聲可以增強(qiáng)神經(jīng)元信息處理能力，即神經(jīng)科學(xué)中的隨機(jī)共振現(xiàn)象[9-11]。最近，Hopfield神經(jīng)網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象研究已取得了重大進(jìn)展，如Katada[9]等人研究了Hopfield網(wǎng)絡(luò)中隨機(jī)共振現(xiàn)象，并擴(kuò)展到包含156個神經(jīng)元的網(wǎng)絡(luò)中；Pinamonti[10]等人研究了復(fù)雜網(wǎng)絡(luò)中多峰隨機(jī)共振的重要特征；Nishimura[11]等人研究了由3個神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)中隨機(jī)共振型反饋，將它作為有效的混沌動力學(xué)的雙勢阱模型。

本文主要利用離散Hopfield神經(jīng)網(wǎng)絡(luò)識別手寫數(shù)字，將被識別的圖像二進(jìn)制編碼變成串行編碼，根據(jù)信號在穩(wěn)態(tài)間回環(huán)往復(fù)的規(guī)律輸入到Hopfield神經(jīng)元網(wǎng)絡(luò)中，不僅研究輸入信號幅值調(diào)制，碼間間隔以及神經(jīng)元耦合個數(shù)對于網(wǎng)絡(luò)識別圖像的影響，還研究了傳輸過程中噪聲強(qiáng)度與圖像識別誤碼率的非線性特性。

1 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型與誤碼率

Hopfield神經(jīng)網(wǎng)絡(luò)是由Hopfield[12-13]于1982年首先提出的一種單層的、輸出為二值的全連接型的反饋神經(jīng)網(wǎng)絡(luò)。離散Hopfield神經(jīng)網(wǎng)絡(luò)只有一個神經(jīng)元層，第0層僅作為網(wǎng)絡(luò)的輸入，并無計算功能，而第1層是神經(jīng)元層，用于對輸入數(shù)據(jù)和權(quán)系數(shù)的乘積求累加和，并經(jīng)非線性激活函數(shù)處理后產(chǎn)生輸出信息。該網(wǎng)絡(luò)模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)制，具有聯(lián)想記憶的功能。3個神經(jīng)元構(gòu)成的離散Hopfield神經(jīng)網(wǎng)絡(luò)可以用加權(quán)無向圖表示，如圖1所示。

圖1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of discrete neural networks

從圖1可以看出神經(jīng)元間是相互聯(lián)系的，并且網(wǎng)絡(luò)中每一個神經(jīng)元的輸出都反饋到其他神經(jīng)元上，每條邊上權(quán)值表示有關(guān)神經(jīng)元之間的連接強(qiáng)度，每個節(jié)點代表一個神經(jīng)元且附有一個閾值，當(dāng)某神經(jīng)元所受到的刺激超過其閾值時，神經(jīng)元就處于激活狀態(tài)，否則神經(jīng)元就處于靜息狀態(tài)。我們?nèi)∩窠?jīng)元激活函數(shù)[9]為

(1)

其中,Xi(t+1)表示神經(jīng)元i的輸出(-1≤Xi(t)≤1)，gi表示外部輸入信號，ε表示陡度參數(shù)，內(nèi)部電壓為

(2)

式中,N表示神經(jīng)元耦合個數(shù)，突觸權(quán)重ωij是由基本記憶表示為{ξμ|μ=1，2，…，M}的二進(jìn)制向量集合生成的，F(xiàn)i(t)為神經(jīng)元的內(nèi)部噪聲，神經(jīng)元的組態(tài)與網(wǎng)絡(luò)中儲存模式信息的能量值E有關(guān)。

(3)

其中,ωii=0表示神經(jīng)元沒有自反饋，令W表示網(wǎng)絡(luò)N×N的突觸權(quán)值矩陣，它決定了Hopfield神經(jīng)網(wǎng)絡(luò)相應(yīng)的動力學(xué)狀態(tài)且生成方式為

(4)

(5)

誤碼率是指二進(jìn)制碼元在數(shù)據(jù)傳輸系統(tǒng)中被傳錯的概率，即傳輸中的誤碼和所傳輸?shù)目偞a數(shù)比值。仿真中將選取的特定圖片的像素值輸入網(wǎng)絡(luò),然后得到相應(yīng)的信號輸出值，網(wǎng)絡(luò)輸出錯誤信號與圖像二進(jìn)制信號總數(shù)的比值得到誤碼率，誤碼率越小說明圖像傳輸效果越好，恢復(fù)圖像就越清晰。

2 仿真和結(jié)果

2.1 仿真算法過程

1)讀取圖像信息：掃描手寫的字符圖像，得到其灰度矩陣，并進(jìn)行二值化處理得到BM×N，其中Bij∈{0,1}，其中黑色像素為0，白色為1[14-16]。

2)處理信息：將矩陣改編成一個M×N的二進(jìn)制字符串，再將其調(diào)制成幅值為s，碼間間隔為Tb，脈沖持續(xù)時間為T的二值幅值脈沖信號S(t)。

3)網(wǎng)絡(luò)初始化：把t=0時刻的信號S(t)以及噪聲初值作為每個神經(jīng)元的初始值X(0)輸入到Hopfield神經(jīng)網(wǎng)絡(luò)中，得第1步的輸出信號Y(1)。

4)循環(huán)更新：將輸出按照權(quán)重ωij反饋到每一個神經(jīng)元，同時加入噪聲強(qiáng)度為σ的Gauss白噪聲，連同下一時刻的信號作為輸入，進(jìn)入Hopfield神經(jīng)網(wǎng)絡(luò)，得到輸出信號。

5)按照步驟(4)不斷更新，得到最終的輸出信號Y(t)。

6)計算誤碼率：將Y(t)進(jìn)行抽樣判決得到解碼二進(jìn)制信號，與初始輸入信號比較，計算誤碼率Pe。

圖2 手寫數(shù)字的圖片F(xiàn)ig.2 Picture of handwriteen Character

2.2 仿真結(jié)果

圖3～圖5就是得到的仿真效果圖，可以看出：當(dāng)網(wǎng)絡(luò)中沒有噪聲的時候，網(wǎng)絡(luò)的輸出譯碼后為空白圖像，隨著噪聲強(qiáng)度的增加，譯碼圖像出現(xiàn)隨機(jī)共振現(xiàn)象：當(dāng)噪聲強(qiáng)度達(dá)到0.25時，譯碼圖像如圖3所示，此時選取特定區(qū)域的數(shù)字漸漸顯現(xiàn)；當(dāng)噪聲強(qiáng)度達(dá)到0.8時，網(wǎng)絡(luò)輸出數(shù)字圖像較為清晰，如圖4所示；而當(dāng)噪聲強(qiáng)度達(dá)到2.8時，噪聲強(qiáng)度過大，圖像如圖5所示，網(wǎng)絡(luò)輸出狀態(tài)幾乎都處于激活的狀態(tài)(黑色)。

已知生成的神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)矩陣是一個對稱矩陣，并且對角線元素都為0，由網(wǎng)絡(luò)的充分條件可知這個網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)。離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)即式(3)進(jìn)行分析，并且滿足上述條件的神經(jīng)網(wǎng)絡(luò)都有一些共同的特點：在網(wǎng)絡(luò)信息傳輸過程中，能量會不斷減少。仿真中初始狀態(tài)確定后使得網(wǎng)絡(luò)狀態(tài)向著能量遞減的方向轉(zhuǎn)移，最后接近或者達(dá)到平衡點，也就組成了仿真最后的穩(wěn)定性輸出狀態(tài)。圖6給出了不同幅值調(diào)制信號情況下誤碼率隨著噪聲強(qiáng)度變化的曲線，從中可以看出隨著調(diào)制信號幅值增大，調(diào)制信號的能量越大，網(wǎng)絡(luò)輸出圖像的誤碼率也越低。給定信號幅值，誤碼率隨著噪聲強(qiáng)度的變化出現(xiàn)非周期隨機(jī)共振現(xiàn)象，在噪聲強(qiáng)度0.6-0.9區(qū)域達(dá)到最小值4.7×10-3。給定噪聲強(qiáng)度下，圖7給出了誤碼率與調(diào)制信號碼間間隔的變化曲線[17-20]，可以看出增大信號調(diào)制長度有利于減小誤碼率，使得網(wǎng)絡(luò)輸出信息的正確率增加。圖7是關(guān)于神經(jīng)元耦合個數(shù)對于誤碼率影響的仿真分析，當(dāng)Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)元耦合個數(shù)增加時，網(wǎng)絡(luò)的誤碼率產(chǎn)生明顯的遞減趨勢。由式(3)可知神經(jīng)元網(wǎng)絡(luò)中每個狀態(tài)的能量值，在穩(wěn)定狀態(tài)時均小于0，其余狀態(tài)均大于0。隨著時間的演化，網(wǎng)絡(luò)狀態(tài)總是在能量值最小的穩(wěn)態(tài)之間運動，當(dāng)網(wǎng)絡(luò)耦合數(shù)增加時，雙穩(wěn)態(tài)之間的轉(zhuǎn)換區(qū)域增大，神經(jīng)元輸出狀態(tài)的轉(zhuǎn)換需要更大的碼間間隔時間，在傳輸編碼方案不改進(jìn)的情況下，實驗表明增加神經(jīng)元個數(shù)無法進(jìn)一步減小誤碼率。

圖3 網(wǎng)絡(luò)在噪聲強(qiáng)度為0.25時輸出的圖像Fig.3 Output Image for the noise intensity of 0.25

圖4 網(wǎng)絡(luò)在噪聲強(qiáng)度為0.8時輸出的圖像Fig.4 Output Image for the noise intensity of 0.8

圖5 網(wǎng)絡(luò)在噪聲強(qiáng)度為2.8時輸出的圖像Fig.5 Output Image for the noise intensity of 2.8

圖6 不同幅值信號的誤碼率Fig.6 Error rate versus different signal amplitudes

圖7 不同神經(jīng)元耦合個數(shù)的誤碼率Fig.7 Error rate versus different neuron coupling numbers

3 結(jié)論

本文利用離散Hopfield神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了識別手寫數(shù)字研究，將手寫數(shù)字保存為二值圖像，由基本記憶形成的神經(jīng)網(wǎng)絡(luò)模型對二值圖像的像素值矩陣作為輸入調(diào)制信號進(jìn)行了處理，通過改變輸入信號的幅值大小和信號調(diào)制長度，從而對網(wǎng)絡(luò)輸出產(chǎn)生不同影響，從而得到不同識別率下的識別數(shù)字圖像。研究結(jié)果表明，信號調(diào)制長度和信號幅值與誤碼率成負(fù)相關(guān)，噪聲強(qiáng)度對于譯碼圖像識別效果的影響是非線性的，并且合適的噪聲強(qiáng)度可以使網(wǎng)絡(luò)得到清晰的數(shù)字圖像。進(jìn)一步地，分別把信號放在不同個數(shù)神經(jīng)元耦合的神經(jīng)網(wǎng)絡(luò)里進(jìn)行傳輸，研究發(fā)現(xiàn)小規(guī)模Hopfield神經(jīng)網(wǎng)絡(luò)非常適合二進(jìn)制圖像識別問題。本文雖然對不同噪聲強(qiáng)度下的離散Hopfield神經(jīng)網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象進(jìn)行了證實，但是神經(jīng)元模型的耦合矩陣是給定的權(quán)矩陣，不具有自適應(yīng)性，因此需要對自適應(yīng)的耦合系數(shù)或隨機(jī)耦合網(wǎng)絡(luò)作進(jìn)一步的動力學(xué)分析，對于今后復(fù)雜神經(jīng)系統(tǒng)的研究更具有實際意義。