張 敬 玲

(無錫商業(yè)職業(yè)技術學院 現(xiàn)代教育中心，江蘇 無錫 214153)

?

BP神經(jīng)網(wǎng)絡的應用

張 敬 玲

(無錫商業(yè)職業(yè)技術學院 現(xiàn)代教育中心，江蘇 無錫 214153)

回顧了人工神經(jīng)網(wǎng)絡的發(fā)展史，分析了BP神經(jīng)網(wǎng)絡的結構，對BP神經(jīng)網(wǎng)絡在函數(shù)逼近、模式識別、分類應用、數(shù)據(jù)壓縮等方面的應用進行了綜述.

BP神經(jīng)網(wǎng)絡；應用；結構；綜述

人工神經(jīng)網(wǎng)絡技術的誕生為處理眾多不確定、不完整的數(shù)據(jù)提供了一個嶄新的途徑，尤其是BP神經(jīng)網(wǎng)絡，它在函數(shù)逼近、模式識別、分類應用、數(shù)據(jù)壓縮等方面得到了廣泛的應用.本文主要介紹BP神經(jīng)網(wǎng)絡的應用情況.

1 人工神經(jīng)網(wǎng)絡的發(fā)展史

人工神經(jīng)網(wǎng)絡是根據(jù)人類神經(jīng)的活動而建立的模仿人類大腦神經(jīng)活動的數(shù)學模型.神經(jīng)網(wǎng)絡的研究經(jīng)歷了30多年，回看它的發(fā)展歷史，可以劃分為三個階段.第一階段：啟蒙階段.1890年美國心理學家W·James著的《心理學原理》，首次提出了人腦結構與功能的聯(lián)系.數(shù)學家Pitts和生理學家Mcculloch給出了首個神經(jīng)元的數(shù)學模型，即M-P模型，并深入研究了基于神經(jīng)元模型的若干個基本元件互相連接的潛在功能.Hebb于1949年在《行為構成》中首次提出了改變神經(jīng)元連接強度的Hebb規(guī)則.1958年感知器(Perceptron)的概念首先由計算機學家Rosenblant引入，并構造出了人類第一個人工神經(jīng)網(wǎng)絡.第二階段：低潮階段.Minsky在《Preceptron》一書中指出，線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題.這就給眾多的學者潑了一盆冷水，并導致美國及前蘇聯(lián)的一些科研機構紛紛停止對此類項目的資助,以至于這個領域的眾多學者被迫轉向其他課題的研究.這一階段長達10年.第三階段：發(fā)展階段.1982年Hopfield在美國國家科學院的刊物上提出了著名的Hopfield模型，引入了“能量函數(shù)”的概念，論述了在一定條件下網(wǎng)絡可以達到穩(wěn)定的狀態(tài).這引起了工程界的莫大興趣.1986年美國David E.Rumelhart和James L.Mccelland發(fā)表了《并行分布式處理》一文，文中對認知的微觀研究進行了論證，對具有非線性的、連續(xù)轉移函數(shù)的多層前饋網(wǎng)絡的誤差反向傳播算法(即BP算法)進行了詳細的分析,解決了長期以來無權值調整有效算法的難題.BP算法至今一直在廣泛運用.[1-4]

2 BP神經(jīng)網(wǎng)絡的結構

組成人工神經(jīng)網(wǎng)絡的基本單元是神經(jīng)元，它本身十分簡單.按照計算或者表示，它不具有強大的功能，但龐大的神經(jīng)網(wǎng)絡是由大量的神經(jīng)元組成的，有高超的信息處理能力，神經(jīng)網(wǎng)絡的超強功能與其大規(guī)模并行連接、非線性處理及互連結構的可塑性密切相關，因此，要遵循一定的規(guī)則才能將神經(jīng)元互連成網(wǎng)絡.連接方式的不同決定了神經(jīng)網(wǎng)絡可分為兩大類，即相互連接型網(wǎng)絡和無反饋的前向網(wǎng)絡.BP網(wǎng)絡是一種典型單向傳播的多層前向網(wǎng)絡.BP算法又稱誤差反向傳播算法，在神經(jīng)網(wǎng)絡的研究中具有悠久的歷史，其核心是梯度下降法，即由信號的正向傳播與誤差的反向傳播兩個過程組成.正向傳播時，樣本數(shù)據(jù)從輸入層輸入，經(jīng)隱層處理后，傳向輸出層.若輸出層的實際輸出值與期望值有出入，則轉向誤差的反向傳播階段.誤差反傳是將輸出誤差通過隱層向輸入層方向逐層反傳，并將誤差分派給各層中的每個單元，所有單元獲得誤差信號后，會將此誤差信號作為修正各單元權值的依據(jù).其構造包括輸入層、隱層及輸出層，隱層可以為一層到多層.每層上的神經(jīng)元稱作節(jié)點或單元.同層節(jié)點無任何耦合.每一層節(jié)點的輸出只影響下一層節(jié)點的輸入[1].BP神經(jīng)網(wǎng)絡結構如圖1所示.

圖1 BP神經(jīng)網(wǎng)絡結構

3 BP神經(jīng)網(wǎng)絡的應用

3.1 函數(shù)逼近的應用

非線性是BP的特點之一.這源于BP神經(jīng)網(wǎng)絡在理論上可以以任意精度逼近任何非線性映射.如文獻[5]設計了一個三層BP網(wǎng)絡以完成非線性函數(shù)逼近的任務，網(wǎng)絡結構為：輸入和輸出層各一個，隱層七個.訓練次數(shù)為1000，學習速率為0.01，訓練誤差為0.0001，試驗結果表明，BP神經(jīng)網(wǎng)絡能對非線性函數(shù)進行很好的逼近.文獻[6]利用BP神經(jīng)網(wǎng)絡進行了曲線擬合，由于設置了20個節(jié)點，選取了合適的網(wǎng)絡結構，網(wǎng)絡經(jīng)過100步的訓練得到了各節(jié)點之間的權值和閾值，得出了滿足不同精度要求的用戶的擬合曲線.文獻[7]利用串聯(lián)BP神經(jīng)網(wǎng)絡多函數(shù)擬合，在研究神經(jīng)網(wǎng)絡對非線性函數(shù)擬合的過程中發(fā)現(xiàn)，一個網(wǎng)絡同時只能對一個函數(shù)進行擬合，為了實現(xiàn)多個非線性函數(shù)的擬合，將多個BP神經(jīng)網(wǎng)絡串聯(lián)組成一個BP神經(jīng)網(wǎng)絡，并在訓練樣本中加入噪聲信號，經(jīng)過342次訓練后擬合，誤差為0.000 978.串聯(lián)BP神經(jīng)網(wǎng)絡能很好地對兩個待擬合函數(shù)進行擬合.BP網(wǎng)絡的拓撲結構可以直接影響網(wǎng)絡對函數(shù)的逼近能力和效果，利用神經(jīng)網(wǎng)絡進行非線性擬合具有擬合速度快、精度高的特點.

3.2 模式識別的應用

BP神經(jīng)網(wǎng)絡的信息處理原理建立在模式聯(lián)想的基礎上，通過自組織或學習訓練的網(wǎng)絡具有強有力的模式識別能力，與傳統(tǒng)的模式識別系統(tǒng)相比，它表現(xiàn)出明顯的優(yōu)越性.文獻[8]利用BP神經(jīng)網(wǎng)絡基于熵類誤差準則函數(shù)進行模式識別時，提出要避免“過學習”現(xiàn)象，在模式識別訓練中，從關注總體誤差效應改為重視個體誤差效應，因此，提出誤差逼近度ER的取值為0.1，它在眾多的模式識別應用中，能夠快速鑒別出相應的模式.文獻[9]采用動態(tài)、系統(tǒng)地調整學習率η、動量因子α、斜率λ等參數(shù)的方法對BP神經(jīng)網(wǎng)絡進行了研究，改進了BP網(wǎng)絡的收斂速度，降低了異常值誤差帶來的影響，同時令網(wǎng)絡陷入局部極小的可能性大大降低，從而提高了BP網(wǎng)絡模式的識別能力.將這一成果應用在汽車工業(yè)生產(chǎn)線上的零件識別中，取得了非常滿意的結果.BP神經(jīng)網(wǎng)絡在模式識別中容易受到噪聲的影響，因此，在應用中還有待于進一步改進.

3.3 分類應用

BP神經(jīng)網(wǎng)絡作為非線性的數(shù)學模型，經(jīng)過一定的訓練之后，能夠辨識隱藏在數(shù)據(jù)背后的一些復雜規(guī)律.文獻[10]利用神經(jīng)網(wǎng)絡分別以典型金礦、銅礦做礦床規(guī)模和類型分類，結果表明，BP 神經(jīng)網(wǎng)絡收斂速度快，具有較高的學習效率，能夠很好地對數(shù)據(jù)進行分類.文獻[11]利用BP神經(jīng)網(wǎng)絡基于LM算法的特點在遙感影像的分類中進行了應用，僅用79次訓練就達到了設定的收斂精度，分類過程僅持續(xù)了32 s，分類精度明顯提高，這進一步驗證了BP是一個很好的分類器.用BP神經(jīng)網(wǎng)絡模型對數(shù)據(jù)進行分類仍存在許多亟待解決的問題，如神經(jīng)網(wǎng)絡最佳結構的確定、參數(shù)選擇等.

3.4 數(shù)據(jù)壓縮應用

近年來，數(shù)據(jù)壓縮方法獲得了很大的發(fā)展，已出現(xiàn)了多種壓縮方法，這在傳輸過程中可以提高傳輸效率.文獻[12]利用人工神經(jīng)網(wǎng)絡對圖像數(shù)據(jù)進行了壓縮研究，網(wǎng)絡訓練時間明顯下降；將BP神經(jīng)網(wǎng)絡用于空間流體實驗圖像壓縮中，取得了較高的壓縮比及較好的重建圖像質量，而且訓練好的網(wǎng)絡魯棒性也較高.文獻[13]利用BP神經(jīng)網(wǎng)絡，采用改進的最速梯度下降法設計網(wǎng)絡，網(wǎng)絡結構輸入層神經(jīng)元為64個，隱含層神經(jīng)元數(shù)目可變，輸出層神經(jīng)元為64個，網(wǎng)絡訓練次數(shù)為200次，目標誤差為0.1，動量因子α為0.4，學習速率η為0.02，仿真結果表明，其所設計的網(wǎng)絡圖像壓縮效果良好，并具有較好的泛化能力，與傳統(tǒng)的圖像壓縮技術對圖像進行無損或有損的編碼壓縮技術相比，BP神經(jīng)網(wǎng)絡技術的非線性、容錯性、自組織性和自適應性在數(shù)據(jù)壓縮技術中得到廣泛應用，并大大簡化了數(shù)據(jù)壓縮的復雜性.

4 結語

BP神經(jīng)網(wǎng)絡以其獨特的性質為函數(shù)逼近、模式識別、分類應用、數(shù)據(jù)壓縮研究提供了全新的途徑，目前，BP神經(jīng)網(wǎng)絡已被運用到許多方面，如模式識別、預測、自動控制等，相信在以后的研究和發(fā)展中，BP 神經(jīng)網(wǎng)絡的應用會更加廣泛，研究者也會取得更多的成就.

[1] 韓力群.人工神經(jīng)網(wǎng)絡教程 [M].北京：北京郵電大學出版社,2006：59-79.

[2] 程冰.模糊神經(jīng)網(wǎng)絡研究 [D].廣州：廣東工業(yè)大學，2005.

[3] 王立新.模糊系統(tǒng)與模糊控制教程 [M].北京：清華大學出版社，2003：231-236.

[4] 張永忠.一種新的模糊系統(tǒng)建模方法研究與應用 [J].冶金自動化，2004，28(21)：9-12.

[5] 吳正茂，羅健.利用BP神經(jīng)網(wǎng)絡實現(xiàn)函數(shù)逼近 [J].長江工程職業(yè)技術學院學報，2005(6)：50-52.

[6] 盛仲飆，同曉榮.BP神經(jīng)網(wǎng)絡在曲線擬合中的應用 [J].科學技術與工程，2001(10):6998-7000

[7] 陳旭偉，傅剛，陳環(huán).基于串聯(lián)BP神經(jīng)網(wǎng)絡多函數(shù)擬合的研究設計 [J].現(xiàn)代電子技術，2013(11)：14-16.

[8] 王宗炎，洪振華.BP網(wǎng)學習算法的改進及其在模式識別中的應用 [J].南京航空航天大學學報，1994(11)：216-223.

[9] 姜立芳，劉泊，施蓮輝.一種改進的BP算法及其在模式識別中的應用 [J].哈爾濱理工大學學報，2003(8)：91-92.

[10] 陰江寧，肖克炎，李楠，等.BP神經(jīng)網(wǎng)絡在化探數(shù)據(jù)分類中的應用 [J].地質通報，2010(10)：1564-1571.

[11] 都業(yè)軍，周肅，斯琴其其格，等.人工神經(jīng)網(wǎng)絡在遙感影像分類中的應用與對比研究 [J].測繪科學，2010(4)：120-121.

[12] 鄭建華.BP神經(jīng)網(wǎng)絡在空間流體實驗數(shù)據(jù)壓縮中的應用 [J].中國圖像圖形學報,2001(6)：219-222.

[13] 張習民,卓東風.BP神經(jīng)網(wǎng)絡在圖像壓縮中的應用研究 [J].河南教育學院學報:自然科學版,2010(6)：28-32.

責任編輯：金 欣

Application of BP neural network

ZHANG Jing-ling

(Department of Computer Engineering,Wuxi Institute of Commerce, Wuxi, Jiangsu 214153, China)

This paper reviews the development of artificial neural networks, and analyzes the structure of BP neural network, BP neural network function approximation, pattern recognition, application of classification, and data compression.

BP neural networks; application; structure; review

2014-11-04

張敬玲(1968-)，女，河北石家莊人，無錫商業(yè)職業(yè)技術學院副教授,碩士，研究方向：計算機應用及人工智能技術.

1009-4873(2015)04-0034-03

TP183

A