摘 要:傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)存在著迭代緩慢、容易陷入局部極值而無法獲得全局最優(yōu)解等缺陷。在誤差反向傳播學(xué)習(xí)算法的基礎(chǔ)上,對網(wǎng)絡(luò)進(jìn)行改進(jìn),采用正交V系統(tǒng)作為基底,得到權(quán)值直接確定模型。算例表明,模型達(dá)到預(yù)期效果。
關(guān)鍵詞:V系統(tǒng);權(quán)值直接確定;神經(jīng)網(wǎng)絡(luò)
中圖分類號:TP181 ?文獻(xiàn)標(biāo)識碼:A
Abstract:The traditional BP neural network has the defects of slow iteration,easy to fall into local extremum and unable to obtain global optimal solution.On the basis of the error back propagation learning algorithm,the network is improved,and the orthogonal V system is used as the base to obtain the weight direct determination model.The example shows that the model achieves the desired results.
Key words:BP Neural network;Weights-Direct-Determination;V system
1 緒論
BP(back propagation)神經(jīng)網(wǎng)絡(luò)是由Rumelhart和McClelland于1986年首先提出的一種前向性神經(jīng)網(wǎng)絡(luò)。自提出以來,該網(wǎng)絡(luò)被應(yīng)用于預(yù)測分析、分類、函數(shù)逼近、模式識別等應(yīng)用場景。通過對CNKI、維普等數(shù)據(jù)庫中的文獻(xiàn)研究發(fā)現(xiàn),大部分BP神經(jīng)網(wǎng)絡(luò)的研究都集中在BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用方面,對該網(wǎng)絡(luò)在學(xué)習(xí)效率低、網(wǎng)絡(luò)泛化能力差、容易陷入極小等方面避而不談。另一方面,有相當(dāng)一部分學(xué)者致力于BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)化,如激活函數(shù)的選取、學(xué)習(xí)速率、學(xué)習(xí)步長的優(yōu)化等,但鮮有對網(wǎng)絡(luò)結(jié)構(gòu)的研究。
根據(jù)Kolomogorov定理,具有三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)可以任意逼近一個在實軸閉區(qū)間上的連續(xù)函數(shù)。如果增加網(wǎng)絡(luò)的深度,雖然能增加網(wǎng)絡(luò)的學(xué)習(xí)能力,但會影響網(wǎng)絡(luò)學(xué)習(xí)的速度。另一方面,隱含層神經(jīng)元的數(shù)目的確定,目前只能依靠經(jīng)驗公式,沒有一種統(tǒng)一的指導(dǎo)方法,更多的是靠運(yùn)氣。因此,傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)多采用三層拓?fù)浣Y(jié)構(gòu)。BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖1所示。
結(jié)論:權(quán)值迭代法受訓(xùn)練數(shù)據(jù)影響較大,由于訓(xùn)練數(shù)據(jù)是隨機(jī)選取的,所以識別準(zhǔn)確率不太穩(wěn)定;權(quán)值直接確定法達(dá)到了預(yù)期效果,迭代步驟少,更加節(jié)省資源。
5 結(jié)語
目前,大多數(shù)學(xué)者對于BP神經(jīng)網(wǎng)絡(luò)的研究集中在算法的優(yōu)化方面,比如把固定步長改為可變步長,在學(xué)習(xí)過程中采用遺傳算法等。本文在BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,提出了一種采用正交V系統(tǒng)作為基底的權(quán)值直接確定方法,通過實例驗證,該模型的評價效果達(dá)到了預(yù)期的要求。
參考文獻(xiàn):
[1]劉雪.一類新的完備正交系及其在圖形圖像處理中的應(yīng)用[D].北京:北方工業(yè)大學(xué),2007.
[2]殷奎喜,岸政七,許根穩(wěn).平滑化的正交型Walsh函數(shù)的構(gòu)造及在廣帶域擴(kuò)譜通訊中的應(yīng)用.東南大學(xué)學(xué)報,1999,29(6):20-26.
[3]張雨濃,郭東生,譚寧.冪激勵前向神經(jīng)網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)確定算法[J].計算機(jī)工程與應(yīng)用,2011,47(2):29-31.
[4]張雨濃,勞穩(wěn)超,余曉填,等.兩輸入冪激勵前向神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定[J].計算機(jī)工程與應(yīng)用,2012,48(15):102-106.
[5]楊文光.權(quán)值直接確定的三角型模糊前向神經(jīng)網(wǎng)絡(luò)[J].中山大學(xué)學(xué)報:自然科學(xué)版,2013,52(2):33-37.
基金項目:全國高等院校計算機(jī)基礎(chǔ)教育研究會項目(2018-AFCEC-350);天津職業(yè)大學(xué)科研項目:權(quán)值直接確定神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)處理的研究與應(yīng)用
作者簡介:崔媛(1978-),女,天津人,講師,研究方向:應(yīng)用統(tǒng)計。