陳駿 傅成華 郭輝
摘要摘要:在工程應用中經常遇到一些復雜的非線性系統(tǒng),這些系統(tǒng)狀態(tài)方程復雜,難以用數(shù)學方法精確建模。BP神經網絡可以描述這些非線性系統(tǒng)的輸入輸出映射關系,但其自身也存在較明顯的缺陷。應用遺傳算法和粒子群算法對BP神經網絡進行優(yōu)化,可彌補BP神經網絡尋優(yōu)時的缺陷。通過實例比較分析,兩種優(yōu)化算法有效提高了擬合精度。
關鍵詞關鍵詞:BP神經網絡;遺傳算法;粒子群優(yōu)化算法;函數(shù)逼近
DOIDOI:10.11907/rjdk.1431078
中圖分類號:TP312
文獻標識碼:A文章編號文章編號:16727800(2015)004007003
0引言
很多過程很難直觀地給出數(shù)學模型,影響了對其進一步的認識和操作。人工神經網絡具有很強的映射能力,可以自適應地對輸入數(shù)據(jù)產生聚類,通過訓練和學習可以對輸入空間產生非線性映射[12]。應用神經網絡實現(xiàn)對未知函數(shù)的逼近,可以建立系統(tǒng)模型。函數(shù)的擬合方法很多,應用神經網絡進行函數(shù)逼近的意義不僅僅在純數(shù)學領域,在工程和物理學領域也非常有用,如實驗數(shù)據(jù)擬合、圖像處理、信號預測等。
1遺傳算法優(yōu)化BP神經網絡模型
1.1遺傳算法原理
1975年,Holland教授[3]首次提出了一種借鑒生物界自然遺傳和自然選擇的隨機化搜索算法——遺傳算法。該算法是一種利用自然選擇和進化思想在高維空間中尋優(yōu)的方法,它不一定能尋得最優(yōu)點,但是可以找到更優(yōu)點。選擇、交叉、變異是其具有強大信息處理能力的3個基本算子。
(1)選擇算子。選擇算子又稱為繁殖算子,它從種群中選擇出適應度高的個體,適應度越高被選擇的可能性就越大。選擇是遺傳算法中最主要的算子,也是影響遺傳算法性能最主要的因素。
(2)交叉算子。交叉算子用于模擬生物進化過程中的繁殖交配現(xiàn)象。交叉算子通過模擬生物進化過程,交叉組合兩個染色體來產生新的染色體。交叉的主要目的在于使后代具有雙親染色體的優(yōu)點。
(3)變異算子。生物在自然環(huán)境中會因為各種偶然因素而引起基因突變,遺傳算法中的變異算子就是對這種現(xiàn)象的模擬,它的主要目的在于增強遺傳算法搜索最優(yōu)解的能力。
1.2遺傳算法優(yōu)化BP神經網絡
遺傳算法優(yōu)化BP神經網絡由3部分組成,分別是:①確定BP網絡結構;②遺傳算法優(yōu)化;③BP網絡對數(shù)據(jù)預測。通過擬合函數(shù)的輸入輸出參數(shù)來確定BP網絡結構,遺傳算法通過選擇、交叉和變異對個體進行篩選,從而找到最優(yōu)適應度對應的個體。個體中包含了BP網絡的初始權值和閾值。遺傳算法優(yōu)化BP神經網絡實際上是對BP神經網絡權值的優(yōu)化。
1.3案例分析
擬合函數(shù):
1.4建立模型
擬合函數(shù)有兩個輸入?yún)?shù),一個輸出參數(shù),所以BP神經網絡的結構為2—5—1。即輸入層有2個節(jié)點,隱含層有5個節(jié)點,輸出層有1個節(jié)點。從非線性函數(shù)隨機得到1 000組輸入輸出數(shù)據(jù),從中隨機選擇用于網絡訓練的數(shù)據(jù)900組,用于測試網絡擬合性能的數(shù)據(jù)100組。遺傳算法參數(shù)設置為:種群規(guī)模為10,進化次數(shù)為50次,交叉概率為0.4,變異概率為0.2。
2粒子群優(yōu)化BP神經網絡模型
2.1粒子群算法原理
粒子群算法又稱為粒子群優(yōu)化算法或微粒群算法, 1995年由美國心理學家Eberhart和電氣工程師Kennedy[45]提出。粒子群優(yōu)化算法是基于群體智能理論的優(yōu)化算法[6]。粒子群算法源于對鳥類捕食行為的模仿,從人工生命和演化計算理論中受到啟發(fā),用于求解最優(yōu)化問題。 粒子群算法在可解空間初始化一群粒子,可以用適應度、位置、速度這3項指標來確定該粒子的特征,每個粒子都是問題的潛在最優(yōu)解。粒子如鳥類覓食一樣在解空間運動,粒子更新一次便計算一次適應度值,通過對新粒子的個體極值與群體極值適應度值的不斷比較,不斷更新個體極值和群體極值的位置。
2.2粒子群算法優(yōu)化BP神經網絡
粒子群算法優(yōu)化BP神經網絡由3部分組成[7]:①確定BP網絡結構;②粒子群算法優(yōu)化;③BP網絡預測。BP網絡結構由給定擬合函數(shù)的輸入輸出參數(shù)確定。粒子群算法中的每個粒子代表了BP神經網絡的權值和閾值,粒子不斷尋優(yōu)就能找到BP網絡的最佳權值和閾值。
4結語
遺傳算法和粒子群優(yōu)化算法有很多共同之處:①都屬
于仿生算法,遺傳算法主要借用生物進化過程中的“適者生存”規(guī)律;粒子群優(yōu)化算法主要模擬鳥類覓食行為;②都屬于全局優(yōu)化方法,兩種算法在解空間都隨機產生初始種群,并且在全局的解空間進行搜索;③都屬于隨機搜索方法,遺傳算法的遺傳操作均屬隨機操作,而粒子群優(yōu)化算法中的認知項和社會項都加有隨機數(shù)。
由圖6可以看出實驗結果:粒子群算法優(yōu)化BP神經網絡的預測誤差更小, PSOBP網絡的函數(shù)擬合效果要優(yōu)于GABP網絡的函數(shù)擬合效果。這是因為:①遺傳算法中種群的改變會破壞算法以前的知識,但對于粒子群算法,好的解知識會保留,因為該算法有記憶;②粒子群優(yōu)化算法相對于遺傳算法沒有交叉和變異操作,粒子只通過內部速度進行更新,參數(shù)更少,實現(xiàn)容易。
粒子算法作為一種新興、智能且更為高效的搜索方法,它具有調教參數(shù)少、容易實現(xiàn)的特點,得到越來越廣泛的關注和應用。但是,它也存在一些不足,例如對于一些復雜離散的優(yōu)化問題容易陷入局部最優(yōu)點。作為一種新的智能優(yōu)化算法,粒子群優(yōu)化算法相比遺傳算法在收斂性方面的研究還比較薄弱。因此,未來需要在收斂性方面對粒子群算法進行更深入的理論研究。
參考文獻參考文獻:
[1]付濤,王大鎮(zhèn),弓清忠,等. 改進神經網絡自適應滑模控制的機器人軌跡跟蹤控制[J]. 大連理工大學學報,2014(5):523530.
[2]鐘穎,汪秉文. 基于遺傳算法的BP神經網絡時間序列預測模型[J]. 系統(tǒng)工程與電子技術,2002(4):911.
[3]徐富強,錢云,劉相國.GABP神經網絡的非線性擬合[J].微計算機信息,2012,28(7):148148.
[4]喬冰琴,常曉明. 改進粒子群算法在BP神經網絡擬合非線性函數(shù)方面的應用[J].太原理工大學學報,2012(5):558563.
[5]張郭軍,韓琳,徐坤. 混沌免疫粒子群優(yōu)化算法在BP網絡訓練中的應用[J]. 西安工程科技學院學報,2007(4):484488.
[6]林曉梅,呂珊珊,朱丹,等. 基于神經網絡──粒子群優(yōu)化算法的醫(yī)學圖像分割新方法[J]. 長春工業(yè)大學學報:自然科學版,2008(2):158161.
[7]李松,劉力軍,翟曼. 改進粒子群算法優(yōu)化BP神經網絡的短時交通流預測[J]. 系統(tǒng)工程理論與實踐,2012(9):20452049.
責任編輯(責任編輯:杜能鋼)