李牧樵

摘 要 人工神經(jīng)網(wǎng)絡(luò)是人類對計算工具研究領(lǐng)域取得的重要成果，它以模糊處理與形象思維作為研究方向，以神經(jīng)元模型為基礎(chǔ)，配合算法，通過不斷的數(shù)字化運(yùn)算，從而讓計算機(jī)軟件具有人腦的信息處理能力，從而完成復(fù)雜的非線性任務(wù)。文章主要介紹了人工神經(jīng)網(wǎng)絡(luò)的概念、特點(diǎn)，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，并且分析了人工神經(jīng)網(wǎng)絡(luò)發(fā)展過程中的幾種神經(jīng)網(wǎng)絡(luò)及特點(diǎn)，最后對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提出了建議。

關(guān)鍵詞 人工神經(jīng)網(wǎng)絡(luò)；神經(jīng)元模型；感知器；深度學(xué)習(xí)

中圖分類號 G2 文獻(xiàn)標(biāo)識碼 A 文章編號 1674-6708（2019）233-0137-2

現(xiàn)代電子計算機(jī)作為信息處理工具，借助高速數(shù)值運(yùn)算和精確的邏輯運(yùn)算能力，極大地拓展了人腦的能力，在信息處理和控制決策等各方面為人們提供了實(shí)現(xiàn)智能化和自動化的先進(jìn)手段。然而，半個世紀(jì)以來，基于馮氏原理的現(xiàn)代計算機(jī)，受限于傳統(tǒng)邏輯運(yùn)算規(guī)則，在學(xué)習(xí)認(rèn)知、記憶聯(lián)想、推理判斷、綜合決策等方面的信息處理能力遠(yuǎn)不能達(dá)到人腦的智能水平[ 1 ]。

近10多年來，基于大數(shù)據(jù)、深度學(xué)習(xí)及算力的提高，人工神經(jīng)網(wǎng)絡(luò)終于以不容忽視的潛力與活力進(jìn)入了快速發(fā)展的新時期，其運(yùn)行機(jī)制漸趨成熟，應(yīng)用領(lǐng)域日益擴(kuò)大，顯示了巨大潛力，神經(jīng)網(wǎng)絡(luò)及其相關(guān)模型賦予了傳統(tǒng)計算機(jī)新的生命力。

1 人工神經(jīng)網(wǎng)絡(luò)概述

1.1 概念

人工神經(jīng)網(wǎng)絡(luò)是近幾十年來人工智能領(lǐng)域內(nèi)的偉大發(fā)現(xiàn)，其以模仿人腦的神經(jīng)網(wǎng)絡(luò)處理問題的行為特征，采用廣泛互聯(lián)的神經(jīng)元結(jié)構(gòu)，以一定的規(guī)則進(jìn)行學(xué)習(xí)，并根據(jù)學(xué)習(xí)結(jié)果進(jìn)行推理判斷，從而達(dá)到處理信息的目的。網(wǎng)絡(luò)中的神經(jīng)元個數(shù)越多，記憶、識別的模式也就越多。它是對人腦的模擬、延伸和擴(kuò)展，是人工智能學(xué)科的重要分支。

1.2 特點(diǎn)

人工神經(jīng)網(wǎng)絡(luò)由大量神經(jīng)元廣泛互連，神經(jīng)元集信息存儲、處理為一體，具有空間上分布存放，時間上并行處理的特點(diǎn)。分布式存儲使得網(wǎng)絡(luò)具有良好的容錯性，當(dāng)網(wǎng)絡(luò)中部分神經(jīng)元損壞或輸入模糊、殘缺、變形信息時，信息仍可存取，重建、聯(lián)想記憶，給出次優(yōu)逼近解，類似人腦回憶時的從部分信息恢復(fù)全部信息的能力。雖然每個處理單元功能簡單，但神經(jīng)元的并行處理使得網(wǎng)絡(luò)具有較快的速度并呈現(xiàn)出豐富的功能。神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力。當(dāng)環(huán)境變化時，經(jīng)過一段時間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，掌握其中的潛在規(guī)律，并推算輸出結(jié)果[2]。

1.3 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本器件，又稱為“節(jié)點(diǎn)”。它是對生物神經(jīng)元的信息處理過程進(jìn)行抽象，并用數(shù)學(xué)語言予以描述。目前神經(jīng)元模型是由線性元件及閾值元件組成，是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。工作原理可參看圖1所示。

神經(jīng)元的信息處理特征不同，采用的變換函數(shù)也就不同，常用的變換函數(shù)有：閾值變換、非線性變換、分段線性變換和概率型變換函數(shù)。將大量神經(jīng)元按一定規(guī)則連接在一起，并且各神經(jīng)元的連接權(quán)可按一定規(guī)則變化，這就構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)模型。按照網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，人工神經(jīng)網(wǎng)絡(luò)模型可分為層次型結(jié)構(gòu)和互連型結(jié)構(gòu)。根據(jù)內(nèi)部信息的傳遞方向，人工神經(jīng)網(wǎng)絡(luò)模型可分為即前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。實(shí)際應(yīng)用的神經(jīng)網(wǎng)絡(luò)可能同時兼有其中一種或幾種形式。

1.4 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

不論是任何復(fù)雜的任務(wù)，神經(jīng)網(wǎng)絡(luò)對問題的解算需要不斷對大量樣本進(jìn)行學(xué)習(xí)訓(xùn)練，從而改變網(wǎng)絡(luò)的連接權(quán)值，使得網(wǎng)絡(luò)的輸出不斷地接近期望的輸出結(jié)果，改變權(quán)值的具體規(guī)則也被稱為學(xué)習(xí)算法。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法主要分為兩類：監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。

監(jiān)督學(xué)習(xí)也稱有導(dǎo)師學(xué)習(xí)，其訓(xùn)練方法為：采用糾錯規(guī)則，將實(shí)際輸出與參照信息（教師信號）進(jìn)行比較，不相符合時，則根據(jù)差錯的方向和大小調(diào)整權(quán)值，以使下一步的輸出結(jié)果更接近期望值。經(jīng)過學(xué)習(xí)訓(xùn)練，當(dāng)網(wǎng)絡(luò)對于各種給定的輸入均能產(chǎn)生期望的輸出時，可認(rèn)為網(wǎng)絡(luò)已在導(dǎo)師的訓(xùn)練下“學(xué)會”了訓(xùn)練集中的知識和規(guī)則。而相反的是，無監(jiān)督學(xué)習(xí)需要神經(jīng)網(wǎng)絡(luò)自身設(shè)計類別并完成歸類，例如，給出一堆由兩種水果組成的“水果堆”，但是不知道是哪兩種水果，神經(jīng)網(wǎng)絡(luò)需要自己完成分類任務(wù)。

2 典型神經(jīng)網(wǎng)絡(luò)

2.1 感知器及其衍生神經(jīng)網(wǎng)絡(luò)

感知器是眾多神經(jīng)網(wǎng)絡(luò)中最簡單的一種神經(jīng)網(wǎng)絡(luò)，其也是組成復(fù)雜神經(jīng)網(wǎng)絡(luò)的基本單元。感知器神經(jīng)網(wǎng)絡(luò)模型基于MP模型結(jié)構(gòu)，采用監(jiān)督學(xué)習(xí)來逐步增加模式劃分功能，達(dá)到學(xué)習(xí)目的，是研究其他網(wǎng)絡(luò)的基礎(chǔ)。感知器能做簡單的線性分類任務(wù)，無法解決XOR（異或）類的分類任務(wù)。于是，出現(xiàn)了多層感知器，在輸入與輸出層之間增加隱層（一層或多層神經(jīng)元），構(gòu)成多層前饋網(wǎng)絡(luò)，如圖2所示。

多層感知器模型利用足夠多隱層表達(dá)更為復(fù)雜的非線性函數(shù)，以實(shí)現(xiàn)任何模式分類，也包括異或問題。不過，多層感知器模型沒有合理解決如何確定權(quán)值（學(xué)習(xí)算法），這一度阻礙了神經(jīng)網(wǎng)絡(luò)的發(fā)展，直到反向傳播（BP）算法出現(xiàn)并應(yīng)用于多層感知器的訓(xùn)練。

BP算法的基本原理是誤差的反向傳播，通過輸入信息求出輸出結(jié)果，上層（輸入）神經(jīng)元的狀態(tài)影響下層（輸出）神經(jīng)元狀態(tài)。當(dāng)輸出層得不到希望的輸出時，則轉(zhuǎn)入反向傳播。反向傳播用于從下層（輸出）向上層（輸入）逐層向后傳遞誤差，逐一修正神經(jīng)元間的連接權(quán)值誤差。當(dāng)參數(shù)適當(dāng)時，此網(wǎng)絡(luò)的實(shí)際輸出能夠以較小的均方誤差收斂到期望輸出。

BP算法解決了非線性的分類問題，是訓(xùn)練前向多層網(wǎng)絡(luò)的較好算法。不過，BP算法存在梯度消失問題，即模型訓(xùn)練超過一定迭代次數(shù)后容易產(chǎn)生過擬合，使得訓(xùn)練集和測試集數(shù)據(jù)分布不一致，無法有效學(xué)習(xí)。這之后出現(xiàn)了不少改進(jìn)算法，比如增加動量項、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率，引入陡度因子等。

在神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中，還出現(xiàn)了不少神經(jīng)網(wǎng)絡(luò)，如自組織特征映射網(wǎng)絡(luò)SOM、徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)等，它們是神經(jīng)網(wǎng)絡(luò)發(fā)展史的一個個縮影[ 3 ]。

2.2 深度神經(jīng)網(wǎng)絡(luò)

大數(shù)據(jù)時代的到來以及算力的提高，掀起了深度學(xué)習(xí)浪潮。深度學(xué)習(xí)能發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)，也因此大幅度提升了神經(jīng)網(wǎng)絡(luò)的效果。

深度神經(jīng)網(wǎng)絡(luò)包含多個隱層，每層都可以采用監(jiān)督學(xué)習(xí)或非監(jiān)督學(xué)習(xí)進(jìn)行非線性變換，實(shí)現(xiàn)對上層的特征抽象。深度神經(jīng)網(wǎng)絡(luò)利用逐層特征組合，配合海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而提升分類或預(yù)測的準(zhǔn)確性，即：大量訓(xùn)練數(shù)據(jù)+特征學(xué)習(xí)→數(shù)據(jù)推斷。它的工作原理如圖3所示。

深度學(xué)習(xí)一定程度上改善了以往傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中所表現(xiàn)出來的目標(biāo)函數(shù)優(yōu)化的局部極小、不能收斂到穩(wěn)定狀態(tài)等問題，可以忽略局部極值問題對于深層網(wǎng)絡(luò)的影響。典型的深度學(xué)習(xí)算法主要包括深信網(wǎng)、深度玻耳茲曼機(jī)、棧式自動編碼器和卷積神經(jīng)網(wǎng)絡(luò)。目前，深度學(xué)習(xí)興趣點(diǎn)主要是數(shù)據(jù)標(biāo)注的監(jiān)督學(xué)習(xí)，而無監(jiān)督學(xué)習(xí)和深度學(xué)習(xí)模型的小數(shù)據(jù)泛化能力將是今后關(guān)注方向。語音、圖像和自然語言處理是深度學(xué)習(xí)應(yīng)用最廣泛的3個領(lǐng)域。

3 結(jié)論

目前，在許多任務(wù)上，人工神經(jīng)網(wǎng)絡(luò)都取得了匹敵甚至超越人類的成果，但也還存在不少亟待攻克的問題。首先，深度學(xué)習(xí)的訓(xùn)練過程需要大量數(shù)據(jù)，而人工標(biāo)注的成本較高，可考慮加強(qiáng)從未標(biāo)注數(shù)據(jù)的學(xué)習(xí)，或者自動生成數(shù)據(jù)進(jìn)行訓(xùn)練，如GANs就是一種數(shù)據(jù)生成模型。其次，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)相對復(fù)雜，數(shù)據(jù)的訓(xùn)練時間較長，需要消耗的資源巨大，特別在移動設(shè)備上無法取得較好的效果，可考慮：

1）直接壓縮或設(shè)計更精巧的模型，從而簡化模型結(jié)構(gòu)；

2）提升算法效率，提高計算質(zhì)量；

3）提高搭載網(wǎng)絡(luò)的硬件計算力，縮短處理時間；

4）發(fā)揮云計算，使得在小模型上也能跑出大模型的效果；

5）可基于訓(xùn)練和推理的不同特性，實(shí)現(xiàn)網(wǎng)絡(luò)各部分結(jié)構(gòu)化、集成化，提高網(wǎng)絡(luò)調(diào)整的靈活性，便于網(wǎng)絡(luò)功能擴(kuò)展[ 4 ]。另外，還可以拓展應(yīng)用領(lǐng)域，向通用型智能發(fā)展。

參考文獻(xiàn)

[1]焦李成，楊淑媛，劉芳，等.神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望[J].計算機(jī)學(xué)報，2016，39（8）：1697-1716.

[2]韓力群，施彥.人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2017：142-148.

[3]王廣.人工神經(jīng)網(wǎng)絡(luò)發(fā)展現(xiàn)狀綜述[J].中小企業(yè)管理與科技，2017（2）：165-167.

[4]李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)應(yīng)用，2016，36（9）：2508-2515.