周文芃

（北京市第四十四中學(xué)，北京 100045）

1 引言

人工智能是計算機工程與科學(xué)的重要研究領(lǐng)域，隨著2016年AlphaGo對戰(zhàn)國際著名圍棋手李世石一役其逐漸進入大眾視野，更獲得進一步蓬勃發(fā)展。推動人工智能快速發(fā)展的三大基石分別是大數(shù)據(jù)、大規(guī)模并行計算與深度學(xué)習(xí)，其中相對來說深度學(xué)習(xí)更是其核心所在。

深度學(xué)習(xí)由機器學(xué)習(xí)和多層神經(jīng)網(wǎng)絡(luò)演化發(fā)展而來，其本質(zhì)是通過模擬人腦結(jié)構(gòu)和機理建立分層結(jié)構(gòu)模型，對海量數(shù)據(jù)從底層到高層自動獲得層次性多層次表達，進行逐級特征提取，從而很好地建立從底層信號到高層語義的映射關(guān)系[1-2]。在大數(shù)據(jù)和人工智能背景下探析深度學(xué)習(xí)的發(fā)展動機和理論基礎(chǔ)，進一步理解深度學(xué)習(xí)常用算法模型，進而探索深度學(xué)習(xí)發(fā)展的挑戰(zhàn)及前景具有重大現(xiàn)實意義。

2 深度學(xué)習(xí)的發(fā)展背景及動機

機器學(xué)習(xí)是現(xiàn)代信息技術(shù)發(fā)展的新興產(chǎn)業(yè)，它是在計算機技術(shù)、控制決策論、信息論、神經(jīng)生物科學(xué)、語言學(xué)等多學(xué)科交叉基礎(chǔ)上，以大數(shù)據(jù)為基礎(chǔ)發(fā)展形成的一門模擬人類智能的科學(xué)技術(shù)[3]。人工智能下的機器學(xué)習(xí)開啟了科學(xué)研究的第四范式，其核心是在計算機技術(shù)的載體下，借助計算機來模擬人的思維方式，進而應(yīng)用到實際生活中，幫助人類處理實際問題。根據(jù)學(xué)習(xí)模型的層次結(jié)構(gòu)可將機器學(xué)習(xí)分為淺層學(xué)習(xí)和深層學(xué)習(xí)兩種類型。

20世紀80年代以來，機器學(xué)習(xí)在理論、算法、模型和實際應(yīng)用中取得了巨大成就，尤其是淺層學(xué)習(xí)模型在計算機領(lǐng)域獲得廣泛應(yīng)用。但隨著信息化時代的來臨，由于淺層學(xué)習(xí)模型通過運用專家經(jīng)驗進行數(shù)據(jù)特征提取，主要用于分類和回歸預(yù)測的特點使得機器學(xué)習(xí)在模擬人類智能時樣本特征提取主要依靠專家經(jīng)驗，而人類大腦學(xué)習(xí)則是全自動狀態(tài)，因此傳統(tǒng)機器學(xué)習(xí)具有一定局限性[4]，極大程度上制約著人工智能技術(shù)的發(fā)展。信化時代的到來使得大數(shù)據(jù)已充斥在人類生產(chǎn)和生活當(dāng)中，大數(shù)據(jù)不僅改變著經(jīng)濟產(chǎn)業(yè)現(xiàn)狀，更改變著基于概率與統(tǒng)計意義下的數(shù)據(jù)分析原理，促進著新一輪數(shù)據(jù)科學(xué)的創(chuàng)新。大數(shù)據(jù)時代數(shù)據(jù)的規(guī)模性、多樣性、時效性和價值性上的復(fù)雜特性，大數(shù)據(jù)含有復(fù)雜的信息維度，傳統(tǒng)的淺層學(xué)習(xí)處理、分析大數(shù)據(jù)時處于欠擬合狀態(tài)，基于人工規(guī)則構(gòu)造特征的“大數(shù)據(jù)+淺層學(xué)習(xí)模型”不能從本質(zhì)上挖掘海量數(shù)據(jù)結(jié)構(gòu)特征，因此利用大數(shù)據(jù)來學(xué)習(xí)特征，進行深度學(xué)習(xí)模型研究更能夠揭露數(shù)據(jù)內(nèi)涵本質(zhì)信息。此外，人類大腦神經(jīng)中樞在進行信息處理時信息特征具有逐層傳遞的特征，當(dāng)信息由人類器官經(jīng)過連續(xù)多層神經(jīng)網(wǎng)絡(luò)系統(tǒng)傳遞到大腦時，每個層次的神經(jīng)元都會進行激發(fā)以識別信息特征，比如在人類視覺原理中，視覺信息先從原始信號攝入開始，逐漸經(jīng)過各類層次神經(jīng)網(wǎng)絡(luò)提取一些物體的特征，最后不同的高級特征就組合成相應(yīng)的圖像，從而能夠讓人準確的區(qū)分不同的物體。這種分層處理機制啟示了人工智能專家開發(fā)構(gòu)造新一輪機器學(xué)習(xí)模型進行分層表達和無監(jiān)督學(xué)習(xí)的構(gòu)想。因此，2006年 Hinton等人提出的深度學(xué)習(xí)便在此背景和動機下應(yīng)運而生。

3 深度學(xué)習(xí)的基本原理與模型簡介

在2017年機器學(xué)習(xí)領(lǐng)域著名神經(jīng)信息處理系統(tǒng)進展大會上Google工程師Ali Rahimi在發(fā)言中提到，“深度學(xué)習(xí)成就了今天的煉金術(shù)”，這個比喻極大說明了當(dāng)今深度學(xué)習(xí)理論的缺乏，因此探究深度學(xué)習(xí)的基本原理具有重大意義。深度學(xué)習(xí)充分借鑒了人腦神經(jīng)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)分層結(jié)構(gòu)，其實質(zhì)是通過多層結(jié)構(gòu)對每層數(shù)據(jù)中信息進行特征提取的非線性組合，從原始數(shù)據(jù)開始將每層特征逐層轉(zhuǎn)換為更高層的抽象表示，從而發(fā)現(xiàn)高維數(shù)據(jù)復(fù)雜的結(jié)構(gòu)特征。深度學(xué)習(xí)算法目前大多基于的深度神經(jīng)網(wǎng)絡(luò)，可以通俗理解為多層神經(jīng)網(wǎng)絡(luò)，通過每個神經(jīng)網(wǎng)絡(luò)訓(xùn)練出一系列數(shù)據(jù)特征，當(dāng)實際輸出結(jié)果與目標(biāo)函數(shù)有一定差距時，就會進行反饋再訓(xùn)練，直到結(jié)果已經(jīng)收斂。此外，大數(shù)據(jù)賦予了深度學(xué)習(xí)極大機遇，目前深度學(xué)習(xí)的基本方式也是大數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方式，是機器的自主學(xué)習(xí)，即讓機器自己的去學(xué)習(xí)的一種技術(shù)，其中比較、優(yōu)選、積累、提煉、再比較、再優(yōu)選、再積累、再提煉，采用由上而下的監(jiān)督訓(xùn)練方法，由下而上的非監(jiān)督學(xué)習(xí)就是人工智能的機器學(xué)習(xí)深度學(xué)習(xí)的路徑。

下面介紹兩個目前了解的常用深度學(xué)習(xí)模型，Adam算法模型和卷積神經(jīng)網(wǎng)絡(luò)模型。Adam算法是一種可以替代傳統(tǒng)隨機梯度下降過程的一階優(yōu)化算法，它與傳統(tǒng)隨機梯度下降算法不同，學(xué)習(xí)率在自適應(yīng)訓(xùn)練學(xué)習(xí)中通過一階矩和二階矩估計不斷變化，通過訓(xùn)練數(shù)據(jù)迭代來不斷更新神經(jīng)網(wǎng)絡(luò)權(quán)重。Adam的名字來源于適應(yīng)性矩估計（Adaptive Moment Estimation），Adam優(yōu)化算法應(yīng)用具有直截了當(dāng)?shù)貙崿F(xiàn)、高效的計算和所需存儲內(nèi)存較少等優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)模型是目前深度學(xué)習(xí)最常用的算法之一，他與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法不同，包含了一個由卷積層和子采樣層構(gòu)成的特征抽取器，充分利用了數(shù)據(jù)本身包含的局部性等特征優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，并且保證某種程度上的不變性[5]，深度學(xué)習(xí)最真正的成功就是卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)主要包括卷積部分和全連接部分，卷積部分包括卷積層、激活層和下采樣層，其中下采樣層通過疊加提取特征信息，全連接部分則連接特征提取和輸出計算損失，和完成識別分類等功能。

4 深度學(xué)習(xí)發(fā)展的挑戰(zhàn)及展望

在大數(shù)據(jù)和人工智能信息化時代，深度學(xué)習(xí)具有廣闊發(fā)展前景并面臨巨大挑戰(zhàn)。深度學(xué)習(xí)橫跨了計算機科學(xué)、工程技術(shù)和統(tǒng)計學(xué)等多門學(xué)科，并應(yīng)用于政治、天文、地理及社會生活等廣泛的領(lǐng)域，能夠處理高維稀疏的數(shù)據(jù)，但是深度學(xué)習(xí)依舊面臨著嚴酷的挑戰(zhàn)，比如數(shù)學(xué)理論的缺乏：算法的穩(wěn)定性、深度算法需要多少隱層，在大規(guī)模網(wǎng)絡(luò)中，需要多少有效參數(shù)是目前需要解決的問題，并且在運用經(jīng)典的深度模型時，實驗結(jié)果可能不理想，這就要求根據(jù)特定的問題和數(shù)據(jù)來優(yōu)化深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)。再進而如何將深度學(xué)習(xí)更進一步應(yīng)用于大數(shù)據(jù)信息化時代，挖掘數(shù)據(jù)背后潛藏的價值也是深度學(xué)習(xí)領(lǐng)域重點關(guān)注的問題。Google的AlphaGo使得更多人了解深度學(xué)習(xí)，人工智能目前已逐漸大眾化，基于大數(shù)據(jù)分析尤其是深度學(xué)習(xí)的智能理論與產(chǎn)業(yè)結(jié)合是目前我國乃至全世界密切關(guān)注、探索的問題，深度學(xué)習(xí)領(lǐng)域的計算機視覺、自然語言處理、圖像識別等在未來將會大有作為，深度學(xué)習(xí)和復(fù)雜推理的有效結(jié)合必將推動人類實現(xiàn)人工智能的終極目標(biāo)，更好服務(wù)于全社會。