沈榮+張保文

摘要：文中對深度學(xué)習的發(fā)展現(xiàn)狀及合作領(lǐng)域進行了闡述，對深度學(xué)習的基本模型進行了介紹。主要對卷積神經(jīng)網(wǎng)絡(luò)的基本模型進行了介紹，對卷積神經(jīng)網(wǎng)絡(luò)模型的基本工作原理進行初步分析，對深度置信網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)進行了基本描述，為后續(xù)深度學(xué)習及卷積神經(jīng)網(wǎng)絡(luò)的深入學(xué)習打下基礎(chǔ)。

關(guān)鍵詞：深度學(xué)習；機器學(xué)習；卷積神經(jīng)網(wǎng)絡(luò)

1概述

深度學(xué)習（Deep Learning）是人工智能、圖像建模、模式識別、神經(jīng)網(wǎng)絡(luò)、最優(yōu)化理論和信號處理等領(lǐng)域的交叉學(xué)科，主要構(gòu)建和模擬人腦進行分析學(xué)習，它屬于機器學(xué)習的新興領(lǐng)域。

2大數(shù)據(jù)與深度學(xué)習

目前，光學(xué)檢測、互聯(lián)網(wǎng)、用戶數(shù)據(jù)、互聯(lián)網(wǎng)、金融公司等許多領(lǐng)域都出現(xiàn)了海量數(shù)據(jù)，采用BP算法對于訓(xùn)練神經(jīng)網(wǎng)絡(luò)出現(xiàn)了梯度越來越稀疏、收斂到局部最小值只能用有標簽的數(shù)據(jù)來訓(xùn)練等缺點。Hinton于2006年提出了深度學(xué)習的概念，Lecun等人提出了卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)利用空間關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

CPU和GPU計算能力大幅提升，為深度學(xué)習提供了硬件平臺和技術(shù)手段，在海量大數(shù)據(jù)處理技術(shù)上解決了早期神經(jīng)網(wǎng)絡(luò)訓(xùn)練不足出現(xiàn)的過擬合、泛化能力差等問題。

大數(shù)據(jù)和深度學(xué)習必將互相支撐，推動科技發(fā)展。

3深度學(xué)習模型

深度學(xué)習模型實際上是一個包含多個隱藏層的神經(jīng)網(wǎng)絡(luò)，目前主要有卷積神經(jīng)網(wǎng)絡(luò)，深深度置信神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)。

1）卷積神經(jīng)網(wǎng)絡(luò)

在機器學(xué)習領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)屬于前饋神經(jīng)網(wǎng)絡(luò)的一種，神經(jīng)元不再是全連接的模式，而是應(yīng)用了局部感受區(qū)域的策略。然而傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)使用神經(jīng)元間全連接的網(wǎng)絡(luò)結(jié)構(gòu)來處理圖像任務(wù)，因此，出現(xiàn)了很多缺陷，導(dǎo)致模型參數(shù)急劇增加，及其容易過擬合。

在卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)中的神經(jīng)元只與前一層的部分神經(jīng)元連接，利用圖像數(shù)據(jù)的空間結(jié)構(gòu)，鄰近像素間具有更強的相關(guān)性，單個神經(jīng)元僅對局部信息進行響應(yīng)，相鄰神經(jīng)元感受區(qū)域存在重疊，因此，綜合所有神經(jīng)元可以得到全局信息的感知。

另外，一個卷積層中的所有神經(jīng)元均由同一個卷積核對不同區(qū)域數(shù)據(jù)響應(yīng)而得到，即共享同一個卷積核，使得卷積層訓(xùn)練參數(shù)的數(shù)量急劇減少，提高了網(wǎng)絡(luò)的泛化能力。

一般在卷積層后面會進行降采樣操作，對卷積層提取的特征進行聚合統(tǒng)計。降采樣區(qū)域一般不存在重疊現(xiàn)象。降采樣簡化了卷積層的輸出信息，進一步減少了訓(xùn)練參數(shù)的數(shù)量，增強了網(wǎng)絡(luò)的泛化能力。

卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了局部特征的自動提取，使得特征提取與模式分類同步進行，適用于處理高分辨率的圖像數(shù)據(jù)。目前，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、自然語言處理等領(lǐng)域得到廣泛應(yīng)用。

2）深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)是一種生成模型，網(wǎng)絡(luò)中有若干隱藏層，同一隱藏層內(nèi)的神經(jīng)元沒有連接，隱藏層間的神經(jīng)元全連接。神經(jīng)網(wǎng)絡(luò)經(jīng)過“反向運行”得到輸入數(shù)據(jù)。

深度置信網(wǎng)絡(luò)可以用做生成模型，通過前期的逐層無監(jiān)督學(xué)習，神經(jīng)網(wǎng)絡(luò)可以較好的對輸入數(shù)據(jù)進行描述，然后把訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)看作深度神經(jīng)網(wǎng)絡(luò)，最后得到分類任務(wù)的深度神經(jīng)網(wǎng)絡(luò)。

深度置信網(wǎng)絡(luò)可以用于圖像識別、圖像生成等領(lǐng)域，深度置信網(wǎng)絡(luò)可以進行無監(jiān)督或半監(jiān)督的學(xué)習，利用無標記數(shù)據(jù)進行預(yù)訓(xùn)練，提高神經(jīng)網(wǎng)絡(luò)性能。但近幾年由于卷積神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，深度置信網(wǎng)絡(luò)已經(jīng)很少被提及。

3）循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種專門用于處理時序數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，它與典型的前饋型神經(jīng)網(wǎng)絡(luò)最大區(qū)別在于網(wǎng)絡(luò)中存在環(huán)形結(jié)構(gòu)，隱藏層內(nèi)部的神經(jīng)元是互相連接的，可以存儲網(wǎng)絡(luò)的內(nèi)部狀態(tài)，其中包含序列輸入的歷史信息，實現(xiàn)了對時序動態(tài)行為的描述。這里的時序并非僅僅指代時間概念上的順序，也可以理解為序列化數(shù)據(jù)間的相對位置。如語音中的發(fā)音順序，某個英語單詞的拼寫順序等。序列化輸入的任務(wù)都可以用循環(huán)神經(jīng)網(wǎng)絡(luò)來處理。如語音、視頻、文本等。對于序列化數(shù)據(jù)，每次處理時輸入為序列中的一個元素，比如單個字符、單詞、音節(jié)，期望輸出為該輸入在序列數(shù)據(jù)中的后續(xù)元素。循環(huán)神經(jīng)網(wǎng)絡(luò)可以處理任意長度的序列化數(shù)據(jù)。

循環(huán)神經(jīng)網(wǎng)絡(luò)可以用于機器翻譯、連寫手寫字識別、語音識別等。循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)結(jié)合，將卷積神經(jīng)網(wǎng)絡(luò)用于檢測并識別圖像中的物體，循環(huán)神經(jīng)網(wǎng)絡(luò)用于識別出物體的名稱為輸入，生成合理的語句，從而實現(xiàn)對圖像內(nèi)容的描述。

4深度學(xué)習應(yīng)用

1）語音識別

語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準則及模型訓(xùn)練技術(shù)三個方面。其應(yīng)用領(lǐng)域主要有語音輸入系統(tǒng)、語音控制系統(tǒng)和智能對話查詢系統(tǒng)，語音識別極大地推動了人工智能的快速發(fā)展。1952年Davis等人研究了世界上第一個能識別10個英文數(shù)字發(fā)音的實驗系統(tǒng)。大規(guī)模的語音識別研究是在20世紀70年代以后，在小詞匯量、孤立詞的識別方面取得了實質(zhì)性的進展。2012年，微軟研究院使用深度神經(jīng)網(wǎng)絡(luò)應(yīng)用在語音識別上將識別錯誤率降低了20%，取得了突破性的進展。2015年11月17日，浪潮集團聯(lián)合全球可編程芯片巨頭Altera，以及中國最大的智能語音技術(shù)提供商科大訊飛，共同發(fā)布了一套DNN語音識別方案。

2）圖像分析

圖像是深度學(xué)習最早嘗試的應(yīng)用領(lǐng)域。1989年，LeCun和他的同事們就發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)的工作。2012年10月，Hinton和他的兩個學(xué)生用更深的CNN在ImageNet挑戰(zhàn)上獲得了第一名，使圖像識別向前躍進了一大步。

自2012年以來，深度學(xué)習應(yīng)用于圖像識別使得準確率大大上升，避免了消耗人工特征抽取的時間，極大地提升了效率，目前逐漸成為主流的圖像識別與檢測方法。

3）自然語言處理

自然語言處理（NLP）是深度學(xué)習的另一個重要的領(lǐng)域。它是計算機科學(xué)與語言學(xué)的交叉學(xué)科，自然語言用電腦處理人類的語言，如英語、漢語、法語等，其主要應(yīng)用包括機器翻譯、信息抽取等。