周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學(xué)

?

深度學(xué)習(xí)發(fā)展來源研究

周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學(xué)

深度學(xué)習(xí)帶來了機器學(xué)習(xí)的一個新浪潮，受到從學(xué)術(shù)屆到工業(yè)界的廣泛重視，也導(dǎo)致了“大數(shù)據(jù)+深度模型”時代的來臨，深度學(xué)習(xí)在各個領(lǐng)域都得到了廣泛的應(yīng)用并取得了發(fā)展優(yōu)勢，本文論述了深度學(xué)習(xí)的起源，對深度學(xué)習(xí)的三個起源機械學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)作了詳細介紹。

機器學(xué)習(xí) 深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 大數(shù)據(jù)

深度學(xué)習(xí)是機械學(xué)習(xí)研究的一個新領(lǐng)域，尤其是大數(shù)據(jù)時代的爆炸式到來，大數(shù)據(jù)技術(shù)已在很多技術(shù)和行業(yè)廣泛應(yīng)用，由于大數(shù)據(jù)存在復(fù)雜、高維、多變等特性，如何從復(fù)雜的大數(shù)據(jù)中挖掘出人類感興趣的知識，迫切需要更深刻的機器學(xué)習(xí)理論進行指導(dǎo)。了解深度學(xué)習(xí)發(fā)展的來源，可以讓我們更有效的提出深度學(xué)習(xí)的模型及改進算法。

1　萌芽階段：機器學(xué)習(xí)

機器學(xué)習(xí)在人工智能領(lǐng)域具有舉足輕重的地位，如果一個智能系統(tǒng)不具有學(xué)習(xí)能力，那它就不能稱為一個真正的智能系統(tǒng)。機器學(xué)習(xí)通過算法，讓機器可以從外界輸入的大量的數(shù)據(jù)中學(xué)習(xí)到規(guī)律，從而進行識別判斷。傳統(tǒng)機器學(xué)習(xí)的問題主要包括如下4個方面：理解并且模擬用戶的學(xué)習(xí)過程；針對計算機和用戶之間的自然語言接口的研究；針對不完整的信息進行推理和推算的能力，即自動規(guī)劃和解決問題；創(chuàng)造可發(fā)現(xiàn)新的程序。

傳統(tǒng)機器學(xué)習(xí)面臨的一個新挑戰(zhàn)是如何處理大數(shù)據(jù)。目前，包含大規(guī)模數(shù)據(jù)的機器學(xué)習(xí)問題是普遍存在的，但是，由于現(xiàn)有的許多機器學(xué)習(xí)算法是基于內(nèi)存的，大數(shù)據(jù)卻無法裝載進計算機內(nèi)存，故現(xiàn)有的諸多算法不能處理大數(shù)據(jù)。

2　草創(chuàng)階段：神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是智能學(xué)科的重要部分，為解決復(fù)雜問題和智能控制提供了有效的途徑。神經(jīng)網(wǎng)絡(luò)曾一度成為機器學(xué)習(xí)領(lǐng)域備受關(guān)注的方向。

1943年，美國芝加哥大學(xué)心理學(xué)家和數(shù)理邏輯學(xué)家最先建立神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，即神經(jīng)元模型，這是人工神經(jīng)網(wǎng)絡(luò)研究的開端。人工神經(jīng)網(wǎng)絡(luò)研究的內(nèi)容相當?shù)膹V泛，包括生物原型、建立模型、算法、應(yīng)用等。在這些理論模型基礎(chǔ)上構(gòu)建的神經(jīng)網(wǎng)絡(luò)（計算機模擬），相比傳統(tǒng)的方法，具有并行、容錯、可以硬件實現(xiàn)和自我學(xué)習(xí)等優(yōu)點。神經(jīng)網(wǎng)絡(luò)為解決一些復(fù)雜度較高的問題提供了一種相對有效的簡單方法。一般情況下，我們把神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱層：輸入層的每個節(jié)點對應(yīng)一個預(yù)測變量；輸出層的節(jié)點對應(yīng)目標變量（可有多個）；在輸入層和輸出層之間的是隱層，目前為止，隱層層數(shù)和節(jié)點數(shù)的選取仍然沒有相關(guān)的理論支持，只是靠經(jīng)驗來選取。

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，通過輸入?yún)?shù)的刺激來調(diào)整網(wǎng)絡(luò)參數(shù)。一般有兩種學(xué)習(xí)方法：無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。有監(jiān)督的學(xué)習(xí)，就是利用提供的訓(xùn)練集進行模仿或分類；無監(jiān)督的學(xué)習(xí)，只規(guī)定學(xué)習(xí)的方式和規(guī)則，具體的學(xué)習(xí)內(nèi)容會隨訓(xùn)練庫的不同而不同，系統(tǒng)可以根據(jù)學(xué)習(xí)來發(fā)現(xiàn)特征。在人工神經(jīng)網(wǎng)絡(luò)的設(shè)計與使用過程中，從互聯(lián)結(jié)構(gòu)來看，包括前饋網(wǎng)絡(luò)，反饋型局部互聯(lián)網(wǎng)絡(luò)，有反饋的前饋網(wǎng)絡(luò)，全反饋型網(wǎng)絡(luò)（如網(wǎng)絡(luò)和玻爾茲曼機），以及自組織網(wǎng)絡(luò)等等。

深度學(xué)習(xí)可以理解為神經(jīng)網(wǎng)絡(luò)的發(fā)展，神經(jīng)網(wǎng)絡(luò)是對人腦或生物神經(jīng)網(wǎng)絡(luò)基本特征進行抽象和建模，可以從外界環(huán)境中學(xué)習(xí)，并以與生物類似的交互方式適應(yīng)環(huán)境。

3　形成階段：深度學(xué)習(xí)

在大數(shù)據(jù)條件下，簡單的機器學(xué)習(xí)模型會比復(fù)雜模型更加有效。比如說，在很多的大數(shù)據(jù)應(yīng)用中，最簡單的線性模型得到大量使用。而最近深度學(xué)習(xí)的驚人進展促使我們也許到了要重新思考這個觀點的時候。簡而言之，在大數(shù)據(jù)情況下，也許只有比較復(fù)雜的模型，或者說表達能力強的模型，才能夠充分發(fā)掘海量數(shù)據(jù)中蘊藏的豐富信息?，F(xiàn)在我們到了需要重新思考“大數(shù)據(jù)+簡單模型”的時候。運用更強大的深度模型，也許我們能從大數(shù)據(jù)中發(fā)掘出更多的有價值的信息和知識。淺層模型有一個重要特點，就是假設(shè)靠人工經(jīng)驗來抽取樣本的特征，而強調(diào)模型主要是負責分類或預(yù)測。在模型的運用不出差錯的前提下（比如，假設(shè)互聯(lián)網(wǎng)公司聘請的是機器學(xué)習(xí)的專家），特征的好壞就成為整個系統(tǒng)性能的瓶頸。因此，通常一個開發(fā)團隊中更多的人力是投入到發(fā)掘更好的特征上去的。發(fā)現(xiàn)一個好的特征，要求開發(fā)人員對待解決的問題要有很深入的理解。而達到這個程度，往往需要反復(fù)的摸索，甚至是數(shù)年磨一劍。因此，人工設(shè)計樣本特征，不是一個可擴展的途徑。

深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：強調(diào)了模型結(jié)構(gòu)的深度，通常有 5層、6層，甚至10多層的隱層節(jié)點；明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而分類或預(yù)測更加容易。

［1］丁世飛.人工智能［M］.北京：清華大學(xué)出版社，2011

［2］史忠值.神經(jīng)網(wǎng)絡(luò)［M］.北京：高等教育出版社，2009

個人簡介

周勇，男，1980-，山東人，漢，學(xué)士學(xué)位，職稱：講師，研究方向：數(shù)據(jù)挖掘與處理。