方蕓 馬林梓

摘要：該文以深度學(xué)習(xí)技術(shù)的前身機(jī)器學(xué)習(xí)為切入點引出接下來的研究，隨后介紹了深度學(xué)習(xí)技術(shù)的基本概念，并通過圖示來讓晦澀難懂的概念更加簡潔明了;再通過有無監(jiān)督特征學(xué)習(xí)兩個方面來探討它未來發(fā)展方向及其應(yīng)用，主要是音、像的識別和自然語言的處理，并在不同的領(lǐng)域分別進(jìn)行舉例介紹;最后討論了在實踐過程中出現(xiàn)的挑戰(zhàn)以及未來的發(fā)展方向。

關(guān)鍵詞：深度學(xué)習(xí);機(jī)器學(xué)習(xí);大數(shù)據(jù)

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）05-0190-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

在大數(shù)據(jù)處理中，數(shù)據(jù)的計算、存儲和分析是它的核心技術(shù)，而對大數(shù)據(jù)的有效分析就是大數(shù)據(jù)的價值所在。所以，大數(shù)據(jù)處理中的最核心、最關(guān)鍵的部分就是數(shù)據(jù)分析。而這些大數(shù)據(jù)的主要來源之一是互聯(lián)網(wǎng)。每分每秒互聯(lián)網(wǎng)上都有大量的網(wǎng)頁和數(shù)不清的音視頻、圖像等數(shù)據(jù)產(chǎn)生?，F(xiàn)如今，大數(shù)據(jù)越來越與人們的工作和生活密切相互關(guān)聯(lián)，已經(jīng)影響到了人們的方方面面。比如，從淘寶、京東等互聯(lián)網(wǎng)上的電子商務(wù)交易到航空交通管制，從醫(yī)生接觸病人、診斷出什么疾病、并做出可治療方案到警察局接到報警電話出警，再從通過天氣預(yù)報來減少災(zāi)害的破壞到利用人民群眾的舉報來降低犯罪的發(fā)生等等，隨處可見大數(shù)據(jù)的身影。但是目前，由于技術(shù)有限，只能分析和利用極少數(shù)的數(shù)據(jù)。這就要求需要研發(fā)新的更智能的數(shù)據(jù)算法技術(shù)，在大量無序且復(fù)雜的數(shù)據(jù)中找出規(guī)律并發(fā)現(xiàn)新的模式，從而提取出新的、有用的知識，來幫助人類做出正確的決策或給出預(yù)測。所以，利用深度學(xué)習(xí)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)去分析大數(shù)據(jù)，盡量讓機(jī)器代替人工分析數(shù)據(jù)，而這項技術(shù)也獲得了廣泛的應(yīng)用前景[1]。

1 深度學(xué)習(xí)技術(shù)概述

1.1機(jī)器學(xué)習(xí)的發(fā)展階段

要想領(lǐng)會、認(rèn)識深度學(xué)習(xí)技術(shù)，首先要領(lǐng)會與其前身機(jī)器學(xué)習(xí)的相干的基本知識。作為人工智能領(lǐng)域的一部分，在大多數(shù)特定的情況下，可以由機(jī)器學(xué)習(xí)來代替人工智能，機(jī)器學(xué)習(xí)便是經(jīng)由過程中出現(xiàn)很多分歧的算法，使得大量數(shù)據(jù)能被機(jī)器發(fā)現(xiàn)并學(xué)習(xí)其中的規(guī)律，從而對新總結(jié)出的數(shù)據(jù)樣本做出智能辨認(rèn)或者對將來可能產(chǎn)生的現(xiàn)象做出猜測。1980年前后，機(jī)器學(xué)習(xí)的大概發(fā)展階段主要是兩次，劃分是：shallow learning（淺層學(xué)習(xí)）、deep learning（深度學(xué)習(xí)）。

1.1.1第一階段：shallow learning

大概1980年前后，一種叫作反向傳播算法作用于人工神經(jīng)網(wǎng)絡(luò)的發(fā)現(xiàn)（也叫作BP算法），讓人們對機(jī)器學(xué)習(xí)技術(shù)燃起了新的希望。人們從中發(fā)現(xiàn)，在大批訓(xùn)練樣本中，該算法能夠通過運用人工神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)并從中找出新的規(guī)律，從而對將來不可知的事務(wù)做出盡量精確的展望。而人工神經(jīng)網(wǎng)絡(luò)又是什么呢？可以先從最簡單的說起，最簡單的人工神經(jīng)網(wǎng)絡(luò)就是由一個神經(jīng)元組成，如圖1[2]。

而多個神經(jīng)元根據(jù)某些特定的方法互相結(jié)合起來，即這一個的輸入是另一個的輸出，就可以組成基本的人工神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)如圖2[2]，圖中的圓形代表神經(jīng)元的輸入內(nèi)容，最左邊是輸入層。

這類以數(shù)據(jù)統(tǒng)計為根本的機(jī)器學(xué)習(xí)方法，在很多方面要優(yōu)越于以前以人工法則為根本的體系。這時的人工神經(jīng)網(wǎng)絡(luò)，因為在多層網(wǎng)絡(luò)訓(xùn)練方面有很多困難，所以實際能被利用的大多數(shù)只是僅含有一層隱層節(jié)點的淺層學(xué)習(xí)模型。從1990年開始，提出了很多不同的機(jī)器淺層學(xué)習(xí)模型，比如support vector-machines，簡稱SVM（支撐向量機(jī)），以及最大熵方法等等。特別是從2000年開始，由于互聯(lián)網(wǎng)絡(luò)的發(fā)展，人們對大數(shù)據(jù)的需求變得更加急切，這也使得shallow learning在其互聯(lián)網(wǎng)的利用中獲得龐大的樂成。

1.1.2第二階段：deep learning

2006年，機(jī)器學(xué)習(xí)理論的專家Hinton（加拿大多倫多大學(xué)教授）和他的學(xué)生Salakhutdinov在《科學(xué)》上發(fā)表了文章[1]，正是這篇文章打開了深度學(xué)習(xí)在工業(yè)和學(xué)術(shù)界中研發(fā)的大門，從文章中可以大概得到兩個重要的信息，首先，很多隱層的不被人們發(fā)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)有著十分優(yōu)秀的特征學(xué)習(xí)能力.經(jīng)過特征學(xué)習(xí)得到的數(shù)據(jù)有著更加本質(zhì)性的刻畫，對于可視化和分類非常有利;其次，在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)上，可以使用“l(fā)ayeI-wise pre-training”（逐層初始化）來解決其中的難題，而逐層初始化可以經(jīng)由無監(jiān)督學(xué)習(xí)來實現(xiàn)。同時從文中也可以得到一個重要的論據(jù)，那就是之所以深度學(xué)習(xí)技術(shù)可以被研發(fā)、被應(yīng)用，是因為在腦神經(jīng)系統(tǒng)中，的確存在著異常復(fù)雜、繁多的層次結(jié)構(gòu)，從而使得深度學(xué)習(xí)的實現(xiàn)不再是空話。

所以，在當(dāng)今這個大數(shù)據(jù)當(dāng)家的時代，深度學(xué)習(xí)技術(shù)只能越來越炙手可熱，誰能更快的取得深度學(xué)習(xí)技術(shù)的制高點，誰將更好地適應(yīng)這個社會。

2 深度學(xué)習(xí)技術(shù)的分類

2.1 深度學(xué)習(xí)技術(shù)的分類簡述

在深度學(xué)習(xí)中，可以通過有無監(jiān)督特征學(xué)習(xí)兩個方面來探討它未來發(fā)展方向及其應(yīng)用，而有無監(jiān)督特征學(xué)習(xí)就可以作為深度學(xué)習(xí)技術(shù)的兩個分類的依據(jù)，再在不同分類的基礎(chǔ)上，研究它的特點和不同，以便人們更加方便的區(qū)分它們，并更加有效地利用它們，使它們在各自的領(lǐng)域發(fā)揮不同的功效，更好地為人類服務(wù)[3，4]。

2.1.1 無監(jiān)督特征學(xué)習(xí)

在深度學(xué)習(xí)技術(shù)的研發(fā)中，無監(jiān)督特征學(xué)習(xí)方法也稱無監(jiān)督的貪婪逐層學(xué)習(xí)方法，是最開始被提出來的中心思想：在深度結(jié)構(gòu)模型中，將低層輸出轉(zhuǎn)化為高層的輸入，然后無監(jiān)督地學(xué)習(xí)一層特征的變換，最后形成的深度模型的初始化權(quán)值，就是由通過學(xué)習(xí)得到的網(wǎng)絡(luò)權(quán)參數(shù)按順序一層一層地碼起來形成的，權(quán)參數(shù)在初始化時是在一個空間內(nèi)，而這個空間是比較接近輸入數(shù)據(jù)的流行空間的，因此在模型訓(xùn)練過程中，降低了陷入部分最小值問題的概率，這就像在過程中施加了正則化約束。

在訓(xùn)練數(shù)據(jù)過程中，有標(biāo)簽的數(shù)據(jù)數(shù)量比較少而無標(biāo)簽的數(shù)據(jù)數(shù)量較多時，可以采用無監(jiān)督特征學(xué)習(xí)方法。而rest-rict-ed Boltzmann machine，簡稱RBM（也就是受限波爾茲曼機(jī)）、au-to-encoder，簡稱AE（也就是自編碼模型）和sparse coding（稀疏編碼）就是此中最主要的三個構(gòu)成模塊。其中sparse coding最為特殊，可以通過圖片來了解它的原理，sparse coding的計算過程如圖3[2]。

2.1.2 有監(jiān)督特征學(xué)習(xí)

近年來，以有監(jiān)督特征為基礎(chǔ)的深度學(xué)習(xí)技術(shù)在計算機(jī)視覺的領(lǐng)域中取得了令人驚喜的研究成果，所以越來越多的人認(rèn)為將深度學(xué)習(xí)技術(shù)從理論研究到實際的大規(guī)模應(yīng)用是應(yīng)該的。其中最受重視的模型是convolutional neural network，簡稱CNN（也就是深度卷積神經(jīng)網(wǎng)絡(luò)），也是所有深度結(jié)構(gòu)模型最早獲得成功的，其中CNN包含了多階段的Hubel-Wiesel結(jié)構(gòu)，如圖4[4]。

專家LeCun研究的CNN是比較特殊的，該CNN是具有兩種類型的層結(jié)構(gòu)：卷積層和降抽樣層[8]。每一層都有一種拓?fù)鋱D結(jié)構(gòu)，例如，每個神經(jīng)元都對應(yīng)著輸入圖像上一個固定的坐標(biāo)，伴隨一個感受野（輸入圖像上影響神經(jīng)元活動的區(qū)域）。在每層的每個位置處，都有很多不同的神經(jīng)元，每個神經(jīng)元都有它自己的輸入權(quán)值，連接著上層中一個立方體區(qū)域的神經(jīng)元。不同位置的神經(jīng)元都具有相同的一組權(quán)值，但對應(yīng)著不同位置的立方體區(qū)域。

3 深度學(xué)習(xí)技術(shù)的應(yīng)用

3.1 圖像識別

在深度學(xué)習(xí)技術(shù)中最開始被應(yīng)用的就是圖像領(lǐng)域。在1989年，紐約大學(xué)教授Le Cun等人就開始了關(guān)于convolutionneural networks，簡稱CNN f卷積神經(jīng)網(wǎng)絡(luò)）的相關(guān)研究工作[9]。而CNN這一結(jié)構(gòu)是如何被提出的呢？這多虧了在生物學(xué)領(lǐng)域的研究，人們正是在研究生物視覺行為時受到啟發(fā)才提出這一結(jié)構(gòu)，特別是通過研究在Hubel-wiesel模型中[10]，模仿兩個視覺皮層里的簡單細(xì)胞與復(fù)雜細(xì)胞之間的行為動作時更加驗證了這一結(jié)構(gòu)。在過去的一段時間，CNN僅限在手寫數(shù)字等小范圍的領(lǐng)域上，獲得了很好的體驗結(jié)果，但在大范圍應(yīng)用上還沒有得到大家的重視。而這一現(xiàn)象的產(chǎn)生主要是因為，CNN在大范圍圖像應(yīng)用上還存在著問題，因此在計算機(jī)視覺領(lǐng)域上沒有引起軒然大波。

這個低迷狀態(tài)直到2012年才有所好轉(zhuǎn)，在這一年圖像識別技術(shù)取得了令人驕傲的大進(jìn)步，而促進(jìn)這一進(jìn)步的正是加拿大多倫多的Hinton教授和他的學(xué)生們，他們在世界聞名的機(jī)器視覺識別問題上采用更加具有深度的CNN結(jié)構(gòu)模型[3]。該模型的識別流程如圖5。

在該識別模型中，全部像素的輸入都是由機(jī)器獨立完成的。隨后在2013年，人們首次在簡單圖片的識別領(lǐng)域中運用了深度學(xué)習(xí)模型并取得了較大收獲。從已知經(jīng)驗中可以看出，運用該模型能夠從根本上解決一般模型識別正確率不高的缺點，從而減少了人們再返工的時間，大大節(jié)約了人力資源，這樣在線計算的正確率就可以很大程度的提高了[6]。

圖像識別也不僅僅是識別圖像，隨著研究的不斷深入，也可以進(jìn)行人臉識別、視頻分析以及圖像分類。其中人臉識別技術(shù)更加受到人們的追捧，因為人臉識別除了能夠確認(rèn)人臉之外，還能辨識不同身份的人臉，但由于不同的人有不同的身份，且相同的人由于在不同的場景拍照導(dǎo)致姿勢、光線甚至臉型的變化，使得這一技術(shù)的實現(xiàn)更加困難。

綜上所述，在未來深度學(xué)習(xí)技術(shù)一定會在圖像識別領(lǐng)域中占據(jù)主要地位，并引領(lǐng)潮流，而以前的相對依賴人工的學(xué)習(xí)技術(shù)就會慢慢地退出時代的舞臺。

3.2 語音識別

在人們開始使用語音識別系統(tǒng)的歷史中，比較容易被人們接受的就是GMM（也就是混合高斯模型），這種模型一直在該領(lǐng)域起著非常重要作用，主要原因就是它有比較容易獲得的區(qū)分度訓(xùn)練技術(shù)，有了這一技術(shù)的加持，再加上在進(jìn)行大數(shù)據(jù)訓(xùn)練時估計較簡單，所以更容易被人們接受[5]。但人無完人，同時這種模型也存在著許多弊端，比如，它從根本上來說就是一種網(wǎng)絡(luò)層比較淺的建模，而網(wǎng)絡(luò)層較淺就說明沒有足夠的深度來記錄它的空間分布，雖然這一缺點可以通過區(qū)分度訓(xùn)練來解決一部分，但能起作用的空間還只是很小的一部分。其后，人們又開始運用DNN模型，但同樣有著很大的弊端和不足。

后來，根據(jù)這一缺點，微軟首先邁出第一步，比較有前瞻性的研究了以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的語音識別系統(tǒng)，正是這一研究顛覆性的解決了原有的深度不夠這一缺點。新研發(fā)的系統(tǒng)，能夠?qū)⒃瓉聿贿B續(xù)的語音片段通過描述片段之間的相似性合并起來，從而形成一個新的高維度的片段特征。

在實際應(yīng)用過程中，這一技術(shù)，除了去其糟粕外，還取其精華，與原來的雖然不成熟但也有很多可取之處的語音識別技術(shù)相互聯(lián)結(jié)，不但提高了語音識別的正確率還節(jié)省了不必要的開支，正可謂一舉兩得。

可以通過一個表，從三個方面來看看這三種模型的不同之處，如表1。

隨后幾年，谷歌和百度也相繼采用了這一技術(shù)進(jìn)行語音識別，不得不說這兩大龍頭企業(yè)非常具有前瞻性，這也對將來其他公司的業(yè)務(wù)拓展提供了資料。

3.3 自然語言處理（NLP）

在上文中已經(jīng)了解到深度學(xué)習(xí)技術(shù)在音、像領(lǐng)域的應(yīng)用，接下來還要介紹它在其他相對陌生的領(lǐng)域的應(yīng)用，即自然語言的處理（NLP），顧名思義，它主要的研發(fā)方向就是通過自然語言使得原本溝通有障礙的人類和計算機(jī)之間能實現(xiàn)溝通，而自然語言的范疇也比較廣泛，既包括人類語言也包括計算機(jī)語言，同時還注重這兩者與數(shù)學(xué)之間的聯(lián)系，因此涉及范圍較廣。

在過去的歷史長河中，雖然以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的NLP模型一直存在，但由于研發(fā)的力度不夠，使得人們只能一直應(yīng)用存在弊端的以統(tǒng)計為基礎(chǔ)的自然語言處理模型。隨后，緊接著有許多學(xué)者漸漸意識到人工神經(jīng)網(wǎng)絡(luò)的重要性，開始轉(zhuǎn)移了研究方向。直到2003年，Bengio（加拿大蒙特利爾大學(xué)教授）和他的同事首次提出用非線性神經(jīng)網(wǎng)絡(luò)代替原來的處理模型。而真正開始研究將深度學(xué)習(xí)技術(shù)應(yīng)用于自然語言處理的是在2008年，在美國NEC研究所，Collobert研究員和Weston研究員為了有效解決原始模型不能完成詞性標(biāo)注、程序分塊命名實體識別和語義角色標(biāo)注等在NLP領(lǐng)域經(jīng)常出現(xiàn)的問題，他們采用了通過嵌入多層的一維卷積結(jié)構(gòu)的方法。在該方法中值得一提的是，不論是一個模型完成一個任務(wù)還是完成不同任務(wù)，正確率都較高。

同時自然語言處理大體上分為英文和中文兩大方向，這兩個方向的研究領(lǐng)域都有不同。 從整體上來看，深度學(xué)習(xí)技術(shù)在自然語言處理領(lǐng)域上不像音、像領(lǐng)域那樣有較大的成績，但我堅信在這一領(lǐng)域還有很大的發(fā)展空間，心急吃不了熱豆腐，同樣任何有價值的研究成果都不會因為時間的長短而止步不前。

3.4 搜索廣告的收益預(yù)估

眾所周知，搜索引擎收益的主要方式是通過用戶搜索廣告從而收費來獲得，而計費方式也有很多，其中最常用的就是cost per click，簡稱CPC（即按點擊付費）。所以需要通過一個比率，在按點擊付費這一方式下，來預(yù)估收益，這個比率就是clikthrough rate，簡稱CTR（即廣告點擊率），也就是人們點擊的廣告的次數(shù)與該廣告被檢索閱讀的次數(shù)的比率[11]。而這個比率越是精準(zhǔn)，就越說明某個廣告的點擊次數(shù)多，從而說明收益越高。

而一般情況下，都是通過機(jī)器學(xué)習(xí)技術(shù)來預(yù)測得到廣告的點擊率，但這就會導(dǎo)致點擊率的準(zhǔn)確性不是很高，所以提高點擊率的準(zhǔn)確性是當(dāng)務(wù)之急，這既可以提升用戶的體驗同時也可以為搜索公司和廣告商帶來高額的收益。

一開始，許多搜索引擎公司大都以邏輯回歸模型（簡稱LR）進(jìn)行預(yù)估，但直到2012年才發(fā)現(xiàn)，LR模型由于自身結(jié)構(gòu)扁平的原因，使得對模型的分析和特征識別的效果大打折扣，人們這才知道廣告點擊率預(yù)估的準(zhǔn)確性與模型的結(jié)構(gòu)有著很大的關(guān)系[12]。為了解決這一問題，百度公司首次提出將DNN技術(shù)應(yīng)用到于廣告搜索領(lǐng)域，但在實施過程中卻遭遇了許多問題和挑戰(zhàn)，比如就目前的機(jī)器計算水平而言，還不能輸入像1011這么高級別的特征廣告，只能人為地將高級別特征數(shù)降低到一定水平，最后被DNN技術(shù)分析和學(xué)習(xí)[13]。而現(xiàn)在使用的廣告搜索引擎正是來源于上述所描述的DNN技術(shù)，這也為廣大網(wǎng)友提供了便利。

但是，DNN技術(shù)在該應(yīng)用領(lǐng)域的影響還沒有達(dá)到最大，在不久的將來，可以將DNN與遷移學(xué)習(xí)結(jié)合，這會大大提高點擊率的正確性;同時還可以將不同的廣告線聯(lián)系在一起，這樣不管再有多少不同的廣告，數(shù)據(jù)之間都可以互通，可以大大節(jié)省計算的時間。相信以后的DNN技術(shù)在搜索廣告領(lǐng)域中還會有更大的進(jìn)步。

4 實踐過程中出現(xiàn)的挑戰(zhàn)

4.1 理論問題

通過這么多年研究，不論已知的函數(shù)多么復(fù)雜且難以表達(dá)，都可以找到一個深度學(xué)習(xí)技術(shù)的模型將它表示出來[14]，但僅僅只是表示出來，還做不到完全可學(xué)習(xí)化，參數(shù)越復(fù)雜，過程越困難，也就是說必須要知道原始函數(shù)的復(fù)雜程度;另一方面，還需要更強(qiáng)大的計算能力幫助完成學(xué)習(xí)過程。對于這兩方面的理論研究還有著巨大的研究空間。

4.2 模型問題

隨著理論方面的更深入研究，在模型問題上也遇到了困難。首先，需要更強(qiáng)大的模型來處理，這個新型模型不但包含原來模型的基本功能，還要在原來基礎(chǔ)上表現(xiàn)出更強(qiáng)大的學(xué)習(xí)能力。

其次，在不同的應(yīng)用領(lǐng)域都需要不同的參數(shù)模型，這給日常建模造成了很大的麻煩，每次建模都需要重新定義參數(shù)，但這些模型也有一個共同點，那就是它們都是基于CNN理論的，所以能否找到一個通用的模型，不管應(yīng)用在哪個領(lǐng)域都可以直接使用。

4.3 實際問題

眾所周知，最開始只能在小范圍圖像數(shù)據(jù)領(lǐng)域應(yīng)用深度學(xué)習(xí)技術(shù)，但隨著研究的不斷深入，在大范圍數(shù)據(jù)領(lǐng)域也可以應(yīng)用這一技術(shù)了，但是兩個領(lǐng)域的最后處理結(jié)果幾乎可以說是大不相同，這多虧了現(xiàn)代硬件設(shè)施比如CPU、內(nèi)存等質(zhì)量的提高，以及在平時訓(xùn)練中采取的其他線性或非線性的函數(shù)方法等[15]。

但是在最終處理結(jié)果上，由深度學(xué)習(xí)技術(shù)處理得到的結(jié)果與人類大腦處理得到的結(jié)果還是存在著很大差距，所以，還必須進(jìn)一步去研究怎樣改變機(jī)器固化的結(jié)構(gòu)模型，并提高它們對數(shù)據(jù)處理能力的準(zhǔn)確性。而隨著數(shù)據(jù)量的持續(xù)增加，深度學(xué)習(xí)技術(shù)也不能故步不前，它們需要采用比原來更加繁雜、成熟的模型，通過提高自身的計算能力更加準(zhǔn)確地提取數(shù)據(jù)中的信息去適應(yīng)環(huán)境的變換。而做出這一改變最根本的就是，如何通過異步的更新模式將原本需要自身攜帶序列的學(xué)習(xí)算法，改進(jìn)成可以利用CPU處理的并行學(xué)習(xí)算法，這將會大大提高計算的準(zhǔn)確性。另外，大量的超參數(shù)在進(jìn)行訓(xùn)練時也是必不可少的，而至今為止還沒有明確的指導(dǎo)方法來告訴我們怎樣選擇超參數(shù)，所以在無形中增加了難度。最后，目前為止所有取得的成果都還沒有強(qiáng)大的理論基礎(chǔ)，還需要繼續(xù)研究和發(fā)展。

5 結(jié)論與展望

深度學(xué)習(xí)技術(shù)為人工智能的研究開啟了新的篇章，不僅受到了學(xué)術(shù)界的關(guān)注，也引起了商業(yè)等社會各界的重視，大大改變了人們的生活方式，為人們的生活提供了便利。同時它的應(yīng)用領(lǐng)域也從音、像領(lǐng)域擴(kuò)大到了自言語言處理領(lǐng)域。最后，雖然在研究過程中還存在著問題和挑戰(zhàn)，相信我們一定可以解決，使深度學(xué)習(xí)技術(shù)的研究更加進(jìn)步。

參考文獻(xiàn)：

[1]余濱.深度學(xué)習(xí)：開啟大數(shù)據(jù)時代的鑰匙[D].廈門：廈門大學(xué)，2014：5-6.

[2]敖道敢.無監(jiān)督特征學(xué)習(xí)結(jié)合神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識別[Dl.廣州：華南理工大學(xué)，2014：16-17.

[3]余凱.深度學(xué)習(xí)的昨天、今天和明天[J].計算機(jī)研究與發(fā)展，2013，5（1）：3-5.

[4]李晨曉.基于深度學(xué)習(xí)的浮式儲油卸油裝置安全狀態(tài)分類方法[D].天津：天津大學(xué)，2014：7-8.

[5]其米克·巴特西.基于深度神經(jīng)網(wǎng)絡(luò)的維吾爾語語音識別[Dl.新疆：新疆大學(xué)，2015：3-4.

[6]王強(qiáng).面向大數(shù)據(jù)處理的圖搜索與深度學(xué)習(xí)算法并行優(yōu)化技術(shù)研究[D].長沙：國防科學(xué)技術(shù)大學(xué)，2013：5-6.

[7]雷振元.公務(wù)員應(yīng)該掌握社會學(xué)基本知識[J].福州黨校學(xué)報，2009，2（1）：13-15.

[8] Yos hua Bengio. Learning Deep Architectures for Al[M]. New York： now publishers Inc， 1988： 15-16.

[9]張志強(qiáng).基于特征學(xué)習(xí)的廣告點擊率預(yù)估技術(shù)研究[J].計算機(jī)學(xué)報，2016，5 （1）：12-15.

[10]張志浩.基于深度學(xué)習(xí)的在線廣告點擊率預(yù)估系統(tǒng)的設(shè)計與實現(xiàn)[D].南京：南京大學(xué)，2015：5-6.

[11]李思琴.基于深度學(xué)習(xí)的搜索廣告點擊率預(yù)測方法研究[Dl.哈爾濱：哈爾濱大學(xué)，2015：13-16.

[12]毛勇華.深度學(xué)習(xí)應(yīng)用技術(shù)研究叨.計算機(jī)應(yīng)用研究， 2016，33（1）：12-15.

[13]張馭宇.面向深度學(xué)習(xí)的分布式優(yōu)化算法研究[D].北京：中國科學(xué)院大學(xué)，2015：113-116.

[14]梁軍.基于深度學(xué)習(xí)的文本特征表示及分類應(yīng)用[D].鄭州：鄭州大學(xué)，2016：3-6.

[15]和淵.用信息技術(shù)支持深度學(xué)習(xí)[J].當(dāng)代教育家，2016（10）：26-28.

【通聯(lián)編輯：唐一東】

收稿日期：2019 -11-15

作者簡介：方蕓（1962-），女，本科，高級實驗師，研究方向為計算機(jī)應(yīng)用，實驗室管理。