韓建芳

關鍵詞：深度學習;論文影響力;知識圖譜;文獻計量

摘?要：文章從深度學習的研究現(xiàn)狀及其內涵入手，利用文獻計量法對有關深度學習的426篇文獻進行論文影響力分析，并對排名前20%的文獻進行文獻年代、期刊發(fā)布、作者分析，得出深度學習的初步知識圖譜，以期促進深度學習技術的應用和發(fā)展。

中圖分類號：G250文獻標識碼：A文章編號：1003-1588（2020）05-0117-03

1?背景

2016年，作為人工智能（Artificial Intelligence，AI）一個重要分支的深度學習（Deep Learning，DL）無疑得到了廣泛的關注。谷歌、微軟、亞馬遜、臉書、百度、阿里巴巴等公司紛紛加強對深度學習的研發(fā)工作，成立專門的研究中心，邀請領域專家加盟研究（如Andrew Ng—百度、Yann LeCun—臉書、斯坦福大學教授Feifei Li—谷歌、卡內基梅隆大學教授Alex Smolna—亞馬遜[]，在語音圖像識別、手勢控制、語音翻譯等方面取得了長足的進步。

2016年3月，谷歌開發(fā)的智能圍棋系統(tǒng)AlphaGo戰(zhàn)勝了韓國職業(yè)棋手李世石;5月，谷歌開源了基于深度學習的自然語言理解算法框架SyntaxNet;6月，基于深度學習和人工神經網(wǎng)絡技術的圖像編輯軟件Prisma上線;9月，谷歌發(fā)布了基于深度學習技術的神經機器翻譯系統(tǒng)，該翻譯系統(tǒng)可將翻譯質量提高55%～85%，與基于短語翻譯的傳統(tǒng)機器翻譯相比，該系統(tǒng)可以直接翻譯一整句話[2]。可以說，經過2016年的發(fā)展，深度學習徹底從理論知識走向應用實踐，從高高在上的學術領域走進了大眾視野。

2?深度學習的研究現(xiàn)狀及其內涵

2.1研究現(xiàn)狀

深度學習的研究最早起源于多倫多大學教授Hinton[3]，他提出了基于深度置信網(wǎng)絡（Deep Belief Net，DBN）的高效學習算法，這個算法成為今后深度學習算法的主要框架。此外，Hinton教授和Salakhutdinov[4]還提出了一種更為有效的依靠深度自動編碼網(wǎng)絡學習低維度代碼的初始化權重方法，該方法比以往利用主成分分析法減少數(shù)據(jù)維數(shù)更加有效。

自2006年以來，各國學者對深度學習開啟了更廣泛的研究，如：Jason Weston等人提出了一個新的學習模型框架即記憶網(wǎng)絡，能實現(xiàn)長期記憶，并能對長期記憶進行讀取和寫入。DeepMind技術團隊的V Mnih等人首次將深度學習與增強學習結合起來，用增強學習的算法構建了一個基于卷積神經網(wǎng)絡（CNN）的深度學習模型，其研發(fā)的機器人在Atari2600游戲中成功戰(zhàn)勝了其他機器人，甚至在3個游戲中超越了人類游戲專家。

眾多國際會議也對深度學習進行了多次專題探討，如神經信息處理系統(tǒng)大會（NIPS） 2016年邀請斯坦福大學教授Andrew Y Ng[5];國際機器學習大會（ICML）2016年邀請Google DeepMind的David Silver和Facebook的Kaiming He[6]。國際計算機視覺與模式識別會議（CVPR）2016年的報告主題有《Computer Vision and Applied Deep Learning with Mathematica》《Mathematics of Deep Learning》等，從多角度對深度學習進行探討和學習[7]。

2.2深度學習的內涵及理論依據(jù)

深度學習的概念由Geoffrey Hinton等人[8]于2006年提出，在本質上是一種神經網(wǎng)絡算法，其原理是通過模擬人腦進行分析學習，在進行算法訓練時可以不用人工干預，因此也屬于一種無監(jiān)督式機器學習算法。

維基百科對深度學習的定義是一種具有以下四個特征的機器學習算法[9]：一是使用多個非線性處理層進行特征提取和轉化，每一層使用上層的輸出作為本層的輸入，算法可以是監(jiān)督（模式分析）或無監(jiān)督（分類）的。二是基于對數(shù)據(jù)多層特征的（無監(jiān)督）學習。較高層的特征取決于較低層的特征，從而形成深層這一概念。三是機器學習中的子領域，是基于數(shù)據(jù)表示的學習。四是對多層表示和抽象的學習。

2.3人工智能、機器學習與深度學習的關系

人工智能是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學[10]，其概念是在1956年達特茅斯會議上被首次提出。機器學習（Machine Learning， ML）是一門人工智能的科學，主要研究通過數(shù)據(jù)訓練的學習算法[1]。

人工智能是一個大概念，機器學習是人工智能的一個分支，也可以說機器學習是實現(xiàn)人工智能的一種方法。深度學習是一種具有特殊特征的機器學習算法，是一種實現(xiàn)機器學習的技術。

3?基于文獻計量的深度學習論文影響力分析

3.1研究數(shù)據(jù)來源分析

本研究數(shù)據(jù)來源于2015版《Journal Citation Reports》下的《COMPUTER SCIENCE， ARTIFICIAL INTELLIGENCE》類別，共收錄有130種期刊。深度學習屬于人工智能領域的一個分支，由于核心期刊的影響力較大，關于深度學習的核心文獻大部分均會發(fā)表于此，因此選取這些期刊作為研究數(shù)據(jù)來源。

筆者檢索Web of Science數(shù)據(jù)庫，用Deep Learning做檢索詞在COMPUTER SCIENCE類別下進行主題檢索，檢索時間為2006—2016年，共檢索得到2，696篇文獻，選取ARTIFICIAL INTELLIGENCE下的130種期刊發(fā)表的文獻，共得到609篇文獻。因被引次數(shù)為0的論文的影響力肯定不大，因此剔除這部分論文后得到426篇文獻，本研究以這426篇文獻為基礎。

3.2研究方法

評價論文影響力的方法有很多，如谷歌的I10指數(shù)、H指數(shù)、G指數(shù)、H5指數(shù)、H5中位數(shù)、Altmetric、RG Score等。這些評價方法主要從三個角度進行評價，I10指數(shù)、H指數(shù)、G指數(shù)、H5中位數(shù)都是從論文被引用的次數(shù)進行評價，H5指數(shù)在論文引用數(shù)的基礎上增設了期刊的論文數(shù)指標，而Altmetric、RG Score是從社交網(wǎng)絡、分享的角度提出的評價指標。

本研究基于數(shù)據(jù)庫文獻，首先排除從社交網(wǎng)絡分享角度進行評價的論文，主要考慮從論文和期刊本身、期刊發(fā)表相關文獻數(shù)、期刊影響因子指標進行評價。

期刊發(fā)表相關文獻數(shù)是指426篇文獻里每種期刊登載的相關文獻數(shù)量，一般來說文獻數(shù)越多，說明在該領域影響力越大，因此這一指標可作為其中的一個評價指標。發(fā)表在高影響因子期刊上的論文的影響力肯定較高，因此將期刊影響因子作為其中一個指標。

3.3期刊分析

筆者引進了一個新的評價指標——期刊發(fā)表相關文獻數(shù)，是指426篇文獻里每種期刊登載的相關文獻數(shù)量，一般來說文獻數(shù)越多，說明在該領域影響力越大，期刊發(fā)表相關文獻數(shù)與論文影響力是正相關關系。

426篇文獻分別發(fā)表在71種期刊上，其中《NEUROCOMPUTING》期刊上發(fā)表的有關深度學習的文獻數(shù)最多，共計69篇，占總文獻數(shù)的16%?！禝EEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》和《EXPERT SYSTEMS WITH APPLICATIONS》期刊分別發(fā)表32篇和31篇文獻，近1/3的文獻發(fā)表在這三種刊物上。

4?深度學習知識圖譜

二八法則被廣泛應用于現(xiàn)實生活中，在文獻分布規(guī)律里也同樣試用，也就是說20%的文獻里集中了80%的知識內容，前20%的文獻是核心文獻。筆者以426篇文獻為基數(shù)，研究排名前20%的文獻信息（即前85篇文獻），以揭示深度學習的知識圖譜。

4.1發(fā)表年限研究

圖1是85篇高影響力文獻中論文的每年發(fā)文量，從圖1可以看出深度學習的研究最早起源于2006年，是Geoffrey E. Hinton發(fā)表的A fast learning algorithm for deep belief nets一文，2009至2012年每年都發(fā)表2～3篇高影響力文獻;2013至2015年文獻增多至12～13篇;2016年文獻最多，達39篇。

4.2發(fā)表期刊研究

圖2是85篇高影響力文獻中每種期刊的發(fā)文量，NEUROCOMPUTING發(fā)文量最大，其次是IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，其余期刊發(fā)文量銳減，說明前兩種期刊屬于深度學習領域的核心期刊。NEUROCOMPUTING的影響因子為2.392，主要發(fā)表關于神經網(wǎng)絡、神經計算科學、學習系統(tǒng)、跨學科人工智能等方面的文章[12]。IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE的影響因子為6.077，主要發(fā)表關于計算機視覺和圖像理解的文章，特別是用于模式分析的機器學習領域，還涵蓋圖像和視頻檢索、手寫分析、面部識別等領域。

4.3作者研究

圖3是85篇高影響力文獻中每個作者的發(fā)文量，從圖3可以看出Yoshua Bengio發(fā)文量最大，達5篇;其次是Mohammed Bennamoun、Gao Xinbo等人發(fā)文3篇;Geoffrey E. Hinton等人發(fā)文2篇;其余有281個作者發(fā)文1篇。每篇文章的作者數(shù)最少有2個，最多的有8個。

在這些作者中，較有影響力的有Geoffrey E. Hinton，Yoshua Bengio，Ruslan Salakhutdinov等人。Geoffrey E. Hinton是多倫多大學計算機科學領域的榮譽教授，是谷歌的工程師。Yoshua Bengio是計算機科學教授，蒙特利爾學習算法研究所（MILA）主任，是多本機器學習和神經網(wǎng)絡雜志的副主編。Ruslan Salakhutdinov是卡內基梅隆大學（CMU）的副教授，也是蘋果首任AI總監(jiān)。

5?結語

本研究的思路主要包括以下幾個方面：①選取若干核心期刊作為文獻數(shù)據(jù)來源，獲取刊登關于深度學習的所有論文和論文相關信息。②對所有論文進行論文影響力分析，進而揭示出若干深度學習的高影響力論文。③對高影響力論文進行分析，揭示出深度學習的文獻年代分布和期刊分布、主要研究專家和主要研究領域，得出深度學習領域初步的知識圖譜。囿于篇幅，筆者對相關數(shù)據(jù)僅做了粗淺統(tǒng)計，研究范圍也略顯薄弱，希望后期研究能夠更加深入。

參考文獻：

[1]boxi.2016：深度學習統(tǒng)治互聯(lián)網(wǎng)之年[EB/OL].[2017-01-20].http：//36kr.com/p/5060853.html.

[2]鄭澤宇.深度學習：2016年大事記回放[EB/OL].[2017-01-20].http：//www.infoq.com/cn/articles/deeplearning-2016-review？from=timeline.

[3]Hinton G E， Osindero S， Teh Y W. A fast learning algorithm for deep belief nets[J].Neural computation，2006（7）：1527-1554.

[4]Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507.

[5]Andrew Y Ng. Nuts and Bolts of Building Applications using Deep Learning[EB/OL].[2017-01-20].https：//nips.cc/Conferences/2016/Schedule？type=Tutorial.

[6]Kaiming He. Deep Residual Networks： Deep Learning Gets Way Deeper[EB/OL].[2017-01-20].http：//icml.cc/2016/？page_id=97.

[7]CVPR 2016.Tutorials[EB/OL].[2017-01-20].http：//cvpr2016.thecvf.com/program/tutorials.

[8]維基百科.深度學習[EB/OL].[2017-01-20].https：//en.wikipedia.org/wiki/Deep_learning#Definitions.

[9]百度百科.人工智能[EB/OL].[2017-01-20].http：//baike.baidu.com/link？url=2pDgfw34X-d7LeyF 7X0rLsNKtA2E0CBzVk4Jab0M2_AANqVN1Hi0XOWS_gUsZPi7hiHPV6kbENVo_Vi0ZQ_M4CC9DN7Y1Y3yw ZrbK-Y8CzoJ6EYP5_na5H4_U6tWn107.

[10]Langley P. Elements of machine learning[M].Morgan Kaufmann，1996：1.

[11]Elsevier.Neurocomputing[EB/OL].[2017-01-20].https：//www.journals.elsevier.com/neurocomputing/#tab-page-3.

[12]IEEE.org.IEEE Transactions on Pattern Analysis and Machine Intelligence[EB/OL].[2017-01-20].http：//ieeexplore.ieee.org/xpl/aboutJournal.jsp？punu mber=34.

（編校：崔?萌）