（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

2016 年，谷歌Alpha Go 在世界圍棋競(jìng)賽中戰(zhàn)勝專業(yè)棋手，引發(fā)人們對(duì)人工智能的激烈探討，同年，“人工智能”一詞寫入中國(guó)“十三五”規(guī)劃綱要，各大互聯(lián)網(wǎng)公司也紛紛加大對(duì)人工智能領(lǐng)域的投入，自此人工智能進(jìn)入高速發(fā)展階段。深度學(xué)習(xí)是人工智能的重點(diǎn)研究領(lǐng)域之一，其原理是建立模型模擬人類大腦神經(jīng)結(jié)構(gòu)，主要涉及神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用［1］。1958 年，第一代神經(jīng)網(wǎng)絡(luò)單層感知器由Rosenblatt［2］提出，在此后的近半個(gè)世紀(jì)中，由于相關(guān)技術(shù)的落后，尤其在各種淺層機(jī)器學(xué)習(xí)模型相繼被提出后，神經(jīng)網(wǎng)絡(luò)的研究被擱置［3］。2006 年，Hinton 等［4-5］對(duì)神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)高維度以及梯度消失等問(wèn)題展開(kāi)研究，此后深度學(xué)習(xí)進(jìn)入快速發(fā)展期。近年來(lái)，深度學(xué)習(xí)引起越來(lái)越多人的關(guān)注，該領(lǐng)域論文發(fā)表量逐年增加，研究人員難以從眾多文獻(xiàn)中把握領(lǐng)域研究熱點(diǎn)及前沿。因此，對(duì)國(guó)內(nèi)深度學(xué)習(xí)領(lǐng)域研究熱點(diǎn)及前沿進(jìn)行分析，以期為研究人員的深度學(xué)習(xí)理論及具體應(yīng)用研究提供參考。

在國(guó)內(nèi)深度學(xué)習(xí)研究領(lǐng)域，研究人員從深度學(xué)習(xí)主流模型及其應(yīng)用入手，論述了深度學(xué)習(xí)研究進(jìn)展及未來(lái)發(fā)展方向。如孫志軍等［6］論述深度學(xué)習(xí)的興起淵源，介紹了主流學(xué)習(xí)算法及應(yīng)用現(xiàn)狀；尹寶才等［1］依據(jù)數(shù)據(jù)流向?qū)哂写硇缘纳疃葘W(xué)習(xí)算法進(jìn)行歸納總結(jié)，具體論述了各種深度網(wǎng)絡(luò)的結(jié)構(gòu)及特點(diǎn)；張軍陽(yáng)等［7］梳理深度學(xué)習(xí)模型架構(gòu)及優(yōu)化技巧，對(duì)比分析主流的深度學(xué)習(xí)軟件工具及硬件加速技術(shù)；譚笑楓等［8］在簡(jiǎn)述深度學(xué)習(xí)研究歷史的基礎(chǔ)上，重點(diǎn)介紹了卷積神經(jīng)網(wǎng)絡(luò)等經(jīng)典算法及其應(yīng)用；張海等［9］利用2006-2019 年WOS 數(shù)據(jù)庫(kù)中深度學(xué)習(xí)領(lǐng)域的計(jì)算機(jī)和教育相關(guān)研究文獻(xiàn)進(jìn)行知識(shí)圖譜分析，提出深度學(xué)習(xí)的3個(gè)主要研究熱點(diǎn)。本文旨在綜合運(yùn)用CiteSpace 和VOS?viewer 軟件對(duì)2005-2019 年國(guó)內(nèi)深度學(xué)習(xí)領(lǐng)域期刊文獻(xiàn)進(jìn)行知識(shí)圖譜分析，以得到深度學(xué)習(xí)領(lǐng)域研究熱點(diǎn)與前沿，使研究人員能更好地了解當(dāng)前國(guó)內(nèi)深度學(xué)習(xí)領(lǐng)域發(fā)展?fàn)顩r，并把握未來(lái)發(fā)展方向。

1 數(shù)據(jù)來(lái)源與研究方法

1.1 數(shù)據(jù)來(lái)源

本文采用的數(shù)據(jù)來(lái)源為中國(guó)知網(wǎng)（CNKI）期刊庫(kù)，在“高級(jí)檢索”中按以下條件進(jìn)行文獻(xiàn)搜索，選擇“期刊”文獻(xiàn)，主題為“深度學(xué)習(xí)”，檢索時(shí)間段為2005-2019 年，期刊來(lái)源類別設(shè)置為“核心期刊”。檢索時(shí)間為2020 年5 月12日，共檢索得到4 643 條文獻(xiàn)。手動(dòng)對(duì)文獻(xiàn)進(jìn)行篩選，剔除與研究主題無(wú)關(guān)的文獻(xiàn)及重復(fù)文獻(xiàn)，最終得到4 633 條文獻(xiàn)。將文獻(xiàn)下載保存為refworks 文獻(xiàn)題錄格式，并以down?load_x.txt 格式保存為文本文檔，分別導(dǎo)入CiteSpace 和VOSviewer 軟件進(jìn)行數(shù)據(jù)分析。

1.2 研究方法

在科學(xué)計(jì)量領(lǐng)域，CiteSpace 和VOSviewer 是兩種被研究人員廣泛使用的可視化軟件。CiteSpace 是由美國(guó)德雷賽爾大學(xué)計(jì)算與信息學(xué)院陳超美［10］開(kāi)發(fā)的文獻(xiàn)可視化軟件，VOSviewer 是由荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心的Van 等［11］開(kāi)發(fā)的文獻(xiàn)可視化軟件，兩者都是基于Java 環(huán)境的免費(fèi)軟件，具有操作簡(jiǎn)便、功能強(qiáng)大等優(yōu)點(diǎn)［12］。同時(shí)，兩者又各有特點(diǎn)，CiteSpace 是通過(guò)年輪圖表示各主題之間的聯(lián)系強(qiáng)弱，其中年輪大小表示研究主題的研究頻次，連線粗細(xì)表示研究主題之間的關(guān)聯(lián)強(qiáng)弱；VOSviewer 主要是以距離、密度情況表示聚類關(guān)系，可以清晰顯示各聚類簇中的關(guān)鍵詞［13］。

關(guān)鍵詞是對(duì)文獻(xiàn)的核心概括，能囊括文獻(xiàn)的研究方向及研究重點(diǎn)。本文綜合運(yùn)用CiteSpace5.6 和VOSviewer 對(duì)深度學(xué)習(xí)相關(guān)文獻(xiàn)中的關(guān)鍵詞進(jìn)行可視化分析，以得到國(guó)內(nèi)深度學(xué)習(xí)研究進(jìn)展、研究熱點(diǎn)及前沿趨勢(shì)。將下載的文獻(xiàn)題錄導(dǎo)入CiteSpace 軟件進(jìn)行格式轉(zhuǎn)換、文獻(xiàn)去重，設(shè)置時(shí)間切片為1，節(jié)點(diǎn)（Node Types）選擇關(guān)鍵詞（Keyword），閾值設(shè)置為TOP50，剪切方式選擇路徑搜索算法（Pathfind?er），以及路徑網(wǎng)絡(luò)簡(jiǎn)化（Pruning Sliced Networks）和合并網(wǎng)絡(luò)簡(jiǎn)化（Pruning the Merged Network），分別繪制關(guān)鍵詞時(shí)區(qū)視圖和關(guān)鍵詞共現(xiàn)圖譜。同樣將文獻(xiàn)數(shù)據(jù)導(dǎo)入VOSviewer軟件中，設(shè)置單個(gè)關(guān)鍵詞最少出現(xiàn)次數(shù)為25 次，得到114個(gè)關(guān)鍵詞，生成關(guān)鍵詞共現(xiàn)權(quán)重視圖，以展示關(guān)鍵詞之間的聚類關(guān)系。

2 研究結(jié)果與綜合分析

2.1 關(guān)鍵詞時(shí)區(qū)圖譜分析

通過(guò)對(duì)關(guān)鍵詞進(jìn)行聚類分析，可得到深度學(xué)習(xí)領(lǐng)域的研究主題情況。為清晰得到深度學(xué)習(xí)領(lǐng)域各研究主題出現(xiàn)時(shí)間及演進(jìn)過(guò)程，將關(guān)鍵詞共現(xiàn)圖譜按照時(shí)間進(jìn)行排布，生成關(guān)鍵詞時(shí)區(qū)圖譜（Time Zone），從而得到各時(shí)間段內(nèi)熱點(diǎn)主題分布情況。如圖1 所示，在關(guān)鍵詞時(shí)區(qū)圖譜中，每一個(gè)縱軸對(duì)應(yīng)一個(gè)時(shí)間段，關(guān)鍵詞所在時(shí)間軸為該關(guān)鍵詞首次出現(xiàn)時(shí)間，關(guān)鍵詞節(jié)點(diǎn)大小代表該關(guān)鍵詞出現(xiàn)頻次高低，關(guān)鍵詞之間連線代表兩個(gè)關(guān)鍵詞共同出現(xiàn)的情況。

Fig.1 Keyword time zone map based on CiteSpace圖1 基于CiteSpace 的關(guān)鍵詞時(shí)區(qū)圖譜

由圖1 可知，深度學(xué)習(xí)領(lǐng)域的研究主題逐年增多，且不斷演變，可大致將其劃分為以下兩個(gè)階段：

（1）2005-2014 年，該階段研究主題比較分散，各關(guān)鍵詞出現(xiàn)頻次較低，以至于看似是一段空白時(shí)期，說(shuō)明該階段對(duì)深度學(xué)習(xí)的研究較少且分散，未形成較為集中的研究主題。

（2）2014 年至今，是研究主題的主要增長(zhǎng)階段。在此階段，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)、計(jì)算機(jī)視覺(jué)、圖像處理、圖像分類等高頻關(guān)鍵詞，可知卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的相關(guān)應(yīng)用最早受到研究人員關(guān)注，特征提取、機(jī)器學(xué)習(xí)和支持向量機(jī)等高頻關(guān)鍵詞表明機(jī)器學(xué)習(xí)及其相關(guān)模型也是研究熱點(diǎn)。隨后研究人員開(kāi)始探索深度學(xué)習(xí)模型在故障診斷方面的應(yīng)用，同時(shí)開(kāi)始研究利用遷移學(xué)習(xí)解決深度學(xué)習(xí)模型訓(xùn)練用時(shí)長(zhǎng)、需要大量數(shù)據(jù)、對(duì)計(jì)算機(jī)硬件要求高等問(wèn)題。循環(huán)神經(jīng)網(wǎng)絡(luò)等高頻詞的出現(xiàn)說(shuō)明深度學(xué)習(xí)模型開(kāi)始應(yīng)用于自然語(yǔ)言處理領(lǐng)域。2014 年至今，各時(shí)間段研究主題之間連線密集，說(shuō)明深度學(xué)習(xí)領(lǐng)域各研究主題關(guān)聯(lián)密切，深度學(xué)習(xí)模型在不斷創(chuàng)新改進(jìn)，應(yīng)用領(lǐng)域也逐漸細(xì)化。

2.2 突變?cè)~檢測(cè)圖譜分析

突變?cè)~檢測(cè)用于檢測(cè)在某些年份出現(xiàn)頻次驟增的詞語(yǔ)，無(wú)論是高頻詞或低頻詞，頻次增長(zhǎng)率在某些年份突然增加的關(guān)鍵詞更有可能體現(xiàn)領(lǐng)域局部熱點(diǎn)變化，可代表該領(lǐng)域研究前沿［14］。本文利用CiteSpace 軟件中的突變算法對(duì)2005-2019 年深度學(xué)習(xí)領(lǐng)域關(guān)鍵詞進(jìn)行突變檢測(cè)，選擇根據(jù)突變?cè)~年代分布對(duì)24 個(gè)突變關(guān)鍵詞進(jìn)行排序，如圖2所示。其中，Strength 列表示關(guān)鍵詞突變強(qiáng)度，強(qiáng)度越大，表示該關(guān)鍵詞在突變時(shí)間段內(nèi)出現(xiàn)頻次越高，Begin 和End列分別代表關(guān)鍵詞突變的開(kāi)始及結(jié)束時(shí)間，其形成的時(shí)間段為該關(guān)鍵詞成為熱點(diǎn)前沿的時(shí)間。

Fig.2 CiteSpace-based mutation word detection map圖2 基于CiteSpace 的突變?cè)~檢測(cè)圖譜

與圖1 中顯示的2015 年以來(lái)深度學(xué)習(xí)模型在圖像處理、目標(biāo)檢測(cè)及故障診斷等方面的廣泛應(yīng)用相對(duì)應(yīng)，圖2具體顯示應(yīng)用中涉及到哪些關(guān)鍵技術(shù)為當(dāng)年研究前沿。稀疏編碼、受限玻爾茲曼機(jī)和稀疏表示主要應(yīng)用于圖像處理領(lǐng)域。人類視覺(jué)信息處理系統(tǒng)可看作一種高效的圖像處理系統(tǒng)［15］，其采用稀疏編碼策略，因此改進(jìn)受限玻爾茲曼機(jī)使其能學(xué)習(xí)輸入信號(hào)的稀疏表示，從而可將其更有效地應(yīng)用于圖像處理中。粒子濾波是應(yīng)用于目標(biāo)檢測(cè)跟蹤的主要算法，針對(duì)粒子濾波算法存在的問(wèn)題提出各種改進(jìn)方法，有利于提高目標(biāo)檢測(cè)跟蹤精度與實(shí)時(shí)性。深度置信網(wǎng)絡(luò)是用于故障診斷的主要模型，也廣泛應(yīng)用于人臉識(shí)別、語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域，至今仍是深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。

2.3 關(guān)鍵詞共現(xiàn)權(quán)重圖譜分析

在關(guān)鍵詞共現(xiàn)聚類方面，相較于CiteSpace 軟件利用節(jié)點(diǎn)大小顯示領(lǐng)域內(nèi)研究主題熱點(diǎn)，VOSviewer 軟件還可清晰展示出領(lǐng)域內(nèi)各聚類簇中的關(guān)鍵詞。本文利用VOS?viewer 軟件，選擇出現(xiàn)頻次（Occurrences）繪制深度學(xué)習(xí)領(lǐng)域的關(guān)鍵詞共現(xiàn)權(quán)重圖譜，關(guān)鍵詞出現(xiàn)頻次越高，關(guān)鍵詞節(jié)點(diǎn)越大，如圖3 所示。

Fig.3 Keyword co-occurrence weight map based on VOSviewer圖3 基于VOSviewer 的關(guān)鍵詞共現(xiàn)權(quán)重圖譜

圖3 中將114 個(gè)關(guān)鍵詞分為8 個(gè)聚類簇，具體特點(diǎn)如下：

（1）聚類1 中有23 個(gè)關(guān)鍵詞，如圖中紅色關(guān)鍵詞所示，主要包括故障診斷、無(wú)監(jiān)督學(xué)習(xí)、深度信念網(wǎng)絡(luò)等，可看出此聚類中主要涉及到深度學(xué)習(xí)模型在故障診斷等方面的應(yīng)用，以及所需的關(guān)鍵技術(shù)。

（2）聚類2 中有19 個(gè)關(guān)鍵詞，如圖中綠色關(guān)鍵詞所示，主要包括詞向量、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、自然語(yǔ)言處理等，該聚類包括深度學(xué)習(xí)模型在自然語(yǔ)言處理任務(wù)中的應(yīng)用及相關(guān)算法。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種用于處理序列數(shù)據(jù)的有效模型，廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域的情感分析、文本分類、推薦系統(tǒng)等。

（3）聚類3 中有16 個(gè)關(guān)鍵詞，如圖中深藍(lán)色關(guān)鍵詞所示，主要包括計(jì)算機(jī)視覺(jué)、目標(biāo)檢測(cè)、目標(biāo)識(shí)別等，該聚類主要為深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用。

（4）聚類4 和聚類5 中各有15 個(gè)關(guān)鍵詞，如圖3 中黃色、紫色關(guān)鍵詞所示，主要包括卷積神經(jīng)網(wǎng)絡(luò)、語(yǔ)義分割、人工智能、機(jī)器學(xué)習(xí)等。聚類4 和聚類5 分別展示了卷積神經(jīng)網(wǎng)絡(luò)在圖像處理及人工智能等方面的應(yīng)用。

（5）聚類6 中有11 個(gè)關(guān)鍵詞，如圖中淺藍(lán)色關(guān)鍵詞所示，主要包括圖像處理、殘差網(wǎng)絡(luò)等。殘差網(wǎng)絡(luò)通過(guò)捷徑連接的結(jié)構(gòu)改變了普通直連的神經(jīng)網(wǎng)絡(luò)層數(shù)過(guò)深導(dǎo)致的梯度消失問(wèn)題，多用于圖像處理領(lǐng)域，該聚類為深度學(xué)習(xí)模型在圖像處理方面的應(yīng)用及其關(guān)鍵技術(shù)［16］。

（6）聚類7、聚類8 分別有8 個(gè)和7 個(gè)關(guān)鍵詞，如圖中橙色、褐色關(guān)鍵詞所示，主要包括模式識(shí)別、圖像識(shí)別等，這兩個(gè)聚類主要展示了深度學(xué)習(xí)模型在分類識(shí)別問(wèn)題中的應(yīng)用。

3 總結(jié)與展望

本文對(duì)國(guó)內(nèi)2005-2019 年深度學(xué)習(xí)領(lǐng)域核心期刊文獻(xiàn)的關(guān)鍵詞進(jìn)行知識(shí)圖譜分析，分別利用CiteSpace 和VOSviewer 軟件繪制關(guān)鍵詞時(shí)區(qū)圖譜、突變?cè)~檢測(cè)圖譜和關(guān)鍵詞共現(xiàn)權(quán)重圖譜，并通過(guò)對(duì)各圖譜的分析得出深度學(xué)習(xí)領(lǐng)域研究進(jìn)展及研究熱點(diǎn)。從關(guān)鍵詞時(shí)區(qū)圖譜和關(guān)鍵詞共現(xiàn)權(quán)重圖譜中可以看出，深度學(xué)習(xí)領(lǐng)域研究主要集中在2014 年至今，卷積神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用是研究熱點(diǎn)，其最早應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，隨后應(yīng)用于圖像處理及目標(biāo)檢測(cè)等相關(guān)領(lǐng)域。此外，循環(huán)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用也逐漸成為研究熱點(diǎn)。突變?cè)~檢測(cè)圖譜檢測(cè)到深度學(xué)習(xí)領(lǐng)域研究重點(diǎn)在深度學(xué)習(xí)模型創(chuàng)新改進(jìn)方面，其中深度置信網(wǎng)絡(luò)應(yīng)用廣泛，至今仍是該領(lǐng)域研究熱點(diǎn)。

總體而言，深度學(xué)習(xí)模型的理論研究尚待完善，各相關(guān)具體應(yīng)用也處于探索研究階段。本文還存在一定局限性，如用于研究熱點(diǎn)分析的2005-2019 年期刊文獻(xiàn)數(shù)據(jù)量偏少，軟件相關(guān)參數(shù)還有待進(jìn)一步調(diào)優(yōu)等。本文僅利用文獻(xiàn)關(guān)鍵詞進(jìn)行研究熱點(diǎn)前沿分析，后續(xù)研究將進(jìn)行文獻(xiàn)引用情況等其它相關(guān)分析，以增強(qiáng)結(jié)論的可靠性。