李濤

摘要：卷積神經(jīng)網(wǎng)絡(luò)在諸如目標(biāo)識別、物體檢測等任務(wù)上取得了優(yōu)異結(jié)果，然而設(shè)計一個性能優(yōu)異的網(wǎng)絡(luò)依賴于專家知識。神經(jīng)網(wǎng)絡(luò)搜索（NAS）致力于自動化的設(shè)計出高性能的卷積神經(jīng)網(wǎng)絡(luò)，已經(jīng)成為深度學(xué)習(xí)領(lǐng)域中的一個研究熱點。在本文中，介紹了不同的神經(jīng)網(wǎng)絡(luò)搜索技術(shù)，并對每一種方法的優(yōu)點和局限性進(jìn)行了分析，最后指出了神經(jīng)網(wǎng)絡(luò)搜索領(lǐng)域存在的主要挑戰(zhàn)和未來的研究方向。

關(guān)鍵詞：深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);神經(jīng)網(wǎng)絡(luò)搜索

中圖分類號：TP391 ? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）17-0177-02

Abstract： Convolutional neural networks have achieved excellent results on tasks such as target recognition and object detection. However， designing a network with excellent performance depends on expert knowledge. Neural architecture search （NAS） is dedicated to the automated design of high-performance convolutional neural networks， which has become a research hotspot in the field of deep learning. In this paper， different neural architecture search techniques are reviewed， and the advantages and limitations of each method are analyzed. Finally， the main challenges and research directions in the field of neural architecture search are pointed out.

Key words： deep learning; convolutional neural networks; neural architecture search

1 引言

神經(jīng)網(wǎng)絡(luò)搜索（NAS）可以由三個部分組成，搜索空間、評估方法、搜索方法。搜索空間包含了所有可能被設(shè)計出的網(wǎng)絡(luò)結(jié)構(gòu)，評估方法用來評估網(wǎng)絡(luò)結(jié)構(gòu)性能，搜索方法決定了如何探索搜索空間并從中找出性能優(yōu)良的網(wǎng)絡(luò)結(jié)構(gòu)。接下來，將對這三部分進(jìn)行仔細(xì)地介紹。

2 神經(jīng)網(wǎng)絡(luò)搜索

2.1搜索空間

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層組成，決定卷積層類型的參數(shù)有卷積核大小、步長、通道數(shù)以及卷積類型等，決定池化層類型的參數(shù)有池化核大小、步長以及池化類型等，決定全連接層類型的參數(shù)則有通道數(shù)、激活函數(shù)等。卷積層、池化層以及全連接層可以看作組成卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件。通常，在神經(jīng)網(wǎng)絡(luò)搜索方法中，搜索空間的定義決定了使用哪些基本構(gòu)件以及如何使用這些基本構(gòu)件來組成一個完整的卷積神經(jīng)網(wǎng)絡(luò)。

在鏈?zhǔn)剿阉骺臻g中，卷積神經(jīng)網(wǎng)絡(luò)是由一系列的卷積層、池化層和全連接層像一條長鏈那樣堆疊起來的，每一層只和之前的層存在連接。在鏈?zhǔn)剿阉骺臻g中，卷積神經(jīng)網(wǎng)絡(luò)可以被寫成一個由多個網(wǎng)絡(luò)層組成的長序列。因此，鏈?zhǔn)剿阉骺臻g通?？梢杂蓛深悈?shù)決定，一是網(wǎng)絡(luò)的深度即網(wǎng)絡(luò)層的個數(shù)，二是每一網(wǎng)絡(luò)層的具體類型，比如卷積層、池化層或者全連接層。比如，在Zoph[1]等人設(shè)計的搜索空間中，網(wǎng)絡(luò)是由不同的卷積層、池化層和全連接層按照鏈?zhǔn)巾樞蚪M成的，神經(jīng)網(wǎng)絡(luò)搜索方法需要預(yù)測每一網(wǎng)絡(luò)層的具體參數(shù)，比如通道數(shù)、步長等。一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)通過使用跳躍連接大大提升了網(wǎng)絡(luò)的性能。很多神經(jīng)網(wǎng)絡(luò)搜索方法也在網(wǎng)絡(luò)搜索空間中的定義中使用了跳躍連接，這樣的搜索空間被稱為多分支網(wǎng)絡(luò)搜索空間。多分支網(wǎng)絡(luò)搜索空間可以由兩部分參數(shù)決定，一是不同層之間的連接方式，二是每一個網(wǎng)絡(luò)層的具體類型?；诙喾种ЬW(wǎng)絡(luò)搜索空間設(shè)計出的網(wǎng)絡(luò)結(jié)構(gòu)性能往往優(yōu)于基于鏈?zhǔn)剿阉骺臻g設(shè)計出的網(wǎng)絡(luò)結(jié)構(gòu)。

2.2評估方法

神經(jīng)網(wǎng)絡(luò)搜索方法需要對搜索出來的每一個網(wǎng)絡(luò)進(jìn)行性能評估。最簡單的性能評估方法就是在訓(xùn)練集上完整訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)，并在驗證集上驗證網(wǎng)絡(luò)結(jié)構(gòu)的性能。然而，由于搜索過程中需要評估成千上萬個模型，使用這種評估方法至少需要消耗幾十天的搜索時間。因此，很多研究者致力于降低評估網(wǎng)絡(luò)性能需要的計算資源。One-shot[2]方法定義了一個超網(wǎng)絡(luò)，搜索空間中的網(wǎng)絡(luò)都是這個超網(wǎng)網(wǎng)絡(luò)的子網(wǎng)絡(luò)，并且權(quán)重都繼承自這個超網(wǎng)絡(luò)。由于只需要訓(xùn)練一個超網(wǎng)絡(luò)，one-shot方法能夠大大降低性能評估需要的計算資源?；诘捅Ｕ娴挠?xùn)練方法，則在訓(xùn)練過程中使用更少的訓(xùn)練數(shù)據(jù)、更少的訓(xùn)練批次或者更低分辨率的圖像，同樣降低了網(wǎng)絡(luò)性能評估需要消耗的計算資源。

2.3搜索方法

搜索方法決定了如何探索搜索空間并從中搜索到性能優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)。進(jìn)化算法[3]是一種比較經(jīng)典的搜索方法，其通過模擬自然界的進(jìn)化過程探索搜索空間。在進(jìn)化算法中，單個網(wǎng)絡(luò)被看作進(jìn)化的基本單位個體，網(wǎng)絡(luò)的性能用來表示相應(yīng)個體的適應(yīng)度，適應(yīng)度高低來決定哪些網(wǎng)絡(luò)被選擇用來繁殖下一代個體，進(jìn)化算法通過執(zhí)行交叉、變異操作來具體產(chǎn)生下一代個體。通過模擬自然選擇的過程，進(jìn)化算法能夠設(shè)計出高性能的網(wǎng)絡(luò)結(jié)構(gòu)。強(qiáng)化學(xué)習(xí)算法[1]是另一種比較經(jīng)典的搜索算法。在強(qiáng)化學(xué)習(xí)中，一個智能體負(fù)責(zé)設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)，其設(shè)計出來的網(wǎng)絡(luò)結(jié)構(gòu)的性能被用作獎勵來更新智能體，使得智能體能夠設(shè)計出性能更加優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)?？蓪?dǎo)的網(wǎng)絡(luò)搜索方法[4]，則將網(wǎng)絡(luò)結(jié)構(gòu)的搜索和網(wǎng)絡(luò)參數(shù)的訓(xùn)練結(jié)合起來，將網(wǎng)絡(luò)結(jié)構(gòu)看作一種可以訓(xùn)練的參數(shù)，通過梯度傳播的方式訓(xùn)練網(wǎng)絡(luò)參數(shù)以及網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，從而搜索到具體的網(wǎng)絡(luò)結(jié)構(gòu)。

3 挑戰(zhàn)和未來方向

目前大多數(shù)神經(jīng)網(wǎng)絡(luò)搜索方法都用來處理分類任務(wù)，將神經(jīng)網(wǎng)絡(luò)搜索方法應(yīng)用到網(wǎng)絡(luò)壓縮、生成模型、語義分割等任務(wù)上成了一種迫切的需要。其次，如何處理多目標(biāo)任務(wù)的需求也是神經(jīng)網(wǎng)絡(luò)搜索方法面臨的一個挑戰(zhàn)，比如如何設(shè)計出高性能、低復(fù)雜度的網(wǎng)絡(luò)。此外，搜索空間決定了設(shè)計出的網(wǎng)絡(luò)結(jié)構(gòu)性能的上限，然而大多數(shù)神經(jīng)網(wǎng)絡(luò)搜索方法把研究重點放在性能評估和搜索方法上，因此迫切需要增加對搜索空間的研究。最后，不同的神經(jīng)網(wǎng)絡(luò)搜索方法使用數(shù)據(jù)集不同，消耗計算資源不同，設(shè)計出的網(wǎng)絡(luò)復(fù)雜度不用，采用的正則化技術(shù)也不同，簡單地使用設(shè)計出的網(wǎng)絡(luò)性能來比較不同的神經(jīng)網(wǎng)絡(luò)搜索方法并不公平，因此迫切需要制定一個基準(zhǔn)來評價不同的神經(jīng)網(wǎng)絡(luò)搜索方法。

4 總結(jié)

本文是對神經(jīng)網(wǎng)絡(luò)搜索方法的全面綜述。神經(jīng)網(wǎng)絡(luò)搜索方法可以由三個部分組成，搜索空間、搜索方法、評估方法，本文針對這三個部分進(jìn)行了全面的介紹。最后，本文針對神經(jīng)網(wǎng)絡(luò)搜索所面臨的挑戰(zhàn)和未來的研究方向進(jìn)行了探討。隨著深度學(xué)習(xí)的發(fā)展，能夠自動化的設(shè)計出性能優(yōu)異網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)搜索方法也將會越來越受到重視，本文能夠為相關(guān)研究者提供一定程度的參考。

參考文獻(xiàn)：

[1] Zoph B， Le Q V. Neural architecture search with reinforcement learning[J]. arXiv preprint arXiv：1611.01578， 2016.

[2] Bender G. Understanding and simplifying one-shot architecture search[J]. 2019.

[3] Real E， Moore S， Selle A， et al. Large-scale evolution of image classifiers[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org， 2017：.

[4] Liu H， Simonyan K， Yang Y. Darts： Differentiable architecture search[J]. arXiv preprint arXiv：1806.09055， 2018.

【通聯(lián)編輯：唐一東】