來學(xué)偉

摘要：該文簡單介紹了大規(guī)模的深度學(xué)習(xí)在動態(tài)結(jié)構(gòu)中的應(yīng)用原理，重點(diǎn)介紹了級聯(lián)分類器的原理，接著分析了使用動態(tài)結(jié)構(gòu)化系統(tǒng)的主要障礙。并提出了解決方案。

關(guān)鍵詞：動態(tài)結(jié)構(gòu);級聯(lián)分類器;批量卷積

中圖分類號：TP181? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）17-0199-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Abstract： this paper briefly introduces the application principle of large-scale deep learning in dynamic structure， especially the principle of cascade classifier， and then analyzes the main obstacles of using dynamic structured system.And put forward the solution.

Key words： dynamic structure; vascade classifier; batch convolution

1 背景

一般來說，加速數(shù)據(jù)處理系統(tǒng)的一種策略是構(gòu)造一個系統(tǒng)，這個系統(tǒng)用動態(tài)結(jié)構(gòu)（dynamic structure） 描述圖中處理輸入的所需計算過程。在給定一個輸入的情況中，數(shù)據(jù)處理系統(tǒng)可以動態(tài)地決定運(yùn)行神經(jīng)網(wǎng)絡(luò)系統(tǒng)的哪一部分。單個神經(jīng)網(wǎng)絡(luò)內(nèi)部同樣也存在動態(tài)結(jié)構(gòu)，給定輸入信息，決定特征（隱藏單元）哪一部分用于計算。這種神經(jīng)網(wǎng)絡(luò)中的動態(tài)結(jié)構(gòu)有時被稱為條件計算 （conditional computation）（Bengioet al.， 2013b，c）。由于模型結(jié)構(gòu)許多部分可能只跟輸入的一小部分有關(guān)，只計算那些需要的特征可以起到加速的目的[1]。

2 級聯(lián)分類器的原理

動態(tài)結(jié)構(gòu)計算是一種基礎(chǔ)的計算機(jī)科學(xué)方法，廣泛應(yīng)用于軟件工程項(xiàng)目。應(yīng)用于神經(jīng)網(wǎng)絡(luò)的最簡單的動態(tài)結(jié)構(gòu)基于決定神經(jīng)網(wǎng)絡(luò)（或者其他機(jī)器學(xué)習(xí)模型）中的哪些子集需要應(yīng)用于特定的輸入。

在分類器中加速推斷的可行策略是使用級聯(lián)（cascade）的分類器。當(dāng)目標(biāo)是檢測罕見對象（或事件）的是否存在，可以應(yīng)用級聯(lián)策略。要確定對象是否存在，我們必須使用具有高容量、運(yùn)行昂貴的復(fù)雜分類器。然而，因?yàn)閷ο笫呛币姷?，我們通常可以使用更少的計算拒絕不包含對象的輸入。在這些情況下，我們可以訓(xùn)練一系列分類器。序列中的第一分類器具有低容量，訓(xùn)練為具有高召回率。換句話說，他們被訓(xùn)練為確保對象存在時，我們不會錯誤地拒絕輸入。最終的分類器訓(xùn)練為具有高精度。在測試時，我們按照順序運(yùn)行分類器進(jìn)行推斷，一旦級聯(lián)中的任何一個拒絕它，就選擇拋棄?？偟膩碚f，這允許我們使用高容量模型以較高的置信度驗(yàn)證對象的存在，而不是強(qiáng)制我們?yōu)槊總€樣本付出完全推斷的成本。有兩種不同的方式可以使得級聯(lián)實(shí)現(xiàn)高容量。一種方法是使級聯(lián)中靠后的成員單獨(dú)具有高容量。在這種情況下，系統(tǒng)作為一個整體顯然具有高容量，因?yàn)樗囊恍﹤€體成員是高容量的。還可以使用另一種級聯(lián)，其中每個單獨(dú)的模型具有低容量，但是由于許多小型模型的組合，整個系統(tǒng)具有高容量。Viola and Jones （2001） 使用級聯(lián)的增強(qiáng)決策樹實(shí)現(xiàn)適合在手持?jǐn)?shù)字相機(jī)中使用的快速并且魯棒的面部檢測器。本質(zhì)上，它們的分類器使用滑動窗口方法來定位面部，許多窗口會被檢查，如果它們不包含面部則被拒絕。級聯(lián)的另一個版本使用早期模型來實(shí)現(xiàn)一種硬性的注意機(jī)制：級聯(lián)的早期成員定位對象，并且級聯(lián)的后續(xù)成員在給定對象位置的情況下執(zhí)行進(jìn)一步處理。例如，Google使用兩步級聯(lián)從街景視圖圖像中轉(zhuǎn)換地址編號，首先使用一個機(jī)器學(xué)習(xí)模型查找地址編號，然后使用另一個機(jī)器學(xué)習(xí)模型將其轉(zhuǎn)錄 （Goodfellow et al.， 2014d）。

決策樹本身是動態(tài)結(jié)構(gòu)的一個例子，因?yàn)闃渲械拿總€節(jié)點(diǎn)決定應(yīng)該使用哪個子樹來評估輸入。一個結(jié)合深度學(xué)習(xí)和動態(tài)結(jié)構(gòu)的簡單方法是訓(xùn)練一個決策樹，其中每個節(jié)點(diǎn)使用神經(jīng)網(wǎng)絡(luò)做出決策 （Guo and Gelfand， 1992），雖然這種方法沒有實(shí)現(xiàn)加速推斷計算的目標(biāo)[2]。

類似的，我們可以使用稱為選通器 （gater） 的神經(jīng)網(wǎng)絡(luò)來選擇在給定當(dāng)前輸入的情況下將使用幾個專家網(wǎng)絡(luò) （expert network） 中的哪一個來計算輸出。這個想法的第一個版本被稱為專家混合體 （mixture of experts）（Nowlan， 1990; Jacobs et al.，1991），其中選通器為每個專家輸出一個概率或權(quán)重（通過非線性的softmax 函數(shù)獲得），并且最終輸出由各個專家輸出的加權(quán)組合獲得。在這種情況下，使用選通器不會降低計算成本，但如果每個樣本的選通器選擇單個專家，我們就會獲得一個特殊的硬專家混合體 （hard mixture of experts） （Collobert et al.， 2001， 2002），這可以加速推斷和訓(xùn)練的時間。當(dāng)選通器決策的數(shù)量很小的時候，這個策略效果會很好，因?yàn)樗皇墙M合的。但是當(dāng)我們想要選擇不同的單元或參數(shù)子集時，不可能使用“軟開關(guān)”，因?yàn)樗枰杜e（和計算輸出）所有的選通器配置。為了解決這個問題，許多工作探索了幾種方法來訓(xùn)練組合的選通器。Bengio et al. （2013c）提出使用選通器概率梯度的若干估計器，而Bacon et al. （2015）; Bengio et al. （2015a） 使用強(qiáng)化學(xué)習(xí)技術(shù)（策略梯度（policy gradient））來學(xué)習(xí)一種形式的隱藏單元的條件Dropout，減少了實(shí)際的計算成本，而不會對近似的質(zhì)量產(chǎn)生負(fù)面影響。另一種動態(tài)結(jié)構(gòu)是開關(guān)，其中隱藏單元可以根據(jù)具體情況從不同單元接收輸入。這種動態(tài)路由方法可以理解為注意機(jī)制（attention mechanism） （Olshausen et al.，1993）。目前為止，硬性開關(guān)的使用在大規(guī)模應(yīng)用中還沒有被證明是有效的。較為先進(jìn)的方法一般采用對許多可能的輸入使用加權(quán)平均，因此不能收獲動態(tài)結(jié)構(gòu)所有可能的計算益處[3]。

使用動態(tài)結(jié)構(gòu)化系統(tǒng)的主要障礙是由于系統(tǒng)針對不同輸入的不同代碼分支導(dǎo)致的并行度降低。這意味著網(wǎng)絡(luò)中只有很少的操作可以被描述為對樣本minibatch的矩陣乘法或批量卷積。我們可以寫更多的專用子程序，用不同的核對樣本做卷積，或者通過不同的權(quán)重列來乘以設(shè)計矩陣的每一行。不幸的是，這些專用的子程序難以高效地實(shí)現(xiàn)。由于缺乏高速緩存的一致性，CPU實(shí)現(xiàn)將是緩慢的。GPU的實(shí)現(xiàn)也將是緩慢的，因?yàn)槿狈壜?lián)的內(nèi)存操作以及warp成員使用不同分支時需要串行化操作。在一些情況下，可以將樣本分成組緩解這些問題，這些組都采用相同的分支并且同時處理這些樣本組[4]。在離線環(huán)境中，這是最小化處理固定量樣本所需時間的一項(xiàng)可接受的策略。在實(shí)時系統(tǒng)中，樣本必須連續(xù)處理，對工作負(fù)載進(jìn)行分區(qū)可能會導(dǎo)致負(fù)載均衡問題。例如，如果我們分配一臺機(jī)器處理級聯(lián)中的第一步，另一臺機(jī)器處理級聯(lián)中的最后一步，那么第一臺機(jī)器將傾向于過載，最后一個機(jī)器傾向于欠載。如果每個機(jī)器被分配以實(shí)現(xiàn)神經(jīng)決策樹的不同節(jié)點(diǎn)，也會出現(xiàn)類似的問題。

3 總結(jié)

本文介紹了大規(guī)模的深度學(xué)習(xí)在動態(tài)結(jié)構(gòu)中的應(yīng)用原理，重點(diǎn)介紹了級聯(lián)分類器的原理，接著分析了使用動態(tài)結(jié)構(gòu)化系統(tǒng)的主要障礙。并提出了解決方案。對大規(guī)模的深度學(xué)習(xí)在動態(tài)結(jié)構(gòu)中的應(yīng)用具有一定的實(shí)際意義。

參考文獻(xiàn)：

[1] 深度學(xué)習(xí)已成功應(yīng)用于這三大領(lǐng)域[EB/OL]. http：//bigdata.idcquan.com/dsjjs/122448.shtml.

[2] 閔騰飛. 基于協(xié)同過濾和深度學(xué)習(xí)的臨床決策支持方法研究[D]. 哈爾濱： 哈爾濱工業(yè)大學(xué)， 2018.

[3] 張騫予. 深度學(xué)習(xí)在醫(yī)學(xué)圖像識別中的研究與應(yīng)用[D]. 太原： 太原理工大學(xué)碩士論文， 2018.

[4] 顏志鵬. 基于深度強(qiáng)化學(xué)習(xí)的游戲控制算法研究與實(shí)現(xiàn)[D]. 西安： 電子科技大學(xué)， 2018.

【通聯(lián)編輯：謝媛媛】