高建瓴　孫健　王子牛　韓毓璐　馮嬌嬌

摘 ?要： 為提高SSD算法對(duì)于小目標(biāo)的檢測(cè)能力和定位能力，本文提出一種引入注意力機(jī)制和特征融合的SSD算法。該算法在原始SSD模型的基礎(chǔ)上，通過將全局池化操作作用于高層的不同尺度的特征圖上，結(jié)合注意力機(jī)制篩選出需要保留的信息。為提高對(duì)小目標(biāo)的檢測(cè)精度，本文引入反卷積和特征融合的方式，提高對(duì)小目標(biāo)的檢測(cè)能力。通過在PASCAL VOC數(shù)據(jù)集上的實(shí)驗(yàn)表明，該算法有效的提升了對(duì)小目標(biāo)識(shí)別的準(zhǔn)確率，改善了漏檢的情況，大幅度提升了檢測(cè)精度和算法的魯棒性。

關(guān)鍵詞：?注意力機(jī)制;SSD算法;全局平均池化;特征融合;PASCAL VOC數(shù)據(jù)集

中圖分類號(hào)： TN911.73????文獻(xiàn)標(biāo)識(shí)碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.045

【Abstract】： In order to improve the ability of SSD algorithm to detect and locate small objects， this paper proposes an SSD algorithm that introduces attention mechanism and feature fusion.?On the basis of the original SSD model， the algorithm combined with the attention mechanism to screen out the information that needs to be retained by applying the global pooling operation on the feature graphs of different scales at the high level.?In order to improve the detection accuracy of small targets， deconvolution and feature fusion are introduced in this paper to improve the detection ability of small targets.?Experiments on PASCAL VOC data set show that the algorithm can effectively improve the accuracy of small target recognition， improve the situation of missing detection， and greatly improve the detection accuracy and robustness of the algorithm.

【Key words】：?Attention?mechanisms;?SSD algorithm;?Global average pooling;?Feature fusion;?PASCAL VOC data set

0??引言

目前，越來越多的領(lǐng)域都運(yùn)用到了目標(biāo)檢測(cè)技術(shù)[1-3]，例如，無人駕駛領(lǐng)域，醫(yī)療圖像領(lǐng)域，軍事領(lǐng)域等等。在廣泛運(yùn)用的同時(shí)，怎樣可以將目標(biāo)檢測(cè)的性能提高，成為了困擾廣大國(guó)內(nèi)外學(xué)者的一個(gè)重點(diǎn)和熱點(diǎn)問題[4-5]。近幾年，深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)領(lǐng)域取得了突破性的研究成果，其檢測(cè)精度和速度都有了較高的提升，如R-CNN，F(xiàn)ast-RCNN，F(xiàn)aster-RCNN，YOLO，SSD等[6-10]。

其中，R-CNN，F(xiàn)ast-RCNN，F(xiàn)aster-RCNN屬于two-stage檢測(cè)算法，通過分類和回歸的方式進(jìn)行目標(biāo)檢測(cè)是two-stage檢測(cè)算法的特點(diǎn)，該目標(biāo)檢測(cè)模型的主要思想是基于區(qū)域候選的方法，在檢測(cè)區(qū)域中先將候選區(qū)域提選出來，然后再進(jìn)行分類和特征提取。YOLO，SSD屬于one-stage的檢測(cè)算法，直接通過回歸的方式實(shí)現(xiàn)目標(biāo)檢測(cè)，這就是one-?stage的檢測(cè)算法[11]，這種檢測(cè)方法需要預(yù)先按照一定的方式劃定默認(rèn)框，根據(jù)預(yù)測(cè)框、默認(rèn)框、真實(shí)框之間的對(duì)應(yīng)關(guān)系進(jìn)行訓(xùn)練，最典型的代表就是YOLO算法和SSD算法。YOLO算法是將特征圖等分為n×n的網(wǎng)格，但是有的時(shí)候一個(gè)網(wǎng)格中會(huì)存在很多小目標(biāo)，這就很有可能會(huì)造成對(duì)于目標(biāo)的漏檢和誤檢，而SSD算法就同時(shí)兼顧檢測(cè)的準(zhǔn)確率和速度，是因?yàn)镾SD算法可以在一個(gè)網(wǎng)格中提取多個(gè)候選區(qū)域[12]。但是SSD算法對(duì)于網(wǎng)絡(luò)的特征表達(dá)能力仍然存在不足，例如，魯棒性差，邊界定位不佳等問題。

為解決這一問題Liu等人提出了一種DSSD算法[13]，DSSD用Resnet-101網(wǎng)絡(luò)替換SSD中的VGG16網(wǎng)絡(luò)，將殘差模塊加入到了分類回歸之前，在SSD添加的輔助卷積層后又添加了反卷積層形成“粗-細(xì)-粗”的啞鈴結(jié)構(gòu)。經(jīng)過如此改造之后，DSSD算法在小目標(biāo)檢測(cè)上比SSD算法有了一個(gè)較大的提高，但因?yàn)榧尤氲腞esnet-101網(wǎng)絡(luò)，卷積層數(shù)太深，計(jì)算量太大，導(dǎo)致DSSD比SSD的檢測(cè)速度慢了不少。

為了進(jìn)一步提高SSD算法的準(zhǔn)確度，本文為了增強(qiáng)高層特征圖的語義信息引入了通道域注意力機(jī)制。通過反卷積和特種融合的方法提高對(duì)小目標(biāo)的檢測(cè)精度。通過實(shí)驗(yàn)表明，本文算法在目標(biāo)檢測(cè)及小目標(biāo)檢測(cè)的準(zhǔn)確率有了一定的提高，具有良好的魯棒性。

1 ?相關(guān)工作

1.1??注意力機(jī)制

近些年來，使用掩碼（mask）來形成注意力機(jī)制成為了在深度學(xué)習(xí)與注意力機(jī)制中相結(jié)合的一種研究方式。掩碼的工作原理是通過另一層新的權(quán)重，將數(shù)據(jù)集圖片中的關(guān)鍵特征識(shí)別并標(biāo)記出來，然后經(jīng)過不斷的學(xué)習(xí)和慢慢的訓(xùn)練，讓網(wǎng)絡(luò)學(xué)習(xí)到每一張數(shù)據(jù)集圖片里需要更多關(guān)注的區(qū)域，加重這塊區(qū)域的權(quán)重，這樣也就形成了所謂的注意力。這樣來理解的話，注意力機(jī)制可以分為兩種注意力機(jī)制，一種可以稱之為軟注意力，另一種可以稱之為強(qiáng)注意力，軟注意力更注重通道或者區(qū)域，軟注意力學(xué)習(xí)完成后可以直接通過網(wǎng)絡(luò)生成，所以軟注意力是一種確定性的注意力。而且這種軟注意力可以通過神經(jīng)網(wǎng)絡(luò)算出梯度，通過向前傳播和向后傳播反饋學(xué)習(xí)進(jìn)而得到注意力的權(quán)重，這說明這種軟注意力機(jī)制是可以微分的。而強(qiáng)注意力則更加偏向于關(guān)注點(diǎn)的變化，也就是說強(qiáng)注意力機(jī)制是一個(gè)隨機(jī)的預(yù)測(cè)過程，圖中的每一個(gè)點(diǎn)都有可能延伸出注意力，更偏向于動(dòng)態(tài)變化。強(qiáng)注意力機(jī)制的訓(xùn)練過程通常是由增強(qiáng)學(xué)習(xí)完成的，這是因?yàn)閺?qiáng)注意力是一個(gè)不可微的注意力。

如果從注意力域這方面來分析，注意力機(jī)制可以分為空間域注意力機(jī)制（spatial domain），通道域注意力機(jī)制（channel domain），混合域注意力機(jī)制（mixed domain）。

1.1.1 ?空間域（Spatial Domain）

2015年Max[14]等人提出一個(gè)叫空間轉(zhuǎn)換器的模塊，將圖片中的關(guān)鍵信息提取出來，并對(duì)其空間域的信息進(jìn)行相應(yīng)的空間變換。其模型結(jié)構(gòu)如圖1所示。

spatial transformer說白了就是注意力機(jī)制的一種實(shí)現(xiàn)方式，因?yàn)榻?jīng)過訓(xùn)練得到的spatial trans former可以發(fā)現(xiàn)圖片信息中需要被關(guān)注的區(qū)域，而且這個(gè)transformer還具有將圖片變大變小，改變方向的功能，這樣圖片信息中需要被關(guān)注的區(qū)域可以用框盒提取出來。這個(gè)模塊可以作為新層加入到其他網(wǎng)絡(luò)結(jié)構(gòu)中，對(duì)上一層信號(hào)的關(guān)鍵信息進(jìn)行識(shí)別。

1.1.2 ?通道域

2017年hujie等人提出了一個(gè)非常重要的SENet的模型[15]，并一舉奪得ImageNet的冠軍，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

我們從上圖可以看出，左邊的X是原始輸入圖片特征，經(jīng)過卷積變換Ftr，產(chǎn)生了新的特征圖U。特征圖U包括了C個(gè)通道，每個(gè)通道的權(quán)重可以由注意力模塊來學(xué)習(xí)出來，進(jìn)而生成通道域的注意力。中間的注意力機(jī)制模塊就是SENet的創(chuàng)新部分。SENet中的注意力機(jī)制可以分成三個(gè)部分：擠壓（squeeze），激勵(lì)（excitation），以及注意（attention）。

1.1.3??混合域

經(jīng)過上面對(duì)空間域注意力機(jī)制和通道域注意力機(jī)制的介紹，我們可以發(fā)現(xiàn)，通道域注意力是忽略每一個(gè)通道內(nèi)的局部信息，直接對(duì)通道內(nèi)的信息進(jìn)行全劇平均池化，這種做法比較粗糙。而空間域的注意力機(jī)制是將通道中的特征圖進(jìn)行同等處理，就會(huì)忽略通道域中特征信息，但是這樣的話空間域的變換方法只能在原始圖片特征提取階段進(jìn)行，如果在其他卷積層上進(jìn)行應(yīng)用，則可解釋性不強(qiáng)，將這兩種注意力機(jī)制結(jié)合一下就可以設(shè)計(jì)出混合域的注意力機(jī)制模型。

2017年Fei Wang等人提出了注意力機(jī)制與深度殘差網(wǎng)絡(luò)相關(guān)的方法[16]，這篇文章中的注意力機(jī)制是一種軟注意力機(jī)制，使用mask碼來形成注意力。其中每一個(gè)特征元素（element）的權(quán)重就可以看成是這種mask碼。將注意力權(quán)重對(duì)應(yīng)到每個(gè)特征元素中去，形成的注意力機(jī)制就可以包含空間域和通道域了。

1.2 ?SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD的基礎(chǔ)網(wǎng)絡(luò)使用的是VGG16網(wǎng)絡(luò)，將VGG16的兩個(gè)全連接層替換為卷積層，并增加卷積層深度，在后面添加了Conv8_2，Conv9_2，Conv10_2，?Conv11_2四個(gè)卷積層。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

SSD將bounding box的輸出空間離散化成一系列的default boxes，有點(diǎn)類似于faster rcnn中的anchor。不同的層會(huì)輸出不同的default boxes，最終匯總在一起進(jìn)行非極大值抑制。這樣結(jié)合不同尺度的特征圖的boxes可以有效的處理多尺度問題。

1.3 ?特征融合

1.3.1 ?深度特征的層次性

2014年，Zeiler和Fergus利用反卷積技術(shù)[17]對(duì)卷積神經(jīng)網(wǎng)絡(luò)Alex Net特征進(jìn)行可視化[18]，發(fā)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的一些特性，其中之一就是卷積神經(jīng)網(wǎng)絡(luò)具有層次性。卷積操作能夠得到圖片候選框區(qū)域中各種特征，經(jīng)過池化操作之后，這些特征就會(huì)進(jìn)行融合和抽象，就這樣重復(fù)進(jìn)行卷積、池化、卷積、池化操作，不斷堆疊之后，從每一層得到的深度特征由一般的特征（如邊緣、紋理特征）慢慢變成高層語義特征（如人臉、軀干等模式）。得益于卷積網(wǎng)絡(luò)特征的層次特性使得不同層的特征可以信息互補(bǔ)，因此對(duì)單個(gè)網(wǎng)絡(luò)模型而言卷積特征融合是一種十分直接有效的網(wǎng)絡(luò)集成方法，對(duì)于提高網(wǎng)絡(luò)精度有較好的表現(xiàn)。

1.3.2??上采樣

不同層的卷積特征圖的分辨率可能不一樣，而特征融合時(shí)通常需要一樣分辨率的卷積特征圖，所以就要對(duì)不同分辨率的卷積特征圖進(jìn)行縮放操作。下采樣是一種將圖片的分辨率采樣到更小的分辨率的技術(shù)，比如我們?nèi)吮M皆知的池化操作;與之相對(duì)應(yīng)的，將圖像分辨率采樣到更高分辨率的技術(shù)就叫做上采樣。在CNN中，常用的上采樣方法是轉(zhuǎn)置卷積[19]（Transposed Convolution），也稱為反卷積。這里的反卷積與之前提到的特征可視化中的反卷積一樣都只是為了保證尺寸大小的互逆，而非數(shù)學(xué)意義上保證值的還原。反卷積過程如圖4所示，假設(shè)輸入為2*2大小，反卷積中的卷積核大小為4*4，將每個(gè)輸入值乘以一個(gè)卷積核，則得到4個(gè)4*4大小的輸出窗口，再將這四個(gè)輸出窗口以stride為2的方式疊加，去掉最外圈一圈的padding值，中間留下的部分就是最終輸出，大小剛好是輸入的兩倍。

2 ?本文算法

2.1 ?加入通道注意力機(jī)制的SSD算法

注意力機(jī)制模塊的實(shí)現(xiàn)過程分為三個(gè)步驟：擠壓（squeeze），激勵(lì)（excitation），以及注意（attention）。其中擠壓的公式如公式（1）所示。

其中H、W、C分別代表低分辨率高語義信息圖X輸入維度的長(zhǎng)度、寬度和通道數(shù)，對(duì)信息圖X進(jìn)行擠壓操作后，得到長(zhǎng)度為C的一組數(shù)組。公式（1）中的（i，j）表示在大小為H*W的特征圖上的（i，j）點(diǎn)，輸出Y是長(zhǎng)度為C的一維數(shù)組。我們可以看出公式（1）實(shí)際上就是一個(gè)全局平均池化的操作，把每個(gè)通道內(nèi)所有的特征值平均再相加。接下來的激勵(lì)過程實(shí)際上就是對(duì)各通道間的相關(guān)度進(jìn)行建模，公式如下：

W1的維度是C*C，W2的維度是C*C，其中C為C*1/4，經(jīng)過ReLU激活函數(shù)和Sigmoid函數(shù)來訓(xùn)練學(xué)習(xí)這兩個(gè)權(quán)重，得到一個(gè)一維的激勵(lì)權(quán)重來激活每一層通道，最后得到的S的維度是C*1*1。最后是attention操作：

將原始的輸入X替換為經(jīng)過注意力機(jī)制模塊獲得的特征圖X·，并送到本文改進(jìn)的SSD網(wǎng)絡(luò)中進(jìn)行檢測(cè)，換一種說法這個(gè)過程其實(shí)就是一個(gè)放縮?的過程，不同的通道的值乘上不同的權(quán)重，從而可以增強(qiáng)對(duì)關(guān)鍵通道的注意力。其算法流程圖如圖5所示。

2.2??加入反卷積和特征融合的SSD模型

針對(duì)SSD對(duì)小目標(biāo)檢測(cè)能力不足的問題本文使用反卷積讓負(fù)責(zé)檢測(cè)小目標(biāo)的特征層conv4_3的特征圖增大，然后對(duì)特征層conv11_2輸出的特征圖進(jìn)行上采樣，conv11_2是一層擁有豐富語義的特征層，得到的特征圖效果較好，將上采樣后得到的特征圖與特征圖nconv4_3進(jìn)行拼接，最后與SSD模型固有的多尺度特征層進(jìn)行像素直接加權(quán)和不同加權(quán)系數(shù)的特征融合。所以，本文提出的最終模型如圖6所示。

圖6中紅線部分為反卷積特征區(qū)域放大模塊，主要作用是通過反卷積放大conv4_3特征圖分辨率，與上采樣的conv11_2特征圖拼接，得到新的特征層nconv4_3。SSD模型其他特征層為conv7、conv8_2、conv9_2和conv10_2，與nconv4_3進(jìn)行不同加權(quán)系數(shù)的特征融合，最后進(jìn)行對(duì)目標(biāo)的定位檢測(cè)并輸出。

3??實(shí)驗(yàn)結(jié)果與分析

3.1 ?實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

本實(shí)驗(yàn)所用配置為linux操作系統(tǒng)openSUSE Leap 42.3，選用intel（R）Core（TM）i5-7500的CPU，GeForce RTX2080Ti的GPU，深度學(xué)習(xí)框架為Tenorflow。實(shí)驗(yàn)所用數(shù)據(jù)集為PASCAL VOC數(shù)據(jù)集，該數(shù)據(jù)集包括20個(gè)類別，即飛機(jī)、自行車、鳥、船、瓶子、公共汽車、小轎車、貓、椅子、牛、桌子、狗、馬、摩托車、人類、植物、羊、沙發(fā)、火車、電視，共27088張圖片。本文使用VOC2007和VOC2012數(shù)據(jù)集進(jìn)行訓(xùn)練，VOC2007數(shù)據(jù)集進(jìn)行測(cè)試。

3.2 ?實(shí)驗(yàn)結(jié)果及對(duì)比

在目標(biāo)檢測(cè)中我們通常用mAP來表示算法的精確度如何，我們將batch_size設(shè)置為32，初始學(xué)習(xí)率0.0001，學(xué)習(xí)率的衰減因子為0.94，迭代80000次，得到最終的網(wǎng)絡(luò)模型。對(duì)比SSD模型，DSSD模型以及本所提出的模型，實(shí)驗(yàn)結(jié)果如表1所示。

由表1可以看出，本文所提出的引入注意力機(jī)制和特征融合的SSD目標(biāo)檢測(cè)算法，在檢測(cè)精度上比傳統(tǒng)的SSD算法提高了1.8%。

本文提出的模型目的是提升小目標(biāo)的檢測(cè)準(zhǔn)確率，VOC2007測(cè)試集中有21類不同的大小的目標(biāo)，本文選取其中6類具有代表性的小目標(biāo)，檢測(cè)準(zhǔn)確率與SSD和DSSD對(duì)比，實(shí)驗(yàn)結(jié)果如表2所示。

由表2可知，本文提出的模型在6類小目標(biāo)的平均檢測(cè)準(zhǔn)確率為67.9%，較SSD和DSSD模型分別提升3.1%提升1.9%?？梢姳疚姆椒軌蛴行z測(cè)小目標(biāo)，對(duì)小目標(biāo)的準(zhǔn)確率有明顯的提升。

除此之外，為了檢驗(yàn)改進(jìn)算法的實(shí)時(shí)性，本文對(duì)比了SSD算法、DSSD算法以及本文改進(jìn)算法的檢測(cè)速度，具體檢測(cè)結(jié)果如表3所示：

由表3可知，SSD模型每秒檢測(cè)52幀圖像，DSSD模型每秒檢測(cè)19幀圖像，本文模型檢測(cè)速度為每秒28幀圖像，檢測(cè)單張圖像耗時(shí)為SSD的兩倍，但快于DSSD模型。

模型檢測(cè)速度相對(duì)于SSD模型之所以有所下降，是由于本文方法在底層特征層上采用反卷積操作，其在提高特征分辨率的同時(shí)增加了計(jì)算量，還在后面五層卷積層上加入了注意力機(jī)制，使模型的運(yùn)行時(shí)間增加，最終影響了模型的檢測(cè)速度。

但是本文模型在檢測(cè)精度上相比于SSD模型、DSSD模型有較為明顯的提升，在PASCAL VOC數(shù)據(jù)集上檢測(cè)精度達(dá)到了73.2%，比SSD模型、DSSD模型分別提高了1.8%，0.6%。在PASCAL VOC小目標(biāo)檢測(cè)上，精度達(dá)到了67.9%比SSD模型、DSSD模型分別提高了3.1%，1.9%。檢測(cè)速度雖然不及SSD模型，但比DSSD要快上不少，達(dá)到了28?f×s-1，一般視頻流為每秒25幀圖像，因此，本文模型在提高檢測(cè)精度的同時(shí)，可以滿足實(shí)時(shí)性的要求。

4 ?結(jié)束語

基于傳統(tǒng)SSD算法對(duì)小目標(biāo)檢測(cè)效果不佳，魯棒性不佳，定位較差的問題，提出一種引入注意力機(jī)制和特征融合的算法，改進(jìn)算法的識(shí)別精度，提高算法的魯棒性，增強(qiáng)對(duì)小目標(biāo)的檢測(cè)精度。通過實(shí)驗(yàn)發(fā)現(xiàn)，本文算法對(duì)于小目標(biāo)具有一定的識(shí)別能力，改善了目標(biāo)漏檢、定位不佳等問題，大幅度提升了算法的魯棒性。下面我將逐步改進(jìn)模型，在考慮改進(jìn)高層級(jí)特征的基礎(chǔ)上，減小計(jì)算量，改善其實(shí)時(shí)性，進(jìn)一步提高本文算法各方面的性能。

參考文獻(xiàn)

江超. 基于OpenCV的實(shí)時(shí)動(dòng)態(tài)手勢(shì)檢測(cè)研究[J]. 軟件， 2015， 36（6）： 114-119

林王兵， 許燕， 韓飛， 呂超賢， 龔佳俊等. 實(shí)驗(yàn)室環(huán)境下的邊緣檢測(cè)技術(shù)研究綜述[J]. 軟件， 2015， 36（9）： 29-32

張明軍， 俞文靜， 袁 志， 等. 視頻中目標(biāo)檢測(cè)算法研究[J]. 軟件， 2016， 37（4）： 40-45

郭毓， 蘇鵬飛， 吳益飛， 郭健. 基于Faster R-CNN的機(jī)器人目標(biāo)檢測(cè)及空間定位[J]. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2018， 46（12）： 55-59.

高宗， 李少波， 陳濟(jì)楠， 李政杰. 基于YOLO網(wǎng)絡(luò)的行人檢測(cè)方法[J]. 計(jì)算機(jī)工程， 2018， 44（05）： 215-219+226.

GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 580-587.

GIRSHICK R. Fast R-CNN [C]// Proceedings of the IEEE Conference on International Conference on Computer Vision. Boston： IEEE， 2015： 1440-1448.

REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）： 1137-1149.

REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2016： 779-788.

LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector [C]// Proceedings of European Conference on Computer Vision. Amsterdam： Springer International Publishing， 2016： 21-37.

趙秋實(shí)， 史燕中， 方 志， 等. 基于頻繁集的伴隨車輛檢測(cè)算法研究[J]. 軟件， 2016， 37（4）： 69-73

洪奔奔， 管聲啟， 任浪， 等. 基于特征提取與匹配的帶鋼缺陷檢測(cè)[J]. 軟件， 2018， 39（9）： 31-34

Fu C Y， Liu W， Range A， et al. DSSD： deconvolutional single shot detector [J]. arXiv preprint arXiv：1701.06659， 2017.

Jaderberg， Max， Karen Simonyan， and AndrewZisserman. Spatial transformer networks[C]. Advances in neural information processing systems. 2015.

Hu Jie， Li Shen， and Gang Sun. Squeeze-and-excitation networks. arXiv preprintarXiv：1709. 01507?（2017）.

Wang， Fei， et al. Residual attentionnetwork for image classification. arXiv preprint arXiv：1704. 06904?（2017）.

Zeiler M D， Taylor G W， Fergus R. Adaptive deconvolutional networks for mid and high level feature learning[C]//?Proceedings of the IEEE International Conference on Computer Vision. 2011： 2018-2025.

Matthew D. Zeiler and Rob Fergus. Visualizing and understanding convolutional networks[C]//Proceedings of European Conference on Computer Vision. Springer Inter national Publishing， 2013： 818-883.

Wojna Z， Ferrari V， Guadarrama S， et al. The Devil is in the Decoder[J]. arXiv preprint arXiv： 1707. 05847， 2017.