柳欣

（山西工程科技職業(yè)大學(xué) 信息工程學(xué)院，山西 太原 030001）

0 引言

顯著目標(biāo)檢測的目的是定位圖像中最具有價值的部分［1］。對于許多計算機(jī)視覺任務(wù)比如圖像分類、視頻分割和目標(biāo)跟蹤來說，顯著目標(biāo)檢測是一個十分有效的預(yù)處理步驟，因此在計算機(jī)視覺領(lǐng)域成了一個不可忽略的研究方向［2-3］。

傳統(tǒng)的顯著目標(biāo)檢測方法大多基于低層次的線索和人工特征，但是因為缺乏語義信息，傳統(tǒng)方法對復(fù)雜場景中突出物體的整體結(jié)構(gòu)檢測能力有限。近年來，基于全卷積神經(jīng)網(wǎng)絡(luò)（FCNS）的方法，由于其對高層語義建模的高能力，被廣泛用于顯著性檢測。段輝軍等提出了一種基于模糊神經(jīng)網(wǎng)絡(luò)的深度視頻預(yù)測模型，能夠捕捉動態(tài)場景的時空統(tǒng)計信息［4］。Wang等提出了一種由金字塔擴(kuò)張卷積（PDC）和顯著性轉(zhuǎn)移感知卷積長短期記憶網(wǎng)絡(luò)（SSLSTM）組成的檢測模型，它能夠通過對人類視覺注意轉(zhuǎn)移行為的建模來捕捉視頻顯著性動態(tài)［5］。Chen等提出了一種協(xié)同注意連接網(wǎng)絡(luò)（COSNET），通過協(xié)同注意機(jī)制來捕獲幀間的時間相關(guān)性［6］。盡管這些方法已經(jīng)取得了預(yù)期的效果，但這些方法學(xué)習(xí)的特征通常缺乏以下能力：1）抑制非顯著區(qū)域，2）檢測具有不同外觀區(qū)域的顯著對象。

為了緩解上述問題，引入單尺度卷積和最大池化層來產(chǎn)生深度特征。余龔斌等從卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）中提取多尺度特征，并估計每個圖像超級像素的顯著性得分［7］。趙浩光等使用兩個CNN將超像素的局部估計和全局建議搜索相結(jié)合來預(yù)測顯著性［8］。但是由于顯著目標(biāo)在尺度和位置上都有很大的變化，這些方法所學(xué)習(xí)的特征由于視場的限制可能無法處理這些復(fù)雜的變化［9］。另外為了提取多尺度的上下文信息，張文明等提出了通過幾種不同速率的平行擴(kuò)張卷積實現(xiàn)特征提?。?0］。然而，擴(kuò)張卷積在卷積核中插入“洞”以擴(kuò)大感受野，這將導(dǎo)致局部信息的丟失，尤其是當(dāng)擴(kuò)張率增加時，這個問題被稱為“網(wǎng)格問題”。

為了解決上述方法中存在的問題，提出了一種基于目標(biāo)熵的特征引導(dǎo)網(wǎng)絡(luò)顯著目標(biāo)檢測方法。首先通過包含高級和低級特性的引導(dǎo)模塊使前景和背景區(qū)域更加清晰，從而抑制具有“類顯著”外觀的非顯著區(qū)域。進(jìn)一步提出了一種多尺度特征提取模塊，該模塊采用圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）實現(xiàn)大區(qū)域內(nèi)的密集連接，有助于模型緩解網(wǎng)格化問題。另外設(shè)計了一個目標(biāo)熵?fù)p失函數(shù)，有效提升了模型的收斂效果。多個復(fù)雜場景數(shù)據(jù)集實驗證明了提出方法的有效性。

1 提出的方法

1.1 整體結(jié)構(gòu)

提出的內(nèi)容感知指導(dǎo)網(wǎng)絡(luò)（CAGNet）由三個網(wǎng)絡(luò)組成：（i）特征提取網(wǎng)絡(luò)，可捕獲多尺度上下文特征，（ii）特征引導(dǎo)網(wǎng)絡(luò)，它利用高級特征和低級特征的性質(zhì)來引導(dǎo)特征提取，（iii）特征融合網(wǎng)絡(luò)，可有效地融合引導(dǎo)特征以生成顯著圖。結(jié)構(gòu)圖如圖1所示。

圖1 本文所提出的CAGNet的總體架構(gòu)Fig.1 Overall architecture of CAGNet proposed in this paper

1.2 特征提取網(wǎng)絡(luò)

1.2.1 搜索主干

本研究以CAGNet中不同的預(yù)訓(xùn)練模型作為主干模型 ，其中包括VGG-16［8］、ResNet50［9］、NASNet-Mobile［10］和 NASNetlarge［11］，其分別表示為 CAGNet-v、CAGNet-r、CAGNet-m和CAGNet-l。

這些主干用于產(chǎn)生不同抽象層級的特征，為了滿足顯著性檢測任務(wù)的需要，刪除了這些主干中的所有全連接層。在VGG-16中，最大池化層之后的特性無法引入到抽象級別。因此，在VGG-16中的最后一個最大池化層之后使用具有1024個大小為3×3的內(nèi)核的卷積層來產(chǎn)生新的層。

所有主干的輸出特征圖都相對于輸入圖像重新縮放32倍，根據(jù)檢測目標(biāo)圖像的像素及尺寸大小，從每個主干網(wǎng)取4個層次的特征圖。給定大小為W×H的輸入圖像，這些特征圖的空間大小為W 2n×H/ 2n，其中 n=2，3，4，5。每個主干中不同抽象級別所選層的詳細(xì)信息如表1所示，特征圖的大小顯示在括號中。

表1 不同抽象級別的選定層信息Table 1 Selected layer information of different abstraction levels

1.2.2 多尺度特征提取模塊

顯著對象在不同圖像中的尺度和位置有很大的差異。由于尺度的可變性，使用單尺度卷積可能無法獲得正確的大小。此外，由于位置的可變性，使用金字塔池作為多尺度特征提取器時由于池的規(guī)模較大，會導(dǎo)致重要局部信息的丟失。實現(xiàn)多尺度特征提取器的另一種方法是使用擴(kuò)張卷積，但是會產(chǎn)生“網(wǎng)格問題”。

為了避免稀疏連接并在特征圖中的大k×k區(qū)域內(nèi)實現(xiàn)密集連接，GCN利用k×1+1×k和1×k+k×1卷積的組合有效地實現(xiàn)了k×k卷積，與普通k×k卷積相比，其參數(shù)數(shù)量更少。此外，為了獲取多尺度背景信息，本文利用GCN提出了多尺度特征提取模塊（MFEM）。這個模塊由不同內(nèi)核大小的GCN組成，可以學(xué)習(xí)多個抽象級別的多尺度上下文信息。

如圖2所示，MFEM采用3×3平凡卷積和k=7，11，15 的 GCN 提取多尺度特征?！埃！狈柋硎緢D層過濾器的數(shù)量，該圖顯示了N=2的MFEM。然后，將得到的特征圖連接起來以形成多尺度特征。

圖2 多尺度特征提取模塊Fig.2 Extraction module for multiple scale feature

1.3 特征引導(dǎo)網(wǎng)絡(luò)

通過使用特征提取網(wǎng)絡(luò)，可以在多個抽象級別上生成多尺度特征。本文使用四種不同層次的特征提取網(wǎng)絡(luò)來提取多尺度特征，這些不同的層次有不同的識別信息。高級特征由于視場大，所以其具有語義信息和全局信息。因此，這些特征有助于圖像區(qū)域的類別識別。而低級特征由于視場小，其具有空間信息和局部信息。因此，低級特征的信息有助于更好地定位顯著區(qū)域。

基于以上觀察，提出了特征引導(dǎo)網(wǎng)絡(luò)，以更好地利用不同層次的識別能力。特征引導(dǎo)網(wǎng)絡(luò)由多個引導(dǎo)模塊組成，這有助于產(chǎn)生更強(qiáng)大的特征用于顯著性檢測。如圖3所示，引導(dǎo)模塊由低級引導(dǎo)模塊和高級引導(dǎo)模塊組成，C表示輸入特征映射的通道數(shù)量，而#符號表示層過濾器的數(shù)量。該模塊將低級特征和高級特征作為輸入和輸出，從而引導(dǎo)出低級特征和高級特征。

圖3 引導(dǎo)模塊的示意圖Fig.3 Schematic diagram of boot module

在顯著性檢測中，一些不顯著的區(qū)域可能具有類似顯著性的外觀，為了應(yīng)對這一問題，本文利用較低層次的來引導(dǎo)較高層次的特征。在低層次中，特征提取網(wǎng)絡(luò)由于其較小的視覺而獲得更精細(xì)的空間信息，缺乏低層線索的高層特征可以利用其低層特征中的細(xì)節(jié)作為指導(dǎo)，使顯著和不顯著區(qū)域更容易區(qū)分。因此，此網(wǎng)絡(luò)能夠通過引導(dǎo)高級別特征的空間信息，增強(qiáng)顯著區(qū)與不顯著區(qū)之間的區(qū)別，抑制具有顯著樣貌的不顯著區(qū)。

在一些復(fù)雜的情況下，顯著區(qū)域可能有不同的外觀，給這些外觀不同的區(qū)域分配前景標(biāo)簽急需解決。由于高級特征具有較大的接受域，且具有較高的語義信息，因此利用高級特征指導(dǎo)特性引導(dǎo)網(wǎng)絡(luò)中的低級特征。通過在連接的高級和低級特征上應(yīng)用激勵網(wǎng)絡(luò)可以生成信道權(quán)重來對底層特征映射的信道進(jìn)行加權(quán)。利用高級語義信息，可以引導(dǎo)低級特征產(chǎn)生更多的特征，因此，引導(dǎo)模塊對多層次的特征提供內(nèi)容感知的引導(dǎo)，從而使預(yù)測更加準(zhǔn)確。

1.4 特征融合網(wǎng)絡(luò)

采用特征提取網(wǎng)絡(luò)和特征引導(dǎo)網(wǎng)絡(luò)，得到了不同抽象層次的多尺度特征。為了有效地整合這些特征，本文進(jìn)一步設(shè)計了特征融合網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中，使用了添加操作來組合不同的特征映射。為了有效地細(xì)化這些特征，本文引入了殘差細(xì)化模塊（RRM），如圖4所示，“#”符號表示層過濾器的數(shù)量。RRM是一個具有空間注意的殘差塊，該模塊用于細(xì)化特征，關(guān)注顯著區(qū)域，避免不顯著區(qū)域干擾。

圖4 殘余細(xì)化模塊Fig.4 Residual thinning module

采用多個RRM模塊，并在特征融合網(wǎng)絡(luò)中添加操作，最后利用帶有兩個1×1核的卷積層，通過softmax激活來得到顯著性映射。

1.5 損失函數(shù)

在顯著性檢測文獻(xiàn)中，交叉熵?fù)p失函數(shù)被廣泛用于顯著性對象的學(xué)習(xí)。然而，交叉熵?fù)p失訓(xùn)練的網(wǎng)絡(luò)對邊界像素的辨識往往置信度較低，導(dǎo)致其性能下降。在本文中，設(shè)計了一個損失函數(shù)，設(shè) I={Im，m=1，…，M}，Sm和 Gm分別為訓(xùn)練圖像第m個訓(xùn)練圖像的顯著性圖和第m個訓(xùn)練圖像的標(biāo)準(zhǔn)。此設(shè)計損失可以寫成：

其中 α1，α2和 α3為平衡參數(shù)，根據(jù)文獻(xiàn)［10］中的經(jīng)驗設(shè)定：α1=1，α2=0.5和α3=1。LP和 LR可通過式（2）和（3）計算為：

其中P(S，G)和R(S，G)的計算與精度和召回相似：

其中，N為像素總數(shù)。在消融分析部分，可以證明本文設(shè)計的損失函數(shù)優(yōu)于交叉熵?fù)p失函數(shù)。

2 實驗與分析

2.1 數(shù)據(jù)集和評估指標(biāo)

在6個顯著性目標(biāo)檢測數(shù)據(jù)集上對該方法進(jìn)行了評價。ECSSD包含1000個具有語義的復(fù)雜圖像，也具有多個不同大小的對象。DUT-OMRON由5168張圖像組成，其內(nèi)容豐富，每一張都有復(fù)雜的背景和一兩個突出的物體。HKU-IS包含4447張低對比度的圖像，其中還包括多個前景對象或觸及圖像邊界的對象。DUTS數(shù)據(jù)集是目前最大的顯著對象檢測數(shù)據(jù)集，包括訓(xùn)練集10 553張圖像和測試集5019張圖像。PASCAL-s數(shù)據(jù)集有從PASCAL VOC 2010分割數(shù)據(jù)集中選擇的850幅自然圖像。在SOC數(shù)據(jù)集中，每個顯著圖像都帶有反映現(xiàn)實場景中常見的屬性。本文使用該數(shù)據(jù)集的驗證集進(jìn)行測試。

用6個指標(biāo)來評估本文的方法的性能，包括 Precision-Recall（PR）曲線，F(xiàn)-measure曲線，平均F-measure（表示avgF）得分，加權(quán)F-measure（wF）表示為得分，E-measure（表示為E）得分，和平均絕對誤差（MAE）得分［12］。

精度是預(yù)測的顯著性圖中正確顯著像素的比例，召回定義為標(biāo)準(zhǔn)的正確顯著像素的比例。為了計算精度和召回率，將二值化顯著圖與標(biāo)準(zhǔn)掩碼進(jìn)行比較。閾值從0到1變化，以生成二進(jìn)制掩碼序列。這些二進(jìn)制掩碼用于計算（精度，召回）對和（f-測度，閾值）對，以繪制PR曲線和F-measure曲線。

采用文獻(xiàn)［13］中提出的閾值法計算F-measure的平均得分。該閾值用于生成二進(jìn)制映射，用于計算F-measure，F(xiàn)-measure定義為

其中β2設(shè)置為0.3時，權(quán)重精度比召回率高。采用加權(quán)F-measure得分和E-measure得分評估其性能。最后，計算MAE得分作為標(biāo)準(zhǔn)掩碼和預(yù)測顯著性圖的像素級絕對差平均值。

使用TensorFlow后臺在Keras框架中驗證了本文提出的方法。主干模型使用ImageNet權(quán)重進(jìn)行初始化。在此實驗中，為了訓(xùn)練和測試，輸入圖像被均勻地調(diào)整為480×480像素。同時為了減少過度擬合，隨機(jī)使用了兩種類型的數(shù)據(jù)增強(qiáng)：水平填充和旋轉(zhuǎn)。本文使用驗證集訓(xùn)練模型，直到訓(xùn)練損失收斂。所有的實驗都是使用動量系數(shù)為0.9的隨機(jī)梯度下降法進(jìn)行，初始學(xué)習(xí)速率為8×10-3，如果10個時間戳內(nèi)的訓(xùn)練損失沒有得到改善，則將學(xué)習(xí)速率除以10。本文在NVIDIA 1080 Ti GPU上進(jìn)行實驗。

2.2 對比分析

將提出方法與16種其他方法進(jìn)行了比較，即 MDF［5］、RFCN［7］、UCF［9］、Amulet［10］、NLDF［12］、DSS［13］、BMPM［14］、PAGR［15］、PiCANet［16］、SRM［17］、DGRL［18］、MLMS［19］、AFNet［20］、CapSal［21］、BASNet［22］和 CPD［23］。

定量評估：5個數(shù)據(jù)集的P-R曲線和F-measure曲 線 分 別 如 圖 5（P 1222）和 圖 6（P1223）所示。可以看到，本文提出的方法在所有情況下都優(yōu)于其他方法。尤其CAGNet-L比其他方法的性能要好很多。表2（P1224）為比較結(jié)果，每個設(shè)置下的最佳分?jǐn)?shù)和第二最佳分?jǐn)?shù)分別用紅藍(lán)顯示，所有設(shè)置下的最佳分?jǐn)?shù)都用下劃線標(biāo)出。參數(shù)總數(shù)（記為#Par）的單位為百萬。表3（P1225）為基于屬性的SOC數(shù)據(jù)集性能，最好的分?jǐn)?shù)和第二好的分?jǐn)?shù)分別以紅色和藍(lán)色顯示。在avgF，wF，E-measure和MAE得分方面將本文的方法與其他方法進(jìn)行了比較，可以看出本文的方法在大多數(shù)情況下都排名第一，本文方法CAGNet-L在avgF，wF，E-measure指標(biāo)上比現(xiàn)有最好的CPD-R方法的5個數(shù)據(jù)集上平均提升了0.082，0.079，0.041，而MAE則下降了0.015。此外還在SOC數(shù)據(jù)集上評估基于屬性的性能，表3顯示了有關(guān)SOC的9個屬性及其平均值的對比結(jié)果?？梢钥闯觯疚姆椒–AGNet-L取得了最好的性能，相對于現(xiàn)有最好的CPD-R方法在在avgF，E-measure指標(biāo)的5個數(shù)據(jù)集上平均提升了 0.033，0.031。

表2 各方法的信息及其在5個顯著目標(biāo)檢測數(shù)據(jù)集上的性能比較Table 2The information of various detection methods and the comparison their performance on five salient target detection datasets

表3 基于屬性SOC數(shù)據(jù)集性能Table 3 Performance of attribute-based SOC data sets

圖5 本文方法與其他方法在DUTS-TE，ECSSD DOT-OMRON，PASCAL-S和HKU-IS數(shù)據(jù)集上的PR曲線Fig.5 PR curves of the method propose in this work and other methods on data sets including DUTS-TE，ECSSD，DUT-OMRON，PASCAL-S and HKU-IS

圖6 提出的方法與其他方法在DUTS-TE，ECSSD DOT-OMRON，PASCAL-S和HKU-IS數(shù)據(jù)集上的F-measure曲線Fig.6 F-measure curves of the proposed method propose in this work and other methods on data sets including DUTS-TE，ECSSD，DUT-OMRON，PASCAL-S and HKU-IS

提出的方法包含的參數(shù)比現(xiàn)有的方法少而且是端到端，不需要任何后處理步驟。對于內(nèi)存有限的應(yīng)用程序來說，這個功能是十分有效的。此外，CAGNet-V在處理480×480的圖像時的實時速度為28幀/秒，因此它可以進(jìn)行較快的計算。

定性分析：圖7（P1225）顯示了一些定性結(jié)果通過提出的模塊可以看出，此模型在各種復(fù)雜的場景中都能夠突出前景區(qū)域的內(nèi)部。此外，此模型能夠抑制其他顯著性檢測方法標(biāo)記錯誤的背景區(qū)域，因此，通過利用不同的提出的模塊，本文的方法能夠處理各種復(fù)雜的場景。

圖7 與其他方法的定性比較Fig.7 Qualitative comparison with other methods

2.3 消融分析

所提出的CAGNet由三個模塊組成，包括多尺度特征提取模塊（MFEM）、引導(dǎo)模塊和殘差細(xì)化模塊（RRM）。在三個大規(guī)模數(shù)據(jù)集，即DUTS-TE、DUT-O和HKU-IS上進(jìn)行消融分析。

為了研究每個模塊的有效性，設(shè)置如下基準(zhǔn)模型：1）將MFEM模塊替換為具有相同數(shù)量濾波器的11個卷積，2）從網(wǎng)絡(luò)中去除引導(dǎo)模塊（這意味著多層次特征不會被信道權(quán)值和空間權(quán)值相乘），3）將RRM模塊從模型中移除。結(jié)果如表4所示。

引導(dǎo)模塊的有效性：在基準(zhǔn)網(wǎng)絡(luò)中添加了“高級引導(dǎo)”模塊，“低級引導(dǎo)”模塊以及“高級引導(dǎo)”和“低級引導(dǎo)”兩個模塊（即“引導(dǎo)模塊”），分別表示為HG，LG和GM，如表4所示。從表中可以看出，性能得到了提高，這證明了使用引導(dǎo)模塊能夠使顯著和非顯著區(qū)域更加明顯，并抑制具有顯著外觀的非顯著區(qū)域，其次可以將前景標(biāo)簽分配給外觀不同的顯著區(qū)域。為了進(jìn)一步研究本文的引導(dǎo)模塊的有效性，在圖8中對每個模塊進(jìn)行了可視化比較，第一行和第二行顯示高級引導(dǎo)模塊（表示為HG）的比較。第三行和第四行顯示了對低級引導(dǎo)模塊（表示為LG）的比較?？梢钥闯?，當(dāng)在基準(zhǔn)網(wǎng)絡(luò)中加入高級引導(dǎo)模塊時，具有顯著樣外觀的非顯著區(qū)域被抑制。此外，當(dāng)向基準(zhǔn)網(wǎng)絡(luò)添加低級引導(dǎo)模塊時，不同外觀的顯著區(qū)域被標(biāo)記為顯著區(qū)域，證明了低級引導(dǎo)模塊的引入也能夠有效提升檢測效果。

圖8 引導(dǎo)模塊的可視化比較Fig.8 Visual comparison of boot modules

MFEM的有效性：基于上述體系結(jié)構(gòu)，用MFEM模塊替換了11個卷積。如表4所示，本文所提出的MFEM對顯著性檢測有良好的效果，提高了檢測結(jié)果，這表明提取多尺度特征有助于檢測不同尺度和位置的顯著對象。

RRM的有效性：為了揭示RRM的效果，將它們添加到前面提到的架構(gòu)中。從表4可以看出，使用細(xì)化模塊有助于顯著性檢測和提高性能。

本文所設(shè)計的損失的有效性：為了說明本文設(shè)計的損失函數(shù)的有效性，使用交叉熵訓(xùn)練CAGNet-V，表4中表示為CE損失函數(shù)。從表中可以看出，所設(shè)計損失明顯優(yōu)于交叉熵?fù)p失。

為了進(jìn)一步說明MFEM的有效性，在CAGNet-V中采用擴(kuò)張卷積層（核大小為3，擴(kuò) 張 率 為 1，3，5，7）來 實 現(xiàn) MFEM，表 4（P 1226）為擴(kuò)張卷積?？梢钥吹綑z測性能下降，這表明MFEM可以通過在特征映射中的一個大k×k區(qū)域內(nèi)實現(xiàn)密集連接來捕獲更強(qiáng)大的多尺度特征。本文也采用核大小為3，7，11，15的平凡卷積層來實現(xiàn)CAGNet-V中的MFEM，表4表示為平凡卷積。從這個表中可以看出，與CAGNet-V相比，使用本文提出的MFEM的性能更差。但是，使用本文提出的MFEM的CAGNet-V所包含的參數(shù)比使用簡單卷積層實現(xiàn)的MFEM的CAGNet-V所包含的參數(shù)少（2098萬對2703萬），這是由GCN的架構(gòu)設(shè)計所導(dǎo)致的。

表4 所提出的不同方法設(shè)置在DUTS-TE,DUT-O和HKU-IS數(shù)據(jù)集上的消融分析Table 4 Ablation analysis of the different method settings on DUTS-TE，DUT-O，and HKU-IS data sets

本文在CAGNet-V上進(jìn)行了另一個實驗，對參數(shù)N進(jìn)行不同設(shè)置的訓(xùn)練。結(jié)果如表5所示，最好的結(jié)果用紅色表示，參數(shù)總數(shù)（記為#Par）的單位為百萬。通過考慮性能和參數(shù)數(shù)量之間的權(quán)衡，最終選擇了N=8。

表5 不同參數(shù)N在DUTS-TE,DUT-O和HKU-IS數(shù)據(jù)集上的CAGNet-V設(shè)置結(jié)果Table 5 CAGNet-V results of different parameter N on DUTS-TE，DUT-O，and HKU-IS data sets

3 結(jié)論

針對復(fù)雜場景中的顯著目標(biāo)檢測問題，提出了一種基于目標(biāo)熵的特征引導(dǎo)網(wǎng)絡(luò)顯著目標(biāo)檢測方法。通過分析在多個復(fù)雜場景數(shù)據(jù)集上的實驗結(jié)果可以得出如下結(jié)論：

（1）提出的方法可以使前景和背景區(qū)域更加清晰，并抑制了不確定性。

（2）提出的方法有助于模型緩解網(wǎng)格化問題，充分利用上下文信息，有效提升了檢測的精度，并且能夠處理各種復(fù)雜的場景。

（3）引導(dǎo)模塊有助于提取多尺度特征，多尺度特征有助于檢測不同尺度和位置的顯著對象，細(xì)化模塊有助于顯著性檢測和提高性能，基于目標(biāo)熵的損失函數(shù)則有助于模型的收斂。