朱利華 朱玲玲

1(常州信息職業(yè)技術(shù)學(xué)院軟件與大數(shù)據(jù)學(xué)院 江蘇 常州213164) 2(南通大學(xué)信息科學(xué)技術(shù)學(xué)院 江蘇 南通 226200)

0 引 言

人群密度估計(jì)是關(guān)注在一定時(shí)間和空間內(nèi)的人群密度分布情況，在現(xiàn)實(shí)生活中人群密度分析存在許多方面的應(yīng)用，如公共安全、交通監(jiān)控和城市規(guī)劃等[1]。在人群密度估計(jì)中采用的計(jì)算方法也能夠應(yīng)用于其他領(lǐng)域，如顯微圖像中的細(xì)胞計(jì)數(shù)、交通控制中的車輛計(jì)算等方面。目前，人群計(jì)數(shù)仍然面臨嚴(yán)重遮擋、透視失真、光照變化、人群分布不均勻及尺度不一等諸多方面的挑戰(zhàn)問題[2-3]。

大多數(shù)人群密度估計(jì)方法均是先從圖像中提取底層特征，然后采取不同的技術(shù)方法將這些特征映射到密度圖中?，F(xiàn)有的人群計(jì)數(shù)方法大致可以分為三類[4]，分別為基于檢測(cè)的方法[5]、基于回歸的方法[6]及基于密度估計(jì)的方法[7]。與基于檢測(cè)和回歸的方法相比，基于密度估計(jì)的方法能夠提供更多的人群分布空間信息，因此大多數(shù)人群計(jì)數(shù)方法采用密度估計(jì)方法。最初的人群計(jì)數(shù)工作主要采用手工特征，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，由于其豐富的自動(dòng)特征，在人群計(jì)數(shù)任務(wù)中取得了顯著的進(jìn)展。人群計(jì)數(shù)面臨許多挑戰(zhàn)，如遮擋、場(chǎng)景內(nèi)和場(chǎng)景間的尺度變化及密度不均勻。Xu等[8]提出了一種基于條件生成對(duì)抗框架的人群計(jì)數(shù)方法，利用生成器和鑒別器之間的博弈，實(shí)現(xiàn)了人群圖像到密度圖的高質(zhì)量轉(zhuǎn)換。Wan等[9]提出了一種殘差回歸人群密度估計(jì)模型，通過在殘差網(wǎng)絡(luò)模型中引入樣本間的相關(guān)信息學(xué)習(xí)更多的內(nèi)在特征，進(jìn)而有效地利用不同場(chǎng)景的語義信息來提高人群密度估計(jì)精度。由于上述方法對(duì)不同尺度的特征圖進(jìn)行，在一定程度上造成數(shù)據(jù)冗余，增加計(jì)算量。

近年來，注意力模型在各種計(jì)算機(jī)視覺任務(wù)中取得了巨大成功[10]。注意力機(jī)制不是從整個(gè)圖像中提取特征，而是根據(jù)模型需求有選擇地關(guān)注某些有用的視覺信息而忽略其他部分，實(shí)質(zhì)上是一種加權(quán)共享的思想。Zhang等[11]利用局部和全局自注意力兩個(gè)模塊有效地捕獲像素的長(zhǎng)距離和短距離依賴，然后采用關(guān)系模塊進(jìn)行融合，解決密度圖中像素間的相互依賴關(guān)系，該方法主要采用自注意力機(jī)制和關(guān)系模塊來增強(qiáng)群組計(jì)數(shù)的特征表示。Liu等[12]提出一種注意力嵌入可變形卷積網(wǎng)絡(luò)，首先利用注意感知網(wǎng)絡(luò)檢測(cè)圖像中人群的擁擠程度，然后通過多尺度可變形網(wǎng)絡(luò)生成高質(zhì)量的密度圖，該方法主要利用空間注意力機(jī)制，對(duì)特征圖中的重要區(qū)域進(jìn)行檢測(cè)。Gao等[13]提出了一種基于空間和通道注意力的再聚集網(wǎng)絡(luò)，利用空間注意力和通道注意力來估計(jì)密度圖，但其未能很好地關(guān)聯(lián)兩種注意力獲取的特征信息，對(duì)目標(biāo)區(qū)域的分辨能力不強(qiáng)。

針對(duì)人群圖像中尺度變化大及現(xiàn)有密度估計(jì)方法存在泛化性能差的問題，提出了一種基于視覺注意力機(jī)制的人群密度估計(jì)方法，通過在各個(gè)VGG-16層級(jí)采用空間注意力和通道注意力機(jī)制，達(dá)到選擇性地增強(qiáng)網(wǎng)絡(luò)不同層的功能，提高多尺度級(jí)聯(lián)的有效性。同時(shí)，本文設(shè)計(jì)了一個(gè)弱監(jiān)督學(xué)習(xí)框架，使人群密度估計(jì)模型可以適應(yīng)不同的場(chǎng)景和數(shù)據(jù)集。

1 視覺注意力機(jī)制

視覺注意力機(jī)制是人類視覺所特有的大腦信號(hào)處理機(jī)制。人類視覺通過快速掃描全局圖像，獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，然后對(duì)該區(qū)域投入更多注意力資源，以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息，抑制其他無用信息。視覺注意機(jī)制極大地提高了信息處理的效率與準(zhǔn)確性。

視覺注意力機(jī)制其實(shí)是從大量信息中有選擇性地篩選出少量重要信息，并且聚焦這些重要信息，忽略大多不重要的信息，提高運(yùn)算效率，如圖1所示。

圖1 視覺注意力機(jī)制示意圖

信息源S中的元素是由一系列的數(shù)據(jù)對(duì)構(gòu)成，目標(biāo)元素為Q，通過計(jì)算Q和信息源中每個(gè)元素ki的相似性，得到ki對(duì)應(yīng)的權(quán)重系數(shù)Vi。然后對(duì)Vi進(jìn)行加權(quán)求和，得到最終的視覺注意值A(chǔ)tt。視覺注意力機(jī)制本質(zhì)思想就是對(duì)S中元素的權(quán)值系數(shù)Vi進(jìn)行加權(quán)求和，其數(shù)學(xué)公式可被定義為：

(1)

2 方法設(shè)計(jì)

2.1 人群密度估計(jì)模型

由于同一圖像內(nèi)不同空間位置處的人群頭部尺度可能會(huì)存在較大變化，因此本文在使用VGG16網(wǎng)絡(luò)中不同卷積層的特征映射來捕獲多尺度信息，同時(shí)將空間注意力模塊(SAM)和全局注意力模塊(GAM)引入到密度估計(jì)網(wǎng)絡(luò)中來提高計(jì)數(shù)性能。本文方法具體的模塊如圖2所示，基本網(wǎng)絡(luò)由VGG16網(wǎng)絡(luò)的卷積層(conv1-conv5)組成。conv3層特征由SAM進(jìn)行增強(qiáng)，conv4層和conv5層的特征由GAM進(jìn)行信道增強(qiáng)。conv3層的增強(qiáng)特征映射由3個(gè)卷積層組成的卷積模塊A進(jìn)行轉(zhuǎn)發(fā)，均使用ReLU激活函數(shù)，轉(zhuǎn)發(fā)卷積模塊A定義為：Conv2d(256,64,1)、Conv2d(64,64,3)、Conv2d(64,24,1)。conv4層和conv5側(cè)的增強(qiáng)特征通過由3個(gè)卷積層組成的卷積模塊B和上采樣層轉(zhuǎn)發(fā)，從而保證將特征映射縮放到與conv3特征映射相同的尺度。卷積模塊A定義為：Conv2d(512,64,1)、Conv2d(64,64,3)、Conv2d(64,24,1)。最后，利用這些融合模塊將經(jīng)過增強(qiáng)后的特征連接起來，生成最終的密度圖。融合模塊的卷積層定義為：Conv2d(72,64,1)、Conv2d(64,64,3)、Conv2d(64,1,1)。本文采用預(yù)測(cè)密度圖和真實(shí)密度圖之間的歐氏距離最小化來訓(xùn)練網(wǎng)絡(luò)，數(shù)學(xué)公式定義如下：

(2)

式中：N是訓(xùn)練樣本數(shù)；Xi表示第i個(gè)輸入圖像；Fd(Xi,Θ)是估計(jì)密度；Di是第i個(gè)真實(shí)值密度。Di通過將以每人的位置xg為中心的二維高斯核求和來計(jì)算：

(3)

式中：σ是二維高斯核的尺度參數(shù)；S是人群所處位置的所有點(diǎn)的集合。網(wǎng)絡(luò)生成的密度圖是輸入圖像分辨率的1/4，密度圖的總和提供了輸入圖像中人群數(shù)量的估計(jì)。

圖2 本文方法流程

2.1.1空間注意力模塊

空間注意的目標(biāo)是在特征圖中選擇注意區(qū)域，然后用于動(dòng)態(tài)增強(qiáng)特征響應(yīng)。與現(xiàn)有工作中采用自我監(jiān)督方式學(xué)習(xí)空間注意力相比，本文使用前景背景分割方式來進(jìn)行監(jiān)督學(xué)習(xí)。由于空間注意力模塊的關(guān)注目標(biāo)是與前景區(qū)域存在關(guān)聯(lián)的相關(guān)區(qū)域，因此將前景背景信息注入網(wǎng)絡(luò)，采用標(biāo)簽的方式來監(jiān)督學(xué)習(xí)模塊，從而迫使網(wǎng)絡(luò)關(guān)注前景中的相關(guān)區(qū)域。由于這些標(biāo)簽很容易獲得，因此不需要額外的注釋工作。

通過這種注意機(jī)制，能夠?qū)⒎指钜庾R(shí)引入低級(jí)別特征圖。如圖3所示，通過抑制不相關(guān)區(qū)域和增強(qiáng)前景區(qū)域，將分割信息用于網(wǎng)絡(luò)來豐富特征圖。然后將激勵(lì)的特征圖轉(zhuǎn)發(fā)到融合模塊(FM)，在融合塊中，它們與來自其他層的特征融合以生成最終的密度圖。

通過預(yù)測(cè)分割映射和對(duì)應(yīng)的真實(shí)值之間的交叉熵誤差最小化來學(xué)習(xí)SAM的權(quán)重。通常，分割任務(wù)需要逐像素注釋。本文對(duì)現(xiàn)有的真實(shí)密度圖注釋進(jìn)行閾值處理以真實(shí)值分割映射，然后將其用于訓(xùn)練空間注意模塊。在注釋時(shí)，包含頭部區(qū)域的像素標(biāo)記為1(前景)，否則標(biāo)記為0(背景)。因此，本文方法不需要任何額外的標(biāo)記。盡管這些注釋是有噪聲的，但使用分割信息會(huì)產(chǎn)生相當(dāng)大的收益。

2.1.2全局注意力模塊

與參與低層特征圖中的相關(guān)空間位置的空間注意力模塊相比，全局注意力模塊則被設(shè)計(jì)為關(guān)注信道維度中的特征圖。全局注意力模塊使用來自中樞網(wǎng)絡(luò)的特征映射并學(xué)習(xí)計(jì)算沿著信道維度的注意力。計(jì)算的注意力可以捕獲特征圖中的重要通道，從而有助于抑制來自不必要通道的信息，該模塊從空間維度方面來看是在全局范圍內(nèi)運(yùn)行。由于通道可以捕獲物體的不同部分或者不同類別物體的存在情況，因此通道注意力是增強(qiáng)物體和圖像注釋之間相關(guān)性的有效方式。

基于上述考慮，本文給出了一組全局關(guān)注力模塊，這些模塊采用較高卷積層的特征圖作為輸入，并生成通道注意映射，然后用于激勵(lì)通道維度特征圖。在數(shù)學(xué)上，給定特征映射輸入X∈RW×H×C，首先，GAM利用式(4)執(zhí)行空間池化操作生成池化特征Y∈R1×1×C。

(4)

2.2 弱監(jiān)督學(xué)習(xí)

現(xiàn)有方法提高跨數(shù)據(jù)集性能的解決方案通過以完全監(jiān)督或半監(jiān)督的方式進(jìn)行微調(diào)。與這些方法相比，本文提出了一種弱監(jiān)督的方法來訓(xùn)練新數(shù)據(jù)集上的計(jì)數(shù)網(wǎng)絡(luò)。這樣的設(shè)置將簡(jiǎn)化培訓(xùn)過程，不需要點(diǎn)式注釋。群體計(jì)數(shù)是一個(gè)回歸問題，執(zhí)行弱監(jiān)督的群組計(jì)數(shù)是將人群計(jì)數(shù)轉(zhuǎn)化為人群密度分類任務(wù)，即不計(jì)算圖像中的人數(shù)，而是將圖像重新劃分為六類標(biāo)簽，即標(biāo)簽集合C={零密度，極低密度，低密度，中等密度，高密度，極高密度}。本文利用標(biāo)簽將計(jì)數(shù)問題轉(zhuǎn)化為弱監(jiān)督學(xué)習(xí)的分類任務(wù)。

圖4給出了用于適應(yīng)新目標(biāo)場(chǎng)景或者數(shù)據(jù)集所提出的弱監(jiān)督方法。與使用預(yù)先訓(xùn)練的CNN語義分割類似，將弱監(jiān)督方法引入計(jì)數(shù)網(wǎng)絡(luò)時(shí)需要利用源數(shù)據(jù)集進(jìn)行預(yù)先訓(xùn)練。因此，在計(jì)數(shù)網(wǎng)絡(luò)融合模塊之前增加一個(gè)類激活映射模塊(CAMM)，該模塊由以下4個(gè)卷積層組成：Conv2d(72,64,3)、Conv2d(64,64,3)、Conv2d(64,32,3)和Conv2d(32,6,3)。

圖4 弱監(jiān)督學(xué)習(xí)示意圖

一般來說，聚合函數(shù)可以分為全局平均池化(GAP)和全局最大池化(GMP)兩類。對(duì)于GAP，分?jǐn)?shù)映射中的所有像素都被賦予相同的權(quán)重，但是不屬于圖像的類標(biāo)簽也會(huì)被賦值；對(duì)于GMP則通過向得分貢獻(xiàn)最大的像素分配權(quán)重來解決這個(gè)問題，但是訓(xùn)練緩慢。因此，本文選擇對(duì)最大函數(shù)進(jìn)行平滑和凸近似作為聚合函數(shù)：

(5)

式中：sc表示c類的聚合分?jǐn)?shù)；r是控制平滑度的超參數(shù)；w、h表示分?jǐn)?shù)映射的寬度和高度。然后將Soft-max函數(shù)應(yīng)用于聚合的類分?jǐn)?shù)，使用標(biāo)準(zhǔn)二元交叉熵?fù)p失函數(shù)訓(xùn)練CAMM模塊。在訓(xùn)練期間，密度估計(jì)網(wǎng)絡(luò)的參數(shù)保持固定。上述過程獲得的類分?jǐn)?shù)映射可以表示圖像中屬于特定密度水平的區(qū)域或像素，而這些類分?jǐn)?shù)映射可以用于目標(biāo)集偽真實(shí)密度圖的近似：

(6)

將真實(shí)值密度圖應(yīng)用于監(jiān)控目標(biāo)數(shù)據(jù)集上的密度估計(jì)網(wǎng)絡(luò)。在微調(diào)過程中，VGG-16網(wǎng)絡(luò)的權(quán)重是固定的，只更新后面卷積層的權(quán)重，從而確保了所得到的估計(jì)密度圖更清晰。盡管網(wǎng)絡(luò)是使用圖像級(jí)標(biāo)簽訓(xùn)練的，但是該網(wǎng)絡(luò)也學(xué)會(huì)了為目標(biāo)集生成密度圖。因此，在測(cè)試過程中，目標(biāo)集的測(cè)試圖像通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)來估計(jì)密度圖。

3 實(shí) 驗(yàn)

本文使用Adam優(yōu)化器進(jìn)行端到端地網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)率為0.000 05，單個(gè)NVIDIA GPU Titan Xp的動(dòng)量為0.9。預(yù)留訓(xùn)練集10%的圖像用于測(cè)試。為了防止網(wǎng)絡(luò)過擬合，在訓(xùn)練集上進(jìn)行了數(shù)據(jù)增加操作：從每個(gè)訓(xùn)練圖像中的不同區(qū)域中裁剪出9個(gè)尺寸為224×224的圖像塊，然后采用對(duì)裁剪圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、添加隨機(jī)噪聲等方式來形成最終訓(xùn)練數(shù)據(jù)集。

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

為了測(cè)試本文算法的性能表現(xiàn)，采用平均絕對(duì)誤差(MAE)和平均平方誤差(MSE)進(jìn)行評(píng)估，兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)的定義如下：

(7)

(8)

3.2 數(shù)據(jù)集

采用Shanghai Tech[2]數(shù)據(jù)集、UCF_CC_50數(shù)據(jù)集[14]及UCF-QNRF[7]數(shù)據(jù)集來測(cè)試本文算法的性能，同時(shí)與現(xiàn)在一些最新算法進(jìn)行對(duì)比。實(shí)驗(yàn)過程中，對(duì)UCF_CC_50數(shù)據(jù)集采用5次交叉驗(yàn)證，Shanghai Tech和UCF-QNRF數(shù)據(jù)集使用標(biāo)準(zhǔn)訓(xùn)練和測(cè)試分割方式進(jìn)行測(cè)試。

UCF_CC_50是一個(gè)極具挑戰(zhàn)性的數(shù)據(jù)集，該數(shù)據(jù)集包含50個(gè)不同場(chǎng)景的注釋圖像，圖像具有不同的分辨率、寬高比和透視扭曲，而且該數(shù)據(jù)集的圖像中的人數(shù)從94到4 543不等。Shanghai Tech數(shù)據(jù)集包含1 198幅標(biāo)記圖像，數(shù)據(jù)集分為part A和part B兩部分，part B部分的圖片相較于part A部分的圖像人群分布更為稀疏。part_A部分482幅圖像中300幅用于訓(xùn)練，182幅用于測(cè)試；part_A部分716幅圖像中400幅用于訓(xùn)練，316個(gè)用于測(cè)試。UCF-QNR是一個(gè)比較新的數(shù)據(jù)集，包含1 535個(gè)高質(zhì)量圖像，總共125萬個(gè)注釋，訓(xùn)練和測(cè)試集分別由1 201和334幅圖像組成。

3.3 實(shí)驗(yàn)結(jié)果分析

首先給出了在不同數(shù)據(jù)集中測(cè)試的視覺效果，如圖5-圖7所示。一般來說，采用的三個(gè)數(shù)據(jù)集具有不同的特點(diǎn)：Shanghai Tech A的場(chǎng)景是擁擠和嘈雜的，Shanghai Tech B的樣本噪音很大，但并不擁擠；UCF-CC 50數(shù)據(jù)集由非常擁擠的場(chǎng)景組成，這些場(chǎng)景幾乎沒有任何背景噪聲；UCF-QNRF數(shù)據(jù)集則具有人群分布不均，閉塞阻擋較多的場(chǎng)景。從測(cè)試密度圖中可以看出，本文算法不僅在人群密集中等場(chǎng)景的Shanghai Tech數(shù)據(jù)集上有效，而且在人群密度較大場(chǎng)景的UCF_CC_50數(shù)據(jù)集上及人群密度較小但尺度變化很大的場(chǎng)景UCF-QNRF數(shù)據(jù)集上依然表現(xiàn)良好，從而充分說明提出算法的適用性。而且本文算法中采用的空間注意力和全局通道注意力模塊在細(xì)粒度特征提取方面的表現(xiàn)更好，能夠生成高質(zhì)量的人群密度圖，有效降低計(jì)數(shù)誤差并提高基準(zhǔn)數(shù)據(jù)集的準(zhǔn)確性。

圖5 ShanghaiTech數(shù)據(jù)集的預(yù)測(cè)和真實(shí)密度圖對(duì)比

圖6 UCF_CC_50數(shù)據(jù)集的預(yù)測(cè)和真實(shí)密度圖對(duì)比

圖7 UCF-QNRF數(shù)據(jù)集的預(yù)測(cè)和真實(shí)密度圖對(duì)比

為了進(jìn)一步驗(yàn)證算法的有效性，對(duì)提出的方法進(jìn)行了定量評(píng)估，并將其測(cè)試結(jié)果與深度尺度凈化網(wǎng)絡(luò)模型(DSPNet)[2]、自適應(yīng)密度圖生成器模型(ADMG)[7]、群體注意卷積神經(jīng)網(wǎng)絡(luò)模型(CAT-CNN)[10]、注意力嵌入可變形卷積網(wǎng)絡(luò)模型(ADCrowdNet)[12]、混合空間-通道注意力回歸網(wǎng)絡(luò)模型(SCAR)和尺度保留網(wǎng)絡(luò)模型(SPN)等先進(jìn)人群計(jì)數(shù)方法進(jìn)行對(duì)比。

表1給出了不同算法在Shanghai Tech數(shù)據(jù)集A和B部分的實(shí)驗(yàn)結(jié)果。可以看出，與其他幾種算法相比，本文算法在四個(gè)結(jié)果中有三個(gè)達(dá)到了最好的性能，在Shanghai Tech B的MSE測(cè)試指標(biāo)上比SPN模型稍低，這表示本文算法的穩(wěn)健性在Shanghai Tech B數(shù)據(jù)集中表現(xiàn)稍弱。

表1 不同算法在Shanghai Tech數(shù)據(jù)集的測(cè)試結(jié)果

表2給出了不同算法在UCF_CC_50數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果?？梢钥闯?，本文算法在MAE和MSE指標(biāo)上取得較好的結(jié)果，只在MAE稍低于SPN模型，取得次優(yōu)值。

表2 不同算法在UCF_CC_50數(shù)據(jù)集的測(cè)試結(jié)果

表3給出了不同算法在UCF-QNRF數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。通過對(duì)比每個(gè)數(shù)據(jù)集上不同算法的測(cè)試結(jié)果，發(fā)現(xiàn)在該數(shù)據(jù)集上，提出的模型在MAE和MSE方面明顯優(yōu)于其他方法。

表3 不同算法在UCF-QNRF數(shù)據(jù)集的測(cè)試結(jié)果

4 結(jié) 語

為了解決人群圖像尺度變化劇烈及現(xiàn)有密度估計(jì)網(wǎng)絡(luò)泛化性能差的問題，本文提出一種基于視覺注意力機(jī)制的人群密度估計(jì)方法。該方法在VGG16網(wǎng)絡(luò)的conv3層特征引入空間注意機(jī)制動(dòng)態(tài)增強(qiáng)特征圖中的關(guān)注區(qū)域，在conv4、conv5層引入全局注意機(jī)制進(jìn)行信道維度中的特征圖增強(qiáng)，從而提高多尺度級(jí)聯(lián)的有效性。而且，為了提高本文方法在不同場(chǎng)景和數(shù)據(jù)集的適應(yīng)性，設(shè)計(jì)了一個(gè)弱監(jiān)督學(xué)習(xí)來擴(kuò)展提出的密度估計(jì)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，提出的方法在不同尺度、不同場(chǎng)景下的人群密度圖像都有很好性能表現(xiàn)，相對(duì)于現(xiàn)有的人群密度估計(jì)算法也具有極大的優(yōu)勢(shì)。