楊倩倩，何 晴，彭思凡，殷保群

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，安徽 合肥 230026)

0 引言

由于人群所在的位置和行動(dòng)軌跡具有主觀性強(qiáng)、自由度高的特點(diǎn)，監(jiān)控視頻采集的圖像包含大量雜亂分布的人群，不同局部區(qū)域的人群密度差異巨大，增大了人群計(jì)數(shù)算法的估計(jì)難度。如圖1所示，在同一人群場(chǎng)景中，多個(gè)局部區(qū)域表現(xiàn)為人口極度聚集，而部分區(qū)域人口稀疏甚至是孤立的個(gè)體，難以預(yù)測(cè)的行人位置將導(dǎo)致密度圖中不同位置的密度值之間存在巨大差異，對(duì)算法感知不同密度分布模式的能力提出了更高的要求。為解決上述問(wèn)題，本文提出基于多重注意力引導(dǎo)的人群計(jì)數(shù)算法，將特征金字塔機(jī)制和注意力機(jī)制相結(jié)合，促進(jìn)語(yǔ)義信息和空間細(xì)節(jié)的融合，并通過(guò)注意力圖引導(dǎo)模型生成對(duì)應(yīng)不同分布狀態(tài)的密度圖。

圖1 人群非均勻分布圖像示例

1 概述

為解決計(jì)數(shù)問(wèn)題中的非均勻分布問(wèn)題，研究者主要設(shè)計(jì)了基于分類或檢測(cè)等輔助任務(wù)和注意力機(jī)制的計(jì)數(shù)方法，讓模型提取到各種分布模式下的全局和局部語(yǔ)義信息來(lái)識(shí)別分布在不同密集程度下的行人。CP-CNN[1]在多列密度估計(jì)框架的基礎(chǔ)上搭建了兩個(gè)額外的人群密度分類網(wǎng)絡(luò)，分別學(xué)習(xí)將輸入圖像或局部圖像塊按照密度差異分類為5個(gè)類別，以此來(lái)學(xué)習(xí)全局和局部區(qū)域的上下文信息，并將提取的上下文語(yǔ)義信息融合到密度圖估計(jì)任務(wù)中，從而生成高質(zhì)量的人群密度圖。然而，該算法對(duì)全局或局部區(qū)域人數(shù)分類只能提取到粗糙的語(yǔ)義特征，復(fù)雜場(chǎng)景下需要細(xì)粒度的密度語(yǔ)義信息。Liu等人[2]認(rèn)為在不知道每個(gè)行人具體位置的情況下，計(jì)數(shù)模型在低密度區(qū)域容易產(chǎn)生過(guò)估計(jì)現(xiàn)象。為了解決此問(wèn)題，作者提出的Decidenet將檢測(cè)和回歸方法結(jié)合來(lái)處理不同密度區(qū)域的人群，能夠自適應(yīng)地根據(jù)實(shí)際密度情況決定合適的計(jì)數(shù)方法，在低密度區(qū)域采用檢測(cè)方法估計(jì)人數(shù)，在擁擠區(qū)域則采用回歸方法捕捉人群信息。然而，采用的Faster-RCNN[3]等檢測(cè)網(wǎng)絡(luò)往往十分復(fù)雜，難以將其和密度圖回歸網(wǎng)絡(luò)以端到端的方式訓(xùn)練，且訓(xùn)練過(guò)程繁瑣。Jiang等人[4]指出在不同的密度模式的圖像區(qū)域中，數(shù)據(jù)驅(qū)動(dòng)的計(jì)數(shù)算法容易出現(xiàn)過(guò)估計(jì)或欠估計(jì)。作者提出了一種基于注意力機(jī)制的人群計(jì)數(shù)算法，該網(wǎng)絡(luò)包括密度注意力網(wǎng)絡(luò)和注意力尺度網(wǎng)絡(luò)，后者給前者提供與不同密度區(qū)域相關(guān)的注意力信息，并采用尺度因子幫助縮小不同區(qū)域的估計(jì)誤差。然而，該模型由2個(gè)VGG-16[5]組成，網(wǎng)絡(luò)參數(shù)量過(guò)大并且結(jié)構(gòu)較為復(fù)雜，同時(shí)需要對(duì)子網(wǎng)絡(luò)分別訓(xùn)練，這些弊端導(dǎo)致該模型訓(xùn)練困難且不利于計(jì)數(shù)性能的提升。

針對(duì)以上問(wèn)題，本文提出一種基于多重注意力引導(dǎo)的人群密度估計(jì)算法(Multi-Attention Convolutional Network for Crowd Counting，MACN)來(lái)完成密度圖回歸任務(wù)，采用多重注意力機(jī)制指導(dǎo)網(wǎng)絡(luò)提取多種分布模式下的人群特征，改善不同密集程度下的密度圖質(zhì)量，從而提升人群計(jì)數(shù)算法的整體性能，主要包括特征提取模塊(Feature Extraction Module，F(xiàn)EM)、特征融合模塊(Feature Fusion Module，F(xiàn)FM)、上下文注意力模塊(Context Attention Module，CAM)和密度圖生成模塊(Density Map Generation Module，DGM)。

2 密度估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

針對(duì)復(fù)雜場(chǎng)景中存在的人群非均勻分布問(wèn)題，設(shè)計(jì)了一個(gè)端到端的計(jì)數(shù)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)密度圖估計(jì)，采用注意力機(jī)制獲取像素級(jí)別的語(yǔ)義信息來(lái)指導(dǎo)密度圖回歸任務(wù)，感知不同分布模式下的行人，具體結(jié)構(gòu)如圖2所示。

圖2 MACN結(jié)構(gòu)

2.1 特征提取模塊

VGG-16具有強(qiáng)大的特征提取能力和優(yōu)秀的遷移學(xué)習(xí)能力，采用小卷積核代替大卷積核，能夠在保證特征表達(dá)能力的同時(shí)不消耗過(guò)多計(jì)算資源，所以采用VGG-16的前13個(gè)卷積層作為特征提取模塊，根據(jù)池化層位置進(jìn)一步分5個(gè)子模塊，其具體配置如表1所示。

表1 FEM網(wǎng)絡(luò)結(jié)構(gòu)

2.2 特征融合模塊

Lin等人[6]在目標(biāo)檢測(cè)系統(tǒng)Faster R-CNN中引入了特征金字塔結(jié)構(gòu)(Feature Pyramid Network，F(xiàn)PN)，它是一種包含自下而上路徑、橫向連接和自上而下路徑的特征融合機(jī)制，能夠充分融合來(lái)自網(wǎng)絡(luò)中間不同層次的特征。Zhang等人[7]提出一種輕量化金字塔切分注意力模塊(Pyramid Split Attention，PSA)，將其嵌入到ResNet[8]中來(lái)提取更細(xì)粒度的空間信息并建立通道之間的長(zhǎng)距離依賴，有效提升了分類網(wǎng)絡(luò)的性能。受到上述工作啟發(fā)，本文將金字塔切分注意力模塊引入特征金字塔機(jī)制，搭建了自上而下的特征融合路徑。

PSA的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，共包含四個(gè)主要步驟。假設(shè)輸入特征X的尺寸為C×H×W，首先在通道維度上將輸入向量均分為S組，采用分組卷積的方法讓S個(gè)不同尺寸的卷積核并行處理每組向量，并采用級(jí)聯(lián)的方式對(duì)結(jié)果進(jìn)行融合得到F。然后采用通道注意力模塊為每組特征學(xué)習(xí)注意力權(quán)重向量，權(quán)重的計(jì)算方式將在后面詳細(xì)介紹。第三步是采用Softmax函數(shù)注意力向量進(jìn)行調(diào)整得到Z′，從而自適應(yīng)地選擇不同的空間尺寸。最后，將調(diào)整后的注意力向量Z′和F做逐像素乘積得到輸出特征。

圖3 PSA結(jié)構(gòu)

其中f(·)表示PSA模塊的映射關(guān)系，conv(·)表示1×1卷積運(yùn)算，up(·)表示雙線性插值函數(shù)。

2.3 上下文注意力模塊

注意力機(jī)制是一種讓模型關(guān)注重點(diǎn)目標(biāo)區(qū)域的信息篩選機(jī)制，能夠幫助網(wǎng)絡(luò)提取到與人群目標(biāo)更相關(guān)的有利信息。上下文注意力模塊首先提取全局和局部上下文信息并進(jìn)行融合，基于該融合語(yǔ)義信息生成能感知不同密度分布模式的注意力圖，給不同密度級(jí)別的密度圖分配對(duì)應(yīng)的權(quán)重，讓模型關(guān)注到不同分布狀態(tài)的行人，從而克服圖像中人群雜亂分布導(dǎo)致的密度差異，其具體結(jié)構(gòu)如圖4所示。

圖4 CAM結(jié)構(gòu)

Dai等人[9]指出只利用全局上下文信息將使得模型更關(guān)注于分布于全局的目標(biāo)，并弱化小尺寸目標(biāo)的圖像信號(hào)，局部上下文信息的使用將有助于模型關(guān)注更多的空間細(xì)節(jié)信息，從而生成更高質(zhì)量的特征圖。所以CAM模塊分別設(shè)計(jì)了全局和局部上下文提取模塊，并對(duì)提取的多尺寸上下文語(yǔ)義進(jìn)行融合。考慮到平均池化和最大池化具有不同的特性，平均池化對(duì)特征圖上的每個(gè)像素點(diǎn)都產(chǎn)生反饋信號(hào)，而最大池化更加關(guān)注于區(qū)域內(nèi)相應(yīng)最大的位置，所以采用全局平均池化(Global Average Pooling，GAP)和最大池化(Global Max Pooling，GMP)兩種池化機(jī)制來(lái)提取全局上下文信息。輸入特征首先分別經(jīng)過(guò)GAP和GMP來(lái)聚合全局空間信息，然后采用兩個(gè)1×1卷積捕獲各通道間全局信息的依賴關(guān)系。同時(shí)設(shè)計(jì)了局部上下文信息提取模塊，不采用全局池化操作，通過(guò)小尺寸的卷積操作建立局部連接來(lái)捕捉局部上下文特征。最后對(duì)提取的上下文信息進(jìn)行融合得到多尺寸上下文語(yǔ)義特征，并經(jīng)過(guò)兩個(gè)1×1卷積進(jìn)一步增大特征的感受野并調(diào)整通道數(shù)量，生成最終的注意力權(quán)重。

2.4 密度圖生成模塊

SE Block[10]能夠?qū)斎胩卣魍ǖ乐g的相關(guān)性進(jìn)行建模，通過(guò)網(wǎng)絡(luò)學(xué)習(xí)的方式自動(dòng)獲得每個(gè)特征通道的重要程度。本節(jié)采用SE Block來(lái)對(duì)特征融合模塊得到的多級(jí)語(yǔ)義融合特征進(jìn)行通道維度的權(quán)重調(diào)整，其具體結(jié)構(gòu)如圖5所示。

圖5 SE Block結(jié)構(gòu)

SE Block首先通過(guò)全局平均池化聚合空間信息，為每個(gè)通道分別生成一個(gè)全局描述符。假設(shè)輸入特征f的尺寸為C×W×H，于是第c個(gè)通道的描述符的計(jì)算過(guò)程如式(2)所示：

其中fc表示第c個(gè)通道的輸入特征。然后將全部描述符輸入到兩個(gè)全連接層進(jìn)行非線性變換，并采用Sigmoid激活函數(shù)實(shí)現(xiàn)特征的重新標(biāo)定，于是得到所有通道的注意力權(quán)重：

其中W1和W2分別表示兩全連接層的權(quán)重，z表示C個(gè)通道描述符組成的整體描述符。于是調(diào)整后的特征如式(4)所示：

通道注意力模塊對(duì)多級(jí)語(yǔ)義融合特征進(jìn)行了通道權(quán)重的調(diào)整，加強(qiáng)了對(duì)密度估計(jì)更重要的通道，生成了更具辨別力的特征。為了提取更深層的語(yǔ)義信息，首先采用1×1卷積層將通道維數(shù)降為512通道，再采用2個(gè)3×3卷積層進(jìn)一步擴(kuò)大特征的感受野，最后采用1×1卷積層生成3個(gè)對(duì)應(yīng)不同密度級(jí)別的密度圖。最后，將CAM生成的感知不同密度模式的注意力圖和DGM生成的不同區(qū)域的密度圖進(jìn)行逐像素相乘，相加融合生成最終的高質(zhì)量密度圖，具體計(jì)算過(guò)程如式(5)所示：

其中，Ai和Di分別表示CAM和DGM生成的第i個(gè)通道的特征，⊙表示逐像素相乘。

2.5 損失函數(shù)

本文采用歐式距離衡量估計(jì)密度圖和真值密度圖之間的差距，定義如式(6)所示：

其中，θ是MACN中待優(yōu)化網(wǎng)絡(luò)參數(shù)的集合，N是訓(xùn)練樣本數(shù)量，Xi表示第i張輸入圖像，F(xiàn)i和F(Xi；θ)分別表示真值密度圖和估計(jì)密度圖。此外，采用交叉熵?fù)p失監(jiān)督CAM模塊生成的注意力圖，計(jì)算方式如式(7)所示：

其中，yj和Aj(Xi；θ)分別表示第j個(gè)密度等級(jí)注意力權(quán)重的真值標(biāo)簽和估計(jì)值。yj的獲得方式將在3.1節(jié)詳細(xì)介紹。因此，總體損失函數(shù)如式(8)所示：

其中α表示超參數(shù)，在實(shí)驗(yàn)中被設(shè)置為1。

3 算法實(shí)現(xiàn)

3.1 地面真值生成

假設(shè)xi位置存在一個(gè)人頭標(biāo)記，可將其表示為一個(gè)單位沖擊函數(shù)δ(x-xi)，可將包含M個(gè)人頭標(biāo)記的輸入圖像表示為：

然后采用歸一化的高斯核對(duì)每個(gè)人頭標(biāo)記做平滑處理，即將H(x)與高斯核做卷積來(lái)生成真值密度圖，計(jì)算方式如式(10)所示：

其中μ和σ分別表示高斯核的均值和方差，Gμ，σ(x)表示歸一化的二維高斯核。本文采用15×15的固定尺寸高斯核生成真值密度圖。

此外，為了監(jiān)督CAM模塊生成的注意力圖，本文依據(jù)上述生成的真值密度圖得到注意力真值標(biāo)簽，計(jì)算過(guò)程如式(11)所示：

其中yi(x)表示第i個(gè)密度級(jí)別的注意力標(biāo)簽，avg表示整張真值密度圖所有像素的平均值，β是超參數(shù)，被設(shè)置為0.2。

3.2 數(shù)據(jù)增強(qiáng)處理

本節(jié)采用多種方法對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，防止訓(xùn)練過(guò)程出現(xiàn)過(guò)擬合現(xiàn)象。首先，從原始圖片中裁剪出9張1/4原圖尺寸的圖像塊，并將每個(gè)圖像塊隨機(jī)裁剪到256×256的固定尺寸。然后，以0.5的概率對(duì)所有圖像塊做水平翻轉(zhuǎn)，以0.3的概率在[0.5，1.5]范圍內(nèi)對(duì)圖像塊做伽馬變換，以0.1的概率將彩色圖片轉(zhuǎn)換成灰度圖像，以0.25的概率將彩色圖像的RGB通道切換。最后，以0.25的概率像圖像加入均值為0、標(biāo)準(zhǔn)差為5的高斯噪聲。

3.3 訓(xùn)練過(guò)程

本文以端到端的方式訓(xùn)練MACN。特征提取模塊采用在ImagNet上預(yù)訓(xùn)練的VGG-16的參數(shù)進(jìn)行初始化，剩余其他所有卷積層的權(quán)重都采用均值為0，標(biāo)準(zhǔn)差為0.01的高斯分布初始化。采用Adam優(yōu)化器來(lái)優(yōu)化模型參數(shù)，初始學(xué)習(xí)率和衰減率分別被設(shè)置為1×10-5和0.995，批尺寸設(shè)置為8。跟隨Gao等人[11]的做法，訓(xùn)練時(shí)將密度圖乘以一個(gè)較大的放大倍數(shù)(100)來(lái)實(shí)現(xiàn)更快的收斂速度和更準(zhǔn)確的結(jié)果，更好地平衡損失權(quán)重。本文所有工作皆是基于PyTorch深度學(xué)習(xí)框架，采用11 GB顯存的Nvidia-2080Ti GPU顯卡實(shí)現(xiàn)訓(xùn)練和測(cè)試的加速。

4 實(shí)驗(yàn)分析

參考其他優(yōu)秀人群計(jì)數(shù)方法[12-13]，本文采用平均絕對(duì)誤差(Mean Absolute Error，MAE)和均方誤差(Mean Squared Error，MSE)來(lái)評(píng)估算法性能，計(jì)算公式如式(12)、式(13)所示：

其中，N代表測(cè)試圖片數(shù)目，zi與z^i分別代表真值與算法的預(yù)測(cè)值。

4.1 ShanghaiTech數(shù)據(jù)集實(shí)驗(yàn)

ShanghaiTech數(shù)據(jù)集[13]共包括1 198張人群圖片，根據(jù)密度差異被分為Part_A和Part_B兩個(gè)部分。Part_A由互聯(lián)網(wǎng)上獲取的482張人群圖片組成，人群分布較為密集，訓(xùn)練集和測(cè)試集分別包含300張和182張圖片；Part_B中的716張圖片均拍攝于上海街頭，人群分布較為稀疏，訓(xùn)練集和測(cè)試集分別包含400和316張圖片。

表2給出了在本數(shù)據(jù)集上MACN算法與其他代表性算法的實(shí)驗(yàn)結(jié)果。由分析可知，MACN在兩個(gè)子數(shù)據(jù)集上同時(shí)實(shí)現(xiàn)了最好的MAE和MSE指標(biāo)，相比于第二名分別將MAE指標(biāo)優(yōu)化了4.6%和9.2%，在人群密集的Part_A和人群較為稀疏的Part_B上都能實(shí)現(xiàn)較明顯的性能提升，說(shuō)明MACN算法對(duì)人群密度變化具有較好適應(yīng)性。圖6展示了測(cè)試集的部分估計(jì)密度圖和真實(shí)密度圖的可視化樣例，第一行、第二行表示Part_A上的估計(jì)結(jié)果，第三、四行表示Part_B上的估計(jì)結(jié)果；從左到右每一列分別表示人群圖片、真值密度圖和估計(jì)密度圖。

表2 ShanghaiTech數(shù)據(jù)集結(jié)果

圖6 ShanghaiTech上MACN算法生成密度圖可視化樣例

4.2 UCF_QNRF數(shù)據(jù)集實(shí)驗(yàn)

Ideers等人[20]提出了UCF_QNRF數(shù)據(jù)集，圖片主要來(lái)源于朝圣素材和網(wǎng)頁(yè)搜索，共包含1 535張圖片，比ShanghaiTech數(shù)據(jù)集具有更大的規(guī)模，且圖像中人群總數(shù)浮動(dòng)較大，人群場(chǎng)景更為復(fù)雜。

表3列出了MACN算法與其他優(yōu)秀算法在UCFQNRF上的實(shí)驗(yàn)結(jié)果。和MAE排名第二的PaDNet相比，MACN將MAE指標(biāo)在數(shù)值上減小了2.7%，這表明該算法在極度密集的場(chǎng)景中仍能對(duì)人群數(shù)量進(jìn)行準(zhǔn)確估計(jì)。圖7展示了測(cè)試集的部分估計(jì)密度圖和真實(shí)密度圖的可視化樣例，可以看到MACN算法能夠有效應(yīng)對(duì)圖像中存在的人群非均勻分布問(wèn)題，生成接近真實(shí)人群分布的估計(jì)結(jié)果。

表3 UCF_QNRF數(shù)據(jù)集結(jié)果

4.3 JHU-CROWD++數(shù)據(jù)集實(shí)驗(yàn)

Sindagi等人[27]提出的JHU-CROWD++數(shù)據(jù)集是一個(gè)新型的大規(guī)模無(wú)約束數(shù)據(jù)集，由不同場(chǎng)景與環(huán)境下的4 372張人群圖像組成，由訓(xùn)練集(2 272張)、驗(yàn)證集(500張)、測(cè)試集(1 600張)三個(gè)部分組成，人頭標(biāo)注數(shù)量高達(dá)151萬(wàn)。為了進(jìn)一步研究人群計(jì)數(shù)算法在各種密度情況下的性能，測(cè)試集與驗(yàn)證集的人群圖像被細(xì)分為高密度、中密度和低密度三個(gè)類別。同時(shí)考慮到惡劣天氣的影響，此數(shù)據(jù)集還包含單獨(dú)由復(fù)雜天氣人群圖像組成的子集。下面將在總體、低密度、中密度、高密度以及天氣環(huán)境這5種情況下分析人群計(jì)數(shù)算法的準(zhǔn)確率和魯棒性，如表4所示。

表4 JHU-CROWD++數(shù)據(jù)集結(jié)果

對(duì)比MACN算法和其他先進(jìn)算法在JHU-CROWD++測(cè)試集上的性能。在整體性能上，MACN算法的MAE指標(biāo)比第二名優(yōu)化了6.8%；在低密度、中密度、高密度、惡劣天氣等子類上MACN分別將MAE指標(biāo)比第二名在數(shù)值上優(yōu)化了0.2、1.9、16.6和7.9。JHU-CROWD++測(cè)試集的部分估計(jì)密度圖和真實(shí)密度圖的可視化樣例如圖8所示。分析表明，MACN算法在總體與所有子類上都實(shí)現(xiàn)了最準(zhǔn)確的計(jì)數(shù)結(jié)果并能夠保持較高的魯棒性，驗(yàn)證了MACN算法的泛化性和準(zhǔn)確性。

圖8 JHU-CROWD++上MACN算法生成密度圖可視化樣例

4.4 消融實(shí)驗(yàn)

為驗(yàn)證各子模塊的有效性，本小節(jié)在Shanghai-Tech Part_A上對(duì)不同結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。表5展示了五種不同結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果，其中W/O FFM+CAM+SE表示將FFM模塊、CAM模塊和DGM中的SE Block移除；W/O FFM表示移除FFM模塊；W/O CAM表示移除CAM模塊；W/O SE表示移除SE Block；MACN表示完整結(jié)構(gòu)。由實(shí)驗(yàn)結(jié)果可知，同時(shí)采用FFM、CAM、SE Block能夠獲得最優(yōu)的MAE和MSE指標(biāo)，大幅提升模型性能。

表5 參數(shù)選擇實(shí)驗(yàn)

5 結(jié)論

本文提出了一種基于多重注意力引導(dǎo)的密度估計(jì)網(wǎng)絡(luò)MACN，來(lái)解決人群計(jì)數(shù)任務(wù)中的人群雜分布問(wèn)題。首先，該算法基于輕量化的切分注意力模塊，構(gòu)建了一條自上而下的特征融合路徑以促進(jìn)不同語(yǔ)義級(jí)別特征之間的流動(dòng)，旨在增強(qiáng)特征的表達(dá)能力。然后，建立上下文注意力模塊來(lái)提取并融合多尺度上下文信息，以生成對(duì)應(yīng)不同密度級(jí)別的注意力圖，從而引導(dǎo)密度估計(jì)網(wǎng)絡(luò)識(shí)別不同分布模式下的行人目標(biāo)。最后，憑借大量實(shí)驗(yàn)結(jié)果充分說(shuō)明MACN有助于提升各種場(chǎng)景下的計(jì)數(shù)性能。