国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

多層級(jí)重疊條紋特征融合的行人重識(shí)別

2021-09-13 01:02:30璠,彭
計(jì)算機(jī)與生活 2021年9期

陳 璠,彭 力

物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院),江蘇 無(wú)錫214122

行人重識(shí)別[1](person re-identification,Person-ReID)旨在將不同物理位置、不同攝像頭捕獲的同一個(gè)人的圖像相關(guān)聯(lián),實(shí)現(xiàn)跨攝像頭跨場(chǎng)景下的行人識(shí)別與檢索。

在跨鏡頭多目標(biāo)跟蹤[2]時(shí),目標(biāo)行人在某一攝像頭視野范圍內(nèi)丟失以后,其軌跡會(huì)暫時(shí)消失,難以預(yù)測(cè)該行人會(huì)再次出現(xiàn)在哪個(gè)攝像頭視野中。由此提出通過(guò)行人的外觀特征[1]將行人的軌跡再次關(guān)聯(lián)。但是由于視角、姿態(tài)、遮擋與行人著裝類(lèi)似等因素的影響,同一行人在不同攝像機(jī)的拍攝畫(huà)面中可能呈現(xiàn)較大的外觀差異[3],這給行人重識(shí)別任務(wù)帶來(lái)很大的困難。因此如何學(xué)習(xí)到更豐富、更具判別性的行人特征成為Person-ReID的研究熱點(diǎn)。

隨著深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks,DCNN)的快速發(fā)展,研究學(xué)者提出了很多表現(xiàn)優(yōu)秀的DCNN 網(wǎng)絡(luò)模型,使得Person-ReID 的性能得到了很大的提升。根據(jù)DCNN 輸出特征的類(lèi)型,將Person-ReID 分成基于全局特征和局部特征兩種方法。

基于全局特征的方法通常直接通過(guò)全局平均池化層(global average pooling,GAP)得到輸出特征圖,推理階段計(jì)算速度快,該方法常用于幀率需求較高的情況[1]。例如,Wang等[4]構(gòu)建的DaRe-Net模型以不同分辨率提取網(wǎng)絡(luò)每一階段輸出的全局特征,通過(guò)級(jí)聯(lián)的方式進(jìn)行特征融合。這種融合多層特征的方式,提高了模型對(duì)難樣本的識(shí)別準(zhǔn)確率,但是得到的高層特征的相似性對(duì)分類(lèi)結(jié)果影響很大,而且低層特征在區(qū)分細(xì)節(jié)等方面起到的作用對(duì)結(jié)果的影響極小[5]。Chen 等[6]融合了分類(lèi)和驗(yàn)證模型,使得樣本的類(lèi)別信息和樣本之間的相似性信息進(jìn)行互補(bǔ)利用,但是該模型容易忽略圖像中不顯著的細(xì)節(jié)及出現(xiàn)次數(shù)較少的特征。

提取全局特征的方法簡(jiǎn)單高效、速度快,但是該方法忽略了圖像的空間特征信息,并且極易受遮擋、姿態(tài)變化等影響,導(dǎo)致匹配失敗?;诰植刻卣鞯姆椒ㄒ虼吮惶岢觥?/p>

Sun等[7]提出的PCB(part-based convolutional baseline)模型將網(wǎng)絡(luò)輸出的特征圖水平分割為均等的6塊,分別經(jīng)過(guò)不同的全連接層進(jìn)行預(yù)測(cè)。這種基于塊的操作簡(jiǎn)單有效地利用局部特征進(jìn)行分類(lèi),但是該方法所面臨的問(wèn)題如圖1 所示。由于行人姿態(tài)變化和尺寸差異,結(jié)果會(huì)出現(xiàn)行人結(jié)構(gòu)無(wú)法對(duì)齊的現(xiàn)象,并且單一地對(duì)6 個(gè)區(qū)域進(jìn)行預(yù)測(cè),未使用相鄰塊之間存在的關(guān)聯(lián)特征,可能導(dǎo)致具有判別性的信息丟失。Fu等[8]提出水平金字塔匹配方法(horizontal pyramid matching,HPM),通過(guò)使用不同的金字塔[9]尺度將骨干網(wǎng)絡(luò)輸出的特征圖進(jìn)行多尺度的水平分割,對(duì)每個(gè)水平區(qū)域使用GAP和最大池化相結(jié)合的方式得到行人的特征表示,以此來(lái)進(jìn)行預(yù)測(cè)。HPM 增加了特征表示的多樣性,但同樣存在行人結(jié)構(gòu)無(wú)法對(duì)齊的問(wèn)題。Zheng 等[10]提出一個(gè)全新的由粗到細(xì)的金字塔模型,能夠更有效地利用行人的特征信息,較好地解決圖像中行人無(wú)法對(duì)齊的問(wèn)題。但該算法含有21個(gè)不同尺度的局部特征分支,訓(xùn)練過(guò)程中占用過(guò)多的訓(xùn)練資源,因此計(jì)算效率較低。

Fig.1 Misalignment caused by image dicing圖1 圖像切塊引起的無(wú)法對(duì)齊問(wèn)題

針對(duì)上述未解決的問(wèn)題,本文提出一種多層級(jí)重疊條紋特征融合的行人重識(shí)別算法。基于Resnet-50 的主體框架,將網(wǎng)絡(luò)不同階段輸出的多分辨率特征進(jìn)行水平均等分割,再提取重疊條紋特征,以綜合利用位于各個(gè)相鄰塊間的重要信息;組合三種損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行監(jiān)督訓(xùn)練,以學(xué)習(xí)到魯棒性更強(qiáng)的行人特征;設(shè)計(jì)組歸一化模塊以消除不同損失函數(shù)在優(yōu)化方向上存在的差異。

1 多層級(jí)重疊條紋特征融合的行人重識(shí)別

1.1 行人重識(shí)別難點(diǎn)

行人姿態(tài)多樣化以及尺寸差異一直是行人重識(shí)別的難題。由于攝像頭的物理位置、抓拍時(shí)機(jī)、行人視角以及遮擋等因素的影響,檢測(cè)框中可見(jiàn)的行人外觀特征在整幅圖像中占據(jù)較小的比例。例如,圖2(a)中,圖像中復(fù)雜背景占比較大,小目標(biāo)行人具有較低的分辨率;圖2(b)中,大面積遮擋使得可見(jiàn)的行人部分在整幅圖像中占比較小。這類(lèi)圖像在經(jīng)過(guò)網(wǎng)絡(luò)模型后提取到的干擾信息較多,有效信息較少,并且信息的表征能力較弱。對(duì)此,本文提出的多層級(jí)重疊條紋特征融合的行人重識(shí)別算法,對(duì)骨架網(wǎng)絡(luò)不同階段的輸出特征圖進(jìn)行水平均等分割,再提取重疊條紋特征以彌補(bǔ)丟失的信息,從而更高效地利用圖像中的有效信息,削弱圖像中無(wú)關(guān)因素的干擾。

Fig.2 Challenges of person re-identification圖2 行人重識(shí)別難點(diǎn)

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文所提模型結(jié)構(gòu)如圖3所示,包括多分辨率的骨架網(wǎng)絡(luò)、重疊條紋特征提取模塊、組歸一化(group normalization,GN)模塊和全連接層(fully connected layers,F(xiàn)C),圖中D表示特征向量的維數(shù)。骨架網(wǎng)絡(luò)選用的是Resnet-50,由4 個(gè)卷積塊Convi組成,其中i=1,2,3,4,該網(wǎng)絡(luò)結(jié)構(gòu)具有更深的層,能夠保證較高的特征提取效率。本文對(duì)該框架做出了如下修改:(1)移除Resnet-50 最后的全局平均池化層(GAP)和全連接層,以獲得尺寸恰當(dāng)?shù)男腥颂卣鲌D;(2)將第四個(gè)卷積塊Conv4中的Conv4_1的步長(zhǎng)設(shè)定為2,使得行人特征圖的尺寸變?yōu)樵瓉?lái)的2倍,方便分塊操作并且有利于提取局部信息。骨架網(wǎng)絡(luò)輸出的特征圖經(jīng)過(guò)重疊條紋特征提取模塊后,共獲得11 個(gè)條紋特征向量gj(j=2,3,4)。

Fig.3 Block diagram of proposed model structure圖3 本文模型結(jié)構(gòu)框圖

訓(xùn)練階段,將上述11個(gè)條紋特征向量gj(j=2,3,4)串聯(lián)為特征描述符G,并使用中心損失函數(shù)和三元組損失函數(shù)進(jìn)行監(jiān)督優(yōu)化;為了克服過(guò)擬合問(wèn)題并提高模型的性能,將特征向量gj(j=2,3,4)分別送入組歸一化模塊(GN層)得到特征向量hj(j=2,3,4);將h2、h3和h4分別送入不共享權(quán)重的FC層,然后通過(guò)交叉熵?fù)p失函數(shù)進(jìn)行監(jiān)督優(yōu)化。測(cè)試階段,僅使用特征描述符G來(lái)進(jìn)行相似性判斷,即把GN層之前的11個(gè)512D的向量融合成一個(gè)新的向量,通過(guò)歐氏距離度量方法,查詢圖像使用新向量與圖庫(kù)中圖像進(jìn)行相似度匹配。

1.3 重疊條紋特征提取模塊

由于行人數(shù)據(jù)集中存在大量的難樣本,相比于使用單一的全局特征,采用更加精細(xì)的局部特征可以減少行人數(shù)據(jù)集復(fù)雜化的影響,而且這些關(guān)鍵的局部特征更具有代表性,判別力更強(qiáng),是區(qū)分不同行人的重要判據(jù)。目前常用的提取局部特征的方法有圖像切塊、骨骼關(guān)鍵點(diǎn)的匹配定位以及注意力機(jī)制等。

本文算法根據(jù)人體的結(jié)構(gòu)特征,將特征圖進(jìn)行水平分割,由于分割后會(huì)出現(xiàn)行人結(jié)構(gòu)特征無(wú)法對(duì)齊以及丟失局部特征信息的情況,因此提出重疊條紋特征提取模塊。如圖3所示,重疊條紋特征提取模塊首先接收來(lái)自多分辨率的骨架網(wǎng)絡(luò)提取的特征圖,將最后兩個(gè)卷積塊Conv3和Conv4的輸出(tensorT3和T4)分別在豎直方向上水平分割為均等的6 塊(s=6),通過(guò)使用重疊步長(zhǎng)將相鄰塊成對(duì)地組合,并將全局平均池化(GAP)作用在重疊部件上,從而共獲得2×(s-1)=10 個(gè)重疊條紋特征向量(每個(gè)卷積塊的輸出對(duì)應(yīng)獲得5個(gè)條紋特征)。為了使卷積計(jì)算更快更高效,使用1×1 的卷積核將這10 個(gè)特征向量分別進(jìn)行降維操作得到特征向量g3和g4。Tj到gj(j=3,4)的計(jì)算過(guò)程可以由式(1)表示:

其中,m=3,4,n=1,2,3,4,5。

此外,將第二個(gè)卷積塊Conv2得到的全局特征(tensorT2)直接通過(guò)GAP和降維操作得到特征向量g2,最終共得到11 個(gè)條紋特征向量。這些特征向量中包含多個(gè)多尺度的局部特征和全局特征,T3和T4包含了足夠豐富的語(yǔ)義信息,T2提供的低層全局特征能夠有效區(qū)分細(xì)節(jié)信息,對(duì)分類(lèi)結(jié)果產(chǎn)生積極的影響。

如圖4中(a)和(b)所示,同一行人的兩張圖像經(jīng)過(guò)水平分割后,最后一個(gè)分塊將空地(遮擋物)和小腿對(duì)齊,如果直接進(jìn)行分類(lèi)預(yù)測(cè)將會(huì)匹配失?。坏墙?jīng)過(guò)該模塊后,對(duì)應(yīng)的分塊中均包含小腿特征,在進(jìn)行分類(lèi)預(yù)測(cè)時(shí)能夠很大程度上減小特征不對(duì)稱所導(dǎo)致的度量差異。行人的大部分特征在經(jīng)過(guò)該模塊后,又得到了二次的加強(qiáng)利用。因此,該模塊能夠充分利用到塊間的重要信息,從而有效減少行人結(jié)構(gòu)無(wú)法對(duì)齊所帶來(lái)的影響。

Fig.4 Example of feature extraction module with overlapping strides圖4 重疊條紋特征提取模塊示例

1.4 多損失聯(lián)合學(xué)習(xí)

聯(lián)合多種損失函數(shù),能夠幫助網(wǎng)絡(luò)模型學(xué)習(xí)到魯棒性更強(qiáng)的行人特征。在訓(xùn)練階段,組合三種不同的損失函數(shù),包括三元組損失(triplet loss)、中心損失(center loss)和交叉熵?fù)p失(cross-entropy loss)。通過(guò)最小化組合后的損失函數(shù)來(lái)優(yōu)化網(wǎng)絡(luò)模型。首先將三元組損失[11]應(yīng)用于特征描述符G,如式(2)所示:

其中,P是批次中的身份數(shù)量,K是批次中相同身份的圖像數(shù)量,α是損失余量,本文α=0.3,Ga、Gp和Gn分別為固定樣本、正樣本和負(fù)樣本對(duì)應(yīng)的特征向量,dp是固定樣本與正樣本之間的歐氏距離,dn是固定樣本與負(fù)樣本之間的歐氏距離。三元組損失函數(shù)通過(guò)拉近嵌入空間中正樣本對(duì)之間的距離以及推遠(yuǎn)負(fù)樣本對(duì)之間的距離,來(lái)加強(qiáng)同類(lèi)別間的緊密性和不同類(lèi)別間的分離性。但是由于三元組損失函數(shù)只考慮到了dp和dn之間的差值而忽略了二者的絕對(duì)值,三元組損失對(duì)于同類(lèi)別間的距離約束較弱。為減小這類(lèi)影響,引入中心損失函數(shù)[12],將該損失也應(yīng)用于特征描述符G,從而使特征空間中的特征分布更加緊湊。在訓(xùn)練過(guò)程中,中心損失能夠?qū)W習(xí)各個(gè)類(lèi)別對(duì)應(yīng)的深度特征中心,通過(guò)最小化特征和類(lèi)別中心之間的距離來(lái)緊湊同類(lèi)別的分布,公式如下所示:

其中,m是批處理大小,cyi是第yi個(gè)類(lèi)別的特征的中心向量。然后,對(duì)局部特征向量hj的每個(gè)條紋特征向量計(jì)算交叉熵?fù)p失以實(shí)現(xiàn)最終的分類(lèi),公式如下所示:

其中,m是批次大小,C是訓(xùn)練集中的類(lèi)別數(shù),W是FC 層的權(quán)重向量,b是偏差??偟慕徊骒?fù)p失計(jì)算為所有交叉熵?fù)p失的平均值,如下所示:

總損失函數(shù)由式(2)、式(3)和式(5)的加權(quán)總和計(jì)算得出,其中三元組損失和交叉熵?fù)p失保持相同的優(yōu)先級(jí)。

其中,β是中心損失所占權(quán)重。

1.5 組歸一化模塊

在深度學(xué)習(xí)領(lǐng)域中,混用具有不同量綱或量綱單位的評(píng)價(jià)指標(biāo)容易使得數(shù)據(jù)中出現(xiàn)奇異樣本數(shù)據(jù),從而造成訓(xùn)練時(shí)間過(guò)長(zhǎng)以及損失無(wú)法收斂的問(wèn)題。為了消除指標(biāo)之間量綱的影響,需要對(duì)數(shù)據(jù)進(jìn)行歸一化[13-14]。最初,網(wǎng)絡(luò)結(jié)構(gòu)基本只包括一個(gè)或者兩個(gè)隱藏層,僅對(duì)輸入數(shù)據(jù)進(jìn)行歸一化。隨著網(wǎng)絡(luò)結(jié)構(gòu)的深度不斷提高,Ioffe等[15]將BatchNorm算法應(yīng)用到了中間層。只需計(jì)算整個(gè)輸入或者隨機(jī)選取的小批次的均值和方差,提取的矩就會(huì)顯示出不含預(yù)測(cè)信息的數(shù)據(jù)集中數(shù)據(jù)分布的偏差,移除該偏差能夠很大程度改善優(yōu)化和泛化能力[13,16-17]。最近提出的歸一化方法[18-21]將每個(gè)訓(xùn)練實(shí)例的特征視為一個(gè)分布,并分別對(duì)每個(gè)樣本進(jìn)行歸一化。

本文采用多種損失函數(shù)對(duì)模型進(jìn)行監(jiān)督優(yōu)化,當(dāng)交叉熵?fù)p失函數(shù)和三元組損失函數(shù)共同作用時(shí),損失函數(shù)的優(yōu)化方向可能出現(xiàn)差異。如圖5 中以三分類(lèi)為例,交叉熵?fù)p失函數(shù)經(jīng)改進(jìn)后使用余弦距離進(jìn)行度量,通過(guò)構(gòu)造超球面的方式將嵌入空間分成3個(gè)不同的子空間,3種類(lèi)別中的每個(gè)特征都被映射為超球面上的點(diǎn),這樣每個(gè)類(lèi)別的特征會(huì)被分配到不同的子空間。三元組損失函數(shù)則采用歐氏距離進(jìn)行度量。當(dāng)這兩種損失函數(shù)對(duì)網(wǎng)絡(luò)中的同一個(gè)特征向量進(jìn)行監(jiān)督時(shí),二者優(yōu)化方向的差異可能使得訓(xùn)練過(guò)程中一個(gè)損失減小,而另一個(gè)損失震蕩發(fā)散,最終導(dǎo)致整個(gè)訓(xùn)練過(guò)程中損失的收斂難度變大。

Fig.5 Two-dimensional visualization of sample distribution under different loss supervision圖5 不同損失監(jiān)督下樣本分布二維可視化圖

為了解決上述問(wèn)題,提出如圖6所示的組歸一化結(jié)構(gòu)(GN)。圖中GN之前的特征向量記為ft,GN之后的特征向量記為fi。在訓(xùn)練階段,ft用于計(jì)算三元組損失和中心損失,fi用于計(jì)算交叉熵?fù)p失。組歸一化可以使得向量ft中分布異常的特征趨于平穩(wěn),使其在超球面更接近于高斯分布,不僅保證了同類(lèi)別特征的分布更加緊密,而且提高了交叉熵?fù)p失的收斂速度。

Fig.6 Structure of group normalization圖6 組歸一化模塊

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)配置與數(shù)據(jù)集

本文所用的深度學(xué)習(xí)框架為Pytorch-1.0.1,操作系統(tǒng)為Ubuntu16.04,編程語(yǔ)言版本為Python3.6。硬件所用的顯卡內(nèi)存為8 GB的NVIDIAGTX 1070 GPU,CUDA 版本為10.1。實(shí)驗(yàn)階段,通過(guò)Market-1501[22]和DukeMTMC-reID[23]數(shù)據(jù)集對(duì)所提算法進(jìn)行實(shí)驗(yàn)驗(yàn)證,并將其與目前較新的幾種行人重識(shí)別算法進(jìn)行比較。

Market-1501[22]數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩部分:訓(xùn)練集包括12 963張圖像,對(duì)應(yīng)751個(gè)行人;測(cè)試集包括3 368張查詢圖像和19 732張圖庫(kù)圖像,共對(duì)應(yīng)750 個(gè)行人。DukeMTMC-reID[23]數(shù)據(jù)集同樣分為訓(xùn)練集和測(cè)試集兩部分:訓(xùn)練集包括16 522張圖像,對(duì)應(yīng)702個(gè)行人;測(cè)試集包括2 228張查詢圖像和17 661張圖庫(kù)圖像,共對(duì)應(yīng)702個(gè)行人。

訓(xùn)練時(shí),輸入圖像的分辨率大小為384×192,batchsize選擇為64,包括16個(gè)不同行人并且每人4張圖像。max_epoch(訓(xùn)練總輪數(shù))設(shè)置為120。使用隨機(jī)梯度下降法(stochastic gradient descent,SGD)優(yōu)化本文模型,動(dòng)量為0.9,權(quán)重衰減系數(shù)為0.000 5。使用warmup策略預(yù)熱學(xué)習(xí)率激活網(wǎng)絡(luò),初始學(xué)習(xí)率為0.000 3。為了保持損失的穩(wěn)定下降,分別在epoch=40,epoch=70 兩個(gè)階段設(shè)置學(xué)習(xí)率衰減點(diǎn)以進(jìn)行指數(shù)衰減,衰減系數(shù)為gamma=0.1。

2.2 多損失聯(lián)合學(xué)習(xí)實(shí)驗(yàn)結(jié)果

為了測(cè)試多損失聯(lián)合訓(xùn)練以及組歸一化模塊的有效性,本文分別在Market-1501數(shù)據(jù)集和DukeMTMCreID 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,結(jié)果分別如表1 和表2 所示,其中基準(zhǔn)模型baseline 對(duì)應(yīng)的是僅使用交叉熵?fù)p失訓(xùn)練的全局特征模型。

Table 1 Experimental results with different strategies on Market-1501表1 Market-1501上不同策略的實(shí)驗(yàn)結(jié)果

Table 2 Experimental results with different strategies on DukeMTMC-reID表2 DukeMTMC-reID上不同策略的實(shí)驗(yàn)結(jié)果

對(duì)于Market-1501 數(shù)據(jù)集,對(duì)比兩種損失聯(lián)合學(xué)習(xí)的模型,三種損失聯(lián)合學(xué)習(xí)的模型的rank-1精度提高了1.2 個(gè)百分點(diǎn),mAP 提高了2.3 個(gè)百分點(diǎn)。三種損失聯(lián)合學(xué)習(xí)的模型在加入組歸一化(GN)模塊后,模型的rank-1精度提高了2.0個(gè)百分點(diǎn),mAP提高了1.2 個(gè)百分點(diǎn)。本文所提模型相對(duì)基準(zhǔn)模型baseline在rank-1精度上提升了5.2個(gè)百分點(diǎn),在mAP上提升了9.1個(gè)百分點(diǎn)。

對(duì)于DukeMTMC-reID 數(shù)據(jù)集,本文所提模型對(duì)比兩種損失聯(lián)合學(xué)習(xí)的模型,rank-1精度提升了2.1個(gè)百分點(diǎn),mAP 提升了1.5 個(gè)百分點(diǎn);相對(duì)baseline 在rank-1精度上提升了3.1個(gè)百分點(diǎn),在mAP上提升了6.8個(gè)百分點(diǎn)。

結(jié)果表明,三種損失聯(lián)合訓(xùn)練可以使模型學(xué)習(xí)到魯棒性更強(qiáng)的特征,組歸一化模塊對(duì)于減弱損失函數(shù)間的優(yōu)化沖突效果明顯。

2.3 不同分塊模型的實(shí)驗(yàn)結(jié)果

本文根據(jù)人體結(jié)構(gòu)特征進(jìn)行分塊操作,經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,將行人特征圖均分為6塊(s=6)為最佳。如表3 所示,此處僅以Market-1501 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果為例,其中baseline對(duì)應(yīng)的是僅使用交叉熵?fù)p失訓(xùn)練的全局特征模型。從表中數(shù)據(jù)可以看出,采用切塊提取局部特征的方法比僅使用全局特征的方法在rank-1 精度和mAP 上都有明顯的提高,且隨著重疊條紋數(shù)(s-1)的增加,模型精度也有所提升。這是由于在遮擋及復(fù)雜背景等環(huán)境下,局部特征比全局特征有更強(qiáng)的辨別能力。但是在s=7 或8時(shí),精度不升反降,是因?yàn)樾〕叽绲臈l紋更易受到錯(cuò)位、遮擋等異常值的影響。

Table 3 Experimental results with different block models on Market-1501表3 Market-1501上不同分塊的實(shí)驗(yàn)結(jié)果

2.4 不同批尺寸的實(shí)驗(yàn)結(jié)果

三元組損失中,batchsize=P×K,研究表明[24],隨著批尺寸的增加,模型精度也不斷提高。因?yàn)榇蟮腷atchsize有助于三元組損失更好地挖掘“難樣本對(duì)”以約束不同類(lèi)別之間的距離。但是該規(guī)律并不適用于本文算法,如表4所示,隨著batchsize的增加,模型精度的提升并不明顯,這是因?yàn)榧尤肓私M歸一化(GN)模塊。GN計(jì)算通道方向上每組數(shù)據(jù)的均值和方差,與batchsize無(wú)關(guān),因此模型精度不會(huì)因?yàn)閎atchsize的變化而受影響。因此,即使batchsize受限,本文算法也能夠保證模型的精度。

Table 4 Experimental results with different batchsizes on DukeMTMC-reID表4 DukeMTMC-reID上不同批尺寸實(shí)驗(yàn)結(jié)果

2.5 與現(xiàn)有方法的比較

表5 和表6 所示為本文網(wǎng)絡(luò)模型與其他一些網(wǎng)絡(luò)模型的性能比較,其中包括DaRe-Net(deep anytime re-ID)[4]、PCB+RPP(part-based convolutional baseline+refined part pooling)[7]、Pyramid[10]、HA-CNN(harmonious attention convolutional neural network)[25]、GLAD(global-local-alignment descriptor)[26]、PSE(posesensitive embedding)[27]、AWTL(adaptive weighted triplet loss)[28]。所有結(jié)果中金字塔模型[10]表現(xiàn)最好,但是該算法包含了21 個(gè)不同尺度的局部特征分支,模型較復(fù)雜,訓(xùn)練過(guò)程占用較多的資源,使得計(jì)算效率較低。在Market-1501數(shù)據(jù)集上,本文方法得到的rank-1精度和mAP分別為95.2%和91.4%,在DukeMTMC-reID數(shù)據(jù)集上得到的rank-1 精度和mAP 分別為88.4%和78.6%。結(jié)果表明,本文所提模型能夠有效提升行人重識(shí)別的準(zhǔn)確率。圖7 展示了本文方法在Market-1501 測(cè)試集上的部分測(cè)試結(jié)果,該方法具有較強(qiáng)的魯棒性和判別力。

Table 5 Comparison with mainstream algorithms on Market-1501表5 在Market-1501上與主流算法的比較

Table 6 Comparison with mainstream algorithms on DukeMTMC-reID表6 在DukeMTMC-reID上與主流算法的比較

Fig.7 Partial test results of Person-ReID model on Market-1501 dataset圖7 本文模型在Market-1501數(shù)據(jù)集上部分測(cè)試結(jié)果

3 結(jié)束語(yǔ)

本文提出了一種基于多層級(jí)重疊條紋特征融合的行人重識(shí)別算法。使用重疊條紋特征提取模塊,彌補(bǔ)了在提取行人局部特征時(shí)丟失的信息;加入組歸一化模塊,減弱了不同損失函數(shù)在優(yōu)化監(jiān)督時(shí)的沖突影響;結(jié)合低層的全局特征,使網(wǎng)絡(luò)模型能夠有效區(qū)分細(xì)節(jié)信息。將該算法分別在Market-1501 和DukeMTMC-reID數(shù)據(jù)集上進(jìn)行有效性實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,該算法能夠有效提高行人重識(shí)別的準(zhǔn)確度。

實(shí)驗(yàn)過(guò)程中,對(duì)整幅圖像提取局部特征時(shí)會(huì)受到復(fù)雜背景的影響以及前景遮擋的干擾。在今后的研究過(guò)程中,將考慮通過(guò)網(wǎng)絡(luò)模型分離出圖像中行人的可見(jiàn)部分,并用該部分進(jìn)行檢索,進(jìn)一步提升模型的行人重識(shí)別能力。

丽江市| 宁都县| 和政县| 大荔县| 嵩明县| 铁岭县| 邳州市| 高碑店市| 阿合奇县| 姚安县| 杭锦旗| 泉州市| 濮阳县| 威海市| 张家口市| 徐闻县| 桂林市| 瓮安县| 左贡县| 六枝特区| 南宁市| 郸城县| 阜新市| 泾阳县| 英山县| 靖宇县| 城口县| 沭阳县| 元阳县| 神池县| 高要市| 华阴市| 盘锦市| 华容县| 新竹市| 呼伦贝尔市| 农安县| 上饶县| 南平市| 萝北县| 铜陵市|