張 璐，劉阿建

(1.武漢大學(xué)，湖北 武漢 430061；2.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600)

0 引 言

常用的行人再辨識(shí)網(wǎng)絡(luò)模型有兩種：一種是基于樣本對(duì)或三元組的驗(yàn)證網(wǎng)絡(luò)模型。該模型由于早期公開(kāi)的行人再辨識(shí)數(shù)據(jù)集較小被廣泛采用，如VIPeR[1]，僅為每個(gè)身份的行人提供兩幅圖片；另一種極具潛力的是基于分類(lèi)損失函數(shù)的分類(lèi)模型[2]。該模型最初應(yīng)用在圖像分類(lèi)中，之后受到行人再辨識(shí)研究者的青睞得益于幾個(gè)大數(shù)據(jù)集的公布，如CUHK03[3]，Market1501[4]和 DukeMTMC-reID[5]。這使得訓(xùn)練一個(gè)更深的網(wǎng)絡(luò)而不出現(xiàn)過(guò)擬合成為可能。盡管分類(lèi)損失函數(shù)不僅可以充分利用數(shù)據(jù)集的標(biāo)注信息，而且無(wú)需將樣本進(jìn)行配對(duì)，但其主要缺陷是訓(xùn)練目標(biāo)與測(cè)試過(guò)程不一致。如訓(xùn)練出來(lái)的分類(lèi)網(wǎng)絡(luò)模型在進(jìn)行測(cè)試時(shí)，需要將分類(lèi)損失函數(shù)層移除掉(開(kāi)集測(cè)試過(guò)程)。一部分研究者[6-7]結(jié)合兩種損失函數(shù)的優(yōu)點(diǎn)使行人特征具有較好的辨別性。此方法與人臉深層驗(yàn)證網(wǎng)絡(luò)[8]有相類(lèi)的地方，不同類(lèi)的特征被分類(lèi)損失函數(shù)分隔出來(lái)，同時(shí)類(lèi)內(nèi)距離小且類(lèi)間距離大的問(wèn)題被驗(yàn)證損失函數(shù)解決。這些方法跟目前常用的一些方法相比，在幾組常用的行人再辨識(shí)數(shù)據(jù)集上有較優(yōu)的表現(xiàn)，但是在網(wǎng)絡(luò)訓(xùn)練之前，需要配對(duì)訓(xùn)練樣本，樣本種類(lèi)越多，配對(duì)方式和數(shù)量越多。即使對(duì)樣本進(jìn)行嚴(yán)格的控制，但網(wǎng)絡(luò)依然存在穩(wěn)定性差、收斂慢等缺陷。

為了避免樣本配對(duì)，并且使學(xué)習(xí)到的行人特征依然具有較好的判別能力，文中將Center Loss函數(shù)和分類(lèi)損失函數(shù)Softmax Loss相結(jié)合，使網(wǎng)絡(luò)在分類(lèi)損失Softmax Loss與Center Loss函數(shù)的聯(lián)合監(jiān)督下，可以學(xué)習(xí)出更具判別性的行人特征。Softmax Loss函數(shù)將不同類(lèi)分隔開(kāi)，同時(shí)Center Loss函數(shù)具有和驗(yàn)證函數(shù)類(lèi)似的功能，能使類(lèi)內(nèi)距離變小，使行人特征更具辨別性。文中將人臉識(shí)別函數(shù)Center Loss用于行人再辨識(shí)研究中，作用是使同類(lèi)之間的差別變小，但是該函數(shù)不能解決不同類(lèi)之間差距不大的問(wèn)題。在同一個(gè)空間中，兩個(gè)不同的類(lèi)分布的很靠近或者部分重疊時(shí)，雖然每個(gè)類(lèi)大部分都集中在中心點(diǎn)或距中心點(diǎn)距離較近的地方，但是辨別性依舊不太理想。因此文中對(duì)Center Loss函數(shù)進(jìn)行改進(jìn)，在Center Loss函數(shù)中加入類(lèi)間距離變量，使類(lèi)間中心最小距離變大，使其具有較好的辨別性。

1 Center Loss函數(shù)

Center Loss函數(shù)在進(jìn)行網(wǎng)絡(luò)構(gòu)建的過(guò)程中，在分類(lèi)網(wǎng)絡(luò)Softmax Loss的基礎(chǔ)上，在其特征提取層中加入損失函數(shù)Center Loss，用來(lái)計(jì)算每個(gè)類(lèi)中心的歐氏距離。這樣對(duì)網(wǎng)絡(luò)進(jìn)行收斂后，同一類(lèi)型的樣本，其行人再辨識(shí)的特征就集中在此類(lèi)別的中心。這種與不加入損失函數(shù)Center Loss的分類(lèi)網(wǎng)絡(luò)相比，同類(lèi)別的行人特征類(lèi)內(nèi)的距離更小，其中Center Loss函數(shù)的定義如下：

(1)

其中，cyi∈RD表示所屬類(lèi)別為yi的特征xi的中心點(diǎn)，并且cyi隨訓(xùn)練批次的更新不斷更新，yi樣本數(shù)及特征的變化時(shí)，cyi隨之更新；M表示樣本數(shù)量。

另外，為了排除個(gè)別特殊樣本給訓(xùn)練帶來(lái)波動(dòng)，定義中心學(xué)習(xí)率α。當(dāng)網(wǎng)絡(luò)的傳播方向?yàn)榉聪驎r(shí)，其梯度LC的定義見(jiàn)式2，cyi的更新見(jiàn)式3：

(2)

(3)

其中，α∈[0,1]，如果yi=j，則δ(條件)=1，否則為0。

文中是將Softmax函數(shù)和Center Loss函數(shù)相結(jié)合，因此總損失函數(shù)表示為：

(4)

其中Softmax函數(shù)和Center Loss函數(shù)的平衡系數(shù)用λ表示。當(dāng)λ=0時(shí)，則該式表示僅使用Softmax Loss函數(shù)的分類(lèi)網(wǎng)絡(luò)。

2 Center Loss函數(shù)的改進(jìn)

標(biāo)準(zhǔn)的Center Loss函數(shù)在行人特征空間中，為每個(gè)類(lèi)在訓(xùn)練過(guò)程中計(jì)算一個(gè)中心，并且使該類(lèi)的特征向計(jì)算的中心點(diǎn)集中，其目標(biāo)是減小類(lèi)內(nèi)距離，但是此函數(shù)不能解決不同類(lèi)之間差距不大的問(wèn)題。在同一個(gè)空間中，兩個(gè)不同的類(lèi)分布的很靠近或者部分重疊時(shí)，雖然每個(gè)類(lèi)大部分都集中在中心點(diǎn)或距中心點(diǎn)距離較近的地方，但是辨別性依舊不太理想。因此在訓(xùn)練過(guò)程中，既考慮類(lèi)內(nèi)距離又考慮類(lèi)間距離，通過(guò)對(duì)Center Loss函數(shù)進(jìn)行改進(jìn)，在Center Loss函數(shù)中加入類(lèi)間距離變量，使類(lèi)間中心最小距離變大，使其具有較好的辨別性。改進(jìn)Center Loss函數(shù)的定義為：

(5)

因?yàn)轭?lèi)內(nèi)中心距離矩陣具有對(duì)稱(chēng)性，文中將式5進(jìn)行簡(jiǎn)化，即：

(6)

(7)

在反向傳播中，LIMPR的梯度計(jì)算為：

δ(yi=yB)·(cyB-xi)]}

(8)

3 實(shí)驗(yàn)與分析

3.1 Mnist數(shù)據(jù)集上的實(shí)驗(yàn)

本節(jié)通過(guò)實(shí)驗(yàn)展示網(wǎng)絡(luò)學(xué)習(xí)行人再辨識(shí)特征分布的圖像，直觀(guān)感受改進(jìn)的網(wǎng)絡(luò)模型是否具有較優(yōu)的表現(xiàn)，同時(shí)通過(guò)定性定量分析確定改進(jìn)算法是否更加適合行人再辨識(shí)的應(yīng)用。實(shí)驗(yàn)參考文獻(xiàn)[9]中的Mnist數(shù)據(jù)集[10]和LeNets++網(wǎng)絡(luò)。為了便于觀(guān)察結(jié)果，將選定網(wǎng)絡(luò)的輸出維度設(shè)置為2，即學(xué)習(xí)到的行人再辨識(shí)的特征為2維，可以通過(guò)二維平面顯示實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)中參數(shù)設(shè)置與文獻(xiàn)[9]相同，除特殊說(shuō)明外，實(shí)驗(yàn)隨機(jī)選取樣本圖像。文中實(shí)驗(yàn)樣本數(shù)量設(shè)置為10k。

采取四組網(wǎng)絡(luò)模型進(jìn)行行人再辨識(shí)實(shí)驗(yàn)，四組網(wǎng)絡(luò)模型分別是：僅使用Softmax Loss函數(shù)作為損失函數(shù)；僅使用Center Loss函數(shù)作為損失函數(shù)；Softmax與標(biāo)準(zhǔn)Center Loss相結(jié)合作為損失函數(shù)；Softmax與改進(jìn)的Center Loss相結(jié)合作為損失函數(shù)。把參數(shù)λ和β分別設(shè)置為0.1和1。圖1一共四組圖，分別對(duì)應(yīng)上述4種損失函數(shù)。

圖1 Mnist數(shù)據(jù)集圖像二維特征的分布

從圖1(a)可知，僅使用Softmax Loss函數(shù)作為損失函數(shù)，不同類(lèi)的特征之間能很好地區(qū)分開(kāi)，但是同類(lèi)之間的類(lèi)內(nèi)距離不能很好的聚集；從圖1(b)可知，僅使用Center Loss函數(shù)作為損失函數(shù)，同類(lèi)之間的類(lèi)內(nèi)距離控制在-0.03～-0.02之間，但是不同類(lèi)也重疊在一起，不能很好地區(qū)別開(kāi)；從圖1(c)可知，Softmax與標(biāo)準(zhǔn)Center Loss相結(jié)合作為損失函數(shù)，同類(lèi)之間的類(lèi)內(nèi)距離控制在-0.75～0.75之間，并且不同類(lèi)之間沒(méi)有重疊，部分已能區(qū)分開(kāi)，但是部分依舊有重疊，例如類(lèi)別1和類(lèi)別7有部分特征重疊，這可能影響經(jīng)過(guò)該網(wǎng)絡(luò)進(jìn)行行人再辨識(shí)特征的提取分類(lèi)結(jié)果的準(zhǔn)確性。從圖1(d)可知，以Softmax與改進(jìn)的Center Loss相結(jié)合作為損失函數(shù)，同類(lèi)之間的類(lèi)內(nèi)距離控制在-2～2之間，同時(shí)所有不同類(lèi)別的類(lèi)能很好地分離開(kāi)，并且類(lèi)間距離比較大，在-3～4之間，使行人再辨識(shí)特征的提取更加容易。實(shí)驗(yàn)結(jié)果表明，在Mnist數(shù)據(jù)集和LeNets++網(wǎng)絡(luò)基礎(chǔ)上，改進(jìn)的Center Loss和Softmax函數(shù)相結(jié)合的方法能使類(lèi)內(nèi)距離較小，類(lèi)間距離較大，能夠很好地滿(mǎn)足行為再辨識(shí)的要求。

樣本數(shù)設(shè)置為10k和50k進(jìn)行實(shí)驗(yàn)，再對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行歸一化處理，處理結(jié)果如圖2和圖3所示。從圖2(a)可以看出，10k樣本數(shù)時(shí)，提取的特征值基本能分開(kāi)，但樣本數(shù)達(dá)到50k時(shí)，圖2(b)顯示提取的特征值基本無(wú)法區(qū)分。從圖3(a)和圖3(b)可以看出，樣本數(shù)不管是10k還是50k，都能滿(mǎn)足類(lèi)間距離較大類(lèi)內(nèi)距離較小的要求。由實(shí)驗(yàn)結(jié)果可知，Softmax與改進(jìn)的Center Loss相結(jié)合作為損失函數(shù)的方法比Softmax與標(biāo)準(zhǔn)Center Loss相結(jié)合作為損失函數(shù)的方法更優(yōu)，尤其是在樣本數(shù)較多的情況下，改進(jìn)的方法優(yōu)勢(shì)更加明顯。

(a)10k幅圖像特征分布 (b)50k幅圖像特征分布圖2 Softmax結(jié)合原Center Loss函數(shù)的歸一化特征

(a)10k幅圖像特征分布 (b)50k幅圖像特征分布圖3 Softmax結(jié)合改進(jìn)Center Loss函數(shù)的歸一化特征

3.2 行人再辨識(shí)實(shí)驗(yàn)

3.2.1 數(shù)據(jù)集

選取了4個(gè)常用于行人再辨識(shí)研究的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，即CUHK03與Market1501、VIPeR與CUHK01[11]，其中前兩個(gè)是大數(shù)據(jù)集，后兩個(gè)是小數(shù)據(jù)集。CUHK03與Market1501通過(guò)DPM檢測(cè)器對(duì)行人圖像進(jìn)行裁剪，這樣的數(shù)據(jù)集更接近實(shí)際應(yīng)用。另外，該實(shí)驗(yàn)除了Market1501均采用single-shot的測(cè)試方法，而Market1501采用的是multi-shot的測(cè)試方法。single-shot的測(cè)試方法是指在數(shù)據(jù)集中有且僅有一幅圖像與目標(biāo)圖像來(lái)源于同一個(gè)行人，multi-shot的測(cè)試方法是指在數(shù)據(jù)集中有多幅圖像與目標(biāo)圖像來(lái)源于同一個(gè)行人。實(shí)驗(yàn)的數(shù)據(jù)集均根據(jù)各自的測(cè)試協(xié)議對(duì)樣本進(jìn)行設(shè)置和數(shù)據(jù)集進(jìn)行訓(xùn)練，測(cè)試報(bào)告按測(cè)試協(xié)議對(duì)測(cè)試結(jié)果取平均值。

3.2.2 數(shù)據(jù)輸入準(zhǔn)備

實(shí)驗(yàn)第一步是準(zhǔn)備數(shù)據(jù)集圖像，將所有圖像設(shè)置成128×48的大?。蝗缓笸ㄟ^(guò)所有圖像計(jì)算得到訓(xùn)練集的均值，并把均值圖像剔除出來(lái)；再通過(guò)二維變換把剩下的圖像進(jìn)行擴(kuò)充，增長(zhǎng)7倍；最后把幅度范圍控制在-6到6之間，將圖像中心設(shè)置為左邊原點(diǎn)，隨機(jī)向坐標(biāo)軸方向平行移動(dòng)。

3.2.3 網(wǎng)絡(luò)框架與基本網(wǎng)絡(luò)

文中使用的基礎(chǔ)網(wǎng)絡(luò)是CNN[12]與Attention-39[13](網(wǎng)絡(luò)的詳細(xì)介紹參見(jiàn)文獻(xiàn)[12-13])，這種網(wǎng)絡(luò)的主要優(yōu)點(diǎn)是在反向傳播的過(guò)程中，防止出現(xiàn)梯度爆炸式增長(zhǎng)或消失不見(jiàn)等情況，同時(shí)有利于網(wǎng)絡(luò)快速收斂；基本網(wǎng)絡(luò)的最后一個(gè)全連接層輸出512維的特征FC；除了全連接層，其他所有層后面都連接激活函數(shù)，該函數(shù)是線(xiàn)性單元且?guī)в行拚齾?shù)。

3.2.4 測(cè)試方法

因?yàn)樾腥嗽俦孀R(shí)是一個(gè)開(kāi)集測(cè)試過(guò)程，即測(cè)試樣本與訓(xùn)練樣本的類(lèi)別沒(méi)有交集。因此分類(lèi)子網(wǎng)絡(luò)在測(cè)試過(guò)程中是無(wú)效的。首先通過(guò)基礎(chǔ)網(wǎng)絡(luò)對(duì)準(zhǔn)備的目標(biāo)圖像進(jìn)行特征提取，同時(shí)提取待測(cè)圖像的特征；然后計(jì)算每一個(gè)待測(cè)圖像特征與目標(biāo)圖像特征的余弦值，構(gòu)建一個(gè)M×N的矩陣，其中M表示選取的目標(biāo)圖像數(shù)量，N表示選取的數(shù)據(jù)集圖像數(shù)量。實(shí)驗(yàn)將特征值進(jìn)行歸一化處理，最后得到的余弦值就是歐氏距離。

實(shí)驗(yàn)采用Rank-1-5-10和mAP(mean average precision)，此方法操作方便且節(jié)省空間。并且將實(shí)驗(yàn)結(jié)果與當(dāng)前最好的同類(lèi)實(shí)驗(yàn)結(jié)果進(jìn)行比較分析，

3.2.5 實(shí)驗(yàn)結(jié)果與分析

基于CUHK03數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果見(jiàn)表1，表中不特殊說(shuō)明，“I”表示僅使用Softmax Loss為損失函數(shù)，“I-C”表示使用Softmax Loss結(jié)合標(biāo)準(zhǔn)的Center Loss為損失函數(shù)，“I-IC”表示使用Softmax Loss結(jié)合改進(jìn)的Center Loss為損失函數(shù)，CNN與Attention-39是文中選定的兩個(gè)基礎(chǔ)網(wǎng)絡(luò)。

表1 CUHK03數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果比較

從表中結(jié)果可以看出，兩種基礎(chǔ)網(wǎng)絡(luò)“I-C”的結(jié)果要優(yōu)于“I”的結(jié)果，表明Center Loss函數(shù)能有效減小類(lèi)內(nèi)距離；“I-IC”的結(jié)果除了Rank-1項(xiàng)，其他均優(yōu)于“I-C”的結(jié)果，表明文中的改進(jìn)算法可以有效減小類(lèi)內(nèi)距離，同時(shí)增加了類(lèi)間間距；“Attention-39-I-IC”算法跟當(dāng)前最好的幾種算法相比較，也顯示出了優(yōu)勢(shì)。

在Market1501數(shù)據(jù)集上，文中算法同樣優(yōu)于目前很多算法，如表2所示。然而，在兩個(gè)小數(shù)據(jù)集上的結(jié)果表明(見(jiàn)表3)，DNS網(wǎng)絡(luò)模型更適用于小數(shù)據(jù)集，有較好的表現(xiàn)。

表2 Market1501數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果比較

從實(shí)驗(yàn)結(jié)果可知，Deep transfer算法表現(xiàn)要優(yōu)于文中改進(jìn)算法，原因是Deep transfer算法使用分步轉(zhuǎn)化的方法，首先根據(jù)訓(xùn)練集精調(diào)網(wǎng)絡(luò)模型，再進(jìn)行測(cè)試。另外文改進(jìn)算法在小數(shù)據(jù)集上表現(xiàn)一般，原因是文中算法要求充足的樣本對(duì)每一個(gè)類(lèi)進(jìn)行訓(xùn)練，訓(xùn)練不夠會(huì)引起網(wǎng)絡(luò)的過(guò)擬合。雖然該算法在小數(shù)據(jù)集上性能不好，但是改進(jìn)的Center Loss函數(shù)相比原函數(shù)，依然有一個(gè)點(diǎn)左右的提升。

表3 VIPeR與CUHK01數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果比較

4 結(jié)束語(yǔ)

文中對(duì)行為再辨識(shí)算法進(jìn)行研究，Center Loss函數(shù)能使同類(lèi)類(lèi)內(nèi)距離較小，加入Center Loss函數(shù)的方法能使不同類(lèi)之間被區(qū)分開(kāi)，但由于類(lèi)間間距較小，影響特征分類(lèi)的準(zhǔn)確性。所以文中對(duì)Center Loss函數(shù)進(jìn)行改進(jìn)，該算法滿(mǎn)足了減小類(lèi)內(nèi)最大距離和增加類(lèi)間最小距離的要求。實(shí)驗(yàn)結(jié)果表明，文中改進(jìn)算法優(yōu)于標(biāo)準(zhǔn)函數(shù)算法，同時(shí)也優(yōu)于當(dāng)前很多比較好的算法，特別是在大數(shù)據(jù)集上表現(xiàn)更加明顯。