孫 銳 余益衡 張 磊 張旭東

行人重識(shí)別技術(shù)的目的是給定一幅特定攝像機(jī)拍攝的行人圖像，在其它非重疊攝像機(jī)視圖中匹配相同的行人目標(biāo)[1-2].該技術(shù)廣泛應(yīng)用于現(xiàn)實(shí)生活中，特別是在視頻監(jiān)控系統(tǒng)當(dāng)中.然而現(xiàn)有的單一模態(tài)行人重識(shí)別技術(shù)在生活中的應(yīng)用存在局限性，并不能解決光照條件不好時(shí)的識(shí)別問題，所以引入跨模態(tài)可見光-近紅外行人重識(shí)別技術(shù).該技術(shù)旨在將由可見光攝像頭捕獲的可見光行人圖像和由紅外攝像頭獲取的近紅外行人圖像進(jìn)行匹配.現(xiàn)有的可見光-近紅外行人重識(shí)別方法都是屬于有監(jiān)督類方法，利用大量人為注釋添加的標(biāo)簽訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)提取的特征，得到有利于識(shí)別的模態(tài)不變特征表示.然而，相比單模態(tài)行人重識(shí)別，有監(jiān)督模型需要的跨模態(tài)行人身份標(biāo)簽更難獲取.首先，挑選同時(shí)出現(xiàn)在可見光攝像頭和近紅外攝像頭中的行人需要耗費(fèi)大量的人力資源和時(shí)間成本.其次，相比可見光圖像，近紅外圖像缺少重要的顏色信息，導(dǎo)致注釋者難以判斷近紅外圖像和可見光圖像是否是同一個(gè)人.因此，利用無標(biāo)簽信息的行人圖像數(shù)據(jù)解決可見光-近紅外行人重識(shí)別問題具有重大意義.此類方法可定義為無監(jiān)督跨模態(tài)可見光-近紅外行人重識(shí)別.

無監(jiān)督可見光-近紅外行人重識(shí)別中存在2個(gè)主要挑戰(zhàn).1)相比傳統(tǒng)單模態(tài)可見光行人重識(shí)別，可見光-近紅外行人重識(shí)別存在模態(tài)差異.2)相比有監(jiān)督模型，由于缺少行人身份標(biāo)簽，無監(jiān)督模型很難學(xué)習(xí)具有辨識(shí)度且魯棒的行人特征.因此，現(xiàn)有的行人重識(shí)別方法并不能完全解決無監(jiān)督可見光-近紅外行人重識(shí)別問題.現(xiàn)有方法研究重點(diǎn)分別是無監(jiān)督可見光行人重識(shí)別和有監(jiān)督跨模態(tài)行人重識(shí)別，卻少有學(xué)者涉及無監(jiān)督跨模態(tài)可見光-近紅外行人重識(shí)別領(lǐng)域.

在跨模態(tài)行人重識(shí)別中，模態(tài)差異主要來自于不同模態(tài)行人圖像之間的顏色信息，相比可見光圖像，近紅外圖像缺少足夠的顏色信息.因此，顏色信息特征并不能作為跨模態(tài)任務(wù)中的共享信息.但是，不同模態(tài)行人依然有共享信息，如身份標(biāo)簽、行人的語義信息等.現(xiàn)有的有監(jiān)督方法充分利用跨模態(tài)身份對(duì)標(biāo)簽，但是在無監(jiān)督任務(wù)當(dāng)中，并不存在跨模態(tài)身份標(biāo)簽信息.因此，對(duì)顏色信息具有魯棒性的高級(jí)語義信息就成為解決無監(jiān)督跨模態(tài)行人重識(shí)別中模態(tài)差異的重點(diǎn).在現(xiàn)有無監(jiān)督任務(wù)中，基于偽標(biāo)簽的無監(jiān)督模型是當(dāng)下的主流方法.但是，聚類生成的偽標(biāo)簽中存在噪聲標(biāo)簽，從而誤導(dǎo)特征學(xué)習(xí).

現(xiàn)有的無監(jiān)督域自適應(yīng)行人重識(shí)別方法主要可分成2類：分布對(duì)齊方法和基于偽標(biāo)簽的自適應(yīng)方法.分布對(duì)齊方法的目標(biāo)是學(xué)習(xí)跨域不變特征以解決不同域之間的差異.Lin等[3]和Wang等[4]嘗試?yán)谜Z義屬性對(duì)齊潛在空間中的特征分布.然而這種類型的方法依賴額外的語義屬性注釋，需要耗費(fèi)額外的人力資源.此外，Tarvainen等[5]和Chen等[6]通過生成對(duì)抗網(wǎng)絡(luò)將標(biāo)記的源域圖像轉(zhuǎn)換成目標(biāo)域的樣式以對(duì)齊特征分布.相比分布對(duì)齊方法，基于偽標(biāo)簽的自適應(yīng)方法更直接，其直接利用聚類方法為無標(biāo)簽的目標(biāo)域分配偽標(biāo)簽，再利用有監(jiān)督方法微調(diào)預(yù)訓(xùn)練的模型.Wang等[7]利用源域?qū)W(wǎng)絡(luò)進(jìn)行初始化，再在目標(biāo)域上通過聚類方法生成偽標(biāo)簽后,使用偽標(biāo)簽訓(xùn)練網(wǎng)絡(luò)，持續(xù)迭代指導(dǎo)模型收斂.Zhang等[8]提出一種漸進(jìn)的方式用于逐步學(xué)習(xí)可信的偽標(biāo)簽，同時(shí)利用基于排序和基于聚類的三元組損失進(jìn)行學(xué)習(xí).Zhong等[9]提出HHL(Hetero-Homoge-neous Learning Method)，分別解決域間差異和相機(jī)間差異.異質(zhì)學(xué)習(xí)的目的是將目標(biāo)域中未標(biāo)注的圖像進(jìn)行對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換，而源域(目標(biāo)域)圖像視為目標(biāo)域(源域)的負(fù)匹配.然而，在沒有任何身份信息的情況下，域自適應(yīng)方法并不能取得良好性能也并不能解決無監(jiān)督跨模態(tài)行人重識(shí)別問題.

現(xiàn)有的完全無監(jiān)督行人重識(shí)別方法主要分成3類：傳統(tǒng)無監(jiān)督行人重識(shí)別方法、基于無監(jiān)督特征學(xué)習(xí)方法和聚類生成偽標(biāo)簽方法.傳統(tǒng)無監(jiān)督行人重識(shí)別方法主要以手工提取特征方法[10]和字典學(xué)習(xí)[11]為主，但在學(xué)習(xí)過程中往往會(huì)忽略語義信息，無法達(dá)到較優(yōu)性能.目前，無監(jiān)督的特征學(xué)習(xí)方法在圖像檢索和圖像識(shí)別等方面得到學(xué)者的關(guān)注并取得一定進(jìn)展.行人特征在行人重識(shí)別任務(wù)中起著至關(guān)重要的作用.賁晛燁等[12]提出利用行人步態(tài)作為特征表示和識(shí)別對(duì)象，融合步態(tài)特征與其它生物特征，得到多生物通道特征.Han等[13]結(jié)合傳統(tǒng)的手工特征和聚類方法，設(shè)計(jì)基于正則回歸的新目標(biāo)矩陣格式，有效實(shí)現(xiàn)對(duì)未標(biāo)記數(shù)據(jù)的特征選擇.Yang等[14]在現(xiàn)有無監(jiān)督特征學(xué)習(xí)的基礎(chǔ)上提出基于塊特征的學(xué)習(xí)框架，并通過學(xué)習(xí)塊級(jí)別的局部特征提高行人特征的區(qū)分性，提升最終的識(shí)別率.

聚類生成偽標(biāo)簽方法是常見的解決無監(jiān)督行人重識(shí)別問題的方法.此類方法首先通過樣本特征相似性進(jìn)行聚類生成偽標(biāo)簽，然后利用這些偽標(biāo)簽以有監(jiān)督的方式對(duì)模型進(jìn)行訓(xùn)練.Lin等[15]提出BUC(Bottom-Up Clustering),聯(lián)合優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)和個(gè)體樣本之間的關(guān)系，考慮不同身份之間的多樣性和同一身份內(nèi)部的相似性，在自底向上聚類過程中使用一個(gè)多樣性正則化項(xiàng)平衡每個(gè)聚類的數(shù)據(jù)量，實(shí)現(xiàn)多樣性和相似性之間的有效平衡.Yu等[16]將目標(biāo)域無標(biāo)簽任務(wù)身份表示為與一組額外帶標(biāo)簽的行人數(shù)據(jù)之間的相似度,即軟多標(biāo)簽，利用外觀特征和軟多標(biāo)簽之間的一致性進(jìn)行困難負(fù)樣本挖掘，大幅提升無監(jiān)督的識(shí)別效果.Wang等[7]將無監(jiān)督行人重識(shí)別任務(wù)看作是一個(gè)多標(biāo)簽分類任務(wù)，并使用內(nèi)存庫訓(xùn)練網(wǎng)絡(luò)，讓標(biāo)簽預(yù)測(cè)和特征學(xué)習(xí)反復(fù)工作以提升性能.Li等[17]結(jié)合無監(jiān)督學(xué)習(xí)與對(duì)比學(xué)習(xí)，設(shè)計(jì)不對(duì)稱的對(duì)比學(xué)習(xí)框架，實(shí)例級(jí)和聚類級(jí)的對(duì)比學(xué)習(xí)可幫助孿生網(wǎng)絡(luò)學(xué)習(xí)關(guān)于不同數(shù)據(jù)增強(qiáng)視圖內(nèi)外的聚類結(jié)果的判別特征.

在有監(jiān)督單模態(tài)行人重識(shí)別任務(wù)中，行人之間的姿態(tài)差異、服裝變化等模態(tài)內(nèi)差異是研究者需要解決的問題.Zhang等[18]指出在單模態(tài)長(zhǎng)期行人再識(shí)別中，存在著隨時(shí)間推移的顯著的服裝變化.為了解決該問題，提出包括時(shí)空流和骨架運(yùn)動(dòng)流的雙流網(wǎng)絡(luò).時(shí)空流作用在圖像序列上，學(xué)習(xí)與身份相關(guān)的時(shí)空模式.骨架運(yùn)動(dòng)流通過自適應(yīng)圖卷積網(wǎng)絡(luò)，從骨架序列中學(xué)習(xí)純運(yùn)動(dòng)模式.

然而在現(xiàn)有監(jiān)督可見光-近紅外行人重識(shí)別中，模態(tài)差異問題是研究者關(guān)注的重點(diǎn).Wu等[19]提出深度零度填充的方法，訓(xùn)練一個(gè)單流網(wǎng)絡(luò)，使其能自動(dòng)改進(jìn)網(wǎng)絡(luò)中特定于域的節(jié)點(diǎn)，實(shí)現(xiàn)跨模態(tài)匹配.Ye等[20]通過聯(lián)合優(yōu)化特定模態(tài)和模態(tài)共享度量，提出分層跨模態(tài)匹配模型，使不同模態(tài)下的特征表達(dá)盡可能相似.在分層跨模態(tài)匹配模型基礎(chǔ)上，Ye等[21]還提出具有雙向雙約束排序損失的雙路徑網(wǎng)絡(luò)，便于處理模態(tài)內(nèi)和模態(tài)間的差異，提高特征的辨識(shí)度.Hao等[22]提出端到端雙流超球面流形嵌入網(wǎng)絡(luò)，利用Sphere Softmax學(xué)習(xí)超球面流形嵌入，并在該超球面上對(duì)模態(tài)內(nèi)和模態(tài)間變化進(jìn)行約束.Zhu等[23]提出HC loss(Hetero-Center Loss),減少類內(nèi)交叉模態(tài)的變化.在交叉熵?fù)p失函數(shù)和中心損失的共同作用下，減少類間差異和改進(jìn)類內(nèi)交叉模態(tài)相似性.Liu等[24]提出EDFL(Enhancing the Discrimina-tive Feature Learning)，通過跳連接的方式融合中間特征,提高特征的識(shí)別性和魯棒性，同時(shí)使用雙模態(tài)三元組損失優(yōu)化特征融合.Lu等[25]提出cm-SSFT(Cross-Modality Shared-Specific Feature Transfer Algorithm)，在跨模態(tài)鄰近吸引力模型的基礎(chǔ)上分離模態(tài)獨(dú)有信息，有效利用每個(gè)樣本的共享信息和特定信息之間的聯(lián)系.Li等[26]提出XIV(X-Infrared-Visible ReID Cross-Modal Learning Framework)，利用可見光模態(tài)圖像學(xué)習(xí)得到X模態(tài)圖像，將雙模態(tài)問題轉(zhuǎn)化為三模態(tài)問題，利用輔助模態(tài)減少模態(tài)間差異.Ye等[27]提出HAT(Homogeneous Augmented Tri-Modal),生成可見光圖像的灰度圖作為輔助模態(tài)，縮小可見光與近紅外圖像之間的模態(tài)差異.

綜上所述，本文提出基于語義偽標(biāo)簽和雙重特征存儲(chǔ)庫的無監(jiān)督跨模態(tài)行人重識(shí)別方法.首先，提出基于對(duì)比學(xué)習(xí)框架的預(yù)訓(xùn)練方法并結(jié)合DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚類生成語義偽標(biāo)簽，有效減少模態(tài)差異.然后，構(gòu)建實(shí)例級(jí)困難特征存儲(chǔ)庫和中心級(jí)聚類特征存儲(chǔ)庫，并提出雙重特征存儲(chǔ)庫對(duì)比損失函數(shù)和存儲(chǔ)庫一致性損失.該過程充分利用實(shí)例級(jí)困難樣本信息和中心級(jí)聚類信息，提高模型的判別性和對(duì)噪聲偽標(biāo)簽的魯棒性.最后，在SYSU-MM01、RegDB這兩個(gè)跨模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證本文方法的有效性.

1 基于語義偽標(biāo)簽和雙重特征存儲(chǔ)庫的無監(jiān)督跨模態(tài)行人重識(shí)別

本文提出基于語義偽標(biāo)簽和雙重特征存儲(chǔ)庫的無監(jiān)督跨模態(tài)行人重識(shí)別方法，整體框架如圖1所示.首先，通過聚類方法結(jié)合語義特征提取網(wǎng)絡(luò)為無標(biāo)簽的行人圖像生成語義偽標(biāo)簽.然后，利用特征提取網(wǎng)絡(luò)提取行人特征，建立實(shí)例級(jí)困難特征存儲(chǔ)庫和中心級(jí)聚類特征存儲(chǔ)庫.最后，利用雙重特征存儲(chǔ)庫對(duì)比損失和存儲(chǔ)庫一致?lián)p失優(yōu)化網(wǎng)絡(luò)模型.

圖1 本文方法框圖

1.1 語義偽標(biāo)簽生成

圖2 語義特征提取網(wǎng)絡(luò)預(yù)訓(xùn)練框圖

其中,i=1,2,…,N,j=1,2,…,N.為了最大化正向樣本對(duì)的相似度和最小化負(fù)樣本對(duì)的相似性，可獲取對(duì)顏色變化具有魯棒性的高級(jí)語義特征，在此步驟中分別使用實(shí)例級(jí)對(duì)比損失函數(shù)和聚類級(jí)對(duì)比損失函數(shù)進(jìn)行訓(xùn)練.樣本xi的實(shí)例級(jí)對(duì)比損失函數(shù)為：

其中，τ為溫度超參數(shù)，s=1,2.在此步驟中，所有樣本都需要計(jì)算實(shí)例級(jí)對(duì)比損失函數(shù)，因此實(shí)例級(jí)損失函數(shù)總和為：

聚類級(jí)對(duì)比損失函數(shù)與實(shí)例級(jí)對(duì)比損失函數(shù)類似，計(jì)算過程如下：

最后的損失函數(shù)為L(zhǎng)r=LI+LC.

存儲(chǔ)此步驟中學(xué)習(xí)的特征提取網(wǎng)絡(luò)參數(shù)Θ′f，當(dāng)作下一步聚類生成偽標(biāo)簽任務(wù)中特征提取網(wǎng)絡(luò)的參數(shù).具體過程如算法1所示.

算法1基于對(duì)比學(xué)習(xí)的語義特征提取網(wǎng)絡(luò)訓(xùn)練

過程

多層感知器參數(shù)ΘP，溫度超參數(shù)τ

輸出提取高級(jí)語義特征的特征提取網(wǎng)絡(luò)參數(shù)Θ′f

初始化將特征提取網(wǎng)絡(luò)初始化參數(shù)設(shè)置為Θf

whileepoch≤total_epochdo

利用2個(gè)MLP層將特征矩陣f1和f2映射為I1,I2,C1,C2

利用損失函數(shù)Lr更新參數(shù)Θf

end

1.2 實(shí)例級(jí)困難特征存儲(chǔ)庫與中心級(jí)聚類特征存

儲(chǔ)庫

在有監(jiān)督行人重識(shí)別問題中，三元組損失和身份損失是改善識(shí)別性能的有效方法.而在無監(jiān)督任務(wù)當(dāng)中，由于缺少真實(shí)的身份標(biāo)簽，并且偽標(biāo)簽在訓(xùn)練過程中會(huì)發(fā)生變化，因此通常使用非參數(shù)分類損失.Xiao等[28]基于內(nèi)存字典設(shè)計(jì)在線實(shí)例匹配損失，對(duì)比查詢圖像與未標(biāo)記身份的內(nèi)存特征.Wang等[7]提出多分類損失，在實(shí)例級(jí)別計(jì)算損失并更新存儲(chǔ)庫.現(xiàn)有方法并未從實(shí)例級(jí)和聚類級(jí)層面同時(shí)改善模型，因此本文在現(xiàn)有無監(jiān)督方法[29-30]中使用的特征存儲(chǔ)庫的基礎(chǔ)上，設(shè)計(jì)實(shí)例級(jí)困難特征存儲(chǔ)庫和中心級(jí)聚類特征存儲(chǔ)庫，充分利用實(shí)例級(jí)困難特征信息和中心級(jí)聚類特征.在這兩種特征存儲(chǔ)庫的幫助下，模型可增強(qiáng)噪聲偽標(biāo)簽的魯棒性.

在生成偽標(biāo)簽數(shù)據(jù)之后，將帶有偽標(biāo)簽的數(shù)據(jù)集D輸入特征提取網(wǎng)絡(luò)中，得到對(duì)應(yīng)的特征f=F(x;θ′f).再利用每類的平均特征初始化實(shí)例級(jí)困難特征存儲(chǔ)庫MI∈RK×Nd，其中，K為行人類別數(shù)量，Nd為特征維度.因此標(biāo)簽yi的實(shí)例級(jí)聚類存儲(chǔ)庫初始化為

其中，F(xiàn)yi為屬于偽標(biāo)簽yi的圖像特征的集合，N(Fyi)為集合中特征數(shù)量，f∈R1×Nd為對(duì)應(yīng)的行人特征.

為了進(jìn)一步區(qū)分容易混淆的樣本對(duì)和更好地探索實(shí)例間的關(guān)系，利用困難樣本挖掘策略構(gòu)建實(shí)例級(jí)困難特征存儲(chǔ)庫，在實(shí)例級(jí)聚類存儲(chǔ)庫中偽標(biāo)簽為yi的聚類特征為：

由上述公式可知，實(shí)例級(jí)困難特征存儲(chǔ)庫中的特征更新是基于單獨(dú)的實(shí)例特征.然而，單獨(dú)實(shí)例級(jí)的特征訓(xùn)練并不能滿足基于偽標(biāo)簽的無監(jiān)督行人重識(shí)別任務(wù)對(duì)噪聲樣本魯棒性的要求.因此，本文還設(shè)計(jì)中心級(jí)聚類特征存儲(chǔ)庫，利用聚類平均計(jì)算聚類中心特征以更新存儲(chǔ)庫，從而減少噪聲樣本的干擾.

與實(shí)例級(jí)困難特征存儲(chǔ)庫一樣，中心級(jí)聚類特征存儲(chǔ)庫也是根據(jù)每個(gè)聚類的平均特征進(jìn)行初始化.中心級(jí)聚類特征存儲(chǔ)庫中偽標(biāo)簽yi的聚類特征為：

兩種特征存儲(chǔ)庫的不同之處是它們的更新方式.具體來說，對(duì)于中心級(jí)聚類特征存儲(chǔ)庫的更新，首先需要計(jì)算同類樣本的平均特征作為聚類中心特征，然后利用獲取的聚類中心特征對(duì)中心級(jí)聚類特征存儲(chǔ)庫進(jìn)行更新，過程如下：

其中,mi為批次當(dāng)中偽標(biāo)簽為yi的所有樣本對(duì)應(yīng)的中心聚類特征值，

1.3 損失函數(shù)

特征存儲(chǔ)庫可被看作為一個(gè)用于分類任務(wù)的無參數(shù)分類器.為了提高分類效果，提出實(shí)例級(jí)困難特征存儲(chǔ)庫對(duì)比損失函數(shù)

用于訓(xùn)練模型，其中，y為行人特征f對(duì)應(yīng)的偽標(biāo)簽，τ為溫度超參數(shù).由上式可得，當(dāng)行人特征f與其對(duì)應(yīng)偽標(biāo)簽表示的存儲(chǔ)庫特征相似度更高，而與存儲(chǔ)庫中其它特征相似度更低時(shí)，實(shí)例級(jí)困難特征存儲(chǔ)庫對(duì)比損失值Lhfm更低.

為了訓(xùn)練中心級(jí)聚類特征存儲(chǔ)庫，本文提出與實(shí)例級(jí)對(duì)比損失有相同功能的中心級(jí)聚類特征存儲(chǔ)庫對(duì)比損失：

中心級(jí)聚類特征存儲(chǔ)庫對(duì)比損失與實(shí)例級(jí)困難特征存儲(chǔ)庫對(duì)比損失的區(qū)別在于訓(xùn)練的特征類型不同，該損失優(yōu)化的是中心級(jí)聚類特征.在這兩種對(duì)比損失的幫助下，實(shí)例級(jí)困難特征存儲(chǔ)庫和中心級(jí)聚類特征存儲(chǔ)庫的分類效果得到提高.

在訓(xùn)練過程中，使用的特征存儲(chǔ)庫MI和MC都會(huì)輸出各自的預(yù)測(cè)概率PI和PC.為了促進(jìn)特征表示學(xué)習(xí)和提高預(yù)測(cè)概率的準(zhǔn)確性，兩種特征存儲(chǔ)庫的輸出概率應(yīng)具有一致性，因此提出特征存儲(chǔ)庫一致?lián)p失：

LC=H(PI,PC),

其中H(·)表示smoothL1 損失函數(shù).

綜上所述，最后的總損失函數(shù)為：

Lall=Lhfm+(2-μ)Lccm+λLc,

其中,μ表示設(shè)置兩種聚類對(duì)比損失之間的權(quán)重關(guān)系，λ表示平衡兩種聚類對(duì)比損失和聚類一致性損失的系數(shù)參數(shù).

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)

為了評(píng)估本文方法，在兩個(gè)公開跨模態(tài)數(shù)據(jù)集SYSU-MM01[19]和RegDB[31]上進(jìn)行實(shí)驗(yàn).本文使用如下評(píng)價(jià)指標(biāo):平均精度均值(Mean Average Pre-cision, mAP)和rank-n,n=1,10,20,其中，n表示搜索結(jié)果中最靠前(置信度最高)的n幅圖有正確結(jié)果的概率.

SYSU-MM01數(shù)據(jù)集是大尺度的跨模態(tài)行人重識(shí)別數(shù)據(jù)集.行人圖像由4個(gè)傳統(tǒng)可見光相機(jī)和2個(gè)近紅外相機(jī)拍攝所得，包含491個(gè)行人身份，287 628幅可見光圖像和15 792幅近紅外圖像.具體來說，使用395幅行人身份的圖像用于訓(xùn)練，96幅行人身份的圖像用于測(cè)試.本文在SYSU-MM01數(shù)據(jù)集上的實(shí)驗(yàn)采用單幅圖像命中全搜索(Single-Shot All-Search)的評(píng)估模式，并且為了實(shí)驗(yàn)的準(zhǔn)確性，在測(cè)試階段采用10次隨機(jī)實(shí)驗(yàn)的平均結(jié)果作為實(shí)驗(yàn)結(jié)果.

RegDB數(shù)據(jù)集是由包含一個(gè)可見光攝像頭和一個(gè)熱成像攝像頭的雙攝像頭系統(tǒng)收集的小尺度數(shù)據(jù)集，包含412個(gè)行人身份，每個(gè)身份有10幅可見光圖像和10幅熱成像圖像.遵循文獻(xiàn)[20]和文獻(xiàn)[22]中的跨模態(tài)行人重識(shí)別評(píng)估準(zhǔn)則，隨機(jī)選擇206幅行人身份圖像進(jìn)行訓(xùn)練，剩下的206幅身份圖像用于測(cè)試.在RegDB數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)可根據(jù)query和gallery中行人圖像類型分成visible to ther-mal和thermal to visible.具體來說，當(dāng)query庫中包含2 060幅可見光行人圖像，gallery庫中包含2 060幅熱紅外圖像，此時(shí)為visible to thermal 模式.與在SYSU-MM01數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)一樣，在RegDB數(shù)據(jù)集上的結(jié)果也是10次隨機(jī)實(shí)驗(yàn)的平均結(jié)果.

2.2 實(shí)驗(yàn)配置與實(shí)現(xiàn)細(xì)節(jié)

在預(yù)訓(xùn)練語義特征提取網(wǎng)絡(luò)中，采用在Image-Net上預(yù)訓(xùn)練的ResNet-50作為主體框架，輸入的原始圖像都是從SYSU-MM01數(shù)據(jù)集上挑選的可見光圖像，對(duì)比損失函數(shù)中的溫度系數(shù)τ=0.3.與文獻(xiàn)[32]一致,本文使用GEM(Generalized Mean Poo-ling)方式，然后添加批歸一化層和L2歸一化層.在訓(xùn)練期間，批大小設(shè)置為80，優(yōu)化器使用Adam(Adaptive Moment Estimation)，其中衰減參數(shù)設(shè)置為0.000 5，初始學(xué)習(xí)率設(shè)置為0.000 35，經(jīng)過50輪訓(xùn)練后，學(xué)習(xí)率變?yōu)樵械?/10.雙重存儲(chǔ)庫損失函數(shù)中溫度系數(shù)設(shè)置為0.05.所有的輸入圖像大小調(diào)整成288×144.代碼實(shí)現(xiàn)使用pytorch框架，總共訓(xùn)練50輪.整個(gè)訓(xùn)練使用GTX3090顯卡加速.

2.3 實(shí)驗(yàn)結(jié)果對(duì)比

在SYSU-MM01、RegDB數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，本文方法的超參數(shù)動(dòng)量值ω設(shè)置為0.1，損失函數(shù)中的系數(shù)λ設(shè)置為0.5.

本文選擇如下2類對(duì)比方法.1)無監(jiān)督方法：HHL[9]、LOMO+XQDA(Local Maximal Occurrence and Cross-View Quadratic Discriminant Analy-sis)[10]、ELF(Ensemble of Localized Features)[33]、文獻(xiàn)[34]方法、GOG(Gaussian of Gaussian)[35]、文獻(xiàn)[36]方法、CycleGAN[37]、SSG(Self-Similarity Grouping)[38]、ECN(Exemplar-Invariance, Came-rainvariance and Neighborhood-Invariance)[39]、CCL(Cluster Contrast Learning)[40]、ABMT(Asymme-tric Branched Mean Teaching)[41].2)有監(jiān)督跨模態(tài)行人重識(shí)別方法：Zero-Padding[19]、TONE(Two-Stream CNN Network)[20]、HCML(Hierarchical Cross-Modality Metric Learning)[20]、BDTR(Bi-directional Dual-Constrained Top-Ranking Loss)[21]、HC loss[23]、EDFL[24]、cm-SSFT[25]、XIV[26]、HAT[27]、SSCDL(Semi-Supervised Coupled Dictionary Learning)[42]、cmGAN(Cross-Modality Generative Adversarial Net-work)[43]、D2RL(Dual-Level Discrepancy Reduction Learning)[44]、MAC(Modality-Aware Collaborative)[45]、Hi-CMD(Hierarchical Cross-Modality Disentangle-ment)[46].其中CCU、ABMT和ECN是現(xiàn)有較先進(jìn)的單模態(tài)行人重識(shí)別方法.

各方法的對(duì)比結(jié)果如表1和表2所示,各對(duì)比方法實(shí)驗(yàn)數(shù)據(jù)取自原文獻(xiàn).

表1 各無監(jiān)督方法在2個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

表2 各監(jiān)督方法在2個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

由表1可看出，本文方法性能最優(yōu).在SYSU-MM01數(shù)據(jù)集上，相比無監(jiān)督方法中表現(xiàn)最好的CCU，本文方法在rank-1和mAP指標(biāo)上提升13.1%和9.9%.而在RegDB數(shù)據(jù)集上，相比在該數(shù)據(jù)集表現(xiàn)最好的CCU，本文方法在rank-1和mAP指標(biāo)上分別提升6.0%和2.9%.現(xiàn)有的無監(jiān)督方法并未考慮跨模態(tài)數(shù)據(jù)之間的模態(tài)差異，而本文方法則在聚類生成偽標(biāo)簽的過程中，利用對(duì)比學(xué)習(xí)，降低不同模態(tài)數(shù)據(jù)顏色信息的影響，更關(guān)注沒有模態(tài)的高級(jí)語義特征，從而減少跨模態(tài)數(shù)據(jù)之間的模態(tài)差異.

由表2可看出，本文方法性能與最好的有監(jiān)督方法有一定差距，但在不使用跨模態(tài)標(biāo)簽的條件下，本文方法已超過部分有監(jiān)督方法.相比有監(jiān)督方法，本文方法更具有真實(shí)場(chǎng)景的泛化性，可節(jié)省人為注釋標(biāo)簽的時(shí)間資源和人力資源.

2.4 消融實(shí)驗(yàn)結(jié)果

本節(jié)在SYSU-MM01數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),驗(yàn)證本文方法中各主要部分的有效性.各模塊分別為語義偽標(biāo)簽生成模塊(Semantic Pseudo-Labe-ling, spl)，實(shí)例級(jí)困難特征內(nèi)存庫(Hard Feature Memory Bank, hfm)，中心級(jí)聚類特征內(nèi)存庫(Clus-ter Feature Memory, cfm),內(nèi)存一致性損失(Me-mory Consistency Loss, mcl).

各模塊的消融實(shí)驗(yàn)結(jié)果如表3所示.由表可見，相比Baseline，增加語義偽標(biāo)簽生成模塊spl之后性能得到明顯改善，在rank-1和mAP指標(biāo)上分別提升5.8%和5.4%.這主要是因?yàn)橄啾痊F(xiàn)有的偽標(biāo)簽生成方法，語義偽標(biāo)簽在生成過程中充分利用跨模態(tài)數(shù)據(jù)中的語義特征，減少造成模態(tài)差異的顏色信息的干擾,有效減少模態(tài)差異.

表3 各模塊在SYSU-MM01數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果對(duì)比

從表3中還可看出，實(shí)例級(jí)困難特征存儲(chǔ)庫hfm和中心級(jí)聚類特征存儲(chǔ)庫cfm都可提升性能.單獨(dú)添加cfm分別讓rank-1和mAP指標(biāo)提升2.9%和3.5%，而單獨(dú)添加hfm可讓rank-1和mAP指標(biāo)提升4.3%和4.9%.因此，相比cfm，hfm對(duì)性能提升的作用更大.不過在結(jié)合hfm和cfm之后，性能可得到進(jìn)一步提升，rank-1和mAP指標(biāo)分別提升6.7%和7.7%.

存儲(chǔ)庫一致性損失mcl是用來保持兩種不同類型特征存儲(chǔ)庫輸出結(jié)果的一致性.由表可得，mcl可讓性能進(jìn)一步的提升，rank-1和mAP指標(biāo)分別提升1.1%和1.3%.

2.5 超參數(shù)分析結(jié)果

為了更新兩種不同類型的存儲(chǔ)庫和保持內(nèi)存儲(chǔ)庫輸出的一致性，本文設(shè)置4個(gè)超參數(shù)：存儲(chǔ)庫更新動(dòng)量值ω，存儲(chǔ)庫一致性損失系數(shù)λ，聚類對(duì)比損失權(quán)重參數(shù)μ和溫度系數(shù)τ.本節(jié)在SYSU-MM01數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證這些超參數(shù)的不同取值對(duì)實(shí)驗(yàn)結(jié)果的影響.

與現(xiàn)有的對(duì)比學(xué)習(xí)方式相似，基于動(dòng)量值的更新策略也被應(yīng)用于實(shí)例級(jí)特征存儲(chǔ)庫和中心級(jí)特征存儲(chǔ)庫中.本文實(shí)例級(jí)困難特征存儲(chǔ)庫和中心級(jí)聚類特征存儲(chǔ)庫使用相同的動(dòng)量值，因此動(dòng)量的取值就顯得十分重要.如圖3所示，在動(dòng)量值的遞增過程中，精確度也會(huì)有所起伏，而在動(dòng)量值ω=0.1時(shí)，性能最優(yōu).所以在本文實(shí)驗(yàn)中，本文將ω設(shè)置為0.1.

圖3 SYSU-MM01數(shù)據(jù)集上超參數(shù)ω對(duì)精確度的影響

一致性損失的作用是用來限制兩種不同類型存儲(chǔ)庫產(chǎn)生給定圖像預(yù)測(cè)概率的一致性.λ是用于平衡一致性損失影響的超參數(shù)，λ對(duì)精確度的影響如圖4所示.由圖可觀察到，λ的取值過高或過低都無法取得較優(yōu)結(jié)果，而當(dāng)λ=0.5時(shí)，本文方法能取得最優(yōu)性能.

圖4 SYSU-MM01數(shù)據(jù)集上超參數(shù)λ對(duì)精確度的影響

文中不同的μ表示聚類對(duì)比損失的不同權(quán)重關(guān)系，μ對(duì)精確度的影響如圖5所示.由圖可觀察到，μ從0.1升至1.5時(shí)，性能大致呈現(xiàn)上升趨勢(shì)，在μ從1.5升至1.9時(shí)，性能逐漸下降.在μ=1.5時(shí)，性能最優(yōu).由上述結(jié)果可得，實(shí)例級(jí)困難特征庫損失Lhfm對(duì)精確度的影響大于中心級(jí)聚類特征庫損失Lccm.

圖5 SYSU-MM01數(shù)據(jù)集上超參數(shù)μ對(duì)精確度的影響

本文使用溫度系數(shù)τ調(diào)節(jié)對(duì)比損失函數(shù)對(duì)困難樣本的關(guān)注程度,τ對(duì)精確度的影響如圖6所示.由圖可觀察到，τ從0.1升至0.5時(shí)，性能隨τ的增加而上升，在τ=0.5時(shí)，性能達(dá)到最優(yōu).在τ>0.5后，性能隨τ的增加而下降.這表明小溫度系數(shù)更關(guān)注與本樣本相似的困難樣本，可更好地獲得辨識(shí)度高的特征.然而隨著溫度系數(shù)的減少，對(duì)比損失只會(huì)關(guān)注最困難的負(fù)樣本，過分強(qiáng)迫與困難樣本分開,無法學(xué)到潛在的語義特征，導(dǎo)致模型泛化能力較差.

圖6 SYSU-MM01數(shù)據(jù)集上超參數(shù)τ對(duì)精確度的影響

3 結(jié) 束 語

本文提出基于語義偽標(biāo)簽和雙重特征存儲(chǔ)庫的無監(jiān)督跨模態(tài)行人重識(shí)別方法.首先，利用可見光行人圖像與其灰度圖像，提出基于對(duì)比學(xué)習(xí)框架的網(wǎng)絡(luò)預(yù)訓(xùn)練方法,可訓(xùn)練對(duì)顏色變化具有魯棒性的語義特征提取網(wǎng)絡(luò)，有效減少模態(tài)差異.然后，利用該語義特征提取網(wǎng)絡(luò)結(jié)合聚類方法，生成語義偽標(biāo)簽.同時(shí)，本文還構(gòu)建實(shí)例級(jí)困難樣本特征存儲(chǔ)庫和中心級(jí)聚類特征存儲(chǔ)庫，并且在訓(xùn)練過程中利用雙重特征存儲(chǔ)庫損失函數(shù)和存儲(chǔ)庫一致性優(yōu)化模型，達(dá)到提高對(duì)噪聲樣本的魯棒性和模型的辨識(shí)度的目的.在SYSU-MM01、RegDB這兩個(gè)跨模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文方法可有效解決無監(jiān)督跨模態(tài)行人重識(shí)別問題，性能已超過現(xiàn)有常見的無監(jiān)督方法和部分有監(jiān)督方法.然而，本文方法與現(xiàn)有先進(jìn)的有監(jiān)督方法還有一定差距，所以在今后的研究中，應(yīng)考慮如何進(jìn)一步在無監(jiān)督模型中減少跨模態(tài)數(shù)據(jù)的差異并提高偽標(biāo)簽的質(zhì)量，從而提高整個(gè)模型的性能.