邱耀儒，孫為軍，黃永慧，唐瑜祺，張浩川，吳俊鵬

（廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣州 510006）

0 引言

目前中國(guó)正在大量地建設(shè)智慧城市，智能安防是實(shí)現(xiàn)智慧城市的重要基礎(chǔ)，并且智能安防管理中每天產(chǎn)生的視頻數(shù)據(jù)占據(jù)城市數(shù)據(jù)的很大比重。面對(duì)大量的視頻數(shù)據(jù)，僅依靠傳統(tǒng)的人工手段無(wú)法做到快速、高效的分析和處理，因此需要將計(jì)算機(jī)視覺(jué)以及最新的計(jì)算機(jī)技術(shù)應(yīng)用于其中，以實(shí)現(xiàn)高效、準(zhǔn)確的視頻分析。

行人重識(shí)別（Person re-identification）［1］作為視頻分析研究的關(guān)鍵組成部分，目的是對(duì)出現(xiàn)在監(jiān)控區(qū)域內(nèi)的某個(gè)目標(biāo)行人，在監(jiān)控網(wǎng)絡(luò)的其他攝像頭監(jiān)控視頻中找到目標(biāo)并標(biāo)識(shí)出來(lái)。配合行人檢測(cè)與跟蹤技術(shù)可以實(shí)現(xiàn)對(duì)監(jiān)控網(wǎng)絡(luò)范圍內(nèi)的目標(biāo)行人進(jìn)行跨攝像頭區(qū)域的持續(xù)跟蹤。當(dāng)目標(biāo)人物出現(xiàn)在某一監(jiān)控?cái)z像頭的監(jiān)控范圍內(nèi)時(shí)，攝像頭拍攝的目標(biāo)行人圖像會(huì)與其他攝像頭拍攝的行人圖像進(jìn)行一一匹配，尋找出同屬于目標(biāo)行人的圖像，從而進(jìn)行跨攝像機(jī)的搜索與跟蹤。行人重識(shí)別技術(shù)的應(yīng)用可以減少大量視頻監(jiān)控人員的工作量，實(shí)現(xiàn)監(jiān)控視頻中目標(biāo)行人的準(zhǔn)確分析，有效地預(yù)防和打擊犯罪行為。經(jīng)過(guò)近10 年的發(fā)展，研究人員提出了大量的行人重識(shí)別模型，但是實(shí)際監(jiān)控環(huán)境的復(fù)雜多變，導(dǎo)致行人重識(shí)別技術(shù)依然存在諸多問(wèn)題沒(méi)有解決。影響行人重識(shí)別問(wèn)題主要有圖像像素分辨率低、行人姿態(tài)角度多樣化、光照變化等因素。如圖1 所示，同一行人在不同攝像頭拍攝下的圖像呈現(xiàn)諸多差異。圖1（a）～（e）為同一行人由不同攝像頭拍攝的圖像。圖1（a）與圖1（f）為同一攝像頭拍攝下的不同行人，圖1（b）與圖1（g）相同，以此類(lèi)推。

圖1 不同攝像頭拍攝的行人樣本Fig.1 Person samples taken by different cameras

目前行人重識(shí)別模型主要分為行人特征表達(dá)模型和行人相似性判別模型等類(lèi)型。特征表達(dá)方法集中于行人外觀信息特征的提取和表達(dá)上，使得不同行人的特征具有判別性。最開(kāi)始的行人方法研究是通過(guò)手工設(shè)計(jì)的特征對(duì)行人信息進(jìn)行描述，Ojala 等［2］和Swain等［3］提出基于顏色或紋理信息的特征表示方法。在此基礎(chǔ)上，基于集成特征學(xué)習(xí)的方法［4］被提出并取代了手工設(shè)計(jì)特征的方法成為經(jīng)典的行人特征表達(dá)方法。國(guó)內(nèi)外研究人員從底層特征方向入手，相繼提出了基于跨領(lǐng)域不變顏色特征方法［5］、基于局部對(duì)齊的特征變換方法［6］、基于局部最大出現(xiàn)頻率的表達(dá)模型［7］等行人特征表達(dá)方法。近年來(lái)，隨著深度學(xué)習(xí)的應(yīng)用，越來(lái)越多的深度學(xué)習(xí)方法被用來(lái)提取行人圖像的抽象特征。Ahemd 等［8］、Chen 等［9］和陳兵等［10］利用卷積神經(jīng)網(wǎng)絡(luò)提取行人圖像的全局抽象特征，所提取的特征比手工設(shè)計(jì)的特征具有更好的判別性。相似性判別方法的主要思想是對(duì)行人訓(xùn)練樣本進(jìn)行相似性判別學(xué)習(xí)，從樣本中學(xué)習(xí)最優(yōu)的相似性度量指標(biāo)。文獻(xiàn)［11-15］提出有監(jiān)督的行人相似性度量判別方法，使得同一行人的距離最小而不同行人的距離最大。實(shí)際監(jiān)控中存在大量無(wú)標(biāo)簽信息的數(shù)據(jù)，因此Peng 等［16］和Yu 等［17］提出基于無(wú)監(jiān)督學(xué)習(xí)的相似性度量模型。近年來(lái)，部分國(guó)內(nèi)外學(xué)者開(kāi)始對(duì)行人重識(shí)別中的其他特定問(wèn)題展開(kāi)研究。從數(shù)據(jù)角度出發(fā)，部分學(xué)者提出遷移學(xué)習(xí)模型［18］，利用其他場(chǎng)景中已有標(biāo)注的行人數(shù)據(jù)進(jìn)行模型訓(xùn)練，然后將模型應(yīng)用于目標(biāo)場(chǎng)景。Zhu 等［19］提出了從圖片風(fēng)格層面進(jìn)行遷移的循環(huán)生成對(duì)抗網(wǎng)絡(luò)（Cycleconsistent Generative Adversarial Network，CycleGAN），Deng等［20］在此基礎(chǔ)上加入行人限制損失，提出保持圖像生成前后主體一致性的循環(huán)生成對(duì)抗網(wǎng)絡(luò)（Similarity Preserving cycleconsistent Generative Adversarial Network，SPGAN）。除了利用視覺(jué)信息進(jìn)行圖像匹配，Huang等［21］和Martinel等［22］提出多模態(tài)學(xué)習(xí)模型，通過(guò)利用行人圖像的時(shí)間及空間信息輔助模型判斷。Lv 等［23］提出了視覺(jué)融合時(shí)空模型（Transfer Learning of Spatio-temporal Pattern，TFusion）算法，通過(guò)貝葉斯策略融合時(shí)空模型和視覺(jué)特征模型進(jìn)行行人圖像的判別。

現(xiàn)有的研究雖取得一定的成效，但是大部分的算法屬于有監(jiān)督學(xué)習(xí)的方法，這類(lèi)方法在單場(chǎng)景應(yīng)用中能夠獲得相對(duì)較高的準(zhǔn)確率。但是當(dāng)算法需要部署于新的應(yīng)用場(chǎng)景時(shí)，需要耗費(fèi)大量的成本構(gòu)建對(duì)應(yīng)場(chǎng)景的樣本標(biāo)簽，這類(lèi)算法應(yīng)用比較局限。其中的無(wú)監(jiān)督方法雖然能夠在多個(gè)不同場(chǎng)景中應(yīng)用，但是由于缺少標(biāo)簽信息訓(xùn)練，算法準(zhǔn)確率偏低，達(dá)不到實(shí)際應(yīng)用要求。因此本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)聯(lián)合時(shí)空模型的方法，通過(guò)引入生成對(duì)抗網(wǎng)絡(luò)生成目標(biāo)場(chǎng)景的樣本訓(xùn)練特征提取模型，使得模型適應(yīng)于目標(biāo)場(chǎng)景樣本的識(shí)別。在此基礎(chǔ)上利用目標(biāo)場(chǎng)景的數(shù)據(jù)生成時(shí)空模型篩選低概率匹配樣本，提高模型在目標(biāo)應(yīng)用場(chǎng)景的性能表現(xiàn)。依據(jù)模型特性，模型命名為基于生成對(duì)抗網(wǎng)絡(luò)聯(lián)合時(shí)空模型（GAN Uniting with Spatio-Temporal Pattern，STUGAN）算法。通過(guò)在兩個(gè)標(biāo)準(zhǔn)的行人重識(shí)別數(shù)據(jù)集Market-1501［24］和DukeMTMC-reID［25］進(jìn)行實(shí)驗(yàn)，驗(yàn)證了算法的有效性。

本文的主要貢獻(xiàn)如下：

1）利用圖像分類(lèi)器有效聯(lián)合生成對(duì)抗網(wǎng)絡(luò)和時(shí)空模型，生成對(duì)抗網(wǎng)絡(luò)的生成樣本用于提升圖像分類(lèi)器在目標(biāo)場(chǎng)景的識(shí)別準(zhǔn)確率，高水準(zhǔn)的圖像分類(lèi)器構(gòu)建更真實(shí)的時(shí)空模型。

2）訓(xùn)練過(guò)程不需要目標(biāo)場(chǎng)景的數(shù)據(jù)標(biāo)簽，使得模型能夠快速應(yīng)用于不同的目標(biāo)場(chǎng)景，有效減少實(shí)際項(xiàng)目工程中構(gòu)建數(shù)據(jù)標(biāo)簽的時(shí)間與人力資源。

1 相關(guān)模型

1.1 SPGAN算法

SPGAN 算法是在CycleGAN 的基礎(chǔ)上加入行人限制損失函數(shù)，能夠更好地保留行人圖像的主體信息。SPGAN 需要訓(xùn)練兩對(duì)生成器與鑒別器，分別為{G，DT}和{F，DS}。生成器G(?)的目標(biāo)是生成能夠欺騙鑒別器DT的樣本，而鑒別器的任務(wù)是辨別樣本是否為生成樣本，兩者的對(duì)抗損失函數(shù)如下：

其中：px和py表示源域和目標(biāo)域的樣本分布，樣本x∈S，y∈T（S表示源數(shù)據(jù)集，T表示目標(biāo)數(shù)據(jù)集）。

生成器F(?)和DS的任務(wù)與G(?)和DT的任務(wù)相同，但數(shù)據(jù)樣本的生成方向相反，兩者的對(duì)抗損失函數(shù)如下：

通常情況，生成對(duì)抗網(wǎng)絡(luò)通常需要對(duì)齊的樣本對(duì)進(jìn)行訓(xùn)練，而CycleGAN 使用了循環(huán)自監(jiān)督模型F(G(S)) ≈S，無(wú)需進(jìn)行樣本標(biāo)注。循環(huán)損失約束表示如下：

CycleGAN 中使用了一致性損失函數(shù)減小生成樣本的色彩偏差，其損失函數(shù)如下：

式（1）～（4）由CycleGAN 提出，SPGAN 在此基礎(chǔ)上加入孿生網(wǎng)絡(luò)進(jìn)行生成樣本間的比較，目的是保留生成圖像的行人主體信息，其損失函數(shù)如下：

其中：x1和x2是經(jīng)過(guò)孿生網(wǎng)絡(luò)提取后的向量特征樣本對(duì)，d表示x1和x2之間的歐氏距離。i∈{0，1}，當(dāng)i=1 時(shí)表示x1和x2是正樣本對(duì)，當(dāng)i=0 時(shí)表示x1和x2是負(fù)樣本對(duì)。邊界指標(biāo)m∈{0，1，2}表示x1和x2所在向量空間的可分離性：當(dāng)m=0時(shí)，表示負(fù)樣本對(duì)的損失不影響網(wǎng)絡(luò)參數(shù)更新；當(dāng)m＞0 時(shí)正負(fù)樣本對(duì)的損失都影響網(wǎng)絡(luò)參數(shù)更新。m=1和m=2表示負(fù)樣本對(duì)損失函數(shù)的影響程度，m越大，負(fù)樣本反向傳播的權(quán)重越大。關(guān)于正負(fù)樣本的選擇請(qǐng)參考SPGAN。

總損失函數(shù)如下所示：

總損失函數(shù)分為3 個(gè)部分：生成器、鑒別器和孿生網(wǎng)絡(luò)，3個(gè)部分的參數(shù)交替更新。

1.2 時(shí)空模型

現(xiàn)實(shí)場(chǎng)景中，攝像頭除了記錄圖像信息外，還記錄著圖像的拍攝時(shí)間以及自身編號(hào)。圖像的拍攝時(shí)間和所拍攝的攝像頭信息即是圖像的時(shí)間及空間信息。

TFusion 算法假設(shè)兩個(gè)樣本間的時(shí)空點(diǎn)屬于同一行人的概率可以表示為如下形式：

其中：En和Ep表示圖像分類(lèi)器的誤差率（下標(biāo)p和n分別表示positive 和 negative），當(dāng)誤差率趨近于0 時(shí)趨近式（7）。關(guān)于式（8）的詳細(xì)證明過(guò)程請(qǐng)參考TFusion附錄部分。

1.3 貝葉斯融合方法

融合模型的計(jì)算公式如下所示：

其中vi和vj表示樣本Ti和Tj經(jīng)過(guò)圖像分類(lèi)器提取后的特征。式（9）表示給定樣本的視覺(jué)特征及時(shí)空信息的條件下，樣本Ti和Tj屬于同一個(gè)人的概率。

根據(jù)貝葉斯定理，式（9）可以等價(jià)于：

2 基于生成對(duì)抗網(wǎng)絡(luò)聯(lián)合時(shí)空模型算法

基于生成對(duì)抗網(wǎng)絡(luò)聯(lián)合時(shí)空模型（STUGAN）算法通過(guò)引入生成對(duì)抗網(wǎng)絡(luò)生成目標(biāo)場(chǎng)景的訓(xùn)練樣本，增強(qiáng)識(shí)別模型的穩(wěn)定性；利用時(shí)空特征構(gòu)建目標(biāo)場(chǎng)景樣本的時(shí)空模型，篩選低概率匹配樣本，提高算法準(zhǔn)確率。

2.1 算法思想

假定源數(shù)據(jù)集S={S1，S2，…，Sn}與目標(biāo)數(shù)據(jù)集T={T1，T2，…，Tm}，不包含同一行人，其中Si標(biāo)簽信息包含行人編號(hào)、攝像頭編號(hào)和圖像所拍攝的時(shí)間序列。Tj標(biāo)簽信息包含攝像頭編號(hào)和時(shí)間序列。

由于目標(biāo)場(chǎng)景的數(shù)據(jù)集不具備標(biāo)簽信息，無(wú)法進(jìn)行有監(jiān)督特征提取模型（圖像分類(lèi)器）的訓(xùn)練。因此本文使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行圖像生成，在保留數(shù)據(jù)集S中行人主體信息的同時(shí)將背景風(fēng)格轉(zhuǎn)化為目標(biāo)數(shù)據(jù)集場(chǎng)景的風(fēng)格的數(shù)據(jù)集G(S)，以此減少圖像背景信息對(duì)于圖像分類(lèi)器的影響。

假定行人在各個(gè)攝像頭之間的運(yùn)動(dòng)存在一定的時(shí)間規(guī)律，則可通過(guò)行人的運(yùn)動(dòng)規(guī)律篩選錯(cuò)誤樣本對(duì)，如兩張視覺(jué)特征極其相似的圖像（非同一行人）被圖像分類(lèi)器判定為同一行人，但兩張圖像的時(shí)間差相差較大，則可以通過(guò)時(shí)空模型進(jìn)行錯(cuò)樣本對(duì)的矯正。由式（8）可知要得到數(shù)據(jù)集T的時(shí)空模型，需要知道同一行人的圖像，但由于數(shù)據(jù)集T不包含行人的標(biāo)簽信息，因此本文利用圖像分類(lèi)器對(duì)數(shù)據(jù)集T中的圖像進(jìn)行識(shí)別，構(gòu)建目標(biāo)數(shù)據(jù)集的弱標(biāo)簽信息，以此構(gòu)建時(shí)空模型。

算法由三部分組成，算法流程框架如圖2所示。

圖2 算法框架Fig.2 Framework of algorithm

圖像分類(lèi)器的損失函數(shù)如下：

其中：yik表示真實(shí)標(biāo)簽信息，pik表示模型預(yù)測(cè)的樣本標(biāo)簽信息。正則化參數(shù)λ=0.000 5，其中Wi的維度等于輸出維度，W={W1，W2，…，W1024}。

圖像分類(lèi)器作為中間組件，將生成對(duì)抗網(wǎng)絡(luò)和時(shí)空模型聯(lián)合。生成對(duì)抗網(wǎng)絡(luò)提升圖像分類(lèi)器對(duì)于目標(biāo)數(shù)據(jù)的識(shí)別準(zhǔn)確率，使得在構(gòu)建時(shí)空模型過(guò)程中圖像分類(lèi)器的識(shí)別誤差率減小，從而構(gòu)建更接近于真實(shí)情況時(shí)空模型。

2.2 算法描述

算法訓(xùn)練和測(cè)試過(guò)程的詳細(xì)步驟如下：

訓(xùn)練過(guò)程：

根據(jù)式（8）得知，圖像分類(lèi)器的誤差率影響時(shí)空模型的真實(shí)性，當(dāng)圖像分類(lèi)器預(yù)測(cè)的標(biāo)簽信息越準(zhǔn)確，所構(gòu)建的時(shí)空模型更加接近真實(shí)情況。時(shí)空模型越接近于真實(shí)情況，能夠更有效地篩選出錯(cuò)誤的相似樣本，提高總體模型在目標(biāo)場(chǎng)景中的表現(xiàn)。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 實(shí)驗(yàn)設(shè)置

1）網(wǎng)絡(luò)參數(shù)。

生成對(duì)抗網(wǎng)絡(luò)的參數(shù)設(shè)置參考SPGAN 論文作者設(shè)定的參數(shù)，其中式（6）的?1、?2和?3分別設(shè)置為10、5 和2，式（5）中的m設(shè)置為2。算法的初始學(xué)習(xí)率為0.000 2，總共訓(xùn)練5 個(gè)epoch。

圖像分類(lèi)器使用在ImageNet［26］預(yù)訓(xùn)練的ResNet-50［27］作為特征提取模型，根據(jù)訓(xùn)練數(shù)據(jù)的ID 數(shù)量設(shè)置輸出層的維度。圖像分類(lèi)器的訓(xùn)練過(guò)程中，凍結(jié)ResNet-50網(wǎng)絡(luò)中BN層、conv1層以及res2層的參數(shù)，網(wǎng)絡(luò)輸出層的參數(shù)采用高斯分布初始化，網(wǎng)絡(luò)參數(shù)反向傳播的優(yōu)化算法采用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）。超參數(shù)的設(shè)定參考文獻(xiàn)［20］特征識(shí)別模型的訓(xùn)練超參數(shù)設(shè)定經(jīng)驗(yàn)，將每一批次batch中的樣本數(shù)量、最大迭代次數(shù)和動(dòng)量分別設(shè)置為16、50 和0.9。學(xué)習(xí)率采用階梯型衰減策略，初始學(xué)習(xí)率為0.001，在40個(gè)epoch之后學(xué)習(xí)率衰減為0.000 1，直至訓(xùn)練結(jié)束。

由2.2 節(jié)可知，構(gòu)建時(shí)空模型時(shí)需要判斷樣本對(duì)是否屬于同一行人，本文算法直接假設(shè)圖像分類(lèi)器的誤差率為0，即是令En=Ep=0代入式（8）求得時(shí)空模型。

2）數(shù)據(jù)集。

為了驗(yàn)證算法的有效性，本文選取的兩個(gè)數(shù)據(jù)集分別是Market-1501 和DukeMTMC-reID，實(shí)驗(yàn)過(guò)程中交替使用其中一個(gè)數(shù)據(jù)集作為源數(shù)據(jù)集，剩下的數(shù)據(jù)集則作為目標(biāo)數(shù)據(jù)集。關(guān)于兩個(gè)數(shù)據(jù)集的具體信息如表1所示。

表1 數(shù)據(jù)集介紹Tab.1 Introduction of datasets

每個(gè)數(shù)據(jù)集都由兩個(gè)部分組成，訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集中的行人不會(huì)出現(xiàn)在測(cè)試數(shù)據(jù)集。待匹配樣本庫(kù)（query）是從備選庫(kù)（test）所屬I(mǎi)D 行人中抽取部分樣本組成，兩個(gè)庫(kù)共同組成了測(cè)試數(shù)據(jù)集。數(shù)據(jù)集中每個(gè)樣本的標(biāo)簽信息包含行人的ID、樣本所拍攝的攝像頭信息和拍攝時(shí)間三部分。Market-1501 由32 668 個(gè)樣本組成，包含6 個(gè)攝像頭的數(shù)據(jù)，總共1 501 位行人。DukeMTMC-reID 由36 411 個(gè)樣本組成，包含8個(gè)攝像頭的數(shù)據(jù)，總共1 401位行人。

3）評(píng)價(jià)指標(biāo)。

實(shí)驗(yàn)分為兩個(gè)部分：第一部分為圖像分類(lèi)器的比較，為了驗(yàn)證生成樣本對(duì)圖像分類(lèi)器的影響，通過(guò)與TFusion算法的圖像分類(lèi)器進(jìn)行比較實(shí)驗(yàn)，實(shí)驗(yàn)分析將在3.2.1 節(jié)中詳細(xì)闡述；第二部分為STUGAN 算法與其他算法的比較，在選取的數(shù)據(jù)集 中 進(jìn) 行 實(shí) 驗(yàn)，通 過(guò) 與BoW（Bag-of-Words）［24］、PUL（Progressive Unsupervised Learning）［28］、UMDL（Unsupervised Multi-task Dictionary Learning）［16］、基于聚類(lèi)的非對(duì)稱(chēng)度量學(xué)習(xí)（Clustering-based Asymmetric MEtric Learning，CAMEL）［17］、SPGAN［20］和TFusion［23］算法進(jìn)行對(duì)比，以驗(yàn)證本文算法的性能表現(xiàn)。其中，算法BoW 采用線(xiàn)性搜索策略，從數(shù)據(jù)集的表現(xiàn)結(jié)果中尋找最優(yōu)參數(shù)，本文選取BoW 算法在目標(biāo)數(shù)據(jù)集的最優(yōu)情況的準(zhǔn)確率作為對(duì)比；PUL 通過(guò)隨機(jī)梯度下降法更新卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）識(shí)別模型的參數(shù)，然后對(duì)目標(biāo)數(shù)據(jù)集樣本特征進(jìn)行聚類(lèi)，根據(jù)聚類(lèi)結(jié)果重新訓(xùn)練CNN模型，微調(diào)網(wǎng)絡(luò)參數(shù)；UMDL通過(guò)拉格朗日對(duì)偶法和分析法求解多個(gè)投影矩陣的最優(yōu)參數(shù)；CAMEL 利用拉格朗日法將求解過(guò)程轉(zhuǎn)化為因式分解問(wèn)題，求解最優(yōu)化投影矩陣參數(shù)；SPGAN 和TFusion 的優(yōu)化過(guò)程是利用損失函數(shù)計(jì)算預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽的差值，通過(guò)隨機(jī)梯度下降法更新識(shí)別網(wǎng)絡(luò)中的參數(shù)。

行人重識(shí)別算法采用定量衡量作為衡量標(biāo)準(zhǔn)，采用rank-1、rank-5、rank-10 及平均精度均值（mean Average Precision，mAP）［24］作為行人重識(shí)別算法的表現(xiàn)指標(biāo)。所有指標(biāo)的范圍為0%～100%，指標(biāo)值越大，表明算法效果越好。

4）實(shí)驗(yàn)條件。

本文算法中的所有模型都在一臺(tái)有著GTX1080Ti GPU的Linux 服務(wù)器上進(jìn)行訓(xùn)練和測(cè)試。Market-1501 作為源數(shù)據(jù)集時(shí)，其中SPGAN 訓(xùn)練時(shí)長(zhǎng)為103 min，圖像分類(lèi)器訓(xùn)練時(shí)長(zhǎng)為78 min，時(shí)空模型構(gòu)建時(shí)長(zhǎng)為145 min。假設(shè)測(cè)試樣本數(shù)量為N，待匹配樣本數(shù)量為M，測(cè)試過(guò)程中圖像分類(lèi)器使用的是矩陣運(yùn)算計(jì)算樣本間的特征相似度，時(shí)間復(fù)雜度為O（N*M），通過(guò)利用GPU 加速可以提高運(yùn)算效率。時(shí)空模型的運(yùn)算時(shí)間相當(dāng)于字典的檢索，時(shí)間復(fù)雜度為O（N*M），算法總時(shí)間復(fù)雜度為O（N*M）。

3.2 算法對(duì)比分析

3.2.1 圖像分類(lèi)器對(duì)比分析

表2 為圖像分類(lèi)器在Market-1501 和DukeMTMC-reID 數(shù)據(jù)集上的性能表現(xiàn)情況，其中TFusion’C 和STUGAN’C 分別表示TFusion 算法和本文算法的圖像分類(lèi)器。當(dāng)測(cè)試集為Market-1501 時(shí)，訓(xùn)練數(shù)據(jù)集為DukeMTMC-reID，反之亦然。TFusion’C（SPGAN）和STUGAN’C（SPGAN）表示使用生成數(shù)據(jù)訓(xùn)練后的圖像分類(lèi)器，生成的數(shù)據(jù)來(lái)自DukeMTMC-reID 的訓(xùn)練數(shù)據(jù)集。

表2 圖像分類(lèi)器在不同數(shù)據(jù)集上的性能表現(xiàn) 單位：%Tab.2 Visual classifier performance on different datasets unit：%

從表2 中得出，本文的圖像分類(lèi)器無(wú)論在直接遷移或使用生成數(shù)據(jù)集的條件下，在兩個(gè)數(shù)據(jù)集的表現(xiàn)均優(yōu)于TFusion算法的圖像分類(lèi)器。本文圖像分類(lèi)器效果更好的原因在于訓(xùn)練過(guò)程中凍結(jié)了低層卷積的參數(shù)，使得高層的行人全局特征提取層得到更好的訓(xùn)練。因?yàn)樯蓸颖镜膱D像視覺(jué)風(fēng)格更接近于目標(biāo)場(chǎng)景的數(shù)據(jù)風(fēng)格，一定程度上減少了場(chǎng)景轉(zhuǎn)換對(duì)圖像分類(lèi)器的影響。

3.2.2 總體模型對(duì)比分析

表3 為各算法基于Market-1501 和DukeMTMC-reID 數(shù)據(jù)集的rank-1、rank-5、rank-10 及mAP 指標(biāo)表現(xiàn)情況。其中算法SPGAN、TFusion、STUGAN 存在訓(xùn)練過(guò)程，當(dāng)測(cè)試集為Market-1501時(shí)，訓(xùn)練數(shù)據(jù)集為DukeMTMC-reID，反之相同。

從表3中可得出在兩個(gè)數(shù)據(jù)集的rank-1、rank-5及rank-10指標(biāo)比較中，本文算法的準(zhǔn)確率均優(yōu)于所比較的算法。尤其在數(shù)據(jù)集Market-1501上，rank-1指標(biāo)的準(zhǔn)確率相比TFusion算法高出5.7 個(gè)百分點(diǎn)。其中BoW 為手工設(shè)計(jì)的算法，因?yàn)闆](méi)有任何訓(xùn)練過(guò)程，因此算法在兩個(gè)數(shù)據(jù)集的準(zhǔn)確率都偏低。PUL 和UMDL 為無(wú)監(jiān)督算法，因?yàn)槿鄙贅?biāo)簽信息進(jìn)行算法的學(xué)習(xí)，所以算法的準(zhǔn)確率較低。與使用了生成對(duì)抗網(wǎng)絡(luò)的SPGAN 算法相比，本文算法在此基礎(chǔ)上加入了時(shí)空模型的輔助，時(shí)空模型的加入一定程度上排除視覺(jué)特征高度相似的錯(cuò)樣本被匹配，減小了圖像分類(lèi)器的誤差率。對(duì)于使用了時(shí)空模型作為輔助的TFusion算法，本文算法的圖像分類(lèi)器更好地利用生成對(duì)抗網(wǎng)絡(luò)生成的樣本進(jìn)行訓(xùn)練，減少場(chǎng)景之間領(lǐng)域偏差對(duì)圖像分類(lèi)器的負(fù)面影響。較高水平的圖像分類(lèi)器構(gòu)建的時(shí)空模型更接近于真實(shí)情況，兩者的聯(lián)合使得STUGAN 算法在目標(biāo)場(chǎng)景中具備良好的識(shí)別性能。

表3 不同算法在Market-1501和DukeMTMC-reID數(shù)據(jù)集上的性能對(duì)比結(jié)果 單位：%Tab.3 Algorithm performance comparison results on Market-1501 and DukeMTMC-reID datasets unit：%

4 結(jié)語(yǔ)

本文針對(duì)行人重識(shí)別算法跨場(chǎng)景應(yīng)用時(shí)出現(xiàn)算法準(zhǔn)確率大幅下降問(wèn)題，提出一種基于生成對(duì)抗網(wǎng)絡(luò)聯(lián)合時(shí)空模型的識(shí)別方法。算法在目標(biāo)場(chǎng)景中獲得相對(duì)滿(mǎn)意的表現(xiàn)，但是距離實(shí)際應(yīng)用要求的準(zhǔn)確率仍存在一定的距離。由于圖像分類(lèi)器的識(shí)別準(zhǔn)確率相對(duì)較低，在構(gòu)建時(shí)空模型時(shí)存在較多的錯(cuò)誤樣本對(duì)被判別為同一行人，導(dǎo)致時(shí)空模型與真實(shí)的時(shí)空模型具有一定的偏差。如何構(gòu)建適應(yīng)于場(chǎng)景變化的圖像分類(lèi)器，使其在跨場(chǎng)景應(yīng)用中仍然保持良好的準(zhǔn)確率是今后的研究方向。