国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

低視點下遮擋自適應感知的多目標跟蹤算法

2023-02-21 03:25樂應英徐丹賀康建張浩
中國圖象圖形學報 2023年2期
關鍵詞:視點外觀關聯(lián)

樂應英,徐丹,賀康建,張浩

1. 云南大學信息學院,昆明 650091; 2. 玉溪師范學院數(shù)學與信息技術學院,玉溪 653100

0 引 言

多目標跟蹤(multiple object tracking,MOT)是智能監(jiān)管任務的關鍵核心技術,廣泛應用在視頻監(jiān)控、國防軍事、智慧城市和智能交通管理等領域,是計算機視覺領域的重要研究內容之一(劉沛鑫,2020)。MOT致力于在連續(xù)圖像序列中定位到每一幀中所有待跟蹤的目標,并且盡量避免每個目標的ID(identity information)標識在整個跟蹤流程中發(fā)生切換(李沐雨,2020)。

隨著Faster R-CNN(region based convolutional neural network)(Ren等,2017),YOLO(you only look once)(Redmon等,2016)及SSD(single shot multiBox detector)(Liu等,2016)等經(jīng)典目標檢測算法檢測性能的顯著提高,大多數(shù)MOT算法都選擇采用基于檢測的跟蹤(tracking by detection, TBD)方法作為主要跟蹤方案(劉沛鑫,2020)?;谧顑?yōu)貪心算法(Pirsiavash等,2011)、基于K最短路徑優(yōu)化(Berclaz等,2011)、基于分層網(wǎng)絡流(王雪琴 等,2017)和基于最大權值獨立集(Brendel等,2011)的TBD多目標跟蹤算法也相繼提出。

根據(jù)攝像機拍攝角度的高低,TBD存在高視點和低視點兩種跟蹤場景,本文重點研究低視點下的MOT問題。低視點場景的遮擋問題一直是影響跟蹤性能的重要原因,如圖1所示。在完全遮擋場景,目標因為暫時消失,導致跟蹤失敗。目標部分遮擋導致目標的視覺信息受到污染,提取的目標特征不完整,會導致跟蹤漂移。因此,在低視點跟蹤中,解決好遮擋問題是提升跟蹤算法性能的重要舉措。

圖1 遮擋造成的跟蹤漂移現(xiàn)象

為了解決遮擋問題,本文提出低視點跟蹤場景下遮擋自動感知的多目標跟蹤算法。在MOT16低視點跟蹤場景視頻上進行實驗,與STAM(spatial-temporal attention mechanism)(Chu等,2017)、ATAF(aggregate tracklet appearance features)(Chen等,2019)、STRN(spatial-temporal relation networks)(Xu等,2019)、BLSTM_MTP_O(bilinear LSTM with multi-track pooling)(Kim等,2021)和IADMR(instance-aware tracker and dynamic model refreshment)(Chu等,2019)等典型算法進行對比實驗。視頻包括部分遮擋、短時全遮擋和長時全遮擋等特殊跟蹤場景。實驗結果表明,本文提出算法的跟蹤性能得到提升,大多數(shù)評價指標優(yōu)于對比算法。

本文主要貢獻如下:1)根據(jù)每一幀圖像的遮擋狀態(tài),提出自適應抗遮擋特征,利用全局遮擋信息動態(tài)調整關聯(lián)特征結構,增強特征對遮擋的感知調整能力。2)在新目標判斷上,采用級聯(lián)篩查機制,防止遮擋帶來的目標特征劇烈變化而認定為“虛新入目標”的錯誤跟蹤現(xiàn)象。3)提出自適應干擾模板更新機制,根據(jù)所有目標的局部遮擋系數(shù),對不同遮擋狀態(tài)的歷史目標模板給予不同權重,根據(jù)權重進行自適應模板更新,減少了嚴重遮擋目標更新時對模板庫的干擾。

1 相關工作

1.1 基于數(shù)據(jù)關聯(lián)的多目標跟蹤算法

基于數(shù)據(jù)關聯(lián)的MOT算法首先在每一幀圖像中實現(xiàn)目標檢測,然后將跨幀圖像中的目標檢測結果關聯(lián)起來,最終獲取目標的運動軌跡。該算法可分解為4個步驟,如圖2所示。

圖2 基于數(shù)據(jù)關聯(lián)的多目標跟蹤基本框架圖

離線的TBD方法利用未來幀處理跟蹤問題,將數(shù)據(jù)關聯(lián)問題看做全局最佳化問題,專注于設計各種優(yōu)化算法,例如網(wǎng)絡流(Zhang等,2008)、連續(xù)能量最小化(Milan等,2014)和最大權獨立集(Brendel等,2011)、k部圖(Roshan等,2012)、子圖多割(Dehghan等,2015)等。然而離線方法不適用于實時、隨機跟蹤環(huán)境,例如自動駕駛。而在線的TBD方法在軌跡生成上不能使用未來幀,大多采用概率推理或優(yōu)化算法,例如匈牙利算法(Bae和Yoon,2014)。TBD存在的問題是對目標檢測結果有嚴重依賴性,在實時在線跟蹤場景下,對噪聲檢測更加敏感。

1.2 低視點下的遮擋問題

低視點指視頻拍攝角度相對較低,拍攝距離相對較近,導致目標較大、較密集,且目標走動過程中尺度變化大,伴有頻繁遮擋。低視點拍攝視頻的MOT問題,尤其是低視點下的遮擋問題會導致“跟蹤漂移”和“虛新入目標”現(xiàn)象,是多目標跟蹤中需要重點研究的問題。對此,人們提出了許多處理遮擋的方法。例如,基于人體部分檢測和跟蹤的算法(Izadinia等,2012)、基于遮擋可感知的檢測器的算法(Tang等,2014)、基于在線判別外觀學習的分層關聯(lián)算法(方嵐和于鳳芹,2020)以及專門針對部分遮擋的多行人檢測跟蹤算法(Shu等,2012)等。這些算法旨在利用更好的檢測器處理局部遮擋,但是因為現(xiàn)實跟蹤場景的多變性和復雜性,使用最先進的檢測器也有一定程度的虛檢、漏檢和不精確檢測問題。Sort(Bewley等,2016)算法用運動特征作為目標特征,在目標數(shù)目不多、間距大的情況下跟蹤效果不錯,但是在目標密度高、遮擋頻度大的情況下跟蹤性能下降,ID發(fā)生頻繁切換。在Sort基礎上,Deep sort(Wojke等,2017)引入深度特征來解決這兩個問題,降低了遮擋下的ID切換率,取得了很大進展。但是在目標嚴重遮擋時,遮擋部分融入了別的目標信息,Deep sort提取的目標特征的準確性下降。STAM(Chu等,2017)為了排除目標遮擋部分的干擾,盡量利用遮擋狀態(tài)下目標剩余的信息,提出目標遮擋可視圖和時空注意力機制來關注目標未遮擋部分的信息進行數(shù)據(jù)關聯(lián),在一定程度上提升了遮擋下的特征提取能力,但是可視圖的計算增加了計算復雜度,同時在STAM中算法為每個目標建立跟蹤器,實時性有待提高。

本文在低視點跟蹤場景下做了大量實驗,得到了以下兩個發(fā)現(xiàn):1)目標相對密集、遮擋嚴重時,目標框之間存在大量重疊,導致運動特征失效,此時由深度網(wǎng)絡提取的特征相較于運動特征更加可靠。2)遮擋較輕時,目標相互距離可區(qū)分,運動特征魯棒性較高,而外觀特征偶爾會發(fā)生特征漂移。

因此,本文提出自適應抗遮擋特征,增強特征對遮擋目標的可區(qū)分度,采用級聯(lián)篩查機制準確區(qū)分新目標和暫時消失目標,提出自適應去干擾模板更新機制,進一步提高模板庫的干凈度和算法對遮擋的適用性。

2 遮擋自適應感知的多目標跟蹤算法

算法涉及的主要參數(shù)如表1所示。n1是從開始幀到當前幀已經(jīng)成功檢測跟蹤到的目標數(shù)量,n2為當前幀中所有檢測到的目標數(shù)目,f為當前幀編號。i∈{1,2,…,n1},j∈{1,2,…,n2},t∈{1,2,…,f}。

表1 算法涉及的主要參數(shù)

2.1 自適應抗遮擋特征

在基于數(shù)據(jù)關聯(lián)的多跟蹤方法中,關鍵在于檢測目標之間關聯(lián)特征的度量。目標特征的可區(qū)分性對提高跟蹤性能起著重要作用。為了更好地闡述自適應抗遮擋特征,首先對3大經(jīng)常使用特征的優(yōu)缺點及其適用場合進行分析。1)運動特征包括目標的位置、方向和速度等信息。當攝像機無運動或運動量較小且目標稀疏時,通過運動特征計算IoU(intersection over union)可以得到準確高效的目標關聯(lián)。但是目標密集時,目標的位置和運動會相互影響,導致特征辨別力下降。2)神經(jīng)網(wǎng)絡提取的外觀特征可以顯著提高特征辨別力和魯棒性。然而,當目標的磨損和形狀相似時,特征區(qū)分度也會降低。3)運動特征和外觀特征的固定組合可以有效利用兩者的優(yōu)點,在復雜場景獲得更好的跟蹤魯棒性。然而,大多數(shù)特征組合方法遵循固定組合方式,并沒有考慮遮擋。

通過以上分析,可以發(fā)現(xiàn)融合特征比單一特征更容易區(qū)分,融合特征的組合方式仍然值得進一步研究。本文仍然使用融合特征的思想,但與之前的工作不同,本文將遮擋考慮在內,使特征結構可以根據(jù)目標遮擋狀態(tài)進行自適應調整。接著,進一步分析不同特征在不同遮擋程度的有效性,并得到兩個發(fā)現(xiàn):1)當目標分布稀疏且沒有遮擋時,只有基于IoU匹配的運動特征才能獲得足夠的目標區(qū)分度;2)在存在遮擋的情況下,重疊目標的IoU值較大,運動特征沒有區(qū)分度。盡管如此,深度網(wǎng)絡提取的外觀特征仍具有一定的魯棒性,在目標關聯(lián)中起著決定性作用。

基于以上分析,本文提出一種基于全局遮擋系數(shù)的自適應抗遮擋特征。全局遮擋狀態(tài)用于動態(tài)調整關聯(lián)特征的結構,增強對遮擋的感知和調整能力。自適應抗遮擋特征的獲取需要經(jīng)歷目標外觀特征獲取、目標運動特征獲取、全局遮擋系數(shù)計算和自適應抗遮擋特征計算等4個步驟。

2.1.1 獲取目標外觀特征

首先基于ResNet50(He等,2016)使用孿生網(wǎng)絡S1獲取所有當前幀目標的外觀特征s1j,然后計算當前幀目標特征和所有模板庫的歷史外觀特征的歐氏距離Si,j。具體為

(1)

(2)

式中,n3為ID號為i的目標被成功跟蹤到的幀數(shù)。

2.1.2 獲取目標運動特征

計算當前幀目標和上一幀目標的IoU重疊面積,并將其作為運動特征。獲取到的運動特征保存在矩陣D里,具體為

(3)

D′i,j=1-Di,j

(4)

2.1.3 計算全局遮擋系數(shù)

根據(jù)當前幀目標框的相互覆蓋程度,計算全局遮擋系數(shù),具體為

(5)

(6)

圖3 全局遮擋系數(shù)示例

2.1.4 獲取自適應抗遮擋特征

在上述兩個特征中,外觀特征值越大,差異性越大;運動特征值越大,差異性越小。對兩個特征聯(lián)合使用時,首先需要對運動特征進行歸一化,如式(4)所示。接著通過全局遮擋系數(shù)?對當前幀的特征結構進行自適應調整,具體為

(7)

通過?自適應調整后得到的自適應抗遮擋特征存到矩陣judge。矩陣judge將作為后續(xù)數(shù)據(jù)關聯(lián)的輸入矩陣,是數(shù)據(jù)關聯(lián)的唯一依據(jù)。當?值變大時,目標幀的遮擋狀態(tài)加重,算法自動調整特征結構,加大外觀特征比重,減少運動特征比重,當?值變小時,目標幀的遮擋狀態(tài)得到緩解,目標之間的重疊減少,算法自動調整特征結構,減少外觀特征比重,加大運動特征比重。

2.2 新目標級聯(lián)篩查機制

在多目標跟蹤中,新目標的界定尤其重要。跟蹤場景復雜多變、目標姿態(tài)和尺度頻繁變化以及密集場景的頻繁遮擋都會導致目標不能成功關聯(lián)。如果將這些因為特殊原因跟蹤丟失的目標界定為新目標,則會發(fā)生ID切換和軌跡斷裂,會直接影響跟蹤算法的性能。對此,本文提出級聯(lián)篩查機制,減少了特殊情況下的“虛新入目標”,如圖4所示。

圖4 新目標級聯(lián)篩查機制

第1級篩查在數(shù)據(jù)關聯(lián)時進行,自適應抗遮擋特征(結合了運動特征和高層外觀特征)在一定程度上降低了“虛新入目標”的數(shù)量,使大部分場景中的目標都能成功跟蹤到。關聯(lián)失敗的目標可能含有真正新入場景的目標和少量“虛新入目標”,需要再次篩查。第2級篩查利用低層外觀特征,采用一個4層的網(wǎng)絡S2提取未成功關聯(lián)的目標特征和模板特征進行距離比對。距離小于閾值d的,認為是已經(jīng)存在的目標,無需新建目標軌跡;否則,新建并初始化目標和軌跡數(shù)據(jù),在后續(xù)幀中進行正常跟蹤。經(jīng)過多次試驗,本文算法設置d=0.5,此時算法跟蹤性能最好。

2.3 自適應去干擾模板更新

目標發(fā)生遮擋時,無論是部分遮擋,還是全遮擋,由于目標是采用矩形框區(qū)域來表示的,都會或多或少混入別的目標信息。此時,如果將成功關聯(lián)的目標一視同仁地進行更新,這些遮擋的目標將會給模板庫帶入噪聲,導致后續(xù)的關聯(lián)錯誤。以長時全遮擋為例,將遮擋過程分為5個階段:遮擋前(B0)、部分遮擋1(PO1)、完全遮擋(FO)、部分遮擋2(PO2)、無遮擋(NO)。通過分析遮擋過程,得到兩個發(fā)現(xiàn)。1)發(fā)生全遮擋前的目標處于PO1狀態(tài),這時目標存在部分遮擋,混入了其他目標信息,可靠性降低。重新出現(xiàn)的目標處于PO2狀態(tài),有很大一部分是遮擋的,此時目標特征混入了其他目標信息,背景發(fā)生很大變化,如圖5所示。2)在低視點跟蹤場景下,每一幀都存在大量遮擋,并且大多數(shù)目標在視頻序列上遮擋的時間超過70%,即使成功跟蹤到這些目標,它們的更新給模板庫帶來的影響也不容小覷。

圖5 全遮擋的5個階段

基于以上兩點事實,發(fā)現(xiàn)直接將帶遮擋目標更新入模板庫會給模板庫引入大量干擾噪聲。因此提出基于局部遮擋狀態(tài)的自適應模板更新機制。根據(jù)所有目標的遮擋狀態(tài)(可通過計算目標的局部遮擋系數(shù)得到),對不同遮擋狀態(tài)的歷史目標模板給予不同權重,并且根據(jù)權重進行自適應模板更新?;诰植空趽跸禂?shù)的自適應去干擾模板更新機制包括局部遮擋系數(shù)計算、模板更新權重計算和自適應模板更新3個步驟。

2.3.1 局部遮擋系數(shù)計算

根據(jù)當前幀中檢測到的目標框信息計算每個目標的局部遮擋系數(shù)。具體為

(8)

2.3.2 計算模板更新權重

圖6 更新權重示例

(9)

2.3.3 自適應模板更新

權重值越大的目標,遮擋越嚴重,干擾信息較多,不應該更新到模板庫中;權重值小的目標,遮擋程度弱,可以更新到目標模板庫中。因此對模板進行更新時,閾值設定很有必要。權重值小于閾值W的成功關聯(lián)目標,可以添加到對應模板庫中;大于閾值W的關聯(lián)目標不做更新。即

(10)

實驗表明,W的最優(yōu)值為0.6。實驗結果如圖7所示。

圖7 W的最優(yōu)取值

通過更新權重,算法能夠根據(jù)目標的局部遮擋狀態(tài)自適應選擇可靠性高的關聯(lián)目標進行模板更新,防止干擾信息較多的關聯(lián)目標的更新,降低了遮擋嚴重目標對模板庫的影響。圖8是MOT16-09中1號目標經(jīng)過自適應抗噪聲模板更新后得到的模板庫示例(110—180幀),剔除了嚴重遮擋目標對模板庫的影響。

圖8 自適應去干擾模板更新后得到的模板庫

2.4 其他算法實現(xiàn)細節(jié)

2.4.1 網(wǎng)絡結構及訓練方法

1)孿生網(wǎng)絡。孿生網(wǎng)絡由兩個子網(wǎng)絡組成,可以通過大量圖像對信息學習到兩個可比較的事物之間的相似性(李沐雨,2020)。在TBD跟蹤中,算法需要對跨幀之間的檢測目標進行大量相似性比對,孿生網(wǎng)絡非常適用于這樣的相似性度量任務,如圖9所示。

圖9 用孿生網(wǎng)絡進行相似性度量的示例

2)網(wǎng)絡結構。算法涉及兩個孿生網(wǎng)絡S1和S2。S1提取目標的高層特征,在ResNet50(He等,2016)結構的基礎上添加FC(fully convolution)層,將輸出特征變?yōu)? × 5的向量,用于目標外觀特征提取,如圖10所示。S2提取目標的低層特征,輸出1 × 5的向量來表示目標特征,用于新目標級聯(lián)篩查,如圖11所示。

圖10 S1的網(wǎng)絡結構

圖11 S2的網(wǎng)絡結構

3)低維度特征。本文使用小維度的輸出特征平衡不同信息的特征長度。眾所周知,運動和位置特征通常很短。如果將其與長外觀特征結合,就很難充分利用位置和運動特征。本文認為位置和運動信息同等重要,應該通過減少外觀特征的維度來強調它們。同時,低維度的輸出特征可以降低后續(xù)數(shù)據(jù)關聯(lián)過程的復雜性,使程序運行更快。

4)網(wǎng)絡訓練。孿生網(wǎng)絡S1和S2均在ReID行人重識別數(shù)據(jù)集I-LIDS-VID(UK government benchmark datasets for automated surveillance)上訓練,如圖12所示。S1和S2網(wǎng)絡能夠快速收斂,學習到了行人在不同場景下的相似性,在光照、視點、背景和遮擋等復雜場景下仍然能獲得可區(qū)分的目標特征。

圖12 S1和S2的訓練過程

訓練時,S1和S2的損失函數(shù)采用對比損失,具體為

(11)

式中,d和y分別代表待比較的兩個特征之間的歐氏距離和匹配程度。y= 1和y= 0分別表示樣本相似和不相似兩種狀態(tài)。m是設定閾值。當樣本對相似時,如果d變大,損失函數(shù)促使模型增大損失值;同理,當樣本對不相似時,如果d變小,模型增大損失值。

2.4.2 數(shù)據(jù)關聯(lián)方法

多目標跟蹤的數(shù)據(jù)關聯(lián)大多采用匈牙利算法(Bae和Yoon,2014)。匈牙利算法可以求得二部圖的最大匹配。完美匹配一定是最大匹配,而最大匹配不一定是完美匹配。尤其是在多目標跟蹤場景中,關聯(lián)的準確度比關聯(lián)的數(shù)目更為重要,因此本文采用最小貪心掃描法對抗遮擋特征矩陣judge進行數(shù)據(jù)關聯(lián),以提高關聯(lián)準確度。

抗遮擋特征矩陣judge行表示目標模板(軌跡)數(shù),用n1表示;列表示當前幀中的目標數(shù),用n2表示。最小貪心掃描法具體步驟如下:

1)選擇掃描基準。若n1

2)順序掃描每一列,找到每一列中最小值的行標,將此行標和對應列標的組合添加到成功關聯(lián)集合R。

3)在步驟2)得到的關聯(lián)集合R中,若有相同列標對應多個行標,即同一個當前目標關聯(lián)了多條軌跡,則選取特征值最小的關聯(lián)保留,其余的從R中刪除。

2.4.3 短時遮擋中的預測

在短時遮擋或目標漏檢時,目標在幀間的運動距離很小,運動模型可以預測目標的下一幀位置,方便進行搜索和定位。本文采用線性恒速模型來近似每個物體的幀間位移。每個目標的狀態(tài)建模為

X=[u,v,r,h,x′,y′,r′,h′]

(12)

式中,u和v分別表示目標中心點的橫、縱坐標,r和h是目標矩形框的縱橫比和高度,x′、y′、r′、h′是前4個變量的變化速度。r在運動模型中是恒定的。當檢測目標和目標模板成功關聯(lián)時,使用檢測框信息更新對應目標的軌跡狀態(tài)。若關聯(lián)失敗,則利用式(12)中目標的歷史狀態(tài)信息得到預測目標的新位置和大小,進而獲取預測目標的特征和目標模板特征進行相似性度量。若距離值小于閾值P,則認為找到目標,更新軌跡信息。經(jīng)多輪實驗,本文選取0.8作為P的最佳值。

2.5 算法流程

本文提出的低視點下遮擋和尺度多變自適應感知的多目標跟蹤算法整體框架如圖13所示。算法的具體步驟如下:

圖13 算法流程圖

1)初始化。第1幀時,建立目標模板庫和初始軌跡數(shù)據(jù)。

2)目標檢測。用YOLOv3(Redmon和Farhadi,2018)算法對當前幀實現(xiàn)目標檢測,得到所有目標的位置信息。

3)自適應抗遮擋特征獲取。首先獲取所有目標的外觀特征和運動特征,接著計算全局遮擋系數(shù),最后計算自適應抗遮擋特征,保存在judge矩陣中。

4)數(shù)據(jù)關聯(lián)。將特征矩陣judge作為輸入,采用最小貪心掃描法實現(xiàn)數(shù)據(jù)關聯(lián)。

5)自適應去干擾模板更新。對于成功關聯(lián)的目標,采用自適應去干擾模板更新方法實現(xiàn)模板庫的更新。首先計算局部遮擋系數(shù),接著計算模板更新權重,最后根據(jù)模板更新權重,自適應進行模板庫更新。處理完后,轉步驟2)。

6)當未成功關聯(lián)時,分兩種情況進行處理。如果是未關聯(lián)的當前幀目標,啟動新目標級聯(lián)篩查機制;如果是未成功關聯(lián)的目標軌跡,對該軌跡對應的目標根據(jù)上一幀位置進行短時遮擋預測。

7)轉步驟2),進行下一幀處理。

3 實驗結果及分析

3.1 數(shù)據(jù)集及評價標準

為了檢驗提出算法的魯棒性,選取MOT16(multi-object tracking)(Dendorfer等,2021)數(shù)據(jù)集中低視點拍攝的視頻(存在頻繁遮擋的跟蹤場景)進行針對性實驗。選取的視頻為測試集中的MOT16-01、06、12和訓練集中的MOT16-05、09、11。

采用MOT16數(shù)據(jù)集的標準評價指標FP(false positives)、FN(false negatives)、MOTP(multiple object tracking precision)、ML(mostly lost tracklets)、IDF1(ID F1 score)、IDSW(ID switches)、MOTA(multiple object tracking accuracy)、MT(mostly tracked tracklets)、Frag(fragments)和Rcll(recall)衡量算法的跟蹤性能。在所有評價指標中,多目標跟蹤準確度(MOTA)一直是評價多目標跟蹤算法最重要的指標,如果不存在跟蹤錯誤,則MOTA得分為1。

3.2 定量分析

在低視點跟蹤場景下,本文算法對遮擋具有自動感知的能力,可以根據(jù)全局遮擋系數(shù)動態(tài)調整目標特征結構進行數(shù)據(jù)關聯(lián),也可以根據(jù)局部遮擋系數(shù)對模板庫進行自適應去干擾更新,多項跟蹤指標得到提升。為全面驗證本文算法的性能,在MOT16低視點場景下與近年一些算法的跟蹤性能進行對比,并對級聯(lián)篩查機制在新入目標判定上的準確度和有效性進行實驗,同時進行了兩組消融實驗,驗證自適應抗遮擋特征和自適應去干擾模板更新機制在跟蹤性能中的作用。

3.2.1 MOT16低視點場景下的跟蹤性能結果對比

表2為本文算法在MOT16低視點拍攝視頻上的總體跟蹤性能。表3—表5為本文算法與STAM、ATAF、STRN、BLSTM_MTP_O和IADMR等典型算法在測試集MOT16-01、06、12上的跟蹤性能對比。表3中,本文算法的MOTP、FN和MT指標值是6個算法中最好的,真實標注軌跡被成功跟蹤的數(shù)目以及漏警數(shù)都比較理想,MOTA和Rcll僅次于ATAF。表4中,本文算法的MOTA、MOTP、FN、Rcll和MT指標值是6個算法中最好的。表5中,本文算法的MOTA、MOTP、FN、Rcll和ML指標值是6個算法中最好的。從這些指標可以發(fā)現(xiàn),本文算法中提出的自適應抗遮擋特征的區(qū)分度得到了一定提升,對遮擋頻繁復雜場景具有一定的適應能力。

表2 本文算法在MOT16低視點視頻上的跟蹤性能

表3 不同方法在MOT16-01測試集上的實驗結果對比

表4 不同方法在MOT16-06測試集上的實驗結果對比

表5 不同方法在MOT16-12測試集上的實驗結果對比

3.2.2 新目標判定準確度

級聯(lián)篩查機制的主要目的在于減少由遮擋帶來的目標特征劇烈變化而認定為“虛新入目標”的錯誤跟蹤現(xiàn)象。目前的多目標跟蹤工作中鮮有此項工作,沒有可以參考借鑒的評價指標。為了驗證級聯(lián)篩查機制的有效性,本文提出目標正確率作為評價指標。該指標用算法運行后得到的總目標數(shù)與實際目標數(shù)真值的比值來表示,可在一定程度上度量算法在新入目標判定上的有效性和準確度。表6為本文算法的級聯(lián)篩查機制的目標正確率。

表6 新目標判定準確度

從表6可知,本文算法的級聯(lián)篩查機制在MOT16-2、4、5、11號視頻上的目標數(shù)準確度高,能夠在一定程度上抑制遮擋帶來的“虛新入目標”現(xiàn)象,在MOT16-9、10、13號視頻上的目標準確度仍然有待提高。

3.2.3 消融實驗

自適應抗遮擋特征和去干擾模板更新方法的目的在于增強數(shù)據(jù)關聯(lián)時所用特征對遮擋的感知和調整能力,以及減少歷史模板庫中帶遮擋模板對多跟蹤性能的影響,最終提高算法對遮擋的應變和調節(jié)能力。為了驗證上述兩項主要工作的有效性,在訓練集MOT16-05、09、11上進行了兩組消融實驗。

1)自適應抗遮擋特征消融實驗。首先對外觀特征、運動特征、固定比例融合特征(0.5 × 外觀特征 + 0.5 × 運動特征)和本文提出的自適應抗遮擋特征(外觀特征 + 運動特征 + ?自適應調節(jié))的有效性進行對比,實驗結果如表7所示??梢钥闯?,僅使用外觀特征或運動特征,MOTA值分別為49.4%和37.6%。通過固定比例融合特征,準確率明顯更高,MOTA值為49.3%。通過式(7)計算得到的自適應抗遮擋特征,MOTA達到51.2%。本文提出的抗遮擋特征在MOTA指標上,相比混合特征、外觀特征和運動特征分別提升了1.9%、1.8% 和13.6%。值得注意的是,使用抗遮擋特征后,Rcll、FN、MT和ML等指標也得到了改進。這些實驗數(shù)據(jù)對比證明了本文提出的自適應抗遮擋功能的有效性。

表7 自適應抗遮擋特征消融實驗

2)自適應去干擾模板更新方法消融實驗。不同更新策略在提高跟蹤精度方面的效果如表8所示。這部分的消融實驗都是在自適應抗遮擋特征的基礎上完成的。實驗對3種更新方法,即常規(guī)更新(不考慮目標遮擋狀態(tài))、帶權重更新(常規(guī)更新+權重更新)和自適應去干擾更新(常規(guī)更新+權重更新+自適應去干擾)的效果進行了對比。使用不考慮目標遮擋狀態(tài)的常規(guī)更新策略,MOT為33.5%。使用式(8)的基于局部遮擋系數(shù)的帶權更新策略,MOTA為40.5%。使用式(9)的自適應去干擾更新策略,準確率明顯更高,MOTA為51.2%。

表8 自適應去干擾模板更新消融實驗

通過使用本文算法提出的自適應去干擾更新策略,相比帶權更新策略和常規(guī)更新策略,MOTA分別提升了10.7%和17.7%。值得注意的是,本文提出的更新策略中,ID的切換次數(shù)顯著減少,從244降到119,表明提出的去干擾更新策略可以提高模板庫的清潔度和數(shù)據(jù)關聯(lián)的準確性。Rcll、FN、MT、ML 和 Frag 等其他指標也有明顯改善,進一步證明了本文更新策略的有效性。

3.3 定性分析

為驗證本文算法在低視點頻繁遮擋和尺度多變場景下的跟蹤能力,對算法在部分遮擋、短時全遮擋和長時全遮擋下的跟蹤結果進行定性分析。

3.3.1 部分遮擋下的跟蹤結果

本文算法在部分遮擋下的跟蹤效果如圖14所示??梢钥闯?,第1行的1、28號目標、第2行的70號目標、第3行的19、39號目標在視頻序列上均發(fā)生了部分遮擋,遺失了部分目標信息,目標特征受到干擾,但本文算法中的自適應抗遮擋機制能夠根據(jù)視頻幀的遮擋狀態(tài),動態(tài)調整目標特征的結構,使算法能夠更有效地利用剩余目標信息,實現(xiàn)連續(xù)、準確的定位和數(shù)據(jù)關聯(lián)。同時,算法中的自適應去干擾模板更新方法能夠去除這些半遮擋目標對模板庫的影響,保持了模板庫的純凈。

圖14 部分遮擋下的跟蹤結果

3.3.2 短時全遮擋下的跟蹤結果

圖15是本文算法在短時全遮擋場景下的跟蹤效果。第1行的11號目標,因為車輛經(jīng)過,發(fā)生了25幀的短時全遮擋,在65幀再次出現(xiàn)時,被本文算法成功跟蹤到。第2行的215號目標在1 094幀時被208號目標遮擋,發(fā)生了16幀的短時全遮擋,在1 110幀重新進入時被算法成功跟蹤到。第3行的4號目標,被1號目標遮擋,發(fā)生了21幀的短時全遮擋,在第53幀重新進入監(jiān)控場景時被本文算法成功跟蹤到。這些不錯的跟蹤結果得益于本文提出的自適應抗遮擋特征,使目標特征更加高效、有區(qū)分度。

圖15 短時全遮擋下的跟蹤結果

3.3.3 長時全遮擋下的跟蹤結果

圖16為本文算法在長時全遮擋下的跟蹤結果。第1行的1號目標在111幀后被5、6號目標完全遮擋,直到155幀時才重新出現(xiàn),其間共消失了44幀,本文提出的自適應抗遮擋特征,仍然能夠準確定位、跟蹤到了該目標。第2行的8號目標在92幀后被2號目標完全遮擋,直到172幀時才再次出現(xiàn),其間消失了長達80幀,同時該目標還伴有尺度的不斷變化,但本文算法憑借魯棒的自適應抗遮擋特征,重新找回了該長時全遮擋目標,實現(xiàn)了準確跟蹤,保持了軌跡的一致性。同時,在全遮擋發(fā)生時,本文提出的自適應去干擾模板更新機制,避免了大量目標在遮擋前和遮擋后出現(xiàn)的半遮擋狀態(tài)給模板庫帶來的影響,保證了模板庫的干凈、準確。

圖16 長時全遮擋下的跟蹤結果

4 結 論

本文針對低視點跟蹤下的遮擋問題,提出遮擋自適應感知的多目標跟蹤算法。首先根據(jù)每幀圖像的全局遮擋狀態(tài),采用自適應抗遮擋特征,增強關聯(lián)特征對遮擋的感知和調整能力。同時,采用級聯(lián)篩查機制,減少由遮擋引起目標特征劇烈變化而認定為“虛新入目標”的錯誤跟蹤現(xiàn)象。最后,根據(jù)目標的局部遮擋狀態(tài),提出自適應去干擾模板更新機制,降低了存在遮擋的模板對跟蹤性能的影響,進一步提高了算法對遮擋的應變和適應能力。實驗結果表明,本文提出的算法在低視點跟蹤場景下,跟蹤性能得到提升,大多數(shù)評價指標優(yōu)于STAM、ATAF、STRN、BLSTM_MTP_O和IADMR等典型算法,對遮擋具有一定抵御作用。但是,本文算法沒有專門針對攝像機剛性運動的運動估計機制,當攝像機快速運動時,目標運動特征可靠性降低,導致跟蹤性能下降。同時,本文算法是基于數(shù)據(jù)關聯(lián)的跟蹤算法,對目標檢測算法過度依賴,在目標漏檢或誤檢時,軌跡出現(xiàn)斷裂或交叉,這是該算法的兩個瓶頸。在今后工作中,將重點解決以上提到的兩個問題,進一步提高跟蹤算法對實際跟蹤場景的適應能力。

猜你喜歡
視點外觀關聯(lián)
外觀動作自適應目標跟蹤方法
A Shopping Story to Remember
不懼于新,不困于形——一道函數(shù)“關聯(lián)”題的剖析與拓展
不論外觀還是聲音,它都很美 Yamaha(雅馬哈)A-S3200合并功放
“一帶一路”遞進,關聯(lián)民生更緊
奇趣搭配
方外觀遺跡舊照
智趣
視點
讓你每天一元錢,物超所值——《今日視點—2014精萃》序