林淑彬,吳貴山,姚文勇,楊文元
(1.閩南師范大學(xué) 計(jì)算機(jī)學(xué)院,福建 漳州 363000;2.閩南師范大學(xué) 數(shù)據(jù)科學(xué)與智能應(yīng)用福建省高校重點(diǎn)實(shí)驗(yàn)室,福建 漳州 363000;3.閩南師范大學(xué) 外國(guó)語(yǔ)學(xué)院,福建 漳州 363000;4.閩南師范大學(xué) 福建省粒計(jì)算及其應(yīng)用重點(diǎn)實(shí)驗(yàn)室,福建 漳州 363000)
得益于無(wú)人機(jī)強(qiáng)大的機(jī)動(dòng)性和便攜性,無(wú)人機(jī) 平臺(tái)搭載視覺(jué)跟蹤技術(shù)在路徑規(guī)劃、自主著陸、飛行避障等方面受到了廣泛關(guān)注[1-3]。無(wú)人機(jī)工作過(guò)程不可避免地面臨光線(xiàn)變化甚至光線(xiàn)條件惡劣的情況,這影響無(wú)人機(jī)目標(biāo)跟蹤對(duì)視頻信息的提取與處理。因此,高效、準(zhǔn)確地應(yīng)對(duì)光線(xiàn)不足場(chǎng)景的目標(biāo)跟蹤方法對(duì)于無(wú)人機(jī)應(yīng)用具有重要意義[4]。
基于相關(guān)濾波(correlation filter,CF)的目標(biāo)跟蹤算法由Bolme 等[5]提出,經(jīng)過(guò)Henriques[6]、Danelljan[7]、戴煜彤[8]和盧湖川等[9-10]學(xué)者的不懈努力,跟蹤性能不斷提高。BACF 算法[11]提出具有背景感知能力的相關(guān)濾波器,充分利用背景信息增強(qiáng)算法的判別能力。SRDCF 和ASRCF 跟蹤算法[12-13]構(gòu)建空間或時(shí)空正則化,以緩解相關(guān)濾波跟蹤器的邊界效應(yīng)。同時(shí),劉威等[14]則嘗試將特征融合與模板更新相結(jié)合,自適應(yīng)學(xué)習(xí)場(chǎng)景信息。這些工作使基于相關(guān)濾波的跟蹤器能夠更好適應(yīng)目標(biāo)跟蹤場(chǎng)景變化的要求。
隨著無(wú)人機(jī)應(yīng)用的發(fā)展,一些學(xué)者將相關(guān)濾波方法應(yīng)用于無(wú)人機(jī)目標(biāo)跟蹤,取得了較好的進(jìn)展[15]。AMCF[16]通過(guò)保持多幀信息構(gòu)建更加魯棒的目標(biāo)模型,解決相關(guān)濾波跟蹤器丟失歷史信息的問(wèn)題。OMFL[17]提取了更適應(yīng)無(wú)人機(jī)跟蹤場(chǎng)景的目標(biāo)特征,通過(guò)融合多特征線(xiàn)索進(jìn)行精確跟蹤。王耀南等[18]結(jié)合多特征融合進(jìn)一步提高跟蹤精度。針對(duì)無(wú)人機(jī)相關(guān)濾波跟蹤中邊界效應(yīng)顯著的問(wèn)題,AutoTrack[19]、BEVT[20]和SASR[21]等算法分別提出自適應(yīng)時(shí)空正則化、在線(xiàn)增強(qiáng)背景信息學(xué)習(xí)策略和具有背景感知的選擇性空間正則化。此外,針對(duì)無(wú)人機(jī)跟蹤過(guò)程中可用信息較少的情況,ARCF[22]、CPCF[23]和BICF[24]算法探索跟蹤過(guò)程響應(yīng)映射中的隱藏信息,解決了無(wú)人機(jī)跟蹤過(guò)程出現(xiàn)模型漂移的問(wèn)題。
然而,當(dāng)光照條件不充分時(shí),無(wú)人機(jī)捕捉到的圖像目標(biāo)紋理和輪廓不清晰,顏色失真,且背景干擾嚴(yán)重。這些因素影響了跟蹤方法對(duì)目標(biāo)信息的提取與利用,降低了濾波器對(duì)目標(biāo)模型的學(xué)習(xí)能力。因此目前無(wú)人機(jī)跟蹤方法在光線(xiàn)不足場(chǎng)景中容易發(fā)生模型漂移,導(dǎo)致跟蹤失敗。
針對(duì)上述問(wèn)題,本文提出一種基于光照自適應(yīng)動(dòng)態(tài)一致性的無(wú)人機(jī)目標(biāo)跟蹤算法(based on illumination adaptive dynamic consistent tracker for UAV,LADCT),利用跨幀響應(yīng)構(gòu)建具有目標(biāo)感知的動(dòng)態(tài)一致性評(píng)估,以實(shí)現(xiàn)在光照條件惡劣情況下進(jìn)行準(zhǔn)確跟蹤。首先,構(gòu)建一個(gè)光照自適應(yīng)處理模塊,通過(guò)光照檢測(cè)技術(shù)識(shí)別跟蹤場(chǎng)景的光照條件,對(duì)光照條件惡劣的視頻圖像進(jìn)行光線(xiàn)增強(qiáng)。其次,構(gòu)建目標(biāo)掩碼提取目標(biāo)顯著性特征,從而訓(xùn)練出具有目標(biāo)語(yǔ)義感知能力的濾波器。此外,在使用目標(biāo)感知濾波器進(jìn)行相關(guān)運(yùn)算時(shí),利用跨幀之間的信息產(chǎn)生一致性評(píng)估以保證相鄰幀目標(biāo)一致。通過(guò)限制實(shí)際響應(yīng)和理想化響應(yīng)的誤差、平滑跨幀之間的響應(yīng)變化幅度,保證當(dāng)前幀響應(yīng)穩(wěn)定,降低因?yàn)轭伾д?,背景干擾帶來(lái)的影響。最后,引入動(dòng)態(tài)約束策略,隨時(shí)間變化動(dòng)態(tài)調(diào)整理想化響應(yīng)及一致性響應(yīng)評(píng)估,使一致性約束策略符合目標(biāo)外觀(guān)變化,進(jìn)一步增強(qiáng)LADCT 跟蹤方法在無(wú)人機(jī)場(chǎng)景的適應(yīng)性。在UAVDark135數(shù)據(jù)集和UAV123 數(shù)據(jù)集上與其他9 種先進(jìn)跟蹤算法進(jìn)行對(duì)比實(shí)驗(yàn),LADCT 算法獲得0.739 和0.756 的中心位置誤差精度以及0.641 和0.648 的重疊率精度,表明算法在大多數(shù)挑戰(zhàn)環(huán)境下都取得了較好的跟蹤性能。
為了使無(wú)人機(jī)在各種惡劣環(huán)境下準(zhǔn)確地跟蹤任務(wù),構(gòu)建了基于光照自適應(yīng)動(dòng)態(tài)一致性的無(wú)人機(jī)目標(biāo)跟蹤方法,具體流程如圖1 所示。首先構(gòu)建光照自適應(yīng)模塊分析場(chǎng)景信息,對(duì)光線(xiàn)惡劣場(chǎng)景進(jìn)行光照增強(qiáng)。由此,構(gòu)建一種有效的光照表達(dá)算法計(jì)算圖像中的光照信息。對(duì)于一張長(zhǎng)寬為w×h的 RGB 圖像I∈R3wh,圖像每個(gè)像素的光照值通過(guò)式(1)計(jì)算:
圖1 LADCT 跟蹤算法示意Fig.1 Pipeline of LADCT tracking algorithm
當(dāng)D(I)=1表示光線(xiàn)不足的場(chǎng)景。
針對(duì)光線(xiàn)不足的惡劣場(chǎng)景,需要對(duì)其進(jìn)行光照彌補(bǔ)。為了實(shí)現(xiàn)該目的,首先計(jì)算基于原始圖像的全局光照自適應(yīng)因子:
通過(guò)計(jì)算所得的自適應(yīng)因子,改變每個(gè)像素中3 個(gè)強(qiáng)度通道的像素值實(shí)現(xiàn)圖像光照增強(qiáng):
式中:Ie表示基于原始I的增強(qiáng)圖像;G (x,y,I)表示不同區(qū)域的光照值。式(4)可以在保持3 個(gè)顏色通道比例不變的情況下,調(diào)整整個(gè)圖像亮度,盡 可能保持圖像顏色不變。
圖像的語(yǔ)義信息在目標(biāo)跟蹤中起著至關(guān)重要的作用,而通過(guò)光照增強(qiáng)后的圖像語(yǔ)義信息存在退化,容易導(dǎo)致跟蹤失敗發(fā)生。因此提出一種對(duì)光照增強(qiáng)后目標(biāo)語(yǔ)義信息顯著性增強(qiáng)的濾波器。通過(guò)增強(qiáng)跟蹤器對(duì)被跟蹤對(duì)象區(qū)域的顯著性感知能力,進(jìn)一步提高跟蹤性能。
首先,在訓(xùn)練過(guò)程中,構(gòu)建一個(gè)目標(biāo)掩碼m,加強(qiáng)跟蹤器對(duì)目標(biāo)和背景的判別能力:
式中:M為對(duì)輸入圖像中目標(biāo)區(qū)域設(shè)置為1,其他區(qū)域設(shè)置為0 的目標(biāo)顯著性圖像;(x,y)表示每個(gè)像素的坐標(biāo);μ和σ是顯著圖M中目標(biāo)區(qū)域的均值和方差。根據(jù)圖像信息的概率分布特征,使用閾值 μ-3σ 過(guò)濾噪聲信息。通過(guò)得到的掩碼m,得出目標(biāo)特征f′(x)=f(x)⊙m,其中x是目標(biāo)檢測(cè)樣本。
此外,為減少光照自適應(yīng)模塊增強(qiáng)圖像過(guò)程中帶來(lái)的噪聲干擾問(wèn)題,構(gòu)建跨幀動(dòng)態(tài)一致性評(píng)估。首先研究相鄰幀目標(biāo)響應(yīng)之間的相似性:
第t-1幀 的目標(biāo)響應(yīng)Rt-1和第t幀的檢測(cè)響應(yīng)之間具有很強(qiáng)的時(shí)間序列相關(guān)性,在幀間一致性中隱藏了大量的時(shí)間信息。為了利用這些時(shí)間信息,采用循環(huán)相關(guān)運(yùn)算對(duì)響應(yīng)之間的一致性進(jìn)行評(píng)估,計(jì)算公式為
由于不同的跟蹤場(chǎng)景,物體的外觀(guān)變化速率不同,標(biāo)簽lt應(yīng)該適應(yīng)目標(biāo)外觀(guān)的變化速率,而不是強(qiáng)制執(zhí)行固定的一致性約束。因此,在式(5)約束標(biāo)簽的基礎(chǔ)上,進(jìn)一步提出動(dòng)態(tài)約束標(biāo)簽:
式中ht為調(diào)整約束強(qiáng)度一致性的動(dòng)態(tài)調(diào)節(jié)因子。
跟蹤器的一致性約束強(qiáng)度需要符合不同的場(chǎng)景需求,如在快速運(yùn)動(dòng)、視覺(jué)變化等場(chǎng)景跟蹤器會(huì)降低約束強(qiáng)度,從而更好學(xué)習(xí)到目標(biāo)的外觀(guān)變化。另一方面,如果外觀(guān)變化是平滑的,則需要一個(gè)較高的一致性約束來(lái)增強(qiáng)跟蹤器的魯棒性。因此,根據(jù)目標(biāo)響應(yīng)Rt的質(zhì)量,計(jì)算其質(zhì)量分?jǐn)?shù):
式中:第1 項(xiàng)和第2 項(xiàng)分別表示響應(yīng)圖中的峰值旁瓣比和峰值;μs1和σs1分別表示旁瓣的均值和標(biāo)準(zhǔn)差;β是平衡兩個(gè)評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)。引入的動(dòng)態(tài)調(diào)節(jié)因子ht為
式中:min(lt) 和 max(lt)分別表示lt的最小值和最大值;?是一個(gè)歸一化的系數(shù)。
為了實(shí)現(xiàn)基于光照自適應(yīng)動(dòng)態(tài)一致性的無(wú)人機(jī)目標(biāo)跟蹤器,構(gòu)建跟蹤器模板函數(shù)為
式中 η為外觀(guān)模型的學(xué)習(xí)速率。
為了實(shí)現(xiàn)無(wú)人機(jī)在光線(xiàn)不足場(chǎng)景進(jìn)行準(zhǔn)確跟蹤,將光照自適應(yīng)模塊和動(dòng)態(tài)一致性模塊嵌入算法,具體流程如算法1 所示。首先通過(guò)光照自適應(yīng)模塊判斷無(wú)人機(jī)工作環(huán)境是否需要光照增強(qiáng),然后利用動(dòng)態(tài)一致性模塊對(duì)濾波器學(xué)習(xí)進(jìn)行約束,從而達(dá)到精確跟蹤的目標(biāo)。最后利用ADMM算法優(yōu)化跟蹤速度。
算法1基于光照自適應(yīng)動(dòng)態(tài)一致性的無(wú)人機(jī)目標(biāo)跟蹤(LADCT)
輸入視頻序列I目標(biāo)初始化信息;
輸出視頻序列中每一幀的目標(biāo)位置和尺寸。
2)確定目標(biāo)搜索區(qū)域,構(gòu)建目標(biāo)掩碼,并提取具有目標(biāo)感知的特征;
3)提取目標(biāo)區(qū)域特征與已學(xué)習(xí)到的濾波器進(jìn)行相關(guān)操作得到初始響應(yīng)圖;
4)通過(guò)式(5)和式(7)對(duì)相鄰兩幀的響應(yīng)構(gòu)建動(dòng)態(tài)一致性標(biāo)簽及約束策略;
5)采用ADMM 算法對(duì)式(11)求得最終響應(yīng),得到該幀目標(biāo)位置;
6)采用式(15)策略更新模型;
7)如果是最后一幀則停止算法;否則重復(fù)執(zhí)行步驟2)~6)。
返回跟蹤結(jié)果。
所有實(shí)驗(yàn)使用Ubuntu18.04,計(jì)算機(jī)配置Intel Core I9-9900K CPU 和32 GB 內(nèi)存。LADCT 算法的主要參數(shù)設(shè)置如表1 所示。其中大部分是通過(guò)參數(shù)敏感性實(shí)驗(yàn)測(cè)試所得。LADCT 采用HOG和CN 對(duì)目標(biāo)特征進(jìn)行提取。
表1 LADCT 算法的主要參數(shù)設(shè)置Table 1 Main parameter settings of the LADCT algorithm
為了驗(yàn)證LADCT 算法的有效性,在由無(wú)人機(jī)拍攝的視頻數(shù)據(jù)集UAVDark135 和UAV123 上進(jìn)行對(duì)比實(shí)驗(yàn)。UAVDark135[25]是第1 個(gè)無(wú)人機(jī)黑暗場(chǎng)景下的跟蹤基準(zhǔn),包含由無(wú)人機(jī)在夜間捕獲的135 個(gè)序列。UAV123 數(shù)據(jù)集包含共計(jì)123 個(gè)無(wú)人機(jī)拍攝的視頻序列以及超過(guò)11 萬(wàn)幀無(wú)人機(jī)圖像。這兩個(gè)數(shù)據(jù)基準(zhǔn)包括各種跟蹤場(chǎng)景,如十字路口、丁字路口、道路、高速公路等,以及不同種類(lèi)的跟蹤對(duì)象,如人、船、汽車(chē)、卡車(chē)、房子等。將LADCT 與ARCF、BiCF、AutoTrack、BACF、ASRCF、SRDCF、CPCF、SASR、ADTrack 這9 種跟蹤算法進(jìn)行對(duì)比。
為更好地評(píng)估無(wú)人機(jī)跟蹤器在特殊挑戰(zhàn)下的能力,UAVDark135 數(shù)據(jù)集提供了無(wú)人機(jī)跟蹤中經(jīng)常遇到的5 個(gè)挑戰(zhàn)屬性,即視點(diǎn)變化(VC)、快速運(yùn)動(dòng)(FM)、低分辨率(LR)、遮擋(OCC)和照明變化(IV)。
此外,為了驗(yàn)證LADCT 方法的普適性,在最具代表性的無(wú)人機(jī)UAV123 數(shù)據(jù)集上進(jìn)行對(duì)比驗(yàn)證,其具有12 個(gè)挑戰(zhàn)屬性,包括長(zhǎng)寬比變化(ARC)、背景雜波(BC)、攝像機(jī)運(yùn)動(dòng)(CM)、快速運(yùn)動(dòng)(FM)、全遮擋(FOC)、照明變化(IV)、低分辨率(LR)、視覺(jué)越界(OV)、部分遮擋(POC)、尺度變化(SV)、類(lèi)似對(duì)象(SOB)和視點(diǎn)變化(VC)。
為了公平且有效地評(píng)估算法的跟蹤精度,采用中心誤差(center location error,CLE)和重疊率(overlap rate,OR)作為評(píng)價(jià)指標(biāo)。中心誤差是指目標(biāo)真實(shí)位置與算法所跟蹤到位置的歐氏距離,其距離小于一個(gè)設(shè)定的閾值則表示跟蹤成功,反之則為失敗;重疊率計(jì)算的是目標(biāo)真實(shí)的邊界框與算法跟蹤到的邊界框的重疊區(qū)域占整個(gè)目標(biāo)區(qū)域的比例,將重疊比例與閾值相比較來(lái)判斷是否跟蹤成功。本文使用這兩個(gè)指標(biāo)計(jì)算跟蹤成功的視頻幀占總視頻幀的比例,對(duì)跟蹤方法進(jìn)行定量評(píng)估。UAVDark135 數(shù)據(jù)集采用的中心誤差閾值為20,重疊率閾值為0.5。
4.3.1 總體分析
圖2 給出了LADCT 算法與對(duì)比的9 種方法的綜合評(píng)估結(jié)果。實(shí)驗(yàn)表明:LADCT 在UAVDark 135 和UAV123 數(shù)據(jù)集上的綜合精度與準(zhǔn)確率皆取得了第一的表現(xiàn)。
圖2 提出的方法與9 種方法的綜合評(píng)價(jià)結(jié)果Fig.2 Comprehensive evaluation results of the proposed method and nine other methods
在UAVDark135 數(shù)據(jù)集中,較之第2 名ADTrack,LADCT 算法在精度和準(zhǔn)確率上分別提升了0.22 和0.20。此外,較之基準(zhǔn)跟蹤器BACF、LADCT 算法則分別提高了14.5%和11.3%。這是因?yàn)樘岢龅墓庹兆赃m應(yīng)模塊使跟蹤算法能夠在昏暗環(huán)境下自適應(yīng)補(bǔ)償光照信息,從而提取更多的目標(biāo)信息,提高學(xué)習(xí)到目標(biāo)模型的準(zhǔn)確性。此外,構(gòu)建目標(biāo)掩碼不僅能提取目標(biāo)顯著性的特征,還能保存光照增強(qiáng)后的語(yǔ)義信息,緩解光照自適應(yīng)模塊帶來(lái)的語(yǔ)義信息退化問(wèn)題,使得訓(xùn)練的濾波器對(duì)前景和背景具有更強(qiáng)的判別能力。最后構(gòu)建動(dòng)態(tài)一致性標(biāo)簽及采用跨幀感知語(yǔ)義動(dòng)態(tài)一致性約束策略,進(jìn)一步提高了跟蹤器對(duì)目標(biāo)的感知能力,降低了目標(biāo)模型學(xué)習(xí)過(guò)程中受到背景干擾的影響,提高了算法的魯棒性。
在UAV123 數(shù)據(jù)集中,LADCT 算法依然取得良好的表現(xiàn)。對(duì)比第2 名ASRCF,精度和準(zhǔn)確率分別提升0.18 和0.31,而對(duì)比基準(zhǔn)BACF、LADCT 算法分別提升了15.1% 和16.2%,說(shuō)明LADCT 算法在光照充足環(huán)境下同樣具有優(yōu)異的跟蹤性能。這是因?yàn)樘崛×藢?duì)目標(biāo)具有感知能力的特征,保存更多的目標(biāo)語(yǔ)義信息,從而訓(xùn)練更加魯棒的濾波器。動(dòng)態(tài)一致性策略利用跨幀之間的時(shí)間信息,構(gòu)建一致性標(biāo)簽,提高濾波器對(duì)目標(biāo)模型的學(xué)習(xí)效率,從而提高無(wú)人機(jī)跟蹤的準(zhǔn)確性。
4.3.2 屬性分析
為了更加清晰地評(píng)估跟蹤算法在特定挑戰(zhàn)下的跟蹤性能,圖3 給出了LADCT 算法與其他9 種先進(jìn)跟蹤器在UAVDark135 數(shù)據(jù)集上5 種無(wú)人機(jī)跟蹤挑戰(zhàn)屬性(視點(diǎn)變化、快速運(yùn)動(dòng)、低分辨率、遮擋和照明變化)的跟蹤結(jié)果。
圖3 LADCT 在UAVDark135 數(shù)據(jù)集上的5 種挑戰(zhàn)屬性評(píng)價(jià)結(jié)果Fig.3 Evaluation results of five challenge attributes of LADCT in the UAVDark dataset
實(shí)驗(yàn)表明:LADCT 算法在視點(diǎn)變化、快速運(yùn)動(dòng)、遮擋和照明變化4 種挑戰(zhàn)屬性環(huán)境下取得較好的跟蹤表現(xiàn),LADCT 分別取得0.742、0.727、0.642、0.729 的中心位置誤差和0.622、0.634、0.562、0.665 的重疊率。在VC 和FM 挑戰(zhàn)環(huán)境下,LADCT 算法通過(guò)構(gòu)建動(dòng)態(tài)一致性約束策略,能夠在視點(diǎn)或者物體快速變化時(shí)自適應(yīng)學(xué)習(xí)到變化的目標(biāo)外觀(guān),同時(shí)由于利用了跨幀之間的時(shí)空信息抑制響應(yīng)畸變,使得算法能夠更平穩(wěn)更新濾波器,保證了算法的魯棒性。在IV 屬性下,LADCT 與ADTrack 算法同樣針對(duì)光照進(jìn)行了彌補(bǔ),而LADCT 算法表現(xiàn)優(yōu)于ADTrack 算法。這是因?yàn)闃?gòu)建了具有目標(biāo)感知能力的動(dòng)態(tài)一致性標(biāo)簽與約束策略,使得LADCT 算法魯棒性更強(qiáng),在訓(xùn)練過(guò)程中可以保留目標(biāo)的語(yǔ)義信息,從而降低光照變化對(duì)學(xué)習(xí)目標(biāo)模型的干擾。同時(shí)在OCC 屬性下,LADCT也取得較好的表現(xiàn),分別取得0.642 的最佳中心位置誤差和0.562 的重疊率精度。這是因?yàn)榭鐜瑒?dòng)態(tài)一致性約束在跟蹤器丟失目標(biāo)時(shí)降低了學(xué)習(xí)速率,從而保留多幀之前的目標(biāo)信息。然而,在低分辨率場(chǎng)景下LADCT 算法表現(xiàn)不佳,不及第1 名的AutoTrack。這是因?yàn)楫?dāng)分辨率過(guò)低時(shí),目標(biāo)掩碼會(huì)誤將背景像素的信息當(dāng)作目標(biāo)從而使濾波器學(xué)習(xí)到背景干擾信息。此外,表2 和表3 給出了在UAV123 數(shù)據(jù)集上,LADCT 算法在12 種挑戰(zhàn)環(huán)境下的表現(xiàn),可見(jiàn)在大多數(shù)挑戰(zhàn)下,LADCT算法都獲得了最佳的表現(xiàn)。再次驗(yàn)證LADCT 算法在無(wú)人機(jī)跟蹤方面具有魯棒性和精確度。
表2 不同算法在UAV123 數(shù)據(jù)集不同挑戰(zhàn)場(chǎng)景的中心位置誤差結(jié)果對(duì)比Table 2 Comparison of the center position error results of different algorithms in different challenge scenarios of the UAV123 dataset
表3 不同算法在UAV123 數(shù)據(jù)集不同挑戰(zhàn)場(chǎng)景的重疊率結(jié)果對(duì)比Table 3 Comparison of the overlap rate results of different algorithms in different challenge scenarios of the UAV123 dataset
4.3.3 定性分析
為了更直觀(guān)展示LADCT 算法的有效性,圖4給出了LADCT 與ADTrack、AutoTrack、SRDCF、ARCF 等4 種跟蹤算法在5 個(gè)視頻上的可視化對(duì)比圖。其中前3 個(gè)是夜晚場(chǎng)景,后兩個(gè)是白天跟蹤場(chǎng)景。通過(guò)第2 個(gè)視頻序列可以看出,在黑暗場(chǎng)景下其他4 種跟蹤算法容易跟丟目標(biāo),尤其是面臨視點(diǎn)變化、快速運(yùn)動(dòng)等挑戰(zhàn)。而LADCT 算法能較好地應(yīng)對(duì)黑暗場(chǎng)景,準(zhǔn)確地在黑暗場(chǎng)景下識(shí)別并跟蹤目標(biāo)。這說(shuō)明LADCT 算法構(gòu)建的動(dòng)態(tài)一致性約束策略能夠在黑暗場(chǎng)景中較好地適應(yīng)目標(biāo)外觀(guān)變化,更新目標(biāo)模型的同時(shí)避免模型漂移的發(fā)生。此外,第1 個(gè)視頻和第3 個(gè)視頻,所有的算法都能跟蹤到目標(biāo),但是由于在黑暗場(chǎng)景中,這些算法不能很好地估算目標(biāo)的尺度變化,因此標(biāo)記的目標(biāo)框與實(shí)際的目標(biāo)尺度差別較大。而LADCT 算法通過(guò)光照自適應(yīng)增強(qiáng)模塊能夠提取更多的目標(biāo)信息。同時(shí)構(gòu)建具有目標(biāo)感知能力的跨幀動(dòng)態(tài)一致性約束策略,進(jìn)一步提高了濾波器的判別能力,能夠更好對(duì)目標(biāo)位置及尺寸進(jìn)行估計(jì)。這也是LADCT 在重疊率精度評(píng)估獲得較好表現(xiàn)的原因。第4 個(gè)和第5 個(gè)視頻給出了LADCT 算法在光照充足條件下也能準(zhǔn)確地跟蹤目標(biāo)并精準(zhǔn)估計(jì)目標(biāo)尺寸。這是由于LADCT 構(gòu)建了目標(biāo)掩碼增強(qiáng)特征對(duì)目標(biāo)的感知能力,同時(shí)采用一致性標(biāo)簽及動(dòng)態(tài)約束策略,對(duì)目標(biāo)跨幀信息進(jìn)行充分利用,提高了算法的魯棒性。
圖4 5 種方法在5 個(gè)視頻上的可視化結(jié)果Fig.4 Visualization results of five methods on five videos
此外對(duì)10 種方法的跟蹤速度進(jìn)行了對(duì)比。其中大部分都達(dá)到了實(shí)時(shí)跟蹤的要求,即25 f/s。LADCT 以26.51 f/s 的速度在單個(gè)CPU 上運(yùn)行,因此能夠廣泛應(yīng)用于各種無(wú)人機(jī)平臺(tái)完成目標(biāo)跟蹤任務(wù)。
4.3.4 消融實(shí)驗(yàn)分析
為了驗(yàn)證提出的光照自適應(yīng)模塊和動(dòng)態(tài)一致性策略的有效性,在UAVDark135 數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)對(duì)比分析。模塊A 為光照自適應(yīng)模塊,模塊B 為目標(biāo)感知?jiǎng)討B(tài)一致性評(píng)估模塊。如圖5所示,基準(zhǔn)跟蹤器可以分別從光照自適應(yīng)模塊和動(dòng)態(tài)一致性策略中受益。其中,光照自適應(yīng)模塊對(duì)基準(zhǔn)期在黑暗光線(xiàn)場(chǎng)景進(jìn)行有效跟蹤助益最大,距離精度提升0.049,重疊成功率提升0.37。這說(shuō)明光照自適應(yīng)模塊能夠幫助跟蹤器在光線(xiàn)惡劣場(chǎng)景精確地完成跟蹤任務(wù)。引入具有目標(biāo)感知能力的動(dòng)態(tài)一致性策略能夠提高算法有效應(yīng)對(duì)光照條件不足時(shí)背景環(huán)境的干擾。
圖5 采用不同模塊在UAVDark135 數(shù)據(jù)集的對(duì)比結(jié)果Fig.5 Comparison results of different modules in the UAVDark135 dataset
此外,針對(duì)UAVDark135 數(shù)據(jù)集中的視頻序列car8 進(jìn)行響應(yīng)值差異對(duì)比。如圖6 所示,當(dāng)響應(yīng)值差異越大時(shí),跟蹤算法越容易發(fā)生目標(biāo)丟失情況。在使用基準(zhǔn)跟蹤器進(jìn)行跟蹤時(shí),響應(yīng)誤差較大。而增加光照自適應(yīng)模塊,即基準(zhǔn)跟蹤器+模塊A,由于目標(biāo)有效信息更多,所以響應(yīng)更平滑,但在遮擋、視角變化挑戰(zhàn)發(fā)生時(shí)依然存在響應(yīng)突變。當(dāng)兩個(gè)模塊都使用時(shí),LADCT 跟蹤方法的響應(yīng)誤差突變被抑制,因此在遭遇各種挑戰(zhàn)場(chǎng)景也能較好地完成跟蹤任務(wù)。
圖6 采用不同模塊在單個(gè)視頻上的響應(yīng)值差異Fig.6 Differences in the response values of different modules on a single video
本文提出一種基于光照自適應(yīng)動(dòng)態(tài)一致性的無(wú)人機(jī)跟蹤算法,通過(guò)對(duì)場(chǎng)景光線(xiàn)的識(shí)別及自適應(yīng)增強(qiáng),同時(shí)構(gòu)建目標(biāo)語(yǔ)義感知?jiǎng)討B(tài)一致性標(biāo)簽實(shí)現(xiàn)跟蹤過(guò)程中跨幀間的目標(biāo)一致,解決無(wú)人機(jī)跟蹤在面對(duì)光線(xiàn)惡劣環(huán)境表現(xiàn)不佳的問(wèn)題。LADCT 算法未能及時(shí)識(shí)別遮擋并在后續(xù)跟蹤及時(shí)重定位目標(biāo),影響了遮擋場(chǎng)景的跟蹤精度。下一步將研究能夠判別跟蹤異常并進(jìn)行目標(biāo)重定位的目標(biāo)重識(shí)別策略。