侯旭陽 張穎 高圓

摘要： 視頻跟蹤技術(shù)一直在軍事、醫(yī)學(xué)等越來越多的領(lǐng)域起著重要的作用，近幾年來，學(xué)者將深度學(xué)習(xí)應(yīng)用于視頻跟蹤技術(shù)，一大批基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法被提出。本文主要介紹了卷積神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)結(jié)構(gòu)及其在視頻跟蹤技術(shù)中的應(yīng)用、目標(biāo)跟蹤中的關(guān)鍵步驟，并分析傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和基于卷積神經(jīng)網(wǎng)絡(luò)算法的優(yōu)缺點，對卷積神經(jīng)網(wǎng)絡(luò)在視頻跟蹤的發(fā)展進(jìn)行了簡要的分類和總結(jié)，最后對卷積神經(jīng)網(wǎng)絡(luò)在視頻跟蹤的未來發(fā)展方向進(jìn)行展望。

關(guān)鍵詞：視頻跟蹤;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP393? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? 文章編號：1009-3044（2019）03-0182-02

1 引言

近幾年大數(shù)據(jù)、云計算的快速發(fā)展，促進(jìn)了人類社會的智能化和信息化。研究目標(biāo)跟蹤技術(shù)在軍事、醫(yī)學(xué)等領(lǐng)域都有重要意義，隨著研究的逐漸深入，目標(biāo)跟蹤的種類和方法也逐漸豐富。目標(biāo)跟蹤過程可以定義為一個目標(biāo)在特定場景移動時，在圖像平面中的目標(biāo)軌跡的估計問題。對于一個視頻序列，目標(biāo)追蹤的任務(wù)為給出目標(biāo)的初始狀態(tài)，對視頻中接下來每一幀的目標(biāo)序列進(jìn)行評估。目前，跟蹤技術(shù)并未完全成熟，在解決目標(biāo)遮擋、視覺變化、復(fù)雜背景等一系列問題方面還有一定的進(jìn)步空間。

2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其在視頻跟蹤中的應(yīng)用

在卷積神經(jīng)網(wǎng)絡(luò)模擬人大腦的學(xué)習(xí)過程中，構(gòu)建多層的神經(jīng)網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)層數(shù)的增加，獲得的特征也逐步抽象。目前，越來越多基于新型卷積神經(jīng)網(wǎng)絡(luò)研究方法的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)也發(fā)生些變化，但是都是在經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改動。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)[1]由輸入層、卷積層、池化層、全連接層和輸出層。其中輸入層、卷積層和池化層組成特征提取層，全連接層和輸出層組成分類層。

卷積神經(jīng)網(wǎng)絡(luò)在視頻跟蹤時具有較高的目標(biāo)提取與表達(dá)的能力，可以使網(wǎng)絡(luò)輸入多維的圖像，降低特征提取過程中降低數(shù)據(jù)重建的復(fù)雜度，抑制平移、縮放帶來的影響。卷積神經(jīng)網(wǎng)絡(luò)深度分層架構(gòu)，可以不依賴外界條件學(xué)習(xí)數(shù)據(jù)的特征，對于類似圖像這種分布復(fù)雜、高度非結(jié)構(gòu)化的數(shù)據(jù)具有很強(qiáng)的標(biāo)記能力。利用不同目標(biāo)的描述能力，對目標(biāo)跟蹤的精確性與魯棒性有很大的提升。因此在目前計算機(jī)視覺領(lǐng)域，利用卷積神經(jīng)網(wǎng)絡(luò)提取特征的方法正逐步超越傳統(tǒng)的手工提取特征方法。

3目標(biāo)跟蹤關(guān)鍵步驟

在一些跟蹤領(lǐng)域中，我們需要通過標(biāo)記目標(biāo)的中心、特征點等來確定目標(biāo)移動的軌跡。在視頻序列跟蹤（攝像機(jī)、監(jiān)控等）的過程中，往往存在噪音等外部環(huán)境因素的影響，會造成視頻序列模糊不清、出現(xiàn)噪聲點分布等情況。所以視頻跟蹤的第一步為預(yù)處理，在信息進(jìn)入模型之前，將視頻序列中影響較大的外部因素通過相應(yīng)的方法去除。當(dāng)前幀的視頻圖像，要根據(jù)目標(biāo)的運(yùn)動模式標(biāo)記出一定的特征區(qū)域，然后對每一個特征區(qū)域進(jìn)行特征提取，實現(xiàn)區(qū)域的特征表達(dá)。通過被跟蹤目標(biāo)的特征表達(dá)，來進(jìn)行對目標(biāo)特征的描述，構(gòu)建外觀模型。最后根據(jù)所提取的特征來預(yù)測目標(biāo)位置。由于目標(biāo)在整個視頻序列中的位置不斷改變，相應(yīng)的特征也會不斷改變，目標(biāo)模型也要做出相應(yīng)的調(diào)整。

4 傳統(tǒng)視頻跟蹤方法

傳統(tǒng)跟蹤方法早年間在一些跟蹤技術(shù)上就有了一定的應(yīng)用，學(xué)者從目標(biāo)表觀建模、搜索策略、模型更新這三個主要開始進(jìn)行研究。傳統(tǒng)跟蹤方式有一定的局限性，不能提取高級的語義信息。但是后期利用深度學(xué)習(xí)等方法的新型跟蹤方式都是在傳統(tǒng)方式的基礎(chǔ)上提出的。目前從目標(biāo)表征模型的角度，主要的傳統(tǒng)視頻跟蹤方式可分為基于生成式和基于判別式兩種算法。

4.1基于生成式算法的目標(biāo)跟蹤

基于生成式算法跟蹤可視為一個目標(biāo)匹配的過程，在上一幀目標(biāo)位置附近，選擇相似度最高或者相差率最小的位置，視為目標(biāo)的當(dāng)前預(yù)測位置。目前跟蹤效果較好的算法有稀疏表達(dá)、密度估計、增量學(xué)習(xí)等，部分跟蹤算法結(jié)合了濾波技術(shù)得到了較好的跟蹤效果。其中稀疏表達(dá)是對目標(biāo)的局部信息和歷史進(jìn)行編碼，采用均值傳遞和空間金字塔方法使算法具有良好的魯棒性。密度估計法是通過核密度估計法來預(yù)測目標(biāo)位置，同時核密度法不利用有關(guān)數(shù)據(jù)分布的先驗知識，對數(shù)據(jù)分布沒有附加任何假設(shè)，具有較高的跟蹤效率。但是核密度估計在估計邊界區(qū)域的時候會出現(xiàn)邊界效應(yīng)。

4.2基于判別式算法的目標(biāo)跟蹤

判別式算法通常與檢測系統(tǒng)相聯(lián)系，主要為訓(xùn)練分類器，能從檢測到的大量的圖像（視頻）中區(qū)分出目標(biāo)還是背景，從而確定目標(biāo)的方位預(yù)測目標(biāo)位置。近幾年判別式算法涉及多樣本學(xué)習(xí)、隨機(jī)森林等。多樣本學(xué)習(xí)法是多個樣本進(jìn)行分類學(xué)習(xí)，來確定目標(biāo)表征模型，很好地解決了樣本歧義問題。以上兩種跟蹤方法都有一個共同的問題，目標(biāo)模型的構(gòu)建。傳統(tǒng)的跟蹤方法都是在提取目標(biāo)特征的基礎(chǔ)上進(jìn)行構(gòu)建，比較淺層定義，只適合于某些特定的場景。在一些復(fù)雜的跟蹤過程中，發(fā)揮的并不是很好，可能出現(xiàn)跟蹤丟失、目標(biāo)漂移等問題。

5 卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)跟蹤中的應(yīng)用

近幾年，一大批優(yōu)秀的基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法被提出，很好地解決了傳統(tǒng)算法中存在的一些問題，不僅解決了跟蹤目標(biāo)丟失的情況，還解決了魯棒性以及漂移現(xiàn)象。

5.1基于分類的卷積神經(jīng)網(wǎng)絡(luò)

Seunghoon 等人提出了在線視覺跟蹤算法，離線訓(xùn)練神經(jīng)網(wǎng)絡(luò)，通過顯著性圖來顯示目標(biāo)的空位置，提高了定位精準(zhǔn)度。但是由于在視頻序列中每張圖像的區(qū)域較多，進(jìn)行特征提取時消耗的時間較長。Nam從模型的可靠性出發(fā)提出利用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行目標(biāo)跟蹤，解決了跟蹤問題中的目標(biāo)遮擋以及目標(biāo)丟失問題。近年來隨著深度學(xué)習(xí)的深入，卷積神經(jīng)網(wǎng)絡(luò)的研究也不斷優(yōu)化，是在速度方面依然存在問題。

5.2基于回歸的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤

文獻(xiàn)[2]將深度卷積神經(jīng)網(wǎng)絡(luò)使用 自編碼器替換為自編碼器作為獲取特征的網(wǎng)絡(luò)模型。此外還有通過分析卷積層的特征圖譜，提出采用卷積神經(jīng)網(wǎng)絡(luò)層級間的特征來進(jìn)行目標(biāo)跟蹤的新方法。首先將通過構(gòu)建兩個互補(bǔ)的熱度圖預(yù)測網(wǎng)絡(luò)。其中 GNet捕獲目標(biāo)的類別信息，SNet 將目標(biāo)與背景進(jìn)行相似外觀分離，在第一幀進(jìn)行初始化，為目標(biāo)進(jìn)行前景熱圖回歸標(biāo)記，然后回歸出目標(biāo)的位置，能達(dá)到有效防止跟蹤器漂移的目的。

Lijun將不同掩碼采取在線訓(xùn)練不同的基礎(chǔ)跟蹤器，VGG網(wǎng)絡(luò)作為調(diào)整器。最后用加權(quán)的方式得到熱度圖，以此來特征提取。但是此微調(diào)方法的跟蹤算法會在每一幀或者固定間隔進(jìn)模型更新，如果跟蹤器結(jié)果不準(zhǔn)確就會在更新過程中引入噪聲。

Danelljan 、Robinson等人作者提出了一種使用連續(xù)卷積濾波的目標(biāo)跟蹤方法，利用內(nèi)插值法將卷積神經(jīng)網(wǎng)絡(luò)的不同分辨率的特征圖插值到連續(xù)空間域內(nèi)，應(yīng)用Hessian矩陣求得亞像素精度的目標(biāo)位置。該文通過Hessian 矩陣提高了特征圖的分辨率，在一定程度上減小了模糊幀圖像對跟蹤器的影響。

5.3基于相似度匹配的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤

Bertinetto 、ValmadreJ等人提出了一種全卷積孿生網(wǎng)絡(luò)跟蹤算法，如圖所示。該方法利用一個解決相似性學(xué)習(xí)的模型，其中一個待搜索目標(biāo)的網(wǎng)絡(luò)輸入視頻的第一幀，另一個網(wǎng)絡(luò)輸入視頻的第一幀，緊接著輸出一個響應(yīng)圖，預(yù)測目標(biāo)在固定位置出現(xiàn)的可能性。此方法采取的雙流網(wǎng)絡(luò)是共享全卷積層的。同事，網(wǎng)絡(luò)可以進(jìn)行端對端訓(xùn)練，專門提取用于視覺跟蹤的深和淺卷積特征。由于此方法跟蹤速度較快、效率較高。

此外，文獻(xiàn)[3]提出了基于卷積殘差學(xué)習(xí)的目標(biāo)跟蹤算法。在預(yù)測時將基本卷積層與空域參差層結(jié)合，又加入時間參差層來擬合真實標(biāo)簽有效的處理模型外觀變化。

文獻(xiàn)[4]將PCA預(yù)處理環(huán)節(jié)加到卷積神經(jīng)網(wǎng)絡(luò)特征提取的結(jié)構(gòu)框架中，同時應(yīng)用粒子濾波運(yùn)動估計和分類器模型。主成分分析（PCA）與利用自編碼神經(jīng)網(wǎng)絡(luò)在隱層的神經(jīng)元數(shù)量受限時的學(xué)習(xí)結(jié)果之間具有一定的相似性。利用這一特點解決了追蹤干擾問題，并提高了模型的平移不變形。但是當(dāng)追蹤多個目標(biāo)時，此方法就會受到時間和空間的限制。

6 結(jié)論

視頻追蹤成為計算機(jī)視覺研究的重要課題，在視頻監(jiān)控、人工智能等領(lǐng)域都有一定的應(yīng)用。大數(shù)據(jù)時代的到來以及深度學(xué)習(xí)算法的出現(xiàn)，為卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展帶來了契機(jī)。未來要加強(qiáng)深度學(xué)習(xí)與在線學(xué)習(xí)的融合，根據(jù)視頻追蹤的特點怎樣建立起一個大規(guī)模、效率高的視頻跟蹤效率平臺依然是值得研究的課題。

參考文獻(xiàn)：

[1] 趙井飛. 卷積神經(jīng)網(wǎng)絡(luò)算法及應(yīng)用研究[D].沈陽航空航天大學(xué)，2018.

[2] Nam H，Han B. Learning multi-domain convolutional? neural networks for visual tracking[C]. In： Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Las Vegas，USA，2016. 4293-4302

[3] 劉棟，李素，曹志冬. 深度學(xué)習(xí)及其在圖像物體分類與檢測中的應(yīng)用綜述[J].計算機(jī)科學(xué)，2016，43（12）：13-23.

[4] 于進(jìn)勇，丁鵬程，王超. 卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測中的應(yīng)用綜述[J].計算機(jī)科學(xué)，2018，45（S2）：17-26.

【通聯(lián)編輯：光文玲】