王楠

摘 要：當(dāng)今大部分地區(qū)對(duì)天網(wǎng)工程視頻數(shù)據(jù)的追溯仍停留在人力查找階段，為應(yīng)對(duì)公安部門監(jiān)控?cái)?shù)據(jù)處理效率低下的問題，文章提出一種以人臉圖像為內(nèi)容的圖像識(shí)別與截取方法，使用AdaBoost方法結(jié)合Haar-like特征檢測(cè)人臉后自動(dòng)地初始化Struck跟蹤器，對(duì)跟蹤器截取的圖像幀序列進(jìn)行預(yù)處理，增量PCA方法提取序列的特征后以O(shè)ne-class SVM作為檢索分類器，實(shí)現(xiàn)輸入指定圖像后輸出視頻內(nèi)容中與之相關(guān)的視頻片段的目標(biāo)。

關(guān)鍵詞：視頻檢索；Struck算法；Haar-like；AdaBoost；One-class SVM

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）34-0008-03

Abstract： Nowadays， the tracing of video data of skynet project is still at the stage of manpower search in most areas. In order to deal with the problem of low efficiency of video data processing in the public security department， this paper proposes a method of image recognition and interception， which is based on face images. The Struck tracker is initialized automatically after face detection using AdaBoost method combined with Haar-like features， and the image frame sequence intercepted by the tracker is preprocessed. The features of the sequence are extracted by incremental PCA method， and One-class SVM is used as the retrieval classifier. An object associated with a video segment in an output video content after input of a specified image is implemented.

Keywords： video retrieval； Struck algorithm； Haar-like； AdaBoost； One-class SVM

1 概述

由于天網(wǎng)工程的開展，公安部門已經(jīng)掌握了大部分的監(jiān)控?cái)z像頭。這些攝像頭每天產(chǎn)生視頻數(shù)據(jù)的數(shù)量級(jí)非常大。雖然海量的視頻數(shù)據(jù)是公共安全的一個(gè)重要保障，然而想要利用人力在視頻信息中找到特定的目標(biāo)，存在耗時(shí)長(zhǎng)，主觀判斷性強(qiáng)，容錯(cuò)率低等問題。因此，需要一種可以準(zhǔn)確、快速地找到目標(biāo)的自動(dòng)化方法。本文介紹一種基于人臉圖像的視頻檢索方法，能夠在指定時(shí)間段內(nèi)判斷目標(biāo)是否出現(xiàn)，并輸出檢索的相關(guān)視頻片段?；趫D像內(nèi)容的檢索相比基于文字內(nèi)容的檢索，突破之處在于它可以直接作用于多媒體數(shù)據(jù)。由于視頻內(nèi)容存在場(chǎng)景、鏡頭等隱含信息，所以在對(duì)視頻進(jìn)行檢索前需要進(jìn)行一些結(jié)構(gòu)分析及處理，如鏡頭分割、關(guān)鍵幀提取以及視頻語義標(biāo)注等等?；谌四槇D像的視頻檢索在公共安全領(lǐng)域具有十分重要的意義，利用人臉檢索，可以標(biāo)記出某一特定目標(biāo)的行動(dòng)軌跡，以及預(yù)測(cè)該目標(biāo)的活動(dòng)范圍。

2 整體框架

框架的中心工作是為所有需要監(jiān)控，即作為檢索對(duì)象的目標(biāo)建立特征空間。分為檢測(cè)跟蹤、歸一化處理以及建立特征空間四步。人臉檢測(cè)使用AdaBoost基于Haar-like的方法，用Struck跟蹤器截取圖像序列，對(duì)序列中的每一幀圖像進(jìn)行歸一化預(yù)處理，最后為人臉建立特征空間并用One-class SVM分類。

框架如圖1所示。

3 特征空間的建立

3.1 提取人臉序列

可以檢測(cè)出正臉的監(jiān)控錄像通常具有序列特性，即在短時(shí)間的鏡頭（連續(xù)圖像序列）內(nèi)，人臉圖像的空間差別很小。要盡可能得到有效的人臉序列，那么就需要使用人臉跟蹤方法。

人臉跟蹤是指在人臉目標(biāo)已被自動(dòng)識(shí)別獲取的情況下，在一定時(shí)間范圍內(nèi)對(duì)接下來的每一幀進(jìn)行目標(biāo)標(biāo)識(shí)。大多數(shù)情況下檢測(cè)識(shí)別算法復(fù)雜度比較高，單一圖像可以保證效率。但單圖片序列由若干相似幀組成，若每幀都進(jìn)行相同的識(shí)別處理，將在一定程度上浪費(fèi)系統(tǒng)資源。相比之下，跟蹤算法更加適合其應(yīng)用場(chǎng)景。跟蹤算法的復(fù)雜度低，利用其本身的機(jī)制可以進(jìn)行在線學(xué)習(xí)和預(yù)測(cè)，不需要每一幀都操作，在丟失跟蹤目標(biāo)或一定時(shí)間間隔后再次初始化跟蹤器即可。

3.1.1 人臉檢測(cè)

人臉跟蹤的步驟包括檢測(cè)和跟蹤，本文對(duì)視頻中的圖像幀序列采用級(jí)聯(lián)AdaBoost算法檢測(cè)人臉。AdaBoost是一種迭代算法，將若干個(gè)弱分類器聚合成為一個(gè)強(qiáng)分類器，能夠有效提高學(xué)習(xí)方法的準(zhǔn)確性。

Haar特征值對(duì)應(yīng)的是圖像的灰度變化。臉部的某些特征基本可以被矩形特征簡(jiǎn)單地描述，例如五官的相對(duì)明暗關(guān)系：眼睛的顏色與臉頰的顏色對(duì)比，鼻梁、嘴巴與周圍顏色的對(duì)比等等。但Haar-like存在很明顯的短處：矩形特征只對(duì)一些簡(jiǎn)單的圖形結(jié)構(gòu)，單一特征只能描述能夠由小面積矩形標(biāo)示的特定走向的結(jié)構(gòu)，表示邊界、線段、棱角等。

AdaBoost算法按照一定規(guī)則聚合多個(gè)以Haar-like特征為基準(zhǔn)的分類器，這樣聚合后的分類器足以判斷某一圖像區(qū)域是否為人臉。級(jí)聯(lián)AdaBoost將判斷各種人臉特征的分類器聚合以得到效用更高的分類器，實(shí)現(xiàn)從眼睛、鼻子到整張人臉的識(shí)別。使用AdaBoost方法對(duì)每個(gè)序列的第一幀進(jìn)行處理后，將該幀中檢測(cè)到的人臉數(shù)據(jù)用于初始化跟蹤器。

3.1.2 Struck方法跟蹤

跟蹤算法應(yīng)用較多的有光流法、粒子濾波算法和均值漂移算法。這些算法只是單純的跟蹤，并不能實(shí)時(shí)學(xué)習(xí)。即跟蹤目標(biāo)如果因光線、角度等外界因素產(chǎn)生變化，傳統(tǒng)的跟蹤算法是不能適應(yīng)的，因此也難以在復(fù)雜場(chǎng)景中應(yīng)用。

Struck全稱結(jié)構(gòu)性訓(xùn)練跟蹤算法，是由Sam Hare等首先提出的一種全新的跟蹤框架，它是一種基于結(jié)構(gòu)輸出預(yù)測(cè)的自適應(yīng)目標(biāo)跟蹤框架。Struck算法的運(yùn)作基礎(chǔ)是特征和變換，有別于傳統(tǒng)的跟蹤方法的特征與標(biāo)簽。它用維護(hù)支持向量集的方式尋找置信函數(shù)的極值點(diǎn)，以推測(cè)跟蹤目標(biāo)的可能出現(xiàn)位置的概率。引入輸出空間滿足跟蹤功能，直接輸出跟蹤結(jié)果，而不是對(duì)中間的內(nèi)容重復(fù)進(jìn)行同等工作。為了避免過程中的支持向量過增長(zhǎng)，保證實(shí)時(shí)性，Struck還引入了閾值機(jī)制。雖然在遮擋和姿態(tài)變化情況下，Struck較為穩(wěn)定，但尺度變化的情況下即跟蹤目標(biāo)的尺寸大小產(chǎn)生大波動(dòng)時(shí)，Struck仍有不足。

Struck的算法的三個(gè)主要步驟：第一給定的目標(biāo)圖片序列中，在第一幀獲取到跟蹤目標(biāo)，用這個(gè)目標(biāo)初始化跟蹤器的參數(shù)；第二利用它自身的預(yù)測(cè)機(jī)制估計(jì)出接下來物體可能出現(xiàn)的位置；第三對(duì)新出現(xiàn)的跟蹤目標(biāo)樣本進(jìn)行處理，求解最優(yōu)的分割平面，加入閾值判斷防止支持向量過增長(zhǎng)，跟蹤到目標(biāo)對(duì)象并更新支持向量集。

3.2 序列幀歸一化處理

使用直方圖均衡化對(duì)圖像序列中的每一幀作預(yù)處理以減少光線對(duì)圖像特征的影響，再進(jìn)行歸一化。

歸一化是將姿態(tài)、大小不一的樣本圖像通過仿射映射，得到一組特征點(diǎn)對(duì)齊、大小一致的圖像，再使用重心模板找到臉部的中心位置。改善圖像質(zhì)量，統(tǒng)一圖像灰度值及尺寸，消除對(duì)特征提取無用的噪聲。

3.3 增量PCA（Principal Component Analysis）

人臉識(shí)別的過程包括提取面部特征及對(duì)提取的特征進(jìn)行分類以找到高維空間中人臉分布的規(guī)律。PCA的主要思想是盡可能在最小均方意義下尋找能最大程度表示樣本分布的投影方向，即單位向量，它是一種常用的特征提取方法。PCA將原始數(shù)據(jù)的高維特征線性變換為各維度線性無關(guān)的一組向量表示，在數(shù)據(jù)主要特征分量的提取中應(yīng)用廣泛，是高維數(shù)據(jù)降維的常用方法。PCA算法的核心思想是將高維特征映射到小于原數(shù)據(jù)維度的空間維上，這一新構(gòu)造出來的較低維是全新的正交特征，被稱為主成分。

一幅圖像X在低維空間中的特征向量Y，由式（1）投影方式得到。

在上式中， 可以盡量選取接近1的α，這說明樣本在前m個(gè)軸上的能量基本可以代表整個(gè)能量。

這種算法雖然常用但容錯(cuò)率較小，因?yàn)樗鼘?duì)訓(xùn)練樣本集的要求很高，通常訓(xùn)練人臉和目標(biāo)人臉的光照、背景等條件盡量一致才能達(dá)到最好的匹配效果；而通常視頻中的人臉圖像變化波動(dòng)很大，并不受上述外界因素的拘束。那么本文將使用增量PCA學(xué)習(xí)算法，增量PCA在PCA的基礎(chǔ)上可以在增量的過程中逐步減小因背景、光線、角度等外界因素對(duì)圖像序列不同幀造成的差別，有效降低提取特征的散度。一個(gè)訓(xùn)練序列為一個(gè)固定人物，識(shí)別過程中將結(jié)果反饋到子空間和單類支持向量機(jī)One-class SVM上進(jìn)行分類，動(dòng)態(tài)調(diào)整子空間的單位向量方向和One-class SVM的分類面，以這種方式減少光照、背景等因素的影響。

One-Class SVM分類器適用于二分類問題，即是或者不是。因?yàn)檩敵鼋Y(jié)果只有兩個(gè)，所以訓(xùn)練數(shù)據(jù)只需要足量的正樣本，確保分類器能準(zhǔn)確判斷其中一種結(jié)果即可，符合應(yīng)用場(chǎng)景。

SVM不同的內(nèi)積核函數(shù)將得到不同的高維空間的映射， 本文采用的核函數(shù)為徑向基函數(shù)與多項(xiàng)式內(nèi)核函數(shù)。

多項(xiàng)式內(nèi)核和RBF核是SVM常用的兩種核函數(shù)。RBF核函數(shù)應(yīng)用最廣，它可以將一個(gè)樣本映射到一個(gè)更高維的空間，RBF網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)，可以處理系統(tǒng)內(nèi)難以解析的規(guī)律，泛化能力良好，收斂速度快。

4 結(jié)束語

本文提出了一種基于人臉圖像的視頻檢索方式，采用Struck跟蹤算法。Struck算法是一種可在線學(xué)習(xí)的計(jì)算機(jī)視覺跟蹤算法。結(jié)合AdaBoost算法可以自動(dòng)初始化跟蹤器，此外AdaBoost與跟蹤器同時(shí)運(yùn)行，可以提高跟蹤準(zhǔn)確性。若跟蹤器丟失當(dāng)前目標(biāo)，也能及時(shí)檢測(cè)下一個(gè)目標(biāo)，提高了片段截取的效率。然而公安視頻監(jiān)控系統(tǒng)中每天將產(chǎn)生大量的視頻數(shù)據(jù)，也需要更高性能的檢索算法，未來這一問題仍可以進(jìn)一步進(jìn)行研究。

參考文獻(xiàn)：

[1]Wong C F， Zhu J， Vai M I， et al. Face image retrieval in video sequences using lifting wavelets transform feature extraction[C]// International Symposium on Consumer Electronics. IEEE， 2005：167-171.

[2]肖兒良，韓超.應(yīng)用于人臉自動(dòng)實(shí)時(shí)跟蹤的改進(jìn)Struck算法[J].電子科技，2016，29（3）：42-47.

[3]陳立珍，崔國(guó)勤，李卓.電影視頻人像檢索系統(tǒng)[J].計(jì)算機(jī)仿真，2008，25（6）：187-190.

[4]陳立珍，崔國(guó)勤，李卓.基于子空間增量學(xué)習(xí)的視頻中人臉圖像檢索[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2007，19（9）：1119-1125.

[5]魏小莉，楊黎東，種衍文，等.基于視頻元數(shù)據(jù)信息的快速圖像檢索[J].計(jì)算機(jī)工程，2010，36（12）：7-9.

[6]汪亞明，黃文清，周海英.動(dòng)態(tài)圖像序列中的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].計(jì)算機(jī)測(cè)量與控制，2003，11（8）：564-565.