太原理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024

太原理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024

1 引言

隨著多媒體技術(shù)的發(fā)展，計(jì)算機(jī)性能的不斷提高和網(wǎng)絡(luò)的廣泛普及，使得多媒體視頻的應(yīng)用得到了極大的發(fā)展，越來(lái)越多的記錄都采用視頻方式保存。但當(dāng)人們需要查找這些記錄時(shí)，面對(duì)大量涌現(xiàn)的數(shù)據(jù)，如何快速有效地從這些海量數(shù)據(jù)中檢索到感興趣的視頻信息，在高效率的現(xiàn)代社會(huì)中，已成為亟待解決的問題。傳統(tǒng)的視頻信息檢索辦法主要依靠人的記憶查找視頻內(nèi)容，并用文字描述出來(lái)。這種方式往往需要人直接參與查找所需的信息，主觀性強(qiáng)、速度慢、錯(cuò)誤率高。特別是當(dāng)視頻的數(shù)據(jù)量很大或任務(wù)緊迫時(shí)，采用這種傳統(tǒng)的方法將會(huì)碰到一些難以克服的困難。為了解決這一問題，近幾年出現(xiàn)了基于內(nèi)容的視頻分析和檢索[1]，并成為多媒體檢索中研究的熱點(diǎn)。

基于內(nèi)容的視頻檢索突破了傳統(tǒng)的基于文本檢索的局限，直接對(duì)多媒體圖像、音頻、視頻內(nèi)容進(jìn)行分析，主要是用媒體對(duì)象的語(yǔ)義、視覺、聽覺和文本信息等特征，如圖像的顏色、紋理、形狀，視頻中的場(chǎng)景、鏡頭的運(yùn)動(dòng)，聲音中的音調(diào)、響度、音色等。由于基于內(nèi)容檢索的困難性和復(fù)雜性，大量的研究主要集中在視頻結(jié)構(gòu)分析上，如視頻鏡頭分割、關(guān)鍵幀提取、視頻語(yǔ)義標(biāo)注等，對(duì)視頻檢索方面的研究相對(duì)較少，而這部分常常是應(yīng)用的關(guān)鍵。

同時(shí)，與人臉識(shí)別相關(guān)的技術(shù)也得到了長(zhǎng)遠(yuǎn)的發(fā)展，這使得基于內(nèi)容的視頻人臉檢索[2]成為可能?；趦?nèi)容的視頻人臉檢索作為基于內(nèi)容檢索的組成部分，有著巨大的商業(yè)前景和重要的學(xué)術(shù)價(jià)值。例如，當(dāng)前，人臉識(shí)別在國(guó)家安全、金融、海關(guān)、民航、邊境和教育等領(lǐng)域均有應(yīng)用，但是針對(duì)人臉檢索這種后臺(tái)識(shí)別的應(yīng)用卻寥寥無(wú)幾；采用基于內(nèi)容的視頻人臉檢索技術(shù)，只需提供一張照片，就可以通過計(jì)算機(jī)自動(dòng)檢索待檢測(cè)視頻中是否出現(xiàn)過目標(biāo)人臉，大大節(jié)省了時(shí)間，提高了工作效率。本文提出了一種通過人臉圖像進(jìn)行視頻檢索的方法，以滿足用戶對(duì)視頻中人臉檢索的需求。

近年來(lái)，與人臉相關(guān)的信息處理技術(shù)得到了長(zhǎng)遠(yuǎn)的發(fā)展，特別是人臉識(shí)別技術(shù)。但相對(duì)于人臉識(shí)別，人臉檢索的研究尚處于起步階段，市場(chǎng)應(yīng)用寥寥無(wú)幾，關(guān)于視頻中人臉檢索的研究文獻(xiàn)并不多見，主要有Everingham等提出采用人臉聚類的方法[3]；Arandjelovic等[4]，Sivic等[5]就正面人臉提出視頻中人臉識(shí)別的方法。Everingham等[3]的方法只是簡(jiǎn)單地使用膚色模型對(duì)正面臉進(jìn)行處理；Arandjelovic等[4]提出去除背景信息、姿態(tài)調(diào)整和支持向量機(jī)檢測(cè)人臉。上述方法中都沒有考慮到單樣本人臉識(shí)別的問題，不可避免地造成人臉的漏檢。單訓(xùn)練樣本的人臉識(shí)別是人臉識(shí)別中一種特殊卻非常實(shí)際的情況，即目標(biāo)人臉只有一幅人臉圖像作為訓(xùn)練的樣本。由于受姿態(tài)、表情、光照的影響，單樣本圖像往往無(wú)法代表所屬類別的所有特征，因此識(shí)別難度較大。本文采用奇異值分解方法解決單樣本人臉識(shí)別問題，并改進(jìn)PCA算法使其有效地降低視頻條件下光照不均勻?qū)θ四樧R(shí)別造成的影響，對(duì)若干視頻片段的實(shí)驗(yàn)表明，本文方法在簡(jiǎn)單背景的視頻環(huán)境下可以得到較準(zhǔn)確的檢索結(jié)果。

2 視頻人臉檢索系統(tǒng)框架

視頻人臉檢索系統(tǒng)實(shí)現(xiàn)的功能是，用戶提供一張待檢測(cè)的人臉圖像及待檢測(cè)的視頻片段，經(jīng)由系統(tǒng)分析處理后，就可以在指定的視頻片段中檢索是否存在目標(biāo)人臉。視頻是由連續(xù)的靜態(tài)圖像組成的，所以在視頻中檢索目標(biāo)人臉可以看作是在靜態(tài)圖像庫(kù)中做人臉檢索，但不同的是，視頻中的幀在時(shí)間上有連續(xù)性，那么同一個(gè)人在連續(xù)的多幀圖像中都會(huì)出現(xiàn)，如果對(duì)每幀都進(jìn)行人臉檢測(cè)，必然會(huì)影響檢測(cè)速度。為此系統(tǒng)需要有效地提取視頻幀，減少冗余。本文在進(jìn)行視頻幀提取時(shí)采取了兩種方法，一種是隔幀取樣，另一種是關(guān)鍵幀提取，并在實(shí)驗(yàn)中的第一部分展示了兩種方法對(duì)于視頻人臉檢索速度的影響。其中隔幀取樣是對(duì)待檢索視頻每隔固定幀數(shù)提取一個(gè)視頻幀；關(guān)鍵幀提取采用的是滑動(dòng)窗口算法[6-7]實(shí)現(xiàn)的。

圖1所示為整個(gè)視頻人臉檢索系統(tǒng)的框架圖，包括人臉檢測(cè)和人臉檢索兩個(gè)部分：

（1）人臉檢測(cè)部分采用級(jí)聯(lián)自舉方法（Cascade AdaBoost）[8]，該方法是一個(gè)廣泛使用的人臉檢測(cè)方法，與其他算法相比，該算法在達(dá)到較高查全率時(shí)，檢測(cè)速度也有了實(shí)質(zhì)性的提高。

（2）人臉檢索部分需要對(duì)檢測(cè)出的人臉進(jìn)行預(yù)處理、特征提取及識(shí)別工作?？總鹘y(tǒng)的PCA識(shí)別算法并不能很好地解決單樣本人臉檢索問題，并且傳統(tǒng)的PCA算法受光照條件變化等因素的影響較大，識(shí)別效果不是很好。本文在前人的研究基礎(chǔ)上針對(duì)光照問題，提出了一種改進(jìn)的PCA算法，改進(jìn)的PCA算法是在傳統(tǒng)的PCA算法中融合了局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理算法，提高了識(shí)別時(shí)對(duì)人臉光照變化的魯棒性，并將其與奇異值分解相結(jié)合應(yīng)用于視頻人臉檢索系統(tǒng)的設(shè)計(jì)中，實(shí)現(xiàn)了單樣本視頻人臉檢索。

3 人臉檢測(cè)

圖1 視頻人臉檢索系統(tǒng)框架圖

人臉檢測(cè)方法主要分為兩種類型：一類是基于局部特征的人臉檢測(cè)方法，文獻(xiàn)[9]利用膚色像素的連通性進(jìn)行區(qū)域分割，采用橢圓擬合區(qū)域，然后根據(jù)橢圓的長(zhǎng)短軸的比例判斷是否為人臉。文獻(xiàn)[10]根據(jù)色度的一致性和空間距離將膚色像素聚類成區(qū)域，接著歸并直到得到符合一定先驗(yàn)知識(shí)的橢圓區(qū)域?yàn)橹?，最后檢查橢圓區(qū)域中是否存在由眼睛、嘴等形成的暗區(qū)域或空洞以確定是否為人臉。另一類是基于整體特征的人臉檢索方法。該方法通過搜集大量的人臉和非人臉樣本作為訓(xùn)練集，用人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、Boosting等方法訓(xùn)練分類器進(jìn)行人臉檢測(cè)。這些方法大都集中在靜態(tài)圖片上，對(duì)光照比較敏感、對(duì)姿態(tài)和表情有一定局限性[11]。

視頻中人臉圖像的背景和人物活動(dòng)都很復(fù)雜，表情沒有約束、分辨率低、正面人臉少。上述的人臉檢測(cè)方法顯得脆弱、不穩(wěn)定。但是，如果只是希望對(duì)正面人臉或0°～30°的偏向人臉做出準(zhǔn)確率較高的檢測(cè)，對(duì)漏檢率不做限制，那么現(xiàn)有很多檢測(cè)算法都符合要求。本文采用Viola等提出的級(jí)聯(lián)自舉方法（Cascade AdaBoost）[8]，Viola等將大量的人臉和非人臉樣本作為訓(xùn)練集，通過采用AdaBoost算法對(duì)樣本的Haar特征進(jìn)行多輪訓(xùn)練，將每輪挑選出的有利于判別人臉的Haar特征組成強(qiáng)分類器，并將這些分類器以“瀑布式”的結(jié)構(gòu)級(jí)聯(lián)起來(lái)組成更強(qiáng)的人臉分類器。

本文采用OpenCV圖像處理庫(kù)里通過AdaBoost算法訓(xùn)練好的分類器，在OpenCV 1.0平臺(tái)上實(shí)現(xiàn)了人臉檢測(cè)部分。本文從人臉檢測(cè)準(zhǔn)確率和檢測(cè)時(shí)間兩方面設(shè)計(jì)了測(cè)試實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1和表2。

表1 人臉檢測(cè)結(jié)果

表2 人臉檢測(cè)時(shí)間

通過以上實(shí)驗(yàn)證明了該算法在達(dá)到較高的人臉查全率的同時(shí)檢測(cè)速度也較快，基本能夠滿足本文的視頻人臉檢索系統(tǒng)的應(yīng)用需求。

4 人臉檢索

本文的視頻人臉檢索系統(tǒng)需要用戶提供一張包含人臉的圖像，然后由用戶選擇待檢索人臉，最后能夠在待檢索視頻片段中檢索是否存在目標(biāo)人臉。這就涉及到單樣本人臉識(shí)別問題。所謂單樣本人臉識(shí)別，是指人臉識(shí)別算法是基于一個(gè)訓(xùn)練樣本進(jìn)行的。目前大多數(shù)人臉識(shí)別系統(tǒng)都是針對(duì)多個(gè)訓(xùn)練樣本的，當(dāng)有充分?jǐn)?shù)量的具有代表性的訓(xùn)練樣本時(shí)，能取得較好的識(shí)別效果，但是一些較為特殊的場(chǎng)合，如護(hù)照驗(yàn)證、身份驗(yàn)證等，只能得到一幅圖像，當(dāng)只用一幅圖像去作為這些人臉識(shí)別系統(tǒng)的訓(xùn)練樣本時(shí)，這些系統(tǒng)的識(shí)別率就會(huì)大打折扣，甚至是無(wú)效的。

目前單訓(xùn)練樣本的人臉識(shí)別方法可以歸納為兩類：一是從單樣本圖像構(gòu)造出新的圖像，形成多樣本，方法包括Zhao、Wen和Luo基于表情重建的獨(dú)立元素分析法[12]，Zhao、Su等提出的光照模擬方法[13]等；二是直接對(duì)單樣本圖像進(jìn)行預(yù)處理，使得對(duì)識(shí)別有利的特征更為突出和易于提取，同時(shí)抑制次要信息和不利的信息，由于主分量分析（PCA）推廣性能比較好，目前出現(xiàn)了不少在它基礎(chǔ)上進(jìn)行改進(jìn)的單訓(xùn)練樣本的人臉識(shí)別方法。

4.1 奇異值分解

針對(duì)單樣本人臉識(shí)別問題，樣本擴(kuò)張法是使用最廣的方法之一，由此，本文通過奇異值分解來(lái)進(jìn)行樣本擴(kuò)張。奇異值是圖像的一種代數(shù)特征，代數(shù)特征表征了圖像的基本特性并且在一定范圍內(nèi)具有穩(wěn)定性。奇異值分解最早是由Lu[14]提出的，并通過實(shí)驗(yàn)證實(shí)了其有效性，同時(shí)指出其具有穩(wěn)定性，比例不變性和旋轉(zhuǎn)不變性，對(duì)于圖像上較小的擾動(dòng)，奇異值變化不大。他們認(rèn)為圖像本身的灰度分布描述了圖像的內(nèi)在信息，反映了圖像的本質(zhì)屬性。主要思路是將人臉圖像視為一個(gè)矩陣，通過對(duì)該矩陣進(jìn)行奇異值分解得到奇異值特征。其原理為：假設(shè)I是一幅大小為N1×N2的灰度圖像，I的奇異值分解定義為：I=U∧VT，通過擾動(dòng)I的奇異值產(chǎn)生的衍生人臉圖像P定義為：

其中，n為取值在1到2之間的實(shí)數(shù)，r為矩陣 I的秩，σ(σ0≥σ1≥…≥σr-1)是I的奇異值。得到衍生圖像后，將其和原圖像線性組合得到新的人臉圖像樣本。組合公式如下：

其中α為取值在0到1之間的結(jié)合系數(shù)。

由公式（1）可以看出奇異值分解是通過拉伸圖像的奇異值的對(duì)比度來(lái)實(shí)現(xiàn)的。圖像的奇異值分解在于增強(qiáng)圖像的大體信息，抑制一些無(wú)關(guān)緊要的冗余信息，這樣得出的新樣本對(duì)人臉識(shí)別有利的信息得到了增強(qiáng)，不利于識(shí)別的信息得到了減弱。

4.2 改進(jìn)的PCA算法

作為一種經(jīng)典的、使用最廣泛的人臉識(shí)別方法，PCA[15]的提出在人臉識(shí)別研究領(lǐng)域獲得了巨大的成功，但傳統(tǒng)的PCA方法提取的是全局特征，因此受光照條件變化等因素的影響較大，使得在視頻中人臉的識(shí)別效果不是很好。為了克服光照對(duì)特征值的影響，在傳統(tǒng)PCA算法中融合了基于局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理，使之對(duì)照明條件不敏感，即在進(jìn)行特征提取之前，改進(jìn)的PCA算法可以有效地降低光照不均勻?qū)θ四樧R(shí)別所造成的影響，因?yàn)楣庹兆兓粫?huì)影響圖像的某些部分而不會(huì)影響全部圖像，從而拓展了PCA算法的應(yīng)用條件。下面詳細(xì)說(shuō)明融合了基于局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理方法的改進(jìn)PCA算法。

假設(shè)有一幅圖像，其灰度級(jí)在[0，L-1]之間，r表示該圖像灰度級(jí)上的離散隨機(jī)變量，p(ri)為灰度級(jí)是ri的出現(xiàn)概率，則整幅圖像的全局均值Eg即可表示為：

其中，i的取值范圍是 0≤i≤L-1。

由于一幅圖像的亮度可用圖像的均值度量，其對(duì)比度可用方差來(lái)度量，因此，通過對(duì)比全局均值Eg和局部均值Es，全局對(duì)比度和局部對(duì)比度，可以增強(qiáng)待處理圖像中較暗且對(duì)比度相對(duì)較低的區(qū)域，并且對(duì)圖像中已經(jīng)比較亮的區(qū)域不會(huì)造成影響。

假設(shè)待處理圖像中以點(diǎn)Q(i，j)為中心的 M×M 鄰域?yàn)镾(i，j)，則這塊鄰域的均值，即局部均值可表示為：

公式中的x(i，j)是待處理圖像的灰度。

基于局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理的具體步驟如下：

（1）確定圖像中較暗的區(qū)域。如果 Es＜k0Eg，k0是小于1的正常數(shù)，則表明該區(qū)域?yàn)樵搱D像中的較暗區(qū)域，需要進(jìn)一步增強(qiáng)。

（2）確定圖像中對(duì)比度較低的區(qū)域。如果圖像中某區(qū)域的對(duì)比度過低，那么可認(rèn)定該區(qū)域不含細(xì)節(jié)，不需要對(duì)其進(jìn)行增強(qiáng)。因此，可假設(shè)圖像中待增強(qiáng)的低對(duì)比度區(qū)域是：k1σg＜σs＜k2σg，k1＜k2且 k1，k2均為小于1的正常數(shù)。

（3）對(duì)確定的區(qū)域進(jìn)行灰度放大與對(duì)比度拉伸處理。通過之前的比較，可以得出輸出圖像點(diǎn)(i，j)的灰度值為[17]：

公式中，k0，k1，k2均為小于1的正常數(shù)，Es，σs為局部均值與標(biāo)準(zhǔn)差，Eg，σg為全局均值與標(biāo)準(zhǔn)差，λ為灰度放大系數(shù)，β，γ為對(duì)比度拉伸系數(shù)。該算法是通過局部均值與標(biāo)準(zhǔn)差來(lái)確定圖像中需要增強(qiáng)的區(qū)域（即低灰度和低對(duì)比度的區(qū)域），而且不會(huì)影響圖像中不需要增強(qiáng)的區(qū)域。

在PCA算法中結(jié)合基于局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理，可以很好地突出人臉圖像中比較重要的部位（如眼睛、鼻子、嘴巴等），在人臉特征提取的過程中可以提取到更具鑒別性的人臉特征，提高人臉識(shí)別率，而且在很大程度上消除光照因素對(duì)人臉識(shí)別效果的影響，這正是視頻人臉檢索中需要解決的一個(gè)問題。

4.3 算法的具體實(shí)現(xiàn)步驟

本文的視頻人臉檢索算法具體實(shí)現(xiàn)步驟如下：

（1）樣本擴(kuò)張。通過奇異值分解將用戶提供的單訓(xùn)練樣本產(chǎn)生一個(gè)新的訓(xùn)練樣本，然后和原樣本一起作為訓(xùn)練樣本集。

（2）提取訓(xùn)練樣本的特征向量。對(duì)樣本集求該人臉圖像的協(xié)方差矩陣和投影矩陣，并求其投影向量。

（3）圖像增強(qiáng)處理。對(duì)每一幅待檢索的人臉圖像和檢測(cè)出包含人臉的視頻幀，將其按4.2節(jié)描述的算法進(jìn)行圖像增強(qiáng)處理。

（4）歸屬判別。本文采用最近鄰距離分類器，采用歐式距離作為判別參數(shù)，計(jì)算測(cè)試樣本與訓(xùn)練樣本（待檢索人臉）的距離。

本文的視頻人臉檢索方法整個(gè)流程圖如圖2所示。

圖2 視頻人臉檢索流程圖

5 實(shí)驗(yàn)結(jié)果與分析

由公式（7）可知，λx(i，j)是灰度放大部分，在實(shí)驗(yàn)時(shí)，對(duì)公式（7）中的參數(shù)取值：k0=0.4，k1=0.01，k2=0.4，λ=3，β=1，γ=0.6。測(cè)試環(huán)境為CPU：Intel P8700 2.53 GHz，內(nèi)存：2 GB，操作系統(tǒng)：Windows Server 2003。該系要求圖像的格式為BMP或JPG，視頻為AVI格式。本文根據(jù)視頻的復(fù)雜程度選取了三個(gè)視頻片段對(duì)文中提出的方法進(jìn)行人臉檢索測(cè)試，這三個(gè)視頻片段代表了三類測(cè)試集：

（1）簡(jiǎn)單背景無(wú)壓縮的AVI視頻片段，人臉數(shù)目少于3個(gè)，測(cè)試集名稱為video1。采用的視頻片段是無(wú)壓縮的新聞聯(lián)播片段。

（2）簡(jiǎn)單背景XVID編碼的AVI視頻片段，人臉數(shù)目少于3個(gè)，測(cè)試集名稱為video2。采用的視頻片段內(nèi)容和video1測(cè)試集一樣是同一個(gè)新聞聯(lián)播的片段，但該視頻片段是經(jīng)過壓縮處理的。

（3）復(fù)雜背景XVID編碼的AVI視頻片段，人臉數(shù)目多于10個(gè)，測(cè)試集名稱為video3。采用的視頻片段是經(jīng)典美劇《老友記》中的片段。

三類測(cè)試集描述如表3所示。

基于本文提出的方法，設(shè)計(jì)了一個(gè)視頻人臉檢索系統(tǒng)，界面如圖3所示。左上是選擇的待檢測(cè)圖像，左下是檢索的視頻片段，右下是檢索出的視頻幀。

實(shí)驗(yàn)1檢索時(shí)間

表3 測(cè)試集描述

該部分實(shí)驗(yàn)?zāi)康挠袃蓚€(gè)：一是測(cè)試影響檢索時(shí)間的因素；二是測(cè)試隔幀取樣和關(guān)鍵幀提取這兩種視頻幀提取方法哪個(gè)更有利于在實(shí)際中的應(yīng)用，即哪個(gè)對(duì)于人臉檢索的時(shí)間更短。實(shí)驗(yàn)中，對(duì)視頻每隔25幀提取一個(gè)視頻幀。該部分實(shí)驗(yàn)選用vidoe1，video2和video3作為測(cè)試集。人臉檢索時(shí)間如表4所示。

圖3 視頻人臉檢索系統(tǒng)界面

表4 人臉檢索時(shí)間

由實(shí)驗(yàn)結(jié)果可以看出，video1的檢索時(shí)間較video2的長(zhǎng)，原因是vidoe2的視頻經(jīng)過壓縮處理，而video1是無(wú)壓縮的視頻格式，這樣在video1上檢索人臉時(shí)，每次采集視頻幀后都要進(jìn)行解碼，花費(fèi)了較多時(shí)間。由video2和video3比較得出，視頻片段的時(shí)間對(duì)檢索速度也有影響，視頻片段時(shí)間長(zhǎng)的花費(fèi)的檢索時(shí)間相對(duì)較長(zhǎng)。所以，視頻是否經(jīng)過壓縮處理以及視頻片段的時(shí)長(zhǎng)都對(duì)檢索時(shí)間有影響。此外，根據(jù)隔幀取樣和關(guān)鍵幀提取對(duì)于人臉檢索時(shí)間的影響可以看出，采用關(guān)鍵幀提取視頻幀的方法能大大減少人臉檢索的時(shí)間，因?yàn)殛P(guān)鍵幀提取可以有效地根據(jù)視頻片段特征來(lái)提取視頻幀，顯然要比隔幀取樣得到的視頻幀少，這樣有利于在實(shí)際中的應(yīng)用。所以在之后的實(shí)驗(yàn)中均采用關(guān)鍵幀提取的方法來(lái)進(jìn)行視頻幀的提取。

實(shí)驗(yàn)2查全率和查準(zhǔn)率

測(cè)試背景的復(fù)雜程度對(duì)檢索結(jié)果產(chǎn)生的影響。該部分實(shí)驗(yàn)選取video2和video3作為測(cè)試集，其中video2測(cè)試集中人臉數(shù)目少且背景單一，而video3測(cè)試集中人臉數(shù)目較多且背景較復(fù)雜。經(jīng)過實(shí)驗(yàn)測(cè)試后，視頻人臉檢索的部分結(jié)果如圖4所示，從圖4中可以看出在video2測(cè)試集上測(cè)試的結(jié)果比video3測(cè)試集的結(jié)果準(zhǔn)確。video2測(cè)試集中人臉的姿勢(shì)單一且沒有太大的變化，相反video3測(cè)試集中的人臉較多而且姿勢(shì)變換頻繁影響了檢索的效果，但是即便如此，本文提出的方法在video3中檢索出的視頻幀大多數(shù)是正確的。

根據(jù)以上檢索結(jié)果可以得出人臉檢索的查全率和查準(zhǔn)率，如表5所示。

表5 人臉檢索的查全率和查準(zhǔn)率

圖4 視頻人臉檢索部分實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，在簡(jiǎn)單背景下（video2）的查全率比復(fù)雜背景下（video3）的查全率較高，同時(shí)查準(zhǔn)率方面，簡(jiǎn)單背景（video2）的查準(zhǔn)率較復(fù)雜背景（video3）的查準(zhǔn)率較高。本文提出的方法對(duì)于簡(jiǎn)單背景的視頻在保證高查全率的情況下也能保證較好的查準(zhǔn)率，表明該方法的性能較好。

實(shí)驗(yàn)3方法對(duì)比

測(cè)試本文改進(jìn)的PCA算法和傳統(tǒng)的PCA算法在視頻人臉檢索方面的優(yōu)劣。該部分在視頻人臉檢索時(shí)分別采用文獻(xiàn)[15]的方法（傳統(tǒng)的PCA）和本文方法（改進(jìn)的PCA）進(jìn)行實(shí)驗(yàn)，并對(duì)兩者進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明在視頻人臉檢索方面，本文的方法明顯優(yōu)于文獻(xiàn)方法。實(shí)驗(yàn)采用video2和video3作為測(cè)試集。

從表6的數(shù)據(jù)中看出，本文方法在查全率和查準(zhǔn)率方面有了進(jìn)一步的提高。由于傳統(tǒng)的PCA算法提取的是全局特征，在進(jìn)行特征提取之前，未對(duì)原始人臉樣本進(jìn)行任何處理，因此，受光照條件變化的影響很大。而本文提出的方法在傳統(tǒng)的PCA算法中融合基于局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理算法，增強(qiáng)人臉圖像的清晰度，突出人臉的重要面部器官的特征，再進(jìn)行特征提取，從而有效降低了光照條件對(duì)人臉檢索的影響。該部分實(shí)驗(yàn)結(jié)果表明了本文提出的方法在視頻人臉檢索方面的表現(xiàn)較好。

表6 文獻(xiàn)方法和本文方法對(duì)比（%）

6 結(jié)論

通過對(duì)PCA算法的改進(jìn)，使其克服光照對(duì)人臉的影響，把奇異值分解與改進(jìn)的PCA算法相結(jié)合，應(yīng)用于單樣本視頻人臉檢索，從而提高了視頻中人臉檢索的查全率和查準(zhǔn)率，比采用傳統(tǒng)的PCA方法進(jìn)行視頻人臉檢索的效果較好，取得了很好的檢索效果。同時(shí)基于本文提出的方法，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)視頻人臉檢索系統(tǒng)。在今后的工作中，需要研究更穩(wěn)定的人臉特征提取算法，即使在復(fù)雜背景下也能達(dá)到理想的檢索效果，這將是進(jìn)一步的研究重點(diǎn)。

[1]莊越挺，潘云鶴，吳飛，等.網(wǎng)上多媒體信息分析與檢索[M].北京：清華大學(xué)出版杜，2002.

[2]Ngo C W，Zhang H J，Pong T C.Recent advances in content based video analysis[J].International Journal of Image and Graphic，2001，1（3）：445-469.

[3]Everingham M，Zisserman A.Identifying individuals in video by combining“Generative”and discriminative head models[C]// Proceedings of the 10th IEEE International Conference on Computer Vision，Beijing，2005：1103-1110.

[4]Arandjelovic O，Zisserman A.Automatic face recognition for film character retrieval in feature-length films[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，San Diego，2005：860-867.

[5]Sivic J，Everingham M，Zisserman A.Person spotting：video shot retrieval for face sets[C]//Proceedings of International Conference on Image and Video Retrieval，Singapore，2005：226-236.

[6]徐興，楊祥.視頻檢索系統(tǒng)中的視頻片段自動(dòng)檢測(cè)方法[C]//第十屆全國(guó)多媒體技術(shù)學(xué)術(shù)會(huì)議論文集，北京，2001：99-106.

[7]Sethi I K，Patel N V.A statistical approach to scene change detection[C]//Proc Storage and Retrieval for Image and Video Database III，1995，2420：329-339.

[8]Viola P，Jone M J.Robust real-time face detection[J].International Journal of Computer Vision，2004，57（2）：137-154.

[9]Yoo T W，Oh I S.A fast algorithm for tracking human faces based on chromatichistograms[J].Pattern Recognition Letters，1999，20（10）：967-978.

[10]Yang M H，Ahuja N.Detecting human faces in color images[J]. Image and Vision Computing，1999，18（1）：63-75.

[11]Zhao W，Chellappa R，Phillips P J，et al.Face recognition：a literature survey[J].ACM Computing Surveys，2004，35（4）：399-458.

[12]Zhao Jiali，Wen Jinwei，Luo Siwei.Face recognition：a facial action reconstruction and ICA representation approach[C]// ICII，2001：456-461.

[13]Zhao Jiali.Illumination ratio image：synthesizing and recognition with varying illuminations[J].Pattern Recognition Letters，2003，24：2703-2710.

[14]Lu C，Liu W，An S.Face recognition with only one training sample[C]//The 25th Chinese Control Conference，Harbin，China，2006：2215-2219.

[15]Turk M，Pentland A.Eigenface for recognition[J].Journal of Cognitive Neuroscience，1991，3（1）：71-86.

[16]Lee J S.Digital image enhancement and noise filtering by using local statistics[J].IEEE Trans on PAMI，1980，2（2）：165-168.

[17]張鋒，蔣一鋒，陳真誠(chéng)，等.對(duì)一種新的基于局部標(biāo)準(zhǔn)差的自適應(yīng)對(duì)比度增強(qiáng)算法的評(píng)價(jià)[J].光子學(xué)報(bào)，2003，32（8）：989-992.

奇異值分解和改進(jìn)PCA的視頻人臉檢索方法

梁 斌，段 富

LIANG Bin,DUAN Fu

College of Computer Science and Technology,Taiyuan University of Technology,Taiyuan 030024,China

This paper presents a method for face retrieval in video stream based on SVD and improved PCA.The PCA is improved through local mean and standard deviation in order to overcome the effects of illumination.The AdaBoost is used to detect human faces in image and video.The training samples are increased by Singular Value Decomposition（SVD）.On the basis of the original and new samples,the algebra features are extracted by using improved Principal Component Analysis（PCA）.The features are compared through nearest neighbor classifier and the retrieval results are displayed to users.Experimental results show the method performs well in simple background videos.

face detection;single sample face recognition;Singular Value Decomposition（SVD）;Principal Component Analysis（PCA）;video-based face retrieval

針對(duì)視頻中人臉檢索問題，提出一種基于奇異值分解和改進(jìn)PCA相結(jié)合的視頻中單樣本人臉檢索方法，其中通過融合局部均值和標(biāo)準(zhǔn)差的圖像增強(qiáng)處理來(lái)實(shí)現(xiàn)PCA算法的改進(jìn)，從而克服光照對(duì)目標(biāo)的影響。通過AdaBoost人臉檢測(cè)算法對(duì)人臉圖像和視頻進(jìn)行人臉檢測(cè)；通過奇異值分解增加訓(xùn)練樣本，在原樣本和新樣本的基礎(chǔ)上采用改進(jìn)的PCA人臉識(shí)別算法提取待檢測(cè)人臉和視頻中的人臉代數(shù)特征；采用最近鄰分類器進(jìn)行特征匹配，判斷視頻中檢測(cè)出的人臉是否為要檢索的目標(biāo)人臉。實(shí)驗(yàn)結(jié)果表明，該方法在簡(jiǎn)單背景的視頻環(huán)境下可以較準(zhǔn)確地檢索出目標(biāo)人臉。

人臉檢測(cè)；單樣本人臉識(shí)別；奇異值分解；主分量分析；基于視頻的人臉檢索

A

TP391

10.3778/j.issn.1002-8331.1110-0196

LIANG Bin,DUAN Fu.Method for face retrieval in video using SVD and improved PCA.Computer Engineering and Applications,2013,49（11）：177-182.

山西省科技攻關(guān)計(jì)劃項(xiàng)目（No.20080322008）。

梁斌（1987—），男，碩士研究生，主要研究領(lǐng)域：圖像處理與模式識(shí)別；段富（1958—），男，博士，教授，研究領(lǐng)域：軟件開發(fā)環(huán)境與工具、軟件理論與算法。E-mail：bin.liang.ty@gmail.com

2011-10-12

2011-12-12

1002-8331（2013）11-0177-06

CNKI出版日期：2012-03-08 http://www.cnki.net/kcms/detail/11.2127.TP.20120308.1520.031.html