黃知超 張鵬 趙華榮 趙文明

摘 要： 針對智能視頻監(jiān)控中人臉檢測受復(fù)雜環(huán)境以及多姿態(tài)人臉的影響，采用一種基于膚色特征與AdaBoost算法相結(jié)合的方法，提取兩種算法各自優(yōu)點(diǎn)并加以優(yōu)化，其主要思想是利用膚色特征建立膚色模型，選出含有人臉預(yù)檢測膚色區(qū)域，進(jìn)行人臉樣本訓(xùn)練，提取人臉樣本Haar特征，進(jìn)行弱分類器訓(xùn)練，利用迭代的方法，再將不同的弱分類器組合成強(qiáng)分類器，最后形成級聯(lián)分類器，運(yùn)用級聯(lián)分類器檢測含有人臉的膚色區(qū)域。實(shí)驗(yàn)結(jié)果表明，該方法不僅提高了智能視頻監(jiān)控中人臉檢測的效率和準(zhǔn)確性，而且具有較好的魯棒性。

關(guān)鍵詞： 人臉檢測； 膚色特征； AdaBoost算法； 弱分類器訓(xùn)練； 級聯(lián)分類器； 視頻監(jiān)控

中圖分類號： TN911.73?34； TP319.4 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）07?0058?04

Research on human face detection algorithm based on skin

color information in intelligent video surveillance

HUANG Zhichao， ZHANG Peng， ZHAO Huarong， ZHAO Wenming

（School of Mechanical and Electrical Engineering， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Since the human face detection in intelligent video surveillance is influenced by complex environment and multi?pose human face， a method based on skin color feature algorithm and AdaBoost algorithm is adopted to extract and optimize the respective advantages of the two algorithms. According to the main thought of the method， the skin color feature is used to establish the skin color model， and select the pre?detecting skin color area containing human face for human face sample training. The Haar feature of human face sample is extracted to train the weak classifiers. The iterative method is used to combine different weak classifiers into a strong classifier， so as to form a cascade classifier， with which the skin color region containing human face is detected. The experimental results show this method can improve the efficiency and accuracy of human face detection in intelligent video surveillance， and has strong robustness.

Keywords： human face detection； skin color feature； AdaBoost algorithm； weak classifier training； cascade classifier； video surveillance

0 引 言

隨著社會公共安全措施的日益增強(qiáng)和防范技術(shù)的不斷進(jìn)步，智能視頻監(jiān)控系統(tǒng)中的人臉檢測逐漸成為熱門的研究領(lǐng)域。人臉檢測技術(shù)是一種分析人臉特征信息進(jìn)行身份辨別的生物檢測技術(shù)，它涉及圖像處理、機(jī)器視覺、模式識別等眾多領(lǐng)域。通過人臉檢測判斷該人身份信息[1?2]，人們可以根據(jù)人臉的復(fù)雜變化，判斷出一個人的性格與情緒狀態(tài)。人臉檢測技術(shù)的最大優(yōu)點(diǎn)是檢測過程精度高、速度快以及更具保密性和方便性，廣泛應(yīng)用于計算機(jī)安全、網(wǎng)絡(luò)安全、機(jī)器視覺、門禁系統(tǒng)、醫(yī)學(xué)診斷系統(tǒng)和智能監(jiān)控系統(tǒng)等[3?4]。因此，對人臉檢測的算法研究成為重中之重。

人臉檢測技術(shù)是對載入的圖像經(jīng)過一定的算法處理，找到人臉并確定人臉大小和位置的過程[5?6]。但容易受到復(fù)雜環(huán)境的影響，提高了檢測的難度，如易受到人體姿態(tài)、面部表情、圖像旋轉(zhuǎn)方向、光照和遮擋等因素的影響[7]。海內(nèi)外學(xué)者對此做了很多研究，以AdaBoost算法為核心的人臉檢測算法是2001年由Paul Viola等人提出的，此算法保證了檢測的實(shí)時性[8]，但由于容易受到人臉姿態(tài)的影響，從而對多人臉檢測的準(zhǔn)確率較低；基于膚色特征的檢測方法主要利用膚色的穩(wěn)定性以及不依賴于人臉細(xì)節(jié)的特征[9]，對膚色區(qū)域的圖像進(jìn)行分割，在膚色區(qū)域中找到并確認(rèn)人臉位置，檢測速度快，但易出現(xiàn)把類似膚色背景物體錯判為人臉的情況，從而增大了誤判率。

本文結(jié)合膚色模型和AdaBoost算法的優(yōu)點(diǎn)，并加以優(yōu)化，利用膚色建模，進(jìn)行膚色分割，分割出含有人臉的預(yù)檢測膚色區(qū)域，結(jié)合AdaBoost算法訓(xùn)練人臉樣本，篩選出能夠區(qū)分人臉特征的弱分類器，再將一系列的弱分類器組合成強(qiáng)分類器，創(chuàng)建級聯(lián)分類器，對含有人臉預(yù)檢測膚色區(qū)域的人臉目標(biāo)進(jìn)行檢測。該方法不僅解決了智能視頻監(jiān)控中多姿態(tài)人臉以及在復(fù)雜背景下人臉檢測困難的問題，而且提高了人臉檢測的準(zhǔn)確率和效率。

1 膚色特征和級聯(lián)結(jié)構(gòu)AdaBoost算法解析

1.1 基于膚色特征的人臉檢測

基于膚色特征的人臉檢測方法如圖1所示，主要利用膚色特征在YCbCr空間分布呈現(xiàn)良好的聚類特性和統(tǒng)計分布規(guī)律性，找出含有人臉的膚色區(qū)域。

1.1.1 色彩空間轉(zhuǎn)換

對于不同種族和膚色的人，膚色差別是亮度的差別，而色度的差別很小[10]。而在RGB色彩空間中，各個分量都含有亮度信息，并且相關(guān)性大，易受光照影響。于是，采用YCbCr色彩空間進(jìn)行膚色特征檢測。

RGB色彩空間經(jīng)過線性轉(zhuǎn)換可以得到Y(jié)CbCr空間，其中分量[Y]代表亮度，分量[Cb]代表藍(lán)色分量與一個相對參考值的差，分量[Cr]代表紅色分量與一個相對參考值的差。RGB與YCbCr相互轉(zhuǎn)換的公式如下：

[YCbCr=0.2990.5870.114-0.168 7-0.331 30.50.5-0.418 7-0.081 3RGB+00.50.5] （1）

1.1.2 基于色彩空間的膚色分割

統(tǒng)計信息表明，世界上不同人種的皮膚顏色相差很大，但膚色信息受亮度影響較大，相對受色度信息影響很小，于是，在YCbCr空間內(nèi)，不考慮分量[Y]的影響，直接映射到CbCr空間上，呈現(xiàn)二維獨(dú)立分布，便于運(yùn)算。在膚色檢測過程中容易受到光照、噪聲等因素的影響，對待測樣本進(jìn)行光照補(bǔ)償、高斯濾波處理，降低不利因素的影響，提高檢測的準(zhǔn)確性。在YCbCr色彩空間內(nèi)，根據(jù)橢圓膚色模型，按照式（2）進(jìn)行膚色分割，做形態(tài)學(xué)處理，進(jìn)而得到理想的膚色區(qū)域檢測效果。

在YCbCr色彩空間中，若待檢測圖像像素滿足式（2），則認(rèn)為是膚色圖像，記為1；否則，記為0，形成二值圖像。

1.1.3 人臉區(qū)域篩選

由膚色模型篩選的膚色區(qū)域，很多不為人臉區(qū)域，需要對這些區(qū)域進(jìn)行篩選。如受手臂、噪聲、膚色相近的物體和背景環(huán)境等因素影響，存在白色的孤立點(diǎn)以及類膚色的小區(qū)域，做形態(tài)學(xué)處理，利用連續(xù)的開閉運(yùn)算，消除了一些孤立點(diǎn)以及小區(qū)域，進(jìn)一步確定人臉區(qū)域（限定條件）：

1） 若目標(biāo)高寬比[k（k≤0.8，k≥2.4）]，則不是人臉區(qū)域并刪除該區(qū)域；

2） 膚色面積過大或過小，則認(rèn)為不是人臉區(qū)域，刪除該膚色區(qū)域；

3） 矩形面積[S]是目標(biāo)區(qū)長度與目標(biāo)區(qū)寬度的乘積，目標(biāo)區(qū)面積為[s，]若[sS<0.6，]則認(rèn)為不是人臉區(qū)域；

4） 膚色檢測區(qū)域小于300的去掉，一般多為手或與膚色相近的區(qū)域。

如圖2所示為基于膚色特征的人臉檢測過程。

1.2 AdaBoost算法人臉檢測

AdaBoost算法的人臉檢測如圖3所示，選擇的人臉樣本為正向，在速率和準(zhǔn)確性方面，AdaBoost算法對人臉的檢測具有良好的優(yōu)勢，可以得到良好的檢測效果。具體算法是：對候選區(qū)域進(jìn)行積分圖計算，快速得到Haar?like特征，利用Haar?like特征創(chuàng)建弱分類器，一系列的弱分類器經(jīng)過多次迭代生成強(qiáng)分類器，再將多個強(qiáng)分類器級聯(lián)組成更有檢測效果的級聯(lián)結(jié)構(gòu)分類器。

1.2.1 級聯(lián)結(jié)構(gòu)的AdaBoost算法原理

AdaBoost算法是基于統(tǒng)計理論的一種機(jī)器學(xué)習(xí)算法，其基本原理是訓(xùn)練大量的正負(fù)樣本，篩選樣本的關(guān)鍵特征，并把正負(fù)樣本區(qū)分開來。Viola和Jones提出了積分圖像概念，并且以AdaBoost算法為基礎(chǔ)訓(xùn)練人臉檢測分類器，創(chuàng)建第一個實(shí)時的人臉檢測系統(tǒng)[11]。該系統(tǒng)利用積分圖像，快速計算正負(fù)樣本大量的簡單特征，再利用AdaBoost學(xué)習(xí)算法篩選一些重要特征，構(gòu)造一組弱分類器，多個弱分類器經(jīng)過線性組合，形成一個強(qiáng)分類器，然后采用多個強(qiáng)分類器迭代，形成級聯(lián)結(jié)構(gòu)，大大提高檢測準(zhǔn)確率。

1.2.2 Haar特征

Haar?like特征作為人臉檢測的特征表示，常常使用到三種類型四種形式（見圖4）。Haar特征分為三類：邊緣特征、線性特征、中心特征和對角線特征，組合成特征模板。Haar特征值反映了圖像的灰度變化情況。

式中[αt=log1βt]。

6） 通過不斷調(diào)整檢測窗口的位置和比例找到人臉。

1.2.3 級聯(lián)結(jié)構(gòu)的分類器的訓(xùn)練

在AdaBoost算法學(xué)習(xí)中，通過篩選所檢測圖像獲取大量具有代表性的Haar特征值，每一個Haar特征構(gòu)建一個弱分類器，將一系列弱分類器經(jīng)過迭代構(gòu)建強(qiáng)分類器，級聯(lián)分類器是把訓(xùn)練好的強(qiáng)分類器層層迭代并串聯(lián)在一起，每級都有相同的檢測率，并且保留對下一級具體物體的檢測，而每一級的子分類器則有許多Haar特征，并且每個特征帶一個閾值和兩個分支值，每級子分類器帶一個總的閾值，能夠阻擋大部分非人臉樣本通過，人臉樣本順利篩選。級聯(lián)結(jié)構(gòu)是一種從粗到細(xì)的結(jié)構(gòu)，從弱分類器到強(qiáng)分類器的過程，從而形成級聯(lián)結(jié)構(gòu)，經(jīng)過多個分類器篩選，人臉樣本最終會以大概率被檢測到，從而被判定為人臉。

2 基于膚色特征與級聯(lián)結(jié)構(gòu)的AdaBoost算法

人臉檢測

基于膚色特征的人臉檢測方法在人臉表情變化以及人臉側(cè)面有很好的檢測率，但容易受復(fù)雜背景以及光照的影響，出現(xiàn)誤檢和漏檢的現(xiàn)象；AdaBoost人臉檢測算法受背景影響比較小，但容易受到人臉姿態(tài)變化的影響，從而影響檢測率。因此，將兩者的優(yōu)點(diǎn)與缺點(diǎn)進(jìn)行對比分析，汲取兩種算法的優(yōu)點(diǎn)，將兩種方法進(jìn)行混合并加以優(yōu)化。通過膚色模型得到含有人臉的待檢測膚色區(qū)域，然后利用分類器對待檢測膚色區(qū)域進(jìn)行分類，從而提高級聯(lián)分類器的檢測速率，人臉檢測相關(guān)流程圖如圖5所示。

3 實(shí)驗(yàn)結(jié)果與分析

通過對膚色特征與AdaBoost算法兩種人臉檢測算法進(jìn)行比較，汲取兩者的優(yōu)點(diǎn)，并加以優(yōu)化，從而得到檢測效果好、檢測速率快的人臉檢測方法。

本實(shí)驗(yàn)從單臉、多人臉、簡單背景和復(fù)雜背景四個方面進(jìn)行測試，比較每一種算法的優(yōu)缺點(diǎn)。測試系統(tǒng)基于VS2013+OpenCV編程，在Intel[?]CoreTm i5?4590 CPU @ 3.30 GHz、4 GB內(nèi)存的計算機(jī)上實(shí)現(xiàn)。實(shí)驗(yàn)樣本：180張從監(jiān)控視頻中截取的彩色仿真圖像，圖像規(guī)格為320×240像素，其中包含有單人臉、多人臉、復(fù)雜背景以及人臉姿態(tài)各異的圖像，共856張人臉，仿真結(jié)果如圖6與圖7所示。

對檢測結(jié)果進(jìn)行分析，統(tǒng)計各個算法的檢測結(jié)果如表1所示。

依據(jù)對表1統(tǒng)計數(shù)據(jù)的分析，采用膚色特征的人臉檢測方法在檢測率上比較高，而且檢測速度比較快，但誤檢率相對較高，主要因?yàn)槿菀资艿筋愃颇w色區(qū)域以及光照條件的影響；而采用具有級聯(lián)結(jié)構(gòu)的AdaBoost算法容易受到人臉姿態(tài)和復(fù)雜背景的影響，從而使多人臉檢測率比較低，檢測速率不高，但誤檢率比較低。本文將兩者各自的優(yōu)點(diǎn)相結(jié)合，并加以優(yōu)化，在滿足檢測率的情況下，能夠有比較低的誤檢率，也可以同時滿足相對比較好的檢測率和誤檢率，在檢測速度方面相對兩種算法也有很大的提高，在一定范圍內(nèi)滿足人臉檢測的準(zhǔn)確性。

4 結(jié) 語

本文針對膚色特征以及級聯(lián)結(jié)構(gòu)人臉檢測方法進(jìn)行解析和對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，膚色特征容易受到光照條件的影響，而AdaBoost算法容易受到人臉姿態(tài)的影響，其中任何一種算法都不能滿足檢測率和誤檢率的要求，因此，本文取兩種算法各自的優(yōu)點(diǎn)，并加以優(yōu)化。實(shí)驗(yàn)結(jié)果證明，在智能視頻監(jiān)控中，該方法不僅達(dá)到了檢測率和誤檢率的要求，而且具有比較好的檢測效率，并且對光照、遮擋以及多姿態(tài)人臉等復(fù)雜環(huán)境條件，在一定程度上也有很好的檢測效果。

參考文獻(xiàn)

[1] 陳一寧，陳曉光.基于手機(jī)和人臉識別的身份識別系統(tǒng)[J].計算機(jī)應(yīng)用與軟件，2011，28（3）：77?79.

CHEN Yining， CHEN Xiaoguang. A novel identity recognition system based on mobile phone and face recognition [J]. Computer applications and software， 2011， 28（3）： 77?79.

[2] 杜薇薇，瞿春柳.人臉檢測技術(shù)在3G移動增值業(yè)務(wù)中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2009，32（22）：80?83.

DU Weiwei， QU Chunliu. Human face detection technology in 3G mobile value?added business application [J]. Modern electronics technique， 2009， 32（22）： 80?83.

[3] YANG M H， KRIEGMAN A N. Detecting faces in images： a survey [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（1）： 34?58.

[4] 胡一帆，胡友彬，李騫，等.基于視頻監(jiān)控的人臉檢測跟蹤識別系統(tǒng)研究[J].計算機(jī)工程與應(yīng)用，2016，52（21）：1?7.

HU Yifan， HU Youbin， LI Qian， et al. Research on face detection， tracking and recognition system based on video surveillance [J]. Computer engineering and applications， 2016， 52（21）： 1?7.

[5] 賈慧星，章毓晉.智能視頻監(jiān)控中基于機(jī)器學(xué)習(xí)的自動人數(shù)統(tǒng)計[J].電視技術(shù)，2009，33（4）：78?81.

JIA Huixing， ZHANG Yujin. Automatic people counting based on machine learning in intelligent video surveillance [J]. Video engineering， 2009， 33（4）： 78?81.

[6] 馮翔，楊健，錢建軍.基于多尺度圖像局部結(jié)構(gòu)分解的人臉特征提取方法[J].計算機(jī)與現(xiàn)代化，2015 （3）：52?56.

FENG Xiang， YANG Jian， QIAN Jianjun. Face feature extraction and recognition method for multi?scale local structure?based image decomposition [J]. Computer and modernization， 2015（3）： 52?56.

[7] QIAN Z， XU D. Research advances in face recognition [C]// Proceedings of 2009 Chinese Conference on Pattern Recognition. [S.l.]： IEEE， 2009： 1?5.

[8] VIOLA P， JONES M J. Robust real?time face detection [J]. International journal of computer vision， 2004， 5（2）： 137?154.

[9] WU H， CHEN Q， YACHIDA M. Face detection from color images using a fuzzy pattern matching method [J]. IEEE transactions on pattern analysis and machine intelligence， 1999， 21（6）： 557?563.

[10] YANG J， WAIBEL A. A real?time face tracker [C]// Procee?dings of the 3rd IEEE Workshop on Applications of Computer Vision. [S.l.]： IEEE， 1996： 142?147.

[11] 蔣政，程春玲.基于Haar特性的改進(jìn) HOG的人臉特征提取算法[J].計算機(jī)科學(xué)，2017，44（1）：303?307.

JIANG Zheng， CHENG Chunling. Improved HOG face extraction algorithm based on Haar characteristics [J]. Computer science， 2017， 44（1）： 303?307.