林 哲,閆敬文

(1.汕頭職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系,廣東 汕頭 515078;2.汕頭大學(xué)工學(xué)院電子工程系,廣東 汕頭 515063)

0 引言

人臉識(shí)別技術(shù)是指根據(jù)人臉圖像確定人物的身份的技術(shù),在視頻監(jiān)控、視頻會(huì)議、照片檢索、身份認(rèn)證等多個(gè)領(lǐng)域有重要的應(yīng)用價(jià)值.但是,除了與物體識(shí)別[1]、手勢(shì)識(shí)別[2]等圖像識(shí)別問(wèn)題一樣要面對(duì)光影、噪聲的影響之外,人臉識(shí)別還具有特殊的困難之處.首先,由于臉部肌肉的運(yùn)動(dòng)使臉部的彈性變化很大,有喜怒哀樂(lè)的表情,這些都會(huì)導(dǎo)致臉部形象發(fā)生變化,比如,笑的時(shí)候會(huì)瞇上眼睛或張大嘴巴,怒的時(shí)候會(huì)瞪大眼睛;其次,人臉是一個(gè)復(fù)雜的三維表面,五官等重要特征分布在人臉正面和兩側(cè),因此,不同的攝像角度和姿態(tài)會(huì)使人臉的透視效果產(chǎn)生很大差異;再次,發(fā)型,眼鏡、絡(luò)腮胡須等也都可能對(duì)臉部形象造成不同程度的改變;最后,遮擋、光照也是影響人臉識(shí)別的主要因素.

當(dāng)前,人臉識(shí)別的基本方法是從人臉圖像中提取出特征然后與已知人臉樣本的特征進(jìn)行匹配.現(xiàn)有的研究基于不同特征提出了很多種人臉識(shí)別方法,例如2DPCA[3]、Local Probabilistic Subspace[4]、SOM face[5]、S2DPCA[6]、U2DDLPP[7]、KPCA+CNPE[8]、WV2PCA[9]、Radon變換[10]、拉普拉斯平滑變換[11]、AIC[12]等.

David G.Lowe[13]在2004年提出的SIFT(scale invariant feature transform)特征是一種能夠?qū)Τ叨瓤臻g、圖像縮放、旋轉(zhuǎn)等仿射變換保持不變的圖像局部特征,對(duì)噪聲也能夠保持一定程度的穩(wěn)定性.SIFT特征在物體識(shí)別[1]、手勢(shì)識(shí)別[2]、圖像匹配[14]、圖像拼接[15]、圖像檢索[16]、人臉識(shí)別[17,18]等領(lǐng)域都有成功應(yīng)用.

文獻(xiàn)[1]將SIFT特征用于從足球比賽圖像中識(shí)別出足球,先利用霍夫變換從圖像中檢測(cè)并分割出圓形物體,然后從每個(gè)被檢測(cè)出的圓形物體圖像中提取出SIFT特征集合,再與存儲(chǔ)足球圖像SIFT特征的數(shù)據(jù)庫(kù)進(jìn)行匹配,從而判定是否為足球.文獻(xiàn)[2]將SIFT特征用于人機(jī)交互中的手勢(shì)識(shí)別,可以識(shí)別"六"、"手掌"、"拳頭"三種具體手勢(shì).先從訓(xùn)練圖像中提取出SIFT特征,利用每個(gè)SIFT特征構(gòu)造一個(gè)弱分類器,再使用Adaboost選出一部分弱分類器聯(lián)合成強(qiáng)分類器,總共構(gòu)造了四個(gè)強(qiáng)分類器,一個(gè)用于識(shí)別圖像中是否有手勢(shì),另外三個(gè)分別用于識(shí)別三種具體手勢(shì).在每個(gè)強(qiáng)分類器中,計(jì)算每個(gè)被選出的弱分類器的SIFT特征與目標(biāo)圖像的歐氏距離,當(dāng)距離小于弱分類器閾值時(shí),就將該弱分類器的權(quán)重累加,最后以權(quán)重累加值是否超過(guò)強(qiáng)分類器閾值作為最終分類依據(jù).

SIFT特征的主要缺點(diǎn)是計(jì)算復(fù)雜性高,而且每個(gè)SIFT特征向量長(zhǎng)達(dá)128維.本文針對(duì)光照、表情、噪聲等因素容易造成誤識(shí)別的問(wèn)題,將文獻(xiàn)[2]方法進(jìn)行改進(jìn)并用于人臉識(shí)別,提出一種改進(jìn)的基于Adaboost和SIFT特征的ADSIFT人臉識(shí)別方法.實(shí)驗(yàn)表明該方法在ORL人臉數(shù)據(jù)庫(kù)上可達(dá)到98%識(shí)別率,優(yōu)于文獻(xiàn)[6-9]的方法.

2 基于SIFT特征的人臉識(shí)別

文獻(xiàn)[17]利用SIFT特征向量來(lái)衡量人臉圖像的相似性.先從人臉圖像中分割出五官所在的六個(gè)子區(qū)域,把每個(gè)子區(qū)域圖像的相似度定義為SIFT特征向量的最大相似度,再綜合六個(gè)子區(qū)域的相似度得到總體相似度.但由于表情的影響,眼睛、嘴巴的形態(tài)會(huì)發(fā)生很大變化,容易造成該子區(qū)域的SIFT特征向量集合不穩(wěn)定而導(dǎo)致誤匹配;另一方面,由于角度的影響,某一側(cè)的眼睛或耳朵子區(qū)域也可能沒(méi)有出現(xiàn)在人臉圖像中,從而影響該方法的適用性.

文獻(xiàn)[18]也是從人臉圖像中分割出若干子區(qū)域,但不是根據(jù)五官所在位置進(jìn)行自然劃分,而是通過(guò)K-means方法將人臉圖像所有SIFT特征向量進(jìn)行聚類,據(jù)此將人臉圖像分割為若干子區(qū)域,而不再受到五官位置的約束,具有更好的靈活性.但由于這種子區(qū)域劃分方法是以SIFT特征向量這種局部特征為依據(jù),因而對(duì)表情、光照的變化非常敏感,使子區(qū)域的劃分結(jié)果有很大不確定性,容易造成不同臉部子區(qū)域的誤匹配.

每個(gè)人的臉部圖像都有一些與眾不同的特征,借助于SIFT特征的尺度不變性和旋轉(zhuǎn)不變性,從臉部圖像提取得到的SIFT特征向量可以在尺度、角度甚至表情有變化的情況下仍保持一定穩(wěn)定.但實(shí)際上從同一個(gè)人的不同臉部圖像提取得到的SIFT特征向量集合卻有很大差異,這是因?yàn)楣庹?、噪聲、夸張表情等因素可能破壞某些重要的SIFT特征向量或者帶來(lái)額外的SIFT特征向量,這些SIFT特征向量是無(wú)法反映臉部特征的,讓所有SIFT特征向量都參與計(jì)算反而會(huì)對(duì)準(zhǔn)確衡量臉部圖像相似度造成干擾.因此,必須從人臉圖像的SIFT特征向量集合中選出那些最穩(wěn)定的SIFT特征向量作為衡量相似度的依據(jù).

2.1 SIFT特征

2.1.1 SIFT特征的提取

David G.Lowe提出的SIFT特征提取算法[13],先通過(guò)檢測(cè)尺度空間極值點(diǎn)構(gòu)造出不同尺度的高斯差分核與圖像卷積生成高斯差分尺度空間(DOG scale-space),如圖1所示;再在所有檢測(cè)點(diǎn)中選出那些在尺度空間和二維圖像空間同時(shí)取得極大值或極小值的檢測(cè)點(diǎn)作為關(guān)鍵點(diǎn),計(jì)算出每個(gè)關(guān)鍵點(diǎn)梯度模值和梯度方向;最后,將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向,然后以關(guān)鍵點(diǎn)為中心取16X16的窗口,分割為16個(gè)4X4的子窗口,在每個(gè)子窗口內(nèi)計(jì)算8個(gè)方向的梯度累加值,最后得到128個(gè)數(shù)據(jù),形成128維的SIFT特征向量.

圖1 在不同尺度下生成高斯差分尺度空間[13]

2.1.2 從人臉圖像提取SIFT特征向量

用SIFT算法,從每副人臉圖像提取得到SIFT特征向量集合,結(jié)果如圖2所示,其中每個(gè)SIFT特征向量用箭頭標(biāo)出,箭頭的起點(diǎn)和方向分別表示SIFT特征向量的位置和方向.

圖2 從人臉圖像提取得到SIFT特征向量

2.2構(gòu)造人臉圖像相似度函數(shù)的算法

對(duì)每個(gè)訓(xùn)練圖像m,SIFTm表示提取得到的SIFT特征向量集合,本文在文獻(xiàn)[2]方法的基礎(chǔ)上進(jìn)行了改進(jìn),利用一種基于Adaboost的算法從SIFTm中選出子集,并為子集中每個(gè)SIFT特征向量分配閾值和權(quán)重,然后用于構(gòu)造相似度函數(shù).

Adaboost是一種優(yōu)秀的分類算法,其基本思想是利用多個(gè)弱分類器聯(lián)合形成強(qiáng)分類器,要求每個(gè)被選出的弱分類器必須至少優(yōu)于隨機(jī)猜測(cè).Adaboost算法由循環(huán)構(gòu)成,每輪循環(huán)將根據(jù)正、反訓(xùn)練樣本及其權(quán)重,從弱分類器集合中選出一個(gè)最好的弱分類器,使之具有最小的錯(cuò)誤率,然后重新調(diào)整正、反樣本的權(quán)重,增加那些被正確分類的訓(xùn)練樣本的權(quán)重,減少那些被錯(cuò)誤分類的訓(xùn)練樣本的權(quán)重,使Adaboost算法在下一輪循環(huán)中更關(guān)注那些被錯(cuò)誤分類的訓(xùn)練樣本.循環(huán)過(guò)程持續(xù)到選出足夠數(shù)量的弱分類器或者剩余弱分類器的錯(cuò)誤率都大于0.5為止.最后得到的強(qiáng)分類器由那些被選出來(lái)的弱分類器的代數(shù)和組成.

為了構(gòu)造人臉圖像的相似度函數(shù),令

Q={(SIFT1,l1),(SIFT2,l2),…,(SIFTm,lm),},其中SIFTm表示訓(xùn)練圖像m的SIFT特征向量集合,lm表示訓(xùn)練圖像m的類別.Bm=(→p,θp,αp)→p∈SIFTm),其中 θp和 αp分別表示SIFT特征向量對(duì)應(yīng)的閾值和權(quán)重.

對(duì)訓(xùn)練圖像m,構(gòu)造相似度函數(shù)Sm(x)的算法如下所述:

(1)為每個(gè)樣本(SIFTu,lu)∈Q-({SIFTm,lm)}分配一個(gè)初始權(quán)重

(2)利用每個(gè)→p∈SIFTm并選擇閾值θp可定義一個(gè)分類器:

該分類器稱為弱分類器,它對(duì)所有(SIFTu,lu)∈Q-{(SIFTm,lm)}進(jìn)行分類,錯(cuò)誤率為:

調(diào)整 θp,使 hp,θp(x)的錯(cuò)誤率最小,記 ep=min({ep,θpθp∈[0,1]})

(3)得到弱分類器集合{hp,θp(x)→p∈SIFTm}后,從中選出一個(gè)錯(cuò)誤率最低的弱分類器,即選出ht,θt(x)滿足et=min({ep→p∈SIFTm}.若et≥0.5,說(shuō)明當(dāng)前最好的弱分類器的效果并不優(yōu)于隨機(jī)猜測(cè),因此不再挑選弱分類器,跳轉(zhuǎn)到第(5)步.若et<0.5,則令其中αt就是該弱分類器的權(quán)重.可以看出,錯(cuò)誤率越低的弱分類器,其對(duì)應(yīng)的SIFT特征向量的區(qū)分能力越強(qiáng),因而將得到更大的權(quán)重.

(4)根據(jù)最佳弱分類器的分類結(jié)果調(diào)整每個(gè)訓(xùn)練樣本的權(quán)重.被ht,θt(x)正確分類的樣本,調(diào)整其權(quán)重由于βt<1,相當(dāng)于增加了被ht,θt(x)錯(cuò)誤分類的樣本的權(quán)重.

(5)標(biāo)準(zhǔn)化權(quán)重集合{w},使之成為概率分布.

重復(fù)上述第(2)-(5)步,直至選出盡快多弱分類器.

(6)利用被選出的弱分類器構(gòu)造相似度函數(shù).

首先,兩個(gè)SIFT特征向量→p和→q的相似度定義為它們的內(nèi)積:

接下來(lái),利用弱分類器所對(duì)應(yīng)的SIFT特征向量和閾值、權(quán)重來(lái)構(gòu)造訓(xùn)練圖像m的相似度函數(shù):

而SIFT特征向量→p與SIFT特征向量集合Λ的相似度定義為:

可以看出,與文獻(xiàn)[2]方法不同的是,本文并非直接利用弱分類器的代數(shù)和作為強(qiáng)分類器,而是利用弱分類器所對(duì)應(yīng)的SIFT特征向量和閾值、權(quán)重來(lái)構(gòu)造相似度函數(shù),每個(gè)相似度函數(shù)將用于衡量特定訓(xùn)練圖像的SIFT特征向量集與目標(biāo)圖像SIFT特征向量集的相似度.

上述算法用偽代碼描述如下:

對(duì)每個(gè)→p∈SIFTm,選擇最佳閾值θp構(gòu)造弱分類器hp,θp(x),使其對(duì)所有(SIFTu,lu)∈Q-

根據(jù)公式(5),由Bm構(gòu)造人臉圖像的相似度函數(shù)Sm(x)

2.3 使用相似度函數(shù)識(shí)別目標(biāo)圖像的算法

構(gòu)造出每個(gè)訓(xùn)練圖像的相似度函數(shù)之后,就可以分別計(jì)算目標(biāo)圖像x與每個(gè)訓(xùn)練圖像的相似度,相似度越高說(shuō)明兩張人臉圖像屬于同一個(gè)人的概率越大,從而求出目標(biāo)圖像x與每個(gè)類的訓(xùn)練圖像的平均相似度,則目標(biāo)圖像應(yīng)屬于平均相似度最高的類.上述算法用偽代碼描述如下:

3 仿真實(shí)驗(yàn)與討論

3.1 實(shí)驗(yàn)結(jié)果

為了測(cè)試ADSIFT方法的識(shí)別效果,在Matlab7.0中實(shí)現(xiàn)了算法A1和A2,并在ORL人臉庫(kù)上進(jìn)行識(shí)別實(shí)驗(yàn).ORL人臉庫(kù)中包含40個(gè)不同身份的人,每個(gè)人有10張圖像,表情、轉(zhuǎn)角有變化,如圖3所示.

圖3 ORL人臉庫(kù)

每次實(shí)驗(yàn)過(guò)程分為四個(gè)階段:

(1)利用David G.Lowe[13]提供的SIFT算法從每個(gè)圖像提取出SIFT特征向量集合.

(2)用算法A1對(duì)訓(xùn)練圖像進(jìn)行學(xué)習(xí),得到的學(xué)習(xí)結(jié)果記錄了從每個(gè)訓(xùn)練圖像的SIFT特征向量集合選出來(lái)的SIFT特征向量及其對(duì)應(yīng)的閾值和權(quán)重.

(3)用算法A2對(duì)每個(gè)測(cè)試圖像進(jìn)行識(shí)別.

(4)統(tǒng)計(jì)識(shí)別率.識(shí)別率的定義如下:

實(shí)驗(yàn)結(jié)果如表1所示,可見(jiàn)識(shí)別率高達(dá)98%.

表1 ORL人臉庫(kù)識(shí)別率

將ADSIFT方法的識(shí)別率與文獻(xiàn)[6-9]提出的方法對(duì)比,如表2所示,可見(jiàn)ADSIFT方法的識(shí)別率優(yōu)于文獻(xiàn)[6-9]的方法,

表2 ORL人臉庫(kù)識(shí)別率對(duì)比

3.2討論

實(shí)驗(yàn)結(jié)果證明了ADSIFT方法的有效性,該方法具有很高的識(shí)別率,其原因主要有兩個(gè)方面.首先,SIFT特征本身具有良好的尺度不變性和旋轉(zhuǎn)不變性,因此,當(dāng)人臉圖像在尺度、角度方面發(fā)生變化時(shí),SIFT特征能保持穩(wěn)定,為準(zhǔn)確識(shí)別提供了重要條件,解決了尺度變化、角度變化這兩個(gè)影響識(shí)別率的因素.其次,SIFT特征是一種局部特征,提取的是人臉局部區(qū)域的特點(diǎn),因此,當(dāng)人臉有局部遮擋時(shí)(如戴眼鏡、帽子等),未被遮擋區(qū)域的SIFT特征完全不受遮擋的影響,從而解決了遮擋這個(gè)影響識(shí)別率的因素;而當(dāng)人臉表情發(fā)生變化時(shí),人臉因受到表情肌肉的拉動(dòng)而發(fā)生一定的彈性變化,但主要集中在表情肌肉豐富的眼睛周?chē)⒆彀椭車(chē)蛢蛇吥橆a等區(qū)域,其他一些區(qū)域(如額頭、眼睛內(nèi)部、鼻子、耳朵等)并不會(huì)有明顯變化,其局部特征也會(huì)保持相對(duì)穩(wěn)定.此時(shí),算法A1發(fā)揮了挑選穩(wěn)定特征的重要作用,從人臉圖像中收集穩(wěn)定特征并根據(jù)其穩(wěn)定程度分別精確賦予權(quán)重,能更好地解決表情這個(gè)影響識(shí)別率的因素.

事實(shí)上,如果考慮文獻(xiàn)[18]中劃分人臉子區(qū)域時(shí)的一種特殊情況,將每個(gè)SIFT特征向量的位置作為初始聚類中心,則人臉圖像將被劃分為n個(gè)子區(qū)域(n等于SIFT特征向量的數(shù)量),每個(gè)子區(qū)域中包含1個(gè)SIFT特征向量.同時(shí)將文獻(xiàn) [18]定義的局部相

似度計(jì)算公式SL(It,Ir)視為圖像Ir的函數(shù)FIt(Ir).容易看出,此時(shí)FIt(Ir)就是本文公式(3)定義的相似度函數(shù)SIt(Ir).

因此,本文的算法A1實(shí)際上是將訓(xùn)練圖像劃分成更多子區(qū)域,使每個(gè)子區(qū)域只包含一個(gè)SIFT特征向量,然后再?gòu)淖訁^(qū)域集合中剔除那些與同類圖像相似度過(guò)低的子區(qū)域,只保留那些與同類圖像的相似度大于或等于閾值的子區(qū)域來(lái)構(gòu)造相似度函數(shù),這與文獻(xiàn)[18]在計(jì)算局部子區(qū)域相似度時(shí)采用閾值是一致的.

比文獻(xiàn)[18]更進(jìn)一步的是,在本文中每個(gè)子區(qū)域都通過(guò)算法A1分別得到一個(gè)獨(dú)立的精確閾值,而不是統(tǒng)一采用0.7作為閾值,因此更能抓住每個(gè)具體訓(xùn)練圖像的獨(dú)特之處快速進(jìn)行相似度比較,既降低了計(jì)算復(fù)雜度,又增強(qiáng)了魯棒性.

4 結(jié)論和展望

本文將Adaboost算法與SIFT算子結(jié)合起來(lái)用于人臉識(shí)別,提出一種改進(jìn)的SIFT特征人臉識(shí)別方法.先利用一種基于Adaboost的算法選出每個(gè)訓(xùn)練圖像中最有區(qū)分能力的SIFT特征向量并確定其閾值和權(quán)重,然后構(gòu)造出每個(gè)訓(xùn)練圖像的相似度函數(shù)并據(jù)此計(jì)算目標(biāo)圖像的類別.實(shí)驗(yàn)證明該方法能夠有效提高人臉識(shí)別率,在ORL人臉數(shù)據(jù)庫(kù)上識(shí)別率可達(dá)到98%.

但是,由于ADSIFT方法是基于訓(xùn)練圖像與測(cè)試圖像的相似性來(lái)識(shí)別,因此,識(shí)別效果不可避免地受到訓(xùn)練圖像多樣性的影響,如何選擇訓(xùn)練圖像才能有效提高識(shí)別效果將是進(jìn)一步要研究的問(wèn)題.

[1]Leo M T.Orazio D,Spagnolo P,et al.SIFT based ball recognition in soccer images[J].Image and Signal Processing.2008,5099:263-272.

[2]Wang C C,Wang K C. Hand posture recognition using adaboost with SIFT for human robot interaction[J].Lecture Notes in Control and Information Sciences,2008,370:317-329.

[3]Yang J,Zhang D,Frangi A.F,et al.Two-dimensional PCA:A new approach to appearancebased face representation and recognition[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence,2004,26(1):131-137.

[4]Martinez A M.Recognizing imprecisely localized,partially occluded,and expression variant faces from a single sample per class[J].IEEE Trans.on Pattern Analysis and Machine Intelligence 2002,25(6):748-763.

[5]Tan X Y,Chen S C,Zhou Z H.et al.Recognizing partially occluded,expression variant faces from single training image per person with SOM and soft kNN ensemble[J].IEEE Transactions on Neural Networks,2005,16(4):875-886.

[6]曾岳,馮大政.一種基于人臉垂直對(duì)稱性的變形2DPCA算法[J].計(jì)算機(jī)工程與科學(xué),2011,33(7):74-79.

[7]曹孝斌,廖海斌,李原.面向酉子空間的二維判別保局投影的人臉識(shí)別[J].計(jì)算機(jī)應(yīng)用研究,2011,28(9):3569-3571,3575.

[8]盧桂馥,林忠,金忠.基于核化圖嵌入的最佳鑒別分析與人臉識(shí)別[J].軟件學(xué)報(bào),2011,22(7):1561-1570.

[9]曾岳,馮大政.一種基于加權(quán)變形的2DPCA的人臉特征提取方法[J].電子與信息學(xué)報(bào),2011,33(4):769-774.

[10]Jamal A D,Ali C,Ervin M,et al.Radon transform for face recognition[J].Artificial Life and Robotics.2010,15(3):359-362.

[11]Yu W W.Face recognition via adaptive image combination[J].Journal of Shanghai Jiaotong University(Science),2010,15(5):600-603.

[12]Gu S C,Tan Y,He X G.Laplacian smoothing transform for face recognition[J]. Science Chine Information Sciences,2010,53(12):2415-2428.

[13]Lowe D G.Distince image features from scale-invariant keypoints[J].1nternational Journal of Computer Vision,2004,60(2):91-110.

[14]原思聰,劉金頌,張慶陽(yáng),等.雙目立體視覺(jué)中的圖像匹配方法研究[J].計(jì)算機(jī)工程與應(yīng)用.2008,44(08):75-77.

[15]何敬,李永樹(shù),魯恒,等.基于SIFT特征點(diǎn)的無(wú)人機(jī)影像拼接方法研究[J].光電工程,2011,38(2):122-126.

[16]吳銳航,李紹滋,鄒豐美.基于SIFT特征的圖像檢索[J].計(jì)算機(jī)應(yīng)用研究,2008,25(02):478-481.

[17]周志銘,余松煜,張瑞,等.一種基于SIFT算子的人臉識(shí)別方法[J].中國(guó)圖象圖形學(xué)報(bào),2008,13(10):1882-1885.

[18]羅佳,實(shí)躍祥,段德友.基于SIFT特征的人臉識(shí)別方法[J].計(jì)算機(jī)工程,2010,36(13):173-174.