謝蘭遲，王俊娟，黎智輝,*，許 磊，張 寧，商懷哲

（1. 公安部物證鑒定中心，北京 100038；2. 蚌埠市公安局，安徽 蚌埠 233040；3. 德州市公安局德城分局，山東 德州 253000）

基于三種類型圖像數(shù)據(jù)的人臉識別測試

謝蘭遲1，王俊娟2，黎智輝1,*，許 磊1，張 寧1，商懷哲3

（1. 公安部物證鑒定中心，北京 100038；2. 蚌埠市公安局，安徽 蚌埠 233040；3. 德州市公安局德城分局，山東 德州 253000）

人臉識別的準確率受很多因素的影響，如圖像尺寸、姿態(tài)角度、年齡變化等。本文提出了一種基于三種類型圖像數(shù)據(jù)的人臉識別測試流程。測試中，采集了300個測試對象的靜態(tài)照片、三維人像以及監(jiān)控視頻資料。采集的數(shù)據(jù)經(jīng)過預處理，并按照人像的分辨率和拍攝角度分類。我們通過對7 800張人臉樣本的測試，分析不同分辨率、角度、年齡對于人臉識別算法魯棒性的影響。本文提出的方法是一種更加適合法庭科學領(lǐng)域應用的人臉識別系統(tǒng)評估與測試方法。

人像檢驗；人臉識別測試；監(jiān)控視頻；三維人像

人臉識別是一種應用廣泛的生物特征識別技術(shù)，它可以針對靜態(tài)圖像或視頻圖像進行人臉檢測和跟蹤，并進一步通過人臉圖像的幾何特征、代數(shù)特征、固定特征模板、特征臉[1]等方法進行特征提取，之后映射到低維空間，采取一定的匹配策略與現(xiàn)有數(shù)據(jù)庫中的已知人臉進行比對，從而識別出人臉身份。在國內(nèi)公共安全領(lǐng)域，人臉識別技術(shù)目前已廣泛應用于大型活動安保、銀行安全、邊境檢查、戶籍查重、視頻圖像偵查等重要工作中。

在實際應用中，人臉識別的準確率往往與人臉圖像的采集設(shè)備、面部尺寸、姿態(tài)角度、年齡變化以及圖像噪聲等因素有著密切的聯(lián)系。為研究上述因素對人臉識別比對檢測結(jié)果的影響，集合了二維照片、三維人像、視頻監(jiān)控這三類圖像資源，希望總結(jié)出一套更接近法庭科學應用要求的人臉識別算法魯棒性測試方法。

1 國內(nèi)外人臉識別測試

在人臉識別測試研究中，應用較多的有FERET人臉庫[2]、YALE人臉庫[3]、CMU人臉庫[4]、ORL人臉庫[5]等，這些數(shù)據(jù)庫的樣本數(shù)量較少，且均為歐美人臉。國內(nèi)的人臉數(shù)據(jù)庫中，以中科院計算所的CAS-PEAL大規(guī)模人臉數(shù)據(jù)庫[6]應用最為廣泛，采集了1 040個對象共30 863張人臉二維圖像，包含了同一對象多角度多表情以及不同配飾的人臉樣本。但該數(shù)據(jù)庫的缺陷在于，同一對象的已知樣本和待測樣本的采集條件完全一致，均是在同一時間、同一環(huán)境下由同一類設(shè)備采集，這與公共安全領(lǐng)域的實際應用存在較大差異。

美國國家標準技術(shù)研究所（National Institute of Standards and Technology,NIST）在1993～2013年間進行了多次人臉識別廠商測試(Face Recognition Vendor Test,FRVT)[7-8]。以FRVT2006[8]為例，測試使用Nikon D70相機和Minolta Vivid 900/910三維掃描儀獲取人臉圖像，該項測試的方法相對成熟，數(shù)據(jù)也較完備，但其測試的二維人像樣本眼間距為75～400像素，圖像質(zhì)量遠遠高于法庭科學應用中可獲取的人像條件。從算法研究和廠商測試的情況來看，尚未有一組直接適用于公共安全領(lǐng)域的人臉識別測試。希望通過多種類型圖像數(shù)據(jù)的采集和處理，提出更接近法庭科學應用要求的人臉識別系統(tǒng)測試和評價方法。

2 數(shù)據(jù)采集和實驗準備

2.1 三種類型樣本數(shù)據(jù)的采集

本實驗選取300名成年人作為采集對象，其中男性249人，女性51人?？紤]到了不同性別犯罪人群的特點，選取的測試對象在17～64歲之間，年齡分布情況如圖1所示。采集時間為2014年10月28日至30日，全部人像數(shù)據(jù)都在室內(nèi)自然光下采集。

圖1 不同性別測試對象年齡分布情況Fig.1 Age distribution of the subjects of different gender

使用Canon EOS-1D X相機對樣本人群拍攝二維正面人像照片。圖像大小5184×3456像素，保存格式為JPEG。使用Artec Spider手持式三維掃描儀采集上述樣本人群的三維人臉圖像[9]，文件格式保存為OBJ，紋理圖像大小為4096×4096像素[10]。使用?？低旽IK/DS-7804H硬盤錄像機采集樣本人群視頻圖像，文件格式為MP4，單幀圖像大小為352×288像素。采集的三種類型樣本數(shù)據(jù)見圖2。

圖2 三種類型樣本數(shù)據(jù)示意圖Fig.2 Three types of data from one same subject

2.2 實驗準備

對采集的三維數(shù)據(jù)使用Artec Studio進行擬合及角度編輯，生成五個角度的人像圖片。將二維照片、三維圖像轉(zhuǎn)換的多角度人像圖片以及視頻單幀截圖進行瞳孔標注，使用MATLAB批處理生成眼間距分別為8～100像素的測試樣本。共制作測試樣本總數(shù)約7 800份。使用“上海銀晨單兵式人像比對軟件”進行測試。測試數(shù)據(jù)庫容量10萬，入庫數(shù)據(jù)均為二代居民身份證照片，其中包含本測試300個實驗對象的二代身份證照片。搜索樣本為300個實驗對象近期拍攝的二維照片、三維圖像轉(zhuǎn)換的多角度人像圖片及視頻單幀截圖。測試參數(shù)統(tǒng)一為相似度閾值60，比對結(jié)果最大返回條數(shù)50。

3 測試方法及結(jié)果

3.1 不同分辨率的正面人像測試

對二維人臉照片按照分辨率高低，使用MATLAB批量處理為眼間距分別為8/15/25/50/100像素的人臉照片。測試得到比對排名對應的綜合識別率結(jié)果如下表1所示。

表 1 正面不同分辨率人臉圖像綜合識別率（%）Table 1 Recognition rate of obverse faces under different resolutions

3.2 三維圖像轉(zhuǎn)換的多角度人像測試

使用Artec Studio編輯三維坐標，轉(zhuǎn)換得到正面、左偏15°、左偏30°、下偏15°、下偏15°左偏15°五種角度的人臉圖像，如圖3所示。測試得到比對排名對應的綜合識別率結(jié)果如表2、表3所示。

圖3 三維圖像轉(zhuǎn)換的多角度人像Fig.3 Multi-angle faces converted from 3D images

表 2 三維圖像轉(zhuǎn)換的多角度人像綜合識別率（%）（眼間距：25像素）Table 2 Recognition rate of multi-angle faces converted from 3D images (eye distance: 25 pixels)

表 3 三維圖像轉(zhuǎn)換的多角度人像綜合識別率（%）（眼間距：50像素）Table 3 Recognition rate of multi-angle faces converted from 3D images (eye distance: 50 pixels)

3.3 視頻監(jiān)控截圖中人像測試

視頻監(jiān)控中的人像進行單幀截取，按照近似正面、側(cè)偏15～30 °、側(cè)偏大于30 °、俯角15 °左右、面部有表情或有遮擋五種情況分類測試，得到綜合識別率如表4所示。

表 4 視頻監(jiān)控截圖多角度人像綜合識別率（%）Table 4 Recognition rate of multi-angle faces converted from surveillance videos

4 實驗結(jié)果分析

4.1 拍照時間跨度對圖像識別率的影響

實驗中的測試樣本的采集時間均為2014年10月，測試對象中已知證件照拍攝時間的共163人。使用上述163人的50像素眼間距的正面照片作為測試樣本。按照證件照及二維正面照片拍攝時間間隔長短分為5組，得到數(shù)據(jù)統(tǒng)計結(jié)果如表5所示。實驗結(jié)果顯示，前4組測試樣本的平均相似度得分隨兩次拍攝的時間間隔增大而減小。第5組測試樣本的平均相似度得分較第4組略高，應考慮測試樣本性別比例差異、所處的年齡階段不同等因素對外貌變化的影響，并不影響人臉識別準確率隨著拍攝時間間隔增大而下降的整體趨勢。年齡變化是影響人臉識別算法準確率的重要因素之一。

表 5 正面人像識別結(jié)果與拍攝時間間隔的關(guān)聯(lián)Table 5 The relationship between recognition of obverse faces and the shooting time interval

4.2 不同類型圖像的人臉識別結(jié)果比較

人臉識別測試中往往需要應用到多種類型的樣本，本文中應用的二維照片、監(jiān)控視頻是最為常見的樣本數(shù)據(jù)形式，而隨著掃描技術(shù)的進步三維人像也會越來越多的應用于公共安全領(lǐng)域。選取相同眼間距（25像素左右）的三種類型的正面樣本人像，比較綜合識別率如下表6所示。

表 6 三種類型的正面人像識別結(jié)果（%）Table 6 Recognition rate of three types of obverse faces

上述比較結(jié)果顯示，對于正面人像，三維截圖的識別結(jié)果與二維照片更為相近，而監(jiān)控視頻由于壓縮噪聲、圖像模糊等因素綜合識別率較低。

三維人像數(shù)據(jù)可較精確的生成各個角度的人像照片，在模擬監(jiān)控視頻中人像的姿態(tài)，進行比對分析與同一認定方面有廣闊的應用前景。本文中同時使用了三維人像和視頻監(jiān)控截圖進行多種角度的人臉識別，選取眼間距25像素的兩類測試結(jié)果進行比較，見表7。

表 7 不同角度的三維人像和監(jiān)控人像識別結(jié)果（%）Table 7 Recognition of multi-angle faces from 3D images and surveillance videos

結(jié)果顯示，兩種設(shè)備生成的側(cè)偏15°和下偏15°的測試樣本識別結(jié)果差別不大，但當偏角達到30 °左右，三維人像截圖幾乎不可識別。大角度旋轉(zhuǎn)的人臉數(shù)據(jù)與監(jiān)控拍攝的人像在識別結(jié)果上存在較大差異，因三維人像的光照、成像方式等因素與庫中身份證照片有極大的差異，可通過建立三維人像數(shù)據(jù)庫的方式提高識別準確率。

5 討論

針對法庭科學的實際應用，本文在人臉識別測試的設(shè)計上還總結(jié)了以下幾點經(jīng)驗：

選取樣本人群時應考慮違法犯罪人群的性別和年齡分布特點。實驗設(shè)計中，測試樣本性別比例男性應達到70 %～75 %之間，年齡段集中在16～55歲，女性的平均年齡應稍大于男性。

比對數(shù)據(jù)庫中應包括拍攝時間有較大間隔的人像照片。由于實際應用中的待比對人像和已知人像照片的拍攝時間肯定存在一定跨度，所以測試系統(tǒng)內(nèi)錄入的已知人像需有一定的拍攝時間間隔。

測試樣本應包括較低分辨率的人臉圖像。NIST的人臉識別測試最低分辨率為眼間距75像素，但我們在實際工作中遇到的人臉圖像，其眼間距一般在50像素以下，標清視頻錄像中的人像眼間距一般在20像素左右甚至更低。所以在預處理時可制作一定數(shù)量的眼間距為8/15/25/50像素的人臉樣本。

測試應考慮到不同拍攝設(shè)備及拍攝環(huán)境的影響。公共安全領(lǐng)域應用的測試樣本及數(shù)據(jù)庫選取應區(qū)別于一般研究應用，測試應盡可能的模擬適合本地區(qū)的應用場景，如樣本人群的選擇和拍攝環(huán)境等。

本測試尚在不斷完善中，若條件允許，擬加入更多室外環(huán)境拍攝的樣本集，并使用批量圖像處理工具，進行去噪、插值、超分辨等預處理，有助于提高人臉識別系統(tǒng)魯棒性的測試精度。

［1］ 章毓晉. 基于子空間的人臉識別［M］. 清華大學出版社, 2009.

［2］ Phillips PJ, Moon H, Rizvi SA, et al. The FERET evaluation methodology for face recognition algorithms［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1090-1104.

［3］ Georghiades AS, Belhumeur PN, Kriegman DJ. From few to many: illumination cone models for face recognition under variable lighting and pose［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 643-660.

［4］ Sim T, Baker S, Bsat M. The CMU pose, illumination, and expression database［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(2): 1615-1618.

［5］ Samaria F S, Harter A C. Parameterisation of a stochastic model for human face identification［C］//Proceedings of 2nd IEEE Workshop on Applications of Computer Vision, 1995, 22:138 -142.

［6］ Gao W, Cao B, Shan SG, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations［J］. IEEE Trans on System, Man, Cybernetics(Part A), 2008, 38(1): 149-161.

［7］ Phillips P J, Grother P, Micheals R J, et al. FRVT 2002: evaluation report［J］. Trabajos de Estadistica y de Investigacion Operativa, 2003, 16(1): 73-77.

［8］ Phillips P J, Scruggs W T, O’Toole A J, et al. FRVT 2006 and ICE 2006 large-scale experimental results［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 831-846.

［9］ 王俊娟，許磊，黎智輝，等. 三維人臉圖像的數(shù)據(jù)采集與預處理［J］. 刑事技術(shù), 2015, 40(2): 98-101.

［10］ 許磊，黎智輝，王俊娟，等. 高精度三維人臉圖像數(shù)據(jù)庫［J］.刑事技術(shù), 2015, 40(2): 94-97.

Face Recognition Test Based on Three Types of Image Data

XIE Lanchi1, WANG Junjuan2, LI Zhihui1,*, XU Lei1, ZHANG Ning1, SHANG Huaizhe3
（1. Institute of Forensic Science, Ministry of Public Security, Beijing 100038, China; 2. Bengbu Public Security Bureau, Anhui, Bengbu 233040, China; 3. Decheng Sub-bureau of Public Security, Shandong, Dezhou 253000, China)

The accuracy of face recognition is influenced with a variety of factors, such as the image size, subject’s pose and age. In this paper, an effective face recognition test method was proposed based on three different image sources. In the test, 300 individuals were collected of their still, 3D face images and video frames from surveillance. The captured face images were preprocessed and classifed by resolution and the angle that the camera was shot to subject. Through measurement and analysis of the obtained 7800 face images, how the resolution, pose and age infuence the algorithm robustness of face recognition has been explored. The method presented here is suitable for testing and evaluating face recognition in forensic science.

human image inspection; face recognition test; surveillance video; 3D face image

DF793.2

A

1008-3650(2016)06-0442-04

2016-06-02

格式：謝蘭遲，王俊娟，黎智輝，等. 基于三種類型圖像數(shù)據(jù)的人臉識別測試[J]. 刑事技術(shù)，2016,41(6): 442-445.

10.16467/j.1008-3650.2016.06.003

公安部技術(shù)研究計劃項目（NO.2014JSYJB016)；國家自然科學基金項目（No.61505034)

謝蘭遲（1989—），女，內(nèi)蒙古通遼人，碩士，研究實習員，研究方向為圖像分析與處理。 E-mail：xielanchi@139.com

* 通訊作者：黎智輝（1976—），男，湖北石首人，博士，研究員，研究方向為圖像處理與分析。 E-mail：lzhuil@sina.com