聶建華，劉小楠，劉昌進，李林，陳向陽

（1. 中國電子科技集團公司第三十八研究所，合肥 230088；2. 安徽省公共安全應急信息技術重點實驗室，合肥 230088；3.湖北省麻城市公安局刑偵大隊，湖北麻城 438300）

人像三維特征信息采集系統(tǒng)的設計與實現(xiàn)

聶建華1，2，劉小楠1，2，劉昌進1，2，李林1，2，陳向陽3

（1. 中國電子科技集團公司第三十八研究所，合肥 230088；2. 安徽省公共安全應急信息技術重點實驗室，合肥 230088；3.湖北省麻城市公安局刑偵大隊，湖北麻城 438300）

三維人像被認為具有光照和姿態(tài)不變的特性，學術界開始探索利用人臉的三維信息提高系統(tǒng)識別性能。針對人像三維特征信息獲取面臨的采集時間長、設備價格昂貴、點云特征提取算法難度大等問題，提出了一種基于OPENNI兼容設備開發(fā)的便攜式、低成本、高速度人像三維特征信息采集系統(tǒng)。通過使用電動旋轉(zhuǎn)平臺及點云自動拼接功能，獲得了360°人像三維點云數(shù)據(jù)。后期處理模塊實現(xiàn)對點云數(shù)據(jù)的裁剪、去除離群點、修補孔洞等功能。數(shù)據(jù)分析模塊通過使用快速點特征直方圖與高斯曲率，獲得人像的耳鼻特征區(qū)域。

模式識別與智能系統(tǒng)；三維特征；點特征直方圖；點云；人像

0 引言

近年來，計算機視覺領域得到飛速發(fā)展，傳統(tǒng)的基于二維圖像的人像識別算法都是針對正面人像，當二維圖像的俯仰角度、光照、姿態(tài)、化妝、年齡等變化時，會顯著降低二維人像識別算法的性能，經(jīng)常出現(xiàn)不能識別的情況[1]。近年來，隨著科技的發(fā)展，獲取三維數(shù)據(jù)越來越具有可行性，同時因為三維人像對光照和姿態(tài)不敏感等優(yōu)點，人像三維信息開始受到越來越多的研究者關注[2]。

現(xiàn)有的三維人像采集系統(tǒng)，一般只具有采集功能[3]，而不具備特征提取功能，或者特征提取功能需要較長時間離線處理才能完成[4]。在人像數(shù)據(jù)中，尤其是人像頭部數(shù)據(jù)中，鼻子和耳朵受表情、化妝、年齡等變化影響最小，同時三維幾何信息卻最為突出和豐富，但是目前還沒有一種成熟的快速準確采集處理這些人像三維特征的信息系統(tǒng)。

本文所述系統(tǒng)采用兼容OPENNI的三維體感攝像頭[5]，被采集對象站立于電動旋轉(zhuǎn)平臺上，旋轉(zhuǎn)360°之后在30秒內(nèi)即可獲得相應的點云數(shù)據(jù)，通過后期處理模塊簡單處理后，使用特征提取模塊完成鼻子及雙耳特征區(qū)域的提取。

1 系統(tǒng)總體設計

人像三維特征信息采集系統(tǒng)采用模塊化設計思路，總體架構包括人像三維信息采集與特征提取兩部分，最終得到的數(shù)據(jù)包括：人像整體360°點云與特征提取得到的鼻子及雙耳點云。本系統(tǒng)實現(xiàn)了人像三維信息采集、三維信息可視化、三維信息后期處理、三維特征提取、三維特征存儲與檢索等功能。其邏輯結(jié)構如圖1所示。

圖1 人像三維特征信息采集系統(tǒng)邏輯結(jié)構圖Fig.1 Logic structure diagram of 3D Portrait Feature Information Collection System

三維體感攝像機捕獲數(shù)據(jù)后，通過與其相連接的計算機進一步采集、處理與分析該數(shù)據(jù)，電動旋轉(zhuǎn)平臺控制人體360度旋轉(zhuǎn)以獲取完整人像信息。計算機數(shù)據(jù)處理單元實現(xiàn)數(shù)據(jù)拼接與后期處理功能，在電動旋轉(zhuǎn)平臺旋轉(zhuǎn)過程中，計算機實時拼接捕獲的數(shù)據(jù)，并通過USB端口傳輸至計算機，采集完成后，用戶通過鼠標操作計算機，經(jīng)過后期處理單元對點云數(shù)據(jù)進行適當裁剪、去除離散點與平滑后，即可進行特征提取。計算機數(shù)據(jù)分析單元實現(xiàn)特征提取功能，包括預處理、訓練階段、加載給定特征、查找候選集、篩選最終特征。預處理實現(xiàn)下采樣后，計算 FPFH（快速點特征直方圖）值[6]，通過加載給定特征的FPFH值即可查詢得到候選集，根據(jù)高斯曲率的幾何意義得到最終的待測人像三維特征點[7]。無論是數(shù)據(jù)處理過程還是數(shù)據(jù)分析過程，都可以通過三維信息可視化界面實時在顯示器上查看結(jié)果，其物理結(jié)構如圖2所示。

圖2 人像三維特征信息采集系統(tǒng)物理結(jié)構圖Fig.2 Physical structure diagram of 3D Portrait Feature Information Collection System

2 系統(tǒng)模塊設計

2.1 數(shù)據(jù)處理模塊設計

數(shù)據(jù)處理模塊實現(xiàn)點云數(shù)據(jù)的采集、拼接和后期處理功能。通過軟件不僅可以設定掃描模型的質(zhì)量，還可以設定精確的掃描范圍來提高掃描精度，實現(xiàn)三維表面重構、彩色紋理映射等人像三維點云數(shù)據(jù)一鍵式采集功能。

利用Open Scene Graph引擎開發(fā)的圖形顯示界面，可以將掃描得到的人體點云數(shù)據(jù)載入后進行顯示，同時實現(xiàn)旋轉(zhuǎn)、縮放以及添加光照等操作。三維信息后期處理功能包括孔洞修復、離群點及頸部以下數(shù)據(jù)刪除、平滑等，后期處理后的點云數(shù)據(jù)同樣可以在OSG可視化界面中實時查看?？锥葱迯团c平滑可以在查看點云數(shù)據(jù)時更美觀，去除離群點及刪除頸部以下數(shù)據(jù)，可以顯著減少點云的數(shù)據(jù)量，從而加快特征提取的速度。

孔洞修復移植自開源的MeshLab相關功能[8]，效果如圖3所示，圖中模型來自于人體右耳后部數(shù)據(jù)，一般在數(shù)據(jù)采集時，即使旋轉(zhuǎn)360°，仍然會有遮擋的角落，出現(xiàn)圖中所示的孔洞，可以看出修復后的效果更美觀更有利于觀察。去除離群點采用開源的OpenMesh相關功能[9]，效果如圖4所示，圖中模型來自于人體頭部最頂端的頭發(fā)數(shù)據(jù)，可以看出很多離群點已經(jīng)去除。選擇并刪除頸部以下數(shù)據(jù)使用OSG自帶的模型選擇與刪除功能，效果如圖5所示，圖中紅色區(qū)域是通過鼠標選擇的貫通點云數(shù)據(jù)，刪除后可以看出最少降低了50%的數(shù)據(jù)量，只需要在頭部數(shù)據(jù)中尋找特征點即可。

圖3 孔洞修復前與孔洞修復后效果對比圖Fig.3 Comparison diagram of hole repair

圖4 去除離群點前與去除離群點后效果對比圖Fig.4 Comparison diagram of outliers removing

圖5 刪除頸部以下數(shù)據(jù)前與刪除頸部以下數(shù)據(jù)后效果對比圖Fig.5 Comparison diagram of data removing under neck

2.2 數(shù)據(jù)分析模塊設計

數(shù)據(jù)分析模塊實現(xiàn)了對人像三維點云數(shù)據(jù)進行特征提取的功能。通過計算具有姿態(tài)不變性的FPFH值并結(jié)合曲率、方位等信息，不需要訓練大量數(shù)據(jù)，即可快速準確提取。提取后通過在點云中沿著圓形輪廓分割出相應的特征數(shù)據(jù)，并保存至電腦中，實現(xiàn)數(shù)據(jù)查詢等功能。可視化程序可以在原始數(shù)據(jù)上實時標明特征點與特征區(qū)域，可以對特征區(qū)域單獨加載，并實現(xiàn)縮放、平移、旋轉(zhuǎn)等基礎操作，方便用戶查看。其軟件流程圖如圖6所示。

FPFH值是PFH值（點特征直方圖）的快速計算方法，PFH通過參數(shù)化查詢點與領域點之間的空間差異，形成一個多維直方圖對點的領域幾何屬性進行描述，每一個點有一個FPFH值，由33個浮點數(shù)構成。兩個不同模型的特征點通過FPFH值進行初步定位后，使用高斯曲率精確定位特征點。根據(jù)高斯曲率的性質(zhì)，如果高斯曲率等于零，該點位于平面上或者是臍點；如果高斯曲率小于零，該點位于馬鞍面上；如果高斯曲率大于零，該點位于類似碗底的拋物面上，如果高斯曲率越大，則該點越尖。因此耳道和鼻尖都要選取初步定位點的鄰域點中高斯曲率最大的點作為最終的特征點。

圖6 數(shù)據(jù)分析模塊軟件流程圖Fig.6 Software flow chart of the Data analysis module

3 實驗結(jié)果及分析

本文實驗中使用Intel Core i7-4790 CPU，主頻3.60GHz，內(nèi)存為4G的計算機設備，基于QT4.8.5+VS2010開發(fā)了人像三維特征信息采集與特征提取平臺，完成360°人像采集需要30秒，不計算后期處理的時間，從讀入后期處理后的人像頭部三維點云數(shù)據(jù)到最終確定特征點平均耗時10秒。

實驗結(jié)果如圖7所示，列舉了三位被采集對象的左右兩個角度的人像三維特征提取結(jié)果。為了使特征點與特征區(qū)域更直觀，用紅色圓點標明特征點，用綠色標明鼻部區(qū)域，用粉色標明右耳區(qū)域，用藍色標明左耳區(qū)域。從圖中可以看出，由本算法所得的特征點已經(jīng)相當精確。經(jīng)過手工標定100個不同人臉的特征點，并與本算法定位的特征點比較[10]，考慮到鼻尖采集較為準確，而耳道采集由于遮擋原因數(shù)據(jù)可能不夠完整，如果本文算法提取的特征點在鼻尖處在手工標定2mm領域內(nèi)，在耳道處只要在其內(nèi)部都認為是準確的。根據(jù)最終的結(jié)果，本文算法提取的特征點鼻尖準確度在99%以上，耳道準確度在92%以上。

圖7 實驗結(jié)果Fig.7 Experimental result

4 結(jié)論

（1）本文提出了一種全新的人像三維信息采集與人體局部特征提取方法，為鼻部、耳部定位與識別奠定了基礎。與現(xiàn)有系統(tǒng)比較，本文所述系統(tǒng)降低了采集時間與設備成本、提高了采集精度與設備便攜性，同時特征提取算法不需要訓練集，算法計算代價小，通過使用FPFH值與高斯曲率，實現(xiàn)精確定位鼻尖與耳道點。雖然目前特征提取平均需要10秒，但是經(jīng)過后期實驗與優(yōu)化，有望將提取時間進一步降低，以滿足實時性要求。

（2）本文所述方法適用于其他三維特征明顯的局部特征點識別。三維信息也可投影至二維平面，組合利用二維與三維信息進行特征識別與提取。本文分割提取的耳鼻局部特征，也可以利用一些全局特征描述子進行識別與檢索。

[1] Irfanoglu M O，Gkberk B，Akarun L. 3D Shape-based Face Recognition using Automatically Registered Facial Surfaces[J]. 2004，4：183-186.

[2] Guo Y，Lei Y，Liu L，et al. EI3D：Expression-Invariant 3D Face Recognition based on Feature and Shape Matching[J]. Pattern Recognition Letters，2016.

[3] Roth J，Tong Y，Liu X. Adaptive 3D Face Reconstruction from Unconstrained Photo Collections[C]// Proc. IEEE Computer Vision and Pattern Recognition. 2016.

[4] Zhao X，Dellandréa E，Chen L. A 3D Statistical Facial Feature Model and Its Application on Locating Facial Landmarks[J]. Lecture Notes in Computer Science，2009，5807：686-697.

[5] Villaroman N，Rowe D，Swan B. Teaching natural user interaction using OpenNI and the Microsoft Kinect sensor[C]// Sigite' 11 ACM Special Interest Group for Information Technology Education Conference，West Point，Ny，Usa，October. 2011：227-232.

[6] 陸軍，彭仲濤，董東來，等．點云FPFH特征提取優(yōu)化配準算法[J]．新型工業(yè)化，2014，4（7）：75-81．

LUN Jun，PENG Zhong-tao，DONG Dong-lai，et al. The Registration Algorithm of Point Cloud Based on Optimal Extraction of FPFH Feature[J].The Journal of New Industrialization，2014，4（7）：75-81.

[7] Lisle，Lisle. Detection of zones of abnormal strains in structures using Gaussian curvature analysis[J]. Aapg Bulletin，1994，78（12）：1811-1819.

[8] Cignoni P，Callieri M，Corsini M，et al. MeshLab：an Open-Source Mesh Processing Tool.[J]. Computing，2008，1：129-136.

[9] Botsch M，Steinberg S，Bischoff S，et al. OpenMesh - a generic and efficient polygon mesh data structure[J]. Opensg Symposium，2002.

[10] 張志偉，劉亮，傅慧源．視頻檢索中正臉判斷技術的研究[J]．新型工業(yè)化，2012，2（9）：63-68．

ZHANG Zhi-wei，LIU Liang，F(xiàn)U Hui-yuan. Research of Front Facial Estimation Method in Videa Retrieval[J].The Journal of New Industrialization，2012，2（9）：63-68.

Design and Implementation of 3D Portrait Feature Information Collection System

NIE Jian-hua1,2, LIU Xiao-nan1,2, LIU Chang-jin1,2, LI Lin1,2, CHEN Xiang-yang3
(1.The 38thResearch Institute of China Electronics Technology Group Corporation, Hefei 230088, China; 2. Anhui Key Laboratory of Emergency Information Technology of Public Safety, Hefei 230088, China; 3. The Public Security Bureau of Criminal Investigation Brigadehui, Hubei Macheng 438300, China)

Three dimensional portrait is considered to have the special characteristics of unchanged with light and pose, hence, the academia began to improve the performance of human face recognition by exploring the use of three-dimensional information. Aim to solve the problems of 3D portrait feature information acquisition, such as long grabbing time, expensive equipment, complex point cloud feature extraction algorithm and so on. This paper proposes a system of 3D portrait feature information collection based on OPENNI compatible device with the advantages of good portability, low cost and high speed. By using the electric rotary table and point cloud automatic stitching function, 360 degree 3D portrait point cloud data was collected. The post processing module was designed to realize the functions of point cloud data cutting, outliers removing, holes repairing and so force. The data analysis module was used to obtain the characteristic region of portraits’ ears and noses through using the Fast Point Feature Histogram and Gauss Curvature.

Pattern Recognition & Intelligent Systems; 3D feature; Point Feature Histogram; Point cloud; Portrait

聶建華，劉小楠，劉昌進，等.人像三維特征信息采集系統(tǒng)的設計與實現(xiàn)[J]. 新型工業(yè)化，2016，6（10）：61-65.

10.19335/j.cnki.2095-6649.2016.10.009

: NIE Jian-hua, LIU Xiao-nan, LIU Chang-jin, et al. Design and Implementation of 3D Portrait Feature Information Collection System[J]. The Journal of New Industrialization, 2016, 6(10)： 61-65.

安徽省科技攻關計劃（1501b042216）

聶建華（1985-），男，中級工程師，機器視覺；劉小楠，博士，中國電子科技集團公司第三十八研究所；劉昌進，博士，中國電子科技集團公司第三十八研究所；李林，博士，中國電子科技集團公司第三十八研究所；陳向陽，二級警司，湖北省麻城市公安局刑偵大隊