張 廣 霖，　李 吉 平，　彭 健 鈞，　龐 　 浩

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連　116034 )

基于Kinect的三維人體重建

張 廣 霖，李 吉 平，彭 健 鈞，龐 浩

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連116034 )

摘要:提出了一種利用Kinect設(shè)備識別和獲取三維人體數(shù)據(jù)，并結(jié)合點(diǎn)云庫(PCL)進(jìn)行三維人體模型重建的新方法。為了達(dá)到三維人體重建的目的，在調(diào)整參考模型體型系數(shù)的基礎(chǔ)上，同時利用了ICP迭代算法，將參考模型的點(diǎn)云數(shù)據(jù)同目標(biāo)模型的點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)。實驗結(jié)果表明此種方法達(dá)到了重建的目的，具有實用性和可行性，同時體現(xiàn)了成本低、方便和實時性強(qiáng)的優(yōu)點(diǎn)。

關(guān)鍵詞:三維人體重建；Kinect；點(diǎn)云庫；ICP算法

0引言

三維人體模型作為三維技術(shù)的核心產(chǎn)品，在游戲制作、服裝設(shè)計、電影產(chǎn)品等平臺都發(fā)揮著不可或缺的作用[1]。獲取三維人體模型的方法有很多，如利用大型的三維掃描設(shè)備或者復(fù)雜的三維建模軟件，但這些方法大多是價格昂貴，耗時長。近年來興起的深度攝像機(jī)由于其低廉的價格和操作的便捷性被更多的應(yīng)用于三維人體模型的獲取。Kinect作為深度相機(jī)的代表,已成為目前發(fā)展最快,應(yīng)用最多的先導(dǎo)產(chǎn)品[2]。

在進(jìn)行三維模型的重建之前，獲取和識別目標(biāo)三維人體模型是關(guān)鍵步驟。本文中，采用一臺Kinect來識別和獲取上半身三維人體信息。Kinect工作原理如下：Kinect一共有三個攝像頭，中間是RGB攝像頭，用來獲取彩色圖像；兩邊是深度傳感器，左側(cè)的是紅外線發(fā)射器，右側(cè)的是紅外線接收器，用來檢測人或場景的相對位置[3]。Kinect通過紅外線發(fā)射器發(fā)射結(jié)構(gòu)光，然后由紅外線傳感器接收紅外線反射信息，通過對反射信息的處理，就能獲得每個像素的深度值[4]。

在利用Kinect獲得人體模型的三維數(shù)據(jù)信息后，需要將獲取的三維信息導(dǎo)出，轉(zhuǎn)換為PCL[5]可以處理的點(diǎn)云格式。通過在PCL中對兩組數(shù)據(jù)的配準(zhǔn)，不斷調(diào)整人體模型的系數(shù)。在點(diǎn)云配準(zhǔn)部分，利用ICP(IterativeClosestPoint)算法[6]，來配準(zhǔn)獲取的目標(biāo)模型點(diǎn)云和調(diào)整后的參考模型點(diǎn)云，配準(zhǔn)成功則完成重建。

1獲取三維人體模型數(shù)據(jù)

利用Kinect獲取三維人體模型的方法有很多，最常用的是Kinect自帶開發(fā)工具中的KinectFusion[7]，可直接獲得人體的三維點(diǎn)云數(shù)據(jù)。但是獲得的點(diǎn)云分散而模糊。利用OPENNI，OpenCV等軟件也是常用的方法，但操作過程過于煩瑣，配置環(huán)境過于復(fù)雜。第三種方法是利用Processing[8]軟件編程，通過導(dǎo)入SimpleOpenNI庫，連接Kinect就可以直接獲得三維模型。此種方法操作簡單，獲得的點(diǎn)云數(shù)據(jù)較為完整，不需過多的后續(xù)處理過程。因此，選擇利用Kinect結(jié)合Processing的方法來獲取三維人體模型點(diǎn)云數(shù)據(jù)。

2三維點(diǎn)云數(shù)據(jù)的處理

2.1預(yù)處理階段

在利用Kinect獲取三維人體數(shù)據(jù)的過程中，由于其視角單一性，必然會造成邊緣噪聲或少量陰影問題，影響信息獲取的準(zhǔn)確性。為了減弱這種影響，在Processing編程中，添加了背景擋板，來吸收噪聲影響和陰影反射部分。在獲得了三維數(shù)據(jù)信息之后，因要將其轉(zhuǎn)換為PCL中處理點(diǎn)云的.pcd格式，由于想要的僅僅是三維人體模型的點(diǎn)云，所以需要利用點(diǎn)云分割將背景墻除去[9]。

2.2坐標(biāo)系的轉(zhuǎn)換

在進(jìn)行重建之前，首先要選擇參考模型，選擇參考模型需按照以下規(guī)則：首先，在姿勢上，需選擇同目標(biāo)模型相同或相近的姿勢；其次，需選擇完整的無缺陷的人體模型；第三，選擇參考模型時要選擇年齡段差異較小的模型。由此，選擇最佳參考模型如圖1所示。

圖1　參考模型點(diǎn)云效果圖

在將參考模型和利用Kinect獲取的目標(biāo)模型同時顯示在PCL中時，會發(fā)現(xiàn)兩組點(diǎn)云數(shù)據(jù)并不在同一坐標(biāo)系上，如圖2(a)所示，其中右上角點(diǎn)云為目標(biāo)模型的點(diǎn)云數(shù)據(jù)。因此，還需要轉(zhuǎn)換其中一組坐標(biāo)系，將兩組點(diǎn)云調(diào)整到同一坐標(biāo)系下，并且距離上也要相近或重合。在PCL中利用MatrixTransform程序，并改變相應(yīng)的系數(shù)，將參考模型調(diào)整90°，同時調(diào)整各個方向上的距離，即可得到轉(zhuǎn)換后的結(jié)果，如圖2(b)所示。

(a) 未轉(zhuǎn)換坐標(biāo)系前的兩組點(diǎn)云

(b) 轉(zhuǎn)換坐標(biāo)系后的兩組點(diǎn)云

圖2參考模型和目標(biāo)模型坐標(biāo)系的轉(zhuǎn)換

Fig.2Matrixtransformationofthereferencemodel

andthetargetmodel

3三維人體重建

3.1ICP算法

在進(jìn)行三維人體重建的過程中，采用ICP迭代法配準(zhǔn)目標(biāo)模型和參考模型。ICP算法分為3種：點(diǎn)到點(diǎn)搜索法；點(diǎn)到投影搜索法；點(diǎn)到面搜索法[10]。重建中采用的點(diǎn)到點(diǎn)搜索法是最經(jīng)典的ICP算法之一，其原理如圖3所示，根據(jù)源曲面上的一點(diǎn)P來尋找目標(biāo)曲面上相應(yīng)的最近點(diǎn)Q。因此，參考模型和目標(biāo)模型，分別作為源曲面和目標(biāo)曲面，由于兩組人體模型對應(yīng)曲面中的點(diǎn)的距離都相近，源曲面上的點(diǎn)可以利用點(diǎn)到點(diǎn)搜索法來配準(zhǔn)目標(biāo)曲面上相應(yīng)的點(diǎn)[11]。在參考模型向目標(biāo)模型重建的過程中，通過不斷地改變參考模型的系數(shù)，再利用配準(zhǔn)進(jìn)行對比，直到可以配準(zhǔn)在誤差允許范圍內(nèi)，最終達(dá)到人體重建的目的。

圖3　點(diǎn)到點(diǎn)搜索法

3.2實驗結(jié)果分析

實驗中，利用Kinect獲取了兩組目標(biāo)模型的點(diǎn)云數(shù)據(jù)，分別為目標(biāo)模型A，目標(biāo)模型B。

目標(biāo)模型A同參考模型的差異從初次配準(zhǔn)的效果圖(圖4)可以看出，相比于參考模型，目標(biāo)人體模型更瘦。假定目標(biāo)模型的體型系數(shù)固定，參考模型的體型系數(shù)為原始值1，此時，調(diào)整參考模型的體型系數(shù)為0.9，調(diào)整之后的參考模型如圖5(a)所示，此時，將調(diào)整后的參考模型同目標(biāo)模型配準(zhǔn)，配準(zhǔn)結(jié)果如圖5(b)所示，紅色部分代表數(shù)據(jù)未迭代配準(zhǔn)成功的部分。從可視化效果看，相比調(diào)整前，調(diào)整后的參考模型同目標(biāo)模型體型更加接近。

圖4　模型A同參考模型的初次配準(zhǔn)圖

(a) 點(diǎn)云可視化數(shù)據(jù)圖

(b) 點(diǎn)云配準(zhǔn)結(jié)果圖

圖5參考模型體型系數(shù)為0.9時的點(diǎn)云可視化數(shù)據(jù)圖和點(diǎn)云配準(zhǔn)結(jié)果圖

Fig.5The visualization data and result of registration of reference model point cloud when shape coefficient is 0.9

繼續(xù)調(diào)整體型系數(shù)為0.8，在經(jīng)過可視化后，此時的參考模型和目標(biāo)模型更為接近。配準(zhǔn)結(jié)果顯示，兩組點(diǎn)云數(shù)據(jù)全部迭代成功。繼續(xù)調(diào)小體型系數(shù)后，誤差增大，所以，當(dāng)體型系數(shù)為0.8 時，達(dá)到了向目標(biāo)模型A重建的最佳值效果，如圖6所示。

(a) 點(diǎn)云可視化數(shù)據(jù)圖

(b) 點(diǎn)云配準(zhǔn)結(jié)果圖

圖6參考模型體型系數(shù)為0.8時的點(diǎn)云可視化數(shù)據(jù)圖和點(diǎn)云配準(zhǔn)結(jié)果圖

Fig.6The visualization data and result of registration of reference model point cloud when shape coefficient is 0.8

目標(biāo)模型B同參考模型的差異相反，其體型比參考模型略胖，如圖7所示。所以需增大參考模型的體型系數(shù)值至同目標(biāo)模型配準(zhǔn)成功。

圖7　模型B同參考模型的初次配準(zhǔn)圖

目標(biāo)模型B作為被重建的模型，仍保持其體型系數(shù)不變。設(shè)參考模型的原體型系數(shù)為1，將體型系數(shù)調(diào)至1.1，得到新的參考模型如圖8(a)所示，從可視化結(jié)果中看出，參考模型體型增大；利用ICP算法配準(zhǔn)后，結(jié)果如圖8(b)，雖有小部分未能配準(zhǔn)，但大部分已配準(zhǔn)成功。繼續(xù)調(diào)整體型系數(shù)會發(fā)現(xiàn)，配準(zhǔn)的失敗部分增多，因此將體型調(diào)整到1.1，即可達(dá)到人體重建的最佳效果。

(a) 點(diǎn)云可視化數(shù)據(jù)圖

(b) 點(diǎn)云配準(zhǔn)結(jié)果圖

圖8參考模型體型系數(shù)為1.1時的點(diǎn)云可視化數(shù)據(jù)圖和點(diǎn)云配準(zhǔn)結(jié)果圖

Fig.8The visualization data and result of registration of reference model point cloud when shape coefficient is 1.1

4結(jié)論

Kinect的興起帶動了三維人體模型的發(fā)展，使得三維技術(shù)的應(yīng)用領(lǐng)域進(jìn)一步擴(kuò)大，如日常生活中的虛擬試衣鏡、3D打印機(jī)等[12]。本文利用Kinect獲取三維人體信息，同時結(jié)合PCL進(jìn)行三維人體的重建，Kinect價格低廉，PCL不需要過多復(fù)雜的操作，整個流程簡單且實用性強(qiáng)，尤其適用于游戲人物的制作中。方法的不足之處在于，由于僅采用了單臺Kinect，只能獲取人體上半身的三維信息。未來的工作可以利用多臺Kinect[13]或者將Kinect和其他相機(jī)標(biāo)定相結(jié)合的方法[14]，獲取人體全身模型的三維信息，從而實現(xiàn)全身的三維人體重建。

參考文獻(xiàn):

[1]LIJP,TONGG,SHIDB,etal.AutomaticsmallblendrecognitionfromB-repmodelsforanalysis[J].EngineeringwithComputers, 2009, 25(3): 279-285.

[2] 周瑾,潘建江,童晶,等.使用Kinect快速重建三維人體[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2013,25(6):873-879.

[3]ZHANGZY.MicrosoftKinectsensoranditseffect[J].IEEEComputerSociety, 2012, 4(19): 4-10.

[4]TONGJ,ZHOUJ,LIULG,etal.Scanning3DfullhumanbodiesusingKinects[J].IEEETransactionsVisualizationandComputerGraphics, 2012, 4(18): 643-650.

[5] 朱德海.點(diǎn)云庫PCL學(xué)習(xí)教程[M].北京:航空航天大學(xué)出版社,2012.

[6] 楊現(xiàn)輝,王惠南.ICP算法在3D點(diǎn)云配準(zhǔn)中的應(yīng)用研究[J].計算機(jī)仿真,2010,27(8):235-238.

[7] 朱笑笑,曹其新,楊揚(yáng),等.一種改進(jìn)的KinectFusion三維重構(gòu)算法[J].機(jī)器人,2014,36(2):129-136.

[8]SHIFFMAND.LearningProcessing[M].NewYork:MorganKaufmann, 2008.

[9]GREGB.MakingThingsSee[M].Sebastopol:O’ReillyMedia, 2012.

[10]JOSTT,HUGLIH.FastICPalgorithmsforshaperegistration[EB/OL]. [2014-04-01].http://citeseerx.ist.psu.edu/viewdoc/versions?doi=10.1.1.429.9085.

[11]KIMD,KIMD.AfastICPalgorithmfor3-Dhumanbodymotiontracking[J].IEEESignalProcessingLetters, 2010, 17(4): 402-405.

[12] 劉鑫,許華榮,胡占義.基于GPU和Kinect的快速物體重建[J].自動化學(xué)報,2012,38(8):1288-1297.

[13]BEYLT,NICOLAIP,RACZKOWSKYJ,etal.Multikinectpeopledetectionforintuitiveandsafehumanrobotcooperationintheoperatingroom[C]//IEEE, 2013 16thInternationalConferenceonAdvancedRobotics(ICAR).Montevideo:IEEE, 2013.

[14] 譚劍波,張光劉,李琳.體感設(shè)備與被動立體相結(jié)合的人機(jī)交互方法研究[J].合肥工業(yè)大學(xué)學(xué)報,2011,34(2):22-25.

Reconstructionof3DhumanbodybasedonKinect

ZHANGGuanglin,LIJiping,PENGJianjun,PANGHao

(SchoolofInformationScienceandEngineering,DalianPolytechnicUniversity,Dalian116034,China)

Abstract:A method for 3D human body reconstruction was presented, which could use Kinect to collect 3D data of human body and point cloud library (PCL) to process point 3D data. The iterative closest point algorithm was adopted for registering the captured human body 3D point cloud data with a standard reference human body model after changing shape coefficient of reference model. The result demonstrated that this method was feasible and had advantages of low-cost and real-time.

Key words:3D human body reconstruction; Kinect; point cloud library; ICP algorithm

收稿日期:2015-04-01.

基金項目:遼寧省自然科學(xué)基金項目(2014026001)；遼寧省博士科研啟動基金項目(20141112)；遼寧省教育廳科學(xué)研究一般項目(L2014219).

作者簡介:張廣霖(1990-)，女，碩士研究生；通信作者：李吉平(1971-)，男，教授.

中圖分類號:TP391.41

文獻(xiàn)標(biāo)志碼:A

文章編號:1674-1404(2016)03-0230-05