郭瑾，高偉，劉德山，王林松

0 前言

在動畫技術(shù)方面，三維人體動畫是具有挑戰(zhàn)性的課題之一。它具有廣泛的應(yīng)用前景，在仿真訓(xùn)練、影視制作、娛樂游戲、虛擬現(xiàn)實等諸多領(lǐng)域有著重要的應(yīng)用。目前運動捕獲方法由于其數(shù)據(jù)逼真度高、細節(jié)豐富，已經(jīng)成為高質(zhì)量的人體運動數(shù)據(jù)的主要來源，在動畫制作中被廣泛采用[1-6]。但是該方法存在三個問題。第一是使用不便。以Vicon運動捕獲系統(tǒng)為例，它要求運動者身著緊身衣并在各關(guān)節(jié)處貼上反光小球[7-8]。這對技術(shù)型的體育運動如滑冰、體操等，易造成動作變形，影響技術(shù)分析。第二是捕獲數(shù)據(jù)的造價高、代價昂貴。運動捕獲的本質(zhì)是記錄運動數(shù)據(jù)再重放，不同運動都要重新采集，十分耗時耗力。第三是捕獲數(shù)據(jù)量龐大、缺少結(jié)構(gòu)化信息和運動數(shù)據(jù)實時性差等缺點。需對數(shù)據(jù)進行預(yù)處理才能符合人們的需求。相比起運動捕獲設(shè)備，各種二維視頻是記錄運動的主要載體，它們更容易獲得并且其記錄過程不會對運動者造成影響。如果能夠重用已有的二維視頻運動數(shù)據(jù)，根據(jù)視頻內(nèi)容合成出三維虛擬人體的運動，將能夠大大降低動畫制作成本。同時這種方法將提高運動生成的實時性，使即時交互的三維視頻游戲成為可能，具有廣闊的應(yīng)用前景。

要根據(jù)二維視頻內(nèi)容驅(qū)動實現(xiàn)三維虛擬人動畫，需要在二維視頻和三維運動數(shù)據(jù)間建立映射關(guān)系，這種映射關(guān)系中包括二維視頻的關(guān)鍵幀提取、二維人體姿態(tài)的建立、二維數(shù)據(jù)的三維化以及三維虛擬人動畫的實現(xiàn)等。因此，基于二維視頻提取出決定人體運動姿態(tài)的關(guān)鍵幀、二維數(shù)據(jù)的三維化等關(guān)鍵問題的解決是實現(xiàn)二維視頻內(nèi)容驅(qū)動實現(xiàn)三維虛擬人動畫的關(guān)鍵。

本文提出了一個新的二維視頻驅(qū)動的三維虛擬人動畫的實現(xiàn)方法。首先，基于動態(tài)幀的關(guān)鍵幀提取算法從二維視頻中構(gòu)建二維關(guān)鍵幀集合。其次，基于二維關(guān)鍵幀構(gòu)建二維人體骨骼模型。最后，利用小孔成像原理和勾股定理計算得到關(guān)節(jié)特征點的深度坐標(biāo)，從而得到了反映人體動畫的三維數(shù)據(jù)。本文以NOBODY二維視頻為實驗數(shù)據(jù)，不僅解決了利用運動捕獲方法存在數(shù)據(jù)造價高、存儲空間龐大、數(shù)據(jù)重用性差等缺點，又保證實現(xiàn)的三維虛擬人動畫具有高度逼真性和實時處理能力，驗證了該方法的有效性。

1 基于動態(tài)幀的關(guān)鍵幀提取

基于動態(tài)幀的關(guān)鍵幀提取算法，首先確定動態(tài)幀中每個像素的代表灰度集合，然后通過計算視頻中每一幀和動態(tài)幀之間的距離來確定關(guān)鍵幀，基于此從二維視頻中提取出決定人體運動的二維關(guān)鍵幀集合[9]。

1.1 動態(tài)幀及其構(gòu)造方法

動態(tài)幀中某一像素的代表灰度集合記錄了最有可能代表該像素的灰度集合，像素(i,j)的代表灰度集合g(i,j)具有如下特征：(1)g(i,j)中各灰度值能代表鏡頭中像素(i,j)處更多的灰度值；(2)g(i,j)中各相鄰灰度值的差別較大。

動態(tài)幀像素(i,j)處代表灰度集合(i,j)的構(gòu)造方法如下：

(1)計算鏡頭中每一幀的各像素(i,j)的灰度值，第n幀中像素(i,j)的灰度值計算如式(1)所示。

其中，Rn(i,j)，Gn(i,j)，Bn(i,j)分別為該像素的紅、綠、藍分量.為了加快計算速度，同時考慮到一個鏡頭持續(xù)時間一般不會超過20 min(1 min不超過3000幀)，所以直方圖縱坐標(biāo)未歸一化，縱坐標(biāo)為橫坐標(biāo)對應(yīng)的灰度級在該像素出現(xiàn)的次數(shù)，直方圖Hb(i,j)的計算如式(2)所示。

式中：N是該鏡頭中幀的總個數(shù)；B是直方圖的顏色灰度級個數(shù)。為加快計算速度，顏色灰度級設(shè)為128級。δ(·)為沖激函數(shù)。

(2)按照直方圖中像素的灰度值進行排序，如果第m個灰度值 gm(i,j)與相鄰灰度值差的絕對值 dm(i,j)=︱gm(i,j)-gm+1(i,j)︱很小，則選取它們中較大的一個灰度值作為代表，而將另一個灰度值去掉。

最后得到的灰度值可能有多個，這些灰度值作為像素(i,j)的代表灰度集合g(i,j)，如圖2所示，就存在兩個代表灰度值。通過以上步驟，可以得出整個鏡頭在各個像素的代表灰度集合，這樣，動態(tài)幀的每個像素對應(yīng)于它的代表灰度集合。

1.2 關(guān)鍵幀提取算法

計算鏡頭所有幀和動態(tài)幀之間的距離，幀間距離的定義如式(3)所示：

式中：fi為鏡頭的第i幀；fk為鏡頭對應(yīng)的動態(tài)幀；W為幀的寬度；H為幀的高度。由此得到整個鏡頭與動態(tài)幀之間的距離曲線D(fi,fk)，曲線上的最大值表明了所對應(yīng)的幀與動態(tài)幀的差別較大，這是由于出現(xiàn)了新的對象引起的，最小值通常代表了視頻的背景，所以取曲線上的極值點所對應(yīng)的幀作為關(guān)鍵幀。

鏡頭的關(guān)鍵幀提取算法如下：

(1)讀入鏡頭當(dāng)前幀，根據(jù)式(1)計算每個像素的灰度值，同時根據(jù)式(2)修改各像素在灰度直方圖中對應(yīng)的值，并將修改后的值存儲到三維數(shù)組中；

(2)判斷當(dāng)前幀是否是鏡頭的最后一幀，如果不是，則將下一幀設(shè)為當(dāng)前幀，轉(zhuǎn)向(1)，否則轉(zhuǎn)向(3)；

(3)根據(jù)上節(jié)介紹，計算該鏡頭的動態(tài)幀；

(4)根據(jù)式(3)計算關(guān)鍵幀；

(5)算法結(jié)束。

NOBODY機器人舞蹈視頻利用本節(jié)基于動態(tài)幀的關(guān)鍵幀提取算法得到的二維關(guān)鍵幀截圖，如圖1所示：

圖1 NOBODY機器人舞蹈二維關(guān)鍵幀截圖

2 二維關(guān)鍵幀構(gòu)建二維人體骨骼模型

通過上一節(jié)方法獲取的二維關(guān)鍵幀包含了三維虛擬人動畫的關(guān)鍵運動信息，本文中人體運動數(shù)據(jù)通過多自由度層次結(jié)構(gòu)骨骼模型來表示，其結(jié)構(gòu)模型，如圖2所示：

圖2 多自由度的層次結(jié)構(gòu)模型

該模型由14個關(guān)節(jié)點組成，各關(guān)節(jié)點采用樹形結(jié)構(gòu)組織，root（胯）關(guān)節(jié)點為樹形人體骨架的根結(jié)點，從根關(guān)節(jié)點向人體骨架的各個末端關(guān)節(jié)逐層延伸形成根結(jié)點的各個子樹。考慮到人體骨架四肢部分在人體運動中變化最明顯，本文將描述運動的方法從關(guān)節(jié)層上升到骨骼層，將人體骨架中四肢部分的8 段骨骼作為運動特征表示對象，提取14個關(guān)節(jié)點和這8 段骨骼信息作為三維虛擬人的運動特征。

本文采用的是一種通過人體運動圖片序列進行數(shù)據(jù)處理的方法采集運動數(shù)據(jù)，并根據(jù)二維圖像進行人體三維運動的重構(gòu)，從而建立三維虛擬人運動數(shù)據(jù)庫。本文對運動數(shù)據(jù)的捕獲是根據(jù)傳統(tǒng)的屏幕取點方式進行的。在多層次骨架模型的基礎(chǔ)上，先獲取NOBODY機器人的骨骼信息已確定骨骼長度。通過數(shù)據(jù)輸入單選框選擇要輸入的關(guān)節(jié)點的名稱，在圖中相應(yīng)的位置雙擊就可得點的坐標(biāo)。首先選擇一幅人體動作圖像作為標(biāo)準圖像，根據(jù)標(biāo)準圖像的信息獲取骨骼長度?？梢宰鳛闃?biāo)準圖像的圖片的要求是：身體各個骨骼自然面向觀眾，這樣所有骨骼的正面都與圖片平行，因此骨骼兩點的距離就是骨骼的長度。然后取一系列動作序列圖像，逐個將每幅運動圖像用相同的方法即屏幕取點方式實現(xiàn)二維特征點的輸入。非標(biāo)準圖像的骨骼角度往往呈各種方向，而不是與圖片法向量垂直的，標(biāo)準圖像和非標(biāo)準圖像的二維關(guān)節(jié)點信息。完成圖像序列的輸入的同時也就完成了三維虛擬人的二維關(guān)鍵幀動作庫的構(gòu)建，如圖3所示：

圖3 標(biāo)準圖像和非標(biāo)準圖像的二維關(guān)節(jié)點信息

3 三維骨骼模型數(shù)據(jù)的獲取

基于二維骨骼數(shù)據(jù)，進一步計算反映人體運動的三維數(shù)據(jù)。這里采用了小孔成像原理和勾股定理，根據(jù)骨骼長度及其在圖片上的投影長度計算出各骨骼與圖片平面之間的夾角，從而計算出深度信息，再利用骨骼的樹狀結(jié)構(gòu)，通過計算得到骨骼在空間中的深度坐標(biāo)。

設(shè)任意相鄰兩關(guān)節(jié)特征點的二維坐標(biāo)為（x1,y1）和（x2,y2），即其在圖像平面上的投影點坐標(biāo)。設(shè)該相鄰特征點之間骨骼的長度為h。由勾股定理，此骨骼與X-Y平面的夾角?為：

由此得到深度信息：

為了消除關(guān)節(jié)點深度信息可能出現(xiàn)的二義性，本文設(shè)計使用了三維觀察界面和控制面板，采用人機交互的方法來手動調(diào)整骨骼的深度坐標(biāo)。于是用完成了三維虛擬人的三維關(guān)鍵幀動作庫的構(gòu)建。

4 三維虛擬人動畫實現(xiàn)

本文基于NOBODY舞蹈機器人的二維視頻構(gòu)建了三維虛擬人的三維關(guān)鍵幀動作庫，利用三維虛擬人的最小骨骼模型實現(xiàn)了NOBODY舞蹈機器人的三維虛擬人動畫。三維虛擬人最小骨骼模型的 NOBODAY舞蹈機器人的關(guān)鍵幀截圖，如圖4所示：

圖4 NOBODY機器人舞蹈骨骼模型三維關(guān)鍵幀

5 結(jié)術(shù)語

本文提出了一種基于二維視頻驅(qū)動實現(xiàn)三維人體動畫的方法。首先基于動態(tài)幀的關(guān)鍵幀提取算法從二維視頻中構(gòu)建了二維關(guān)鍵幀集合；其次基于二維關(guān)鍵幀構(gòu)建二維人體骨骼模型；接著利用小孔成像原理和勾股定理計算得到關(guān)節(jié)特征點的深度坐標(biāo)，從而得到了反映人體動畫的三維數(shù)據(jù)，最后基于NOBODY舞蹈機器人的二維視頻驅(qū)動實現(xiàn)了三維虛擬人最小骨骼模型的三維動畫，表明了本文采用方法的正確性和有效性。進一步的研究工作將集中處理屏幕取點方式以減小誤差以及消除關(guān)節(jié)點深度信息可能出現(xiàn)的二義性問題。

[1]Dasgupta A, Nakamura Y.Making feasible walking motion of humanoid robots from human motion capture data[c].Proceedings of IEEE International Conference on Robotics and Automation ,Detroit , MI, 1999, 2: 1044- 1049.

[2]Delaney B.On the trail of the shadow woman: the mystery of motion capture [J]. IEEE Computer Graphics and Applications,1998, 18(5):14-19.

[3]Pullen K,Bregler C.Motion capture assisted animation :texturing and synthesis[C].The 29th annual conference, San Antonio,2002:501-508.

[4]Lee J, Chai JX, Reitsma PSA, Hodgins JK, Pollard NS. Interactive control of avatars animated with human motion data[C].ACM Trans. on Graphics, 2002, 21(3): 491-500.

[5]Chai J X, Hodgins J K. Performance animation from low-dimensional control signals [J]. ACM Transactions on Graphics, 2005.24(3): 686-696.

[6]Ran L, Shakhnarovich G, Hodgins J, et al.Learning silhouette features for control of human motion data [J].ACM Transactions on Graphics. 2005,24(4): 1303- 1331.

[7]Hirose M ,Ogawa K. Honda humanoid robots development[J].Philosophical Transactions of the Royal Society A: Mathematical Physical and Engineering Sciences,2007,365(1850):ll-19.

[8]Nakaoka s, Nakazawa A. Task model of lower body motion for a biped humanoid robot to imitate human dances[C]//Proc of 2005 IEEE/RSJ Interna- tional Conference on Intelligent Robots and Systems. Edmonton: IEEE, 2005:3157-3162.

[9]李玉峰.基于動態(tài)幀的視頻關(guān)鍵幀提取算法研究[J].天津科技大學(xué)學(xué)報，2009，24(4)：69-72.