杜錦 查晨 劉暢 丁剛毅 張龍飛

摘要：隨著硬件技術(shù)的快速更新，多傳感方式的體感設(shè)備逐漸被用于人機(jī)交互的界面，現(xiàn)有的歌劇表演已經(jīng)無(wú)法滿足體感設(shè)備輸入的需要，特別是在數(shù)字創(chuàng)作領(lǐng)域。因此，研究支持體感的遠(yuǎn)程虛擬指揮系統(tǒng)是本課題研究的關(guān)鍵技術(shù)之一。

關(guān)鍵詞：體感設(shè)備；人機(jī)交互；歌劇表演；遠(yuǎn)程指揮系統(tǒng)

1研究背景

歌劇表演是一門西方舞臺(tái)表演藝術(shù)，簡(jiǎn)單而言就是主要或完全以歌唱和音樂(lè)來(lái)交代、表達(dá)劇情的戲?。ㄊ浅鰜?lái)而不是說(shuō)出來(lái)的戲劇）。歌手和合唱團(tuán)常有一隊(duì)樂(lè)器手負(fù)責(zé)伴奏，有的歌劇只需一隊(duì)小樂(lè)隊(duì)，有的則需要完整的管弦樂(lè)團(tuán)。有些歌劇中都會(huì)穿插有舞蹈表演，如不少法語(yǔ)歌劇都有一場(chǎng)芭蕾舞表演。

隨著硬件技術(shù)的快速更新，多傳感方式的體感設(shè)備逐漸被用于人機(jī)交互的界面，現(xiàn)有的歌劇表演已經(jīng)不能滿足體感設(shè)備輸入的需要，特別是在數(shù)字創(chuàng)作領(lǐng)域，因此研究支持體感體驗(yàn)的遠(yuǎn)程指揮系統(tǒng)是本課題研究的關(guān)鍵技術(shù)之一，并且如何實(shí)現(xiàn)高新技術(shù)和文化藝術(shù)完美結(jié)合，突破學(xué)科、領(lǐng)域、行業(yè)的壁壘已是影響我們文化產(chǎn)業(yè)快速發(fā)展的緊迫問(wèn)題。充分利用現(xiàn)在的高新技術(shù)應(yīng)用于文化服務(wù)的集成性創(chuàng)新，從文化創(chuàng)意產(chǎn)業(yè)內(nèi)容、智能創(chuàng)意、虛擬世界、高效實(shí)時(shí)交互等技術(shù)人手，整合優(yōu)化提升傳統(tǒng)人工操作、人力生產(chǎn)的文化可持續(xù)產(chǎn)業(yè)發(fā)展能力，已經(jīng)證明是一條可持續(xù)發(fā)展的必由之路，數(shù)字化舞美科技產(chǎn)業(yè)這一新興產(chǎn)業(yè)形態(tài)已經(jīng)出現(xiàn)。

2系統(tǒng)概述

遠(yuǎn)程虛擬指揮系統(tǒng)主要完成的是對(duì)Kinect運(yùn)動(dòng)采集設(shè)備采集好的數(shù)據(jù)進(jìn)行分析與處理的過(guò)程，這里分析的數(shù)據(jù)主要是人體骨骼和指揮棒骨骼的區(qū)分與處理?？梢酝ㄟ^(guò)分析所得的數(shù)據(jù)對(duì)捕捉到的骨骼進(jìn)行區(qū)分并進(jìn)行分別渲染輸出。

該系統(tǒng)首先利用Kinect動(dòng)作捕捉設(shè)備采集指揮家運(yùn)動(dòng)的連續(xù)圖像，對(duì)采集的圖像進(jìn)行分析，計(jì)算輸出圖像中指揮家及指揮家手中的指揮棒移動(dòng)的位置、方向、速度等信息。再由遠(yuǎn)程通信系統(tǒng)傳輸這些數(shù)據(jù)給底層圖形渲染引擎，通過(guò)渲染引擎的計(jì)算，傳輸給視頻輸出設(shè)備，以引擎默認(rèn)的笛卡爾坐標(biāo)系在場(chǎng)景中實(shí)現(xiàn)指揮家及指揮棒的動(dòng)作復(fù)現(xiàn)。

3通過(guò)Kinect獲取動(dòng)作捕捉數(shù)據(jù)

Kinect感應(yīng)器是一個(gè)外形類似網(wǎng)絡(luò)攝影機(jī)的裝置。Kinect有三個(gè)鏡頭，中間的鏡頭是RGB彩色攝影機(jī)，左右兩邊鏡頭則分別為紅外線發(fā)射器和紅外線CMOS攝影機(jī)所構(gòu)成的3D結(jié)構(gòu)光深度感應(yīng)器。Kinect還搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨著對(duì)焦物體移動(dòng)跟著轉(zhuǎn)動(dòng)。Kinect也內(nèi)建陣列式麥克風(fēng)，由多組麥克風(fēng)同時(shí)收音，比對(duì)后消除雜音。

Kinect有1080p視頻傳感器，能夠獲取更清晰的圖像和視頻信息。深度傳感器所能支持的最大分辨率來(lái)允許捕捉更多的細(xì)節(jié)，如手指動(dòng)作和肢體定位。Kinect每秒數(shù)據(jù)處理量可達(dá)2GB。微軟用讀取深度“飛行時(shí)間計(jì)算”的方法來(lái)替代了現(xiàn)有的“光照測(cè)量”的測(cè)算方法，使得Kinect更快、更準(zhǔn)確。該方法基于單個(gè)光子從物體或人身上反彈回來(lái)的最準(zhǔn)確的時(shí)間計(jì)算原理本課題中利用Kinect對(duì)演員動(dòng)作的實(shí)時(shí)捕捉，實(shí)現(xiàn)對(duì)人物模型的動(dòng)作捕捉用于模型庫(kù)、動(dòng)作庫(kù)的構(gòu)建以及實(shí)時(shí)交互排演操控，與舞臺(tái)場(chǎng)景中其他物體角色進(jìn)行交互等，觸發(fā)其他物體或角色的既定反應(yīng)，使數(shù)字表演更具真實(shí)感，并且通過(guò)對(duì)視覺(jué)效果的渲染，加以雷電等特效，令觀眾獲得更優(yōu)質(zhì)更震撼的視覺(jué)體驗(yàn)。通過(guò)Kinect操作界面與引擎中的控制結(jié)構(gòu)流程設(shè)置來(lái)實(shí)現(xiàn)人物模型的體感交互控制。Kinect數(shù)據(jù)可以將實(shí)時(shí)數(shù)據(jù)傳人引擎并與3d引擎中對(duì)象進(jìn)行互動(dòng)，也可以掃描出較低精度的舞美道具及人體模型，并存入模型庫(kù)。

4人體骨骼識(shí)別

在Kinect里面，是通過(guò)20個(gè)關(guān)節(jié)點(diǎn)來(lái)表示一個(gè)骨架的，當(dāng)走進(jìn)Kinect的視野范圍的時(shí)候，Kinect就可以把人體的20個(gè)關(guān)節(jié)點(diǎn)的位置找到，位置通過(guò)（x，y，z）坐標(biāo)來(lái)表示。這樣，在Kinect前面做很多復(fù)雜的動(dòng)作的時(shí)候，因?yàn)槿说膭?dòng)作和這些關(guān)節(jié)點(diǎn)的位置的變化關(guān)系還是很大的，那么電腦接收到這些數(shù)據(jù)后，對(duì)于理解表演者做什么動(dòng)作就很有幫助了。

玩家的各關(guān)節(jié)點(diǎn)位置用（x，y，z）坐標(biāo)表示。與深度圖像空間坐標(biāo)不同的是，這些坐標(biāo)單位是米。坐標(biāo)軸x，y，z是深度感應(yīng)器實(shí)體的空間x，y，z坐標(biāo)軸。這個(gè)坐標(biāo)系是右手螺旋的，Kinect感應(yīng)器處于原點(diǎn)上，z坐標(biāo)軸則與Kinect感應(yīng)的朝向一致。y軸正半軸向上延伸，x軸正半軸（從Kinect感應(yīng)器的視角來(lái)看）向左延伸。

5指揮棒骨骼提取

該模塊首先獲得Kinect的深度圖，然后，利用NITE庫(kù)跟蹤手中心點(diǎn)的位置。在跟蹤和檢測(cè)到手點(diǎn)的位置以后，根據(jù)手中心點(diǎn)的z坐標(biāo)，對(duì)深度圖進(jìn)行分割，然后將手中心點(diǎn)投影到二維，根據(jù)手的大小再一次二維分割。

據(jù)此會(huì)得到一個(gè)包含手臂、手和指揮棒的部分，而且由于Kinect數(shù)據(jù)的特點(diǎn)，會(huì)導(dǎo)致該區(qū)域的邊緣鋸齒比較明顯，這樣就會(huì)影響后面指尖檢測(cè)算法的準(zhǔn)確性，因此，在得到該區(qū)域之后，對(duì)它應(yīng)用貝葉斯顏色模型，去除那些不是手和指揮棒顏色的地方，得到準(zhǔn)確的手拿指揮棒的區(qū)域。

貝葉斯顏色模型是指在將位于環(huán)境矩形內(nèi)的使用者手區(qū)域圖像提取20組，利用20組內(nèi)的中心點(diǎn)顏色均值與環(huán)境矩形內(nèi)所有點(diǎn)的關(guān)系計(jì)算出使用者手區(qū)域圖像的顏色閾值。然后利用二分法依次改變閾值，尋找出環(huán)境矩形區(qū)域內(nèi)噪點(diǎn)最少的手區(qū)域圖像值，最后利用這個(gè)值進(jìn)行手及指揮棒勢(shì)姿態(tài)圖像二值化處理?！瓕⒌玫降亩祷瘓D像進(jìn)行特征化處理，得到手區(qū)域的特征點(diǎn)。通過(guò)對(duì)特征點(diǎn)的運(yùn)算，得到最終手及指揮棒骨骼的位置信息。

6渲染并輸出所有骨骼的動(dòng)畫(huà)效果

本模塊將人體和指揮棒的骨骼信息傳輸給圖形渲染引擎，利用圖形渲染引擎對(duì)畫(huà)面進(jìn)行渲染，最后輸出其動(dòng)畫(huà)效果。

可劃分為以下步驟實(shí)現(xiàn)：（1）虛擬人幾何模型創(chuàng)建模塊。該模塊由搭建骨骼部分和骨骼蒙皮綁定部分組成。（2）利用重定位技術(shù)將Kinect捕捉的運(yùn)動(dòng)數(shù)據(jù)映射到虛擬人模型上，進(jìn)而驅(qū)動(dòng)虛擬人。（3）平移補(bǔ)償機(jī)制和失真處理方法模塊。（4）再由圖形渲染引擎輸出動(dòng)畫(huà)。

7結(jié)論

遠(yuǎn)程虛擬指揮系統(tǒng)將舞臺(tái)呈現(xiàn)效果和指揮家及某些表演對(duì)象的行為聯(lián)系起來(lái)，將虛實(shí)結(jié)合的交互式呈現(xiàn)等最新技術(shù)引入到舞臺(tái)藝術(shù)呈現(xiàn)中，利用傳感器技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)、人機(jī)交互技術(shù)及實(shí)時(shí)渲染技術(shù)等，利用創(chuàng)作先期建立的舞臺(tái)模型，利用傳感器對(duì)各種實(shí)際表演元素進(jìn)行定位及數(shù)據(jù)收集，并采用人機(jī)交互方式觸發(fā)相關(guān)舞臺(tái)呈現(xiàn)，不斷地提供不同于以往舞臺(tái)藝術(shù)的全新表演呈現(xiàn)方式，創(chuàng)新、豐富原有的舞臺(tái)表演體系。通過(guò)對(duì)其關(guān)鍵技術(shù)的深入研究及應(yīng)用規(guī)范研究，設(shè)計(jì)并提交相關(guān)的舞臺(tái)虛實(shí)交互系統(tǒng)集成呈現(xiàn)技術(shù)規(guī)范及相關(guān)標(biāo)準(zhǔn)草案，使之成為提升舞臺(tái)藝術(shù)呈現(xiàn)效果的主要技術(shù)手段之一。減少前期大量的創(chuàng)排時(shí)間，大幅提升工作效率，增強(qiáng)創(chuàng)作能力，為現(xiàn)代全新的綜合舞臺(tái)提供解決方案。