鄧戀

（北京郵電大學(xué)數(shù)字媒體與設(shè)計(jì)藝術(shù)學(xué)院，北京100876）

為滿足公眾對(duì)沉浸式虛擬展示心靈沉浸體驗(yàn)，解決已有沉浸式虛擬展示交互性差、沉浸感低的問題，本文提出一種融合交互投影的沉浸式虛擬展示技術(shù)，從而創(chuàng)建一個(gè)具有互動(dòng)性、趣味性和參與性的展示環(huán)境，實(shí)現(xiàn)展示內(nèi)容與參觀者的現(xiàn)場互動(dòng)體驗(yàn)，提高展示體驗(yàn)的交互性、沉浸感，給參觀者帶來心靈沉浸體驗(yàn)，為沉浸式虛擬展示奠定基礎(chǔ)。

1 融合交互投影的沉浸式虛擬展示技術(shù)概述

本文提出的融合交互投影的沉浸式虛擬展示技術(shù)以投影技術(shù)、人機(jī)交互技術(shù)為基礎(chǔ)，在展示設(shè)計(jì)需求的推動(dòng)下，以現(xiàn)實(shí)物體為投影介質(zhì)，實(shí)現(xiàn)融合投影及人機(jī)交互，提高展示的沉浸感及交互性，輔助展示設(shè)計(jì)的完成。其中，投影技術(shù)利用幾何校正、邊緣融合等算法將待投影圖像進(jìn)行處理，通過多投影儀將二維圖像無縫平滑、無畸變地投影到投影表面上，實(shí)現(xiàn)融合效果；人機(jī)交互技術(shù)借助Kinect 獲取人體骨骼框架及節(jié)點(diǎn)坐標(biāo)，由節(jié)點(diǎn)坐標(biāo)計(jì)算動(dòng)作特征關(guān)節(jié)角度，定義具有動(dòng)作角度閾值及持續(xù)時(shí)間的姿勢模板，再運(yùn)用姿勢匹配算法進(jìn)行動(dòng)作識(shí)別，在展示設(shè)計(jì)需求的推動(dòng)下，改變投影內(nèi)容，實(shí)現(xiàn)場景交互。融合交互投影的沉浸式虛擬展示技術(shù)基本實(shí)現(xiàn)流程如圖1 所示。

圖1 融合交互投影的沉浸式虛擬展示技術(shù)流程

2 融合交互投影的沉浸式虛擬展示技術(shù)實(shí)現(xiàn)

2.1 投影技術(shù)

投影技術(shù)解決的兩個(gè)關(guān)鍵問題是投影畸變及亮度突變。投影畸變主要由于投影儀斜對(duì)投影表面，未能實(shí)現(xiàn)垂直投射。如圖2 左所示，此時(shí)投影儀垂直投射于墻壁接縫處，相對(duì)于兩邊墻面傾斜，產(chǎn)生投影畸變。亮度突變是由于多個(gè)投影儀重疊投射的投影區(qū)域處照亮的像素較多而產(chǎn)生的現(xiàn)象。如圖2 右所示，兩個(gè)投影儀重疊投射區(qū)域亮度明顯高于單個(gè)投影儀作用的區(qū)域亮度，產(chǎn)生白色亮條。為解決以上兩個(gè)問題，本文采用幾何校正及邊緣融合算法，得到具有無畸變的平滑投影畫面。

圖2 投影畸變及亮度突變

2.1.1 幾何校正

幾何校正的目的是預(yù)處理待投影畸變圖像，將發(fā)生畸變的投影點(diǎn)映射到正確的位置，形成無畸變的投影畫面。本文將投影表面分為兩類：投影平面及復(fù)雜投影表面。對(duì)于投影平面，本文采用基于單應(yīng)性矩陣的幾何校正方法，求得待投影圖像與投影平面的映射關(guān)系，實(shí)現(xiàn)幾何校正。對(duì)于復(fù)雜投影表面，本文首先將投影表面及待投影圖像根據(jù)畸變特征點(diǎn)進(jìn)行區(qū)域劃分，形成子平面的集合，然后對(duì)各個(gè)子區(qū)間使用基于單應(yīng)性矩陣的幾何校正方法預(yù)處理待投影圖像，消除畸變。下文將對(duì)基于單應(yīng)性矩陣的幾何校正方法及區(qū)域劃分進(jìn)行介紹。

2.1.1.1 基于單應(yīng)性矩陣的幾何校正

單應(yīng)性矩陣是一個(gè)3*3 的矩陣，用于描述兩個(gè)平面之間的映射關(guān)系[1]。設(shè)待投影圖像中有一點(diǎn)P，坐標(biāo)為(x,y)，投影表面對(duì)應(yīng)點(diǎn)坐標(biāo)為(X,Y)，待投影圖像和投影表面間的單應(yīng)性矩陣為H，則兩面之間的變換關(guān)系可以表示為：

為了保證H 的唯一性，令其最后一項(xiàng)為1，此時(shí)H 為具有八個(gè)自由度的單應(yīng)性矩陣。為了求得H，至少需要四組待投影圖像和投影表面的點(diǎn)對(duì)信息。本文將棋盤格角點(diǎn)作為特征點(diǎn)，向投影表面投射黑白棋盤格圖像，使用角點(diǎn)檢測法獲取角點(diǎn)信息，選取棋盤格圖像第一個(gè)角點(diǎn)、第r 個(gè)角點(diǎn)、第r(c-1)+1 個(gè)角點(diǎn)及第rc 個(gè)角點(diǎn)作為所需點(diǎn)對(duì)，其中r 為棋盤格角點(diǎn)行數(shù)、c 為棋盤格角點(diǎn)列數(shù)。然后將H-1左乘待投影圖像，實(shí)現(xiàn)幾何校正。

2.1.1.2 區(qū)域劃分

本文將投影表面局部區(qū)域形態(tài)發(fā)生明顯變化的邊界點(diǎn)作為畸變特征點(diǎn)，以劃分各個(gè)子區(qū)域。為了便于獲得畸變特征點(diǎn)位置，將棋盤格圖像作為待投影圖像對(duì)投影表面進(jìn)行投射，并盡量使棋盤格角點(diǎn)與投影表面形態(tài)發(fā)生明顯變化的邊界對(duì)齊。如圖3 左所示，投影圖像以BC 作為邊界點(diǎn)，在BC 連線兩側(cè)發(fā)生明顯形變。則B 點(diǎn)、C 點(diǎn)為所求畸變特征點(diǎn)，投影表面劃分為ABCD 及BCEF 兩個(gè)子區(qū)域，對(duì)應(yīng)待投影圖像劃分如圖3 右不同顏色面積區(qū)域所示。

圖3 非曲面復(fù)雜投影表面區(qū)域劃分

以待投影圖像左上角為坐標(biāo)原點(diǎn)，建立uv 坐標(biāo)系，則待投影圖像區(qū)域劃分公式表示為：

其中u 表示劃分區(qū)域起始點(diǎn)像素在u 軸上的值，v 表示劃分區(qū)域起始點(diǎn)像素在v 軸上的值，w 表示劃分區(qū)域?qū)挾?，h 表示劃分區(qū)域高度。

2.1.2 邊緣融合

經(jīng)過幾何校正的圖像在重疊投影時(shí)，由于重疊區(qū)域亮度疊加，形成具有白色亮條接縫的亮度突變現(xiàn)象。為了解決該問題，本文使用邊緣融合方法，將各個(gè)待投影圖像重疊區(qū)域像素點(diǎn)亮度值乘以一個(gè)衰減系數(shù)，使得投影畫面在重疊區(qū)域進(jìn)行亮度疊加后的效果和單投影儀作用效果相同。

邊緣融合函數(shù)表示為：

其中，f(x)作為右側(cè)投影重疊區(qū)域的融合函數(shù)，1-f(x)作為左側(cè)投影融合區(qū)域的融合函數(shù)。將左右兩個(gè)待投影圖像重疊區(qū)域利用融合函數(shù)進(jìn)行亮度衰減后，得到亮度一致的投影畫面。

2.2 人機(jī)交互技術(shù)

人機(jī)交互技術(shù)借助Kinect 設(shè)備實(shí)現(xiàn)，主要由骨骼框架及關(guān)節(jié)點(diǎn)坐標(biāo)獲取、特征角度計(jì)算、姿勢匹配和動(dòng)作識(shí)別等幾個(gè)部分組成。首先，通過Kinect 獲取人體骨骼框架并計(jì)算骨架關(guān)節(jié)點(diǎn)的空間坐標(biāo)；然后，利用關(guān)節(jié)點(diǎn)坐標(biāo)計(jì)算特征角度；最后定義具有動(dòng)作角度特征及持續(xù)時(shí)間的姿勢模板，將當(dāng)前動(dòng)作角度及動(dòng)作時(shí)間與姿勢模板進(jìn)行匹配，從而實(shí)現(xiàn)動(dòng)作識(shí)別。

2.2.1 骨骼框架及關(guān)節(jié)點(diǎn)坐標(biāo)獲取

Kinect 骨骼框架識(shí)別及關(guān)節(jié)點(diǎn)坐標(biāo)獲取以景深數(shù)據(jù)為基礎(chǔ)[3]。首先，由Kinect 投射紅外光譜，通過空間中紅外光譜的反饋，計(jì)算待標(biāo)定人體深度值，形成具有景深數(shù)據(jù)的深度圖；然后，從深度圖中識(shí)別出“人體”目標(biāo)區(qū)域；最后，從深度圖像目標(biāo)區(qū)域中逐像素點(diǎn)掃描，判斷人體骨骼位置，形成人體骨骼框架并得到各個(gè)關(guān)節(jié)的坐標(biāo)[4-5]。

2.2.2 特征角度計(jì)算

本文利用角度特征[5,6]作為姿勢判斷依據(jù)。以抬起右手為例，設(shè)腕節(jié)點(diǎn)與肘節(jié)點(diǎn)形成的骨骼向量為Vi，肘節(jié)點(diǎn)和肩節(jié)點(diǎn)形成的骨骼向量為Vj，則兩個(gè)骨骼向量的夾角表示如下：

當(dāng)設(shè)定姿勢模板后，在進(jìn)行姿勢匹配及動(dòng)作識(shí)別時(shí)，首先判斷當(dāng)前動(dòng)作角度是否在規(guī)定的角度閾值范圍內(nèi)，然后判斷動(dòng)作是否在持續(xù)時(shí)間內(nèi)完成，若條件全部滿足，則姿勢匹配成功；若當(dāng)前動(dòng)作角度不在規(guī)定角度閾值范圍內(nèi)或在規(guī)定持續(xù)時(shí)間內(nèi)動(dòng)作還未完成，則匹配失敗，需重新開始匹配[7]。匹配成功后即可通過肢體動(dòng)作控制投影展示內(nèi)容，實(shí)現(xiàn)場景互動(dòng)。

2.3 交互投影技術(shù)與沉浸式虛擬展示的融合

沉浸式虛擬展示設(shè)計(jì)包含展示設(shè)計(jì)與用戶沉浸體驗(yàn)設(shè)計(jì)兩個(gè)部分，展示設(shè)計(jì)是指依據(jù)具體展示主題要求進(jìn)行設(shè)計(jì)，以符合展示主題傳播與使用的需要；用戶沉浸體驗(yàn)設(shè)計(jì)是指通過外在感官與內(nèi)在交互內(nèi)容的沉浸式設(shè)計(jì)，提高用戶的沉浸體驗(yàn)[8]。因此，交互投影技術(shù)與沉浸式虛擬展示的融合準(zhǔn)則為按照展示設(shè)計(jì)需求，實(shí)現(xiàn)展示主題表達(dá)及沉浸體驗(yàn)。交互投影技術(shù)與沉浸式虛擬展示融合模型如圖4 所示。

圖4 交互投影技術(shù)與沉浸式虛擬展示融合模型

展示設(shè)計(jì)按照展示主題進(jìn)行設(shè)計(jì)，一方面需要考慮展示內(nèi)容以表達(dá)主題思想，另一方面需要考慮展示方法，以呈現(xiàn)及推動(dòng)展示主題發(fā)展。融合交互投影技術(shù)的沉浸式虛擬展示，選擇交互投影的展示方法，將展示內(nèi)容用投影畫面的形式呈現(xiàn)給觀眾，結(jié)合展示主題發(fā)展的需要引導(dǎo)觀眾與展示內(nèi)容交互，通過投影內(nèi)容的改變推進(jìn)展示主題發(fā)展，達(dá)到主題傳播目的。

沉浸體驗(yàn)是生理與認(rèn)知共同作用達(dá)到的全身心投入的狀態(tài)[8]。生理沉浸來源于生理感受，如嗅覺、視覺、觸覺等。認(rèn)知沉浸[8]來自于用戶在內(nèi)容的認(rèn)知中自我意識(shí)與內(nèi)容達(dá)到完美融合，從而進(jìn)入一種全身心思考的狀態(tài)。交互投影技術(shù)將二維投影圖像投影在真實(shí)物體上，實(shí)現(xiàn)融合效果，具有逼真的畫面，讓用戶從生理上達(dá)到沉浸體驗(yàn)。同時(shí)，通過自然的肢體動(dòng)作實(shí)現(xiàn)與場景的交互融合，達(dá)到認(rèn)知沉浸效果。

3 一種融合交互投影的沉浸式虛擬展示技術(shù)應(yīng)用

本文將融合交互投影的沉浸式虛擬展示技術(shù)運(yùn)用于大屏幕投影墻、洞穴式展示空間及三維瓷瓶等方面進(jìn)行展示設(shè)計(jì)。

圖5 以敦煌藝術(shù)為展示主題，利用融合交互投影的沉浸式虛擬展示技術(shù)將反彈琵琶虛擬舞蹈呈現(xiàn)在平面投影墻。

圖6 以龜茲樂舞為展示主題，利用融合交互投影的沉浸式虛擬展示技術(shù)將虛擬龜茲樂舞展廳投射在洞穴式展示空間，形成沉浸式投影環(huán)境。同時(shí)將用戶右手模擬為鼠標(biāo)，通過Kinect進(jìn)行追蹤，當(dāng)右手移動(dòng)到可觸發(fā)展示物上方時(shí)，通過握拳姿勢實(shí)現(xiàn)對(duì)展示物的介紹。

圖7 以瓷器文化為展示主題，利用融合交互投影的沉浸式虛擬展示技術(shù)將瓷器二維投影圖像投射在瓷瓶表面，實(shí)現(xiàn)投影融合，達(dá)到生理沉浸效果。并通過Kinect 捕獲觀眾肢體行為，實(shí)現(xiàn)瓷瓶紋樣的切換、語音介紹功能，這種展示設(shè)計(jì)模式即能表現(xiàn)展示主題，又能引發(fā)觀眾思考，實(shí)現(xiàn)認(rèn)知沉浸。

圖5 融合交互投影的敦煌藝術(shù)沉浸式虛擬展示

圖6 融合交互投影的龜茲樂舞沉浸式展示

圖7 融合交互投影的瓷器文化沉浸式虛擬展示

4 結(jié)論

本文為滿足公眾對(duì)沉浸式虛擬展示的沉浸式體驗(yàn)要求，提高展示的交互性及沉浸感，提出一種融合交互投影的沉浸式虛擬展示技術(shù)，在展示設(shè)計(jì)需求的推動(dòng)下，將二維投影圖像與投影表面融合，利用肢體行為控制投影畫面，產(chǎn)生場景交互，實(shí)現(xiàn)具有生理沉浸、認(rèn)知沉浸的交互性沉浸式虛擬展示。交互投影技術(shù)在沉浸式虛擬展示中的使用有利于解決展示物品不便移動(dòng)、不宜曝光等問題，在文物保護(hù)及文化傳承方面有一定的作用。

致謝：本篇論文得到了北京郵電大學(xué)世紀(jì)學(xué)院移動(dòng)媒體與文化計(jì)算北京市重點(diǎn)實(shí)驗(yàn)室大力支持，為論文提供了反彈琵琶視頻及龜茲樂舞展廳素材資源，非常感謝！