馬 衛(wèi)

（北京信息職業(yè)技術學院，北京 100018）

虛擬現(xiàn)實技術與增強現(xiàn)實技術的應用

馬 衛(wèi)

（北京信息職業(yè)技術學院，北京 100018）

以鄧麗君虛擬人演唱會和李谷一與30年前“自己”同臺演唱為例，介紹虛擬現(xiàn)實技術、3D全息投影、增強現(xiàn)實技術的特點與應用，揭開明星“復活”之謎。

虛擬影像；虛擬人；虛擬現(xiàn)實技術；動作捕捉；全息投影；增強現(xiàn)實技術

作為一代華人歌壇“天后”鄧麗君英年仙逝，始終是“君迷們”心中揮之不去的結。2015年8月8日，上海大舞臺迎來了“如果能許一個愿”鄧麗君20周年虛擬人紀念演唱會。一曲經(jīng)典的《甜蜜蜜》后“鄧麗君”向觀眾致意，亦真亦幻，現(xiàn)場觀眾如癡如醉，有的“君迷”甚至掩面而泣。觀眾們在訝異之際，不禁要問是什么技術將鄧麗君又帶回到現(xiàn)實。

無獨有偶，2014年湖南衛(wèi)視的馬年春晚現(xiàn)場，歌唱家李谷一與30年前李谷一同臺演唱歌曲《鄉(xiāng)戀》。

其實，鄧麗君的“復活”所用的是虛擬影像重建技術。虛擬影像重建技術目前包括兩類：一種是虛擬現(xiàn)實+裸眼3D全息投影技術，應用范例即鄧麗君演唱會；另一種是增強現(xiàn)實技術，如歌唱家李谷一與30年前的自己同臺演出應用案例。筆者將通過解讀虛擬影像重建技術的特點、實際應用案例，為讀者解開明星“復活”的神秘面紗。

1 制作鄧麗君虛擬人影像的技術分析

俗語說：“畫鬼容易畫人難”。鄧麗君作為華人歌壇現(xiàn)象級的歌手，其形象為廣大華人社會所熟悉，要想將她“復活”，的確是一個巨大的挑戰(zhàn)。敢于接受這一挑戰(zhàn)的是世界知名特效公司數(shù)字王國。

利用虛擬影像重建技術實現(xiàn)明星“復活”，需要經(jīng)歷如圖1所示的幾個技術階段。

1.1 素材采集

鄧麗君在世時留下了數(shù)以千計的影像資料，數(shù)字王國特效團隊從眾多的素材中提取有價值的信息。雖然這項工程得到了鄧麗君兄長鄧長富的大力支持，但是特效團隊長期服務于西方文化，在該項目中面臨的最大困難是對東方文化的理解，尤其是對“婉約”認知的不足與偏差。鄧麗君獨有的“婉約”美，是她廣受華人社會歡迎的重要原因之一。特效開發(fā)團隊為此找到了本土設計師羅婷負責從整體上對虛擬鄧麗君進行設計把控，因她與鄧麗君生前有過接觸。她認為，20世紀80年代的歌手打扮都比較傳統(tǒng)，但如果全部照搬，那么出來的效果可能會讓觀眾不太容易接受，畢竟現(xiàn)在的觀眾都是二十歲出頭的年輕人。所以形象設計上就定為：白色（或紅色）旗袍、亮色淡妝，這樣能夠?qū)F(xiàn)在時尚文化同中國傳統(tǒng)文化結合起來。

特效團隊收集到很多鄧麗君的演唱細節(jié)：“她有很美的牙齒，在演唱時會常常露出來，尤其是在‘yi’這個音。特別是她唱到高音時喉嚨會有顫動，嘴唇也可能會有顫動?！边@些常人忽略的細節(jié)為虛擬鄧麗君影像注入了生命力。圖2為鄧麗君真人照與虛擬出的鄧麗君。

1.2 模型重建

任何人物建模最難的就是人臉與毛發(fā)。人物面部建模，數(shù)字王國有自己的優(yōu)勢。該特效公司擁有獲得奧斯卡技術獎的面部表情捕捉系統(tǒng)MOVA。該系統(tǒng)能夠捕捉正在表演的演員之高度細致、面貌一致、栩栩如生的網(wǎng)狀結構化的面部表情，以供特效師創(chuàng)作具極高質(zhì)素的人物動畫。通過多相機（80個以上）360°全方位拍攝，如圖3所示，并配合先進的照明設備，MOVA可以記錄演員表演的全部細節(jié)。依據(jù)獲取的大數(shù)據(jù)，軟件創(chuàng)造出該演員面部的高清立體網(wǎng)狀結構，重建演員包括小皺紋在內(nèi)的整張臉，如圖4所示，保留表演最細微的部分。特效師利用這張動畫臉部，可以制作出演員在不同場景的表情。

另外，為虛擬人模擬真人頭發(fā)的制作難度同樣很大，僅頭發(fā)的虛擬圖像，特效人員就繪制了約15 000幅，并且這些頭發(fā)還需要模仿人物的動態(tài)。

1.3 動作捕捉

動作捕捉（motion capture）技術就是利用計算機系統(tǒng)捕捉演員表演時的表情動作，然后把這些動作表情同步到計算機中的虛擬角色上，使虛擬角色的動作表情與真人無異。從電影《阿凡達》到《霍比特人》三部曲，好萊塢驚世駭俗的狂飆制作，離不開動作捕捉技術的功勞。

隨著水稻種類的增多，更多的先進技術的研究與出現(xiàn)對水稻識別工作具有促進作用，其中近紅外光譜技術已屢見不鮮。在利用近紅外光譜技術時，采取全波段與特征波段兩種方法進行模型建立，收集純度高的雜交水稻光譜數(shù)據(jù)，隨后對其純度進行鑒定，這種模型測定的準確率極高，據(jù)研究表明，可以達到100%的效果。因而，采用這種方法是有效的，與全波段模型相比，特征波段模型的預測精度更高。

因為在建模階段，人物是靜態(tài)。通過動作捕捉，可以讓虛擬人物動起來。這個階段可以請歌手模仿鄧麗君的動作，捕捉到身體動作（見圖5）、姿態(tài)（見圖6）、表情等數(shù)據(jù)，從而使虛擬人鄧麗君自然逼真。

1.4 虛擬合成

虛擬現(xiàn)實（virtual reality）技術是通過計算機系統(tǒng)生成，能夠?qū)崟r追蹤用戶多感官（視覺、聽覺、觸覺、味覺、嗅覺等）信息，用戶可以高度浸入這個虛擬實境進行瀏覽、交互與探查。該技術具有：浸入性、交互性、實時性、構想性的特點。

當完成虛擬鄧麗君建模后，就需要將模型導入虛擬現(xiàn)實軟件（unity VRPDVS3D等）進行調(diào)試、渲染、烘焙、導出。值得一提的是在調(diào)試階段，制作團隊還一點點地摳畫、修改嘴型，以便讓虛擬鄧麗君嘴形和聲音同步。在渲染階段，頭發(fā)的渲染非常不易，100次死機有60次是因為頭發(fā)渲染失敗。

不僅如此，即使在導出階段，為了達到同當年的鄧麗君“聲情并茂、形神舉止”的一致，特效人員進行了數(shù)百個版本虛擬鄧麗君的修改。

1.5 全息輸出

全息投影技術(front-projected holographic display) 原理是利用干涉和衍射原理記錄并再現(xiàn)物體真實的三維圖像的記錄和再現(xiàn)的技術。該技術首先是利用干涉原理記錄物體光波信息，其次是利用衍射原理再現(xiàn)物體光波信息，如圖7所示。

3D全息投影技術類似于自然界中的海市蜃樓，通過不同數(shù)量的投影機把真實影像或事先經(jīng)過精心制作并具有立體效果的數(shù)字影像均勻?qū)ΨQ地投射在成像膜上（這種成像膜是一種透明的超薄膜）。經(jīng)過光的衍射和折射，再現(xiàn)三維影像。

2 制作李谷一穿越對唱技術解析

李谷一作為知名歌唱家，其形象也廣為人知，要完成她與30年前自己虛擬影像的對唱，現(xiàn)實真人與虛擬人對比強烈，同樣是一項復雜的工程。承接這一項目的數(shù)虎圖像公司利用增強現(xiàn)實技術實現(xiàn)真人與虛擬人物跨時空對唱，其技術特點如下。

2.1 真人3D復原

數(shù)虎制作團隊收集了大量30年前李谷一的影像資料、生活照片、演出劇照等，但當時的影像都是模擬信號、成像質(zhì)量差。為了獲得更好的表現(xiàn)效果，重新為現(xiàn)在的李谷一拍攝了全身照作為參考。后續(xù)涉及異常繁重的團隊制作與現(xiàn)場調(diào)試工作，需要完成包括前期資料收集、建模（見圖10）、材質(zhì)、數(shù)據(jù)修復等一系列工作。

在動作捕捉階段，數(shù)虎聘請專業(yè)演員進行表演動作的捕捉，并按照舞臺表演要求進行數(shù)據(jù)調(diào)試修復，見圖11。為了真實還原30年前的服裝，數(shù)虎公司還請李谷一拿出珍藏的當年春晚演出服裝，作為布料材質(zhì)模擬的參考。

舞臺角度與燈光渲染是整個虛擬人像跟舞臺配合最多的地方。在調(diào)試階段，特效人員在制作軟件中虛擬設置了三臺與實拍一致的攝像機，以保證實際演出時不出現(xiàn)角度偏差，確保真人與虛擬人的相互配合。

2.2 增強現(xiàn)實表現(xiàn)

增強現(xiàn)實（Augmented Reality）技術就是通過將虛擬仿真系統(tǒng)產(chǎn)生的圖像信息合成到真實環(huán)境中，使虛擬與現(xiàn)實有機融合。一個完整的增強現(xiàn)實系統(tǒng)是由一組緊密聯(lián)結、實時工作的硬件部件與相關的軟件系統(tǒng)協(xié)同實現(xiàn)的。

2014年湖南衛(wèi)視春晚李谷一與虛擬“李谷一”完成對唱，所依靠的增強現(xiàn)實技術工作原理如下：虛擬李谷一（30年前影像）是通過運用二維碼類的標記來定位，攝像頭捕捉到標記圖像后由軟件計算出內(nèi)容來實現(xiàn)真人與虛擬人的互動。直播中至少運用了以下幾個基本設備。

（1）標記點，用于圖像識別。

（2）捕捉標記圖案的攝像頭，攝像頭可能就在標記點的上方。

（3）計算機綜合系統(tǒng)，主要包括四部分：攝像機運動的傳感器跟蹤系統(tǒng)；生成與攝像機運動相匹配的虛擬前景渲染系統(tǒng)；切換臺及背景視頻延時器；將前景和背景無縫合成的色鍵系統(tǒng)，如圖13所示。

晚會現(xiàn)場攝像頭拍攝現(xiàn)實場景，并通過計算機追蹤技術捕獲標記，實時記錄其位置和方向，將虛擬的李谷一影像疊加到該位置，構成虛實融合的景象，從而實現(xiàn)了李谷一同30年前的自己穿越時空對唱《鄉(xiāng)戀》的奇觀，見圖14。

3 虛擬影像技術發(fā)展的思考

虛擬影像技術的快速發(fā)展，為觀眾帶來了影像奇觀與特殊的視聽享受，豐富發(fā)展了舞臺演藝市場。但是，虛擬影像技術在舞臺演藝領域的應用也存在一些問題，主要表現(xiàn)在以下三個方面。其一，技術亟需完善，3D全息成像并不能實現(xiàn)虛擬演員360°全方位立體逼真呈現(xiàn)，增強現(xiàn)實技術呈現(xiàn)的虛擬人像，現(xiàn)場觀眾裸眼無法看到。虛擬演員活動范圍有限，無法同觀眾互動。其二，相關法律不完善，虛擬影像也涉及到肖像版權問題，相關法律目前還是空白。其三，制作成本昂貴。目前，國內(nèi)掌握虛擬人技術的有數(shù)虎圖像、諾華視創(chuàng)等企業(yè)，但制作成本較高。據(jù)介紹，虛擬鄧麗君臺北演唱會的制作成本就高達1 500萬美元。

當然，筆者認為，一方面，隨著虛擬現(xiàn)實技術與增強現(xiàn)實技術的不斷融合發(fā)展，虛擬影像技術會愈加完善；另一方面，隨著國民收入的增長，文化娛樂消費會逐年增長。因此，未來虛擬人演藝市場有著巨大的發(fā)展空間與商機，有志于此的創(chuàng)新企業(yè)可以及早謀劃，拓展相關市場。

注：文中部分照片來自網(wǎng)站。

[1] 張帆. 數(shù)字時代的表演藝術[J]. 北京電影學院學報,2010(3)∶85-93.

[2] 丁莉. 人造生命力：數(shù)字時代CG虛擬角色的創(chuàng)作[J]. 當代電影,2010(11)∶114-119.

[3] 黃仲山. 反思數(shù)字虛擬角色對傳統(tǒng)表演藝術體系的影響[J]. 四川戲劇,2012( 6)∶147-149.

[4 ]韓飛. 鄧麗君與周杰倫隔空對唱——特效工程師網(wǎng)上撰文揭秘制作始末[N]. 揚子晚報,2013-09-10.

[5] 搜狐資訊. 湖南臺春晚：數(shù)虎3D復原讓李谷一遇見“李谷一”[OL]. http∶//roll.sohu.com/20140124/n394145895.shtml ,2014-1-24.

馬衛(wèi)，1970年生，畢業(yè)于中國傳媒大學，獲碩士學位，現(xiàn)為北京信息職業(yè)技術學院數(shù)字媒體與藝術系副教授，主要研究領域：虛擬現(xiàn)實、影視制作。

（編輯 杜 青）

The Application of Virtual Reality Technology and Augmented Reality Technology

MA Wei
(Beijing Information Technology College, Beijing 100018, China)

Taking the virtual human of Teresa Deng concert and Li Gu Yi singing together ‘own’ in 30 years ago as examples, the characteristics and application of virtual reality technology, 3D front-projected holographic display, augmented reality technology was introduced, thus attempted to discover the mystery star ‘Resurrection’.

virtual image; virtual human; virtual reality technology; motion capture; front-projected holographic display; augmented reality technology

10.3969/j.issn.1674-8239.2016.01.010