陳 錕

內(nèi)蒙古廣播電視臺(tái) 內(nèi)蒙古 呼和浩特市 010050

1 虛擬技術(shù)發(fā)展歷程

演播室是利用光和聲進(jìn)行空間藝術(shù)創(chuàng)作的場(chǎng)所，是電視節(jié)目制作的常規(guī)基地，除了錄制聲音外，還要攝錄圖像。嘉賓、主持及演職人員在里面進(jìn)行工作、制作及表演。因此，除了必要的攝錄編設(shè)備外，演播室必須具有足夠的聲、光設(shè)備和便于創(chuàng)作的條件。演播室作為電視節(jié)目制作的重要場(chǎng)所，承擔(dān)了除外拍節(jié)目外的大部分節(jié)目錄制和制作任務(wù)。隨著設(shè)備和技術(shù)突飛猛進(jìn)的發(fā)展，本著少花錢(qián)辦大事的原則，演播室在不斷升級(jí)換代，從實(shí)景演播室，發(fā)展到虛擬演播室、XR演播室。

實(shí)景演播室，根據(jù)節(jié)目實(shí)際拍攝需求，采用實(shí)物置景，實(shí)際拍攝的效果真實(shí)、有質(zhì)感，但由于制作成本大，只能使用一次。改變布景只能重新設(shè)計(jì)制作，常用于場(chǎng)景固定的新聞?lì)惞?jié)目中。

綠幕摳像技術(shù)，目前比較成熟的虛擬演播室技術(shù)，廣泛應(yīng)用于各種電視節(jié)目制作中。人物在純色的背景中進(jìn)行表演，現(xiàn)場(chǎng)攝像機(jī)拍攝畫(huà)面用計(jì)算機(jī)摳圖技術(shù)將背景顏色透明化，再與設(shè)計(jì)師提前設(shè)計(jì)好的三維場(chǎng)景相融合，就呈現(xiàn)了人物在虛擬場(chǎng)景中的活動(dòng)。攝像機(jī)跟蹤技術(shù)能夠使三維場(chǎng)景與攝像機(jī)同步推拉搖移，拍攝出的節(jié)目效果更具立體感。由于RGB 標(biāo)準(zhǔn)以及數(shù)字拍攝的興起，目前使用綠幕作為摳像背景。摳像技術(shù)充分發(fā)揮設(shè)計(jì)師的想象力，使節(jié)目呈現(xiàn)豐富多彩的效果。但人物表演處于純色背景中，缺乏情景互動(dòng)，對(duì)演員演技有極大考驗(yàn)。

AR 增強(qiáng)現(xiàn)實(shí)技術(shù)，通過(guò)對(duì)現(xiàn)有實(shí)景電視節(jié)目演播室的改造升級(jí)，可以在實(shí)景中引入AR 特效，運(yùn)用三維建模、攝像機(jī)追蹤、傳感定位和智能交互等技術(shù)，將三維模型、文字、圖像等虛擬信息與現(xiàn)場(chǎng)實(shí)景相融合，以虛擬前景的方式與演員實(shí)時(shí)互動(dòng)，使節(jié)目更加生動(dòng)、活靈活現(xiàn)，實(shí)施性價(jià)比較高。其局限在于只能將預(yù)設(shè)好的內(nèi)容對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行覆蓋，對(duì)節(jié)目現(xiàn)場(chǎng)實(shí)時(shí)反饋不夠，而且能實(shí)現(xiàn)的現(xiàn)場(chǎng)沉浸式有限。

XR 是一套以LED 屏幕為拍攝背景的影像空間合成技術(shù)，是虛擬制作（Virtual Production）概念的一種應(yīng)用實(shí)踐，可以作為綠幕拍攝技術(shù)的升級(jí)方案，應(yīng)用于影視制作和節(jié)目直播。通過(guò)攝像機(jī)實(shí)時(shí)追蹤技術(shù)、實(shí)時(shí)渲染技術(shù)、多屏幕播控管理技術(shù)，使LED 屏幕中呈現(xiàn)出的虛擬場(chǎng)景畫(huà)面與屏幕前的“真實(shí)角色”在攝像機(jī)視角下保持正確三點(diǎn)透視關(guān)系。同時(shí)，對(duì)于LED屏幕之外的畫(huà)面通過(guò)“前景疊加”（AR）技術(shù)進(jìn)行實(shí)時(shí)合成，最終將“真實(shí)角色”置身于虛擬世界之中，達(dá)到虛實(shí)結(jié)合的視覺(jué)效果。

XR 演播室，XR （擴(kuò)展現(xiàn)實(shí)）技術(shù)的發(fā)展已較為成熟，它囊括了AR（增強(qiáng)現(xiàn)實(shí)）、VR（虛擬現(xiàn)實(shí)）和MR（混合現(xiàn)實(shí)）全部?jī)?nèi)容。AR 是在真實(shí)空間內(nèi)植入虛擬信息，將圖形、圖片、視頻、聲音植入現(xiàn)實(shí)。VR 是通過(guò)各種感官視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等將人代入到電腦設(shè)計(jì)的虛擬世界中，沉浸感和臨場(chǎng)感強(qiáng)。MR 是AR 與VR 的結(jié)合體，將虛擬信息代入現(xiàn)實(shí)世界，在形成的新的可視化場(chǎng)景中與人進(jìn)行交互，XR 集合了以上全部?jī)?nèi)容。通過(guò)三面垂直的LED屏幕與地屏作為背景，使用空間視差透視和圖像動(dòng)態(tài)校正技術(shù)，與前場(chǎng)實(shí)景相配合，再結(jié)合燈光、音響、舞美、道具等現(xiàn)場(chǎng)氣氛渲染，打造虛擬可視的沉浸式XR 演播室，特效更炫，沉浸感更強(qiáng)，根據(jù)背景內(nèi)容設(shè)計(jì)，使演播室區(qū)域可以無(wú)限放大。

圖1 綠幕摳像技術(shù)將人物置于虛擬場(chǎng)景之中

2 技術(shù)分析

2.1 攝像機(jī)追蹤系統(tǒng)

真實(shí)攝像機(jī)在世界中的坐標(biāo)、姿態(tài)及鏡頭變焦數(shù)據(jù)是一切信號(hào)的起點(diǎn)，攝像機(jī)追蹤系統(tǒng)將這些參數(shù)捕捉后送給合成服務(wù)器，用以渲染引擎和AR 畫(huà)面的合成。景隨人動(dòng)，這就要做到被攝人物在自由走動(dòng)的時(shí)候達(dá)成近乎真實(shí)的拍攝場(chǎng)景。因此，定位追蹤技術(shù)就顯得額外重要。三維虛擬拍攝時(shí)通過(guò)定位追蹤系統(tǒng)將攝像機(jī)與三維場(chǎng)景內(nèi)的虛擬攝像機(jī)綁定，隨著攝像機(jī)鏡頭的移動(dòng)，直接獲得人在現(xiàn)實(shí)空間中的實(shí)時(shí)位置和運(yùn)動(dòng)參數(shù)，并對(duì)這些數(shù)據(jù)進(jìn)行運(yùn)算和分析，就可以實(shí)時(shí)獲得完美的虛實(shí)合成畫(huà)面，實(shí)現(xiàn)景隨人動(dòng)。

圖2 XR演播室主要系統(tǒng)配置功能及作用

圖3 XR演播室主要系統(tǒng)設(shè)備連線圖

圖4 XR演播室“前景”“背景”與“虛擬擴(kuò)展”

2.2 實(shí)時(shí)圖像渲染引擎

渲染引擎是虛擬畫(huà)面生成的機(jī)器，是轉(zhuǎn)化設(shè)計(jì)師視覺(jué)創(chuàng)意的核心工具。在系統(tǒng)中，引擎接收服務(wù)器的渲染指令，渲染指定的幀畫(huà)面，并通過(guò)局域網(wǎng)將一幀一幀的畫(huà)面?zhèn)鬟f到系統(tǒng)下一流程，讓顯示大屏幕的虛擬場(chǎng)景實(shí)時(shí)跟蹤攝像機(jī)的視角，在攝像機(jī)鏡頭之前與現(xiàn)實(shí)所拍攝的畫(huà)面進(jìn)行合成，實(shí)時(shí)映射人物和場(chǎng)景的空間關(guān)系，讓演員可以在LED屏幕所構(gòu)建的虛擬空間中進(jìn)行表演，從而營(yíng)造出無(wú)限的空間感。

2.3 LED屏幕背景透視投射

LED 屏幕視頻處理器將合成服務(wù)器的信號(hào)多屏幕同步播控管理，使攝像機(jī)拍攝的三折屏或弧形屏（含地屏）顯示的虛擬場(chǎng)景畫(huà)面與屏幕前的“真實(shí)角色”保持正確三點(diǎn)透視關(guān)系，攝像機(jī)的運(yùn)動(dòng)，使透視點(diǎn)也跟隨變動(dòng)。同時(shí)實(shí)現(xiàn)的還有前景、背景、擴(kuò)展、采集幾塊畫(huà)面區(qū)域的協(xié)同幀同步。

2.4 “背景”畫(huà)面擴(kuò)展

在拍攝取景范圍運(yùn)動(dòng)到?jīng)]有LED 屏幕顯示的區(qū)域時(shí)，需要通過(guò)屏外區(qū)域疊加AR 畫(huà)面的方法，在采集信號(hào)上將場(chǎng)景延展顯示到無(wú)屏區(qū)域，實(shí)現(xiàn)虛擬世界的無(wú)限延伸。通過(guò)顏色校準(zhǔn)及邊緣過(guò)度等畫(huà)面處理技術(shù)，實(shí)現(xiàn)屏內(nèi)外畫(huà)面的和諧統(tǒng)一。

2.5 周邊輔助設(shè)備

除主要XR 系統(tǒng)設(shè)備外，大屏內(nèi)容、虛擬擴(kuò)展還要與演播室實(shí)景、燈光音響、舞美道具相配合，控制器聯(lián)動(dòng)、虛實(shí)結(jié)合、輔助設(shè)備配合，共同完成節(jié)目制作導(dǎo)演所需要達(dá)到的效果。

3 發(fā)展前景

“沉浸式體驗(yàn)”作為這些年的熱門(mén)話題，搜索增長(zhǎng)量高達(dá)3800%。XR技術(shù)能夠打造兼具獨(dú)特風(fēng)格與沉浸式觀眾體驗(yàn)的舞臺(tái)，不僅可以突破空間限制，還能夠融入更多元的創(chuàng)意場(chǎng)景，豐富節(jié)目舞臺(tái)的表現(xiàn)層次，實(shí)現(xiàn)跨空間的奇妙互動(dòng)，給觀眾耳目一新的視聽(tīng)體驗(yàn)。

XR 技術(shù)在今后的發(fā)展中可以與5G 和虛擬數(shù)字人等技術(shù)相結(jié)合，完成多項(xiàng)技術(shù)應(yīng)用的疊加使用。演唱會(huì)、主題晚會(huì)和常規(guī)節(jié)目的錄制，越來(lái)越多地采用XR 技術(shù)，這對(duì)于媒體從業(yè)人員也提出更高的挑戰(zhàn)。毋庸置疑的是，XR 技術(shù)將助力傳統(tǒng)媒體新的視覺(jué)語(yǔ)言表達(dá)和呈現(xiàn)，為行業(yè)帶來(lái)更多新活力。

審稿人：沈利俊 內(nèi)蒙古廣播電視臺(tái)正高級(jí)工程師