劉 美

（浙江廣播電視集團(tuán)，浙江 杭州 310000）

0 引 言

浙江廣播電視集團(tuán)廣播電視制作中心的400 m2演播廳完成了一場(chǎng)使用國(guó)際上較為先進(jìn)的Zero Density Reality 虛擬引擎實(shí)時(shí)渲染技術(shù)和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)的電視節(jié)目制作。相比于傳統(tǒng)的切換臺(tái)摳像，虛擬引擎制作能夠呈現(xiàn)更宏大的視角，給視頻制作人員更大的自由度，對(duì)于演播室的應(yīng)用也更具有靈活性。為此，本文就虛擬引擎制作的特點(diǎn)和原理展開論述。

1 虛擬引擎制作的優(yōu)點(diǎn)

虛擬演播室技術(shù)能夠完成節(jié)目場(chǎng)景的變換，并且不會(huì)受到次數(shù)的限制，從而實(shí)現(xiàn)節(jié)目播出時(shí)環(huán)境變換的無(wú)縫銜接。與以往制作節(jié)目的演播室相比，虛擬演播室技術(shù)無(wú)需使用特定的道具或者節(jié)目場(chǎng)景，演播室可以隨著節(jié)目?jī)?nèi)容的變化改變環(huán)境。一方面，這可以為節(jié)目設(shè)計(jì)者在前期的設(shè)計(jì)環(huán)節(jié)創(chuàng)造更多的可能性；另一方面，還可以有效減少成本的投入。

相比于傳統(tǒng)的切換臺(tái)摳像方式，虛擬引擎制作具有以下優(yōu)點(diǎn)。第一，打破空間環(huán)境的限制，只需要不太大的空間就能創(chuàng)造出幾倍于場(chǎng)地面積的視覺(jué)效果，如圖1 所示。第二，縮短舞美置景的周期，場(chǎng)景素材由專門的制作人員在計(jì)算機(jī)內(nèi)完成，現(xiàn)場(chǎng)只需要綠幕空間。第三，虛擬引擎自帶的高質(zhì)感畫面渲染能力為創(chuàng)作者提供了更絢麗、更現(xiàn)代的舞臺(tái)藝術(shù)選擇。第四，配合AR 技術(shù)，可大大增強(qiáng)節(jié)目的交互感、體驗(yàn)性。

圖1 本次虛擬制作的效果對(duì)比

2 虛擬引擎制作的基本原理

跟蹤技術(shù)及方式是虛擬制作不可或缺的重要組成部分，也是實(shí)現(xiàn)整個(gè)虛擬場(chǎng)景的基礎(chǔ)。該技術(shù)在現(xiàn)實(shí)空間內(nèi)為虛擬場(chǎng)景提供準(zhǔn)確的物理位置，為虛擬物體提供準(zhǔn)確的畸變模式以及變換方式，從而實(shí)現(xiàn)虛擬場(chǎng)景與現(xiàn)實(shí)環(huán)境的無(wú)縫結(jié)合。攝像機(jī)將拍攝物體的跟蹤數(shù)據(jù)實(shí)時(shí)傳送給渲染引擎，通過(guò)計(jì)算得出拍攝物體與虛擬物體之間的距離和相對(duì)位置關(guān)系，使得拍攝實(shí)景與渲染生成的虛擬場(chǎng)景結(jié)合，最后合成為符合同一空間透視關(guān)系的畫面[1]。

攝像機(jī)跟蹤系統(tǒng)中，需要獲取的攝像機(jī)運(yùn)動(dòng)參數(shù)包括變焦、聚焦、光圈、搖移、俯仰以及空間位置參數(shù)（X，Y，Z）。根據(jù)實(shí)現(xiàn)原理，可將跟蹤方式分為基于硬件和基于計(jì)算機(jī)視覺(jué)的方式。前者常用的是機(jī)械跟蹤（傳感器跟蹤），后者常用的是網(wǎng)格識(shí)別方式。還可以將兩者結(jié)合，實(shí)現(xiàn)更精準(zhǔn)的跟蹤[2]。

本次制作使用的是Zero Density 公司的Reality Engine 產(chǎn)品。這是一款基于虛擬引擎打造的虛擬工作室和增強(qiáng)現(xiàn)實(shí)解決方案。Zero Density 的技術(shù)創(chuàng)新核心是其領(lǐng)先的基于節(jié)點(diǎn)的實(shí)時(shí)合成工具，以及其專有的鍵控技術(shù)——Reality Keyer，其所有計(jì)算都在GPU 上執(zhí)行。與一般引擎不同的是，Reality是一種物理的引擎，其動(dòng)畫效果通過(guò)編程而不是制作人員通過(guò)手動(dòng)關(guān)鍵幀實(shí)現(xiàn)[3]。Zero Density 的所有代碼都能在虛擬引擎中運(yùn)行，并且能夠利用著色器編譯器、C++語(yǔ)言以及虛擬引擎的跨平臺(tái)功能。

在鍵控方面，Reality Keyer 使用一塊空白板，將其與系統(tǒng)的追蹤功能相結(jié)合。其生成的網(wǎng)格體可以用來(lái)表示攝影棚中的任意環(huán)形綠幕。三維圖像是由程序生成的，支持更為干凈的鍵控操作以及動(dòng)態(tài)垃圾遮罩，即便是在掃描平移和傾斜時(shí)，也能生成干凈而真實(shí)的鍵控最終圖像。該系統(tǒng)通過(guò)在空白板上進(jìn)行投影映射，協(xié)助鍵控操作，因此比普通的色度鍵控器更為先進(jìn)，如圖2 所示。

圖2 Zero Density 摳像效果展示

傳統(tǒng)上，圖形化軟件包只提供填充信號(hào)和鍵信號(hào)，并假設(shè)圖像切換器中存在基本合成畫面。Zero Density 提供了一種更為強(qiáng)大的系統(tǒng)，能夠識(shí)別伽馬信號(hào)，并且理解線性工作流和查找表。它能將通常為離線方案保留的控制功能添加到實(shí)時(shí)環(huán)境中。

Zero Density 可以從大多數(shù)主要解決方案中提取跟蹤數(shù)據(jù)。此外，它還可以提取程序提供的鏡頭數(shù)據(jù)。如果沒(méi)有鏡頭數(shù)據(jù)可用，軟件會(huì)從最后一次校準(zhǔn)的變焦和聚焦數(shù)據(jù)入手，估算出鏡頭曲率和其他屬性如視野等。

綠幕中拍攝的前景畫面直接進(jìn)入虛擬引擎，與提前制作好的虛擬素材一起直接進(jìn)入最終剪輯階段，無(wú)需傳統(tǒng)的離線渲染，也無(wú)需后期制作的視覺(jué)效果。軟件不僅可以輸出最終合成畫面，還可以輸出各種關(guān)鍵圖層，以便在后期階段完整地調(diào)整并重新剪輯，最終合成畫面。這次實(shí)踐也使用了AR技術(shù)。在電視內(nèi)容創(chuàng)作的語(yǔ)境下，AR 指的是在攝像機(jī)畫面上疊加一層虛擬空間，其中的虛擬物體多以元素的形態(tài)出現(xiàn)[4]。當(dāng)AR 與虛擬演播技術(shù)結(jié)合，便形成了混合現(xiàn)實(shí)（Mixed Reality，MR），實(shí)景不再固定于做后景，而虛景也不再固定于做前景。

3 本次虛擬引擎制作的視頻系統(tǒng)設(shè)計(jì)

本次制作共有5 個(gè)攝制機(jī)位，CAM 1、CAM 3、CAM 5 為固定機(jī)位，CAM 2 為ROSS 機(jī)器人，CAM 4為搖臂。其中，CAM 1、CAM 2、CAM 3、CAM 4連接虛擬引擎，即由攝像機(jī)機(jī)頭輸出本機(jī)拍攝的綠幕畫面信號(hào)送至虛擬引擎。經(jīng)過(guò)虛擬引擎渲染后的信號(hào)（EXT 1、EXT 2、EXT 3、EXT 4）經(jīng)過(guò)HD2012幀同步器進(jìn)入系統(tǒng)，分別送往切換臺(tái)和矩陣。切換臺(tái)負(fù)責(zé)完成PGM 和PVW 信號(hào)的選切，矩陣負(fù)責(zé)完成錄制等各個(gè)節(jié)點(diǎn)的信號(hào)調(diào)度。4 臺(tái)虛擬引擎每一臺(tái)都接入系統(tǒng)統(tǒng)一的BB 同步信號(hào)，虛擬引擎信號(hào)流程如圖3 所示。

圖3 虛擬引擎信號(hào)流程

每一臺(tái)攝像機(jī)共有三路監(jiān)看信號(hào)，一路是本機(jī)綠幕畫面信號(hào)，一路是PGM 信號(hào)，一路是經(jīng)過(guò)虛擬引擎渲染的本機(jī)合成后信號(hào)。其中，經(jīng)過(guò)虛擬引擎渲染的合成信號(hào)單獨(dú)使用一臺(tái)監(jiān)視器。這樣的設(shè)置有利于攝像人員進(jìn)行渲染前后畫面的比對(duì)，更加方便構(gòu)圖和藝術(shù)化創(chuàng)作。

由于這種制作方式還比較新穎，現(xiàn)場(chǎng)除了PGM返看外，還特地為主持人和嘉賓在每一個(gè)機(jī)位前方都設(shè)置了一個(gè)單機(jī)位返看電視機(jī)，這臺(tái)電視機(jī)接入的信號(hào)是經(jīng)過(guò)虛擬引擎渲染的本機(jī)位信號(hào)，如圖4 所示。

圖4 現(xiàn)場(chǎng)單機(jī)位返看

錄制方面，主要錄制手段為7 臺(tái)藍(lán)光機(jī)。其中1臺(tái)采集PGM 主路信號(hào)，1 臺(tái)采集PGM 備路信號(hào)，4臺(tái)采集經(jīng)過(guò)虛擬引擎渲染后的單機(jī)位合成信號(hào)，1 臺(tái)采集沒(méi)有經(jīng)過(guò)虛擬引擎渲染的綠幕信號(hào)。備份錄制手段為兩臺(tái)EVS，分別采集主路、備路的PGM 信號(hào)。

現(xiàn)場(chǎng)主持人和嘉賓錄制完成后，還有一些AR畫面需要制作。此時(shí)先用藍(lán)光機(jī)上載素材到EVS，再在EVS 里進(jìn)行片段的編輯、播表的制作，最后將EVS 輸出信號(hào)接入虛擬引擎，完成畫面合成。

本次實(shí)踐中，還對(duì)系統(tǒng)的TALLY 指示做了一定更改。在常規(guī)制作中，導(dǎo)播在切換臺(tái)PGM 和PVW 母線選切CAM 信號(hào)時(shí)，相應(yīng)的攝像機(jī)機(jī)頭指示燈會(huì)顯示紅色或綠色。切換臺(tái)的交叉點(diǎn)信息（包括PGM、PVW）經(jīng)過(guò)一個(gè)GPI/O 控制設(shè)備傳送給攝像機(jī)控制單元（CCU）。在本次制作中，導(dǎo)播實(shí)際選切信號(hào)為經(jīng)過(guò)虛擬引擎渲染的信號(hào)，即EXT 1、EXT 2、EXT 3、EXT 4，但為了給主持人和現(xiàn)場(chǎng)嘉賓指示，需要相應(yīng)的機(jī)頭CAM 1、CAM 2、CAM 3、CAM 4 亮燈。所以在GPI 設(shè)置中，應(yīng)該將EXT 1、EXT 2、EXT 3、EXT 4 的信號(hào)與CCU 1、CCU 2、CCU 3、CCU 4 做一一綁定。

經(jīng)過(guò)虛擬引擎制作后，產(chǎn)生了比較明顯的聲畫不同步現(xiàn)象。由于攝像機(jī)信號(hào)經(jīng)過(guò)虛擬引擎處理，產(chǎn)生了比較大的延時(shí)，所以出現(xiàn)了視頻滯后音頻的問(wèn)題。要解決這一問(wèn)題，只需將聲音做一定的延時(shí)處理。調(diào)音臺(tái)將現(xiàn)場(chǎng)主持人及嘉賓聲音做456 ms的延時(shí)處理后，經(jīng)測(cè)定，聲畫不同步現(xiàn)象消除。

另外一個(gè)值得注意的問(wèn)題是，為了保證虛擬引擎的摳像效果，對(duì)綠幕空間也有一定要求。摳像相體要能提供足夠大小的純色背景，最大限度地不產(chǎn)生色光反射，從而使攝像機(jī)采集的前景信號(hào)能夠輕松地從純色背景中剝離出來(lái)[5]。

4 結(jié) 語(yǔ)

虛擬引擎制作已成為一種趨勢(shì)，它有著得天獨(dú)厚的優(yōu)點(diǎn)，對(duì)于傳統(tǒng)演播室的再利用也有很大價(jià)值。虛擬引擎制作給觀眾帶來(lái)了視覺(jué)奇觀，也讓電視從業(yè)者對(duì)審美有了重新的思考與升級(jí)。相信在未來(lái)會(huì)有更多的節(jié)目應(yīng)用這一技術(shù)，而伴隨而來(lái)的必將是更加優(yōu)質(zhì)的廣播電視作品。