杭州文化廣播電視集團(tuán)：韓一騏

1.AR沉浸式全景仿真演播室系統(tǒng)特色

AR沉浸式全景仿真系統(tǒng)通過多通道空間的立體顯示技術(shù)、大范圍紅外動作捕捉技術(shù)、物理PBR實(shí)時(shí)三維渲染技術(shù)，LED無縫拼接技術(shù)、無限藍(lán)箱技術(shù)、全景實(shí)時(shí)顯示等眾多高新技術(shù)的應(yīng)用，在一個(gè)較小的立方體空間內(nèi)，可以通過系統(tǒng)內(nèi)模型的變化，展現(xiàn)出富有創(chuàng)意的舞臺變化，模擬出真實(shí)且多樣的空間場景，甚至在同一個(gè)欄目或者活動中，可以在短時(shí)間內(nèi)展現(xiàn)出多個(gè)不一樣的場景，打破了以往實(shí)景演播室單一場景的局限性，拓展了使用的方向，滿足了新聞訪談、小品曲藝、歌舞節(jié)目等多種節(jié)目形式的需求。

明珠頻道采購的AR系統(tǒng)，采用了“L”型結(jié)構(gòu)，由1塊地屏和2塊側(cè)屏（墻面）構(gòu)成一個(gè)立方體空間，側(cè)屏采用了規(guī)格為P1.875的屏幕，地面采用了規(guī)格為P4的LED產(chǎn)品，并在屏幕上安裝了亞克力材質(zhì)的透明保護(hù)板，使得攝像機(jī)腳架等設(shè)備可以在AR系統(tǒng)地面上使用。

該系統(tǒng)特色：

一是“夠大”，活動范圍能滿足電視臺眾多節(jié)目多機(jī)位的拍攝需求而不穿幫，給主持人留有足夠富余的活動空間。

二是“多變”，系統(tǒng)可以進(jìn)行多人互動節(jié)目的拍攝，可以使用桌椅等道具，也可以用前景虛擬技術(shù)來加入虛擬物品，從而表現(xiàn)更多樣化內(nèi)容，在短時(shí)間內(nèi)可以切換各種類型的拍攝環(huán)境，可以使用高清圖片、高清視頻、三維模疊加實(shí)景視頻等形式使用，方便快捷多樣。

三是“所見即所得”，大型可視化仿真環(huán)境所有內(nèi)容都是實(shí)時(shí)可見的，主持人的表演與解說毫無壓力，完全可以在這個(gè)仿真環(huán)境中精準(zhǔn)解說與自由發(fā)揮。

四是“真實(shí)”，基于LED屏自發(fā)光的原理，可以實(shí)現(xiàn)真實(shí)環(huán)境的漫反射效果，從而免除“藍(lán)摳”“綠摳”時(shí)主持人膚色帶有藍(lán)色漫反射或者綠色漫反射的問題，大幅度的光景變化也可以輕松應(yīng)對，光影的時(shí)間軸都可以調(diào)節(jié)，各種材質(zhì)的道具的使用也非常自然表現(xiàn)。

五是“精準(zhǔn)”，使用最精準(zhǔn)的紅外攝像頭進(jìn)行系統(tǒng)定位，毫米級精度與超低的跟蹤延時(shí)保證系統(tǒng)定位的穩(wěn)定運(yùn)行和多種方式的移動拍攝與體感互動的實(shí)現(xiàn)。

六是“有層次”，系統(tǒng)具有AR前景植入功能與AR虛擬背景系結(jié)合，可以實(shí)現(xiàn)多層次前后遮擋的場景渲染效果。

顯示空間支持多種素材：

1.支持清晰度高達(dá)8K的圖片輸入作為顯示環(huán)境使用。圖片可以放大縮小、上下左右移動或Y軸旋轉(zhuǎn)調(diào)整位置，構(gòu)建不同的拍攝場景；

2.支持高清視頻甚至4K視頻實(shí)時(shí)接入與播放，視頻可作為場景背景使用，通過更換不一樣的視頻，呈現(xiàn)不同的場景特色；還可以在環(huán)境中開“窗”，置入不同的視頻，用于事件回放等；

3.通過3ds Max軟件構(gòu)件的模型作為場景使用，支持快速加入多重粒子效果，打造更為多元更為酷炫的舞臺效果，比如動態(tài)的雨雪等天氣以及光影變化等；

4.支持前景植入，可以使用PNG圖像、帶通道視頻或動畫、模型顯示在拍攝真實(shí)人物前方，達(dá)到與后方顯示環(huán)境前后呼應(yīng)的效果，使拍攝畫面更富有空間感；還可以同場景中的人物進(jìn)行互動。

七是“無限藍(lán)箱技術(shù)”，可以把屏幕顯示的虛擬空間進(jìn)行擴(kuò)展展示，打破物理顯示尺寸的限制，達(dá)到內(nèi)容顯示的無縫鏈接全屏顯示。跟蹤攝像機(jī)的任意自由運(yùn)動過程，提取攝像機(jī)的位置，環(huán)境場景跟隨攝像機(jī)的運(yùn)動而運(yùn)動，區(qū)域精確、計(jì)算簡單、通用性強(qiáng)。

圖1 :系統(tǒng)結(jié)構(gòu)

圖2 ：紅外動作捕捉系統(tǒng)連接以及信號圖

2.核心應(yīng)用技術(shù)、子系統(tǒng)構(gòu)成和功能

2.1 系統(tǒng)結(jié)構(gòu)

2.2 多角度屏幕三維縫合技術(shù)

多角度屏幕三維縫合技術(shù)是使用多個(gè)攝像頭組成的紅外定位系統(tǒng)對攝像機(jī)位置進(jìn)行定位，通過紅外定位系統(tǒng)讀取每個(gè)攝像機(jī)紅外定位點(diǎn)在空間中的位置參數(shù)，不斷修正在紅外標(biāo)記點(diǎn)與攝像機(jī)鏡頭的差值，把修正過的坐標(biāo)信息不斷匹配到各自的空間坐標(biāo)系使用。其核心技術(shù)是，通過算法的調(diào)整把不同的空間坐標(biāo)進(jìn)行配對使顯示的三維空間與其匹配，每一個(gè)屏幕都有空間位置坐標(biāo)信息，每一塊屏幕都顯示精準(zhǔn)的空間透視效果。

2.3 PBR三維渲染技術(shù)

該系統(tǒng)運(yùn)用了全球最先進(jìn)的實(shí)時(shí)PBR渲染引擎與強(qiáng)大的渲染硬件，來處理三維立體環(huán)境模型。PBR的定義正如其名所言，Physically Based Rendering就是“基于物理過程的渲染”，這個(gè)概念是指先從現(xiàn)實(shí)中不同材質(zhì)所表現(xiàn)出的自然現(xiàn)象作歸納，最后將這些物理特性一一拆分為獨(dú)立的物理屬性，將這些物理屬性通過不斷的組合，最終形成一個(gè)完整的材質(zhì)。PBR渲染常常伴隨著“實(shí)時(shí)渲染”一起出現(xiàn)，而實(shí)時(shí)渲染一直是游戲行業(yè)一直不懈追求的效率，運(yùn)用該技術(shù)，不但降低了材料模擬的難度，還提高了

渲染的真實(shí)度，同時(shí)也提高了渲染效率。

圖3 ：顯示系統(tǒng)連接以及信號輸入、輸出圖

圖4 ：杭州市對外宣傳雙語節(jié)目《看杭州.

圖5 ：健康科普節(jié)目《阿六嫂說健康.

圖6 ：虛實(shí)結(jié)合的《云上動漫游戲產(chǎn)業(yè)交易會新發(fā)會.

圖7 ：沉浸式城市旅游線路講解

2.3.1 基于物理渲染的優(yōu)點(diǎn)

?容易達(dá)到真實(shí)世界中的場景效果。

?同一配置可以適用于在不同HDR光照環(huán)境下。

?基于真實(shí)參數(shù)（Shader（著色器）、Texture（紋理）、BW Map（黑白圖的作用）、Base Color Map（基本色紋理）、Metallic Map（金屬度紋理）、Roughness（粗糙度紋理）、Normal Map（法線紋理）、Displacement Map（置換紋理））。

?更容易去解決材質(zhì)問題。

2.3.2 基于物理的渲染和傳統(tǒng)區(qū)別

?有著基于物理規(guī)則的光照模式。

?無處不在的菲涅爾效應(yīng)。

?次表面散射，物體平面的反射光無法超過它所接受的入射光。

?基于物體材質(zhì)，會分辨金屬和介電質(zhì)，微平面的概念。

?線性空間光照，支持HDR級別渲染和伽馬校正。

2.4 紅外動捕子系統(tǒng)圖

功能：本系統(tǒng)使用紅外動作捕捉模塊來獲取攝像機(jī)的位置，為系統(tǒng)的空間定位提供位置、方向、角度等數(shù)據(jù)。紅外攝像頭可以同時(shí)獲取多個(gè)不同攝像機(jī)的動態(tài)位置信息，用于多個(gè)機(jī)位切換拍攝。

應(yīng)用：在這套系統(tǒng)中，配備了六臺高清紅外攝像頭OptiTrack來采集攝像機(jī)在實(shí)際空間中的位置信息，通過算法上的交叉驗(yàn)證，空間中就算有一定的干擾源存在，系統(tǒng)也可以穩(wěn)定工作，通過網(wǎng)絡(luò)交換機(jī)，紅外攝像頭的數(shù)據(jù)與動捕電腦通訊，動捕電腦再把分析后實(shí)時(shí)數(shù)據(jù)發(fā)送到總控服務(wù)器，控制服務(wù)器把紅外數(shù)據(jù)對三維環(huán)境進(jìn)行匹配，同步到三個(gè)通道渲染服務(wù)器。動捕電腦通過網(wǎng)絡(luò)交換機(jī)獲取由六臺紅外攝像頭OptiTrack得到的多臺攝像機(jī)的標(biāo)記點(diǎn)三維空間參數(shù)，利用電腦中的Motive軟件，通過軟件算法，不斷修正在空間坐標(biāo)點(diǎn)與攝像機(jī)鏡頭標(biāo)記點(diǎn)之間的差值，以獲取多臺攝像機(jī)鏡頭的精準(zhǔn)位置，數(shù)據(jù)再通過交換機(jī)傳輸給渲染服務(wù)器和總控服務(wù)器進(jìn)行使用。

2.5 仿真虛擬渲染顯示系統(tǒng)

功能：顯示系統(tǒng)是用于顯示完整的仿真虛擬場景，圖片或是視頻。顯示系統(tǒng)具有視頻開窗功能，實(shí)時(shí)外接視頻可以在場景中任意位置有一個(gè)開窗，硬盤內(nèi)的視頻可以在場景中任意位置有四個(gè)開窗。

應(yīng)用：在本系統(tǒng)內(nèi)，網(wǎng)絡(luò)交換機(jī)與各個(gè)通道服務(wù)器、總控服務(wù)器均是由網(wǎng)線連接的。外部視頻輸入與各個(gè)通道服務(wù)器利用相應(yīng)的數(shù)據(jù)線（SDI/DVI/HDMI）相連接，各個(gè)通道服務(wù)器與視頻拼接處理器利用HDMI數(shù)據(jù)線相連接，視頻拼接處理器被大屏控制電腦所控制，視頻拼接處理器又分別與LED顯示屏利用DVI數(shù)據(jù)線連接?？偪胤?wù)器通過網(wǎng)絡(luò)交換機(jī)把修正過的攝像機(jī)坐標(biāo)信息分別匹配到虛擬空間中使用，通過算法的調(diào)整把虛擬空間坐標(biāo)進(jìn)行匹配，通道服務(wù)器渲染后，再經(jīng)過大屏控制電腦以及視頻拼接處理器對LED屏幕的校準(zhǔn)，呈現(xiàn)一個(gè)完整的三維場景空間。

信號：外來視頻的信號源（三種接口SDI/DVI/HDMI），接入各自獨(dú)立的分配器（例如接入SDI信號用SDI數(shù)據(jù)線接入SDI分配器），通過分配器的信號內(nèi)容再進(jìn)入各通道服務(wù)器的采集卡中，采集卡將采集這些外來的視頻流，進(jìn)行渲染后作為材質(zhì)紋理貼入模型場景中。

3.AR沉浸式全景仿真演播室系統(tǒng)在西湖明珠頻道節(jié)目中的運(yùn)用

AR沉浸式全景仿真演播室系統(tǒng)在杭州文廣集團(tuán)正式使用3年以來，在較小的LED屏顯示空間里展現(xiàn)出無限可能的環(huán)境，快速生成編導(dǎo)所需的不同類別的空間，使節(jié)目人員身臨其境。演播室技術(shù)人員充分發(fā)揮了此系統(tǒng)的“多變”“有層次”“拓展性強(qiáng)”等特點(diǎn)，獨(dú)立制作了超過50個(gè)不同的場景，滿足了集團(tuán)日常節(jié)目的需求。例如，構(gòu)建了一個(gè)“真實(shí)”空間，主持人在仿真環(huán)境中精準(zhǔn)解說與自由發(fā)揮（圖4），主持人與醫(yī)學(xué)大咖走進(jìn)身體，探索疾病根源（圖5），使用虛實(shí)結(jié)合的方式，讓主持人在實(shí)景中與虛擬人物互動（圖6），主持人置身于三維立體地圖之上，講解城市旅游線路（圖7）。AR系統(tǒng)的啟用，大大豐富了集團(tuán)現(xiàn)有的節(jié)目形式。

4.結(jié)束語

隨著科技的進(jìn)一步發(fā)展，AR、XR等技術(shù)不斷革新，演播室技術(shù)攻關(guān)團(tuán)隊(duì)正與廠家研發(fā)團(tuán)隊(duì)一起，進(jìn)一步拓展更多元化的使用場景，以內(nèi)容建設(shè)為根本、先進(jìn)技術(shù)為支撐，增強(qiáng)先進(jìn)科技與媒體實(shí)際使用場景的融合，形成后端開發(fā)人員和前端實(shí)際使用者之間不斷互動交流的合作機(jī)制，讓技術(shù)服務(wù)于節(jié)目，媒體融合發(fā)展提供有力保障。