丁剛毅 李鵬 黃天羽 陳宇婷

摘 ?要：針對(duì)北京2022冬奧會(huì)、冬殘奧會(huì)開閉幕式籌備需求，在國(guó)家重點(diǎn)研發(fā)計(jì)劃“科技冬奧”專項(xiàng)項(xiàng)目研發(fā)計(jì)劃等資助下，北京理工大學(xué)數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)突破了大規(guī)?；顒?dòng)組織管控系統(tǒng)的仿真難題，完成了北京2022冬奧會(huì)開閉幕式大型表演智能化創(chuàng)編排演一體化服務(wù)平臺(tái)等關(guān)鍵技術(shù)攻關(guān)，為在世界舞臺(tái)上的精彩表演提供了高效可靠的技術(shù)支撐。

關(guān)鍵詞：仿真技術(shù);大規(guī)?；顒?dòng);集群渲染

中圖分類號(hào)：G86;TP-9 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.19881/j.cnki.1006-3676.2022.05.03

大規(guī)?；顒?dòng)的組織舉行既是傳播中華文明、展示中國(guó)形象的主要平臺(tái)，也是展現(xiàn)國(guó)家綜合國(guó)力的重要窗口。據(jù)統(tǒng)計(jì)，我國(guó)萬人級(jí)大規(guī)模活動(dòng)每年600～800次，活動(dòng)的組織、人力、指揮、保障等是世界各國(guó)都存在的難題。大規(guī)?；顒?dòng)組織實(shí)施一般要經(jīng)歷策劃創(chuàng)意、編排實(shí)施、彩排演練、正式運(yùn)行4個(gè)階段，該過程簡(jiǎn)稱為“創(chuàng)編排演”。經(jīng)調(diào)研發(fā)現(xiàn)，近20年來全世界奧運(yùn)開幕式創(chuàng)編排演的制作成本為2億～8億人民幣，耗時(shí)2～3年，參加人員5萬～10萬，大多都采用傳統(tǒng)工作方式。傳統(tǒng)創(chuàng)編排演流程存在著成本高、效率低、風(fēng)險(xiǎn)大、安全差的問題，技術(shù)手段面臨著“創(chuàng)意實(shí)施拙、過程認(rèn)知盲、核心平臺(tái)缺”三大痛點(diǎn)。

北京理工大學(xué)數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)在“科技冬奧”專項(xiàng)項(xiàng)目研發(fā)計(jì)劃的支持下，研發(fā)了“北京2022冬奧會(huì)、冬殘奧會(huì)開閉幕式仿真系統(tǒng)”，搭建了基于國(guó)產(chǎn)硬件的“超大分辨率、超高幀率應(yīng)急渲染集群”，提高了創(chuàng)編排演4個(gè)階段的高效性和智能性，在服務(wù)北京冬奧會(huì)的同時(shí)有力推動(dòng)了大規(guī)?；顒?dòng)仿真技術(shù)體系的發(fā)展。

一、數(shù)字化訓(xùn)練彩排方案生成系統(tǒng)

數(shù)字化訓(xùn)練彩排方案生成系統(tǒng)能根據(jù)導(dǎo)演創(chuàng)意自動(dòng)生成排練方案（參見圖1），輸出排練點(diǎn)位圖、動(dòng)態(tài)推演、演員排練手冊(cè)、合練手冊(cè)等，生成大型表演訓(xùn)練彩排方案。在大型表演設(shè)計(jì)過程中構(gòu)建基于平行仿真的表演創(chuàng)意與編排協(xié)同實(shí)施框架。整個(gè)創(chuàng)編排融合過程，遵循基于模型的系統(tǒng)工程經(jīng)典“V”字形模型?；谄叫蟹抡娴谋硌輨?chuàng)意與編排協(xié)同實(shí)施框架，構(gòu)建訓(xùn)練彩排方案生成系統(tǒng)。該系統(tǒng)可以將創(chuàng)意文案、效果圖、視頻等創(chuàng)意素材拆解、細(xì)化、提取為創(chuàng)意數(shù)據(jù)。通過表演要素快速建模與系統(tǒng)計(jì)算，對(duì)創(chuàng)意數(shù)據(jù)進(jìn)行評(píng)估校驗(yàn)。大規(guī)模群組行為編排技術(shù)可以將創(chuàng)意數(shù)據(jù)轉(zhuǎn)化為群組路線規(guī)劃與調(diào)度方案，智能化分解提煉形成個(gè)體化排練手冊(cè)（參見圖2），指導(dǎo)演員、仿生設(shè)備、道具等表演要素訓(xùn)練，保證各要素在空間、時(shí)間上的一致性和準(zhǔn)確性。

數(shù)字化訓(xùn)練彩排方案生成系統(tǒng)全面服務(wù)于北京2022冬奧會(huì)開閉幕式訓(xùn)練彩排。針對(duì)開幕式重要表演環(huán)節(jié)，優(yōu)化生成表演和排練方案百余個(gè)，其中《立春》120個(gè)、《構(gòu)建一朵雪花》19個(gè)、《雪花》42個(gè)（參見圖3）、《致敬人民》25個(gè)以及其他表演及排練方案20個(gè)。針對(duì)閉幕式重要表演環(huán)節(jié)，生成演員排練素材3588份，優(yōu)化生成表演方案《點(diǎn)亮》24個(gè)、《運(yùn)動(dòng)員入場(chǎng)》87個(gè)、《緬懷》33個(gè)、《熄火》15個(gè)（參見圖4）以及其他表演方案14個(gè)。針對(duì)冬殘奧會(huì)的開閉幕式主要儀式環(huán)節(jié)，測(cè)算國(guó)旗和會(huì)旗入場(chǎng)、運(yùn)動(dòng)員入場(chǎng)式、領(lǐng)導(dǎo)致辭等環(huán)節(jié)的備場(chǎng)、退場(chǎng)時(shí)間，規(guī)劃人員場(chǎng)內(nèi)運(yùn)行流線，解決包括殘疾人運(yùn)動(dòng)員入場(chǎng)與落座最優(yōu)化方案仿真測(cè)算。系統(tǒng)使得排練效果更加真實(shí)，表演數(shù)據(jù)更加準(zhǔn)確，演員排練更加高效。

圖1 《雪花》導(dǎo)演在仿真系統(tǒng)上研討創(chuàng)排方案（鳥巢）

圖2 ?國(guó)家體育場(chǎng)根據(jù)動(dòng)態(tài)點(diǎn)位圖排練《折柳送別》表演

圖3 ?開幕式《雪花》表演預(yù)演可視化

圖4 ?閉幕式《熄火》表演預(yù)演可視化

二、基于虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)的表演預(yù)演系統(tǒng)

基于虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)的表演預(yù)演系統(tǒng)，以數(shù)據(jù)驅(qū)動(dòng)方式對(duì)表演預(yù)演過程實(shí)施仿真推演和三維呈現(xiàn)，實(shí)現(xiàn)對(duì)表演環(huán)境和要素進(jìn)行物理和行為建模;對(duì)表演內(nèi)容進(jìn)行可視化編排，并融合交互式預(yù)演技術(shù)，實(shí)現(xiàn)多窗口多機(jī)位同步渲染，同時(shí)支持多機(jī)位轉(zhuǎn)播仿真。表演預(yù)演系統(tǒng)為導(dǎo)演、演員和轉(zhuǎn)播團(tuán)隊(duì)提供了全新交互式表演預(yù)演方法，保證了從表演創(chuàng)意到現(xiàn)場(chǎng)演出的系統(tǒng)轉(zhuǎn)化與有效實(shí)施。

表演預(yù)演系統(tǒng)全面服務(wù)于北京2022冬奧會(huì)開閉幕式籌備，針對(duì)儀式環(huán)節(jié)，對(duì)領(lǐng)導(dǎo)入場(chǎng)、致辭、會(huì)旗入場(chǎng)、傳遞國(guó)旗、宣誓、火炬?zhèn)鬟f、運(yùn)動(dòng)員入場(chǎng)等環(huán)節(jié)測(cè)算入場(chǎng)時(shí)間，系統(tǒng)規(guī)劃人員流線，優(yōu)化流程方案。集成燈光、機(jī)械、道具、舞美、音樂、視頻、服裝、演員、煙花、轉(zhuǎn)播機(jī)位等要素，實(shí)現(xiàn)從熱場(chǎng)到火炬?zhèn)鬟f全流程、全要素、全方位的內(nèi)容可視化仿真（參見圖5）。開幕式仿真系統(tǒng)迭代41版，制作美術(shù)資源11231個(gè)，粒子特效20種;閉幕式仿真系統(tǒng)迭代21版仿真要素10581個(gè)，實(shí)現(xiàn)特效12種;冬殘奧開幕式仿真系統(tǒng)迭代14版，冬殘奧閉幕式仿真系統(tǒng)迭代7版。表演預(yù)演系統(tǒng)使得排練效果更加真實(shí)，方案調(diào)整更加快速。

圖5 ?冬殘奧開幕式運(yùn)動(dòng)員入場(chǎng)仿真預(yù)演

三、集群渲染與視頻映射關(guān)鍵技術(shù)

面向2022北京冬奧會(huì)閉幕式入場(chǎng)聯(lián)排時(shí)間緊、任務(wù)重的需求，團(tuán)隊(duì)搭建了16K應(yīng)急渲染集群，應(yīng)用基于國(guó)產(chǎn)芯片架構(gòu)的渲染流水線、協(xié)同集群計(jì)算、快速視頻裁切等技術(shù)，自主研發(fā)渲染集群協(xié)同，解決50幀超高分辨率視頻渲染難題，應(yīng)急渲染集群包含管理節(jié)點(diǎn)1臺(tái)、存儲(chǔ)節(jié)點(diǎn)1臺(tái)、GPU節(jié)點(diǎn)15臺(tái)（60個(gè)圖形節(jié)點(diǎn)）、國(guó)產(chǎn)CPU節(jié)點(diǎn)20臺(tái)，支撐視頻渲染效率達(dá)到5倍以上。2022年1月10日，應(yīng)急渲染集群在北京國(guó)家體育場(chǎng)搭建完成并上線運(yùn)行。

截至2022年3月13日冬殘奧會(huì)閉幕式結(jié)束，應(yīng)急渲染集群運(yùn)行時(shí)間1512小時(shí)，共完成渲染任務(wù)105項(xiàng)，共計(jì)渲染16K超高分辨率素材472428幀。其中，包含3DMAX任務(wù)33項(xiàng)，MAYA任務(wù)11項(xiàng)，AE任務(wù)56項(xiàng)，Houdini任務(wù)5項(xiàng)，各項(xiàng)任務(wù)中最長(zhǎng)用時(shí)19小時(shí)9分鐘，最短用時(shí)13分鐘，平均用時(shí)2小時(shí)53分鐘。

針對(duì)非標(biāo)準(zhǔn)分辨率、空間結(jié)構(gòu)、運(yùn)動(dòng)軌跡的LED屏幕視頻映射問題，團(tuán)隊(duì)引入了幀內(nèi)-幀間映射的視頻播放映射技術(shù)。團(tuán)隊(duì)為鳥巢國(guó)家體育場(chǎng)地面LED屏幕16K高幀率視頻制作技術(shù)規(guī)范、撰寫《視頻播控技術(shù)手冊(cè)》，服務(wù)近百名視覺設(shè)計(jì)和視頻制作師。針對(duì)異形結(jié)構(gòu)視頻映射問題，團(tuán)隊(duì)突破了非標(biāo)準(zhǔn)空間視頻映射和播控問題，研發(fā)計(jì)算系統(tǒng)和視頻制作手冊(cè)，解決了開幕式發(fā)光五環(huán)異形視頻映射問題。針對(duì)16K超大分辨率50幀率視頻的播放問題，團(tuán)隊(duì)研發(fā)了基于H265編碼的快速視頻裁切渲染系統(tǒng)，使得單機(jī)視頻裁切上屏效率提升了10倍以上，為冬奧會(huì)、冬殘奧會(huì)意大利米蘭8分鐘表演視頻上屏提供了高效的技術(shù)服務(wù)。

四、轉(zhuǎn)播仿真關(guān)鍵技術(shù)

轉(zhuǎn)播仿真關(guān)鍵技術(shù)對(duì)全型號(hào)攝像機(jī)進(jìn)行物理建模，可在仿真系統(tǒng)上設(shè)定機(jī)位方案、轉(zhuǎn)播方案，以預(yù)演為視覺內(nèi)容，輸出多套轉(zhuǎn)播方案和預(yù)案，為國(guó)際奧林匹克轉(zhuǎn)播公司提供拍攝和轉(zhuǎn)播技術(shù)方案。

針對(duì)冬殘奧會(huì)開閉幕式的轉(zhuǎn)播需求，團(tuán)隊(duì)模擬轉(zhuǎn)播機(jī)位23個(gè)，輔助《會(huì)徽展示》等環(huán)節(jié)轉(zhuǎn)播方案構(gòu)建，團(tuán)隊(duì)反復(fù)驗(yàn)證轉(zhuǎn)播效果，輔助優(yōu)化轉(zhuǎn)播方案，為演練、演出的高效、準(zhǔn)確、精彩轉(zhuǎn)播提供技術(shù)支撐。

五、表演機(jī)器人控制技術(shù)

根據(jù)2022北京冬殘奧會(huì)開閉幕式表演創(chuàng)意要求，團(tuán)隊(duì)定制研發(fā)了表演機(jī)器人和運(yùn)行軌跡控制技術(shù)。該機(jī)器人可模擬特殊裝置運(yùn)行軌跡，精準(zhǔn)控制路線、速度、跨越障礙物等。為解決國(guó)家體育場(chǎng)內(nèi)LED地屏縫隙大、表面較光滑、高低差明顯、電磁干擾大等問題，團(tuán)隊(duì)對(duì)表演冰壺機(jī)器人進(jìn)行軟硬件一體化系統(tǒng)架構(gòu)設(shè)計(jì)，集成研發(fā)履帶式小型機(jī)器人，并對(duì)其行進(jìn)、控制、通信及外觀設(shè)計(jì)等進(jìn)行技術(shù)攻關(guān)，突破了基于計(jì)算機(jī)視覺的冰壺運(yùn)動(dòng)軌跡檢測(cè)算法、多頻段可靠通信技術(shù)、實(shí)現(xiàn)了冰壺機(jī)器人在冬殘奧開幕式彩排開場(chǎng)倒計(jì)時(shí)環(huán)節(jié)及冬奧會(huì)閉幕式熄火部分表演的準(zhǔn)確軌跡及變速旋轉(zhuǎn)姿態(tài)行進(jìn)表演。

基于以上5個(gè)方面，團(tuán)隊(duì)實(shí)現(xiàn)了從組織策劃到應(yīng)用實(shí)施的全流程技術(shù)支持，為儀式活動(dòng)提供了創(chuàng)意質(zhì)量、速度、數(shù)量、可行性的保障，為排演視頻文件提供了制作及時(shí)、優(yōu)化完善的保障，為2022冬奧會(huì)、冬殘奧會(huì)開閉幕式視頻畫面精彩呈現(xiàn)提供了技術(shù)支撐。北京理工大學(xué)數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)自主研制的大型表演智能化仿真體系及一體化平臺(tái)，開創(chuàng)了我國(guó)大型活動(dòng)的一體化、智能化、服務(wù)化應(yīng)用創(chuàng)新，填補(bǔ)了國(guó)際上相關(guān)技術(shù)空白，使我國(guó)大規(guī)?；顒?dòng)仿真技術(shù)達(dá)到國(guó)際領(lǐng)先水平。