劉 灝

多媒體交互技術(shù)對(duì)中國歌劇創(chuàng)作的影響及實(shí)踐研究

劉 灝

起源于西方的歌劇藝術(shù)，在中國解放前后逐漸在中華大地上傳播開來，從早期的一系列經(jīng)典歌劇諸如《白毛女》《劉胡蘭》等，到今天的大型歌劇《長(zhǎng)征》《大漢蘇武》等，中國歌劇隨著時(shí)代的變遷不斷汲取新的養(yǎng)分，藝術(shù)家也在不斷的探索。21世紀(jì)以來，得益于電子技術(shù)、多媒體技術(shù)的不斷發(fā)展更新，中國歌劇在探索的道路上融入了多媒體交互理念，開拓了一個(gè)全新的探索領(lǐng)域——融入多媒體技術(shù)表現(xiàn)手段的歌劇藝術(shù)。

多媒體；中國歌?。唤换ゼ夹g(shù)；多維度疊合實(shí)時(shí)觸發(fā)

一、多媒體技術(shù)對(duì)中國歌劇創(chuàng)作的影響

多媒體技術(shù)是利用計(jì)算機(jī)作為信息處理中樞，對(duì)多維度信息進(jìn)行邏輯編排、處理的一種技術(shù)手段。計(jì)算機(jī)通過對(duì)圖形、音響、動(dòng)畫等信息的處理，讓用戶可以通過視覺、聽覺等多種感官與計(jì)算機(jī)信息進(jìn)行實(shí)時(shí)交互。21世紀(jì)以來，隨著信息化技術(shù)的全面普及，越來越多的藝術(shù)家不滿足于傳統(tǒng)歌劇的表現(xiàn)力，他們?cè)谔剿鞯牡缆飞希瑢⒍嗝襟w技術(shù)疊入自己的歌劇作品中，從中尋找新的藝術(shù)沖擊力。

《中華兒女》①是2014年“中國第二屆歌劇藝術(shù)節(jié)”中展演的一出大型多媒體歌劇，通過歌劇的形式，展現(xiàn)炮火連天的戰(zhàn)爭(zhēng)歲月里中華兒女的錚錚烈骨，展示在時(shí)間長(zhǎng)河中燃燒的熊熊中國魂。這部作品大量采用多媒體技術(shù)的處理手法，采用多媒體數(shù)字影像技術(shù)與歌劇演出相融合的演出方式，通過數(shù)字化的處理手段呈現(xiàn)給觀眾不一樣的欣賞體驗(yàn)。

這部歌劇總共分為七個(gè)篇章，是一場(chǎng)多媒體的視覺盛宴。首先從舞臺(tái)上看，舞臺(tái)被設(shè)計(jì)成了一個(gè)可旋轉(zhuǎn)移動(dòng)的不固定平臺(tái)，平臺(tái)上以白樺樹為裝飾構(gòu)筑成了一片可以移動(dòng)的“白樺林舞臺(tái)”。舞臺(tái)的天幕是一副巨大的“長(zhǎng)白山森林全景圖”，這就組成了動(dòng)靜結(jié)合的舞臺(tái)交互形式。藝術(shù)家根據(jù)劇情的發(fā)展，將控制信號(hào)輸送給舞臺(tái)計(jì)算機(jī)管理中樞，讓白樺林舞臺(tái)進(jìn)行移動(dòng)與旋轉(zhuǎn)，由點(diǎn)及面地提供給演員多方位的演出支點(diǎn)，配合天幕以及多媒體影像的播放，使得舞臺(tái)形成了一種多維度的空間感，讓人身臨其境，充滿了帶入感。傳統(tǒng)歌劇作品中，舞臺(tái)上往往就是簡(jiǎn)單的背景與演員之間的單向交互，而《中華兒女》通過可動(dòng)的旋轉(zhuǎn)式舞臺(tái)設(shè)計(jì)，將整個(gè)歌劇舞臺(tái)塑造成一個(gè)多維度的奇妙空間，讓觀眾得到全新的視覺體驗(yàn)。

舞臺(tái)臺(tái)口配置了一副巨大的灰色熒幕，熒幕上投影多媒體數(shù)字影像。多媒體數(shù)字影像技術(shù)絕不是多媒體舞臺(tái)藝術(shù)的“附屬品”，而是舞臺(tái)藝術(shù)表演的一個(gè)重要組成部分。加入多媒體技術(shù)的歌劇作品的特點(diǎn)之一就是通過數(shù)字影像技術(shù)將整出歌劇數(shù)字信息化，帶給觀眾前所未有的試聽沖擊力，為他們營造出一個(gè)虛擬空間。在《中華兒女》中，藝術(shù)家根據(jù)劇情的推進(jìn)與演員的演出，設(shè)計(jì)不同的數(shù)字影像來讓演出更具感染力。例如在第二樂章中，表演區(qū)是演員楊大姐因?yàn)楣碜拥谋┝π袕蕉慈f分的現(xiàn)場(chǎng)表演，而熒幕中投影的是鬼子的種種暴行與無理的政策條件，這是一種平行的雙線演出形式。熒屏中的演員與舞臺(tái)上的演員表達(dá)的是具有強(qiáng)大對(duì)比性與藝術(shù)渲染性的角色塑造，兩條演出線輝映交融、虛實(shí)結(jié)合，通過多媒體的舞臺(tái)與音樂的對(duì)點(diǎn)式交互聯(lián)結(jié)，創(chuàng)造出了一種蒙太奇的舞臺(tái)效果。這種多媒體語言營造出的數(shù)字化氛圍，大大超越了傳統(tǒng)歌劇的演出與表現(xiàn)形式，并將作為VR、AR、MR*全景虛擬現(xiàn)實(shí)系統(tǒng)。的載體來傳播及實(shí)時(shí)現(xiàn)場(chǎng)轉(zhuǎn)播。

《中華兒女》通過別出心裁的舞臺(tái)設(shè)計(jì)與美輪美奐的數(shù)字影像技術(shù),交相勾勒出那個(gè)戰(zhàn)火連天的年代情境，給予觀眾強(qiáng)烈的帶入感。整部歌劇通過氛圍的渲染與蒙太奇的舞臺(tái)效果，成功地塑造了英雄兒女的人物形象。多媒體技術(shù)的加入，讓這部歌劇具備了與傳統(tǒng)歌劇渾然不同的視聽體驗(yàn)，從時(shí)間與空間兩方面進(jìn)行了深刻的演繹。

《鵲華秋色圖》是2016年上海音樂學(xué)院青年教師團(tuán)隊(duì)共同創(chuàng)作的多媒體歌劇，歌劇劇本由上海音樂學(xué)院伍維曦副教授創(chuàng)作，結(jié)合元代歷史與藝術(shù)特征的元素，對(duì)劇中人物的精神世界和內(nèi)心感悟進(jìn)行了探索，《鵲華秋色圖》在此不僅代表了畫家對(duì)藝術(shù)的追求，也象征著在外族文化統(tǒng)治下艱難延續(xù)的中原漢文化血脈。

圖1 《鵲華秋色圖》

《鵲華秋色圖》原是一副典型的中國山水作品。這幅畫卷的作者是中國歷史上著名的畫家、詩人趙孟頫。整部歌劇以這幅《鵲華秋色圖》為引線，牽連出了趙孟頫、趙孟頫的友人周密、趙孟頫的妻子管道升等人物之間千絲萬縷的情思。

在《鵲華秋色圖》這部作品演出中，舞臺(tái)放置一塊全息屏幕讓表演區(qū)域的整體與結(jié)構(gòu)進(jìn)行實(shí)時(shí)交互。并在舞臺(tái)后方布置了一塊巨大的熒屏，將整個(gè)舞臺(tái)后方覆蓋，前置一個(gè)Kinect捕捉裝置，對(duì)舞臺(tái)上的演員、演出信息進(jìn)行紅外線實(shí)時(shí)對(duì)點(diǎn)信息捕捉。Kinect是微軟公司為其旗艦游戲機(jī)XBOX專門開發(fā)的紅外線捕捉裝置，得益于此裝置，演員動(dòng)作觸發(fā)所預(yù)置的藝術(shù)主體交互可以通過紅外線捕捉投影至后方全息屏幕中，形成光影交融的一體式交互視覺感。作品中還使用了MAX/MSP*交互式編程語言與開發(fā)環(huán)境。、Processing*java語言在藝術(shù)化語言下的延伸。交互概念，通過MAX/MSP、Processing編繪電子化的交互指令輸入至電腦終端，在演出時(shí)，設(shè)置某些特定的時(shí)間、演員特定的動(dòng)作來對(duì)音響、燈光等信息進(jìn)行自動(dòng)化控制。

該作品通過山水寫意刻畫人物情感，全息屏幕上通過數(shù)字影像勾勒出華美壯闊的中國山水，舞者通過Kinect裝置被投影至全息屏上，與數(shù)字影像交相輝映，融為一體，組成了一套交互式的舞臺(tái)歌劇演出形式，就如2016年杭州G20峰會(huì)的晚會(huì)演出中，《天鵝湖》的實(shí)際舞者與虛擬舞者群之間的跨時(shí)空對(duì)置，畫面唯美，讓人身臨其境。

這種實(shí)時(shí)信息捕捉的交互方式被運(yùn)用到歌劇表演中后，觀眾無法直觀地分辨出舞臺(tái)與熒幕的邊界，由此感知到的是一個(gè)多維度的虛擬空間，會(huì)產(chǎn)生無限真實(shí)的觀賞感受。

圖2 《鵲華秋色圖》演出時(shí)的舞臺(tái)全息屏設(shè)計(jì)

二、多媒體技術(shù)融入中國歌劇音樂語言的探索及研究

在傳統(tǒng)歌劇的創(chuàng)作中，作曲家對(duì)歌劇劇本進(jìn)行剖析解讀，決定創(chuàng)作什么風(fēng)格的藝術(shù)作品，選用哪些配器手法，如何設(shè)計(jì)背景片段化音響連接樂段與音樂唱段之間的關(guān)系等等諸多的因素。音樂語言向來就是歌劇藝術(shù)中至關(guān)重要的一環(huán)，貫穿于整部歌劇始終。而在多媒體技術(shù)加持下的音樂語言，呈現(xiàn)出極具色彩性以及藝術(shù)通感的整體性表述等特點(diǎn)。

21世紀(jì)以來，紛繁復(fù)雜的音樂制作方式以及技術(shù)手段出現(xiàn)，讓音樂設(shè)計(jì)變得更多元化，從單向度上升為多維度的融合。隨著技術(shù)的創(chuàng)新、科技的進(jìn)步，各種音樂制作手段層出不窮。作曲家進(jìn)行創(chuàng)作不再拘泥于紙與筆，配器也不再拘泥于傳統(tǒng)樂器，越來越多的電子化音響以及不同頻段的虛擬采樣音色，通過技術(shù)化處理，映入了我們的視聽藝術(shù)之中。

在多媒體歌劇的探索中，音樂元素與演員之間的交互變得更加數(shù)字化與多元化。演員不僅負(fù)責(zé)形體、演唱上面的演出，同時(shí)也負(fù)責(zé)音樂的演出。運(yùn)用Audrion、Kinect等捕捉對(duì)點(diǎn)裝置，電腦終端在采集演員動(dòng)作信息的同時(shí)，觸發(fā)設(shè)置好的音樂板塊，根據(jù)演員的舞動(dòng)、步伐，音樂與之交互對(duì)應(yīng)，形成音畫一體的交互舞臺(tái)效果。為了達(dá)到這種交互的效果，藝術(shù)家必須在設(shè)計(jì)音樂元素的同時(shí)將其數(shù)字化、信息化。

多媒體技術(shù)把電腦終端作為起點(diǎn)，由面及點(diǎn)向歌劇中的各個(gè)板塊進(jìn)行發(fā)送。藝術(shù)家必須將音樂素材通過編碼轉(zhuǎn)換成為電腦所認(rèn)知的二進(jìn)制信息發(fā)送至電腦終端，才可以讓多媒體系統(tǒng)控制音響材料的播放、編繪、處理。在探索中，藝術(shù)家在創(chuàng)作多媒體作品時(shí)，會(huì)選用數(shù)字音樂工作站直接進(jìn)行音樂聲波素材的數(shù)字模擬轉(zhuǎn)換，從而創(chuàng)作出多媒體系統(tǒng)可以使用的電子化音樂元素。

隨著技術(shù)的革新，Pro tools*avid出品的數(shù)字化軟件工作站。、Cubase*steinberg公司開發(fā)的多功能一體的數(shù)字化編輯工作站。等數(shù)字音樂工作站相繼出現(xiàn)，藝術(shù)家可以在這些工作站中完成他們的工作。以Cubase數(shù)字工作站為例，作曲家可以通過電腦，MIDI鍵盤采集自己彈奏進(jìn)入電腦的MIDI電子信息，通過A/D，D/A轉(zhuǎn)換，在電子信號(hào)與數(shù)字信號(hào)的轉(zhuǎn)變中將信號(hào)有機(jī)地排列組合，再通過錄音混音技術(shù)得到自己想要的音樂。

歌劇的音樂主要由唱段、背景(Background)等部分組成。歌劇中演唱的部分，因人聲的演唱根據(jù)聲線的不同各有特色，目前還無法用技術(shù)手段完全替代人的演唱。背景由于所涉及的音樂要素非常多，所以多媒體技術(shù)主要針對(duì)這一板塊進(jìn)行探索研究。一般的歌劇藝術(shù)作品中，通常是根據(jù)配器要求將樂隊(duì)置于現(xiàn)場(chǎng)之中進(jìn)行現(xiàn)場(chǎng)演出。加入多媒體技術(shù)后，在現(xiàn)場(chǎng)樂隊(duì)的基礎(chǔ)上，電腦終端接收到各種不同的預(yù)置音樂素材，可以進(jìn)行與舞臺(tái)表演實(shí)時(shí)的交互與調(diào)制。預(yù)制音樂是藝術(shù)家通過電腦預(yù)制好的電子化音樂素材，它可以是一段完整的音樂，也可以是一段樂思，甚至可以是零散的音樂塊狀結(jié)構(gòu)。多媒體技術(shù)使用至少一臺(tái)電子處理終端，對(duì)舞臺(tái)上的各個(gè)裝置、音響進(jìn)行控制處理。藝術(shù)家通過自己的想法，排列、拼貼音樂塊狀素材，組合成歌劇所需要的音響部分。這些預(yù)制好的音樂素材被電腦終端識(shí)別認(rèn)知后，可以通過主機(jī)操控直接觸發(fā)，也可以通過演員觸發(fā)交互點(diǎn)實(shí)時(shí)觸發(fā)?，F(xiàn)今音源技術(shù)較為發(fā)達(dá)，運(yùn)用Kontank*數(shù)字化采樣器。插件、waves*數(shù)字化效果器。效果器等進(jìn)行多種調(diào)制，可以極大地豐富聲音的音響效果，藝術(shù)家能夠通過這些電子化程序編繪現(xiàn)實(shí)樂器所無法發(fā)出的聲音。歌劇劇情中所需要的大多數(shù)聲音音效，一般的樂器是無法實(shí)時(shí)發(fā)出的，而電子化的聲音素材根據(jù)藝術(shù)家的想象千變?nèi)f化，這些音響素材的加入可以讓歌劇演出的效果更加具有立體感、帶入感。歌劇中受限于樂器而無法產(chǎn)生的各種聲音，藝術(shù)家都可以通過合成器調(diào)制ADSR包絡(luò)來創(chuàng)造。

在數(shù)字化音樂制作的過程中，藝術(shù)家可以通過合成器對(duì)電子音樂素材進(jìn)行調(diào)制改變，而ADSR包絡(luò)線，是合成器工作的一個(gè)重要的原理概念。ADSR是四個(gè)英文字母的縮寫，他們分別是Attack、Decay、Sustain、Release。電子化聲音設(shè)計(jì)會(huì)比較多地運(yùn)用到ADSR包絡(luò)線的概念。

圖3 ADSR包絡(luò)線

ADSR的主要功能是調(diào)制樂器聲音的一些方面，通過調(diào)節(jié)ADSR各個(gè)參數(shù)值，聲音會(huì)發(fā)生相應(yīng)的變化。在運(yùn)用工作站制作音樂時(shí)，ADSR是我們運(yùn)用到的必不可少的參數(shù)。合成器、效果器隨著時(shí)代的發(fā)展涌現(xiàn)出了越來越多的種類，早期聲音對(duì)于我們來說只是固定好的聲音信息，我們只能機(jī)械地記錄他們。隨著科技的不斷發(fā)展，我們不僅能夠記錄下聲音的信息，還能將它們轉(zhuǎn)換為電子波形，甚至可以運(yùn)用技術(shù)改變聲音的響度、樂器的音色，給他們加入延遲、混響等一系列的效果，這些在歌劇創(chuàng)作中也有許多探索實(shí)踐。例如，全息屏上展示的是廣闊深遠(yuǎn)的場(chǎng)景，演員在對(duì)話時(shí)藝術(shù)家在電腦控制端實(shí)時(shí)加入延遲效果，營造出類似于回聲的跨時(shí)空效果，使歌劇演出更具有帶入感與真實(shí)感。這種效果器處理不僅可以運(yùn)用在預(yù)設(shè)的音色素材中，在現(xiàn)場(chǎng)拾音中也可以起到非常多的作用。營造出回聲的效果后，一種多維度的立體舞臺(tái)畫面自然而然地便呈現(xiàn)在觀眾面前，一個(gè)看似單一的舞臺(tái)瞬間融入了深邃壯闊的大好河山，立體感極強(qiáng)。在加入多媒體技術(shù)的歌劇中，我們不能把音樂簡(jiǎn)單地定義為“聲音”或者“旋律”，音樂和表演家一樣，是整出劇目的實(shí)時(shí)參與者，打破傳統(tǒng)思維，將音樂作為一種實(shí)時(shí)交互表演元素呈現(xiàn)出來，也是多媒體制作過程中的重要方面。最重要的是，電腦終端作為整個(gè)多媒體舞臺(tái)、音響系統(tǒng)的總指揮，藝術(shù)家可以在電腦終端實(shí)時(shí)地根據(jù)舞臺(tái)需要調(diào)制、改變聲音的效果與參數(shù)，這種實(shí)時(shí)交互的理念貫穿整個(gè)多媒體歌劇始終。

在多媒體歌劇中，音樂表現(xiàn)不僅僅是樂器所構(gòu)成的聲音、音效，多媒體預(yù)制音型以及聲音拾音和擴(kuò)音的工程圖也是非常重要的一點(diǎn)。歌劇舞臺(tái)中演員的表演與各類聲效有機(jī)地疊合在一起，形成人與聲的可控式觸發(fā)以及實(shí)時(shí)交互模式，這也是多媒體技術(shù)對(duì)歌劇作品的藝術(shù)語言升華及立體性的多重交織。

圖4 電子音樂素材波形的轉(zhuǎn)換

多媒體視野下的音樂并不僅僅是我們傳統(tǒng)觀念上的“配樂”，音樂元素更多地在于設(shè)計(jì)與布局，通過電子音色，預(yù)制音樂的加成，歌劇的音樂語言應(yīng)該是立體的、多維的，它突破了傳統(tǒng)意義上平面的音樂配樂概念，通過音樂與不同音效、不同頻段、不同視覺對(duì)點(diǎn)之間的多重性視聽結(jié)合，來表演以舞臺(tái)為載體而搭建的一個(gè)完整的多維度藝術(shù)空間。

歌劇《中華兒女》運(yùn)用的是標(biāo)準(zhǔn)管弦樂隊(duì)的音樂配置，但是伴隨數(shù)字影像屏影像的播放，許多音效以及聲音效果根據(jù)舞臺(tái)事件的發(fā)展而隨機(jī)觸發(fā)。藝術(shù)家在多媒體系統(tǒng)中會(huì)設(shè)計(jì)許多的事件點(diǎn)。例如某一幕中，英雄兒女面對(duì)鬼子，不屈不服、奮勇向前，而演員做出了舉手的這個(gè)動(dòng)作，這個(gè)“舉手”的動(dòng)作模塊捕捉就仿佛是一個(gè)開關(guān)，預(yù)制好的音樂元素排列就好比多米諾骨牌一般，在開關(guān)被觸發(fā)的同時(shí)，音樂素材相繼被觸發(fā)，音樂語言與演員的交互立刻得到了響應(yīng)，音樂化素材的連貫性特質(zhì)就通過交互的橋梁被搭建了起來。

譚盾作曲的歌劇《秦始皇》是現(xiàn)代歌劇的代表作之一，其中就運(yùn)用了許多多媒體交互理念。譚盾的音樂語言一向具有他獨(dú)特的見解與構(gòu)筑，多媒體歌劇《秦始皇》音樂著實(shí)給人非常深刻的印象。其中的交互思維是非常具有代表性的。整部歌劇的編制極其宏大，每個(gè)人都有麥克風(fēng)作為輔助采樣器，舞臺(tái)上的每一聲腳步，每一次舞者的動(dòng)作擊打都成為了關(guān)鍵的音樂元素組成形式。在實(shí)時(shí)的演出過程中，現(xiàn)場(chǎng)終端通過采樣回放的方式將現(xiàn)場(chǎng)舞蹈演員的聲音信息作為音樂舞臺(tái)的一個(gè)組成部分，整個(gè)舞臺(tái)與音樂形成了一個(gè)完整的復(fù)維度立體音樂融合載體，聽眾可以從多維度、多角度聆聽，感觀音樂的魅力。

電子化信息化的時(shí)代帶給藝術(shù)家許多不同的創(chuàng)作處理手段，在探索中，藝術(shù)家也大膽地將電子化的音響素材加入歌劇的創(chuàng)作中，從而得到截然不同的藝術(shù)沖擊力。

三、交互技術(shù)在中國歌劇創(chuàng)作中的實(shí)踐運(yùn)用

前文提到了預(yù)置音樂以及電腦終端對(duì)預(yù)置音樂的控制等，這些信息都是通過電腦終端解碼編程加以控制處理的。這里不得不提到MAX/MSP技術(shù)，這也是多媒體舞臺(tái)中控制端口所運(yùn)用到的核心技術(shù)之一。

MAX/MSP由位于舊金山的cycling 74軟件公司持續(xù)開發(fā)，是一款專注于電子音樂創(chuàng)作和(音樂可視化)多媒體開發(fā)的可視化編程語言，將不同的功能(functionobject)通過簡(jiǎn)單連線的方式進(jìn)行可視化編程，讓沒有編程基礎(chǔ)的音樂家可以簡(jiǎn)單快速地實(shí)現(xiàn)復(fù)雜的交互藝術(shù)作品創(chuàng)作，在近幾年的交互式藝術(shù)作品的運(yùn)用上，得到了許多作曲家、演奏家的青睞，是現(xiàn)代交互式電子音樂創(chuàng)作的一項(xiàng)重要技術(shù)。MAX/MSP的主要工作原理非常簡(jiǎn)單，如圖所示，我們要編繪許多對(duì)象框(Object boxes)，然后用這些虛線進(jìn)行連接，最終創(chuàng)建一個(gè)完整的單元。對(duì)象框中的指令非常豐富，用戶可以根據(jù)需要改變聲音的頻率、播放次數(shù)、循環(huán)模式等等。用數(shù)字技術(shù)將音波頻率轉(zhuǎn)化為數(shù)字信號(hào)，并通過調(diào)整參數(shù)對(duì)聲音效果進(jìn)行實(shí)時(shí)的修改，通過代碼控制可以達(dá)到最終想要的輸出效果。在如今數(shù)字化的時(shí)代中，幾乎所有事物都可以被轉(zhuǎn)化為數(shù)字信號(hào)，通過計(jì)算機(jī)的重新解構(gòu)、分析。這種技術(shù)讓藝術(shù)與科技進(jìn)行跨學(xué)科的無縫對(duì)接，藝術(shù)家的想象力得到了這些平臺(tái)的支撐，他們能肆意地創(chuàng)造出自己想要的獨(dú)一無二的樂器、音色或全新效果的表演工具，而這一切的決定權(quán)完全在用戶，完全憑借創(chuàng)作者的想象力。

圖5 MAX工作界面

現(xiàn)代化的歌劇中，電腦終端通過MAX/MSP設(shè)置好預(yù)先編輯的Object指令傳達(dá)至多媒體交互感應(yīng)裝置，可以輕松地實(shí)現(xiàn)演員通過表演、舞蹈觸發(fā)指令達(dá)到下一步的工序。多媒體交互的中國歌劇作品中，預(yù)置的交互程序被設(shè)計(jì)完成后，計(jì)算機(jī)通過點(diǎn)對(duì)點(diǎn)采樣對(duì)演員的動(dòng)作拾取動(dòng)作信息，采集到演員的特定動(dòng)作信息后，就好像打開一個(gè)開關(guān)一樣，接下來的程序被依次觸發(fā)，全息屏的畫面，預(yù)置的音效隨之播放。

多媒體系統(tǒng)下對(duì)表演者的信息采集，使用的是微軟公司為游戲機(jī)開發(fā)的Xbox紅外動(dòng)作捕捉攝像頭Kinect?！癒inect”為kinetics(動(dòng)力學(xué))和connection(連接)兩個(gè)單詞組合而成。kinect上包涵了三個(gè)攝像頭(紅外線發(fā)射攝像頭、紅外線接收攝像頭、普通RGB攝像頭分辨率640x480)、一個(gè)麥克風(fēng)和舵機(jī)。通過分析圖像和圖像深度處理技術(shù)將平面的人體輪廓捕捉出骨骼點(diǎn)，所以kinect并不識(shí)別人體的旋轉(zhuǎn)數(shù)據(jù)。在MAX/MSP中，有以下幾種插件來抓取骨骼點(diǎn)，jit.freenect.grab、jit.openni、dp.kinect,這三種插件可以根據(jù)不同的表演需求使用。插件獲取到骨骼點(diǎn)的數(shù)據(jù)后，通過OSC(open sound control)信號(hào)將骨骼點(diǎn)在空間中的位置數(shù)據(jù)發(fā)送至MAX/MSP中，以此來打開觸發(fā)音效的開關(guān)實(shí)現(xiàn)交互音樂。

圖6 Kinect交互裝置

對(duì)于舞蹈演員的交互捕捉不局限于Kinect的動(dòng)作捕捉系統(tǒng)。在目前市面上已有多種面部識(shí)別軟件，在此要介紹的為FACEOSC這款開源項(xiàng)目，這款軟件通過OPEN FRAME WORKS編寫而出，在電腦上運(yùn)行后連接攝像頭，可以精準(zhǔn)地得到面部的眼部、嘴部、眉毛等面部位子數(shù)據(jù)，通過面部表情數(shù)據(jù)分析，進(jìn)行算法運(yùn)算，可以準(zhǔn)確地去判斷患者面部呈現(xiàn)出的情感為歡愉或難過，而僅通過這款軟件是僅僅不夠的，交互設(shè)計(jì)師還需通過例如MAX/MSP、Processing、Open Frame Works等可接收OSC信號(hào)來獲取數(shù)據(jù)，并通過數(shù)據(jù)去觸發(fā)音樂類型。音樂類型可為一段采樣，或通過連接聲音軟件，進(jìn)行數(shù)據(jù)分析來觸發(fā)MIDI信號(hào)制作生成音樂。數(shù)字信號(hào)的傳輸進(jìn)行視覺生成，可以改變舞臺(tái)的投影色彩或LED彩燈，例如設(shè)置整體表情數(shù)值為100(50為中間值，為平緩情緒,大于50或小于50分別為快樂與難過),當(dāng)演員面部表情數(shù)據(jù)低于50后判斷為低落或難過，可通過數(shù)據(jù)傳輸協(xié)議如OSC、MIDI、TCP進(jìn)行數(shù)據(jù)發(fā)送，對(duì)整個(gè)舞臺(tái)對(duì)應(yīng)識(shí)別出演員的情緒波動(dòng)從而改變舞臺(tái)色彩色調(diào)，在舞臺(tái)的聲音與視覺上進(jìn)行進(jìn)一步的提升。由此舞臺(tái)表演藝術(shù)家可對(duì)現(xiàn)場(chǎng)的多媒體環(huán)境有更大的把握，使多媒體視覺特效可隨著藝術(shù)家的情緒而進(jìn)行實(shí)時(shí)的改變。由此可見，多媒體交互歌劇與傳統(tǒng)多媒體歌劇相比有了更大的現(xiàn)場(chǎng)互動(dòng)性，讓表演藝術(shù)家對(duì)多媒體視覺有了更多的選擇性。

圖7 FACEOSC交互式演示

四、中國多媒體歌劇新藝術(shù)語言的未來展望

中國歌劇從“五四”新文化運(yùn)動(dòng)之后逐步發(fā)展起來，直到今天，仍在探索與前進(jìn)的道路上。多媒體交互式歌劇作為現(xiàn)代歌劇的一個(gè)新的探索方向，將詩歌、人文的情感通過共通的藝術(shù)表現(xiàn)形式注入至音樂歌劇語言表達(dá)之中，并通過與舞臺(tái)多媒體相輔相成進(jìn)行表達(dá)，使觀眾在聲音與視覺中更好地去理解歌劇人文意境中的準(zhǔn)確含義。想要以技術(shù)的可控性和音樂之美為載體，重中之重是要深刻挖掘中國傳統(tǒng)文化之中的多種藝術(shù)內(nèi)涵，通過多維度的藝術(shù)表現(xiàn)形式來完成，并利用現(xiàn)代的視覺技術(shù)、聲音技術(shù)、虛擬與現(xiàn)實(shí)的交織、傳統(tǒng)與現(xiàn)代的交匯，將傳統(tǒng)文化更好地保存和鮮明地變現(xiàn)出來，是當(dāng)今中國多媒體歌劇藝術(shù)創(chuàng)作工作者不得不面對(duì)和解決的問題。

簡(jiǎn)單地概括為：音樂多維度(傳統(tǒng)樂隊(duì)、人聲、不同器樂化的音響創(chuàng)作+虛擬技術(shù)手段處理的音響設(shè)計(jì)+實(shí)時(shí)互動(dòng)拾音并處理輸出的音響工程圖等)+視覺多維度(傳統(tǒng)的結(jié)合歌劇情境的傳統(tǒng)視覺概念創(chuàng)作+實(shí)時(shí)工程中與音樂對(duì)點(diǎn)中的歌唱家、演奏家、舞者交互產(chǎn)生的動(dòng)作與表情觸發(fā)的視覺表達(dá)+裸眼3D技術(shù)概念+VR、AR、MR概念等)=多媒體歌劇創(chuàng)作的雛形。

時(shí)代不斷地進(jìn)步，隨著科技水平的提升，藝術(shù)也在發(fā)生極大的變革，通過科技將諸多傳統(tǒng)藝術(shù)進(jìn)行創(chuàng)新，使傳統(tǒng)歌劇可以更好地傳承和發(fā)揚(yáng)，將最前沿的制作技術(shù)與傳統(tǒng)文化交融為具有前瞻性和歷史存時(shí)性的作品。相信越來越豐富的多媒體歌劇作品能夠映入世人的眼簾；百花齊放，多學(xué)科交融的藝術(shù)精品也將不斷從單向度創(chuàng)作層面上升為多維度思考的疊合體模式。

[1]Joseph Kerman:《作為戲劇的歌劇》，楊燕迪譯，上海:上海音樂學(xué)院出版社，2008年。

[2] 楊燕迪：《音樂學(xué)新論》，北京：高等教育出版社，2011年。

[3] 賈達(dá)群：《作曲與分析》，上海：上海音樂出版社，2017年。

[4] 錢苑、林華：《歌劇概論》，上海：上海音樂出版社，2013年。

[5] 陶辛譯：《歌劇》，《歌劇藝術(shù)研究》1994年第1期。

[6] 居其宏：《中國歌劇音樂》，安徽：安徽文藝出版社，2014年。

[7] 魯宏偉、汪厚祥：《多媒體計(jì)算機(jī)技術(shù)》，北京：電子工業(yè)出版社，2011年。

[8] 安棟、楊杰：《數(shù)字音頻基礎(chǔ)》，上海：上海音樂出版社，2013年。

[9] 劉灝：《應(yīng)用音樂教學(xué)理論與實(shí)踐》，上海：上海交通大學(xué)出版社，2016年。

[10] 李四達(dá)：《數(shù)字媒體藝術(shù)概論》，北京：清華大學(xué)出版社，2006年。

【責(zé)任編輯：楊正君】

2017-04-11

2016年國家藝術(shù)基金青年藝術(shù)創(chuàng)作人才資助項(xiàng)目“電子音樂技術(shù)在舞臺(tái)藝術(shù)中交互思維模式的應(yīng)用”(20163033)。

劉灝(1981- )，男，博士，上海音樂學(xué)院副教授、碩士研究生導(dǎo)師。

① 《中華兒女》由金湘作曲，劉忠德編劇，于2017年9月在天津大劇院首演。

10.3969/j.issn.1008-7389.2017.04.010

J614.92；J619

A

1008-7389(2017)04-0088-09