韓金昊/ 楊萬鈞 （四川音樂學院）

引 言

在電子音樂誕生初期，電子音樂的研究方向集中于運用硬件創(chuàng)造新聲音和探索新的表演可能性上，直到20世紀40年代計算機的發(fā)明為信號數(shù)字化研究提供了全新的途徑與方向，電子音樂才逐漸擴展到現(xiàn)在的新媒體與多平臺上。在探索更高效的聲音合成方面，使用代碼合成聲音并不是近些年才出現(xiàn)的，早在1950年工程師和音樂家就在RCA MARK II上①用編譯計算機執(zhí)行代碼的方式實現(xiàn)了電子化聲音的合成與電子音樂的創(chuàng)作，這是人類首次使用計算機作為主要開發(fā)工具來設計聲音與創(chuàng)作作品。從這個時期開始，多種聲音合成語言被開發(fā)出來用于聲音合成與音樂作品創(chuàng)作，如Music N②系列語言，目前此系列語言中還有Csound③等音樂編程語言在廣泛使用。經過半個世紀的發(fā)展，現(xiàn)在的聲音合成語言體系趨于完善與多樣化。

長期以來，國際電子音樂研究機構對于使用聲音編程方式設計聲音及作品創(chuàng)作都非常重視，許多國際性電子音樂學術活動都將實時編程音樂作為一個單獨的分類進行探討與研究，如ICMC（International Computer Music Conference國際計算機音樂年會）、MAIN（MAteraINtermedia festival）等。此外還有專業(yè)研究機構針對特定技術舉辦學術活動，ICSC（國際Csound年會）就是專門為使用Csound語言進行聲音設計的音樂家們提供交流平臺。

目前國內各大音樂學院以研究作曲技術為主，通用性計算機基礎較弱，藝術家習慣使用的簡化圖形編程語言不易與其他專業(yè)相匹配，進而在技術上與其他專業(yè)人員交流有所不便。因此，加強從編碼層面設計的能力有利于為設計增添技術支持，進而加強電子音樂與計算機的聯(lián)系，在設計與合成方面將會有更多的可能性和研究空間。

一、研究背景與目標

在電子音樂發(fā)展初期，作品表演的方式是作曲家先在設備或合成器上創(chuàng)作出完整的音樂作品，然后再將錄音拿到音樂會現(xiàn)場播放。這種音樂會現(xiàn)場只有一對音箱或幾件設備，鮮有表演者的表演。甚至在某些情境下要盡可能封閉觀眾的視覺感官，作曲家要關閉音樂廳內所有的燈光充分調動觀眾的聽覺，使得電子音樂會場很沉悶。這樣雖然強調了作品的聽覺性，但缺少了視覺刺激，觀感相對單一。為改善這一表演缺陷，部分電子音樂家開始嘗試在現(xiàn)場實時創(chuàng)作并表演電子音樂，或與舞臺表演結合在一起，就出現(xiàn)了混合媒體音樂、交互式音樂、聲音裝置。新藝術形式既能夠調動觀眾的聽覺又能豐富觀眾的視覺，讓觀眾與表演者或作曲家之間有著良好的溝通與互動，更容易取得好的藝術體驗并活躍現(xiàn)場氣氛。

隨著計算機運算速度的提高以及聲音合成語言技術的發(fā)展成熟，在近20年來的電子音樂發(fā)展中，實時編程創(chuàng)作電子音樂已形成相對獨立的電子音樂創(chuàng)作表演類別。

筆者在本科二年級期間接觸到能夠通過實時編程合成聲音的技術，在進一步學習和研究的過程中，發(fā)現(xiàn)該技術不僅可以快速的合成聲音信號，還可以實時的對信號進行修改，不僅可以輸出聲音信號還可以輸出或接收MIDI事件或OSC信息，在新媒體電子音樂中具有良好的表演性和兼容性。以此筆者同指導老師創(chuàng)作多個概念作品，截至此篇文章發(fā)表我們已完成首個作品《New Dawn》的公演，以及對不同系統(tǒng)下信號傳送的測試。在指導教師的鼓勵下筆者將該技術研究申報創(chuàng)新訓練項目《MIDI音序技術與燈光交互訓練》，獲得國家級的大學生創(chuàng)新創(chuàng)業(yè)項目的資金支持，并于2019年5月28日在四川音樂學院公演了諸多概念作品，獲得了現(xiàn)場觀眾的一致好評。本文將結合該作品討論在研究過程中所取得的成果和遇到的問題。

二、實時編程在新媒體電子音樂中的應用

（一）實時編程技術在MIDI、DMX交互設計中的優(yōu)勢

實時聲音合成（Live_Coding Programming）是使用專為音樂家開發(fā)的聲音編程技術，在現(xiàn)場實時編譯代碼合成聲音與創(chuàng)作作品，綜合比較幾種語言后項目組選定了Sonic Pi作為研究對象。Sonic Pi是基于SuperCollider和Ruby開發(fā)、為“樹莓派”④單板機所開發(fā)的音樂編程語言，它學習起來簡單且專為實時編程所設計。Sonic Pi不僅支持MIDI事件和OSC信息的接收與發(fā)送，它在編譯MIDI或OSC信息時還可以添加算法支持，在實時編程時有更多的操作選擇。

MIDI（Musical Instrument Digital Interface即音樂設備數(shù)字接口），是一種使相關設備間相互兼容并實現(xiàn)信息交流的技術標準⑤。MIDI事件的信息結構簡單，一個MIDI事件由一組8位的二進制字符組成，這些事件信息以串行方式傳輸，因此它們可以控制同一系統(tǒng)內的多個設備。MIDI事件里常用的三種可編譯事件是“channel”“pitch”“velocity”，在DAW⑥里對其調控采用圖形化控制方式，作曲家只需調出控制界面，在參數(shù)區(qū)畫出圖形化數(shù)值，就可以生成一個MIDI音符事件；在編碼中則需要規(guī)定一個MIDI音序器的操作碼⑦，對其聲明MIDI音高、力度就可以生成一個的MIDI信號，后面再加上一句對于輸出端口與通道的限定就可以發(fā)送到指定的軟硬件中。從本質上看編碼就是將音序器中鼠標操作的動作指令直接變成參數(shù)輸入到編譯器⑧中，節(jié)省了鼠標參數(shù)與動作轉化映射。

如在Sonic Pi中寫入：midi_note_on 60, 127, port: “xxx”, channel: xxx，就可以產生一個MIDI音符事件。如要修飾控制器可加入相關控制參數(shù)：midi_cc 10, 60, port: “xxx”, channel: xxx。

DMX是Digital Multiplex的簡稱，意思是數(shù)字多路復用器，DMX512是一種燈光設備數(shù)字通信網絡的標準⑨，用于規(guī)范數(shù)字化燈光控制信息，增強設備之間的兼容性。

DMX標準下的燈光設備使用統(tǒng)一的16進制數(shù)據(jù)，值域范圍0-255（十進制整數(shù)），數(shù)據(jù)串行傳輸。更新后的DMX512標準下設備最多可以支持512個數(shù)據(jù)通道，每個通道單獨設置，支持與MIDI、C control等通用控制器建立映射。DMX512協(xié)議下的燈光設備一般都是一個設置一個通道，不存在復合通道設置，所以一個控制參數(shù)的控制值域將被強制縮放至0-255，不能分段映射或添加算法。DMX512的傳輸方式類似于網絡，通過給設備分配DMX地址（DMXIP）來確定數(shù)據(jù)包流向，這樣可以確保在正常通信情況下數(shù)據(jù)不會擁塞。

DMX512燈光設備的設置只有參數(shù)一種控制方式，無論是燈光模式調控還是顏色輪⑩軸轉速，都是通過數(shù)值大小來控制。以常用的搖頭燈（DcPR II）和PAR燈（Parabolic Aluminum Reflector light）為例，它的顏色控制只有一個設置通道——DMXIP+3。0-255這256個數(shù)值被劃分了3個數(shù)組，分別代表了當前顏色轉盤的旋轉位置、顏色盤順時針旋轉速度和逆時針旋轉速度，以127/188/254三個數(shù)據(jù)點作為區(qū)分不同模式的間隔。這樣的控制方式雖然減少了數(shù)據(jù)通道的占用數(shù)量，在大型活動中可以承載更多的燈具。但是這也加大了控制難度，導致在切換燈光模式時難免會觸發(fā)其他不必要的模式，特別是MIDI控制器會受到很大的影響。此外，筆者在DMX映射模式測試中發(fā)現(xiàn)，將MIDI控制器接入DMX控制軟件后，推動MIDI推子時DMX信息數(shù)值是呈線性變化的。由于MIDI值域與DMX值域呈1:2的關系，使得映射后的數(shù)值比例也為1:2，即映射后的DMX控制精度下降一倍。另外在實際操控中，人工勻速漸變中數(shù)值的精確度不達標，且人的主觀感受并不是線性變化的。因此在切換信號時用模擬類推子難以達到理想效果。

對于這種問題筆者在測試使用編碼編輯MIDI信號后發(fā)現(xiàn)可以利用編碼的方式彌補人工操控的短板。使用編碼編輯MIDI信號的優(yōu)勢在于可以使用復數(shù)線程同時操控，只需算法加持控制，就可以用單一變量在線程內自行變化直到下一指令。如：

可以產生通道n數(shù)值k的控制器信號，接下來k會在線程內變化，以此實現(xiàn)數(shù)值的對數(shù)變化或躍遷，從而精準實現(xiàn)模式的切換或連續(xù)顏色位置的變動。

在綜合對比了多種控制器后，DMX512控制器的成本相對較低且與MIDI信號的兼容度最高，DMX信號與MIDI信號傳輸線纜相互兼容，且DMX512控制器自帶能與MIDI映射的算法，這使得MIDI與DMX的即時數(shù)據(jù)映射比其它控制器容易得多，因此最終選定使用DMX512控制器。

（二）實時編程在新媒體電子音樂表演中的應用

依據(jù)以上通信協(xié)議與實時編程所創(chuàng)作的新媒體電子音樂作品《New Dawn》的意義在于，作品使用實時編程作為主要手段，綜合MIDI協(xié)議與DMX512協(xié)議在軟硬件設備之間通信，通過燈光與影像構成視覺部分，使用“Sonic Pi”實時編程語言設計與創(chuàng)作，軟件“Freestyler”做DMX燈光控制，軟件“ResolumeArena”做影像實時生成。作品《New Dawn》共使用吉他、貝斯、合成器、鼓、鋼琴5種音色，其中吉他與鋼琴由表演者現(xiàn)場演奏，貝斯、鼓和合成器使用Sonic Pi內置合成器與NativeInstrumentKontakt采樣音源進行聲音合成。

此作品的創(chuàng)作建立在局域網MIDI與DMX通信上，音頻信號通過多臺電腦共同合成，最終通過調音臺輸出。這個系統(tǒng)特點在于MIDI信號通過無線局域網進行傳遞，DMX信號通過物理菊花鏈?（Daisy chain）網絡相互傳送。本作品中使用RTPMIDI在無線網絡中共享MIDI事件，通過RTPMIDI每一端的IP地址區(qū)分數(shù)據(jù)包的流向，將MIDI的控制事件發(fā)送至不同電腦上，同時控制多個軟件。DMX則同理，通過設置每臺射燈的DMXIP以確定信息流向，以支持多個模擬推子混合控制。在Sonic Pi實時編寫MIDI代碼所生成的MIDI事件通過RTP MIDI傳遞到Kontakt上，Kontakt接受MIDI事件后生成的數(shù)字信號通過DAC轉換成模擬信號與樂器信號一起經過調音臺混合與處理，最后通過揚聲器放出。系統(tǒng)連接如下圖所示：

在作品表演中除原始材料是預先準備好的，其余媒體均為現(xiàn)場實時合成。在控制媒體的合成與混合量時，本作品中運用MIDI控制器（MIDI controller）和編碼生成MIDICC?控制事件，該MIDI事件是連續(xù)的控制事件，常用于控制數(shù)字推子?。我們選用的MIDI控制器上有多個模擬推子?，當控制器接入電腦后該推子將會持續(xù)發(fā)送當前位置的信息，電腦則會把該MIDICC事件映射為數(shù)字推子，通過該方法可以使用控制器手動調節(jié)各類媒體的合成與混合。例如可以通過設置MIDI CC10（標準映射：Pan）映射為色相輪的參數(shù)，通過推動MIDI CC10來改變當前影像的顏色。

影像軟件的映射頁面

同理該映射方法也應用于DMX，通過將MIDI CC10映射為PAR燈的顏色通道，在改變影像色相輪的同時也改變燈光的顏色，使環(huán)境氛圍與影像保持一致，又或在控制軟件中對控制參數(shù)做反相，達到顏色間強烈的對比。這里將遇到在上文中提到的跨色域轉換顏色問題，當要將紅色域轉換到黃色域時，使用模擬推子推動的過程中必將經過綠色域，這會造成舞臺上顏色與音樂不協(xié)和。從理論上看，在線性變化中都會出現(xiàn)這種情況，因此這里就必須要用到編碼方式彌補模擬推子的線性問題。這里我們用到下面這組算法：

在這段代碼中的算法通過定義一個數(shù)字集合，并規(guī)定循環(huán)觸發(fā)條件，就可以確定在某一時間跳過某一色域，從下一色域反向進行。通過降低集合的循環(huán)時間、提高集合數(shù)組的精確度可以增加DMX映射后的分辨率。比如保持片段的時間長度不變，但是將事件數(shù)量提高一倍，單個事件的觸發(fā)事件降低一倍，結果將是在原時間長度下數(shù)值變化的分辨率提高一倍。

在整個作品的表演過程中各個部分運作雖然相互獨立，但是控制信號的來源只有一臺電腦、一個控制器，這使得在第二段落后控制難度慢慢增加，需要控制的參數(shù)也越來越多。一個操作員最多可以同時操控兩個推子和一個旋鈕，或者一臺電腦上的四個虛擬控制器，這時DMX協(xié)議最大的弊端就暴露了出來——人工無法同時操控諸多的控制器，因此在作品中后期大量使用算法作為生成MIDICC事件的核心方式。下面這段代碼就是諸多線程中的一個，它將簡化眾多繁瑣的勻速推程，讓程序根據(jù)算法自行生成連續(xù)的MIDI信息。

這一段代碼就使用算法的方法實現(xiàn)了搖頭燈的顏色切換，同理還有數(shù)個code block完成其他控制，這些code block分布在同時進行的多個線程里，相互獨立但可控。在表演時可以實時修改i、k和n的數(shù)值，實現(xiàn)色域、運行分辨率、運行時間的實時調控。如果修改MIDI CC的編號為70還可以將該代碼映射到射燈的垂直角度，此過程只需更改一個編號而不需修改設置端的DMXIP，在即興表演中可以讓表演者更加得心應手。

《New Dawn》是依據(jù)多種通信和實時編程技術創(chuàng)作出的第一個作品，經過實地表演后它已不再是紙面上的設想，而是一個切實可行的方案，因此命名為“New Dawn”希望它能成為電子音樂表演的一種新興的表演方式，打破以往沉悶的音樂會現(xiàn)場。影像與燈光的設計來源于日出，使用的橙色與紅色的線條和PAR燈也寓意著曙光的出現(xiàn)。在作品中后段出現(xiàn)的吉他與鋼琴與彩色PAR燈交相呼應寓意著各種思想與創(chuàng)意相互碰撞，希望這種交互技術可以給眾多音樂家們帶來新的思路。

音樂會現(xiàn)場

（三）目前還存在的問題

盡管通過編碼器可以實時生成和修改信號，但編程仍然是一門難度較大的技術。與圖形化的編程軟件不一樣的是文字編程通過限定嚴格的語法保證了信息的傳遞效率，但它也限制了信息的傳遞方式，提高了傳遞信息的難度。讓很多作曲家感到困惑的是在一個沒有圖形與指示的界面里單靠文本說明去聲明信號的傳遞方向，若稍有不慎就會在邏輯上出錯。

其次現(xiàn)行的MIDI信號是上世紀80年代的產物，它雖然字符量小、傳輸方便、編譯難度小。但是現(xiàn)在都是高精度設備，所需的數(shù)據(jù)精度高、數(shù)據(jù)流量大。MIDI這種低精度、字符量小的信號已經與很多設備不兼容了。對于MIDI的期待只能放在正在籌備的MIDI2.0上，期望能通過5G這條快車道給MIDI2.0帶來全新的活力。

除人工控制問題外，映射MIDI與DMX512時由于DMX控制器自身設置的原因，在一個控制器中只能接收64條MIDI通道。雖然可以將一條MIDI通道映射到不同的DMX地址上，但是對于有著多功能且信息量大的燈光設備來說64條通道完全不夠用。因此項目組計劃在下一個項目中使用局域網來傳輸MIDI與DMX信號，采用復路傳輸?shù)姆绞竭M一步的探索在網絡中交互信號的應用。

結 語

本文主要從新媒體角度討論了電子音樂創(chuàng)作與表演方向上的創(chuàng)新與可能性。當代音樂已不僅僅是單一的聽覺藝術，它逐漸走向多元化，多感官協(xié)同音樂將在未來極大的發(fā)展。概念型作品《New Dawn》意在探索MIDI與DMX512在新媒體舞臺上的可能性，使MIDI不再作為一個音樂工具，而是作為一個通信工具再次活躍于舞臺。下一步將把實驗型音樂借助新媒體技術將它推廣于大眾，就如同從另一個角度考慮MIDI的用法上，實驗性音樂在美術與雕塑方面有著很強的共鳴能力，它在跨界藝術及VR、AR方面將有著良好前景。針對本文所提的技術還有很多問題值得研究與探索，希望藉由此文給眾多作曲家、表演者新的思考與方向。

注釋：

① RCA MARK II：1957年美國無線電聯(lián)盟將可編程音樂合成器RCA MARK I改進為II代，允許其使用非官方外部程序，并將音域擴展了兩個八度。

② MUSIC N系列語言：由Max Mathews于1957年編寫而成，MUSIC I是第一個通過直接合成生成數(shù)字音頻波形的計算機程序。

③ Csound最初由Barry Vercoe基于Max Mathews的MUSIC XI模型。

④ 樹莓派：是基于Linux的單片機電腦，由英國樹莓派基金會開發(fā)。

⑤ MIDI事件由8位字（通常稱為字節(jié)）組成，這些字以31.25 kbit/s的速率串行傳輸。

⑥ DAW：Digital Audio Workstation數(shù)字音頻工作站。

⑦ 操作碼：即編譯語言中的關鍵字，如：Function,Core,For。

⑧ 此處樹莓派的編譯器為SuperCollider Server。

⑨ “娛樂技術-USITT DMX512-A-用于控制照明設備和配件的異步串行數(shù)字數(shù)據(jù)傳輸標準”。

⑩ 在傳統(tǒng)搖頭燈里切換顏色是通過一張有著很多顏色濾鏡的顏色轉輪來切換預制好的顏色，不存在調色的概念。

? 菊花鏈：任意非相鄰設備必須通過相鄰的中間設備鏈接，使信號不會形成網狀的拓撲結構，且不會形成環(huán)路。

? MIDICC：MIDI控制事件，用于控制MIDI外設的連續(xù)控制事件。

? 數(shù)字推子：即軟件中生成的UI推子，用于鼠標操控的虛擬控制器。

? 模擬推子：即各類控制器中的觸控推子，用于手動控制的實體控制器。