盧達(dá)均

（東莞市文化館，廣東 東莞523000）

一、引言

音樂作為一種藝術(shù)形式，不僅能夠抒發(fā)情感、反映社會(huì)現(xiàn)實(shí)生活，在歷史上還曾有過鼓舞人心、治療疾病的例子，即使是不同國度不同時(shí)代的人也可以欣賞。在音樂被譜寫之后，樂器的演奏或人聲的演唱等詮釋方式能夠?qū)⑵鋫鬟_(dá)給聽眾，為了能夠使聽眾更全面地體會(huì)音樂所表達(dá)的情感和思想，創(chuàng)作或傳播者采用了不同的輔助表達(dá)方式。可視化的發(fā)展為音樂的表達(dá)提供了新的方式，使用特定的規(guī)則進(jìn)行解讀，為其產(chǎn)生可復(fù)現(xiàn)的視覺效果。

二、音樂可視化的研究內(nèi)容和現(xiàn)狀

可視化（Visualization）是使用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)通過圖形或圖像的方式進(jìn)行顯示并進(jìn)行交互處理的理論、方法和技術(shù)。音樂可視化（MusicVisualization）是利用可視化的方法，客觀解釋和判斷音樂的表現(xiàn)力和結(jié)構(gòu)，幫助聽眾提供理解、分析、比較音樂。

在應(yīng)用方面，Windows、MacOSX、Linux 等平臺(tái)上都有支持音樂可視化的媒體播放器，也有人使用D3.js 和HTML5 實(shí)現(xiàn)了音樂可視化的效果。在可視化過程中涉及到的技術(shù)包括音樂信息提取技術(shù)、圖像生成技術(shù)、主觀評價(jià)技術(shù)等。音樂信息提取技術(shù)主要用于音高、節(jié)奏等信息的識(shí)別；圖像生成技術(shù)將音樂表現(xiàn)要素具體化、形象化、直觀化；主觀評價(jià)技術(shù)的應(yīng)用可以統(tǒng)籌兼顧地運(yùn)用藝術(shù)、聲學(xué)、技術(shù)手段得到親切、舒適、完整、統(tǒng)一的效果，防止顧此失彼。如果是在現(xiàn)場展示一個(gè)錄音與擴(kuò)聲要求較高的音樂可視化作品，不可只依賴人工混響聲，應(yīng)根據(jù)可視化作品的內(nèi)容、演奏和雜音場所、設(shè)備系統(tǒng)等來確定聲音的立體感、聲像群結(jié)構(gòu)動(dòng)態(tài)范圍和各聲源的具體聲音形象等

三、音樂可視化的分類

音樂可視化目前有幾種分類方法，交互性、實(shí)時(shí)性、維數(shù)角度、體驗(yàn)感和音頻數(shù)據(jù)類型等。

1.交互性從交互性來分類，可分為非交互式可視化與交互式可視化。當(dāng)計(jì)算機(jī)播放某多媒體程序的時(shí)候，編程人員可以發(fā)出指令控制該程序的運(yùn)行，而不是程序單方面執(zhí)行下去，程序在接收到編程人員相應(yīng)的指令后相應(yīng)地做出反應(yīng)，這一過程及行為，稱之為交互。大部分的可視化都是交互式的。

2. 實(shí)時(shí)性實(shí)時(shí)性可以定義為在規(guī)定時(shí)間內(nèi)系統(tǒng)的反應(yīng)能力。按照實(shí)時(shí)性分類，可以分為硬實(shí)時(shí)和軟實(shí)時(shí)。硬實(shí)時(shí)與軟實(shí)時(shí)之間最關(guān)鍵的差別在于，軟實(shí)時(shí)只能提供統(tǒng)計(jì)意義上的實(shí)時(shí)。

例如，有的應(yīng)用要求系統(tǒng)在95%的情況下都會(huì)確保在規(guī)定的時(shí)間內(nèi)完成某個(gè)動(dòng)作，而不一定要求100%。比如，用戶在操作播放機(jī)時(shí)，只要98%的情況能正常播放，用戶可能就滿意了；而發(fā)射衛(wèi)星、控制核反應(yīng)堆的應(yīng)用系統(tǒng)，這些系統(tǒng)的實(shí)時(shí)性必須達(dá)到100%，絕對不允許出現(xiàn)意外。音樂可視化應(yīng)用基本是軟實(shí)時(shí)系統(tǒng)。

3.維數(shù)從維數(shù)來分類，可分為二維和三維。目前電影、動(dòng)畫都在朝著三維方向發(fā)展，通過三維技術(shù)創(chuàng)造的視覺特效可以帶來非凡的體驗(yàn)。

四、音樂可視化的表達(dá)方式

音樂可視化按照視覺空間維數(shù)，可以分為二維與三維兩類。二維的音樂可視化需要的數(shù)據(jù)維度低，實(shí)現(xiàn)較為簡單，而三維由于表現(xiàn)力強(qiáng)，適合構(gòu)造復(fù)雜對象，主要應(yīng)用于沉浸感要求高的場合。

在二維的可視化中，靜止的圖像顯示出音頻的兩個(gè)維度的參數(shù)的關(guān)聯(lián)，或是對出現(xiàn)的某些結(jié)構(gòu)、文本特征進(jìn)行挖掘，也有圖像隨時(shí)間變化的動(dòng)態(tài)展現(xiàn)。而三維超越了平面空間的維度限制，可以將時(shí)間流動(dòng)疊加到二維所中時(shí)間以外的兩個(gè)維度上。

除此之外，在現(xiàn)實(shí)世界中通過音源的振動(dòng)，使水、粉末、火焰等產(chǎn)生不同的形狀，也可以作為三維的一種拓展；RTaylor 等人采用虛擬現(xiàn)實(shí)實(shí)時(shí)系統(tǒng)對音樂家演奏的音樂特征進(jìn)行提取，并映射到虛擬角色的行為中，給人以沉浸感。還有一些較為特殊的表達(dá)方式——使用形容詞對音樂中的情感檢測結(jié)果進(jìn)行表達(dá)，將音頻與人心理感受相似的色彩名稱、情緒名稱進(jìn)行分類及匹配。采用能夠引起類似情緒的圖片來標(biāo)志音頻，也是一種創(chuàng)新。

五、音樂可視化的研究進(jìn)展

（一）音樂特征提取

對自然音頻和結(jié)構(gòu)性音頻特征提取方法是不一樣的。為了便于對自然音頻（如WAV、MP3 等格式的音頻）的內(nèi)容分析和特征提取，應(yīng)對原始音頻數(shù)據(jù)進(jìn)行預(yù)處理，目前有傅里葉分析、固定窗口等典型的變換方法，在此基礎(chǔ)上，再對其進(jìn)行特征提取。對于結(jié)構(gòu)性音頻（如MIDI 格式的音樂），由于這類音頻是由一些控制聲卡發(fā)聲的指令組成的，很容易從中找到音色、音高、音長等信息的對應(yīng)位置，然后按其格式的規(guī)則進(jìn)行相應(yīng)的轉(zhuǎn)換，即可提取到這些特征。孫鵬玉在《波形音樂文件特征提取方法的研究》中提出，音樂的特征可以分為基本特征、復(fù)雜特征和整體特征三個(gè)方面。

（二）感檢測與情感表達(dá)

音樂與情感有非常密切的關(guān)系，情感對音樂的理解、欣賞和創(chuàng)作有著重要的影響。張娜等人在《音樂情感的特征與識(shí)別》中寫了運(yùn)用多元分析法對音樂所包含的情感色彩進(jìn)行提取與分析，并將測試音樂樣本按照舒緩激越情感特征進(jìn)行分類，然后從數(shù)字信號(hào)處理技術(shù)角度探討不同類別的音樂所具有的特征，最終使計(jì)算機(jī)能夠像人一樣識(shí)別音樂情感色彩。

（三）虛擬現(xiàn)實(shí)

隨著社會(huì)生產(chǎn)力和科學(xué)技術(shù)的不斷發(fā)展，各行業(yè)對虛擬現(xiàn)實(shí)技術(shù)的需求日益旺盛，虛擬現(xiàn)實(shí)技術(shù)也取得了巨大進(jìn)展，并逐步成為一個(gè)新的科學(xué)技術(shù)領(lǐng)域。音樂可視化的發(fā)展伴隨虛擬現(xiàn)實(shí)技術(shù)的加入更具感染力。1969 年，著名物理學(xué)家和教育學(xué)家弗蘭克·奧本海默創(chuàng)建了舊金山探索館（“探夢館”），它是一個(gè)集視覺、聽覺、觸覺等多感官體驗(yàn)的互動(dòng)型科學(xué)館，由一座古建筑物改造而成，為今后的博物館研究提供了寶貴參考。美國密尼索尼亞博物館，每隔一段時(shí)間會(huì)展示不同的主題。

六、音樂可視化研究面臨的挑戰(zhàn)

音樂可視化還處于初期階段，在研究和應(yīng)用領(lǐng)域都面臨許多問題，在對音樂的理解和可視化技術(shù)上都需要進(jìn)一步的研究，才能使音樂可視化更好地發(fā)展。

（一）缺少專業(yè)知識(shí)

從對音樂的研究方面，音樂可視化的研究人員可能對音樂的專業(yè)知識(shí)，如音樂學(xué)、音樂認(rèn)知神經(jīng)科學(xué)、音樂心理學(xué)等，并沒有足夠的認(rèn)知，因此在可視化系統(tǒng)的設(shè)計(jì)與制作中，缺乏專業(yè)知識(shí)的依托而無法準(zhǔn)確捕捉要點(diǎn)。

（二）模式單一

現(xiàn)有的音樂可視化系統(tǒng)分析的內(nèi)容，對簡單的低層的音樂屬性尚能進(jìn)行多維體現(xiàn)，但對于語義、情感等高層屬性則只能研究到一維且是靜態(tài)的地步。

（三）應(yīng)用型可視化系統(tǒng)忽視用戶情感體驗(yàn)

目前很多設(shè)計(jì)出來供人在聽音樂的過程中加入視覺體驗(yàn)的可視化系統(tǒng)，是研究人員通過自身對音樂的了解得到的，不同的人對音樂的理解的深度并不相同。另外，部分研究人員對系統(tǒng)設(shè)計(jì)的完備程度、新鮮程度等的重視程度，超過了刺激使用者內(nèi)在情感潛能的重視程度，此兩點(diǎn)導(dǎo)致部分可視化系統(tǒng)對于使用者來說是毫無意義的，使用者并不能從中感受到音樂的涵義變得具體或深刻。

七、結(jié)語

音樂可視化有別于傳統(tǒng)音樂藝術(shù)，開啟了音樂解讀的新時(shí)期，是對音樂的描述和理解的新方式。國內(nèi)外對音樂可視化的理論研究和系統(tǒng)、工具開發(fā)都有了很多成果，在音樂分析、音樂教學(xué)、游戲娛樂、情感表達(dá)等方面具有應(yīng)用。

目前，對音樂可視化的研究仍舊面臨挑戰(zhàn)，期待隨著科技的發(fā)展和理論應(yīng)用不斷完善，音樂可視化能夠在形式和內(nèi)涵上更加豐富，應(yīng)用更加全面。