郭亦君

[摘 要]

音樂(lè)與影像的結(jié)合被稱(chēng)為音樂(lè)可視化藝術(shù)，是新時(shí)代藝術(shù)發(fā)展下的突出表現(xiàn)。本文將根據(jù)音樂(lè)藝術(shù)與影像藝術(shù)的融合，對(duì)音樂(lè)可視化發(fā)展及用途進(jìn)行探討。

[關(guān)鍵詞]音樂(lè)藝術(shù);影像藝術(shù);音樂(lè)可視化藝術(shù);發(fā)展

[中圖分類(lèi)號(hào)]J605 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)] 1007-2233（2019）08-0165-02

音樂(lè)給予人的感官聯(lián)想是通過(guò)耳朵進(jìn)行的，即明確了音樂(lè)是以聲音作為基礎(chǔ)發(fā)展的藝術(shù)形式，通過(guò)優(yōu)美的旋律給予人聽(tīng)覺(jué)美感，讓社會(huì)生活通過(guò)音樂(lè)藝術(shù)，以更加美好的形式展現(xiàn)出來(lái)。[1]影像給予人感官聯(lián)想是通過(guò)眼睛進(jìn)行的，用我們的眼睛去觀看表演，用耳朵去聆聽(tīng)表演，才能成為完美的藝術(shù)，而音樂(lè)可視化藝術(shù)則是將兩者充分融合，給予人們?nèi)碌穆?tīng)覺(jué)及視覺(jué)感受。

一、音樂(lè)可視化概念

音樂(lè)可視化是信息時(shí)代下，眾多可視化信息的其中之一，可將其看作是音樂(lè)的一種表達(dá)、展現(xiàn)方式。音樂(lè)可視化藝術(shù)的呈現(xiàn)是以視覺(jué)為核心力量，配以音樂(lè)，通過(guò)多種表現(xiàn)方式，滿(mǎn)足人們對(duì)音樂(lè)的更多訴求，是信息時(shí)代中的新型文化傳播方式。音樂(lè)可視化藝術(shù)能夠以音樂(lè)作品表現(xiàn)力結(jié)合外部結(jié)構(gòu)，以智能理解、分析、比較的方式給予大眾最直觀感受的一種技術(shù)。

音樂(lè)可視化是信息時(shí)代的跨領(lǐng)域新藝術(shù)形態(tài)，其中不僅僅是音樂(lè)、影像的簡(jiǎn)單結(jié)合，而是數(shù)字音頻、動(dòng)畫(huà)、圖像處理、虛擬現(xiàn)實(shí)、聲學(xué)、美學(xué)等領(lǐng)域的結(jié)合。音樂(lè)可視化是通過(guò)提取音樂(lè)特征，將其映射至相應(yīng)媒介上，形成可視化效果，再將其進(jìn)行整理，變?yōu)橐曈X(jué)體現(xiàn)。根據(jù)視覺(jué)體現(xiàn)提取進(jìn)行分析后發(fā)現(xiàn)，目前提取音樂(lè)尚在低層特征，Windows Media Player便是目前的可視化音樂(lè)代表，還有Winamp內(nèi)含插件Milkdrop也可以幫助編碼，改變影像內(nèi)的圖像形狀、顏色、位置、尺寸等實(shí)現(xiàn)音樂(lè)可視化。[2]

音樂(lè)可視化過(guò)程中，必須使用的技術(shù)有：音樂(lè)信息提取、影像圖像生成、綜合主觀評(píng)價(jià)。音樂(lè)信息提取技術(shù)主要是識(shí)別并提取音樂(lè)中的高音及節(jié)奏信息;影像圖像生成技術(shù)主要是為了幫助音樂(lè)具象化，讓音樂(lè)表現(xiàn)方式更加直觀;綜合主觀評(píng)價(jià)技術(shù)則是對(duì)以上所有操作的可視化結(jié)果進(jìn)行評(píng)價(jià)，用于幫助音樂(lè)可視化作品更加完整統(tǒng)一，聲樂(lè)藝術(shù)更加和諧。如果制作可視化音樂(lè)錄音和擴(kuò)聲要求較高，則必須結(jié)合作品內(nèi)容、演奏特點(diǎn)、設(shè)備混響等來(lái)確定音樂(lè)立體感，不能僅僅使用人工混響來(lái)完成整個(gè)作品。

二、音樂(lè)可視化分類(lèi)

（一）交互性

對(duì)音樂(lè)可視化進(jìn)行交互性分類(lèi)，可將其分為兩類(lèi)：交互式可視化、非交互式可視化。[3]在計(jì)算機(jī)播放多媒體程序時(shí)，編程人員可直接對(duì)此程序發(fā)出指令，而不是任由程序自行發(fā)展，編程人員必須在程序運(yùn)行過(guò)程中對(duì)下發(fā)指令做出反應(yīng)，實(shí)現(xiàn)交互可視化。

（二）實(shí)時(shí)性

實(shí)時(shí)性可視化是要在規(guī)定時(shí)間內(nèi)對(duì)系統(tǒng)指令進(jìn)行反應(yīng)。實(shí)時(shí)性可視化分為兩類(lèi)：軟實(shí)時(shí)、硬實(shí)時(shí)。兩者之間的差異化在于軟實(shí)時(shí)只能在提供統(tǒng)計(jì)意義時(shí)實(shí)現(xiàn)實(shí)時(shí)性可視化。比如：在應(yīng)用要求系統(tǒng)95%的情況下，可在規(guī)定時(shí)間內(nèi)對(duì)指令進(jìn)行反應(yīng)，并不一定要100%完成。因?yàn)?，有時(shí)只需要完成98%的播放就能滿(mǎn)足用戶(hù)，但是基于發(fā)射衛(wèi)星、控制核反應(yīng)堆應(yīng)用系統(tǒng)100%的要求，就必須利用軟實(shí)時(shí)系統(tǒng)完成音樂(lè)可視化過(guò)程。

（三）維數(shù)

根據(jù)目前影視化發(fā)展方向分析，二維逐漸走向淘汰階段，三維正在慢慢走入市場(chǎng)，給人們提供更加真實(shí)、獨(dú)特的視覺(jué)效果。

（四）體驗(yàn)感

體驗(yàn)感是根據(jù)用戶(hù)沉浸指數(shù)來(lái)分析的，可根據(jù)沉浸度指數(shù)將其分為三種類(lèi)型：完全沉浸式、半沉浸式、非沉浸式。根據(jù)用戶(hù)精神沉浸度，分析用戶(hù)對(duì)音樂(lè)可視化的體驗(yàn)感。

（五）音頻數(shù)據(jù)類(lèi)型

根據(jù)MPEG4音頻數(shù)據(jù)可視化標(biāo)準(zhǔn)，可將其分為兩種：自然音頻、結(jié)構(gòu)性音頻。而自然音頻可分為一般音頻和語(yǔ)音形態(tài)，比如：MP3、其他數(shù)據(jù)壓縮音頻;結(jié)構(gòu)性音頻是由多種不同指令的結(jié)合而形成的，主要是指MIDI，可對(duì)音頻特征進(jìn)行明確提取，十分便捷。[4]

三、音樂(lè)可視化研究進(jìn)展

（一）音樂(lè)特征提取

自然音頻與結(jié)構(gòu)性音頻提取方式、方法皆有不同，自然音頻主要是對(duì)WAV、MP3等格式音頻內(nèi)容進(jìn)行特征提取分析，但為了自然音頻提取更為便捷，需要在提取前，預(yù)先對(duì)原始音頻數(shù)據(jù)進(jìn)行處理，目前已有的處理方式是傅里葉分析變換法、固定窗口變換法，利用以上兩種方法即可對(duì)音頻數(shù)據(jù)特征進(jìn)行提取轉(zhuǎn)換處理。而結(jié)構(gòu)性音頻只須根據(jù)格式規(guī)則轉(zhuǎn)換就可提取音頻數(shù)據(jù)特征，原因是此類(lèi)音頻數(shù)據(jù)皆是由具體指令組合成的控制聲卡發(fā)音，就可以非常容易地找到關(guān)于音頻特征的相關(guān)信息，進(jìn)行提取。

在《波形音樂(lè)文件特征提取方法的研究》中，有對(duì)音樂(lè)特征進(jìn)行分類(lèi)，分別是：基本音樂(lè)特征、復(fù)雜音樂(lè)特征、整體音樂(lè)特征?；疽魳?lè)特征中有音色高低、音階長(zhǎng)短、音浪強(qiáng)弱;復(fù)雜音樂(lè)特征提取需要依靠基礎(chǔ)音樂(lè)特征，然后其中還包含音程、音樂(lè)節(jié)奏、音樂(lè)旋律;整體音樂(lè)特征則須依靠以上兩種音樂(lè)特征作為基礎(chǔ)分析音樂(lè)情感、曲風(fēng)、內(nèi)容等。首先提取一種音符，這樣可幫助后續(xù)音符提取提高準(zhǔn)確率;通過(guò)對(duì)WAV格式提供的音樂(lè)文件進(jìn)行分析，便可獲取音樂(lè)樣本數(shù)據(jù)信息;獲取信號(hào)包絡(luò)線(xiàn)時(shí)，須提前對(duì)信號(hào)進(jìn)行壓縮、去噪、高斯低通濾波處理，提高獲取信號(hào)準(zhǔn)確度;然后即可利用傅立葉轉(zhuǎn)換對(duì)包絡(luò)線(xiàn)信號(hào)峰值進(jìn)行檢驗(yàn)，直接提取出音樂(lè)中所含音符;接下來(lái)利用劃分小節(jié)的設(shè)計(jì)方法直接對(duì)音符音色高低、音階長(zhǎng)短、音浪強(qiáng)弱進(jìn)行特征提取分析;然后根據(jù)劃分小節(jié)在音樂(lè)信號(hào)中展現(xiàn)的樂(lè)理特征進(jìn)行設(shè)計(jì)，以加窗移動(dòng)匹配方式直接提取出小節(jié)線(xiàn);對(duì)小節(jié)線(xiàn)進(jìn)行小節(jié)分析，獲取整個(gè)小節(jié)線(xiàn)的音色高低、音階長(zhǎng)短、音浪強(qiáng)弱平均值及穩(wěn)定性，完成整個(gè)提取自然音頻特征的過(guò)程。[5]

在《波形音樂(lè)文件特征提取方法的研究》中，結(jié)構(gòu)性音頻特征提取則主要以早期的MIDI格式為主，直接從已有音樂(lè)文件內(nèi)獲取音符和小節(jié)，完成對(duì)音頻特征的提取工作，由此可以知道對(duì)音樂(lè)特征的提取研究方向，應(yīng)該主要放在情感特征識(shí)別上。

（二）情感檢測(cè)和情感表達(dá)

音樂(lè)歷來(lái)被稱(chēng)為情感的表達(dá)，聽(tīng)眾可從音樂(lè)中感受美好、傷心、開(kāi)心、歡快等不同的情緒，所以表面情感表現(xiàn)在音樂(lè)中極其重要，甚至于影響音樂(lè)創(chuàng)作人的音樂(lè)創(chuàng)作思路。

在《音樂(lè)情感的特征與識(shí)別》中提到了音樂(lè)情感色彩提取及分析可利用多元分析法，利用多元分析法只須將測(cè)試音樂(lè)表現(xiàn)情感由舒緩到激昂進(jìn)行分類(lèi)即可，然后利用數(shù)字信號(hào)處理技術(shù)，從多個(gè)方向?qū)σ魳?lè)特征進(jìn)行探討，讓計(jì)算機(jī)擁有人類(lèi)的體驗(yàn)感，能夠明確識(shí)別音樂(lè)所含情感類(lèi)型。

中國(guó)音樂(lè)學(xué)院音樂(lè)科技系師生曾對(duì)民族樂(lè)器進(jìn)行聽(tīng)覺(jué)實(shí)驗(yàn)，目的是為了分析民族樂(lè)器屬性，然后對(duì)樂(lè)器表達(dá)情感進(jìn)行準(zhǔn)確的詞語(yǔ)描述，并將每種評(píng)價(jià)對(duì)象規(guī)定在一種范圍內(nèi)進(jìn)行綜合評(píng)價(jià)，然后通過(guò)每個(gè)評(píng)價(jià)人對(duì)評(píng)價(jià)對(duì)象的分類(lèi)建議進(jìn)行綜合統(tǒng)計(jì)，以百分制為標(biāo)準(zhǔn)確定每種評(píng)價(jià)對(duì)象的數(shù)據(jù)結(jié)果，確定評(píng)價(jià)對(duì)象的情感屬性。[6]這次實(shí)驗(yàn)對(duì)于音樂(lè)情感特征識(shí)別極具意義，讓民族樂(lè)器的未來(lái)發(fā)展有了較為準(zhǔn)確的定位。

音樂(lè)由多種不同音符組合而成，每個(gè)音符皆有不同特征，但卻無(wú)法表現(xiàn)出準(zhǔn)確的情感，還是需要單個(gè)音符組合成為音樂(lè)，才能滿(mǎn)足大眾的音樂(lè)需求，進(jìn)行情感的傳達(dá)。組合音符傳達(dá)情感過(guò)程中，還須通過(guò)每個(gè)音符發(fā)音長(zhǎng)短、音階高低、旋律速度、調(diào)試方法等，才能充分展現(xiàn)音樂(lè)情感。

（三）虛擬現(xiàn)實(shí)

信息時(shí)代來(lái)臨，各行業(yè)結(jié)構(gòu)都得以轉(zhuǎn)型，尤其是虛擬技術(shù)讓音樂(lè)行業(yè)更加智能化，在虛擬技術(shù)支持下，音樂(lè)事業(yè)迎來(lái)高峰，讓音樂(lè)可視化藝術(shù)越發(fā)成熟，更具有感染力。虛擬技術(shù)可視化音樂(lè)展現(xiàn)方式是通過(guò)探夢(mèng)館得到的啟發(fā)，探夢(mèng)館是由弗蘭克·奧本海默創(chuàng)建的，原名為舊金山探索館，將一座古建筑建設(shè)為集視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)為一體的多種感官體驗(yàn)，并帶有互動(dòng)模式的科學(xué)探索館。[7]這個(gè)探索館于1969年建成，為后來(lái)的博物館研究及音樂(lè)可視化藝術(shù)帶來(lái)極其重要的研究意義，這個(gè)探索館會(huì)定期更換探險(xiǎn)互動(dòng)主題，主要是音樂(lè)與樂(lè)器的發(fā)展歷程，給美國(guó)音樂(lè)和樂(lè)器的發(fā)展史添上了濃墨重彩的一筆，也讓音樂(lè)可視化形成了初期模型，通過(guò)讓表演者深處虛擬空間的一種方式，在美國(guó)流行開(kāi)來(lái)。虛擬技術(shù)讓音樂(lè)可視化作品擁有極強(qiáng)的感染力，讓身處其中的表演者及聽(tīng)眾更能深入其中，是音樂(lè)可視化發(fā)展中不可缺少的技術(shù)。

四、音樂(lè)可視化的用途

音樂(lè)可視化藝術(shù)可運(yùn)用至多領(lǐng)域，比如：酒吧、演唱會(huì)、音樂(lè)節(jié)、電子音樂(lè)表演等，利用LED屏幕圖像變化與音樂(lè)結(jié)合后呈現(xiàn)出不同場(chǎng)景，強(qiáng)烈的視覺(jué)沖擊讓觀眾身臨其境。[8]比如，跳舞的線(xiàn)，音樂(lè)與游戲結(jié)合既能提高娛樂(lè)性，又能增加游戲的可玩性，讓玩家充分體驗(yàn)音樂(lè)及游戲帶來(lái)的愉悅。比如：在教育中可通過(guò)音樂(lè)可視化輔導(dǎo)有聽(tīng)力障礙的兒童學(xué)習(xí)音樂(lè)，彌補(bǔ)聽(tīng)力障礙兒童的聽(tīng)力缺失，同時(shí)讓聽(tīng)力障礙兒童更好地體驗(yàn)豐富多彩的生活，在音樂(lè)可視化中提升自我表達(dá)能力，釋放自身不良情緒等，還可對(duì)自閉兒童進(jìn)行開(kāi)導(dǎo)等，都是音樂(lè)可視化對(duì)人們生活帶來(lái)的改變。

結(jié) 語(yǔ)

隨著時(shí)代經(jīng)濟(jì)的不斷進(jìn)步發(fā)展，藝術(shù)成為人們追求生活品質(zhì)的一種方式，而音樂(lè)藝術(shù)則是最容易實(shí)現(xiàn)、最具感染力的一種，音樂(lè)可視化藝術(shù)則滿(mǎn)足了人們雙重感官體驗(yàn)，從視覺(jué)及聽(tīng)覺(jué)上提升人們的音樂(lè)融入感，讓音樂(lè)有了多種表達(dá)方式，且能滿(mǎn)足娛樂(lè)、情感體驗(yàn)、教育等多種要求，實(shí)現(xiàn)人們對(duì)音樂(lè)的美好向往。