■孫尚杰
(中國(guó)音樂學(xué)院,北京,100101)
孫尚杰,中國(guó)音樂學(xué)院音樂聲學(xué)專業(yè)碩士研究生,主要研究方向?yàn)橐魳范嗝襟w。
本文為2017年北京市社會(huì)科學(xué)基金項(xiàng)目“北京市西山文化帶特色小鎮(zhèn)聲音景觀設(shè)計(jì)”(項(xiàng)目編號(hào):17YTC028)階段性成果
眾所周知,音樂是一門訴諸聽覺的藝術(shù)。隨著當(dāng)代音、視頻技術(shù)的快速發(fā)展,近年來有越來越多的藝術(shù)家將音樂與圖像、圖形和視頻技術(shù)與藝術(shù)相融合,由此誕生了一類新的藝術(shù)形式,即“音樂視像”(music vision)。2005年重慶出版社出版的《音樂視像——15位當(dāng)代音樂錄影帶導(dǎo)演全接觸》一書將“音樂視像”作為音樂錄影帶的別稱。在筆者看來,這個(gè)詞更加強(qiáng)調(diào)聽覺與視覺在相互交融后的呈現(xiàn)方式,由此與所謂“音樂可視化”(Music visualization)產(chǎn)生了區(qū)別:音樂視像并不包括與音樂可視化系統(tǒng)設(shè)計(jì)相關(guān)的領(lǐng)域。當(dāng)然,音樂視像的概念還是包含在音樂可視化之中的。
音樂可視化是一種以視覺為核心、以音樂為載體、以大眾為對(duì)象,借助多種新媒體技術(shù),通過畫面、影像來詮釋音樂內(nèi)容的、視聽結(jié)合的傳播方式。而這也就是說,當(dāng)今的“音樂視像”已經(jīng)不僅局限于詮釋音樂,更在頗多領(lǐng)域有所拓展。本文將從“音樂視像”發(fā)展環(huán)境的變化及其應(yīng)用領(lǐng)域兩個(gè)角度,簡(jiǎn)要分析近十年來這種藝術(shù)的多元化生長(zhǎng)態(tài)勢(shì),并嘗試通過分析“音樂視像”本身,理解其如何調(diào)動(dòng)人類的多種感官相互融合。
“音樂視像”的崛起離不開視覺工業(yè)的快速發(fā)展。而由于其呈現(xiàn)依舊需要載體,所以也反過來催生了對(duì)硬件與軟件的需求。下面對(duì)此略作整理。
聲音信息提取技術(shù)這具體又分兩類情況。第一,借助計(jì)算機(jī)信息處理能力和編碼識(shí)別能力的提升,通過傅里葉分析、固定窗口等典型的變換方法,可以將自然音頻中的音頻信息提取得更為全面。第二,對(duì)于結(jié)構(gòu)性音頻(比如MIDI),可以通過協(xié)議轉(zhuǎn)換,直接獲取其相關(guān)聲音信號(hào)。
全景技術(shù)的廣泛應(yīng)用本文所提到的全景技術(shù),主要聚焦在音頻和視頻兩個(gè)方面。在音頻上,環(huán)繞全景聲系統(tǒng)在近來十年內(nèi)快速發(fā)展,且廣泛應(yīng)用在多個(gè)使用場(chǎng)景——從大型劇院到電影院,從家庭影院到手持移動(dòng)便攜設(shè)備。這使得音樂視像在聲音方面的體驗(yàn)水平有了顯著的提升,為“聲臨其境”打下了基礎(chǔ)。而在視頻上,隨著全景影像技術(shù)逐步投入影視創(chuàng)作,使得拍攝視角得以延伸,為沉浸式的音樂視像打下了視頻方面的基礎(chǔ)。
三項(xiàng)關(guān)于“現(xiàn)實(shí)”的技術(shù)這是指虛擬現(xiàn)實(shí)技術(shù)(virtual reality)、增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality)和混合現(xiàn)實(shí)技術(shù)(Mixed Reality)。其中,虛擬現(xiàn)實(shí)技術(shù)也簡(jiǎn)稱為虛擬技術(shù),又稱虛擬環(huán)境,是利用計(jì)算機(jī)模擬產(chǎn)生一個(gè)三維的虛擬世界,為用戶提供視覺等感官的模擬,使之仿佛身臨其境,幾乎即時(shí)、無限制地觀察三維空間內(nèi)的事物。出于人們對(duì)影像沉浸化的需求,虛擬現(xiàn)實(shí)技術(shù)迅速發(fā)展,改變了單一視角加切換模式的影像呈現(xiàn)方法,再配合全景聲技術(shù),給人們帶來了視聽體驗(yàn)的一次飛躍。從簡(jiǎn)單的三維音樂可視化,到目前暫為極致的、以假亂真的全息投影,這樣的體驗(yàn)已在逐步進(jìn)入普通大眾的生活。
增強(qiáng)現(xiàn)實(shí)技術(shù)指對(duì)攝影機(jī)視頻中場(chǎng)景的位置及角度進(jìn)行精算,加以圖像分析技術(shù),讓顯示屏上的虛擬世界能與現(xiàn)實(shí)世界場(chǎng)景結(jié)合起來并能展開交互的技術(shù)。與虛擬現(xiàn)實(shí)技術(shù)創(chuàng)造獨(dú)立的沉浸環(huán)境不同,增強(qiáng)現(xiàn)實(shí)技術(shù)基于已有場(chǎng)景,利用技術(shù)手段來提升交互體驗(yàn),將聲音、可視化操作、視覺畫面融為一體。在原有音樂視像的基礎(chǔ)上,它將沉浸式虛擬藝術(shù)與真正的表演藝術(shù)緊密結(jié)合,給觀者帶來的是比虛擬現(xiàn)實(shí)技術(shù)更有“日常感”的視聽結(jié)合體驗(yàn)。
混合現(xiàn)實(shí)技術(shù)的意思是結(jié)合真實(shí)和虛擬世界,創(chuàng)造了新的環(huán)境和可視化效果,讓物理實(shí)體和數(shù)字對(duì)象共存并能實(shí)時(shí)相互作用,以用來模擬真實(shí)物體。虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)能提供帶有各自特點(diǎn)的沉浸感受,但在未來人們很可能追求更深層次的沉浸交互體驗(yàn),需要我們將前二者與光學(xué)追蹤、動(dòng)作捕捉等技術(shù)進(jìn)行緊密結(jié)合,利用各種新的手段,將視聽聯(lián)覺發(fā)展為通過全身的感官進(jìn)一步使用兩種現(xiàn)實(shí)技術(shù)進(jìn)行互動(dòng)體驗(yàn),從而繼續(xù)接近真正的“虛實(shí)結(jié)合”。
以上三種技術(shù)的發(fā)展,為音樂視像在二維、三維空間的體驗(yàn)方式打下了堅(jiān)實(shí)的基礎(chǔ),使得音樂視像能在沉浸式、半沉浸式、非沉浸式之間自由選擇。在音樂欣賞中,人類希望沉浸在音樂的世界里,并希望“看見”那些音樂中的各類元素,從而開始借助三種關(guān)于“現(xiàn)實(shí)”的技術(shù),為音樂視像提供多種體驗(yàn)?zāi)J?,令更多的?yōu)秀音樂作品從此具備了全方位的沉浸感。
音樂視像的應(yīng)用領(lǐng)域很多,但鑒于其最容易引起公眾注目的應(yīng)用領(lǐng)域目前還是與演出有關(guān),所以這里將其分為傾向于“創(chuàng)作呈現(xiàn)方式”的和傾向于“提取與使用數(shù)據(jù)”的。當(dāng)然,這種分法的出現(xiàn),也與近十年來計(jì)算機(jī)的運(yùn)算能力,以及其圖形、編碼技術(shù)的不斷更新?lián)Q代有關(guān),可以說第一種是以多種途徑在音樂中輔以人造的數(shù)字化影像,第二種則是依賴信息提取技術(shù)的發(fā)展,通過生成的“音樂視像”進(jìn)行反向分析和整理應(yīng)用。
這類應(yīng)用具體來說又分為三種情況:最基本的視像播放、基礎(chǔ)演出視像應(yīng)用,以及實(shí)時(shí)沉浸交互應(yīng)用。其中,最為簡(jiǎn)單、直觀的音樂播放視像源于音樂播放器的單一可視化效果(如Windows 媒體播放器中自帶的可視化效果),其目的顯然不在于交互,而僅在于提升播放界面的美觀度。在目前的音樂可視化發(fā)展過程中,該呈現(xiàn)方式主要是通過對(duì)一些底層的音樂信息(如律動(dòng))施加捕捉算法來實(shí)現(xiàn)的,在此不贅。下面重點(diǎn)來看基礎(chǔ)演出視像應(yīng)用和實(shí)時(shí)沉浸交互應(yīng)用。
基礎(chǔ)演出視像應(yīng)用此方式主要是對(duì)聲音的物理特性進(jìn)行提取,將由聲波帶動(dòng)產(chǎn)生的物理現(xiàn)象作為音樂表演的輔助手段,目的是將聲音形象化。這一視像應(yīng)用主要圍繞“音流學(xué)”(Cymatics)一詞展開。該領(lǐng)域在漫長(zhǎng)的科學(xué)探究過程和大量的音樂表演中不斷進(jìn)化,常見的呈現(xiàn)方式基于以下幾類。
第一,克拉尼圖形。該現(xiàn)象由德國(guó)物理學(xué)家克拉尼(Ernst Chladni)最早發(fā)現(xiàn),其基礎(chǔ)實(shí)現(xiàn)方式是將硬質(zhì)粉末(細(xì)沙、米粒等)撒在薄板上,令薄板振動(dòng),粉末就會(huì)排出各種圖案,并隨著振動(dòng)頻率而改變。此類呈現(xiàn)方式在當(dāng)今演出中已逐漸脫離實(shí)物展示,而是基于精準(zhǔn)的聲波捕捉和高效的圖形運(yùn)算制作出來的,圖1是幾個(gè)例子。
圖1 由聲波捕捉和電腦運(yùn)算合成的克拉尼圖案
而近幾年以來,隨著LED 屏幕在演出中的廣泛應(yīng)用,克拉尼圖形也經(jīng)過編輯,更加貼合演出音樂或情景的需要,如圖2所示。
圖2 現(xiàn)場(chǎng)演出中經(jīng)過合成編輯的克拉尼圖形[源自《Pechou(*LLND)Live VJ New Year Eve 2017-2018》視頻截圖]
第二,魯本管(Ruben's Tube)。它由德國(guó)物理學(xué)家魯本(Heinrich Rubens)于1905 年發(fā)明,以圖形方式顯示聲波與聲壓之間的關(guān)系:在金屬管內(nèi)充滿可燃?xì)怏w,與揚(yáng)聲器連接,不同的音頻會(huì)形成不同的壓力波,進(jìn)一步再通過壓力波作用來影響火焰的高低,如圖3 所示。當(dāng)今,魯本管也偶爾會(huì)在音樂演出中出現(xiàn),作用以烘托舞臺(tái)氣氛為主。
圖3 現(xiàn)場(chǎng)演奏中的魯本管(源自LG公司廣告《Cymatic Jazz》視頻截圖)
第三,鐵磁流體激發(fā)。這與克拉尼圖形有一定相似之處,但是因?yàn)槟苄纬闪Ⅲw化的“針刺反應(yīng)”,就為三維的音樂視像提供了新的呈現(xiàn)方式。而且,這種手法能通過記錄磁場(chǎng)關(guān)閉后的漣漪效果,詮釋不同的聲音狀態(tài),如圖4所示。
圖4 鐵磁流體被激發(fā)狀態(tài)(源自Nigel Stanford作品《Cymatics》視頻截圖)
以上呈現(xiàn)方式的局限在于,它們主要出現(xiàn)在現(xiàn)場(chǎng)演出與視頻制作中,以表演者為主導(dǎo),互動(dòng)性還是較為缺乏的。
實(shí)時(shí)沉浸交互視像應(yīng)用此類應(yīng)用需要前面提到的虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)技術(shù),將音樂視像作品中的視覺表達(dá)部分用幻影成像技術(shù)進(jìn)行制作,再將三維建模生成的虛擬影像投射到空中,形成獨(dú)立的演出區(qū)域,帶給觀眾很深的沉浸體驗(yàn)。同時(shí),還要利用增強(qiáng)現(xiàn)實(shí)技術(shù),將投射的虛擬影像與現(xiàn)實(shí)的演出場(chǎng)景進(jìn)行無縫銜接,創(chuàng)造一個(gè)基于現(xiàn)實(shí)而又超越現(xiàn)實(shí)的時(shí)空,充分增強(qiáng)觀眾的交互體驗(yàn)。比如“初音未來”作為日本創(chuàng)造出的虛擬音樂偶像,既有動(dòng)漫形象,又有獨(dú)特的合成嗓音,由此在開辦其“演唱會(huì)”時(shí),就可以將其進(jìn)行三維建模成像并投射,如圖5所示。
圖5“初音未來”虛擬影像演唱會(huì)
這方面的應(yīng)用對(duì)各類社會(huì)場(chǎng)景的涉及似乎更為廣泛,主要包括以下幾個(gè)方面。
音樂教育領(lǐng)域在該領(lǐng)域中,音樂視像的應(yīng)用主要可分為兩個(gè)層次。其中,第一層次針對(duì)的是受眾更為廣泛的普及教育。我們知道,對(duì)普通大眾而言,欣賞古典音樂的一個(gè)主要障礙便是缺乏系統(tǒng)化的音樂聽賞訓(xùn)練,從而在理解音樂的結(jié)構(gòu)和思想方面有困難。而通過音樂視像對(duì)古典音樂作品進(jìn)行逐層提取,將多元素、多聲部的音樂進(jìn)行逐一的視像呈現(xiàn),可利用視聽聯(lián)覺幫聽眾更好地建立起對(duì)音符與音樂聯(lián)系的認(rèn)知。
第二層次的應(yīng)用則是針對(duì)更為專業(yè)化的音樂教學(xué)。在相對(duì)更高端的音樂演奏活動(dòng)中,許多音樂專業(yè)的學(xué)生甚至一些音樂家都難以在動(dòng)態(tài)表達(dá)上達(dá)到理想水平。這是由于對(duì)音樂動(dòng)態(tài)的表達(dá)是主觀的,在教學(xué)和排練溝通中往往花費(fèi)很多時(shí)間也達(dá)不到預(yù)期效果。如果通過計(jì)算機(jī)輔助生成已有演奏版本的動(dòng)態(tài)圖像,與需要評(píng)估的演奏進(jìn)行實(shí)時(shí)對(duì)比,那么這種可視化的教學(xué)方式當(dāng)有利于學(xué)習(xí)和排練,輔助我們?cè)谝魳方逃^程中對(duì)音樂動(dòng)態(tài)進(jìn)行掌控。這種呈現(xiàn)方式以2016 年在瑞士成立的一個(gè)項(xiàng)目“音樂之眼”(Music:Eyes)為突出代表(如圖6),這個(gè)非營(yíng)利性組織致力于利用流動(dòng)的音符節(jié)奏動(dòng)畫對(duì)音樂教學(xué)施以輔助。具體來說,它通過以下三種方式進(jìn)行。
圖6“音樂之眼”項(xiàng)目負(fù)責(zé)人展示將樂譜中的音符轉(zhuǎn)化為色彩動(dòng)畫(源自“音樂之眼”《See.Heal.Feel》視頻截圖)
第一,通過制作流動(dòng)的音符節(jié)奏動(dòng)畫,在各種視頻平臺(tái)傳播,以新的形式進(jìn)行音樂普及。第二,基礎(chǔ)教學(xué)——讓復(fù)雜的音樂片段通過流動(dòng)的音符節(jié)奏動(dòng)畫變得更清晰,更便于學(xué)生去理解。由于“音樂之眼”在流動(dòng)動(dòng)畫中采用顏色、形狀分層的展現(xiàn)方式,在制造視覺刺激的同時(shí),也在一定程度上激發(fā)了學(xué)生對(duì)音樂中的創(chuàng)意的探索。第三,延伸教學(xué)——“音樂之眼”制作音符節(jié)奏動(dòng)畫并非停留在對(duì)樂曲的分層次解析上,此過程也是可逆的,即“音樂之眼”的互動(dòng)學(xué)習(xí)平臺(tái)可以將音樂體驗(yàn)轉(zhuǎn)化為視覺創(chuàng)作,讓學(xué)生可以創(chuàng)建自己的動(dòng)畫,使得每個(gè)動(dòng)畫都具有個(gè)人理解的成分,而且此過程還可以多人合作完成。
圖7“音樂之眼”互動(dòng)學(xué)習(xí)平臺(tái)的多人合作展示(源自“音樂之眼”主頁(yè))
音樂治療利用已有的色彩、圖案心理學(xué)的研究成果,可以將音樂元素錄制為有目的的數(shù)據(jù),并轉(zhuǎn)化為對(duì)應(yīng)的音樂視像。這一思路可以在音樂治療中形成兩類利用方式。
第一是心理疾病的輔助治療。在目前的音樂治療中,以功能音樂為主的治療方法已較為成熟,但其所激發(fā)的感官刺激相對(duì)單一,而心理疾病的來源通常并非單一感官的刺激。由此,可視化音樂治療便是題中應(yīng)有之義。播放音樂,對(duì)應(yīng)改變環(huán)境燈光,以及生成對(duì)應(yīng)的治療用可視化圖像,能使患者的感官得到多通道刺激,有助于治療部分心理疾病。
第二是為聽力障礙人士進(jìn)行聯(lián)覺感官訓(xùn)練。聆聽音樂雖然對(duì)普通大眾來說十分簡(jiǎn)單,但對(duì)聽覺障礙人士就是一件難事。利用音樂視像,將值得聆聽的樂曲做成對(duì)應(yīng)的視覺作品,并輔以其他感官渠道的刺激,可以彌補(bǔ)他們聽覺上的不足,幫助他們參與音樂聽賞活動(dòng)。上文提到的“音樂之眼”項(xiàng)目便可以為聽覺障礙人士提供聆聽音樂的新方式,從而鍛煉他們的感官聯(lián)覺。
音樂特征分析音樂不僅是聆聽的藝術(shù),也是音符的藝術(shù)。音符所排列出來的譜面便是最直接的音樂視像,它包含了大量的音樂特征。有經(jīng)驗(yàn)的音樂家出于多年的音樂訓(xùn)練,在查看樂譜時(shí)便能“看到”其中包含的聲音,并能通過演奏將其轉(zhuǎn)化為音樂。但是,這種最直接的音樂視像并不適合應(yīng)用到普通大眾身上,而應(yīng)采用更為簡(jiǎn)單、專一的可視化元素對(duì)其進(jìn)行分析呈現(xiàn)?;诂F(xiàn)有的音樂信息提取技術(shù),可以將多種音樂元素進(jìn)行分離,這給音樂特征分析提供了更為直接的結(jié)果。利用音樂視像對(duì)音樂進(jìn)行特征分析也可以大致分為兩類情況:一是特定音樂作品的可視化分析,二是作品之間的可視化對(duì)比分析。筆者認(rèn)為,可視化手段在給作品之間進(jìn)行對(duì)比分析時(shí)更為直觀,可以讓人在短時(shí)間內(nèi)更為有效地理解大量曲調(diào)之間的相似性,或是不同藝術(shù)家的個(gè)體特征差異。在音樂特征中,調(diào)式的改變與和弦進(jìn)行的變化,在每部樂曲中都存在共性和差異。
美國(guó)學(xué)者馬爾迪洛西安(Arpi Mardirossian)和周依蓮(Elaine Chew)通過生成一段音樂中和弦進(jìn)展和音調(diào)分布的二維圖,并通過時(shí)間和調(diào)性序列上的層疊對(duì)比,創(chuàng)造出一種新的音樂可視化工具。①Arpi Mardirossian,Elaine Chew,Visualizing Music:Tonal Progressions and Distributions,ISMIR(International Society for Music Information Retrieval Conference),2007.兩人用該工具分析了貝多芬的《c 小調(diào)鋼琴32 變奏曲》(WoO 80),并識(shí)別出樂句中8個(gè)變調(diào)主題的離散關(guān)系,從而體現(xiàn)了作品由c小調(diào)開始,在樂段中先后呈現(xiàn)F 大調(diào)、c 小調(diào)、C 大調(diào)、c小調(diào)、f 小調(diào),最終又回歸c 小調(diào)的過程。在該工具中,西方古典音樂回歸主調(diào)的特點(diǎn)得以充分展現(xiàn)。
兩人還將兩首亞美尼亞傳統(tǒng)音樂用此工具進(jìn)行分析,得到兩個(gè)序列對(duì)應(yīng)圖(如圖9)??梢钥闯觯簛喢滥醽唫鹘y(tǒng)音樂大多是從一個(gè)調(diào)開始,并持續(xù)一定的長(zhǎng)度,然后轉(zhuǎn)到相鄰的或同主音的大小調(diào),最終調(diào)式不會(huì)回歸開始的主調(diào)。由此,便可以在視覺上區(qū)分西方古典音樂與亞美尼亞傳統(tǒng)音樂的轉(zhuǎn)調(diào)方式。
圖8 貝多芬c小調(diào)鋼琴變奏時(shí)間與音調(diào)序列對(duì)
圖9 兩首亞美尼亞傳統(tǒng)作品調(diào)性時(shí)間序列
音樂資料特征分類在CD 音頻時(shí)代,人們的音樂欣賞通常是以播放專輯的方式進(jìn)行的。由于CD 唱片有著直觀的專輯封面,因此就逐步建立了“唱片—專輯封面”的某種“通感”。(當(dāng)然,黑膠唱片和卡式磁帶也有類似的效果。)不過,這種具有“視覺體驗(yàn)”的音頻產(chǎn)品從音樂視像的角度來說還是比較初級(jí)的,不能完成大量音樂信息的管理。
隨著智能便攜設(shè)備的發(fā)展,流媒體音樂逐漸取代了CD 音樂,音樂信息也逐漸有了細(xì)致的分類屬性。因?yàn)樵缙诘男畔⑻崛∫猿奈谋拘畔橹鳎砸魳焚Y料的管理也趨于文本檢索,并形成了當(dāng)今的音樂數(shù)據(jù)庫(kù)。
而在相對(duì)成熟的地理信息技術(shù)的支持下,音樂資料在特征分類上能進(jìn)一步結(jié)合可視化。①Stefan Leitich,Martin Topf,Globe of Music:Music Library Visualization Using GEOSOM,ISMIR,2007.當(dāng)前,許多人已經(jīng)習(xí)慣在移動(dòng)設(shè)備上使用地理信息系統(tǒng)(GIS)(國(guó)內(nèi)如高德地圖、百度地圖),通過旋轉(zhuǎn)、傾斜和縮放來進(jìn)行地圖信息的檢索。將這種可視化交互帶入音樂資料的查找與篩選,并結(jié)合音頻信號(hào)的特征提取分析,就可以為用戶提供更多的可能性,如圖10所示。
圖10 利用地理信息建立可視化分類
以單個(gè)地區(qū)為例,日本的研究者上原美咲(Misa Uehara)和伊藤貴之(Takayuki Itoh)應(yīng)用雙散點(diǎn)圖的可視化方式,對(duì)20 位日本流行音樂作曲家的作品的和弦進(jìn)行、調(diào)式、元信息以及聲學(xué)特征做了提取,在一個(gè)散點(diǎn)圖中記錄聲學(xué)特征與調(diào)式的關(guān)系,在另一個(gè)散點(diǎn)圖中記錄和弦進(jìn)行與元信息的對(duì)應(yīng)關(guān)系,②Misa Uehara,Takayuki Itoh,Pop Music Visualization Based on Acoustic Features and Chord Progression Patterns Applying Dual Scatterplots,open-access article distributed under the terms of the Creative Commons Attribution 3.0 Unported License,2015.如圖11所示。
由雙散點(diǎn)圖可以較為清晰地分析出樣本中的20 位音樂家在曲調(diào)上的相似性,看出藝術(shù)家之間的個(gè)體特征關(guān)系對(duì)比。大量數(shù)據(jù)所構(gòu)成的散點(diǎn)圖可以呈現(xiàn)日本流行音樂作品中典型的和弦進(jìn)行模式,并記錄在作品中使用了哪些和弦進(jìn)行。在筆者看來,這類應(yīng)用不僅總結(jié)了相應(yīng)地區(qū)的音樂特征,使其在全球音樂特征分類中更加清晰明了、更加具有代表性,還對(duì)于上述信息的提取、呈現(xiàn)與分析大有幫助,同時(shí)也有助于發(fā)掘聽眾的偏好,對(duì)音樂推薦技術(shù)可以起到一定的推動(dòng)作用。
圖11 日本流行音樂作品特征提取形成的散點(diǎn)圖示例
通過對(duì)音樂視像的軟硬件環(huán)境進(jìn)行介紹和分析,不難看出,音樂視像的多元化發(fā)展離不開周邊技術(shù)的支持。從多元的信息提取手段,到音視頻全景技術(shù)的普及化發(fā)展,再到以假亂真的沉浸式現(xiàn)實(shí)技術(shù)門類的跨越式發(fā)展,音樂視像在呈現(xiàn)手法上漸趨成熟。而具備這樣特點(diǎn)的音樂視像,也在音樂教育、音樂治療、音樂特征分析和音樂資料特征分類等領(lǐng)域展現(xiàn)了其獨(dú)特作用。音樂視像通過刺激聽覺和視覺,以“視聽通感”提升了聽眾的藝術(shù)感悟能力,并能反作用于音樂中的多個(gè)領(lǐng)域,以視像片段幫助創(chuàng)作和理解音樂。在此影響下,輔以科學(xué)的手段,視覺和聽覺今后應(yīng)該會(huì)結(jié)合得越發(fā)緊密,并存在巨大的發(fā)展空間。通過音樂視像,調(diào)動(dòng)多種感官相互融合,使其聽覺中復(fù)雜的心理與精神信息逐漸以具象展現(xiàn),也可以觸發(fā)更深層次的情感共鳴。