孔 娟

（河南理工大學(xué)音樂(lè)學(xué)院，河南 焦作 454000）

基于多音頻特征提取的音樂(lè)可視化方法研究*

孔 娟

（河南理工大學(xué)音樂(lè)學(xué)院，河南 焦作 454000）

音樂(lè)作為人們情感表達(dá)的一種獨(dú)特藝術(shù)形式，注重的是對(duì)音樂(lè)聽(tīng)眾靈魂上的一種渲染、虛擬現(xiàn)實(shí)世界的一種再體驗(yàn)，這種體驗(yàn)是全方位的，而不僅僅只局限于聽(tīng)覺(jué)。傳統(tǒng)意義上的聽(tīng)音樂(lè)已經(jīng)無(wú)法滿(mǎn)足人們對(duì)色彩斑斕世界的追求。在當(dāng)前高速發(fā)展下的互聯(lián)網(wǎng)信息時(shí)代，計(jì)算機(jī)技術(shù)蓬勃發(fā)展，音樂(lè)可視化日益得到了學(xué)界的研究以及市場(chǎng)的關(guān)注，繼而催生了一系列的可視化應(yīng)用技術(shù)。換言之，聽(tīng)音樂(lè)是一種很自然的事情，但是我們應(yīng)當(dāng)清楚的認(rèn)識(shí)到，人們喜愛(ài)音樂(lè)，源之于音樂(lè)的藝術(shù)性、意境性，在這種情形下，視覺(jué)上帶來(lái)的沖擊往往與單純的聽(tīng)覺(jué)刺激更為強(qiáng)烈，聽(tīng)眾對(duì)音樂(lè)與生活的感觸也更加深刻。

多音頻；音樂(lè)可視化；頻譜

一、基本概念界定

（一）音樂(lè)可視化

可視化是指利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形或者圖像，并將其顯示在人肉眼可以觀測(cè)到的屏幕上，以此來(lái)實(shí)現(xiàn)進(jìn)行交互處理的方法、技術(shù)。本課題研究，重點(diǎn)介紹的音樂(lè)可視化，則是專(zhuān)指一種以視覺(jué)為核心的傳播媒介，將音樂(lè)作為傳播載體，借助于計(jì)算機(jī)信息與多媒體技術(shù)，以大眾訴求為對(duì)象，通過(guò)畫(huà)面、影像來(lái)詮釋音樂(lè)內(nèi)容，最終達(dá)到視聽(tīng)結(jié)合的大眾化傳播。如此一來(lái)，可以為廣大的音樂(lè)愛(ài)好者、聽(tīng)眾提供更加直觀的視覺(jué)呈現(xiàn)。

（二）音頻特征提取

音樂(lè)之所以受到人們的青睞，源于它擁有豐富多樣的特征，而這些特征來(lái)源于生活，大多都是普通群眾生活工作中常接觸到的，能夠了解的一些要素，比如，響度、音高、旋律、音色等。除此之外，還有一些是需要經(jīng)過(guò)研究才能了解到的，比如，短時(shí)能量、短時(shí)過(guò)零率、語(yǔ)譜圖、帶寬等。在日常生活中，人們?cè)谛蕾p音樂(lè)的時(shí)候，一般有兩種音頻類(lèi)型，第一種屬于自然音頻，例如MP3格式和wav格式；另外一種屬于結(jié)構(gòu)化音頻，也可以稱(chēng)其為模塊化音頻，例如MIDI格式。關(guān)于自然音頻特征提取，一般都是使用傅里葉變換、加窗、分幀來(lái)進(jìn)行預(yù)處理；結(jié)構(gòu)化音頻特征的提取，對(duì)于相關(guān)要求比較高，必須了解、分析出音頻特征的規(guī)則和屬性，并對(duì)其進(jìn)行翻譯，最終方能得出相對(duì)應(yīng)的特征量。

二、基于多音頻特征提取的音樂(lè)可視化方法探究

在探索與研究音樂(lè)可視化方法及相關(guān)應(yīng)用技術(shù)之前，我們必須搞清楚虛擬現(xiàn)實(shí)與音樂(lè)可視化的關(guān)系。首先可以給音樂(lè)可視化一個(gè)形象的定義，可以表述為“從音樂(lè)到圖形”，換言之，音樂(lè)可視化，就是借助于某種傳播媒介或者系統(tǒng)平臺(tái)，將音樂(lè)信息視覺(jué)化。從純技術(shù)的視角來(lái)看，音樂(lè)可視化也屬于虛擬現(xiàn)實(shí)技術(shù)的研究范疇。在人們需求越來(lái)越高的信息化時(shí)代，以往單純的平面與立體圖形已經(jīng)無(wú)法滿(mǎn)足人們的需求，以此也就催生了虛擬現(xiàn)實(shí)應(yīng)用技術(shù)，比如大家比較熟悉的一些領(lǐng)域，技能培訓(xùn)、休閑娛樂(lè)、建筑設(shè)計(jì)、動(dòng)畫(huà)模擬等?？傊?，只要有立體圖形的地方，就可以應(yīng)用虛擬現(xiàn)實(shí)技術(shù)。那么可想而知，音樂(lè)可視化的本質(zhì)，就是從聲音到圖形，所以自然離不開(kāi)虛擬現(xiàn)實(shí)技術(shù)。

在多音頻特征提取層面，需要收集音樂(lè)的數(shù)字信號(hào)，加以整理分析處理。所提取的特征大多數(shù)是普通音樂(lè)聽(tīng)眾不怎么了解的一些“事物”，這也是音樂(lè)專(zhuān)業(yè)領(lǐng)域的人群與普通聽(tīng)眾的水平所在，而音樂(lè)可視化的目的正是要將這種“差距”縮小化，讓聽(tīng)眾更為全面的了解、體驗(yàn)音樂(lè)的刺激與魅力。在特征提取上，有短時(shí)平均過(guò)零率、短時(shí)平均能量、短時(shí)自相關(guān)函數(shù)、語(yǔ)譜圖、譜質(zhì)心、頻域帶寬等。對(duì)于這些無(wú)法從音頻信號(hào)中直接讀取的數(shù)字信號(hào)，需要預(yù)處理。整個(gè)過(guò)程為“分幀-預(yù)加重-加窗-靜音幀判別（是/拋棄，否/提取）-結(jié)束”。預(yù)處理環(huán)節(jié)是第一個(gè)環(huán)節(jié)，它是音頻分析的第一步，比較重要。

實(shí)際上，在可視化的過(guò)程中，自然音頻特征的提取一般都比較困難，并且數(shù)據(jù)也不夠準(zhǔn)確。因此，多音軌MIDI旋律特征的提取成為了首選。在可視化方法流程的構(gòu)建中，第一步，建立MIDI文本文檔，即一個(gè)文件頭塊/多個(gè)音軌塊，第二步，音樂(lè)頭和MIDI事件，音樂(lè)頭涵蓋了塊標(biāo)識(shí)和快長(zhǎng)，而MIDI事件包含了通道信息與系統(tǒng)信息。

在音頻特征提取環(huán)節(jié)，首先是主副音軌特征的提取，挖掘、找尋出特殊的音頻特征，以便更精準(zhǔn)的將輔音軌和主音軌區(qū)分開(kāi)來(lái)。在這里可供利用的幾個(gè)特征有，音高、音長(zhǎng)、力度、響度、聲道的平衡度，當(dāng)然，可以提取分析音程比（音程是指相鄰兩音間的高度差，而音程比是指音軌中0-6度音程所占的比重）。其次是MIDI主旋律的提取，可供選擇的方法有三種，我們可以選用最為直接的一種，即將MIDI文件在音軌信息描述部分相關(guān)說(shuō)明的信息挖掘出來(lái)，之后再利用這些信息去除掉其中的干擾音軌。

三、結(jié)語(yǔ)

本文基于多音頻特征體育的音樂(lè)可視化方法的探討與研究，結(jié)合著當(dāng)前國(guó)內(nèi)在該領(lǐng)域的研究發(fā)展現(xiàn)狀，以及個(gè)人的一些認(rèn)識(shí)，簡(jiǎn)單表述了一些看法和觀點(diǎn)。本課題研究，提出了問(wèn)題的關(guān)鍵，即音樂(lè)可視化亟待解決的問(wèn)題，也就是音樂(lè)特征的提取問(wèn)題。有頻率、振幅、音色、音調(diào)、音長(zhǎng)、音高、旋律、節(jié)拍，以及新發(fā)現(xiàn)的一些特征，有能量、過(guò)零率、頻譜流、帶寬、噪音幀率等。傳統(tǒng)的音樂(lè)特征提取技術(shù)，如果單純對(duì)每種特征一一提取，費(fèi)時(shí)費(fèi)力，并且效果不佳，不夠現(xiàn)實(shí)。隨著計(jì)算機(jī)信息技術(shù)、媒體技術(shù)的研發(fā)與進(jìn)步，音樂(lè)可視化成為了一種可能，并且被廣泛應(yīng)用。

[1] 孫博文,張艷鵬,趙振國(guó),等.基于多音軌MIDI主旋律提取的音樂(lè)可視化表達(dá)[J].軟件,2012,33(3):64-66.

[2] 張屹南.音樂(lè)可視化設(shè)計(jì)中的多通道映射模式研究[J].設(shè)計(jì)藝術(shù)研究,2014,04:58-63.

[3] 齊蕊源.數(shù)字音樂(lè)可視化在交互中的體驗(yàn)與應(yīng)用[J].大眾文藝:學(xué)術(shù)版,2014,18:159-160.

河南省教育廳人文社會(huì)科學(xué)青年基金項(xiàng)目研究成果（2015-QN-451）