王 樂，陳科明，綦 航，江 倩

(杭州電子科技大學(xué)電子信息學(xué)院，浙江 杭州 310018)

無線智能LED系統(tǒng)中的音樂特效設(shè)計(jì)

王 樂，陳科明，綦 航，江 倩

(杭州電子科技大學(xué)電子信息學(xué)院，浙江 杭州 310018)

為了使燈光系統(tǒng)達(dá)到視覺和聽覺相協(xié)調(diào)的良好律動(dòng)感，設(shè)計(jì)了無線智能的LED系統(tǒng).首先對音頻特征進(jìn)行預(yù)提取，建立聲音、音調(diào)與顏色HSV匹配模型，并根據(jù)無線控制的響應(yīng)延時(shí)動(dòng)態(tài)地調(diào)整指令發(fā)送時(shí)間，實(shí)現(xiàn)了音樂和燈光的同步變化.在某公司的智能照明系統(tǒng)的實(shí)際應(yīng)用中，取得了良好的效果，初步實(shí)現(xiàn)產(chǎn)業(yè)化.

特征分析；聲光匹配；響應(yīng)同步；節(jié)奏跟隨

0 引 言

LED的音樂特效越來越受大眾喜愛.但是由于其制作成本高，所以，目前主要用于大型演出場景.低成本、簡單易用的家用音樂特效LED系統(tǒng)能使大眾感受到技術(shù)創(chuàng)新帶來的樂趣，具有廣闊的市場前景.近年來，音樂的聽覺和視覺結(jié)合的應(yīng)用越來越廣泛，LED的音樂特效是音樂可視化中的典型應(yīng)用，諸如智能家居和智能情景照明等領(lǐng)域都有了廣泛應(yīng)用.隨著物聯(lián)網(wǎng)時(shí)代的到來，智能照明已經(jīng)實(shí)現(xiàn)了控制端與照明設(shè)備分離和無線控制[1].當(dāng)前無線彩燈解決方案主要是在播放音樂時(shí)捕獲音頻輸出，對輸出聲音波形進(jìn)行采樣并實(shí)時(shí)處理獲取能量和頻率參數(shù)，然后定時(shí)控制彩燈顏色.現(xiàn)有音樂特效方案在音樂和燈光色彩的匹配處理上缺乏協(xié)調(diào)性，缺乏對音樂旋律的表現(xiàn)力.本文針對文獻(xiàn)[2]中提到的目前彩燈音樂控制器中彩燈顏色與音樂節(jié)奏和旋律的視聽協(xié)調(diào)度不夠的問題，提出了對音頻特征進(jìn)行預(yù)提取，建立了音強(qiáng)、音調(diào)與顏色HSV匹配模型，結(jié)合音樂節(jié)奏特征分析，達(dá)到了燈光色彩隨音樂旋律而變化的效果，并根據(jù)無線控制的響應(yīng)延時(shí)動(dòng)態(tài)調(diào)整指令的發(fā)送時(shí)間，實(shí)現(xiàn)了音樂和燈光的同步變化.

1 音樂聲學(xué)特征與彩燈顏色的關(guān)聯(lián)設(shè)計(jì)

1.1 音樂聲學(xué)特征和色彩轉(zhuǎn)換關(guān)系

音樂基本特性與彩燈顏色之間的映射關(guān)系如圖1所示.

圖1 音樂基本聲學(xué)特征與彩燈顏色值的映射示意圖

實(shí)現(xiàn)音樂和顏色的關(guān)聯(lián)，需要建立多維度的關(guān)系關(guān)聯(lián)[3].本文首先建立聲音和顏色的維度之間的對應(yīng)關(guān)系.其中響度對應(yīng)亮度，音高對應(yīng)色域，音色對應(yīng)飽和度.對于HSV顏色空間，包括3個(gè)參數(shù):色調(diào)(H)，飽和度(S)，亮度(V).因?yàn)楸驹O(shè)計(jì)中使用的LED彩燈的色彩是RGB三原色疊加形成的，因此獲取到HSV值后，需要將HSV值轉(zhuǎn)換為RGB值，再將控制命令數(shù)據(jù)發(fā)送至彩燈節(jié)點(diǎn).

1.2 音強(qiáng)與彩燈亮度映射關(guān)系

在HSV顏色空間中，V分量表示亮度，表現(xiàn)的是顏色的明亮程度.通過彩燈的亮度來表現(xiàn)音樂的音強(qiáng)，節(jié)奏的起伏伴隨著音強(qiáng)的變化，使用彩燈亮度來反映可以獲得較好的感官效果.彩燈顏色與聲音振幅的關(guān)系式為：

(1)

式中，V為顏色的亮度，取值范圍為0～1.Amp為量化后波形振幅，Amax為該音頻振幅量化的最大值.通常MP3音頻量化精度為16位，即最大值A(chǔ)max為216-1，波形的振幅越大，燈光則越明亮.

1.3 音高特征與色域的分布關(guān)系

音高在聲樂中又稱為音調(diào)，音調(diào)值用Mel頻率表示，文獻(xiàn)[4]中提出的Mel頻率與頻率的關(guān)系為：

(2)

式中，f為幅度譜中幅度最大的頻率分量，本文中以該頻率轉(zhuǎn)換得到的Mel頻率來表征聲音的音調(diào).通過快速傅里葉變換的方法來獲取音頻波形信號的頻譜，從中提取幅度譜，然后取幅值最大的頻率作為特征基頻，將該基頻轉(zhuǎn)化為Mel頻率.

(3)

式中，H為色調(diào)，fmax表示幅頻特性中幅度最大的分量對應(yīng)的頻率，fM為頻率上限，其值為2 kHz.樂音的基音頻率范圍通常為60～2 000 Hz之間.音調(diào)越高，顏色越趨向暖色調(diào)，反之，顏色趨向冷色調(diào).

1.4 彩燈色彩飽和度處理

語音信號中音色可以理解為復(fù)合音不同頻率分量的形態(tài)，頻率方式分布的能量決定了語音的音色[5]，音色由泛音頻率的強(qiáng)度分布情況決定.本文建立了音色與彩燈顏色飽和度的映射關(guān)系.對于音樂信號，獲取其幅頻特性，其基音頻率為f0，對應(yīng)幅度為A0,設(shè)第n階泛音頻率為fn,對應(yīng)幅度為An,則飽和度S為

(4)

實(shí)驗(yàn)過程中發(fā)現(xiàn)飽和度低于0.7時(shí)彩燈顏色太淡，無法獲得較好的變換效果，故將飽和度S最小值設(shè)置為0.7，保證顏色的豐富性和觀賞性.

2 音樂彩燈響應(yīng)延時(shí)分析和優(yōu)化

在系統(tǒng)運(yùn)行過程中，數(shù)據(jù)處理和網(wǎng)絡(luò)傳輸以及彩燈漸變響應(yīng)都會(huì)造成一定的延時(shí).設(shè)短時(shí)波形采樣和短時(shí)數(shù)據(jù)分析導(dǎo)致的延時(shí)為Δt0，網(wǎng)絡(luò)傳輸和相應(yīng)耗時(shí)為Δt1，節(jié)點(diǎn)響應(yīng)和彩燈顏色漸變過渡耗時(shí)為Δt2，彩燈響應(yīng)的總延時(shí)Δt的計(jì)算公式如下：

Δt=Δt0+Δt1+Δt2

(5)

本文采取音頻數(shù)據(jù)處理與播放異步進(jìn)行的方式，在音樂開始播放之前，先判斷網(wǎng)絡(luò)響應(yīng)延時(shí)，然后計(jì)算出彩燈總的響應(yīng)延時(shí)，根據(jù)總的響應(yīng)延時(shí)調(diào)整發(fā)送數(shù)據(jù)和音樂播放之間的時(shí)間差，由于本文中節(jié)奏提取最小時(shí)間間隔為50ms,因此進(jìn)行延時(shí)時(shí)間差補(bǔ)償后，彩燈響應(yīng)和音樂播放時(shí)間點(diǎn)之間的誤差可以控制在50ms以內(nèi).

3 音樂特效的實(shí)現(xiàn)

無線智能LED系統(tǒng)由移動(dòng)客戶端、智能網(wǎng)關(guān)和節(jié)點(diǎn)等組成，系統(tǒng)的基本框架如圖2所示.本次的設(shè)計(jì)背景為無線智能LED系統(tǒng)，控制端程序基于Android平臺，通過手機(jī)設(shè)備連接無線局域網(wǎng)或者互聯(lián)網(wǎng)連接智能網(wǎng)關(guān)設(shè)備，從而控制網(wǎng)關(guān)設(shè)備下的節(jié)點(diǎn)，從而控制彩燈實(shí)現(xiàn)開關(guān)，亮度和色彩的調(diào)節(jié).音樂彩燈基本原理是通過對音頻信號進(jìn)行處理，然后獲取其中一些參數(shù)的變化，使彩燈產(chǎn)生相應(yīng)變化.

圖2 無線智能LED系統(tǒng)示意圖

目前應(yīng)用多的彩燈只是按預(yù)先設(shè)定程序進(jìn)行變化，缺少音樂節(jié)奏變化[6].本次設(shè)計(jì)的目的就是實(shí)現(xiàn)一個(gè)基于Android平臺的無線智能彩燈音樂特效控制器，通過APP應(yīng)用來實(shí)現(xiàn)彩燈遠(yuǎn)程控制.通過播放音樂與音頻分析同時(shí)進(jìn)行的方式，實(shí)現(xiàn)音樂播放過程中的實(shí)時(shí)節(jié)奏跟隨，并通過彩燈顏色隨音樂音高特征變化而變化，使彩燈在音樂播放過程中的顏色變化伴隨音樂的旋律而律動(dòng).特效系統(tǒng)流程框圖如圖3所示.

圖3 音樂彩燈特效系統(tǒng)流程框圖

目前音樂的分析主要是通過音頻內(nèi)容進(jìn)行分析[7].本文中音樂的分析選擇音頻文件并裝載到解碼器，將解碼得到音頻的PCM數(shù)據(jù)存入緩沖隊(duì)列，對PCM波形進(jìn)行分段處理，每一小段長度50ms，對每一小段進(jìn)行短時(shí)分析，計(jì)算短時(shí)能量和幅度譜，獲取每小段的能量和音高等參數(shù).將處理后的數(shù)據(jù)存入特征數(shù)據(jù)緩沖隊(duì)列，同時(shí)將PCM數(shù)據(jù)寫入到音頻設(shè)備進(jìn)行播放.解碼的進(jìn)度要超前于播放的進(jìn)度，因此播放時(shí)的數(shù)據(jù)分析可以使用到歌曲還未播放到的部分，如此便實(shí)現(xiàn)了音頻的預(yù)讀和分析.在音樂播放開始前，檢測網(wǎng)絡(luò)響應(yīng)延時(shí)，根據(jù)延時(shí)設(shè)置時(shí)間補(bǔ)償.在播放過程中，每50ms獲取一次當(dāng)前播放的時(shí)間進(jìn)度，從特征數(shù)據(jù)隊(duì)列中獲取當(dāng)前短時(shí)波形的特征參數(shù).

樂曲是一系列音樂事件的組合，在PCM編碼的信號中，每個(gè)音樂事件都有一個(gè)波峰與之相對應(yīng)[8].波峰對應(yīng)信號短時(shí)能量極大值點(diǎn)，此時(shí)間點(diǎn)也是音樂的節(jié)拍點(diǎn).設(shè)播放進(jìn)度對應(yīng)第n小段波形x(n)，文獻(xiàn)[9]中提出的信號短時(shí)能量En定義如下：

(6)

音樂節(jié)奏的判斷采用極值法.若En為極大值點(diǎn),該幀的能量分別大于其前三幀和后兩幀的能量，則將第n點(diǎn)處判斷為節(jié)拍點(diǎn)，此時(shí)根據(jù)音樂特征參數(shù)同時(shí)改變彩燈的顏色和亮度.若En為極小值點(diǎn),該幀的能量分別小于其前三幀和后一幀的能量，則將第n點(diǎn)處判斷為節(jié)奏周期端點(diǎn)，此時(shí)根據(jù)當(dāng)前信號短時(shí)能量改變彩燈的亮度.由于節(jié)拍點(diǎn)和節(jié)奏端點(diǎn)交替存在，節(jié)拍表現(xiàn)為高亮度，節(jié)奏端點(diǎn)表現(xiàn)為低亮度.此時(shí)彩燈的明暗交替隨音樂節(jié)奏強(qiáng)弱同步變化.

4 實(shí)驗(yàn)結(jié)果分析

采用鋼琴曲《KissTheRain》進(jìn)行節(jié)奏提取測試.圖4為該段樂曲前15s的PCM信號歸一化波形，紅色豎線標(biāo)示節(jié)奏周期端點(diǎn).

圖4 《Kiss The Rain》PCM波形和節(jié)奏周期示意圖

將PCM信號按照不同的時(shí)長進(jìn)行分幀，然后進(jìn)行節(jié)奏判斷，比較不同分幀幀長時(shí)節(jié)奏周期強(qiáng)拍點(diǎn)和端點(diǎn)提取的準(zhǔn)確率.不同時(shí)間間隔分段節(jié)奏提取的結(jié)果比較如表1所示.幀長為25ms時(shí)，節(jié)拍點(diǎn)誤判斷現(xiàn)象比較嚴(yán)重.幀長為100ms時(shí)，節(jié)拍點(diǎn)漏判的現(xiàn)象較為嚴(yán)重，相較而言，幀長為50ms時(shí)，節(jié)拍周期判斷取得了較好的效果.

表1 不同分幀幀長的節(jié)奏性能比較

表2所示即為基于節(jié)奏跟隨的彩燈顏色改變與定時(shí)改變彩燈顏色方式的比較.對于定時(shí)改變彩燈顏色的方法，時(shí)間間隔的設(shè)置會(huì)導(dǎo)致效果差異.時(shí)間間隔越短，彩燈顏色改變越頻繁，彩燈閃爍也就越明顯；時(shí)間間隔越長，則會(huì)導(dǎo)致彩燈顏色變化頻率降低，對音樂能量起伏的表現(xiàn)效果也就越差.

表2 不同發(fā)送間隔方式下命令幀數(shù)比較

相較于定時(shí)改變彩燈顏色的方法，本文中提出的節(jié)奏跟隨的方式大大減少了發(fā)送命令數(shù)據(jù)改變彩燈顏色的次數(shù)，減少了彩燈顏色閃爍的現(xiàn)象，減輕了網(wǎng)絡(luò)負(fù)載,同時(shí)獲得了良好的視聽效果.

5 結(jié)束語

本文提出了一種基于聲音基本聲學(xué)特征和HSV顏色空間的聲光匹配算法，結(jié)合節(jié)奏提取算法以及動(dòng)態(tài)時(shí)延調(diào)整，實(shí)現(xiàn)了較好的音樂情景燈效果.相比于當(dāng)前市場上其他方案，具有節(jié)奏感強(qiáng)、操作靈活簡捷、色彩變化柔和、網(wǎng)絡(luò)負(fù)載低等優(yōu)點(diǎn)，適用于家庭、聚會(huì)和小型舞臺表演等場合，具有一定的市場前景.

[1]LLANORA.LightingInTheAgeOfIoT[J].ResidentialSystems, 2015,16(8):1-5.

[2]NANNIL,COSTAYMG,LUMINIA,etal.Combiningvisualandacousticfeaturesformusicgenreclassification[J].ExpertSystemswithApplications, 2016,45:108-117.

[3]張聰聰.音樂和顏色的情緒性關(guān)聯(lián)[D].上海:華東師范大學(xué),2014.

[4]俞一彪,袁冬梅,薛峰.一種適于說話人識別的非線性頻率尺度變換[J].聲學(xué)學(xué)報(bào),2008,33(5):450-455.

[5]劉國榮.通過音色特征識別話者的方法與分析[J].河南警察學(xué)院學(xué)報(bào),2010,19(5):118-120.

[6]彭文雄,侯世英,卓婭,等.音樂彩燈控制器的設(shè)計(jì)與實(shí)現(xiàn)[J].電氣電子教學(xué)學(xué)報(bào),2012(Z1):135-138.

[7]張一彬,周杰,邊肇祺,等.基于內(nèi)容的音頻與音樂分析綜述[J].計(jì)算機(jī)學(xué)報(bào),2007,30(5):712-728.

[8]胡建建,曾培峰,唐莉萍,等.基于高斯低通濾波的音樂節(jié)拍提取[J].東華大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,37(1):72-75.

[9]劉衛(wèi).一種基于譜分析的音樂節(jié)奏識別算法[J].青海師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2008(3):15-17.

Design of Music-light Effect in Wireless Smart LED Lighting System

WANG Le, CHEN Keming, QI Hang, JIANG Qian

(SchoolofElectronicInformation,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

The LED lighting system with music effects is more and more popular. To achieve a good rhythm of vision with audition, this paper proposed an algorithm of music effects. The audio characteristics were firstly analyzed. Then a model was designed to match the HSV color to the volume and tone of the sound. And the time of control was dynamically adjusted according to the response delay dynamically. This design presented achieved the synchronized change of music and the light color. The method has been adopted in the intelligent lighting system in one company. It achieved a good performance, and realized the industrialization.

feature analysis; acoustic-optic matching; response synchronization; rhythm following

10.13954/j.cnki.hdu.2017.03.004

2016-09-14

王樂(1990-)，男，湖北武漢人，碩士研究生，物聯(lián)網(wǎng)技術(shù)應(yīng)用.通信作者:陳科明副教授，E-mail:keming106@163.com.

TN911

A

1001-9146(2017)03-0015-05