方一鳴，何培宇，方安成，鄧茗月，潘帆

(四川大學(xué)電子信息學(xué)院,成都 610065)

引言

耳鳴是在沒(méi)有外界聲音刺激時(shí)的一種主觀聽覺(jué)感知[1]，可導(dǎo)致患者睡眠障礙、焦慮、注意力不集中，嚴(yán)重影響患者的生活質(zhì)量。由于目前耳鳴發(fā)病機(jī)制尚不確定[2]，因此,還沒(méi)有治療耳鳴的明確手段。音樂(lè)療法是一種無(wú)創(chuàng)傷性的治療方法，由于其無(wú)副作用且方法柔和，而廣泛應(yīng)用于耳鳴的臨床治療[3]。

目前，國(guó)外針對(duì)耳鳴的音樂(lè)療法主要包括Neuromonics耳鳴療法(neuromonics tinnitus treatment, NTT)[4]、切跡濾波音樂(lè)(tailor-made notched music,TMNM)療法[5]、海德堡神經(jīng)音樂(lè)療法[6]。但上述幾種方法適用范圍有限、方案復(fù)雜，且使用的音樂(lè)都需重復(fù)播放[4,6-7]，易喚起患者的不良記憶及潛在負(fù)面情緒，達(dá)不到預(yù)期的減壓效果[8]。根據(jù)人工創(chuàng)作的音樂(lè)具有自相似特性[9]，程冉等[10]使用LS文法、陳杰梅等[11]基于五聲音階和混沌、徐媛媛等[12]基于IFS分形算法和分解和弦、金寧敏等[13]基于超混沌算法、蔡麗等[14]基于迭代系統(tǒng)、漆蕾宇等[15]使用IFS分形算法從音樂(lè)的曲調(diào)、節(jié)奏以及和聲三方面來(lái)生成理論上無(wú)限長(zhǎng)，具有自相似特點(diǎn)，又不完全重復(fù)的耳鳴康復(fù)音樂(lè)。然而以上方法生成的音樂(lè)可聽性不足，并且存在著音高突變的缺陷。隨著技術(shù)的發(fā)展，Chen等[16]基于已有音樂(lè)片段和長(zhǎng)短期記憶(LSTM)生成相似不完全重復(fù)，且能更好滿足耳鳴患者偏好的音樂(lè)，并臨床驗(yàn)證了合成相似不重復(fù)音樂(lè)對(duì)治療耳鳴具有一定的效果。但是，該方法仍然存在著合成音樂(lè)不自然、拼接痕跡明顯、每首原始音樂(lè)都需要專門設(shè)計(jì)和訓(xùn)練一組LSTM模型等問(wèn)題，因而不便于臨床上的推廣應(yīng)用。

針對(duì)上述問(wèn)題，本研究提出一種以患者偏好的音樂(lè)為基礎(chǔ)，無(wú)需訓(xùn)練且適用于所有原始音樂(lè)的耳鳴治療音樂(lè)合成方法。該方法使用字節(jié)對(duì)編碼對(duì)原始音樂(lè)主旋律聲部的信息進(jìn)行編碼，將音樂(lè)表示成詞向量的組合形式，即音樂(lè)塊的組合形式。同時(shí)，本研究對(duì)馬爾科夫鏈狀態(tài)轉(zhuǎn)換過(guò)程可能會(huì)失去下一個(gè)轉(zhuǎn)移狀態(tài)的問(wèn)題進(jìn)行了改進(jìn)，提出可以連續(xù)進(jìn)行狀態(tài)轉(zhuǎn)換的自更新馬爾科夫鏈。將字節(jié)對(duì)編碼后的音樂(lè)塊作為自更新馬爾科夫鏈的狀態(tài)，利用自更新馬爾科夫鏈的狀態(tài)轉(zhuǎn)移來(lái)生成任意時(shí)長(zhǎng)音樂(lè)。

仿真及試聽結(jié)果表明，本研究方法不僅理論上可以生成無(wú)限長(zhǎng)、相似且不完全重復(fù)的滿足耳鳴治療的音樂(lè)，且生成模型簡(jiǎn)單并具有普適性，生成的音樂(lè)聽感自然、無(wú)拼接痕跡、和原曲相似度高，可滿足音樂(lè)偏好的需求。

1 字節(jié)對(duì)編碼和自更新馬爾科夫鏈原理

1.1 字節(jié)對(duì)編碼

在音樂(lè)的生成過(guò)程中需要將音樂(lè)切分成塊，但是預(yù)先制定的切分方法并非適用于每首音樂(lè)，因此，本研究采用字節(jié)對(duì)編碼(byte pair encoding，BPE)自動(dòng)學(xué)習(xí)音符及和弦間的最佳組合方式，使得切分后的音樂(lè)塊中的音符、和弦之間存在更強(qiáng)的依存關(guān)系。

BPE算法最早用于數(shù)據(jù)壓縮,原理是找到常見的可以組成單詞的子字符串，又稱子詞，然后將每個(gè)詞用這些子詞來(lái)表示。BPE中最基本的子詞就是所有字符的集合，如{a,b,…,z,A,B,…,Z}。之后，通過(guò)不斷統(tǒng)計(jì)文本中所有相鄰子詞的出現(xiàn)次數(shù)，選出出現(xiàn)頻率最高的一對(duì)子詞，并將這一對(duì)子詞組合起來(lái)視為一個(gè)新的子詞，使用文本中未出現(xiàn)過(guò)的符號(hào)代替這一對(duì)子詞，直到滿足某個(gè)停止條件，如:統(tǒng)計(jì)詞對(duì)的頻率最高不超過(guò)某個(gè)頻率閾值，其算法流程見圖1。

圖1 BPE算法流程Fig.1 BPE algorithm flow chart

1.2 自更新馬爾科夫鏈

1.2.1馬爾科夫鏈 馬爾科夫鏈可以根據(jù)當(dāng)前狀態(tài)預(yù)測(cè)未來(lái)狀態(tài)，在多種狀態(tài)之間進(jìn)行狀態(tài)轉(zhuǎn)移，本研究利用該特性實(shí)現(xiàn)理論上無(wú)限長(zhǎng)音樂(lè)的生成。

馬爾科夫鏈?zhǔn)且唤M具有馬爾科夫性質(zhì)的離散隨機(jī)變量集合，馬爾科夫性質(zhì)指將來(lái)的狀態(tài)僅與當(dāng)前時(shí)刻的狀態(tài)有關(guān)，而與過(guò)去時(shí)刻的狀態(tài)無(wú)關(guān)。即對(duì)于一個(gè)隨機(jī)過(guò)程{Xn,n∈T}，若隨機(jī)變量的取值都在可數(shù)集I內(nèi)，對(duì)于任意的非負(fù)整數(shù)n∈T，條件概率滿足式(1)：

p(Xn+1|Xn,…,X1)=P(Xn+1|Xn)

(1)

則{Xn,n∈T}被稱為馬爾科夫鏈，可數(shù)集I∈Z被稱為狀態(tài)空間，馬爾科夫鏈在狀態(tài)空間內(nèi)的取值稱為狀態(tài)。

當(dāng)狀態(tài)也離散取值，系統(tǒng)在時(shí)刻n處于狀態(tài)i，在時(shí)刻n+1處于狀態(tài)j的概率可表示為：

τij=P[Xn+1=j|Xn=i]

(2)

此情況下，條件概率τij稱為轉(zhuǎn)移概率，其中，i,j∈I，這樣的馬爾科夫鏈稱為離散馬爾科夫鏈。若一個(gè)離散馬爾科夫鏈的狀態(tài)空間是有限的，則它所有的轉(zhuǎn)移概率可以組成一個(gè)馬爾科夫轉(zhuǎn)移概率矩陣：

(3)

1.2.2自更新馬爾科夫鏈 原音樂(lè)信息中，音樂(lè)塊是順序出現(xiàn)的，所以在使用馬爾科夫鏈進(jìn)行狀態(tài)轉(zhuǎn)移時(shí)，除了最后一個(gè)音樂(lè)塊可能會(huì)出現(xiàn)缺少下一個(gè)轉(zhuǎn)移狀態(tài)的情況外，其余每個(gè)音樂(lè)塊至少都有一個(gè)轉(zhuǎn)移狀態(tài)。針對(duì)最后一個(gè)音樂(lè)塊沒(méi)有下一個(gè)轉(zhuǎn)移狀態(tài)的特殊情況，本研究利用音樂(lè)前后的相似性，將該音樂(lè)塊前一個(gè)音樂(lè)塊作為下一個(gè)狀態(tài)自動(dòng)更新馬爾科夫鏈，并且為了避免生成音樂(lè)時(shí)進(jìn)入死循環(huán)，觀察前一個(gè)音樂(lè)塊的轉(zhuǎn)移狀態(tài)數(shù)是否大于等于2，若小于2，則將此音樂(lè)塊的前一個(gè)音樂(lè)塊也作為一種轉(zhuǎn)移狀態(tài)更新馬爾科夫轉(zhuǎn)移矩陣，直到當(dāng)前音樂(lè)塊的前一個(gè)音樂(lè)塊的轉(zhuǎn)移狀態(tài)數(shù)大于等于2為止。在原始音樂(lè)局部轉(zhuǎn)移狀態(tài)數(shù)較少時(shí)，也可使用該方法來(lái)豐富局部音樂(lè)塊轉(zhuǎn)移狀態(tài)，以生成更好的音樂(lè)。

圖2 自更新馬爾科夫鏈原理Fig.2 Automatic updating Markov chain schematic diagram

2 耳鳴康復(fù)音樂(lè)合成方案

2.1 耳鳴康復(fù)音樂(lè)合成總體思路

音樂(lè)由一個(gè)或者多個(gè)聲部組成，在獨(dú)唱或者獨(dú)奏中只有一個(gè)聲部在發(fā)揮作用，而在合唱或者器樂(lè)合奏中樂(lè)曲由多個(gè)聲部組成。然而在多聲部中，通常只有一個(gè)演奏主旋律的聲部，其他聲部起伴奏作用。本研究在選取整首音樂(lè)后，都將第一個(gè)聲部作為主旋律聲部。首先,對(duì)MIDI音樂(lè)主旋律聲部的音符、和弦進(jìn)行編號(hào),采用字符對(duì)編碼將音樂(lè)分割成塊；其次，利用這些音樂(lè)塊來(lái)構(gòu)造馬爾科夫轉(zhuǎn)移矩陣；最后，使用自更新馬爾科夫鏈生成任意長(zhǎng)度的滿足耳鳴治療需求的音樂(lè)。圖3為本研究生成耳鳴康復(fù)音樂(lè)的流程圖。

圖3 耳鳴康復(fù)音樂(lè)合成過(guò)程

2.2 原始MIDI音樂(lè)處理

MIDI是一種標(biāo)準(zhǔn)化的數(shù)據(jù)格式，易操作且數(shù)據(jù)存儲(chǔ)量小。因此，本研究選取的音樂(lè)皆為MIDI格式。本研究通過(guò)abcMIDI包，提取MIDI音樂(lè)主旋律聲部的音符、和弦，將音符、和弦按照前后出現(xiàn)的順序進(jìn)行編號(hào)，并使用編號(hào)后的數(shù)字代替原音符、和弦，得到數(shù)字化后的音樂(lè)信息。

BPE最早用于數(shù)字壓縮，目前在自然語(yǔ)言處理中多被用于分詞。MIDI音樂(lè)由音符、和弦構(gòu)成，音符、和弦在音樂(lè)中有一定的組成和順序關(guān)系，而雜亂無(wú)章的音符和和弦無(wú)法組合成悅耳的音樂(lè)。因此，本研究利用BPE可不斷統(tǒng)計(jì)迭代高頻出現(xiàn)的字節(jié)對(duì)的特點(diǎn)，對(duì)數(shù)字化后的音樂(lè)信息中出現(xiàn)的高頻音樂(lè)元素進(jìn)行組合，將數(shù)字化后的音樂(lè)按照原有的順序劃分成音樂(lè)塊。

以編號(hào)后的音符、和弦為例。將一小段音樂(lè)的音符、和弦按照前后出現(xiàn)順序進(jìn)行數(shù)字編號(hào)，并且使用編號(hào)后的數(shù)字代替原音符、和弦，得到一段數(shù)字文本：{3，3，3，28，16，3，3，3，28，3，10}。利用BPE進(jìn)行編碼的步驟為：設(shè)定BPE停止條件為相鄰字節(jié)對(duì)最高出現(xiàn)次數(shù)不超過(guò)1，將單個(gè)數(shù)字作為子詞，統(tǒng)計(jì)相鄰子詞出現(xiàn)次數(shù)，此時(shí)“3，3”出現(xiàn)頻率最高，使用“-1”來(lái)代替“3，3”，文本變?yōu)椋簕-1，3，28，16，-1，3，28，3，10}，此時(shí)“3，28”出現(xiàn)頻率最高，使用“-2”來(lái)代替“3，28”，文本變?yōu)椋簕-1，-2，16，-1，-2，3，10},此時(shí)“-1，-2”出現(xiàn)頻率最高，使用“-3”來(lái)代替“-1，-2”，文本變?yōu)椋簕-3，16，-3，3，10}。最后，所有相鄰子詞的出現(xiàn)次數(shù)都為1，得到最終的文本數(shù)據(jù)：{-3，16，-3，3，10}。BPE解碼時(shí)按照相反的順序進(jìn)行更新替換即可。

本研究對(duì)數(shù)字化后的音樂(lè)信息，統(tǒng)計(jì)其相鄰數(shù)字出現(xiàn)的頻率，將出現(xiàn)頻率最高的數(shù)字對(duì)進(jìn)行合并，替換成音樂(lè)信息中未出現(xiàn)過(guò)的數(shù)字，直到統(tǒng)計(jì)數(shù)字對(duì)的最高頻率不超過(guò)設(shè)定閾值。實(shí)驗(yàn)表明，當(dāng)閾值設(shè)置為1時(shí)，生成音樂(lè)的效果最好。

2.3 音樂(lè)生成模型構(gòu)建

本研究使用馬爾科夫轉(zhuǎn)移矩陣描述生成音樂(lè)的自更新馬爾科夫鏈。在馬爾科夫轉(zhuǎn)移矩陣中，將每個(gè)音樂(lè)塊作為一種狀態(tài)，實(shí)驗(yàn)中假設(shè)下一個(gè)音樂(lè)塊出現(xiàn)的概率只和前一個(gè)出現(xiàn)的音樂(lè)塊有關(guān)。

馬爾科夫轉(zhuǎn)移矩陣構(gòu)建過(guò)程如下：首先，統(tǒng)計(jì)BPE編碼后的音樂(lè)塊種類N，并對(duì)音樂(lè)塊按照出現(xiàn)順序進(jìn)行1至N編號(hào)，重復(fù)出現(xiàn)的音樂(lè)塊編號(hào)和第一次出現(xiàn)的該音樂(lè)塊編號(hào)一樣。統(tǒng)計(jì)N種音樂(lè)塊之間的轉(zhuǎn)移頻數(shù)，得到N種音樂(lè)塊之間的轉(zhuǎn)移概率。然后構(gòu)建一個(gè)N×N大小的矩陣，矩陣最左上角元素為(1,1),矩陣元素(i,j)表示編號(hào)為i的音樂(lè)塊轉(zhuǎn)移到編號(hào)為j的音樂(lè)塊的概率。觀察此N×N大小的矩陣元素(N,N)的值是否為0。若為0，則使用自更新馬爾科夫鏈的更新規(guī)則添加新的狀態(tài)轉(zhuǎn)移，并以此更新狀態(tài)轉(zhuǎn)移矩陣。最后得到生成的馬爾科夫轉(zhuǎn)移矩陣，隨機(jī)選擇一個(gè)音樂(lè)塊作為開始，根據(jù)此馬爾科夫轉(zhuǎn)移矩陣生成任意長(zhǎng)度的音樂(lè)(在耳鳴的臨床治療中，可根據(jù)患者的治療時(shí)間來(lái)生成相應(yīng)時(shí)長(zhǎng)的對(duì)應(yīng)音樂(lè))。

2.4 使用MIDI技術(shù)合成音樂(lè)

首先，將馬爾科夫鏈生成的任意長(zhǎng)度的音樂(lè)進(jìn)行BPE解碼；然后，按照數(shù)字與原始音符、和弦的對(duì)應(yīng)關(guān)系將數(shù)字還原成原始的音符、和弦；最后賦予這些音符、和弦和原始音樂(lè)一樣的音樂(lè)信息，即音色、音符持續(xù)時(shí)間、音符速度等，如此便獲得和原曲相似且任意長(zhǎng)度的滿足耳鳴治療需求的音樂(lè)。

3 仿真結(jié)果及試聽分析

3.1 仿真結(jié)果分析要素

本研究從1/f波動(dòng)和分形兩個(gè)角度對(duì)合成音樂(lè)進(jìn)行客觀分析。1/f波動(dòng)分析表明，合成音樂(lè)能讓人感到愉悅放松并具有較高的舒適感，音樂(lè)的分形分析表明，合成音樂(lè)具有相似不重復(fù)性，即合成音樂(lè)像人工創(chuàng)作的音樂(lè)一樣具有前后自相似的特點(diǎn)[17]，能夠避免喚醒耳鳴患者的記憶，以上分析表明，本研究合成音樂(lè)作為耳鳴康復(fù)音樂(lè)具有較強(qiáng)的合理性。最后通過(guò)試聽分析，對(duì)合成音樂(lè)的聽覺(jué)效果進(jìn)行主觀檢驗(yàn)，表明合成的音樂(lè)流暢、自然。

3.2 音調(diào)值和音符時(shí)值1/f波動(dòng)分析

1/f波動(dòng)是一種具有舒適感的波動(dòng)，可通過(guò)譜密度S(f)與頻率f的關(guān)系表示，譜密度S(f)表示信號(hào)在頻率f處的均方根變化。具體見式(4)：

S(f)∝f-β

(4)

對(duì)上式兩邊取對(duì)數(shù)，得到：

log(S(f))∝-βlog(f)

(4)

研究表明，大多數(shù)令人愉悅的音樂(lè)都是1/f波動(dòng)，且?guī)缀跛械囊魳?lè)旋律都在模仿1/f波動(dòng)，當(dāng)0.5<β<1.5時(shí)，信號(hào)即滿足1/f波動(dòng)[18]。

圖4是生成音樂(lè)的音調(diào)值和音符時(shí)值的功率譜擬合曲線，兩個(gè)擬合曲線對(duì)應(yīng)的β值分別是0.8987、0.9019，均在(0.5,1.5)范圍內(nèi)，即生成的音樂(lè)是一種舒適且可讓人感到放松的1/f波動(dòng)信號(hào)。

圖4 音調(diào)值序列和音符時(shí)值序列功率譜密度擬合曲線

3.3 音樂(lè)分形分析

3.3.1分形維度分析 分形特征之一是自相似但不完全重復(fù),即整體與局部的高度相似[19]，可以此檢驗(yàn)合成的耳鳴康復(fù)音樂(lè)是否滿足自相似、非重復(fù)的要求。在音樂(lè)中，相鄰音符的音程i及其出現(xiàn)的頻率F(i)若滿足下述函數(shù)，則此關(guān)系稱為分形。其中，C是常數(shù)，D是音樂(lè)的分形維度。

(6)

將上述等式兩邊同時(shí)取對(duì)數(shù)，得到：

logF(i)=C′-Dlogi

(7)

由此可知，logi和logF(i)是以-D為斜率的線性關(guān)系。

圖5是本研究生成音樂(lè)中i與F(i)之間的對(duì)數(shù)關(guān)系的擬合曲線，可見，logi與logF(i)基本呈線性關(guān)系，斜率為-2.207。

圖5 音樂(lè)分形結(jié)構(gòu)分析

3.3.2旋律輪廓分析 旋律輪廓描述了旋律的整體形狀，比準(zhǔn)確的音程信息更容易認(rèn)識(shí)與記憶。本研究使用音符作為最小單位來(lái)代表旋律輪廓。圖6是生成較短時(shí)間的音樂(lè)的旋律輪廓，其中縱坐標(biāo)是音符的音調(diào)值，橫坐標(biāo)是音符的序列值。圖7是生成較長(zhǎng)時(shí)間音樂(lè)的旋律輪廓。觀察兩段旋律輪廓可以看出，音樂(lè)旋律前后相似且旋律自然，生成的長(zhǎng)時(shí)間音樂(lè)并非音符的簡(jiǎn)單重復(fù)。音樂(lè)的音高在一定范圍內(nèi)變化，未出現(xiàn)音高突變的情況。即生成的音樂(lè)滿足相似且不重復(fù)的特性，無(wú)音高突變，滿足耳鳴治療音樂(lè)的要求。

圖6 短時(shí)間音樂(lè)的旋律輪廓

圖7 長(zhǎng)時(shí)間音樂(lè)的旋律輪廓

3.4 試聽分析

本次試聽實(shí)驗(yàn)采用文獻(xiàn)[16]和原始音樂(lè)拼接的音樂(lè)作為對(duì)照。假設(shè)一段2 min的音樂(lè)為耳鳴患者的偏好音樂(lè)，分別根據(jù)該原始音樂(lè)使用本研究和文獻(xiàn)[16]的方法合成時(shí)長(zhǎng)為30 min的音樂(lè)Frag_1、Frag_2，并將這段2 min的原始音樂(lè)首尾相連，拼接成30 min的音樂(lè)Frag_3。30名試聽人員根據(jù)試聽結(jié)果分別在相似不重復(fù)、重復(fù)、流暢、舒緩、與原曲最相似五項(xiàng)要素中選擇出最符合該音樂(lè)特性的要素。其中，相似不重復(fù)和重復(fù)只能二選一，與原曲最相似這項(xiàng)要素，F(xiàn)rag_1、Frag_2之間只能選擇一個(gè)，F(xiàn)rag_3不參與該項(xiàng)選擇。流暢與舒緩全選、全不選、選其一皆可。

表1 音樂(lè)片段試聽

試聽結(jié)果表明，本研究合成的音樂(lè)具有令人舒緩、相似不重復(fù)的特性，與仿真結(jié)果相吻合。同時(shí)彌補(bǔ)了臨床上需反復(fù)播放音樂(lè)，以及現(xiàn)有方法生成音樂(lè)不自然的缺陷。然而該試聽結(jié)果是對(duì)耳鳴康復(fù)音樂(lè)的主觀檢驗(yàn)，還未完全應(yīng)用到實(shí)際臨床中，后續(xù)在臨床中還需根據(jù)患者的具體情況調(diào)節(jié)相關(guān)參數(shù)，以達(dá)到更好的效果。

4 總結(jié)

本研究提出了一種基于BPE和馬爾科夫鏈的耳鳴康復(fù)音樂(lè)合成新方法。該方法簡(jiǎn)單，可生成任意時(shí)長(zhǎng)且適用于所有MIDI格式的音樂(lè)，便于臨床上的推廣。仿真及試聽結(jié)果表明，該方法生成的音樂(lè)是一種能讓人感到舒緩的1/f波動(dòng)，在滿足患者個(gè)性化偏好的同時(shí)，整體相似但不重復(fù)，彌補(bǔ)了臨床上需重復(fù)播放有限時(shí)長(zhǎng)音樂(lè)的問(wèn)題，在聽感體驗(yàn)上也更加流暢自然。因此，本研究提出的音樂(lè)合成方法對(duì)使用音樂(lè)療法治療耳鳴具有一定的借鑒意義。