屈歌 楊仕明 于萍 李佳楠解放軍總醫(yī)院 解放軍醫(yī)學院 耳鼻咽喉頭頸外科 解放軍總醫(yī)院耳鼻咽喉研究所
·臨床研究·
人工耳蝸植入者音樂感知研究現(xiàn)狀
屈歌1楊仕明于萍李佳楠
解放軍總醫(yī)院 解放軍醫(yī)學院 耳鼻咽喉頭頸外科 解放軍總醫(yī)院耳鼻咽喉研究所
對人工耳蝸植入者各層面音樂感知能力進行合理檢測與評估,是了解其音樂感知特征、探索其感知規(guī)律、進而提升其感知能力的前提。本文以音樂自身特點及其對應(yīng)的物理屬性為線索,對當前國內(nèi)外有關(guān)人工耳蝸植入者音樂感知能力評估的相關(guān)研究加以梳理與總結(jié)。在現(xiàn)行評估體系簡介、測試材料制作、與樂音屬性(音高、音色、時長)相關(guān)的研究成果等幾方面加以闡述,分析了當前研究的成功經(jīng)驗與不足之處,并在此基礎(chǔ)上,針對當前研究所存在的問題提出進一步研究設(shè)想。
人工耳蝸;音樂感知;音高;音色;音程;和聲
對人工耳蝸植入者(Cochlear Implantees,CI)音樂感知狀況進行合理評估,是促使其獲得良好音樂感知與音樂欣賞愉悅感的首要前提。在當前人工耳蝸技術(shù)可基本滿足言語交流的情況下,對音樂感知與欣賞的要求越發(fā)突出,這也是提升CI者生活質(zhì)量的重要方面。
從物理意義上,音樂是一種包括聲音頻率、振幅、時長與頻譜特征于一體的聲學屬性綜合體;從音樂結(jié)構(gòu)形態(tài)上講,更是包括音高、音色、時值、強弱、音程、和聲、調(diào)式、調(diào)性、節(jié)奏、節(jié)拍、旋律形態(tài)、音樂風格、演奏形式與欣賞環(huán)境等;從CI者的角度,有設(shè)備品牌型號、電極設(shè)計、處理策略、植入時間等不同條件,還有知識儲備、個人喜好、音樂背景、欣賞習慣等方面的影響因素。因此,真正對音樂感知情況進行非常全面、客觀評估是一件非常困難的事。但上述因素中,最為重要的基礎(chǔ)音樂元素應(yīng)為音高、音色、時長與強度四種,這也是和樂音四種屬性相對應(yīng)的。
目前,國內(nèi)外學者在CI者音樂感知測試材料與評估方法上做了很多各具特色的工作,這些研究多以音高、音色與時長為主要測評內(nèi)容。其中,和音高相對應(yīng)的評估項目大致包括:音高方向辨別、旋律包絡(luò)類型辨別、熟悉旋律識別;和音色相關(guān)的評估項目主要是:不同樂器音色辨別,樂器音色的多維評價等;和時長相關(guān)的評估項目主要有:節(jié)奏線索對旋律識別的影響、節(jié)奏類型辨別、節(jié)拍同步性測試等。
當前,各國針對CI者音樂感知能力或愉悅感的評價問題開發(fā)了一系列程序或測試組,其中以評估CI者各層面音樂感知能力為主要內(nèi)容的測試,以華盛頓大學的“音樂感知臨床評估測試”(the Clinical Assessment of Music Perception Test,CAMP)較為典型。CAMP以標準化的臨床實踐方式,用電腦在音高方向識別、旋律識別與音色識別三個層面對CI者的感知能力加以評估,測試使用合成音作為測試材料制作的音源,檢測發(fā)現(xiàn)CAMP在各測試項目均具有較寬的感知范圍,具有一定的臨床實用性[1-3];韓國研究人員在此基礎(chǔ)上,經(jīng)調(diào)整部分測試內(nèi)容,開發(fā)了韓語版K-CAMP[4];國內(nèi)研究者平利川等人開發(fā)的“音樂感知評估平臺”,也是在借鑒CAMP的基礎(chǔ)上制作而成的[5]。另一個使用較多的測試系統(tǒng)為“人工耳蝸植入者音樂聲感知測試”(the Musical Sounds in Cochlear Implants Perception Test,MuSIC),測試包括6個客觀、2個主觀測試模塊,評估范圍涉及音高、旋律、和弦、音色與樂器識別等多項內(nèi)容。Brockmeier等人研究認為,MuSIC測試適用于CI者和聽力正常者(Normal Hearing,NH)音樂感知能力的評價,不論是深度調(diào)查音樂感知的某一方面,亦或是開展音樂感知普查,它都是一種有價值的工具[6]。此外,Gefeller等改編的測試組“音樂聽覺的基礎(chǔ)檢測”(Primary Measures of Music Audiation,PMMA)[7]、開發(fā)的“音樂片段識別測試”(Musical Excerpt Recognition Test)[8],分別把評測重點放在CI者對音樂音調(diào)、節(jié)奏與旋律片段的識別上[9]。
學者Spitzer等人開發(fā)“人工耳蝸使用者的音樂欣賞測試”(Appreciation of music in cochlear implantees,AMICI)的測試[10,11],評測CI者區(qū)分音樂聲與噪聲、識別樂器、識別音樂風格與辨別個別音樂作品的能力,Min-Yu Cheng等檢驗后認為此測試具有較高的重測信度,性能穩(wěn)定可靠。Lily N.C.Law與Marcel Zentner合作開發(fā)了“音樂感知能力簡況”(Profile of Music Perception Skills,PROMS)[12],在多種范圍內(nèi)對音樂感知技能進行測評,包括調(diào)、音質(zhì)、時閾與動態(tài)(響度)。此外,還有把評估失歌癥者的測試“蒙特利爾失歌癥評估測試組”(Montreal Battery for Evaluation of Amusia,MBEA)運用到對CI者音樂感知評估上的嘗試[13]。
總之,現(xiàn)有CI者音樂感知測試系統(tǒng),為CI者音樂感知能力測量與評價做出了可貴嘗試,積累了一些有益經(jīng)驗。這些測試系統(tǒng)各具特色與優(yōu)勢,但總體尚處于研究的初級階段,當前仍沒有一套測試體系在國際上得到大范圍的臨床應(yīng)用。這些測試,在功能上多側(cè)重于音樂的某一個或幾個層面,無法全面考察CI者音樂感知能力;在測試材料上,大多采用電子合成聲音制作測試材料,且都是以西洋樂器音色為測試音色,這樣既與真實樂器有差距又不適用我國CI者應(yīng)用;在音樂層面上,測試的音樂內(nèi)容較為簡單、籠統(tǒng),無法深入、精細考察CI者在各音樂層面的精確感知情況,更不利于對CI者音樂感知的機制問題的進一步研究。
總的來說,用來制作上述測試所用測試材料的聲音來源主要有三種:1)電子合成音,2)CI模擬聲[14],3)真實樂器聲[15]。
合成音是指以某種樂器聲為基礎(chǔ),采用特定算法選取與基頻、諧頻相符的快速傅里葉變換(FFT)成分,提取其聲音的頻譜包絡(luò)特征,并盡力消除任何可能呈現(xiàn)的時閾線索。然后這樣制作出的正弦波疊加起來,以指數(shù)起始與線性衰減的方式最終生成具有統(tǒng)一時閾包絡(luò)的、具有一定音高的、一定時長的合成復(fù)合測試音。這種合成聲音方法的最大優(yōu)點是:明了測試聲音材料的聲學屬性,對聲音材料的控制極為方便;其主要弊端是:這樣制作的聲音,只是一種數(shù)理上的近似模擬,與真實樂器聲的音色與動態(tài)屬性具有較大不同。但即使如此,Nimmons、Gfeller等人在其研究中,可能鑒于合成音在制作與控制上相對真實樂器聲測試材料制作的便利性,仍使用了電子合成的聲音樣本。
模擬聲是指正常聲音信號通過CI模擬設(shè)備或軟件播放出來的聲音,一般簡稱為CIsim(Cochlear Implant Simulation),研究者用這種方法模擬出CI者聽到的聲音,以對照評估其與真正CI者之間感知表現(xiàn)的異同。Wright與Uchanski在運用MBEA作為測試組的研究中,把原始的(未經(jīng)處理的)與用CI模擬軟件處理的音樂刺激,分別播放給CI使用者與20名NH(CIsim),使用7點評級標尺與設(shè)定的音樂感知測試評價這些音樂片段。變量分析用評估評級、感知得分與聽者的調(diào)查問卷數(shù)據(jù)作為因子,每一個音樂測試音樂評估評級與感知得分之間的關(guān)系由計算得出。研究最終得出結(jié)論,NH成人通過CIsim模擬聽音樂時所產(chǎn)生的愉悅感,比CI者要差,兩者數(shù)據(jù)具有顯著統(tǒng)計學意義,這種評價方法對于音樂愉悅度的評價并不適用。Cooper等運用MBEA測試組,播放CI模擬聲音,在音階、包絡(luò)、音程、節(jié)奏、小節(jié)與旋律記憶六個方面對CI者與NH加以評測。
盡管很多研究由于利于操控的優(yōu)點而選用合成聲音制作測試材料,但也有很多研究者逐漸認識到這種合成音與真實樂器聲間存在很大差異,建立在以合成音為測試材料的研究結(jié)論與實際音樂欣賞存在很多不同,這導(dǎo)致前者研究成果難于很好應(yīng)用于真實音樂環(huán)境。而且Gfeller在研究中發(fā)現(xiàn),即使經(jīng)受訓(xùn)練的音樂家也難于正確分辨來自于孤立的合成音呈現(xiàn)的樂器聲。于是Gfeller等在研究中使用真實樂器錄制標準化的旋律序列作為聲刺激信號,并認為這樣制作的刺激,包含了瞬間的而又非常重要的識別線索,而這些線索同時也是合成聲音材料所丟失的重要感知信息。基于這種考慮,Gfeller等對語后聾CI者,以四族類(銅管、木管、擊弦、拉弦)、八件樂器、三個頻率范圍內(nèi)加以測量研究,隨后他們又用真實的歌唱聲片段為材料開展了相關(guān)研究[16];同時還有Hartmut Meister等以真實圓號聲為音源制作測試材料[17],Thomas Lu等對真實吉他聲進行的研究工作[18]。
音高是形成音樂最為重要的基本聲音屬性之一。與音高屬性相關(guān)的音樂層面很多,如音高方向、音高差別閾限、旋律輪廓、音程和聲等,針對音高感知的研究也是研究者最為關(guān)注的內(nèi)容。Nimmons等人在音高方向識別測試中使用強迫2選法,最小音程為1個半音,最大音程為12個半音,分別選用頻率為185Hz(F#3)、262Hz(C4)、330Hz(E4)、391Hz(G4)四個音作為基礎(chǔ)頻率,音高最小差別閾限的測試結(jié)果分別為:185Hz時最小1個半音至9.1半音,262Hz時1-11.5個半音,330Hz時1-9.0個半音,394Hz時1-6.5個半音。對于CI者最小音高識別閾限的研究,可能由于測試材料與參試對象個體差異與樣本量等原因,其結(jié)論的一致性相對較差。Fujita研究認為,CI者可以識別4個半音以上的音高變化,但有些人甚至1個八度的變換都無法識別;也有人研究認為,對于6個半音的音高變化條件,CI者的平均正確得分為62%,而在1個半音音高變化的條件下,CI者平均正確得分仍可達到49%。Gfeller等人對141名CI者的研究中觀察到,當分別以131Hz與831Hz為基礎(chǔ)頻率時,CI者判斷音高的正確率有著顯著不同,說明音高感知任務(wù)有可能依賴于測試材料的頻率范圍。
Nimmons等要求聽者從12首普通旋律的閉集測試中,確認所聽到的旋律,旋律音也是由合成音色演奏,音長500ms,速度60/m,每個音的強度在±4dB浮動,試前錄制5個不同版本旋律,實驗時隨機選擇播放,所有旋律均縮短至8秒,以避免歌曲長度所帶來的潛在線索。為消除旋律識別的節(jié)奏線索,實驗旋律均采用長度相同的8分音符組成,產(chǎn)生出同步等長的旋律。旋律識別的得分范圍6%-81%,平均23%,SD=23%,參試者認為此環(huán)節(jié)難度較大。
國內(nèi)外關(guān)注上述音高層面的研究很多,理論成果也很豐富。但音樂往往不是以單旋律(一件樂器)呈現(xiàn),而是基本上都是由多件樂器以重奏、合奏、競奏的形式進行。當一件樂器兩個音或多個音、兩件樂器兩個音或多個音同時發(fā)響時,就產(chǎn)生一種最為普遍的音樂現(xiàn)象——和聲。當前,在國內(nèi)外針對CI者音樂感知的研究中,尚未發(fā)現(xiàn)針對和聲感知、乃至和弦感知(三個或三個以上的音同時發(fā)響)的研究工作。
對音色的研究也是CI者音樂感知測試的熱點內(nèi)容,而音色研究的核心內(nèi)容是測試材料制作與測試方法問題。之前的研究雖多以合成音為測試材料的制作音源,但這些合成音仍是以某些真實樂器的聲音為基礎(chǔ)制作的,學者們在研究過程發(fā)現(xiàn)不同族類樂器具有不同的聲學屬性,這些屬性的不同帶來CI者音樂感知的不同表現(xiàn)。
Gfeller等研究中的刺激樣本涉及銅管、木管、擊撥弦與拉弦四個樂器族類,在131-1068Hz的頻率范圍內(nèi)劃分三個不同聲區(qū),由8位音樂家在錄音室錄制而成;在測試內(nèi)容上,該研究不僅包括常規(guī)的樂器音色辨別(音色的總體評價),還有被試對每種樂器音色總體愉悅感的測評內(nèi)容(音色的三維定性評價)。前者的測試結(jié)果是,CI組與NH組不同變量間具有顯著的交互作用,NH組對弦樂的感知明顯強于CI組,NH組對對低音樂器感知較好,CI組對低音木管樂器月弦樂器感知更好;后者使用三個視覺模擬標尺在暗淡-明亮、密集-離散、豐滿-空洞三組音色描述形容詞之間做出自己的感知標記,結(jié)果顯示,相比NH組,CI組認為樂器最高頻率域的聲音聽起來更離散、缺少明亮;在樂器族類的組間不同的三個評價緯度上,CI者均認為弦樂器族的音質(zhì)更糟糕。
Nimmons等人采用咨詢專家與借鑒前人研究經(jīng)驗相結(jié)合的方法,在測試中選擇包括4個主要樂器族類的樂器聲:固定音高打擊樂器選用鋼琴為其代表樂器,弦樂選小提琴、大提琴與聲學吉他,銅管類選用小號,木管類選用長笛、單簧管與薩克斯。CI者音色識別得分范圍21%-54%,平均49%,SD=11%。吉他識別率最高64%(Gfeller認為鋼琴的識別率最高),長笛最低31%;長笛最易被誤認為是大提琴;木管樂器組內(nèi)錯誤率較高,常被CI誤選為銅管或弦樂器,而不是選擇其他木管樂器。
上述測試體系不論采用合成音色還是選用真實樂器,都是以西洋樂器為測試材料,沒有設(shè)置國人相對熟悉的民族樂器。對于國內(nèi)CI者而言,對樂器音色的熟悉程度顯然很大程度上影響著測試結(jié)果。即使對于基本沒有音樂背景的國內(nèi)參與者而言,學習識別西洋樂器與我國民族樂器有無差異,也是一個值得關(guān)注的有趣問題。
節(jié)奏線索有助于對熟悉旋律的識別,CI者對節(jié)奏的感知接近于NH,CI使用者在節(jié)奏感知任務(wù)上的表現(xiàn)要遠高于其音高感知任務(wù)的表現(xiàn),這些觀點已被大量文獻作為常識而加以使用。Cooper等在一項運用MBEA的研究中,運用不改變對比旋律的音符音高,僅改變相鄰音符時值,與僅改變旋律的節(jié)奏分組,而不改變小節(jié)或音符數(shù)的方法進行節(jié)奏與小節(jié)的測試。Nimmons、Gfeller、Drennan與平利川等對于節(jié)奏感知的評測主要運用在熟悉旋律識別的任務(wù)中,對比熟悉旋律節(jié)奏線索抽出與否時的感知情況,判斷節(jié)奏線索對感知的作用。
雖然多數(shù)研究認為CI者節(jié)奏感知近乎常人,但必須強調(diào)的是,這些研究結(jié)論均在節(jié)奏簡單任務(wù)條件下獲得,這種簡單任務(wù)的敏感性不足以揭示CI者節(jié)奏感知的局限。Kim I與Yang E等在內(nèi)在節(jié)奏時鐘概念上,設(shè)計一個針對CI節(jié)奏感知的任務(wù),此任務(wù)超越了簡單模式識別的時閾處理或速度區(qū)分;他們在三種不同速度條件下,每小節(jié)用小軍鼓或白噪聲設(shè)置四個聲音刺激,其中前三個完全等時,第四個或稍快、或合拍、或稍慢,采用三選一的方式,要求被試指出給定刺激的第四拍屬于上述哪種情況,并在統(tǒng)計所有響應(yīng)后,計算出被試對速度細微變化的感知情況[19,20]。
CI者對速度變化的感知,理論上也存在一個最小差別閾限,這也是CI者音樂感知狀況研究重要議題之一。
近年來,國內(nèi)學者在漢語聲調(diào)感知的基礎(chǔ)上,在CI者音樂感知領(lǐng)域也做出了一些開創(chuàng)性的工作[21]。如對CI者音樂感知能力的關(guān)注[22-25],以及建立在相關(guān)音樂感知測試組上的感知能力測評等[26]。此類研究大多借鑒歐美測試評估材料與方法,對我國CI者、尤其是成人語后聾患者的音樂感知能力做出初步評價,探索了此類人群音樂感知的總體特征,為繼續(xù)開展此項研究奠定了很好的基礎(chǔ)。但到目前為止,CI者音樂感知測試材料的本土化(如選用我國傳統(tǒng)樂器與樂曲)、測試內(nèi)容的模塊化與精細化程度的不足,仍是我們的短板所在。
簡言之,在當前言語交流能夠基本得到保證的情況下,努力在人工耳蝸硬件設(shè)備、處理軟件等方面進行積極探索,以讓CI者如正常聽力人群一樣擁有欣賞音樂、享受音樂的權(quán)利為目的,是提升此類人群生活質(zhì)量的重要手段,也是借由音樂欣賞與訓(xùn)練提升CI者言語表達能力的有益嘗試。對CI者音樂各層面、各屬性的感知狀況加以測評,分析其感知特性點與規(guī)律,則是做好這方面工作的必要前提。
1Nimmons G L,Kang R S,Drennan W R,et al.Clinical assessment of music perception in cochlear implant listeners[Z].Otol Neurotol.2008:29,149-155.
2Drennan W R,Rubinstein J T.Music perception in cochlear implant users and its relationship with psychophysical capabilities[J].J Rehabil Res Dev.2008,45(5):779-789.
3Kang R,Nimmons G L,Drennan W,et al.Development and validation of the University of Washington Clinical Assessment of Music Perception test[J].Ear Hear.2009,30(4):411-418.
4Jung K H,Cho Y S,Cho J K,et al.Clinical assessment of music perception in Korean cochlear implant listeners[J].Acta Otolaryngol. 2010,130(6):716-723.
5平利川,原猛,郗昕,等.人工耳蝸使用者音樂感知評估系統(tǒng)的設(shè)計[J].聲學技術(shù).2010(05):512-517.
6Brockmeier S J,F(xiàn)itzgerald D,Searle O,et al.The MuSIC perception test:a novel battery for testing music perception of cochlear implant users[J].Cochlear Implants Int.2011,12(1):10-20.
7Gfeller K,Lansing C R.Melodic,rhythmic,and timbral perception of adult cochlear implant users[J].J Speech Hear Res.1991,34(4):916-920.
8Gfeller K,Woodworth G,Robin D A,et al.Perception of rhythmic and sequential pitch patterns by normally hearing adults and adult cochlear implant users[J].Ear Hear.1997,18(3):252-260.
9Lassaletta L,Castro A,Bastarrica M,et al.Changes in listening habits and quality of musical sound after cochlear implantation[J].Otolaryngol Head Neck Surg.2008,138(3):363-367.
10Spitzer J B,Mancuso D,Cheng M Y.Development of a clinical test of musical perception:appreciation of music in cochlear implantees (AMICI)[J].J Am Acad Audiol.2008,19(1):56-81.
11Cheng M Y,Spitzer J B,Shafiro V,et al.Reliability measure of a clinical test:Appreciation of Music in Cochlear Implantees(AMICI)[J].J Am Acad Audiol.2013,24(10):969-979.
12Law L N,Zentner M.Assessing musical abilities objectively:construction and validation of the profile of music perception skills[J].
PLoS One.2012,7(12):e52508.
13Cooper W B,Tobey E,Loizou P C.Music perception by cochlear implant and normal hearing listeners as measured by the Montreal Battery for Evaluation of Amusia[J].Ear Hear.2008,29(4):618-626.
14Wright R,Uchanski R M.Music perception and appraisal:cochlear implant users and simulated cochlear implant listening[J].J Am Acad Audiol.2012,23(5):350-365,379.
15Gfeller K,Witt S,Woodworth G,et al.Effects of frequency,instrumental family,and cochlear implant type on timbre recognition and appraisal[J].Ann Otol Rhinol Laryngol.2002,111(4):349-356.
16Gfeller K,Jiang D,Oleson J J,et al.The effects of musical and linguistic components in recognition of real-world musical excerpts by cochlear implant recipients and normal-hearing adults[J].J Music Ther.2012,49(1):68-101.
17Meister H,Landwehr M,Lang-Roth R,et al.Examination of spectral timbre cues and musical instrument identification in cochlear implant recipients[J].Cochlear Implants Int.2014,15(2):78-86.
18 Lu T,Huang J,Zeng F G.Accurate guitar tuning by cochlear implant musicians[J].PLoS One.2014,9(3):e92454.
19 Kim I,Yang E,Donnelly P J,et al.Preservation of rhythmic clocking in cochlear implant users:a study of isochronous versus anisochronous beat detection[J].Trends Amplif.2010,14(3):164-169.
20Limb C J,Rubinstein J T.Current research on music perception in cochlear implant users[J].Otolaryngol Clin North Am.2012,45(1):129-140.
21劉博.人工耳蝸植入者的聲調(diào)研究與評價[J].中國醫(yī)學文摘(耳鼻咽喉科學).2009(05):260-261.
22馮海泓,原猛,陳友元.人工耳蝸植入者音樂感知研究[J].聲學技術(shù).2012(01):53-60.
23鄭妍,劉博.人工耳蝸植入者聲調(diào)識別及音樂感知的研究現(xiàn)狀[J].中國聽力語言康復(fù)科學雜志.2008(01):31-33.
24王碩,董瑞娟,李靖,等.語后聾人工耳蝸植入患者音樂音調(diào)感知能力的評價[J].聽力學及言語疾病雜志.2012(06):569-573.
25馮永,蔡鑫章,賀楚峰,等.人工耳蝸植入者音樂感知能力的初步研究[J].聽力學及言語疾病雜志.2004(06):378-380.
26董瑞娟,王碩,周蕓,等.音樂評估系統(tǒng)MuSIC的正常值研究[J].臨床耳鼻咽喉頭頸外科雜志.2013(13):712-716.
Contemporary Research on Music Perception in Cochlear Implant Users
QU Ge,YANG Shiming,YU Ping,LI Jianan
Department of Otolaryngology Head&Neck Surgery,Chinese PLA Institute of Otolaryngology,Chinese PLA General Hospital,The people's liberation army general hospital otolaryngology institute,Beijing 100853,China Corresponding author:YANG ShimingEmail:yangsm301@263.com
In cochlear implant users,appropriate evaluation of their perceptive abilities of various aspects of music is an indispensable prerequisite to understand their music perception characteristics,study the rules of their musical awareness,and improve their musical perceptive abilities.Based on the characteristics of music and corresponding physical properties,this paper reviews relevant literatures on music perception related to cochlear implant in the world,including current evaluation systems,test materials,music tone properties(pitch,timbre,duration,etc),and summarizes the success and the deficiencies in current research.On this basis,further studies are proposed in view of current problems.
Cochlear implant;Music perception;Pitch;Timbre;Musical interval;Harmony
R764.5
A
1672-2922(2015)04-646-4
2015-10-22審核人:劉軍)
·聽力語言康復(fù)評估專輯·
10.3969/j.issn.1672-2922.2015.04.017
軍隊重點項目(項目編號:BWS14J045)
屈歌,博士,講師,研究方向:音樂感知與認知,嗓音障礙康復(fù)
楊仕明,Email:yangsm301@263.com