石涯　王永華　李文靖

?

·聽力康復(fù)·

唇讀對(duì)聽障兒童語音識(shí)別的幫助作用

石涯1王永華1李文靖2

目的運(yùn)用McGurk效應(yīng)范式材料，探究唇讀對(duì)聽障兒童語音識(shí)別的幫助作用。方法實(shí)驗(yàn)組選擇雙耳重度語前聾且雙耳接受助聽器補(bǔ)償?shù)膬和?6例(10～12歲，平均11.82±1.54歲)，對(duì)照組為聽力正常兒童36例(10～13歲，平均11.23±1.75歲)。McGurk效應(yīng)范式測(cè)聽材料由音頻和視頻組成，音頻包括/ba/、/da/、/bi/、/di/、/bu/、/du/ 6個(gè)刺激音，視頻內(nèi)容為6個(gè)音發(fā)音時(shí)的完整圖像資料，經(jīng)軟件處理，在純聽、視聽一致、視聽不一致三種條件下，測(cè)試兩組受試者的聽覺反應(yīng)正確率。結(jié)果實(shí)驗(yàn)組在純聽、視聽一致、視聽不一致條件下的聽覺反應(yīng)正確率分別為71.23%±19.20%、96.13%±7.10%、11.12%±16.20%，對(duì)照組分別為93.15%±10.02%、96.21%±11.12%、54.03%±23.41%，兩組受試者聽覺反應(yīng)正確率均依次降低。視聽不一致條件下測(cè)聽時(shí)，正常兒童聽覺反應(yīng)所占比例(54.04%±23.23%)顯著高于聽障兒童(11.47%±16.32%)(P<0.05)。結(jié)論視聽結(jié)合是最佳聆聽條件，唇讀對(duì)聽障兒童語音識(shí)別有幫助作用。

聽障兒童；唇讀；語音識(shí)別

社會(huì)各界對(duì)聾兒康復(fù)訓(xùn)練中是否可以使用唇讀態(tài)度不一,聽覺口語學(xué)家 Doreen Pollack強(qiáng)調(diào)避開視覺線索，讓孩子成真正的“聽覺學(xué)習(xí)者”;也有學(xué)者認(rèn)為，“遮口”等方式僅在聽語初期(未養(yǎng)成聆聽習(xí)慣時(shí))使用[1]，視覺線索既可以讓兒童與對(duì)話者有眼神交流也可幫助他們理解新知識(shí)。

McGurk效應(yīng)[2]在1976年首次被提出，指當(dāng)視覺刺激與聽覺刺激同時(shí)出現(xiàn)但又相互沖突時(shí)，聽者對(duì)聲音識(shí)別出現(xiàn)偏差的現(xiàn)象，其一直被認(rèn)為是研究言語感知中多感官整合的良好工具[3]，在閱讀困難[4]、自閉癥[5～7]及語言學(xué)習(xí)障礙[8]等方面的研究中均有應(yīng)用。本研究擬通過使用McGurk效應(yīng)范式測(cè)聽材料，測(cè)試正常兒童與聽障兒童在純聽、視聽一致、視聽不一致三種條件下聽覺反應(yīng)的正確率，為正確認(rèn)識(shí)唇讀對(duì)聽障兒童語音識(shí)別的幫助提供一定依據(jù)。

1　資料與方法

1.1研究對(duì)象及分組受試者均為學(xué)齡期兒童，實(shí)驗(yàn)組為雙耳重度語前聾兒童36例，其中女16例，男20例，年齡10～12歲，平均11.82±1.54歲；助聽器選配年齡在2歲以內(nèi)并及時(shí)進(jìn)行語訓(xùn)兩年以上，已進(jìn)入正常小學(xué)學(xué)習(xí)，均無其他器質(zhì)性病變及發(fā)育異常，雙耳佩戴助聽器，雙耳助聽器型號(hào)相同，均使用同一品牌同一系列全數(shù)字助聽器，10或15通道，雙耳0.25～4 kHz助聽聽閾頻率30～50 dB HL，雙耳鼓室圖均正常。對(duì)照組為正常兒童36例，雙耳0.25～4 kHz各頻率氣導(dǎo)聽閾均小于20 dB HL，雙耳鼓室圖均正常，男女各半，年齡10～13歲，平均11.23±1.75歲。測(cè)試期間所有受試者身體狀態(tài)良好。

1.2McGurk效應(yīng)范式測(cè)聽材料的制作McGurk效應(yīng)范式測(cè)聽材料為輔音/b/、g/、/d/與元音/i/、/a/、/u/組合的輔音+元音(CV)結(jié)構(gòu)的單音節(jié)，其中，純聽條件包括：/ba/、/da/、/bi/、/di/、/bu/、/du/ 6個(gè)刺激聲，每個(gè)刺激聲重復(fù)5遍；視聽一致及不一致條件下分別有6個(gè)刺激聲，每個(gè)刺激亦重復(fù)5遍，見表1。

表1　視聽一致和視聽不一致條件下聽到聲音及看到口形的刺激聲

測(cè)聽材料的不同音節(jié)均由男性播音員朗讀，使用專業(yè)設(shè)備采集圖像和音頻，圖像的采樣頻率及大小分別為25 f/s，352 mm×288 mm，音頻的采樣頻率為44 kHz。每個(gè)音節(jié)的圖像完整，包括發(fā)音前后表情靜止的部分，播音者面部表情全程保持中性、一致。將圖像中所有刺激切割成時(shí)長約300 ms的單個(gè)刺激，使用Audition2.0對(duì)音頻進(jìn)行平滑、去噪、統(tǒng)整音高等處理；合成視聽不一致刺激時(shí)，保證不匹配的口形與原音頻的發(fā)音口形完全對(duì)應(yīng)[9]。

1.3聽覺反應(yīng)的測(cè)試方法測(cè)試在本底噪聲低于35 dB A的標(biāo)準(zhǔn)隔聲室內(nèi)進(jìn)行，受試者坐在屏幕正前方約65 cm處，揚(yáng)聲器位于屏幕后方，與受試者呈0°，要求受試者始終注視屏幕；測(cè)試過程中，實(shí)驗(yàn)組雙耳助聽器始終處于工作狀態(tài)。測(cè)試材料的播放聲強(qiáng)為受試者表示“聲音大但可以接受”，受試者保持注意力集中，大聲清楚地說出自己聽到的音節(jié)，操作者及時(shí)記錄受試者在三種測(cè)試條件下的反應(yīng)。每種測(cè)試條件下，受試者必須在音頻結(jié)束后1 500 ms內(nèi)做出反應(yīng)，反應(yīng)后播放下一個(gè)音節(jié)；如果受試者無法做出反應(yīng)，500 ms后呈現(xiàn)下一刺激。

1.4測(cè)試結(jié)果的記錄記錄及編碼均由同一名操作者完成。純聽和視聽一致條件下，編碼“1”代表受試者正確報(bào)告聽到的刺激聲，否則計(jì)為“0”。視聽不一致條件下，分5種不同的反應(yīng)類型：編碼“1”代表“聽覺反應(yīng)”，即受試者正確報(bào)告了聽到的刺激聲；編碼“2”代表“視覺反應(yīng)”，即受試者報(bào)告了看到的刺激聲；編碼“3”代表“融合反應(yīng)”(如：當(dāng)口形是/ga/，聲音是/ba/時(shí)，受試者報(bào)告聽到/da/，這被稱為“融合反應(yīng)”)即受試者報(bào)告了不同于任何一個(gè)單一刺激聲的反應(yīng)；編碼“4”代表“結(jié)合反應(yīng)”(如：當(dāng)口形是/ba/，聲音是/da/時(shí)，受試者報(bào)告聽到/bda/，這被稱為“結(jié)合反應(yīng)”)即受試者把視覺和聽覺的信息結(jié)合在一起產(chǎn)生的反應(yīng)；其他反應(yīng)均記為“5”(除以上四種反應(yīng)以外的所有反應(yīng)，如受試者報(bào)告聽到/a/，以及受試者在規(guī)定時(shí)間內(nèi)無法做出回應(yīng)，均被稱為“其他反應(yīng)”)。對(duì)“融合反應(yīng)”和“結(jié)合反應(yīng)”的判斷根據(jù)輔音部分，例如口形是/ga/、聲音是/ba/的刺激聲，如果受試者的反應(yīng)是/be/，也記為“1”[9]。

1.5統(tǒng)計(jì)學(xué)方法采用SPSS19.0統(tǒng)計(jì)軟件對(duì)數(shù)據(jù)進(jìn)行錄入和統(tǒng)計(jì)。純聽和視聽一致條件下聽覺反應(yīng)正確率計(jì)算方法：聽覺反應(yīng)正確的個(gè)數(shù)/總刺激數(shù)6×100%，計(jì)算所得錄入系統(tǒng)，使用兩因素重復(fù)測(cè)量方差分析進(jìn)行統(tǒng)計(jì)。視聽不一致條件下，先將所有反應(yīng)類型同上述方法行頻數(shù)化(每種反應(yīng)的個(gè)數(shù)/總刺激數(shù)6×100%)，再使用卡方檢驗(yàn)，比較各反應(yīng)類型所占的比例(構(gòu)成比)。

2　結(jié)果

2.1兩組兒童三種條件下的聽覺反應(yīng)實(shí)驗(yàn)組及對(duì)照組兒童在純聽、視聽一致、視聽不一致條件下聽覺反應(yīng)的平均正確率見表2。

表2　兩組兒童在三種條件下聽覺反應(yīng)的平均正確率±s)

對(duì)被試內(nèi)變量(實(shí)驗(yàn)條件)的球形檢驗(yàn)結(jié)果顯著(χ2=19.86，P<0.01)，說明數(shù)據(jù)不符合球形假設(shè)，所以以下報(bào)告的各實(shí)驗(yàn)條件的主效應(yīng)以及實(shí)驗(yàn)條件和聽力情況的交互作用都經(jīng)過了Greenhouse校正，校正系數(shù)Epsilon=0.800。聽力情況和實(shí)驗(yàn)條件的兩因素重復(fù)測(cè)量方差分析發(fā)現(xiàn)，聽力情況的主效應(yīng)顯著(F=348.96，P<0.01)，說明聽力正常兒童和聽力障礙兒童在三種條件下聽覺反應(yīng)的正確率均有顯著性差異，即他們單音節(jié)加工中受視覺言語的影響作用不同。實(shí)驗(yàn)條件的主效應(yīng)顯著(F=98.68，P<0.01)，聽力情況和實(shí)驗(yàn)條件的交互作用顯著(F=36.74，P<0.01) ，說明聽覺反應(yīng)的正確率受實(shí)驗(yàn)條件和自身聽力情況的影響。

對(duì)實(shí)驗(yàn)條件的進(jìn)一步事后檢驗(yàn)(Post Hoc) 發(fā)現(xiàn)，受試者在視聽一致條件下的聽覺反應(yīng)正確率顯著高于純聽(P<0.01) 和視聽不一致條件(P<0.01)，純聽條件下的反應(yīng)正確率又顯著高于視聽不一致條件(P<0.01)，說明，正常聽力兒童與聽力障礙兒童都表現(xiàn)出顯著的McGurk效應(yīng)。

2.2視聽不一致條件下兩組兒童的五種反應(yīng)類型比較兩組兒童在視聽不一致條件下測(cè)試時(shí)各類反應(yīng)所占的比例見表3，可見聽力正常兒童與聽力障礙兒童在視聽不一致條件下各反應(yīng)類型的頻數(shù)分布不同(χ2=87.13，P<0.01)，進(jìn)一步對(duì)兩組兒童的五種反應(yīng)類型進(jìn)行分析，可見聽力正常兒童聽覺反應(yīng)所占的比例明顯高于聽力障礙兒童(P<0.01)；而聽力障礙兒童視覺反應(yīng)類型和其他反應(yīng)類型的所占比例要明顯高于聽力正常兒童(P<0.01)；但兩組兒童融合反應(yīng)和結(jié)合反應(yīng)的所占比例差異無統(tǒng)計(jì)學(xué)意義(P>0.05)。

表3　視聽不一致條件下兩組兒童各類反應(yīng)所占比例±s)

3　討論

3.1視聽結(jié)合是最佳的聆聽條件聽障兒童在純聽、視聽一致及視聽不一致條件下聽覺反應(yīng)的正確率都反應(yīng)了他們對(duì)于單音節(jié)的聽覺辨別能力。從本文結(jié)果可以看出，兩組受試者均在視聽一致條件下的聽覺反應(yīng)正確率最高，視聽不一致條件下最低。聽障兒童視聽一致條件下的平均正確率約為96.13%，純聽條件下的平均正確率為71.23%，前者較后者提高24.99%，有顯著差異，且比正常組提高明顯(正常組平均正確率提高3.06%)，說明唇讀是語音識(shí)別過程中的重要補(bǔ)償，對(duì)聽障患者尤為重要。

發(fā)展理論強(qiáng)調(diào)早期環(huán)境對(duì)感覺通道機(jī)能正常發(fā)育的重要性，言語感知是聽覺信息與視覺信息整合的過程[10]，即使在助聽設(shè)備的幫助下，聽障患者也難以得到完整的聽覺信息，仍需依賴視覺信息的輔助作用。雷江華[11]、Hirano[12]、Eisenberg[13]的研究都發(fā)現(xiàn)，視聽一致是最佳的聆聽條件。Shigeru[14]對(duì)兩例語前聾人工耳蝸植入患者的研究發(fā)現(xiàn)，同時(shí)使用人工耳蝸和唇讀時(shí)，其言語識(shí)別率分別達(dá)到了89.2%和92%。國內(nèi)亦有學(xué)者研究得出唇讀信息對(duì)提高聽障者噪聲下言語識(shí)別能力的幫助作用尤為顯著[15]，近年來，國外又重新將唇讀列入聽力康復(fù)的訓(xùn)練內(nèi)容。

語訓(xùn)可以幫助聽障兒童養(yǎng)成聆聽習(xí)慣，形成口語能力。隨著聽障兒童年齡增長，新知識(shí)輸入量變大，生活環(huán)境更加復(fù)雜，家長可以鼓勵(lì)他們，在感覺聆聽困難時(shí)主動(dòng)利用唇讀信息作為聽說交往中的有效補(bǔ)充，在提高語音識(shí)別能力的同時(shí)，還能表現(xiàn)出對(duì)說話者的尊重，構(gòu)建良好的人際關(guān)系。

3.2視、聽皮層發(fā)育的差異文中結(jié)果顯示視聽不一致條件下，兩組受試者都發(fā)生了McGurk效應(yīng)，與Clémence Bayard[16]的研究結(jié)果一致，但正常兒童的聽覺反應(yīng)明顯好于聽障兒童，視覺反應(yīng)則相反。用信息傳輸接替模型[17]解釋為聽覺皮層與視覺皮層信息得到整合，這種差異的出現(xiàn)說明正常兒童更傾向于使用聽到的信息，聽障兒童更傾向于使用看到的信息。雷江華等[11]、Finney等[18]通過fMRI技術(shù)，分別檢測(cè)無聲唇讀刺激對(duì)語前聾患者和正常人聽覺皮層的激活情況，結(jié)果顯示，語前聾患者的右側(cè)聽皮層區(qū)出現(xiàn)了明顯的激活，即無聲唇讀輸入會(huì)激活先天性聾患者的聽覺皮層。有學(xué)者認(rèn)為這種現(xiàn)象只在早期重度聾患者中發(fā)生，是一種視覺皮層“占領(lǐng)”聽覺皮層的現(xiàn)象，且唇讀信息輸入會(huì)主動(dòng)重塑聽覺皮層內(nèi)原有的神經(jīng)回路，時(shí)間越久“占領(lǐng)”越穩(wěn)固，但具體時(shí)間仍無定論[19]，聽覺皮層發(fā)育受限使得聽障兒童較正常兒童更依賴于唇讀、觸覺等信息。

聽覺皮層發(fā)育受限、助聽器功能限制等客觀原因使聽障兒童雖然配戴了助聽器但還需注視對(duì)方講話時(shí)的唇形才能分辨聲音、了解語意。聽障兒童接受助聽并進(jìn)入正常學(xué)校后，學(xué)生多，學(xué)習(xí)環(huán)境嘈雜，教師課堂語速較快，使其學(xué)習(xí)困難更加明顯，此時(shí)，家長既可以與教師溝通讓聽障兒童坐在中間靠前的位置，也要告訴其聽聲吃力時(shí)可以看教師口型進(jìn)行有效輔助。

聽障兒童聽覺康復(fù)的有效措施之一便是配戴助聽設(shè)備，王娜等[20]認(rèn)為，改善助聽后聽閾是聽障兒童聽覺能力康復(fù)的有效途徑。文中所有受試者均使用全數(shù)字助聽器，助聽后效果已達(dá)最適，且及時(shí)進(jìn)行了語訓(xùn)和發(fā)音矯正，但聽覺皮層發(fā)育受限、助聽器功能限制等原因仍是聽障兒童與正常兒童語音識(shí)別差異的重要原因，即使是高質(zhì)量的數(shù)字助聽器和嚴(yán)格的語訓(xùn)也無法完全取代唇讀的重要作用。因此，適當(dāng)訓(xùn)練聽障兒童的唇讀能力，幫助他們適應(yīng)日常生活中各種復(fù)雜的交流環(huán)境，有利于進(jìn)一步提高其言語識(shí)別率，幫助他們逐漸回歸主流社會(huì)。

1陳軍蘭，董蓓，張莉.聽覺口語訓(xùn)練課程中常用的教學(xué)技巧[J].中國聽力語言康復(fù)科學(xué)雜志，2013,11：428.

2McGurk H, MacDonald J. Hearing lips and seeing voices[J].Nature , 1976, 264: 746.

3Tiippana K. What is the McGurk effect[J]?Frontiers in Psychology , 2014, 5: 22.

4Bastien-Toniazzo M, Stroumza A, Cav C. Audio-visual perception and integration in developmental dyslexia:an exploratory study using the McGurk effect[J]. Current Psychology Letters, 2009, 25: 2.

5Mongillo E, Irwin J, Whalen D. Audiovisual processing in children with and without autism spectrum disorders[J]. Journal of Autism and Developmental Disorders, 2008, 38: 1349.

6Taylor N, Isaac C, Milne E. A comparison of the development of audiovisual integration in children with autism spectrum disorders and typically developing children[J]. Journal of Autism and Developmental Disorders , 2010, 40: 1403.

7Williams JHG, Massarob DW, Peela NJ. Visual auditory integration during speech imitation in autism[J]. Research in Developmental Disabilities , 2004, 25: 559.

8Norrix L,Plante E,Vance R. Auditory-visual speech integration by adults with and without language-learning disabilities[J]. Journal of Communication Disorders , 2006, 39: 22.

9李燕芳，梅磊磊，董奇，等．漢語母語者視聽雙通道言語知覺的特點(diǎn)及發(fā)展研究[J]．心理發(fā)展與教育,2008，24：43.

10Lickliter R,Bahrick LE.The development of infant intersensory perception: advantage of a comparative convergent operation approach[J]. Psychological Bulletin, 2000, 126: 260.

11雷江華，方俊明，王偉忠，等．聽障學(xué)生唇讀語音識(shí)別視聽通道效應(yīng)的實(shí)驗(yàn)研究[J]．心理科學(xué)，2008,31: 312.

12Hirano S, Naito Y, Kojima H, et al. Functional differentiation of the auditory association area in prelingually feaf subjuecta[J]. Auris Nasus Larynx，2000，2：303.

13Eisenberg LS, Martinez AS, Boothroyd A. Auditory-visual and auditory-only phonetic contrasts in children[J]. The Voltan Review, 2004, 103: 327.

14Hirano S, Naito Y, Kojima H, et al. Functional differentiation of the auditory association area in prelingually deaf subjects[J]. Auris Nasus Larynx, 2000, 27: 303.

15李文靖，王永華，王楓，等. 唇讀信息對(duì)聽力損失患者語句識(shí)別的影響[J]. 聽力學(xué)與言語疾病雜志，2014，22: 187.

16Bayard C, Colin C, Leybaert J. How is the McGurk effect modulated by Cued Speech in[J]. Frontiers in Psychology, 2014, 19: 24.

17 Ingrid R, Olson J, Chritopher K, et al. A comparison of bound and unbound audio-visual information processing in the human cerebral cortex[J]. Cognitive Brain Research, 2002, 14:129.

18Finney EM, Fine I, Dobkins KR. Visual stimuli activate auditory cortex in the deaf[J]. Nature Neuroscience, 2001, 12:1171.

19張明，陳騏. 聽覺障礙人群的皮層可塑性[J].中國特殊教育，2003，4：43.

20王娜，杜巧新. 聽障兒童聽覺言語能力影響因素的研究[J]. 中國康復(fù)理論與實(shí)踐,2011，17：372.

(2015-10-29收稿)

(本文編輯李翠娥)

The Role of Lip-Reading for Hearing-impaired Children in Phonetic Identification

Shi Ya*， Wang Yonghua，Li Wenjing

(*Zhejiang Chinese Medical University， Hangzhou， 310053，China )

ObjectiveUse McGurk effect paradigm materials to explore the role of lip-Reading for hearing-impaired children in phonetic identification.MethodsThirty-six severe prelingually hearing-impaired children and thirty-six normal healthy children(binaural PTA≤20 dB HL) were recruited in the study. The test material was composed of audio and video, including /ba/, /da/, /bi/, /di/, /bu/, /du/ six stimulation sounds which were video recorded as pronounced. Under 3 different conditions, the two groups were evaluated for the accuracy of auditory responses.ResultsThe accuracy of auditory responses of hearing-impaired children group was 0.71±0.19,0.96±0.07,0.11±0.16 for auditory-only mode,audio-visual consistent mode and audio-visual inconsistent mode, respectively, 0.93±0.10,0.96±0.11,0.54±0.23 for normal hearing children in auditory-only mode,audio-visual consistent mode and audio-visual inconsistent mode, respectively.ConclusionThe Audio-visual consistent mode is the best one and the lip-reading can help hearing-impaired children in phonetic identification.

Hearings-impaired children; Lip-reading;Phonetic identification

1浙江中醫(yī)藥大學(xué)(杭州310053)；2山東省立醫(yī)院集團(tuán)眼耳鼻喉醫(yī)院

石涯，女，安徽人，碩士研究生，主要研究方向?yàn)槎@康復(fù)。

王永華(Email:wangyh@vip.sina.com)

10.3969/j.issn.1006-7299.2016.05.015

H018.4

A

1006-7299(2016)05-0482-04

網(wǎng)絡(luò)出版時(shí)間：2016-6-2916：10

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/42.1391.R.20160629.1610.016.html