徐 誠(chéng)

(華東師范大學(xué)心理學(xué)系，上海 200062)

一、人類言語知覺的特殊方式

人類的言語知覺是一個(gè)多通道的感知過程，主要包括兩個(gè)部分:聲音線索的聽覺知覺和圖像線索的視覺知覺，它們都對(duì)人類的交流溝通起到了至關(guān)重要的作用。聾人因聽覺缺陷，部分或完全失去了聽覺信號(hào)的輸入和反饋，主要借助唇語和手語這類視覺信號(hào)進(jìn)行交流。盡管遜于受訓(xùn)過的聾人，但正常人也具備這項(xiàng)能力。

唇讀(Lip-reading)是人類言語活動(dòng)中非常特別的一種現(xiàn)象。對(duì)于聾人來說，唇讀是指“聾人利用視覺信息，感知言語的一種特殊方式和技能。看話人通過觀察說話人的口唇發(fā)音動(dòng)作、肌肉活動(dòng)及面部表情，形成連續(xù)的視知覺，并與頭腦中儲(chǔ)存的詞語表象相比較和聯(lián)系，進(jìn)而理解說話者的內(nèi)容”(樸永馨，1996，第203頁)。對(duì)于正常人來說，唇讀起到的更多是一種視覺上的輔助作用。人們?cè)诶斫馑酥v話內(nèi)容時(shí)不僅通過聲音來感受信息，而且還用眼睛觀察對(duì)方嘴型、表情等的變化，以期更準(zhǔn)確地理解對(duì)方講話的內(nèi)容(Dodd＆Campbell，1987)。唇讀亦作“讀話”(Speech-reading)，因?yàn)橄噍^于純粹的嘴唇運(yùn)動(dòng)，視覺信號(hào)更遍布于說話人的整個(gè)說話過程和面部運(yùn)動(dòng)。唇讀能力通常對(duì)聽覺障礙者極為重要，但只要考慮一下看音軌延遲的電影時(shí)由于聲音與唇動(dòng)的不同步對(duì)言語理解所產(chǎn)生的干擾就可以知道，唇動(dòng)的視覺線索對(duì)正常人的言語知覺也頗有影響，且當(dāng)聲音質(zhì)量較低或噪音較大時(shí)尤其如此(威肯斯＆霍蘭茲，2003，第277頁)。

言語知覺的視覺信號(hào)研究中，大多關(guān)注不同程度聽覺受損的聾人或者聾人與正常人在文字閱讀辨別和理解能力上的差異，而對(duì)同樣作為視覺信號(hào)的唇動(dòng)則涉足較少。故而，對(duì)于唇讀的言語知覺研究不僅有助于從一個(gè)獨(dú)特的角度探索人類言語的認(rèn)知加工過程，還可以了解如何借助視覺通道的信息補(bǔ)充聽覺通道的信息，以此提高人在生理缺陷(坂本幸，1990)或者噪音環(huán)境(Sumby＆Pollack，1954)下對(duì)言語信息的辨別和理解能力。

二、作為視覺信號(hào)對(duì)聾人或正常人言語知覺的影響

1.對(duì)聾人聽覺的補(bǔ)償作用

鑒于唇讀對(duì)聾人言語知覺的重要作用，許多研究以聾人為被試，以期了解聾人通過手語之外的視覺信號(hào)作為言語知覺途徑的特點(diǎn)，探討言語知覺的加工機(jī)制和聾人的康復(fù)訓(xùn)練。

聾人唇讀的效果至少受以下幾個(gè)因素影響:(1)個(gè)體的認(rèn)知能力，如工作記憶、語音編碼水平、視覺加工能力、補(bǔ)償機(jī)制、詞匯存儲(chǔ)系統(tǒng)等(R?nnberg et al.，1998);(2)情景因素，如句子中的情緒表達(dá)、句子長(zhǎng)短、談話情景、照明情況等(MacEachern，2000);(3)談話者因素，如談話者的生理特征、語速、唇讀者與談話者的距離、觀看的角度，以及與談話者的熟悉程度等(MacEachern，2000;雷江華，2005);(4)語言經(jīng)驗(yàn)，包括詞匯量的多少、語言的種類，以及因聽覺損失程度和類型、佩戴助聽器與否等方面導(dǎo)致的手語及口語的應(yīng)用程度(De Filippo＆Gottermeier，1995);(5)音素的可見性程度。為了區(qū)別唇讀過程中嘴型的視覺變化，F(xiàn)isher(1968)用視素(Viseme)來表示語音的視覺特征，分為元音視素和輔音視素。元音視素的可見性較高，而輔音視素是根據(jù)發(fā)音部位確定，比元音模糊(湯盛欽，曾凡林 ＆劉春玲，2000，第170頁)。

當(dāng)然，元音和輔音視素是對(duì)英語的劃分方法，對(duì)于漢語而言，視素一般由聲母、單韻母、復(fù)韻母組成。雷江華等人(2003，2004，2005a，2005b，2006，2008)以此為基礎(chǔ)對(duì)聾人學(xué)生進(jìn)行了一系列研究。以字詞和視素為兩個(gè)因素，雷等人(2004)發(fā)現(xiàn)單字條件下唇讀語音的正確率顯著高于詞語條件下唇讀首字語音的正確率，并且在唇讀過程中單韻母成績(jī)優(yōu)于復(fù)韻母，復(fù)韻母優(yōu)于聲母，證明詞長(zhǎng)效應(yīng)在漢語中存在，且不同視素對(duì)唇讀效果的影響顯著。在探討助聽器對(duì)于聾人唇讀漢語的作用中，其結(jié)果與Berstein(1998)一致:聽力輔助設(shè)備使用的頻率與唇讀技能顯著相關(guān)，越是經(jīng)常使用聽覺輔助設(shè)備其唇讀能力就越好。但這種影響只顯著表現(xiàn)在單韻母、復(fù)韻母識(shí)別上，說明助聽器的使用對(duì)聾人唇讀語音識(shí)別的影響受到視素與語音清晰度的制約(雷江華，甘琳琳＆方俊明，2006)。為研究視聽通道對(duì)于提高聾人言語理解能力的作用，雷等人(2008)又對(duì)佩戴助聽器的聽覺障礙兒童在視覺、聽覺和視聽條件下進(jìn)行了唇讀漢語的實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)視聽條件下的成績(jī)優(yōu)于視覺條件，視覺條件優(yōu)于聽覺條件，說明視聽通道效應(yīng)與視覺代償作用的存在。這與Summerfield(1992)的研究結(jié)果一致，即聽力障礙者能從視覺中得到更多線索，甚至可以達(dá)到等同聽覺的程度。

2.以正常人為對(duì)象的跨通道信息整合研究

在正常人的言語交流中視覺信號(hào)的使用(包括唇語和手勢(shì))也非常必要。唇動(dòng)的視覺信號(hào)常常攜帶可供區(qū)分的信息以加強(qiáng)言語信息的正確理解，這點(diǎn)在較強(qiáng)的噪音環(huán)境中尤為明顯(Sumby＆Pollack，1954)。正因如此，在現(xiàn)代計(jì)算機(jī)語音的識(shí)別系統(tǒng)中，唇讀作為語音識(shí)別的輔助手段引起了越來越多研究者的關(guān)注。Stork等人(1992)的研究表明，將唇讀輔以語音能有效地改善其TDNN系統(tǒng)的識(shí)別率，在噪聲環(huán)境下效果更明顯。

在針對(duì)聽力正常者的唇讀研究中，最著名的研究之一當(dāng)屬M(fèi)cGurk和MacDonald(1976)發(fā)現(xiàn)的McGurk效應(yīng)。McGurk效應(yīng)是言語知覺中的一種幻覺，研究者指出這種聽覺與視覺的交互作用能發(fā)生在一個(gè)發(fā)音看起來和聽起來不協(xié)調(diào)的條件下。例如，讓被試在看/ga/的唇動(dòng)視頻的同時(shí)聽/ba/的聲音刺激，然后報(bào)告實(shí)際聽到了什么發(fā)音。結(jié)果是，當(dāng)這兩種不一致的視聽刺激混合之后常常使人誤以為聽到的聲音是/da/。類似的，如果被試接受到的是/ka/的視頻和/pa/的聲音時(shí)，很容易將其誤認(rèn)為是/ta/的聲音。這項(xiàng)研究的重要意義在于，它以簡(jiǎn)單明了的方式直接展示了在正常人多感覺通道的信息整合過程中，各個(gè)通道的刺激信息是可以相互影響、相互作用的。在該實(shí)驗(yàn)中則體現(xiàn)為視聽通道信息之間的干擾作用，以至于生成了原先沒有的新的信息。

McGurk效應(yīng)常被用于研究言語信息的加工機(jī)制和跨通道信息整合。例如Michael等人(2004)的一項(xiàng)實(shí)驗(yàn)中，被試被要求觀看一些處理過的視頻，片中人物只有左半或右半嘴唇被一小塊白色方塊遮蔽。結(jié)果，當(dāng)右半嘴唇被遮蔽時(shí)McGurk效應(yīng)減弱，表明右半嘴唇對(duì)唇讀起到的作用更大，可能承載了更多言語的視覺信號(hào)。Vroomen和Stekelenburg(2011)則用McGurk效應(yīng)來研究被試是否將聲音辨別為人聲對(duì)不匹配視聽刺激信息整合的影響。聲音刺激材料由人聲錄制后經(jīng)計(jì)算機(jī)處理生成，一半被試被告知該聲音為人聲，另一半被試被告知該聲音為計(jì)算機(jī)生成的非人聲。結(jié)果相信其是人聲的被試在McGurk效應(yīng)中的整合效果要顯著高于將其認(rèn)為是非人聲的被試。

另一個(gè)著名的發(fā)現(xiàn)被稱為腹語術(shù)效應(yīng)(Ventriloquism Effect)。該效應(yīng)分為兩種，其一是空間腹語術(shù)效應(yīng)(Spatial Ventriloquism)(Bertelson，1999)。顧名思義，當(dāng)人們看到一個(gè)被腹語術(shù)師操縱的人偶做出說話動(dòng)作時(shí)，即使聲音是從其他方向傳來的，人們也會(huì)同樣認(rèn)為聲音確實(shí)是人偶發(fā)出的。再比如電影院的屏幕和音響在放置的位置上并不一致，但這并不影響人們正常觀看。該效應(yīng)提出在視覺和聽覺刺激信息的整合過程中，視覺信息占主導(dǎo)作用，削弱了聽覺信息對(duì)言語知覺的影響。其二被稱為時(shí)間腹語術(shù)效應(yīng)(Temporal Ventriloquism)，指當(dāng)視覺和聽覺刺激在時(shí)間上非同時(shí)呈現(xiàn)，即以約50～100ms的間隔先后出現(xiàn)時(shí)，人們?cè)谥饔^上仍會(huì)認(rèn)為它們是同時(shí)發(fā)生的(Gebhard＆Mowbray，1959)。感覺適當(dāng)性假設(shè)認(rèn)為，相對(duì)于在處理空間信息上的視覺主導(dǎo)作用，個(gè)體在處理時(shí)間信息上則是聽覺占了主導(dǎo)作用(Welch＆Warren，1980)。

三、唇讀的神經(jīng)機(jī)制和理論模型

目前有關(guān)聾人唇讀的神經(jīng)生理學(xué)研究主要通過腦功能成像等技術(shù)來探討聾人唇讀的神經(jīng)生理機(jī)制以及和正常人的比較。MacSweeney等人(2000，2001，2002)對(duì)先天聾人和正常人的fMRI研究表明，正常被試在唇讀過程中持續(xù)激活左顳區(qū)，包括主次聽覺皮層的聯(lián)結(jié)處(BA41/42)。而聾人被試并不系統(tǒng)地使用以上區(qū)域。研究者認(rèn)為，由于言語經(jīng)驗(yàn)的不同，正常人的左顳上溝負(fù)責(zé)管理和調(diào)節(jié)視聽言語整合。而對(duì)于先天聾人而言，因其從未處于同時(shí)性視聽言語情境中，所以他們可能不具備這種跨通道的整合系統(tǒng)。此外，在聾人的唇讀過程中，后部扣帶皮層負(fù)責(zé)將已存儲(chǔ)的語言知識(shí)與外部輸入的言語視覺信號(hào)刺激整合。記憶在聾人唇讀過程中起重要作用，聾人由于缺乏聽覺信號(hào)的輸入和反饋，因而在任何難度水平的任務(wù)中都使用自上而下的加工系統(tǒng)以提高言語知覺和理解的精確度。相對(duì)的，正常人可能只在更困難的言語加工情境下，如處于噪音環(huán)境中才使用這個(gè)系統(tǒng)。

雷江華、方俊明(2005)分析了唇讀的兩個(gè)代表性理論:特定區(qū)域整合模型和信息傳輸接替模型。特定區(qū)域整合模型強(qiáng)調(diào)了聾人唇讀是由特定大腦皮層加工(如STS、后扣帶回等)的結(jié)果，聽覺皮層并沒有參與視覺語言認(rèn)知加工過程。上述MacSweeney等人(2002)的研究結(jié)果支持這一點(diǎn)，即正常人唇讀時(shí)在左側(cè)顳皮層的聽覺語言加工感受區(qū)有著廣泛激活，聾人則沒有。信息傳輸接替模型強(qiáng)調(diào)了加工單一感覺刺激(如單通道刺激)的神經(jīng)中樞與加工多通道刺激信息的區(qū)域一樣，且每一種感覺刺激通過皮下層的連接區(qū)域(subcortical relay area)可以到達(dá)其他感覺皮層。Hirano等人(2000)研究發(fā)現(xiàn)，盡管語前致聾聾人的A2區(qū)域能被激活，但使其激活的刺激通道有差別。兩名兒童期掌握了唇讀的語前致聾聾童在植入人工耳蝸后并未發(fā)展A2區(qū)對(duì)聽覺刺激的加工功能，但唇讀能激活A(yù)2區(qū)域。一名10歲時(shí)植入人工耳蝸的語前致聾聾童，此前并沒有掌握唇讀或手語這類視覺語言，運(yùn)用人工耳蝸培訓(xùn)其聽覺能力1年零1個(gè)月后，A2區(qū)域獲得了口語的聽覺加工功能，但唇讀能力并沒有得到提高。這表明皮層修復(fù)發(fā)生了，且通過運(yùn)用人工耳蝸，該聾人A2區(qū)域成功地獲得了聽覺加工功能?？梢?，聾人的聽覺皮層具有可塑性，早期的語言經(jīng)驗(yàn)對(duì)言語加工神經(jīng)通路的建立具有很大的影響。雷江華等人(2005)認(rèn)為，已有研究成果對(duì)聾人唇讀大腦機(jī)制存在分歧，但越來越多的研究證據(jù)支持信息傳輸接替模型。聾人聽覺皮層的功能差異說明大腦神經(jīng)回路的形成與語言環(huán)境有密切的關(guān)系，表明聽覺皮層具有可塑性。

四、簡(jiǎn)評(píng)與展望

1.聾人和正常人唇讀研究的區(qū)別與聯(lián)系

因唇讀對(duì)聾人和正常人起到的作用不同，針對(duì)這兩個(gè)群體進(jìn)行的唇讀研究也各有傾向。對(duì)聾人而言，唇讀是有效提高溝通交流和社會(huì)適應(yīng)能力的重要手段，唇讀的訓(xùn)練將大大彌補(bǔ)其聽覺損傷帶來的不便。因此在主要以聾人為被試的研究中更注重研究結(jié)果的應(yīng)用性，側(cè)重于找出可能影響聾人唇讀能力的各種因素，比較各種條件下聾人唇讀的效果，從而找到最佳方法以提高聾人辨別和理解他人信息的能力，促進(jìn)聾人融入社會(huì)。例如雷江華等人(2008)發(fā)現(xiàn)佩戴助聽器的輕度或中度聽覺障礙被試，在視聽條件下唇讀漢字的成績(jī)顯著高于只有聽覺條件或只有視覺條件下的成績(jī)。該結(jié)果提示了在對(duì)輕度或中度聽覺障礙人群進(jìn)行語言訓(xùn)練時(shí)，除了使用助聽器等聽覺輔助設(shè)備，還應(yīng)使用視聽結(jié)合的教學(xué)方式，而非傳統(tǒng)單一的聽語或手語教學(xué)模式，以此充分利用聾人殘存的聽力進(jìn)行交流并提高其聽力水平。而對(duì)于重度聽覺障礙人群，由于其聽覺損傷較重，聽力的再康復(fù)訓(xùn)練可能較難，因此應(yīng)提高唇讀訓(xùn)練在聾教育界的重視和應(yīng)用，在訓(xùn)練中以視話教學(xué)為主，著重培養(yǎng)其唇讀能力。事實(shí)上，也確實(shí)不乏此類成功事例(雷江華，2009，第258頁)。

對(duì)正常人而言，唇讀僅作為日常交流中的輔助手段而起到作用。但因正常人具備完整的視覺和聽覺系統(tǒng)，而唇讀這種獲取言語信息的特殊過程恰恰可以同時(shí)包含具有相同言語信息的視覺信號(hào)和聽覺信號(hào)，因此被作為一種優(yōu)秀的實(shí)驗(yàn)工具以研究人類跨通道的認(rèn)知加工，特別是視覺和聽覺這兩大對(duì)人類而言最為重要的感覺通道。研究主要側(cè)重于視聽雙通道在知覺加工過程中的特征和聯(lián)系，進(jìn)而試圖構(gòu)建視聽通道信息加工的理論模型。McGurk效應(yīng)證實(shí)了視聽雙通道在信息整合過程中存在的一種獨(dú)特的相互干擾現(xiàn)象，展示了兩種信息整合的結(jié)果，為后續(xù)研究者提供了多感覺通道認(rèn)知中的重要實(shí)驗(yàn)范式。腹語術(shù)效應(yīng)揭示了人們?cè)诓煌臻g或時(shí)間條件下由于視覺或聽覺主導(dǎo)產(chǎn)生的主觀錯(cuò)覺，指出在人類視聽雙通道的信息整合過程中，視覺信息和聽覺信息的加工可能是不對(duì)稱的。以正常人為對(duì)象的此類研究使人們對(duì)人類自身的跨通道感知覺特點(diǎn)產(chǎn)生了新的認(rèn)識(shí)。

當(dāng)然，以這兩類人群為對(duì)象的研究并非都是各自獨(dú)立的。聾人因其聽覺受損程度、語言經(jīng)驗(yàn)等維度的差異，可從多個(gè)方面與正常人的表現(xiàn)進(jìn)行比較，在跨通道認(rèn)知加工模型和神經(jīng)機(jī)制的研究中可從反面角度對(duì)結(jié)果進(jìn)行補(bǔ)充。因而在實(shí)驗(yàn)中，聾人和正常人經(jīng)?；閷?duì)照組同時(shí)出現(xiàn)。例如，先天重度聽力損傷的聾人由于從未暴露于有聲環(huán)境中，經(jīng)過后天學(xué)習(xí)的言語視覺信號(hào)無法與原本存在的聽覺信號(hào)匹配。在這種情況下，正常人閱讀中存在的由視覺信號(hào)激活字音和字義兩個(gè)系統(tǒng)的現(xiàn)象對(duì)于先天聾人唇讀時(shí)又是如何運(yùn)作的，表現(xiàn)出的結(jié)果又有何不同?理解這點(diǎn)有助于更深入認(rèn)識(shí)人類的語音編碼系統(tǒng)。又如輕度或中度聽力損傷的聾人因訓(xùn)練使其本身的聽力或唇讀能力得到了提高，在比較正常人的結(jié)果后將有助于研究大腦在視皮層和聽皮層的可塑性，并了解聽覺輔助儀器的使用情況、早期的語言經(jīng)驗(yàn)等條件對(duì)其可塑性產(chǎn)生了何種影響。

2.現(xiàn)存的三點(diǎn)問題和今后的研究展望

目前唇讀相關(guān)的研究存在幾個(gè)問題和難點(diǎn)。第一，在以聾人為被試的實(shí)驗(yàn)中，由于聾人聽力損傷的個(gè)體差異較大，在聾人被試的篩選上缺乏標(biāo)準(zhǔn)化的操作過程或工具。目前的研究報(bào)告中主要匯報(bào)聾人聽力損失的分貝數(shù)、年齡以及佩戴聽力輔助設(shè)備的時(shí)間等信息，而聾人的唇讀效果實(shí)際上受到許多因素影響:如耳聾的病因、耳聾出現(xiàn)的年齡、習(xí)得手語的年齡、聽覺損失的程度和性質(zhì)以及語言掌握的熟練程度等(張明＆陳騏，2003)。為使各項(xiàng)研究之間具有更好的可比性，標(biāo)準(zhǔn)化的篩選和匯報(bào)過程就尤為重要。今后應(yīng)考慮設(shè)計(jì)能從多個(gè)維度有效評(píng)價(jià)聾人聽覺損傷情況、語言等能力的工具，在功能性成像研究中設(shè)置更加精細(xì)的基線控制條件，在報(bào)告中匯報(bào)多個(gè)有效的評(píng)估指標(biāo)，從而使研究結(jié)果更具可比性。第二，作為唇讀材料使用的主要是單個(gè)音素，或字、詞這類簡(jiǎn)單的刺激材料，較少也很難使用句子這類更符合真實(shí)情況的材料，因而即使在實(shí)驗(yàn)中得出了較好的唇讀效果，距離聾人在日常生活中實(shí)際運(yùn)用唇讀的真實(shí)能力還有一定差距。使用長(zhǎng)句作為材料的難點(diǎn)在于難以在實(shí)驗(yàn)中精確的控制各個(gè)可能由句子帶來的影響變量，例如句子的長(zhǎng)度、語義的復(fù)雜程度、句子的句式結(jié)構(gòu)等，同時(shí)對(duì)重度聽障者而言要唇讀長(zhǎng)句也有較大難度。因此，可考慮制作標(biāo)準(zhǔn)化的語句材料的可能性，并且將之運(yùn)用在針對(duì)輕度或重度聽障者的研究中。第三，對(duì)于唇動(dòng)材料的編碼和記錄手段方面缺少和計(jì)算機(jī)科學(xué)中的唇讀研究進(jìn)行接觸和互補(bǔ)，缺少足夠的跨學(xué)科交流。目前在計(jì)算機(jī)科學(xué)中對(duì)唇部的變化有許多精確的測(cè)量手段(姚鴻勛，高文，王瑞＆郎咸波，2001)，例如齊藤剛史等人(2007)使用口唇面積的兩種特征量為指標(biāo)，記錄這兩項(xiàng)指標(biāo)隨時(shí)間的變化以編碼嘴唇運(yùn)動(dòng)的軌跡。值得一提的是該研究中對(duì)于發(fā)聲頻率的實(shí)驗(yàn)方法和討論相信會(huì)對(duì)今后更為復(fù)雜的唇讀研究有所幫助。使用更好的算法對(duì)唇讀材料進(jìn)行分析記錄的作用不僅在于可以使結(jié)果更精確，也可以在上述長(zhǎng)句材料的使用上發(fā)揮作用。

就目前而言，如何利用唇讀更好地提高聾人交流理解能力的研究正逐漸發(fā)揮作用，但無論是負(fù)責(zé)唇讀的大腦區(qū)域還是其認(rèn)知加工模型都尚未明晰。今后的研究應(yīng)更注重從跨通道信息整合和處理的角度出發(fā)，改進(jìn)記錄唇動(dòng)變化的方法，繼續(xù)深入探索跨通道信息加工的模式，同時(shí)為計(jì)算機(jī)的語音識(shí)別技術(shù)提供參考。另一方面，由于使用的唇讀材料所限，現(xiàn)有的唇讀研究仍在很大程度上局限于初步的言語知覺過程，被試所做的多是簡(jiǎn)單的辨別發(fā)音任務(wù)。但現(xiàn)實(shí)是，由于言語信息和環(huán)境的高度復(fù)雜性，唇讀過程往往涉及到更加復(fù)雜的認(rèn)知加工過程，比如語義的辨析、邏輯的推理、上下文的聯(lián)系等等。故而，在改善使用材料和記錄手段的同時(shí)，唇讀過程中的高級(jí)認(rèn)知加工過程也將是今后研究的重要發(fā)展方向之一。

坂本幸.(1990).中途失聴者のための読唇プログラム學(xué)習(xí)法について.東北大學(xué)教育學(xué)部研究年報(bào).

C.D.威肯斯，J.G.霍蘭茲，著.(2003).工程心理學(xué)與人的作業(yè)(朱祖祥譯).上海:華東師范大學(xué)出版社.

雷江華，張鳳琴，方俊明.(2004).字詞條件下聾生唇讀漢字語音識(shí)別的實(shí)驗(yàn)研究.中國(guó)特殊教育，53(11)，37-39.

雷江華，方俊明.(2005a).聾人唇讀的大腦機(jī)制研究.心理科學(xué)，28(1)，3.

雷江華，王庭照，方俊明.(2005b).聾生唇讀語音識(shí)別中熟悉效應(yīng)的實(shí)驗(yàn)研究.心理科學(xué)，28(5)，3.

雷江華，甘琳琳，方俊明.(2006).助聽器對(duì)聽障學(xué)生唇讀漢字語音識(shí)別的作用.心理科學(xué)，29(6)，3.

雷江華，方俊明，王偉忠＆梅艷紅.(2008).聽障學(xué)生唇讀語音識(shí)別視聽通道效應(yīng)的實(shí)驗(yàn)研究.心理科學(xué)，31(2)，3.

雷江華.(2009).聽覺障礙學(xué)生唇讀的認(rèn)知研究.北京:中國(guó)社會(huì)科學(xué)出版社.

樸永馨.(1996).特殊教育詞典.北京:華夏出版社.

齊藤剛史，小西亮介.(2007).トラジェクトリ特徴量に基づく単語読唇.信學(xué)論，90，1105-1114.

湯盛欽，曾凡林，劉春玲.(2000).教育聽力學(xué).上海:華東師范大學(xué)出版社.

姚鴻勛，高文，王瑞，＆郎咸波.(2001).視覺語言——唇讀綜述.電子學(xué)報(bào)，29(2)，8.

張明，＆陳騏.(2003).聽覺障礙人群的言語機(jī)制.心理科學(xué)進(jìn)展，11(5)，8.

Bertelson，P.(1999).Ventriloquism:A case of crossmodal perceptual grouping.Advances in psychology，129，347-362.

De Filippo，C.L.，＆ Gottermeier，L.(1995).Linking visual and kinesthetic imagery in lipreading instruction.Journal of speech and hearing research，38(1)，244-256.

Dodd，B.E.，＆ Campbell，R.E.(1987).Hearing by eye:The psychology of lip-reading.England:Lawrence Erlbaum Associates，Inc.

Fisher，C.G.(1968).Confusions among visually perceived consonants.Journal of Speech，Language and Hearing Research，11(4)，796.

Gebhard，J.，＆ Mowbray，G.(1959).On discriminating the rate of visual flicker and auditory flutter.The American journal of psychology，72(4)，521-529.

Hirano，S.，Naito，Y.，Kojima，H.，Honjo，I.，Inoue，M.，Shoji，K.，Konishi，J.(2000).Functional differentiation of the auditory association area in prelingually deaf subjects.Auris Nasus Larynx，27(4)，303-310.

MacEachern，M.R.(2000).On the visual distinctiveness of words in the English lexicon.Journal of Phonetics，28(3)，367-376.

MacSweeney，M.，Amaro，E.，Calvert，G.A.，Campbell，R.，David，A.S.，McGuire，P.，Brammer，M.J.(2000).Silent speechreading in the absence of scanner noise:an event-related fMRI study.Neuroreport，11(8)，1729.

MacSweeney，M.，Calvert，G.A.，Campbell，R.，McGuire，P.K.，David，A.S.，Williams，S.C.R.，Brammer，M.J.(2002).Speechreading circuits in people born deaf.Neuropsychologia，40(7)，801-807.

MacSweeney，M.，Campbell，R.，Calvert，G.A.，McGuire，P.K.，David，A.S.，Suckling，J.，Brammer，M.J.(2001).Dispersed activation in the left temporal cortex for speech-reading in congenitally deaf people.Proceedings of the Royal Society of London.268(1466)，451.

McGurk，H.，＆ MacDonald，J.(1976).Hearing lips and seeing voices.Nature，264，746-748

Michael，E.R.N.，Dara，A.S.，＆ John，L.B.(2004).Read my lips:Asymmetries in the Visual Expression and Perception of Speech Revealed Through the McGurk Effect.Psychological science，15(2)，4.

R?nnberg，J.，Andersson，J.，Andersson，U.，Johansson，K.，Lyxell，B.，＆ Samuelsson，S.(1998).Cognition as a bridge between signal and dialogue:Communication in the hearing impaired and deaf.Scandinavian Audiology，27(4)，101-108.

Stork，D.G.，Wolff，G.，＆ Levine，E.(1992).Neural network lipreading system for improved speech recognition.In IJCNN，Proceedings of the International Conference on Neural Networks(vol.2;pp.289-295).America，Baltimore，MD:IEEE

Sumby，W.H.，＆ Pollack，I.(1954).Visual contribution to speech intelligibility in noise.The journal of the acoustical society of america，26，212.

Summerfield，Q.(1992).Lipreading and audio-visual speech perception.Philosophical Transactions:Biological Sciences，71-78.

Vroomen，J.，＆ Stekelenburg，J.J.(2011).Perception of intersensory synchrony in audiovisual speech:Not that special.Cognition，118(1)，75-83.

Welch，R.B.，＆ Warren，D.H.(1980).Immediate perceptual response to intersensory discrepancy.Psychological bulletin，88(3)，638.