張石清

[摘要]為了解決目前e-Learning教學(xué)系統(tǒng)中的情感交流匱乏問題，提出一種新的基于語音情感識(shí)別技術(shù)的e-Learning系統(tǒng)模型。語音作為人類最重要的交流媒介之一，不僅攜帶著大量的文字符號(hào)信息，還包含了人類豐富的情感信息。利用語音情感識(shí)別技術(shù)獲取和識(shí)別學(xué)習(xí)者的學(xué)習(xí)情感狀態(tài)，從而實(shí)現(xiàn)e-Learning教學(xué)系統(tǒng)的智能化和人性化。本文對(duì)該系統(tǒng)的關(guān)鍵技術(shù)作了詳細(xì)闡述。

[關(guān)鍵詞]e-Learning；語音；情感識(shí)別

[中圖分類號(hào)]G40—057

[文獻(xiàn)標(biāo)識(shí)碼]A

[論文編號(hào)]1009—8097(2009)13—0224—02

引言

e-Learning也叫數(shù)字化學(xué)習(xí)，是通過因特網(wǎng)或其他數(shù)字化媒體進(jìn)行學(xué)習(xí)與教學(xué)的活動(dòng)。當(dāng)前，隨著信息技術(shù)的快速發(fā)展，e-Learning已經(jīng)在教育、教學(xué)等領(lǐng)域得到了廣泛應(yīng)用，并產(chǎn)生了深刻影響。然而，在當(dāng)前的e-Learning環(huán)境下，由于師生在物理空間上的分離，導(dǎo)致師生之間缺少必要的情感交流和反饋。而按照教育心理學(xué)的觀點(diǎn)，一個(gè)真正人性化的教學(xué)系統(tǒng)，不僅應(yīng)當(dāng)是有智能的，而且還應(yīng)當(dāng)有情感的。因此，如何在e-Learning系統(tǒng)中測量出學(xué)習(xí)者學(xué)習(xí)時(shí)的認(rèn)知和情感，構(gòu)建具有情感交互能力的和諧學(xué)習(xí)系統(tǒng)，已經(jīng)成為現(xiàn)代遠(yuǎn)程教育中一個(gè)新的熱點(diǎn)研究課題。

近年來，以語音情感識(shí)別為核心的情感計(jì)算技術(shù)的研究發(fā)展，已經(jīng)成功應(yīng)用于人工智能、智能人機(jī)交互等領(lǐng)域。這使得在e-Learning系統(tǒng)中，也可以利用情感計(jì)算技術(shù)，跟蹤學(xué)習(xí)者的情感狀態(tài)，提供個(gè)性化服務(wù)，以及根據(jù)學(xué)習(xí)者情感體驗(yàn)的變化及時(shí)調(diào)整教學(xué)策略。為此，本文利用語音情感識(shí)別技術(shù)，以e-Learning應(yīng)用為背景，設(shè)計(jì)一種基于語音情感識(shí)別技術(shù)的新型e-Learning教學(xué)系統(tǒng)。

一基于語音情感識(shí)別的e-Learning系統(tǒng)模型

師生情感交流是教學(xué)環(huán)節(jié)中的一項(xiàng)重要內(nèi)容，它有助于學(xué)生消極情緒向積極情緒的遷移。在學(xué)習(xí)過程中，學(xué)習(xí)者的言語中不僅包含了文字符號(hào)信息，同時(shí)也包含了豐富的感情和情緒等信息。例如，當(dāng)學(xué)習(xí)者對(duì)學(xué)習(xí)內(nèi)容能夠理解和接受時(shí)，往往情緒高漲，言語比較歡快；反之，情緒低落，言語比較低沉喪氣?？梢?，學(xué)習(xí)者不同情感的表現(xiàn)是一種重要的教學(xué)反饋信息。利用這種反饋信息，我們可以有效調(diào)整教學(xué)策略，更好地服務(wù)自主學(xué)習(xí)。因此，在傳統(tǒng)e-Learning系統(tǒng)的基礎(chǔ)上，本文通過增加一個(gè)語音情感識(shí)別技術(shù)模塊，設(shè)計(jì)出一種基于語音情感識(shí)別技術(shù)的智能化e-Learning系統(tǒng)模型，如圖1所示。

該系統(tǒng)模型以語音情感識(shí)別技術(shù)為核心，及時(shí)捕捉和識(shí)別學(xué)習(xí)者的情感狀態(tài)，并根據(jù)學(xué)習(xí)者特定的情感狀態(tài)作出相應(yīng)的情感激勵(lì)或補(bǔ)償策略。該模型主要有五部分組成：

●接口：除了傳統(tǒng)e-Learning系統(tǒng)中的人機(jī)接口外，新增加一個(gè)情感語音輸入接口模塊，專門負(fù)責(zé)收集學(xué)習(xí)者的情感化的語音信息。

●語音情感信息處理算法模塊：通過相關(guān)傳感器，對(duì)收集到的情感化的語音信息提取能夠區(qū)分不同情感類型的語音特征參數(shù)，然后利用模式識(shí)別分類器識(shí)別出學(xué)習(xí)者的整體情感狀態(tài)，并作出適當(dāng)?shù)膶W(xué)習(xí)評(píng)價(jià)。

●評(píng)價(jià)模塊；主要收集評(píng)價(jià)結(jié)果，然后轉(zhuǎn)化為相應(yīng)的評(píng)價(jià)參數(shù)，同時(shí)從學(xué)習(xí)模型中提取學(xué)習(xí)記錄。

●教學(xué)策略：根據(jù)評(píng)價(jià)參數(shù)和學(xué)習(xí)者模型中的學(xué)習(xí)記錄，及時(shí)調(diào)整教學(xué)策略，從課程資料庫中選取適合學(xué)習(xí)者學(xué)習(xí)的資料提供給學(xué)習(xí)者，同時(shí)也作出相應(yīng)的情感激勵(lì)和補(bǔ)償。

●學(xué)習(xí)者模型：主要記錄和學(xué)習(xí)者相關(guān)的個(gè)人信息、學(xué)習(xí)背景信息，認(rèn)知風(fēng)格信息、情感信息等。

二語音情感識(shí)別技術(shù)的實(shí)現(xiàn)

語音情感識(shí)別就是對(duì)輸入的學(xué)習(xí)者的情感化語音信號(hào)進(jìn)行預(yù)處理(如降噪)后，分析和提取與學(xué)習(xí)者情感表達(dá)密切相關(guān)的語音特征參數(shù)，然后采用模式識(shí)別分類器分別進(jìn)行訓(xùn)練和測試，最后輸出學(xué)習(xí)者的情感類型，得到識(shí)別結(jié)果。一個(gè)簡單的語音情感識(shí)別模型由如下五部分構(gòu)成，如圖2所示。其中模型中最重要的兩個(gè)環(huán)節(jié)是，特征提取以及分類器的確定。

1語音情感特征參數(shù)的提取

提取何種有效的語音情感特征參數(shù)是語音情感識(shí)別技術(shù)研究中最關(guān)鍵的問題之一，情感特征的優(yōu)劣直接影響到情感最終識(shí)別結(jié)果的好壞。心理學(xué)和韻律學(xué)的研究已經(jīng)表明，語音信號(hào)中的情感主要通過語音中的韻律特征表現(xiàn)出來的。例如，當(dāng)一個(gè)人發(fā)怒的時(shí)候，講話的速率會(huì)變快，音量會(huì)變大，音調(diào)會(huì)變高，而一個(gè)人悲傷的時(shí)候講話的語速會(huì)變慢，音量會(huì)變小，音調(diào)會(huì)變低，這些都是可以很直觀的感受到的變化。目前，研究者進(jìn)行語音情感識(shí)別的研究普遍采用了常見的基音頻率(簡稱基頻)、振幅、語速等韻律特征。原因是這些韻律特征能夠反映說話人的部分情感信息，較大程度上能區(qū)分不同的情感，而且容易提取和使用。但是，近年來的研究表明語音信號(hào)中的音質(zhì)特征也包含情感信息，體現(xiàn)了不同類型情感的發(fā)音方式的區(qū)別，如生氣和高興發(fā)音時(shí)由于喉嚨的位置不同而引起的喘氣和沙啞等方面的不同。本文提取的語音特征參數(shù)類型包含了韻律特征和音質(zhì)特征。表1列出了這些提取的語音特征與四種常見的情感類型(生氣、歡快、沮喪、厭惡)之間的關(guān)系。

2分類器的選擇

語音情感識(shí)別本質(zhì)上是一個(gè)模式識(shí)別問題。目前，各種模式識(shí)別方法，如人工神經(jīng)網(wǎng)絡(luò)、最近鄰法和支持向量機(jī)等不同的單一分類器，都被應(yīng)用于語音情感識(shí)別，取得了較好的識(shí)別效果。已有的研究表明，在不同單一分類器中，建立在統(tǒng)計(jì)學(xué)習(xí)理論中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)上的支持向量機(jī)能夠取得最好的識(shí)別性能。另外，將不同性能的單一分類器構(gòu)成組合分類器，也能夠進(jìn)一步提高語音情感識(shí)別的性能。

目前，隨著計(jì)算機(jī)圖像技術(shù)和多媒體技術(shù)的飛速發(fā)展，作為人類情感表達(dá)的其他方式，如人臉表情識(shí)別、人體運(yùn)動(dòng)姿態(tài)識(shí)別、手勢識(shí)別等技術(shù)必將得到快速發(fā)展，并將在e-Learning系統(tǒng)中發(fā)揮重要作用。

三結(jié)束語

本文通過在傳統(tǒng)e-Learning系統(tǒng)中增加語音情感識(shí)別技術(shù)模塊，收集學(xué)習(xí)者的情感反饋信息，應(yīng)用于教學(xué)策略的調(diào)整，為學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)環(huán)境，提出了一種基于語音情感識(shí)別技術(shù)的e-Learning教學(xué)系統(tǒng)模型。盡管將語音情感識(shí)別技術(shù)應(yīng)用于e-Learning系統(tǒng)中，能在很大程度上彌補(bǔ)遠(yuǎn)程教育中的情感缺失，但是還存在很多方面的挑戰(zhàn)，例如大規(guī)模的自然情感語音數(shù)據(jù)庫的建設(shè)、噪聲背景下的語音情感識(shí)別技術(shù)的頑健性問題等。