邢玉娟 李恒杰 張成文

（甘肅聯合大學，蘭州 730000）

一種改進的FSVM語音情感識別算法

邢玉娟 李恒杰 張成文

（甘肅聯合大學，蘭州 730000）

針對語音特征參數對某類情感具有不確定性的問題，提出一種基于典型相關性分析的改進模糊支持向量機算法，應用于語音情感識別。采用典型相關性分析方法對特征向量進行降維，得到樣本的約簡向量集，在此約簡向量集上建立模糊支持向量機模型判定情感類型。仿真實驗結果表明，該方法相比于傳統支持向量機法和模糊支持向量機法具有較高的識別準確率。

典型相關性分析；模糊支持向量機；語音情感識別；支持向量機

語音是人類的重要交流方式，在人類的語音信號中不僅包含了語義信息，同時也包含了人類豐富的情感信息（如喜悅、悲傷、憤怒、驚訝等）［1］。如何讓智能計算機具有語音情感識別和表達能力，是當前智能化人機交互領域研究的熱點，在自然人機交互、多媒體分段與檢索、安全系統自動監(jiān)管等方面有著廣泛的應用前景。

傳統的支持向量機法，以其出色的分類性能在語音情感識別領域獲得了成功的應用。然而，SVM是基于二元分類的，當將其應用于語音情感識別中時，需要構造多元分類器，常用一對多組合分類和一對一組合分類的方法。然而在構造多元分類器的過程中，存在一些不可分區(qū)域。為了解決這個問題，文獻 ［2］中提出了模糊支持向量機的方法（Fuzzy Support Vector Machine,FSVM），通過對每一類樣本設置隸屬度解決不可分數據，實驗結果表明FSVM的分類性能優(yōu)于SVM。而文獻［3］中指出FSVM在大規(guī)模訓練樣本情況下，并不能很好的解決受限優(yōu)化問題。在語音情感識別中，語音特征參數主要包括語音的基音頻率、短時能量、共振峰、MFCC參數以及它們的派生參數，這些語音參數的維數很高，并且包含大量的對情感識別沒有貢獻的噪音信息，采用這樣的高維特征向量訓練FSVM，勢必會導致FSVM訓練速度慢。因此本文提出一種基于典型相關性分析(canonical correlation analysis，CCA)的改進的FSVM算法。通過CCA對樣本進行降維，減小樣本的規(guī)模，進而降低后續(xù)階段的計算復雜度，有助于FSVM模型的建立。

1 典型相關性分析

典型相關性分析的核心思想是通過研究兩組隨機向量之間相關關系，根據判別準則尋找向量的典型投影方向，使得在該投影方向上兩組向量間的相關性最大［4］。

假設x∈Rp和y∈Rq是兩組語音特征向量，根據CCA的思想，尋找投影方向a1和b1，使得x和y在這兩個投影方向上的投影μ1=aT1x和ν1=bT1y具有最大的相關度，稱μ1，ν1是第一對典型相關特征。緊接著再依次計算第二對投影方向a2和b2，求得第二對典型相關特征μ2和ν2，以此類推直到求得第s對投影方向和典型相關特征。通過最大化典型相關特征μ和ν之間的相關系數 ρ(μ,ν)，來求解投影方向 a 和 b。

這樣，通過對x和y之間的相關分析,得到少數幾對典型相關特征向量作為有效的判別信息，達到降維和消除特征之間信息冗余的目的。

2 基于CCA和FSVM的語音識別

本文提出的語音情感識別系統框圖如圖1所示，輸入語音經過預處理過程（端點檢測、預加重、分幀加窗等）得到情感特征向量，采用CCA對情感特征向量降維，在得到的約簡向量集上建立FSVM分類模型，最終得到識別結果。

圖1 基于CCA的改進FSVM語音情感識別系統框圖

模糊支持向量機和常規(guī)支持向量機的區(qū)別是，訓練樣本中除了樣本的特征與類屬性表示之外，FSVM 的每個訓練樣本增加了隸屬度 μ (xi)∈(0,1］［5］。設訓練樣本集為(yi，xi，μ(xi))，(i=1，2，…，n)。其中 xi∈RN表示樣本特征，yi∈{－1,1}表示類標識。假設映射f=φ(x)將訓練樣本從原始空間RN映射到高維空間H。

由于隸屬度μ(xi)表示該樣本屬于某類的可靠程度，ρ是支持向量機目標函數中的分類誤差項，則μ(xi)ρ為帶權的誤差項，FSVM的最優(yōu)分類面為下面目標函數的最優(yōu)解。

約束條件為：yi［(wT·f)+b］－1+ρi≥0, i=1，2，…，n

其中，懲罰因子C為常數，w表示線性分類函數yi的權系數。由式（2）可知，當 μ(xi)很小時，減小了 ρi的影響，以至于將相應的xi看作不重要的樣本。相應地最優(yōu)分類面的判別函數為：

其中 0≤αi≤μ(xi)C，i=1，…，n，K(xi，x)為核函數。

輸入向量x和最優(yōu)分類超平面fij(x)的距離可定義為。這樣當fij(x)≥1或者fij(x)≤－1時，x完全屬于類別 i或類別 j；當－1＜fij(x)＜1 時 fij(x)可以認為是類別i或類別j的隸屬度。因此μ(xi)的計算公式如下：

由于語音情感識別是一個多元分類問題，本文采用一對一的FSVM分類器。因此，對于一個n類問題，需要構造 n(n－1)/2 個二元 FSVM［6］。

具體的FSVM分類器算法如下：

Step1：對于輸入向量 x，如果 fi(x)＞0滿足某一類，則將x劃分到該類。否則轉到Step2；

Step2：如果fi(x)＞0滿足不止一個類別i(i=i1,…,il,l＞1),將其劃分到 fi(x)(i∈{il,…,il})取最大值的那一類，否則轉到Step3；

Step3：如果fi(x)≤0滿足所有的類,則將數據劃分到fi(x)的絕對值取最小的那個類。

3 仿真實驗結果與分析

3.1 實驗環(huán)境及語音情感數據庫

仿真實驗平臺為PC2.6G/1G,Windows XP2003操作系統/Matlab7.0，結合語音工具箱Voicebox以及SVM Toolbox 1.0驗證語音情感識別的性能。采用自己錄制的語音數據，錄音軟件采用Cool Edit pro 2.0，錄音時采用單聲道、11.025kHz采樣頻率、16位采樣精度。錄制26位說話人（男性13名，女性13名）的6種情感狀態(tài)語音：憤怒，喜悅，驚訝，悲傷，害怕，厭惡。每人每種情感錄制10條語句，其中5句用于訓練，剩余5句用于測試。利用Cool Edit中的降噪器工具,清除各種背景雜音。對語音庫中每條語句進行端點檢測、預加重，以幀長30ms、幀移15ms為語音信號加漢明窗，窗長N=200。提取基音頻率、第一共振峰、短時能量、MFCC（Mel-frequency Cepstral Coefficients）4 類基本情感聲學特征及其派生特征參數共40維作為語音情感特征向量。

3.2 實驗結果分析

在該實驗中，我們將本文提出的方法和傳統的支持向量機法、模糊支持向量機法進行了比較分析，核函數采用分類性能較好的RBF核函數（σ=1.3）。實驗結果如表1所示。

表1 情感識別率

由表1可知：

（1）在3種方法中，本文提出的方法的平均識別準確率是最高的，比SVM高出五個百分點，而比FSVM高出2.43%。在憤怒、喜悅和驚訝三種情感狀態(tài)，改進FSVM的識別率相比于FSVM和SVM都有顯著地提高，在憤怒狀態(tài)比SVM提高了5.22%，比FSVM提高了3.34%；在喜悅狀態(tài)比SVM提高了6.99%，比FSVM提高了3.71%；在驚訝狀態(tài)比SVM提高了6.33%，比FSVM方法提高了2.85%。

（2）3種方法在悲傷、害怕和厭惡情感狀態(tài)下的識別率都普遍不高，主要是由于這三種情感在發(fā)音時，許多生理特征相似，較易混淆。

圖2給出了3種算法的情感識別率曲線圖。

圖2 3種算法情感識別率曲線圖

4 結 語

為了克服傳統FSVM在大規(guī)模訓練樣本情況下，不能很好的解決受限優(yōu)化問題，導致訓練速度慢的缺陷，本文提出一種基于CCA的改進FSVM算法，應用于語音情感識別。借助于CCA對輸入樣本進行降維約簡，降低了FSVM的建模計算復雜度，同時FSVM在訓練時引入了樣本的模糊隸屬度，從而可以很好地解決不可分數據問題。仿真實驗結果表明本文提出的方法具有良好的識別性能。

[1]Moataz ElAyadi,Mohamed S，Kamel，et al.Surveyon Speech Emotion Recognition:Features,Classification Schemes,and Databases[J].Pattern Recognition,2011,44:572-587.

[2]Takuya Inoue,Shigeo Abe.Fuzzy Support Vector Machines for Pattern Classification[J].IJCNN'01,Volume 2,15-19 July 2001:1449-1454.

[3]Alistair Shilton,Daniel T H Lai.Iterative Fuzzy Support Vector Machine Classification[J]. Fuzzy Systems Conference,2007:1-6.

[4]徐曉娜，穆志純.基于CCA的人耳和側面人臉特征融合的身份識別[J].計算機應用研究,2007,24(11):312-314.

[5]Yongguo Liu,Gang Chen,Jiwen Lu,et al.Face Recognition Based on Independent Component Analysis and Fuzzy Support Vector Machine[J].Intelligent Control and Automation,WCICA2006,21-23:9889-9892.

[6]Tai-Yue Wang,Huei-Min Chiang.Fuzzy Support Vector Machine for Multi-class Text Categorization[J].Information Processing&Management,Volume 43,Issue 4,July 2007:914-929.

Speech Emotion Recognition Based on Improved Fuzzy Support Vector Machine

XING Yujuan LI Hengjie ZHANG Chengwen
(Gansu Lianhe University,Lanzhou 730000)

An improved fuzzy support vector machine algorithm is proposed in this paper in order to solve the non-determinacy of speech feature parameter.Firstly,canonical correlation analysis is utilized to reduce the dimension of feature vectors.And then,fuzzy support machine is trained on the reduced set to make final decision.The experiment results show that,our method has superior classification performance compared with SVM and FSVM.

canonical correlation analysis；fuzzy support vector machine；speech emotion recognition；support vector machine

TP391 文獻標示碼：A

1673-1980(2012)05-0140-03

2012-05-12

甘肅省教育廳基金項目（1113-01）

邢玉娟(1981-)，女，甘肅天水人，碩士，講師，研究方向為生物特征識別。