張波 張雪英 陳桂軍 孫穎

摘 要： 在智能人?機(jī)交互系統(tǒng)中，語音情感識別是目前的研究熱點(diǎn)之一，支持向量機(jī)方法被廣泛用于語音情感識別。然而，支持向量機(jī)方法存在噪聲和野值敏感問題，往往難以進(jìn)行精確識別。為了解決該問題，通過對隸屬度函數(shù)進(jìn)行深入研究，設(shè)計一種新的基于樣本到類內(nèi)超平面距離的隸屬度函數(shù)，并基于該隸屬度函數(shù)優(yōu)化了模糊支持向量機(jī)分類超平面，從而提高了支持向量機(jī)的抗噪性和泛化能力。在多種情感語音庫上進(jìn)行實(shí)驗(yàn)仿真測試，結(jié)果表明，所提出的方法能夠有效利用樣本間的緊密度、邊界樣本點(diǎn)和過樣本類中心的超平面來構(gòu)造最優(yōu)超平面，從而提高語音情感識別的準(zhǔn)確率。

關(guān)鍵詞： 語音情感識別； 模糊支持向量機(jī)； 隸屬度函數(shù)； 孤立點(diǎn)； 類內(nèi)超平面； 精確識別

中圖分類號： TN912.34?34； TP181 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）16?0163?05

Abstract： In the intelligent human?machine interaction system， speech emotion recognition is one of the current research hotspots. The support vector machine method is widely used in speech emotion recognition， but it has problems of noises and wild value sensitiveness， resulting in difficulty of accurate identification. Therefore， a novel membership function based on the distance from samples to the intra?class hyperplane is designed by means of the in?depth study of the membership function， based on which the classification hyperplane is optimized by using the fuzzy support vector machine， so as to improve the anti?noise and generalization capabilities of the support vector machine. An experiment and simulation test were carried out by using various emotion speech libraries. The experimental results show that the proposed method can effectively utilize the sample compactness， boundary sample points， and the hyperplane passing through the center of the sample class to construct the optimal hyperplane， which can improve the accuracy of speech emotion recognition.

Keywords： speech emotion recognition； fuzzy support vector machine； membership function； isolated point； intra?class hyperplane； accurate recognition

0 引 言

隨著人機(jī)交互技術(shù)的發(fā)展，情感識別技術(shù)已經(jīng)日益成為科研人員研究的焦點(diǎn)，比如智能人機(jī)交互[1?2]、疾病診斷和測謊儀等。

語音信號的情感識別方法有很多，常用的情感分析方法有混合高斯模型法（GMM）、隱馬爾科夫模型法（HMM）[3?4]、人工神經(jīng)網(wǎng)絡(luò)方法（ANN）[5]以及支持向量機(jī)（SVM）等。其中SVM情感分析方法在解決非線性、小樣本以及高維模式識別問題中有著良好的分類效果，但是從本質(zhì)上來說SVM是一種不適當(dāng)問題的正則化理論和非線性規(guī)劃計算方法，在情感混淆程度較大的情況下，往往難以進(jìn)行精確識別。

文獻(xiàn)[6]將隸屬度的概念引入到SVM分類中，提出了模糊支持向量機(jī)。其原理在于給不同的樣本賦予不等的權(quán)值，而且能更好地減少野值和噪聲點(diǎn)帶來的影響，提高分類精度。在模糊支持向量機(jī)理論中，最為關(guān)鍵的步驟就是隸屬度函數(shù)的設(shè)計，文獻(xiàn)[7]通過類向心度思想設(shè)計緊密度的度量，但其方法不適用于樣本類多的情況。

文獻(xiàn)[8]引入控制因子定義半徑，配合類中心定義超球，對超球內(nèi)樣本進(jìn)行不等的權(quán)值賦予。文獻(xiàn)[9]提出了一種改進(jìn)近似支持向量機(jī)算法，賦予正負(fù)樣本不同懲罰因子并在約束條件中加入新的參數(shù)，使分類面更具靈活性，提高分類精度。文獻(xiàn)[10]通過使用一種高效去邊緣方法對訓(xùn)練樣本進(jìn)行預(yù)處理，優(yōu)化樣本個數(shù)提高訓(xùn)練速度。

文獻(xiàn)[11]選擇對樣本做篩選，選擇部分樣本進(jìn)行隸屬度賦予。文獻(xiàn)[12]在確定樣本的隸屬度時，對類中心距離方法進(jìn)行了改進(jìn)。文獻(xiàn)[13?15]通過用類內(nèi)超平面取代類中心的方法加強(qiáng)支持向量的作用。本文使用樣本點(diǎn)到類內(nèi)超平面距離的線性函數(shù)作為隸屬度函數(shù)，克服了以往方法中用樣本點(diǎn)到類中心的距離度量隸屬度而導(dǎo)致泛化能力不足的問題，能夠更加精確地對每個樣本點(diǎn)進(jìn)行不同隸屬度值的賦予，使得構(gòu)造的分類決策面更加準(zhǔn)確。

如圖2所示，定義一個半徑控制因子，做實(shí)線圓，在圓內(nèi)的樣本分別設(shè)計隸屬度函數(shù)的賦予，通過計算正類樣本到正類類中心的最大距離作為虛線圓的半徑，實(shí)線圓以外，虛線圓以內(nèi)的樣本看作是孤立點(diǎn)，單獨(dú)對樣本賦予隸屬度[σ] ，實(shí)線圓內(nèi)的樣本通過正類樣本到負(fù)類類中心超平面的距離[d1i+] 與兩個類中心的距離T做比較，如果前者距離[d1i+T]，則正類樣本到正類類中心超平面的距離越大，樣本被賦予的隸屬度值就越小。

以往的隸屬度函數(shù)設(shè)計方法如文獻(xiàn)[7]、文獻(xiàn)[8]和文獻(xiàn)[11]等并不能對所有的樣本點(diǎn)做出精確的權(quán)值賦予。單純通過樣本點(diǎn)到類中心距離的隸屬度函數(shù)設(shè)計方法更是使得部分對分類超平面貢獻(xiàn)相同的樣本點(diǎn)，由于到類中心的距離不同被賦予不同的隸屬度值。本文設(shè)計的隸屬度函數(shù)設(shè)計方法通過合理增加限制條件，尋求平行于分類超平面的過樣本類中心的超平面，提出用樣本到過類中心的超平面距離來代替以往樣本到類中心的距離，根據(jù)樣本點(diǎn)對分類面的貢獻(xiàn)，對類內(nèi)的每個樣本點(diǎn)做出精確的權(quán)值賦予，對孤立點(diǎn)進(jìn)行單獨(dú)的隸屬度值賦予，從而更加有效地加強(qiáng)支持向量的作用，減弱非支持向量與孤立點(diǎn)的作用，提高分類準(zhǔn)確率。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)語料與特征提取

為了驗(yàn)證模糊支持向量機(jī)新型隸屬度函數(shù)設(shè)計方法的有效性，并使其與之前已有的隸屬度函數(shù)設(shè)計方法做對比，本文選取了柏林情感語音庫EMO?DB，TYUT 2.0情感語音數(shù)據(jù)庫分別做情感識別。

兩種情感語音庫數(shù)據(jù)分布呈現(xiàn)標(biāo)準(zhǔn)的球形分布，并且各類樣本的數(shù)目相近。三種情感庫都以18 kHz采樣，18 bit量化，wav格式存儲。實(shí)驗(yàn)所選取的情感特征相同，情感特征為基音頻率、韻律特征、12階MFCC，對應(yīng)的統(tǒng)計特征值為最大值、最小值、均值、方差、標(biāo)準(zhǔn)差。對情感特征進(jìn)行歸一化處理，數(shù)據(jù)集的具體信息如表1所示。

實(shí)驗(yàn)在1臺PC機(jī)（CPU，3.40 GHz；內(nèi)存，4 GB）上進(jìn)行，操作系統(tǒng)為Windows 7，實(shí)驗(yàn)工具是Matlab 2014a。實(shí)驗(yàn)的核函數(shù)采用高斯徑向基核函數(shù)。

3.2 參數(shù)選擇影響分析

對于懲罰系數(shù)[C]的取值，分別取0.01，0.1，1，10，20，30，40，50，100，200共10個值，取其中最好的結(jié)果。在本文算法中，通過[ε] 值來確定樣本點(diǎn)是否是孤立點(diǎn)，文獻(xiàn)[15]提出令[ε=ρR++R-T] ，其中[ρ>0]。隸屬度的作用是通過算法的分類準(zhǔn)確率體現(xiàn)的，在新型隸屬度函數(shù)的設(shè)計中通過改變[ε] 值進(jìn)行測試。本節(jié)將對在不同的參數(shù)[ε] 值下，文獻(xiàn)[8]中的NFSVM隸屬度設(shè)計方法、文獻(xiàn)[14]中RFSVM隸屬度函數(shù)設(shè)計方法與本文的ZFSVM的分類準(zhǔn)確率做比較。圖3，圖4別給出了柏林情感語音庫，TYUT 2.0情感語音庫兩組數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。

3.3 分類準(zhǔn)確率對比分析

對本文的ZFSVM方法與常規(guī)SVM、文獻(xiàn)[8]中的NFSVM隸屬度設(shè)計方法、文獻(xiàn)[14]中RFSVM隸屬度函數(shù)設(shè)計方法進(jìn)行比較。每種方法選取相應(yīng)分類準(zhǔn)確率最高的ε值。

選取柏林情感語音庫、TYUT 2.0兩種情感語音庫做情感分類準(zhǔn)確率的比較。圖5、圖6分別表示對柏林情感語音庫，太原理工大學(xué)TYUT 2.0語音庫做識別的最后試驗(yàn)結(jié)果。

從圖5、圖6可以看出，相比于NFSVM，RFSVM隸屬度函數(shù)設(shè)計方法，本文提出的ZFSVM方法對于三種情感語音庫的識別率最高，對于柏林情感語音庫的情感識別結(jié)果為85.89%，較其他兩種方法識別率分別提高6.72%，3.54%。對于TYUT 2.0庫情感的分類也有顯著提升，為75.89%，較其他兩種方法平均識別結(jié)果提升4%。其識別率得到提高的理論如下：兩種情感語音庫數(shù)據(jù)呈球形分布， ZFSVM在削弱孤立點(diǎn)的同時，更加有效地加強(qiáng)了支持向量在構(gòu)建最優(yōu)分類面中的作用，使得分類識別率得到提高。隨著樣本數(shù)的增多，NFSVM和RFSVM方法會將部分對超平面貢獻(xiàn)相同的樣本賦予不同的權(quán)值，甚至?xí)o部分對超平面貢獻(xiàn)較大而距離類中心較遠(yuǎn)的樣本賦予小的隸屬度值，影響分類結(jié)果。綜合上述結(jié)果表明，在樣本呈球形分布，各類樣本數(shù)目相近的情況下，情感語音庫的樣本數(shù)目越大，ZFSVM的識別效果越顯著。

4 結(jié) 語

本文基于類內(nèi)超平面距離度量對模糊支持向量機(jī)進(jìn)行了改進(jìn)并應(yīng)用于語音情感識別，利用樣本間的緊密度、邊界樣本點(diǎn)和過樣本類中心的超平面來重新設(shè)計隸屬度函數(shù)，根據(jù)樣本分布情況定義球半徑，通過比較正類樣本點(diǎn)到過負(fù)類類中心超平面的距離與兩類樣本類中心間的距離，再結(jié)合樣本周圍的緊密度對每個樣本進(jìn)行隸屬度值的賦予。超球外的樣本視為孤立點(diǎn)，單獨(dú)賦予隸屬度值，這種方法能更加準(zhǔn)確地體現(xiàn)出樣本點(diǎn)對分類面的貢獻(xiàn)，使得每類樣本點(diǎn)被賦予最精確地權(quán)值，從而更加有效地加強(qiáng)支持向量的作用，減弱非支持向量與孤立點(diǎn)的作用，提高了支持向量機(jī)的抗噪性和泛化能力。實(shí)驗(yàn)結(jié)果表明，本文提出的基于類內(nèi)超平面距離度量的模糊支持向量機(jī)方法在對語音情感的分類性能上有著顯著的提高。

參考文獻(xiàn)

[1] 張石清，李樂民，趙知勁.人機(jī)交互中的語音情感識別研究進(jìn)展[J].電路與系統(tǒng)學(xué)報，2013，18（2）：440?451.

ZHANG Shiqing， LI Lemin， ZHAO Zhijin. A survey of speech emotion recognition in human computer interaction [J]. Journal of circuits and systems， 2013， 18（2）： 440?451.

[2] AYADI M E， KAMEL M S， KARRAY F. Survey on speech emotion recognition： features， classification schemes， and databases [J]. Pattern recognition， 2011， 44（3）： 572?587.

[3] 林奕琳，韋崗，楊康才.語音情感識別的研究進(jìn)展[J].電路與系統(tǒng)學(xué)報，2007，12（1）：90?98.

LIN Yilin， WEI Gang， YANG Kangcai. A survey of emotion recognition in speech [J]. Journal of circuits and systems， 2007， 12（1）： 90?98.

[4] 尤鳴宇.語音情感識別的關(guān)鍵技術(shù)研究[D].杭州：浙江大學(xué)，2007.

YOU Mingyu. Research on key technologies of speech emotion recognition [D]. Hangzhou： Zhejiang University， 2007.

[5] KHANCHANDANI K B， HUSSAIN M A. Emotion recognition using multilayer perceptron and generalized feed forward neural network [J]. Journal of scientific & industrial research， 2009， 68（5）： 367?371.

[6] LIN C F， WANG S D. Fuzzy support vector machines with automatic membership setting [J]. Support vector machines： theory and applications， 2005， 177： 233?254.

[7] 許翠云，業(yè)寧.基于類向心度的模糊支持向量機(jī)[J].計算機(jī)工程與科學(xué)，2014，36（8）：1623?1628.

XU Cuiyun， YE Ning. A novel fuzzy support vector machine based on the class centripetal degree [J]. Computer engineering and science， 2014， 36（8）： 1623?1628.

[8] 劉開旻，吳小俊.一種基于新隸屬度函數(shù)的模糊支持向量機(jī)[J].計算機(jī)工程，2016，42（4）：155?159.

LIU Kaimin， WU Xiaojun. A fuzzy support vector machine based on new membership function [J]. Computer engineering， 2016， 42（4）： 155?159.

[9] 劉艷，鐘萍，陳靜，等.用于處理不平衡樣本的改進(jìn)近似支持向量機(jī)新算法[J].計算機(jī)應(yīng)用，2014，34（6）：1618?1621.

LIU Yan， ZHONG Ping， CHEN Jing， et al. Modified proximal support vector machine algorithm for dealing with unbalanced samples [J]. Journal of computer applications， 2014， 34（6）： 1618?1621.

[10] 彭桂兵.兩種改進(jìn)的模糊支持向量機(jī)[D].保定：河北大學(xué)，2010.

PENG Guibing. Two improved fuzzy support vector machines [D]. Baoding： Hebei University， 2010.

[11] LIN C F， WANG S D. Fuzzy support vector machines [J]. IEEE transactions on neural networks， 2002， 13（2）： 464?471.

[12] 陳小娟，劉三陽，滿英，等.一種新的模糊支持向量機(jī)方法[J].西安文理學(xué)院學(xué)報（自然科學(xué)版），2008，11（1）：1?4.

CHEN Xiaojuan， LIU Sanyang， MAN Ying， et al. A new fuzzy supportive vector machine algorithm [J]. Journal of Xian University of Arts and Sciences： Natural science edition， 2008， 11（1）： 1?4.

[13] WU Jianxin. Power mean SVM for large scale visual classification [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2012： 2344?2351.

[14] 劉三陽，杜喆.一種改進(jìn)的模糊支持向量機(jī)算法[J].智能系統(tǒng)學(xué)報，2007，2（3）：30?33.

LIU Sanyang， DU Zhe. An improved fuzzy support vector machine method [J]. CAAI transactions on intelligent systems， 2007， 2（3）： 30?33.

[15] 杜喆.幾類支持向量機(jī)變型算法的研究[D].西安：西安電子科技大學(xué)，2009.

DU Zhe. Research on several kinds of support vector machine variant algorithms [D]. Xian： Xidian University， 2009.