摘 ?要： 針對語音簽到系統(tǒng)在實(shí)際運(yùn)用中識別率較低的問題，從提高對標(biāo)簽缺失數(shù)據(jù)的利用角度出發(fā)，提出一種利用無監(jiān)督學(xué)習(xí)來提高識別率的方法。該方法基于深度置信網(wǎng)絡(luò)隱馬爾可夫混合模型（DBN-HMM），利用受限波爾茨曼機(jī)（RBM）為無監(jiān)督學(xué)習(xí)提取特征參數(shù)，接著利用深度置信網(wǎng)絡(luò)（DBN）得到對原始數(shù)據(jù)的觀測概率。隱馬爾可夫（HMM）據(jù)此通過前向算法求出數(shù)據(jù)的似然概率，并將概率值最大的類別作為識別結(jié)果。實(shí)驗(yàn)表明，使用DBN-HMM模型可以有效利用存在標(biāo)簽缺失的數(shù)據(jù)，提高語音簽到系統(tǒng)的識別能力。

關(guān)鍵詞： 語音識別;簽到系統(tǒng);無監(jiān)督學(xué)習(xí);DBN-HMM

中圖分類號： TN912.3;TP183 ? ?文獻(xiàn)標(biāo)識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.12.041

本文著錄格式：趙從健，雷菊陽，李明明. 基于無監(jiān)督學(xué)習(xí)的語音簽到系統(tǒng)[J]. 軟件，2019，40（12）：183187

Voice Check-in System Based on Unsupervised Learning

ZHAO Cong-jian， LEI Ju-yang， LI Ming-ming

（Shanghai University of Engineering Science， College of Mechanical and Automotive Engineering， Shanghai， 201620， China）

【Abstract】： Aiming at the low recognition rate of speech check-in system in practical application， this paper proposed a method， from improving the utilization of tag missing data， to improve recognition rate by unsupervised learning. This method was based on Deep Belief Network mixed Hidden Markov Model （DBN-HMM）， used the Restricted Boltzmann Machine （RBM） to extract the characteristic parameters for unsupervised learning， then used Deep Belief Network （DBN） to get the observation probability of raw data. Based on this， Hidden Markov Model （HMM） calculated the likelihood probability of data by forward algorithm， and took the category with the largest probability value as recognition results. Experiments showed that DBN-HMM model could effectively utilize the data with missing tags and improved the recognition ability of speech check-in system.

【Key words】： Speech recognition; Check-in system; Unsupervised learning; DBN-HMM

0 ?引言

目前，國內(nèi)高校、企業(yè)對考勤系統(tǒng)的要求不斷提高，如何安全且經(jīng)濟(jì)地完成考勤成為一項(xiàng)研究課題[1-5]。傳統(tǒng)的考勤方式，如人工點(diǎn)名、刷卡簽到等方式存在他人代替、遺失和被盜用等風(fēng)險[6]。因此，傳統(tǒng)的考勤方式面臨著嚴(yán)峻的挑戰(zhàn)，與當(dāng)今人工智能的發(fā)展越來越不協(xié)調(diào)。

語言作為人類最常用、最重要和最有效的交流載體，是最適合用來身份認(rèn)證的方式之一。和其他方式相比，語音信號獲取方便，人機(jī)交流時最自然和便利，而不基于固定文本下的語音識別具有很高的安全性[1-8]。過去的研究缺乏準(zhǔn)確的模型，無法處理大量未經(jīng)注釋的數(shù)據(jù)，而深度學(xué)習(xí)的興起為語音識別提供了強(qiáng)大的建模能力，提高了原始數(shù)據(jù)的利用率[9-12]。

語音識別本質(zhì)上是模式識別的一種，簽到系統(tǒng)下為非特定人群的識別，決定了特征選取的難度。深度學(xué)習(xí)中，相關(guān)的特征由網(wǎng)絡(luò)訓(xùn)練后提取而出，特征向量高維且抽象但能更準(zhǔn)確地表示模型[13-14]。文獻(xiàn)[15]中，利用DBN作為特征參數(shù)的提取器可以降低GMM-UBM模型下的錯誤識別率。高維的特征向量、海量的數(shù)據(jù)加上復(fù)雜的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，嚴(yán)重影響了深度學(xué)習(xí)在語音識別中的訓(xùn)練效率。文獻(xiàn)[16]提出，利用重構(gòu)方法來修剪深度網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)，修剪后的訓(xùn)練速度提升了4倍以上。

對此，本文設(shè)計了一種無監(jiān)督學(xué)習(xí)的語音簽到系統(tǒng)。在利用MFCC和RBM對原始數(shù)據(jù)提取特征的基礎(chǔ)上，引入DBN建立深層次的結(jié)構(gòu)模型，提高模型概率觀測的準(zhǔn)確性。再將DBN網(wǎng)絡(luò)得到的狀態(tài)觀測概率帶入HMM模型用于簽到識別。圖1為語音識別流程圖，先無監(jiān)督學(xué)習(xí)再匹配識別。

圖1 ?語音識別流程

Fig.1 ?Speech recognition process

1 ?語音處理

1.1 ?語音采集及預(yù)處理

課堂語音簽到系統(tǒng)依賴含有大量學(xué)生信息的特定數(shù)據(jù)庫，這些數(shù)據(jù)庫中的語音信號主要記錄了學(xué)生的音頻特征。這些特征的選取需要有效區(qū)分、易提取、可靠和穩(wěn)定地識別學(xué)生，目前完全滿足這些特征是難以找到的，這里采用無監(jiān)督學(xué)習(xí)的方式找到部分滿足的特征。

原始語音數(shù)據(jù)的采集應(yīng)安排在安靜的環(huán)境中，采集到的語音長度在3-5秒，采集多個短文本。信號預(yù)處理前，先用低通濾波器降噪處理，過濾高頻噪音信號。這里采用的是雙門限法來檢測端點(diǎn)，圖2可以發(fā)現(xiàn)，經(jīng)過降噪處理，端點(diǎn)檢測的結(jié)果更為連續(xù)和精確，保留了信號的關(guān)鍵部分。

對采集好的語音數(shù)據(jù)進(jìn)行預(yù)處理，主要包括：預(yù)加重、分幀、加窗和端點(diǎn)檢測。預(yù)加重可以提升高頻信號的分辨率。加窗分幀可以把原始信號變成具有短時平穩(wěn)性的待處理信號。端點(diǎn)檢測可以區(qū)分語音信號和非語音信號[17-18]。圖3反應(yīng)了預(yù)處理前后信號頻譜的變化。

圖2 ?端點(diǎn)檢測效果對比

Fig.2 ?Comparison of endpoint detection effects

圖3 ?信號頻譜對比

Fig.3 ?Signal spectrum contrast

1.2 ?語音的特征提取

特征參數(shù)的提取，直接影響了語音簽到系統(tǒng)的識別性能。合適且適量的特征選取，可以有效提高語音簽到的識別效率。由于待簽到對象是多人和未知的，也為了后續(xù)的無監(jiān)督學(xué)習(xí)做準(zhǔn)備，這里在MFCC提取特征參數(shù)的基礎(chǔ)上引入了RBM，利用最大似然函數(shù)優(yōu)化選取的特征參數(shù)。

受限波爾茨曼機(jī)（RBM）是一種常用的深度概率模型，本質(zhì)上是一個無向的能量圖模型，如圖4所示。

該神經(jīng)網(wǎng)絡(luò)包含了可見層和隱含層，同層內(nèi)部節(jié)點(diǎn)無連接，不同層的節(jié)點(diǎn)間全連接但沒有方向。MFCC提取出的特征向量作為可見層的輸入，經(jīng)過訓(xùn)練不斷調(diào)整網(wǎng)絡(luò)參數(shù)[19]。

圖4 ?受限波爾茨曼機(jī)

Fig.4 ?Restricted boltzmann machine

假定數(shù)據(jù)集為S={s1，s2，s3，…，sns}，其中的數(shù)據(jù)si={x1i，x2i，x3i，…，xji}（i=1，2，…，ns）由MFCC提取。則RBM網(wǎng)絡(luò)參數(shù)更新式如下所示：

（1）

（2）

（3）

其中，Δw表示可見層和隱含層之間的權(quán)值矩陣，Δa表示可見層的偏置向量，Δb表示隱含層的偏置向量，P（h|s）表示的是可見單元為特定訓(xùn)練樣本s時，對應(yīng)的隱藏層概率分布。

2 ?基于DBN-HMM的語音識別網(wǎng)絡(luò)

隱馬爾可夫模型（HMM）現(xiàn)已成為了語音識別的主流技術(shù)，尤其在連續(xù)語音識別系統(tǒng)中無可替代。HMM模型依賴訓(xùn)練數(shù)據(jù)的狀態(tài)標(biāo)簽，而實(shí)際訓(xùn)練中存在大量標(biāo)簽缺失的原始數(shù)據(jù)，影響識別效果。DBN是一種無監(jiān)督學(xué)習(xí)算法，可以有效利用標(biāo)簽缺失的數(shù)據(jù)，其深層次的網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)了對信號特征的建模能力，可以提供更準(zhǔn)確的觀察概率，結(jié)合HMM模型得到的狀態(tài)轉(zhuǎn)移概率矩陣，并將概率得分最大的類別作為語音識別的結(jié)果[20]。

2.1 ?DBN模型

DBN網(wǎng)絡(luò)主要由多個RBM網(wǎng)絡(luò)疊加而成，采用逐層無監(jiān)督訓(xùn)練的方式。前一層RBM的輸出作為下一層RBM的輸入，逐層學(xué)習(xí)，最后再用BP算法對網(wǎng)絡(luò)進(jìn)行反向微調(diào)。

圖5為DBN的網(wǎng)絡(luò)結(jié)構(gòu)圖。其中每層的RBM包括了正向預(yù)訓(xùn)練階段和重構(gòu)階段，BP算法為全局反向微調(diào)階段。

利用交叉驗(yàn)證法將經(jīng)過處理和標(biāo)簽的語音信號劃分為訓(xùn)練集和測試集，再將訓(xùn)練集作為向量輸入到DBN網(wǎng)絡(luò)中訓(xùn)練。訓(xùn)練主要包括：DBN網(wǎng)絡(luò)及參數(shù)的初始化;網(wǎng)絡(luò)的預(yù)訓(xùn)練;全局的反向微調(diào)。

圖5 ?DBN網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.5 ?DBN network structure diagram

（1）DBN網(wǎng)絡(luò)及參數(shù)的初始化

目前關(guān)于DBN的研究中，主要依據(jù)經(jīng)驗(yàn)來選擇網(wǎng)絡(luò)深度和隱含層的節(jié)點(diǎn)數(shù)。由于在提取特征時使用了單層的RBM網(wǎng)絡(luò)，將其隱含層的相關(guān)參數(shù)作為DBN輸入層參數(shù)的預(yù)設(shè)值。 在確定網(wǎng)絡(luò)深度、隱含節(jié)點(diǎn)數(shù)的過程中，還需要依賴重構(gòu)誤差的曲線來調(diào)整。重構(gòu)誤差主要對比的是原始數(shù)據(jù)和對其經(jīng)過k次Gibbs采樣后（RBM中的對比散度算法）的差異，其2-范數(shù)公式表達(dá)為：

（4）

其中，n為可視層的個數(shù)，m為隱含層個數(shù)，y為隱含層輸出值，x為可視層輸入值，q為取值個數(shù)或范圍。

（2）網(wǎng)絡(luò)的預(yù)訓(xùn)練

網(wǎng)絡(luò)由多層RBM堆疊而成，整個預(yù)訓(xùn)練過程分為多個RBM的學(xué)習(xí)過程。從最底層的網(wǎng)絡(luò)輸入處理好的原始數(shù)據(jù)，每相鄰的兩層作為一個RBM網(wǎng)絡(luò)進(jìn)行無監(jiān)督的學(xué)習(xí)過程。每次只訓(xùn)練一層，并將訓(xùn)練后的隱含層作為下一個RBM的可視層輸入，最后一個RBM的隱含層作為整個網(wǎng)絡(luò)的輸出。

（3）全局的反向微調(diào)

每個RBM網(wǎng)絡(luò)經(jīng)過參數(shù)調(diào)優(yōu)可以使重構(gòu)誤差最小，但整個DBN網(wǎng)絡(luò)無法保證參數(shù)最優(yōu)，此時結(jié)合BP對網(wǎng)絡(luò)自頂向下進(jìn)行有監(jiān)督的反向微調(diào)，更新每層網(wǎng)絡(luò)的參數(shù)。

2.2 ?基于DBN-HMM的語音識別

在圖6中，DBN根據(jù)輸入的特征向量數(shù)據(jù)學(xué)習(xí)訓(xùn)練，最后輸出向量數(shù)據(jù)的后驗(yàn)概率P（s|h）。再利用貝葉斯公式，將其轉(zhuǎn)化為狀態(tài)的觀測概率：

（5）

其中，P（s）表示狀態(tài)s的先驗(yàn)概率，P（h）表示觀測樣本的先驗(yàn)概率。

圖6 ?DBN-HMM模型

Fig.6 ?DBN-HMM model

DBN為HMM提供觀察概率，再采用前向算法求出向量數(shù)據(jù)的似然概率P（H|λ），保留其中概率最大的類別，輸出結(jié)果。

3 ?結(jié)果及分析

3.1 ?實(shí)驗(yàn)設(shè)計

為了實(shí)現(xiàn)語音簽到系統(tǒng)的設(shè)計，現(xiàn)從中文普通話開源語音數(shù)據(jù)庫AISHELL-ASR0009中選取一部分作為實(shí)驗(yàn)數(shù)據(jù)。數(shù)據(jù)由不同的10個人隨機(jī)錄入不同文本信息的10段語音，共100段3-5秒的語音數(shù)據(jù)組成。

為真實(shí)反映實(shí)驗(yàn)需求，對于選取的語音數(shù)據(jù)，男女各占一半，全為普通話但包含了南北的口音差異，每段語音均為隨機(jī)不同的文本信息。實(shí)際建立語音簽到數(shù)據(jù)庫的過程中，還需要對每個已知個體建立對應(yīng)的信息表，具體包括姓名、工號、性別、年齡等相關(guān)信息，這樣可以確保區(qū)分開所有個體。由于本實(shí)驗(yàn)選取了小樣本數(shù)據(jù)，現(xiàn)對每個個體標(biāo)號以區(qū)分。

首先對原始的語音數(shù)據(jù)預(yù)處理;然后利用RBM對處理好的特征向量數(shù)據(jù)降維和提取;接著利用交叉驗(yàn)證的方式將數(shù)據(jù)分為訓(xùn)練集和測試集兩部分;對于訓(xùn)練集，采用DBN-HMM網(wǎng)絡(luò)學(xué)習(xí)和訓(xùn)練;最后用測試集驗(yàn)證和評價訓(xùn)練的結(jié)果。完整的訓(xùn)練流程如圖7所示。

圖7 ?訓(xùn)練流程

Fig.7 ?The training process

3.2 ?實(shí)驗(yàn)分析

為了提高RBM的學(xué)習(xí)訓(xùn)練能力，需要選擇合適的網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)的訓(xùn)練性能可以用重構(gòu)誤差曲線來表示。圖8反映了不同隱含節(jié)點(diǎn)數(shù)下網(wǎng)絡(luò)的訓(xùn)練性能，適當(dāng)增加節(jié)點(diǎn)數(shù)可以提升性能，過多的節(jié)點(diǎn)會增加計算量降低網(wǎng)絡(luò)性能，由此確定隱含層節(jié)點(diǎn)數(shù)為30。

圖8 ?不同隱藏層節(jié)點(diǎn)數(shù)下的重構(gòu)誤差曲線

Fig.8 ?Reconstruction error curves of

different hidden layer nodes

圖9為不同網(wǎng)絡(luò)深度下DBN的重構(gòu)誤差曲線，誤差大小與RBM堆疊的數(shù)量有關(guān)，選取的數(shù)值為訓(xùn)練時有限次迭代后的平均數(shù)值?？梢园l(fā)現(xiàn)，當(dāng)堆疊的RBM網(wǎng)絡(luò)數(shù)為3時，網(wǎng)絡(luò)擁有較低的重構(gòu)誤差。隨著網(wǎng)絡(luò)層數(shù)的增加，計算量增大，重構(gòu)誤差并沒有隨之降低，由此確定使用三層RBM堆疊的DBN網(wǎng)絡(luò)。

實(shí)驗(yàn)所用不同的10個個體語音對應(yīng)了不同的測試編號，這些編號可以幫助我們將語音庫的所有個體完全區(qū)分開來。接著利用交叉驗(yàn)證的方法，將數(shù)據(jù)集拆分成訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，這樣可以使拆分后的小樣本盡量可靠和穩(wěn)定地反應(yīng)原樣本的分布規(guī)律。

圖9 ?不同網(wǎng)絡(luò)深度下的重構(gòu)誤差

Fig.9 ?Reconstruction errors at different network depths

表1為DBN-HMM與GMM-HMM對不同測試數(shù)據(jù)集的測試結(jié)果對比。可以發(fā)現(xiàn)，DBN-HMM的測試結(jié)果明顯更高，這是因?yàn)镈BN對信號特征建立了更深層的模型，性能強(qiáng)于GMM，可以為HMM提供更為準(zhǔn)確的觀察概率。

表1 ?兩種方法下測試結(jié)果對比

Tab.1 ?Comparison of test results between the two methods

測試編號 DBN-HMM GMM-HMM

D0012 84.8 83.2

D0013 88.2 86.6

D0014 84.4 82.8

D0015 88.3 86.7

D0018 84.7 83.1

T0016 T00 87.4 85.8

T0017 83.1 81.5

T0019 84.1 82.5

T0020 88.3 86.7

T0021 81.9 80.3

TOTAL 85.5 83.9

結(jié)合圖5、6以及表1的結(jié)果考慮，DBN模型是一個深度學(xué)習(xí)的模型，可以直接從原始信號中提取特征和識別，由于具有更深層次的模型建立能力，可以取得更高的識別精度。對于深度學(xué)習(xí)方法，計算量大，需要確定合理的參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)，在降低運(yùn)算量和提高識別率中取得平衡。最后的測試結(jié)果也說明了，DBN-HMM用于語音簽到系統(tǒng)中的優(yōu)勢明顯。

4 ?結(jié)束語

本文對語音簽到系統(tǒng)進(jìn)行了研究，提出了一種可以無監(jiān)督學(xué)習(xí)的混合模型，該模型對原始語音具有更深層次的建模能力，通過梯度上升算法和對比散度算法，可以在提高識別率的基礎(chǔ)上降低算法的計算量。實(shí)驗(yàn)結(jié)果表明，該方法可行且具有一定優(yōu)越性。

由于語音數(shù)據(jù)量、硬件設(shè)備缺乏、環(huán)境干擾影響等限制和能力的不足，我們并沒有獲得識別率在95%以上理想的DBN-HMM語音識別模型，如何在更復(fù)雜的環(huán)境干擾下，盡可能使用最少的語音數(shù)據(jù)學(xué)習(xí)訓(xùn)練是需要今后進(jìn)一步研究的內(nèi)容

參考文獻(xiàn)

[1]王愛蕓. 語音識別技術(shù)在智能家居中的應(yīng)用[J]. 軟件， 2015， 36（7）： 104-107.

[2]劉星燕， 賈磊， 薛君彥. 淺談張家口121語音答詢系統(tǒng)幾個常見問題的處理[J]. 軟件， 2018， 39（1）： 180-182.

[3]陳恒， 李宏達(dá)， 趙曉艷. 基于微信的大學(xué)課堂點(diǎn)名系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J]. 軟件， 2018， 39（3）： 45-47.

[4]楊士卿. 基于B/S的一卡通會議簽到系統(tǒng)設(shè)計與實(shí)現(xiàn)[J]. 軟件， 2018， 39（5）： 66-69.

[5]王芳， 蔡沂. 基于生成樹的學(xué)生互校驗(yàn)簽到應(yīng)用研究[J]. 軟件， 2018， 39（7）： 06-11.

[6]阮超. 基于Android系統(tǒng)語音云記事本的設(shè)計與實(shí)現(xiàn)[D]. 安徽大學(xué)， 2016.

[7]陳碩. 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在語音識別中的應(yīng)用研究[D]. 華南理工大學(xué)， 2013.

[8]于俊婷， 劉伍穎， 易綿竹， 等. 國內(nèi)語音識別研究綜述[J]. 計算機(jī)光盤軟件與應(yīng)用， 2014， 17（10）： 76-78.

[9]侯一民， 周慧瓊， 王政一. 深度學(xué)習(xí)在語音識別中的研究進(jìn)展綜述[J]. 計算機(jī)應(yīng)用研究， 2017， 34（08）： 2241-2246.

[10]王海坤， 潘嘉， 劉聰. 語音識別技術(shù)的研究進(jìn)展與展望[J]. 電信科學(xué)， 2018， 34（02）： 1-11.

[11]楊俊安， 王一， 劉輝， 等. 深度學(xué)習(xí)理論及其在語音識別領(lǐng)域的應(yīng)用[J]. 通信對抗， 2014， 33（03）： 1-5.

[12]劉豫軍， 夏聰. 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在語音識別中的應(yīng)用[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2014（12）： 28-30.

[13]郭麗麗， 丁世飛. 深度學(xué)習(xí)研究進(jìn)展[J]. 計算機(jī)科學(xué)， 2015， 42（3）： 28-33.

[14]Deng Li. Industrial technology advances： deep learning from speech recognition to language and multimodal processing[J]. APSIPA Trans on Signal and Information Processing， 2016（5）.

[15]Qian Yanmin， He Tianxing， Deng Wei， et al. Automatic model redundancy reduction for fast back-propagation for deep neural networks in speech recognition[C]//Proc of International Joint Conference on Neural Networks.[S.l.]： IEEE Press， 2015.

[16]Liu Yuan， Fu Tianfan， Fan Yuchen， et al. Speaker verification with deep features[C]//Proc of International Joint Conference on Neural Networks. 2014： 747-753.

[17]劉琦， 尹國祥. 基于Matlab的語音信號預(yù)處理技術(shù)研究[J]. 電子技術(shù)與軟件工程， 2014（01）： 62-63.

[18]張毅， 黎小松， 羅元， 等. 基于人耳聽覺特性的語音識別預(yù)處理研究[J]. 計算機(jī)仿真， 2015， 32（12）： 322-326.

[19]張建明， 詹智財， 成科揚(yáng)， 等. 深度學(xué)習(xí)的研究與發(fā)展[J]. 江蘇大學(xué)學(xué)報： 自然科學(xué)版， 2015， 36（2）： 191-200.

[20]Yu Dong， Deng Li. 解析深度學(xué)習(xí)——語音識別實(shí)踐[M]. 俞凱， 錢彥旻， 等譯. 北京： 電子工業(yè)出版社， 2016.