王振中，高 勇

（四川大學(xué)，四川 成都 610065）

0 引言

語(yǔ)音分離一詞最初源于Cherry在1953年提出的“雞尾酒會(huì)問(wèn)題”（Cocktail Party Problem），即在雞尾酒會(huì)那樣的聲音環(huán)境中，聽(tīng)者也能毫不費(fèi)力地在其他人的說(shuō)話聲和環(huán)境噪聲的包圍中聽(tīng)到一個(gè)人的說(shuō)話內(nèi)容，因此語(yǔ)音分離問(wèn)題通常也被叫作“雞尾酒會(huì)問(wèn)題”，而語(yǔ)音分離的目的是將兩個(gè)及以上的語(yǔ)音信號(hào)從它們的混合語(yǔ)音信號(hào)中分離出來(lái)。

目前的語(yǔ)音分離方法可分為單通道語(yǔ)音分離方法和陣列語(yǔ)音分離方法。本文著重研究單通道兩個(gè)說(shuō)話人的語(yǔ)音分離技術(shù)，單通道語(yǔ)音分離技術(shù)主要包括盲源分離技術(shù)（Blind Source Separation，BSS）、計(jì)算機(jī)聽(tīng)覺(jué)場(chǎng)景分析（Computational Auditory Scene Analysis，CASA）以及基于深度學(xué)習(xí)的語(yǔ)音分離技術(shù)。在這些算法中，將深度學(xué)習(xí)技術(shù)引入到語(yǔ)音分離中已成為當(dāng)前主流模式，可大幅度提升語(yǔ)音分離的性能[1-4]。

文獻(xiàn)[5]和文獻(xiàn)[6]提出了深度聚類（Deep Clustering，DPCL）的方法，主要解決與說(shuō)話人無(wú)關(guān)的語(yǔ)音分離問(wèn)題。該方法把混疊語(yǔ)音中的每個(gè)時(shí)頻單元結(jié)合其上下文信息映射到一個(gè)新的嵌入空間，并在這個(gè)嵌入空間上進(jìn)行聚類，使得在這一空間中屬于同一說(shuō)話人的時(shí)頻單元距離較小，因此可以聚類到一起。傳統(tǒng)的DPCL算法在訓(xùn)練階段通過(guò)將對(duì)數(shù)幅度譜特征輸入到雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory，BLSTM）嵌入空間網(wǎng)絡(luò)中，在分離階段通過(guò)使用K-均值聚類算法來(lái)對(duì)混合語(yǔ)音信號(hào)進(jìn)行分離。然而，如果直接將高維的幅度譜信息數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，那么將會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練減慢，并造成數(shù)據(jù)冗余，但如果將高維的信息先輸入到卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）中，可以從混合語(yǔ)音信號(hào)的幅度譜中提取特征并降低幅度譜 的維度。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)雙向門(mén)控循環(huán)網(wǎng)絡(luò)（Convolutional Neural Network Cascades Bidirectional Gated Recurrent Network，CNNBiGRU）和多頭自注意力機(jī)制的深度聚類語(yǔ)音分離算法。首先在訓(xùn)練階段，使用CNN從混合語(yǔ)音信號(hào)的幅度譜中提取特征并降低幅度譜的維度；其次利用BiGRU來(lái)捕獲語(yǔ)音信號(hào)中的時(shí)間特征以實(shí)現(xiàn)時(shí)間建模；再次通過(guò)多頭自注意力機(jī)制，更好地利用上下文之間的信息，減少序列信息的丟失，強(qiáng)化幅度譜之間的依賴性，提高語(yǔ)音分離的性能，同時(shí)針對(duì)神經(jīng)網(wǎng)絡(luò)中的“失活”問(wèn)題，本文提出了一種局部線性可控的激活函數(shù)，即改進(jìn)的雙曲正切函數(shù)（Etanh）；最后在分離階段，利用高斯混合聚類算法（Gaussian Mixture Model，GMM）對(duì)混合語(yǔ)音信號(hào)進(jìn)行分離。在公開(kāi)中文數(shù)據(jù)集中得到的實(shí)驗(yàn)結(jié)果表明，相比基線的深度聚類模型[5]，該算法的分離效果在客觀指標(biāo)上均有明顯提高，并且主觀聽(tīng)感上清晰度和可懂度較好。

1 深度聚類模型

聚類是一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法，可以有效地將實(shí)例分組到不同的簇[7]。傳統(tǒng)的深度聚類模型[5]是假設(shè)時(shí)頻單元（Time-Frequency，T-F）中存在合理的區(qū)域，可以定義為一個(gè)源在其中占主導(dǎo)地位的矩陣。而深度聚類的目的是估計(jì)每個(gè)時(shí)頻單元的掩碼，首先使用神經(jīng)網(wǎng)絡(luò)（BLSTM）將T-F表示為高維嵌入向量，其次通過(guò)附加的聚類過(guò)程（K-均值聚類）來(lái)估計(jì)二進(jìn)制掩碼。

在深度聚類中，輸入信號(hào)的對(duì)數(shù)梅爾譜特征的特征向量表示為Xm=Xt,f,m∈{1,2,…,N}，其中X表示由元素m所索引的特征向量，m通常是指音頻信號(hào)時(shí)頻指數(shù)(t,f)的總數(shù)，t代表信號(hào)幀的時(shí)間索引，f代表信號(hào)幀的頻率索引，Xt,f表示一個(gè)時(shí)頻單元。聚類的目的是在元素m中找到輸入X的理想劃分，以分離混合信號(hào)。Y={ym,c}代表混合信號(hào)的目標(biāo)嵌入結(jié)果，元素m被映射到c個(gè)類別上，只有當(dāng)?shù)赾個(gè)類別中包含元素m時(shí)，有ym,c=1，以此得到理想親和矩陣A=YYT。其中當(dāng)i和j屬于同一個(gè)聚類時(shí)，Ai,j=1，其他情況時(shí)，Ai,j=0。

為了估計(jì)分區(qū)，使D維的嵌入空間B=fθ(X)∈RN×D，聚類由參數(shù)θ決定，以此將嵌入向量聚類形成更接近目標(biāo)的分區(qū){1,2,…,N}。在聚類中，B=fθ(X)是通過(guò)BiGRU網(wǎng)絡(luò)和多頭自注意機(jī)制訓(xùn)練得出的關(guān)于輸入語(yǔ)音信號(hào)特征X的函數(shù)。深度聚類中將嵌入空間B作為一個(gè)N×N的矩陣來(lái)表示親和矩陣=BBT。

對(duì)于每個(gè)輸入X，讓來(lái)匹配理想親和矩陣并以此進(jìn)行優(yōu)化嵌入。從而可以通過(guò)最小化估計(jì)的親和矩陣與理想親和矩陣之間的距離得到訓(xùn)練時(shí)的損失函數(shù)：

在分離階段，首先從測(cè)試信號(hào)中提取T-F，計(jì)算最后一層的輸出即嵌入向量矩陣；其次利用K-均值算法估計(jì)出理想的二值掩碼，將估計(jì)出的理想二值掩碼乘以混合語(yǔ)音信號(hào)的時(shí)頻單元；最后用短時(shí)傅里葉逆變換和重疊相加的方法分離出原始的語(yǔ)音信號(hào)。

2 本文提出的改進(jìn)算法

2.1 門(mén)控循環(huán)單元

門(mén)控循環(huán)單元（Gated Recurrent Unit，GRU）網(wǎng)絡(luò)是LSTM網(wǎng)絡(luò)的一種變體，它較LSTM網(wǎng)絡(luò)的結(jié)構(gòu)更加簡(jiǎn)單，計(jì)算量更小，而且效果也很好，同時(shí)它既具有LSTM能夠保留長(zhǎng)期序列信息的能力，又能夠減少梯度消失的問(wèn)題。GRU中只有兩個(gè)門(mén)，即更新門(mén)和重置門(mén)，而B(niǎo)iGRU模型包含前向傳播、后向傳播兩個(gè)GRU模型，相比GRU具有更高的分類和識(shí)別精度。綜上考慮，本文采用雙向GRU網(wǎng)絡(luò)，該網(wǎng)絡(luò)可從前、后兩個(gè)方向全面捕捉語(yǔ)音語(yǔ)義特征，能夠在一定程度上消除傳統(tǒng)GRU中輸入信息的順序?qū)ψ罱K狀態(tài)的額外影響。

2.2 多頭自注意力機(jī)制

目前，注意力機(jī)制模型在機(jī)器翻譯、圖像描述、文本摘要中被廣泛應(yīng)用。自注意力機(jī)制是注意力機(jī)制的變體，它可以減少對(duì)外部信息的依賴，更擅長(zhǎng)捕捉序列數(shù)據(jù)或特征的內(nèi)部相關(guān)性。在語(yǔ)音信號(hào)處理中，注意力機(jī)制可以賦予語(yǔ)音數(shù)據(jù)中的每個(gè)語(yǔ)音特征不同權(quán)重，能夠更好地為重要信息分配權(quán)重，從而更加準(zhǔn)確地理解語(yǔ)音序列的語(yǔ)義。本文中所使用的多頭自注意力機(jī)制算法[8-10]，通過(guò)利用多頭自注意機(jī)制從多個(gè)子空間中獲取全局序列信息，并挖掘語(yǔ)音中包含的內(nèi)在特征，其結(jié)構(gòu)如圖1所示。

圖1 多頭自注意力機(jī)制結(jié)構(gòu)

多頭自注意力機(jī)制算法的計(jì)算過(guò)程：首先將輸入轉(zhuǎn)換為鍵值K、查詢值Q和數(shù)值V這3個(gè)矩陣，平行注意力頭數(shù)h用來(lái)處理矩陣的不同部分；其次計(jì)算縮放點(diǎn)乘注意力機(jī)制的注意力分值。具體的表達(dá)式為：

式中：查詢矩陣Q∈Rn×d；鍵矩陣K∈Rn×d；數(shù)值矩陣V∈Rn×d；d為隱藏層節(jié)點(diǎn)的數(shù)量；n為輸入長(zhǎng)度。

在此基礎(chǔ)上，多頭自注意力機(jī)制的注意力得分計(jì)算過(guò)程如下：

式中：WO，，，都為參數(shù)矩陣；h為平行注意力層數(shù)或頭數(shù)。注意這里要做h次，也就是所謂的多頭，經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，最終得出本文中h為2時(shí)語(yǔ)音分離效果最佳。

2.3 激活函數(shù)的優(yōu)化

神經(jīng)網(wǎng)絡(luò)的收斂速度、收斂效果往往兩者不可兼得，為了改善神經(jīng)網(wǎng)絡(luò)的收斂速度和效果，現(xiàn)針對(duì)激活函數(shù)進(jìn)行分析。ReLU激活函數(shù)收斂速度較快，但其負(fù)半軸導(dǎo)數(shù)恒為0，在語(yǔ)音分離任務(wù)中導(dǎo)致收斂效果不佳；tanh激活函數(shù)在語(yǔ)音分離任務(wù)中收斂效果較好，但其收斂速度較慢。因此借鑒tanh激活函數(shù)的泰勒級(jí)數(shù)思想，本文提出了Etanh激活函數(shù)。Etanh激活函數(shù)是考慮了tanh和ReLU激活函數(shù)各自的優(yōu)點(diǎn)，得到局部線性可控的新激活函數(shù)，為了函數(shù)和導(dǎo)函數(shù)的連續(xù)性，局部線性可控函數(shù)選擇使用tanh函數(shù)進(jìn)行改進(jìn)，新激活函數(shù)為：

式中：α，β，γ分別代表偏差補(bǔ)差因子。Etanh(x)通過(guò)調(diào)整參數(shù)α可以實(shí)現(xiàn)可控局部線性的范圍，β可以控制函數(shù)近似不同斜率的線性函數(shù)和函數(shù)上限值，γ可以控制函數(shù)在負(fù)半軸的函數(shù)斜率和函數(shù)下限值，為了使Etanh(x)函數(shù)中的tanh(α·x)函數(shù)局部近似ReLU函數(shù)，當(dāng)且僅當(dāng)α·β=1情況下成立。圖2中展示了不同的α值時(shí)Etanh(x)函數(shù)的曲線，橫縱坐標(biāo)分別代表x軸和y軸。從圖2中可以看出不同的α值情況下線性范圍的區(qū)域變換情況，在本文中α=0.1，β=10，γ=1.58時(shí)語(yǔ)音分離效果最佳，其中γ值的選取是讓Etanh(x)函數(shù)的負(fù)半軸更近似于tanh函數(shù)的負(fù)半軸，而α和β值的選取是受語(yǔ)音分離后的語(yǔ)音質(zhì)量所影響。

圖2 不同的α值時(shí)Etanh(x)函數(shù)的曲線

2.4 本文提出的深度聚類網(wǎng)絡(luò)結(jié)構(gòu)

相比于基線的深度聚類語(yǔ)音分離算法[5]，本文提出的基于CNN-BiGRU和多頭自注意力機(jī)制的深度聚類語(yǔ)音分離方法的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

圖3 本文算法的語(yǔ)音分離結(jié)構(gòu)

本文使用混合語(yǔ)音信號(hào)的對(duì)數(shù)梅爾譜作為輸入特征。本文算法首先通過(guò)CNN挖掘語(yǔ)音信號(hào)中的局部空間結(jié)構(gòu)信息，有效地提取語(yǔ)音的低維特性；其次利用BiGRU來(lái)捕獲語(yǔ)音信號(hào)中的時(shí)間特征以實(shí)現(xiàn)時(shí)間建模；最后通過(guò)多頭自注意力機(jī)制，更好地利用上下文之間的信息，捕獲序列數(shù)據(jù)之間的內(nèi)部相關(guān)性，強(qiáng)化幅度譜之間的依賴性，提高語(yǔ)音分離的性能。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置與評(píng)價(jià)指標(biāo)

關(guān)于語(yǔ)音分離的實(shí)驗(yàn)一般在開(kāi)源的英文數(shù)據(jù)集上展開(kāi)，數(shù)據(jù)集語(yǔ)種類型比較單一。為了驗(yàn)證本文語(yǔ)音分離系統(tǒng)針對(duì)不同語(yǔ)種的語(yǔ)音樣本都有良好的分離效果，實(shí)驗(yàn)采用DiDiSpeech中文語(yǔ)音數(shù)據(jù)庫(kù)[11]來(lái)進(jìn)行驗(yàn)證。該數(shù)據(jù)集是由滴滴公司聯(lián)合天津大學(xué)和杜克昆山大學(xué)在Interspeech會(huì)議上公開(kāi)發(fā)布的開(kāi)源語(yǔ)音數(shù)據(jù)庫(kù)。該數(shù)據(jù)集包括500個(gè)說(shuō)話人，每個(gè)說(shuō)話人約有100條WAV格式的語(yǔ)音，每條語(yǔ)音持續(xù)時(shí)間為3～6 s，采樣率48 kHz，在數(shù)據(jù)預(yù)處理時(shí)將其降采樣到8 kHz。實(shí)驗(yàn)所使用的訓(xùn)練數(shù)據(jù)集是從DiDiSpeech數(shù)據(jù)集中隨機(jī)挑選混合成的4 000條語(yǔ)音，驗(yàn)證集為400條語(yǔ)音，從中分別隨機(jī)選出男性與男性說(shuō)話人混合語(yǔ)音50條，男性與女性說(shuō)話人混合語(yǔ)音50條，女性與女性說(shuō)話人混合語(yǔ)音50條。說(shuō)話人語(yǔ)音之間的信號(hào)干擾比為-2.5～2.5 dB。實(shí)驗(yàn)中所有的語(yǔ)音信號(hào)被降采樣到8 kHz，然后進(jìn)行幀長(zhǎng)為256、幀移為64的短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT），分析窗為Hanning窗，網(wǎng)絡(luò)結(jié)構(gòu)為3層CNN和4層BiGRU，隱藏層節(jié)點(diǎn)數(shù)為600，聚類向量深度為40，STFT輸出的為混合語(yǔ)音信號(hào)的對(duì)數(shù)梅爾譜特征。

語(yǔ)音分離的目標(biāo)是提高語(yǔ)音信號(hào)的語(yǔ)音質(zhì)量或者提高語(yǔ)音信號(hào)的清晰度。為了評(píng)估本文提出的算法，主要采用信失比（Signal to Distortion Ratio，SDR）、信偽比（Signal to Artifact Ratio，SAR）、信干比（Signal to Interference Ratio，SIR）、語(yǔ)音質(zhì)量感知評(píng)估（Perceptual Evaluation of Speech Quality，PESQ）和短時(shí)客觀可懂度（Short-Time Objective Intelligibility，STOI）作為分離算法[12-14]評(píng)價(jià)指標(biāo)。SDR反映分離算法的綜合分離效果，SIR反映分離算法對(duì)干擾信號(hào)的抑制能力，SAR反映分離算法對(duì)引入的噪聲的抑制能力，三者的數(shù)值越大，表示語(yǔ)音信號(hào)的分離效果越好。而PESQ和STOI兩者得分值越高，表示語(yǔ)音質(zhì)量越好。

3.2 激活函數(shù)的性能分析

為了驗(yàn)證Etanh對(duì)語(yǔ)音分離性能的影響，本文從語(yǔ)音分離系統(tǒng)中激活函數(shù)的耗時(shí)和語(yǔ)音分離性能兩方面進(jìn)行比較，其中PESQ和STOI是評(píng)估分離后語(yǔ)音質(zhì)量的客觀評(píng)價(jià)標(biāo)準(zhǔn)，兩者得分值越高，表示語(yǔ)音質(zhì)量越好。激活函數(shù)魯棒性分析如表1 所示。

表1 3種激活函數(shù)的性能對(duì)比

由表1分析可知，改進(jìn)后的Etanh相比于tanh和ReLU，PESQ、STOI得分都有明顯提升，其中PESQ值分別提高了0.32，0.34，STOI值分別提高了0.14，0.15。表1中第3列給出的是3種激活函數(shù)在使用英偉達(dá)2080的GPU同時(shí)訓(xùn)練時(shí)，平均每次迭代所需時(shí)間。由表1可知，3種激活函數(shù)的耗時(shí)在同一級(jí)別，Etanh函數(shù)比tanh函數(shù)降低了0.21 s，比ReLU函數(shù)降低了0.12 s。實(shí)驗(yàn)結(jié)果驗(yàn)證了Etanh激活函數(shù)在一定程度上更有利于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，語(yǔ)音分離性能有一定提升。

3.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文算法的優(yōu)劣性，將基于置換不變訓(xùn)練（utterance-level Permutation Invariant Training，uPIT）的語(yǔ)音分離算法[15]和文獻(xiàn)[5]提出的語(yǔ)音分離算法中的結(jié)果與本文的模型進(jìn)行性能對(duì)比，結(jié)果如表2、圖4和圖5所示。其中，整體上得到的計(jì)算值是男性與男性、男性與女性、女性與女性共150條語(yǔ)音計(jì)算得到的平均值。

表2 不同算法的SDR、SAR、SIR平均值對(duì)比

圖4 不同算法的STOI平均值

圖5 不同算法的PESQ平均值

通過(guò)表2、圖4、圖5中的數(shù)據(jù)可以發(fā)現(xiàn)，本文算法與uPIT算法相比，男性和男性的SDR值提高了3.465 7，SAR值提高了0.757 9，SIR值提高了8.121；男性與女性的SDR值提高了4.312 5，SAR值提高了1.062 5，SIR值提高了8.206 3；女性與女性的SDR值提高了4.076 6，SAR值提高了0.019 2，SIR值提高了8.248；整體上SDR值提高了3.946 4，SAR值提高了0.647 3，SIR值提高了8.187 9。本文算法與文獻(xiàn)[5]相比，男性與男性的SDR值提高了2.367 6，SAR值提高了1.454 5，SIR值提高了3.132 4；男性與女性的SDR值提高了0.983 1，SAR值提高了0.819 2，SIR值提高了1.280 9；女性與女性的SDR值提高了2.093 6，SAR值提高了1.493 8，SIR值提高了2.405；整體上SDR值提高了1.791 9，SAR值提高了1.223 2,SIR值提高了2.257 1。綜上分析可知，本文算法的各項(xiàng)評(píng)價(jià)指標(biāo)，SDR平均值、SAR平均值、SIR平均值、STOI平均值和PESQ平均值均優(yōu)于uPIT算法和文獻(xiàn)[5]算法。

3.4 語(yǔ)音信號(hào)時(shí)域波形分析

將獲得的混合語(yǔ)音信號(hào)使用本文算法進(jìn)行語(yǔ)音分離，并與文獻(xiàn)[5]進(jìn)行對(duì)比，圖6為時(shí)域語(yǔ)音波形對(duì)比結(jié)果。如圖6所示，可以觀察到文獻(xiàn)[5]算法和本文算法的時(shí)域語(yǔ)音波形對(duì)比結(jié)果，圖中區(qū)別最明顯的區(qū)域部分均使用橢圓標(biāo)記出來(lái)?？梢钥闯霰疚乃惴ǖ姆蛛x效果優(yōu)于文獻(xiàn)[5]算法，并且分離后的語(yǔ)音主觀聽(tīng)感上清晰度和可懂度較好，這表明本文算法在一定程度上可以更好地應(yīng)用于工程實(shí)踐環(huán)境中。

圖6 文獻(xiàn)[5]算法和本文算法分離的語(yǔ)音波形對(duì)比結(jié)果

4 結(jié)語(yǔ)

本文提出了一種基于CNN-BiGRU和多頭自注意力機(jī)制的深度聚類語(yǔ)音分離算法。本文算法以對(duì)數(shù)梅爾譜作為輸入特征，通過(guò)CNN-BiGRU網(wǎng)絡(luò)結(jié)構(gòu)來(lái)捕獲混合語(yǔ)音信號(hào)的空間和時(shí)間特征，再通過(guò)多頭自注意力機(jī)制，更好地利用上下文之間的信息，減少序列信息的丟失，最后通過(guò)高斯混合聚類算法對(duì)混合語(yǔ)音進(jìn)行分離。實(shí)驗(yàn)結(jié)果表明，本文提出的語(yǔ)音分離算法模型具有參數(shù)少、速度快等優(yōu)勢(shì)，并且各項(xiàng)評(píng)價(jià)指標(biāo)以及分離出的時(shí)域波形均明顯優(yōu)于基線的深度聚類算法，這證明了本文算法模型的合理性和有效性，可以更好地應(yīng)用到工程實(shí)踐環(huán)境中。

目前本文算法只考慮了兩個(gè)說(shuō)話人的語(yǔ)音分離情況，而在智能家居或者在其他工程應(yīng)用環(huán)境中，實(shí)際情況下可能不止2個(gè)人在同時(shí)說(shuō)話，所以在接下來(lái)的研究工作中，將會(huì)考慮到3個(gè)或3個(gè)以上說(shuō)話人的語(yǔ)音分離情況，同時(shí)也將繼續(xù)驗(yàn)證該激活函數(shù)在多數(shù)場(chǎng)景下的性能以及適應(yīng)性，并進(jìn)一步提升語(yǔ)音分離的性能。