黃方亮,許歡慶,沈同平,金 力,俞 磊

安徽中醫(yī)藥大學(xué) 醫(yī)藥信息工程學(xué)院,安徽 合肥 230012

帕金森病(Parkinson’s Disease,PD)是一種常見(jiàn)的神經(jīng)系統(tǒng)退行性疾病,現(xiàn)代醫(yī)學(xué)尚不能痊愈[1]。因而研究PD的早期診斷對(duì)控制PD患者的病情,延長(zhǎng)其生命具有重要意義[2]。有研究發(fā)現(xiàn),聲帶損傷[3]這一早期癥狀出現(xiàn)在90%的PD患者中,聲學(xué)分析主要表現(xiàn)為高振幅微擾,高基頻微擾,低諧信噪比,低基頻[4]?；诖?可以考慮通過(guò)提取語(yǔ)音信號(hào)中的聲學(xué)特征進(jìn)行PD的早期檢測(cè),此方法具有便利性、非入侵性、高效率等優(yōu)點(diǎn),被國(guó)內(nèi)外廣泛接受和應(yīng)用。

國(guó)內(nèi)外研究者主要采用傳統(tǒng)的特征提取方法結(jié)合機(jī)器學(xué)習(xí)算法,通過(guò)分析語(yǔ)音信號(hào)實(shí)現(xiàn)PD識(shí)別。Max Little等[5]在2009年收集持續(xù)的元音發(fā)聲/a/形成首個(gè)語(yǔ)音數(shù)據(jù)庫(kù)。隨后,Max Little等證明元音足以進(jìn)行PD檢測(cè)[6-7]。2013年,Sakar等分析了收集自PD患者的多種類(lèi)型的語(yǔ)音用于PD診斷[8]。為提高識(shí)別準(zhǔn)確率,Benba等基于Sakar的數(shù)據(jù)集,分別利用梅爾頻率倒譜系數(shù)(MFCC)及其一階、二階導(dǎo)數(shù)[9]以及平均值來(lái)壓縮提取的MFCC[10],利用人因子倒譜系數(shù)(HFCC)[11]提取聲紋特征參數(shù),采用結(jié)合不同核函數(shù)的SVM分類(lèi)器進(jìn)行分類(lèi)。

近年來(lái),深度學(xué)習(xí)在語(yǔ)音增強(qiáng)、情感識(shí)別和病理檢測(cè)等語(yǔ)音處理中的應(yīng)用取得了很好的效果[12],為利用聲學(xué)特征識(shí)別PD患者提供了應(yīng)用基礎(chǔ)。Lucijano Berus等[13]將原始音頻數(shù)據(jù)輸入到人工神經(jīng)網(wǎng)絡(luò)(ANN),微調(diào)后再進(jìn)行分類(lèi),但存在直接處理語(yǔ)音信號(hào)較復(fù)雜問(wèn)題。師浩斌等[14]采用Alexnet模型對(duì)語(yǔ)譜圖分類(lèi),取得86.67%的精確度。然而目前用于圖像識(shí)別和分類(lèi)效果較好的一些網(wǎng)絡(luò)模型,如VGG16,作為數(shù)據(jù)驅(qū)動(dòng)型模型,依賴于大量樣本,而現(xiàn)階段用于帕金森研究的音頻數(shù)據(jù)總體較少且樣本獲取困難,導(dǎo)致機(jī)器學(xué)習(xí)算法過(guò)擬合,達(dá)不到好的識(shí)別效果[15]。本文采用信號(hào)處理技術(shù)提取PD病人和健康人的語(yǔ)音聲學(xué)特征形成數(shù)據(jù)集,集合殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練,以期從語(yǔ)音識(shí)別角度實(shí)現(xiàn)對(duì)PD患者的早期診斷,與傳統(tǒng)的決策樹(shù)分類(lèi)方法進(jìn)行對(duì)比發(fā)現(xiàn),基于人工智能的殘差神經(jīng)網(wǎng)絡(luò)具有很高的識(shí)別準(zhǔn)確率,從而為PD患者在診斷方法上提供新的思路。

1 數(shù)據(jù)集和預(yù)處理

研究采用的數(shù)據(jù)集MDVR-KCL是由倫敦國(guó)王學(xué)院(King’s College London,KCL)醫(yī)院于2017年采用移動(dòng)智能手機(jī)與包含16例PD患者和21例健康人(healthy controls,HC)在內(nèi)的被試者進(jìn)行語(yǔ)音通話,邀請(qǐng)被試者朗讀伊索寓言North Wind and the Sun并進(jìn)行一段隨機(jī)話題討論,最終獲得了采樣率為44.1 kHz、分辨率為16位的高質(zhì)量WAV格式音頻文件集合。數(shù)據(jù)集下載地址:https://zenodo.org/record/2867216#.Xp4kVsgzaUl。

原始音頻數(shù)據(jù)集近1.27 GB,為了挖掘其中聲學(xué)特征從而構(gòu)建機(jī)器學(xué)習(xí)數(shù)據(jù)集,本研究采用Python工具對(duì)原始音頻數(shù)據(jù)進(jìn)行預(yù)處理,利用parseImouth庫(kù),使用Praat可實(shí)現(xiàn)包含周期變化、峰值變化及諧波信噪比等復(fù)雜語(yǔ)音特征的提取。將體積龐大的語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成包含多個(gè)特征的一維向量數(shù)據(jù)集,借助傳統(tǒng)分類(lèi)方法和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)對(duì)比從而輸出診斷率。圖1所示為診斷識(shí)別整體流程圖。

圖1 診斷識(shí)別整體流程圖

數(shù)據(jù)集由12個(gè)特征組成:[Jitter_rel,Jitter_abs,Jitter_RAP,Jitter_PPQ,Shimmer_loc,Shimmer_db,Shimmer_APQ3,Shimmer_APQ5,Shimmer_APQ11,HNR05,HNR15,HNR25],分別表示相對(duì)跳動(dòng)、絕對(duì)跳動(dòng)、相對(duì)幅度震動(dòng)、周期擾動(dòng)熵、局部振幅微擾、絕對(duì)閃爍特征、三點(diǎn)幅度擾動(dòng)熵、五點(diǎn)幅度擾動(dòng)熵、十一點(diǎn)幅度擾動(dòng)熵、諧波噪聲比05、諧波噪聲比15、諧波噪聲比25。以上特征主要包括Jitter類(lèi)、Shimmer類(lèi)及諧波信噪比[16-18]。

Jitter用來(lái)表征語(yǔ)音信號(hào)偏離其周期的程度大小,一般用于衡量語(yǔ)音信號(hào)中相鄰兩個(gè)基頻差值的平均值與基頻平均值的比值大小,如式(1)所示:

其中N為基頻數(shù),F0,i為第i個(gè)基頻。

Shimmer衡量的是連續(xù)兩個(gè)振幅的偏差,如式(2)所示:

其中N表示振幅序列的長(zhǎng)度,Ai表示振幅序列中第i個(gè)值。

信噪比用來(lái)衡量一個(gè)信號(hào)質(zhì)量的優(yōu)劣程度,常用諧波與噪聲的比值HNR來(lái)衡量由于聲帶器官發(fā)生病理性改變而產(chǎn)生的噪聲[19]。研究表明,帕金森病人的HNR相比于健康人群呈現(xiàn)出較小的數(shù)值。

通過(guò)對(duì)生成的一維向量數(shù)據(jù)集進(jìn)行分析,發(fā)現(xiàn)PD患者與健康人群在Jitter類(lèi)、Shimmer類(lèi)及HNR上有明顯的區(qū)別,如圖2所示。

注:a)Jitter值；b)Shimmer值；c)HNR值。

PD患者的發(fā)音有震顫,在Jitter和Shimmer和HNR中明顯可見(jiàn)。Jitter表示頻率擾動(dòng),PD患者的抖動(dòng)值高于健康人群,在Shimmer中也有相同的表現(xiàn)。此外,健康人群的信噪比明顯高于PD患者。

為避免訓(xùn)練過(guò)程出現(xiàn)過(guò)擬合現(xiàn)象,對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗和數(shù)據(jù)增強(qiáng)后得到3 000條數(shù)據(jù),其中2 400條作為訓(xùn)練集,300條作為驗(yàn)證集,300條作為測(cè)試集,各占樣本容量的80%、10%、10%。

2 分類(lèi)方法

2.1 決策樹(shù)

決策樹(shù)的構(gòu)建是基于已知的發(fā)生概率。這涵蓋了事件發(fā)生的各種情況,概率值應(yīng)選擇大于0,以便更好地判斷項(xiàng)目的具體可行性,因?yàn)槠湫螤钆c樹(shù)非常相似,所以它被稱(chēng)為決策樹(shù),分類(lèi)原理如圖3所示。雖然決策樹(shù)模型和卷積神經(jīng)網(wǎng)絡(luò)模型在結(jié)構(gòu)和概念上有所不同,但都可以作為預(yù)測(cè)模型來(lái)調(diào)用。

圖3 決策樹(shù)分類(lèi)原理圖

采用的sklearn模塊中的sklearn.tree.DecisionTreeClassifier函數(shù),其具有一個(gè)稱(chēng)為tree_的屬性,該屬性允許訪問(wèn)低級(jí)屬性,例如node_count,節(jié)點(diǎn)總數(shù)和max_depth樹(shù)的最大深度。它還存儲(chǔ)整個(gè)二進(jìn)制樹(shù)結(jié)構(gòu),表示為多個(gè)并行數(shù)組。每個(gè)數(shù)組的第i個(gè)元素保存有關(guān)node的信息i。節(jié)點(diǎn)0是樹(shù)的根。一些數(shù)組僅適用于葉節(jié)點(diǎn)或拆分節(jié)點(diǎn),在這種情況下,其他類(lèi)型的節(jié)點(diǎn)的值是任意的。

根節(jié)點(diǎn)是原始的決策屬性。葉子節(jié)點(diǎn)表示如果樣本在屬性集上取值相同,則根據(jù)樣本中數(shù)量最多的類(lèi)別返回對(duì)應(yīng)類(lèi)別的葉子節(jié)點(diǎn)。內(nèi)部節(jié)點(diǎn)是根據(jù)屬性的映射進(jìn)行決策。選擇最優(yōu)的劃分屬性是決策樹(shù)的關(guān)建,采用ID3這一決策樹(shù)生成的經(jīng)典算法,每次分裂時(shí)候就是計(jì)算信息增益,然后選擇信息增益最大的作為標(biāo)準(zhǔn)進(jìn)行結(jié)點(diǎn)分裂。算法過(guò)程為:

1)定義全局變量,當(dāng)前決策分裂之前的樣本集合D。

2)樣本類(lèi)別為K。

3)根據(jù)標(biāo)簽(本文數(shù)據(jù)集的類(lèi)別為2種,即PD和HC)D中k類(lèi)樣本所占比率p(K)(k=1,2,3…)。

4)根據(jù)標(biāo)簽(本文數(shù)據(jù)集的類(lèi)別為2種,即PD和HC)D中k類(lèi)樣本數(shù)D(K)。

5)屬性集a(a1,a2,…,aV)根據(jù)屬性集映射樣本分類(lèi),該分支結(jié)點(diǎn)根據(jù)屬性a決策分裂所得樣本子集D。

2.2 ResNet

殘差神經(jīng)網(wǎng)絡(luò)(ResNet)指的是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中加入殘差學(xué)習(xí)的思想,解決了深層網(wǎng)絡(luò)中梯度彌散和精度下降(訓(xùn)練集)的問(wèn)題,使網(wǎng)絡(luò)能夠越來(lái)越深,既保證了精度,又控制了速度。它是何凱明在2015年提出的一種網(wǎng)絡(luò)結(jié)構(gòu),獲得了ILSVRC-2015分類(lèi)比賽的第一名。殘差網(wǎng)絡(luò)主要是包含殘差塊,殘差塊一共包含兩種映射,分別為identity mapping和residual mapping,identity mapping指的是輸出本身的值,用于加深網(wǎng)絡(luò)。residual mapping指的是卷積計(jì)算部分,用于改變網(wǎng)絡(luò)維度。隨著神經(jīng)網(wǎng)絡(luò)深度的加深,就會(huì)導(dǎo)致反向傳播過(guò)程中梯度消失問(wèn)題,前面層的參數(shù)得不到有效的更新,就會(huì)導(dǎo)致梯度彌散問(wèn)題,引入殘差網(wǎng)絡(luò)可以有效解決神經(jīng)網(wǎng)絡(luò)加深準(zhǔn)確率下降問(wèn)題。本文使用的是Resnet50神經(jīng)網(wǎng)絡(luò)模型,其層數(shù)總共是50層,其框架圖如圖4所示。

圖4 ResNet50網(wǎng)絡(luò)模型

Resnet50總層數(shù)為50層,由卷積層,池化層,全連接層組成。其卷積層的個(gè)數(shù)為conv1:7×7×64,3個(gè)conv2_x:1×1×64,3×3×64,1×1×256,4個(gè)conv3_x:1×1×128,3×3×128,1×1×512,6個(gè)conv4_x:1×1×256,3×3×256,1×1×1 024,3個(gè)conv5_x:1×1×512,3×3×512,1×1×2 048。池化層的大小為maxpooling:3×3。全連接層輸出是二分類(lèi)為FC:2。本實(shí)驗(yàn)輸入是具有73行12個(gè)屬性的數(shù)據(jù),中間經(jīng)過(guò)Resnet50的卷積層和池化層提取特征值,最后連接全連接層,輸出是一個(gè)二分類(lèi)PD(患者)和HC(正常)。

3 實(shí) 驗(yàn)

本研究的實(shí)驗(yàn)基于Tensorflow2.0.0平臺(tái)搭建,實(shí)驗(yàn)軟硬件環(huán)境為Mac OS操作系統(tǒng)、Intel Core i5 1.6G CPU、8G內(nèi)存。在不考慮訓(xùn)練時(shí)間因素前提下,開(kāi)展表1所列2組實(shí)驗(yàn)。實(shí)驗(yàn)源代碼見(jiàn)鏈接:https://colab.research.google.com/drive/1gFiGB7NXWZij5YQ_ZOfsMa4X-XupMSDX。

表1 實(shí)驗(yàn)分組信息

在訓(xùn)練過(guò)程中多次測(cè)試發(fā)現(xiàn)ResNet50進(jìn)行到1 000次左右迭代后準(zhǔn)確率及損失值基本趨于平穩(wěn),為了對(duì)比,實(shí)驗(yàn)一、實(shí)驗(yàn)二均分析了完整的1 000次迭代過(guò)程。

圖5至6所示為兩組組實(shí)驗(yàn)過(guò)程中的損失值及準(zhǔn)確率變化曲線。

注:a)Decision Tree；b)ResNet50。

注:a)Decision Tree；b)ResNet50。

4 結(jié)果和評(píng)價(jià)

4.1 準(zhǔn)確率和損失值

由于采用有監(jiān)督學(xué)習(xí)方式,實(shí)驗(yàn)過(guò)程根據(jù)數(shù)據(jù)集和硬件配置情況合理調(diào)整模型參數(shù),以平衡訓(xùn)練時(shí)間過(guò)長(zhǎng)和訓(xùn)練精度下降。根據(jù)圖5和圖6可以發(fā)現(xiàn),經(jīng)過(guò)1 000次迭代分類(lèi)模型取得較好的擬合效果,同時(shí)兩種分類(lèi)模型在準(zhǔn)確率和損失值表現(xiàn)上也存在較大的差異,具體標(biāo)下如表2所示。

表2 不同分類(lèi)方法的準(zhǔn)確率和損失值

4.2 混淆矩陣

混淆矩在可以比較分類(lèi)方法的性能,混淆矩在模板如表3所示。真陽(yáng)性(TP)代表分類(lèi)正確的PD樣本,真陰性(TN)代表分類(lèi)正確的健康樣本,假陰性(FN)代表將PD樣本分類(lèi)成健康樣本,假陽(yáng)性(FP)代表將健康樣本分類(lèi)成PD樣本。

表3 混淆矩陣

實(shí)驗(yàn)在兩種分類(lèi)模型上分別進(jìn)行15次測(cè)試,得到如圖7所示的混淆矩陣。

注:a)Decision Tree；b)ResNet50。

4.3 ROC/AUC

ROC是一個(gè)用于度量分類(lèi)中的非均衡性的工具,ROC曲線及AUC常被用來(lái)評(píng)價(jià)一個(gè)二值分類(lèi)器的優(yōu)劣。橫坐標(biāo)為假陽(yáng)率FPR(False positive rate)表示所有負(fù)例中有多少被預(yù)測(cè)為正例,縱坐標(biāo)為真陽(yáng)率TPR(True positive rate)表示有多少真正的正例被預(yù)測(cè)出來(lái)。具體計(jì)算方法如公式(3)、(4)所示:

AUC(Area Under Curve)被定義為ROC曲線下的面積,因?yàn)镽OC曲線一般都處于y=x這條直線的上方,所以取值范圍在0.5和1之間,使用AUC作為評(píng)價(jià)指標(biāo)是因?yàn)镽OC曲線在很多時(shí)候并不能清晰地說(shuō)明哪個(gè)分類(lèi)器的效果更好,而AUC作為一個(gè)數(shù)值,其值越大代表分類(lèi)器效果更好。如圖8所示是兩種分類(lèi)模型的ROC/AUC曲線對(duì)比圖。

注:a)Decision Tree；b)ResNet50。

通過(guò)以上三個(gè)維度的比較,發(fā)現(xiàn)研究中Resnet50較決策樹(shù)在PD患者識(shí)別中有明顯的優(yōu)勢(shì)。分析原因,對(duì)于研究對(duì)象是音頻、視頻、圖像、文本之類(lèi)的數(shù)據(jù)集,其具有大量的特征,每個(gè)特征和最終結(jié)果可能有關(guān)系但不是那么明顯,如同用一個(gè)像素去判斷手寫(xiě)數(shù)字幾乎不可能。基于傳統(tǒng)數(shù)據(jù)挖掘方法的決策樹(shù)更擅長(zhǎng)處理具有較少特征且特征與結(jié)果之間關(guān)系更明顯的任務(wù),而基于深度神經(jīng)網(wǎng)絡(luò)的ResNet50可以從大量特征中提取更高級(jí)的特征,且數(shù)據(jù)集越大越可以減弱過(guò)擬合。

5 結(jié)束語(yǔ)

PD患者與健康人相比存在很多生理方面的差異,本文從聲學(xué)特征差異角度結(jié)合人工智能相關(guān)的分類(lèi)方法,試圖從技術(shù)層面為診斷PD患者提供新的思路和方法。實(shí)驗(yàn)結(jié)果表明殘差神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)的決策樹(shù)分類(lèi)方法在準(zhǔn)確率、特異性等方面有較突出的優(yōu)勢(shì),為臨床應(yīng)用提供重要的實(shí)驗(yàn)參考。同時(shí),由于實(shí)驗(yàn)數(shù)據(jù)采集自英國(guó),被試者在發(fā)音方面與中國(guó)人存在較為明顯的生理差異,這給實(shí)驗(yàn)成果在國(guó)內(nèi)的推廣應(yīng)用帶來(lái)較大的不確定性,因此下一步我們將努力構(gòu)建基于中國(guó)人語(yǔ)音特征的PD患者數(shù)據(jù)集。