黃紅紅,張 豐,呂良福+,司霄鵬
1.天津大學(xué) 醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院,天津 300072
2.天津大學(xué) 數(shù)學(xué)學(xué)院,天津 300354
癲癇是一種由大腦神經(jīng)元突發(fā)性異常放電導(dǎo)致的大腦功能性障礙疾病。據(jù)世界衛(wèi)生組織統(tǒng)計(jì),全球約有7 000萬(wàn)人患有癲癇[1]。癲癇患者在發(fā)病時(shí)呈現(xiàn)肌肉抽搐、呼吸困難、意識(shí)喪失等癥狀。由于癲癇發(fā)作的偶然性,患者極有可能在高空、駕駛、游泳等危險(xiǎn)情況下發(fā)病并喪失意志從而產(chǎn)生意外事故與傷害,并帶來(lái)不良社會(huì)和經(jīng)濟(jì)影響[2]。據(jù)統(tǒng)計(jì),癲癇患者過(guò)早死亡的幾率比健康人高出近3倍[3]。醫(yī)學(xué)研究表明,癲癇雖然無(wú)法被完全治愈,但是可以通過(guò)藥物、電刺激或者手術(shù)等治療手段來(lái)控制發(fā)病[4]。通過(guò)建立癲癇預(yù)測(cè)模型,在發(fā)病之前進(jìn)行警報(bào),可以留給患者足夠的時(shí)間采取防范和治療措施,這將顯著提高癲癇患者的生活質(zhì)量[5]。
在腦電圖(electroencephalography,EEG)的輔助下,醫(yī)生結(jié)合患者臨床表現(xiàn)對(duì)癲癇病情進(jìn)行診斷。腦電圖中的腦電信號(hào)記錄著腦神經(jīng)細(xì)胞自發(fā)電生理活動(dòng)。癲癇患者發(fā)病時(shí)腦電圖上會(huì)呈現(xiàn)出棘波、尖波、棘慢波等癲癇特征波,醫(yī)生可借助特征波進(jìn)行病情診斷。腦電圖用于癲癇研究已經(jīng)有70多年的歷史[6],在過(guò)去的十年中,研究熱點(diǎn)逐漸由癲癇檢測(cè)向癲癇預(yù)測(cè)轉(zhuǎn)變[7]。盡管在之前的研究中,有大量傳統(tǒng)機(jī)器學(xué)習(xí)算法用于建立癲癇預(yù)測(cè)模型,但都面臨需要手動(dòng)提取特征、泛化性較差等問(wèn)題。神經(jīng)網(wǎng)絡(luò)算法具有自動(dòng)提取特征、變體多等諸多優(yōu)點(diǎn),可適用于處理海量腦電信號(hào)的場(chǎng)景。
目前在癲癇預(yù)測(cè)領(lǐng)域,應(yīng)用的神經(jīng)網(wǎng)絡(luò)算法主要包括多層人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)和脈沖神經(jīng)網(wǎng)絡(luò)(spiking neuron networks,SNN)。傳統(tǒng)的多層人工神經(jīng)網(wǎng)絡(luò)算法主要包含多層感知機(jī)(multilayer perceptron,MLP)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)、生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)、Transformer 等神經(jīng)網(wǎng)絡(luò)及其變體。在應(yīng)用中受限于數(shù)據(jù)不足、硬件條件有限、模型性能不足等因素,基于傳統(tǒng)多層人工神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型仍待進(jìn)一步發(fā)展[8]。SNN是一種基于神經(jīng)脈沖信號(hào)傳遞的神經(jīng)網(wǎng)絡(luò)模型,被稱為第三代神經(jīng)網(wǎng)絡(luò)。與神經(jīng)網(wǎng)絡(luò)中的傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)模型不同,脈沖神經(jīng)網(wǎng)絡(luò)模擬了人腦神經(jīng)元脈沖放電來(lái)傳遞信息的行為[9],采用脈沖信號(hào)傳遞信息,更具有生物學(xué)特性。
常見(jiàn)的癲癇預(yù)測(cè)模型按照?qǐng)D1 所示流程進(jìn)行搭建,本文按照癲癇預(yù)測(cè)模型的搭建流程依次從數(shù)據(jù)集、數(shù)據(jù)預(yù)處理、特征提取(特別是手工設(shè)計(jì)特征提?。⒛P退惴◣讉€(gè)模塊進(jìn)行綜述。
圖1 癲癇預(yù)測(cè)模型的構(gòu)成模塊Fig.1 Modules of epilepsy prediction model
按照發(fā)病的階段,EEG 信號(hào)可以分為癲癇發(fā)作間期、發(fā)作前期、發(fā)作期、發(fā)作后期四個(gè)階段[10],如圖2所示[11]。癲癇發(fā)作前期可以看作癲癇發(fā)作前的預(yù)警,根據(jù)EEG 信號(hào)及時(shí)準(zhǔn)確地識(shí)別出癲癇發(fā)作前期,即可預(yù)測(cè)癲癇發(fā)作。癲癇預(yù)測(cè)問(wèn)題本質(zhì)為癲癇發(fā)作間期、發(fā)作前期的二分類問(wèn)題,這與癲癇檢測(cè)問(wèn)題類似。以上建立在癲癇發(fā)作前期存在的假設(shè)上,許多研究也成功地驗(yàn)證了癲癇發(fā)作前期腦電圖動(dòng)力學(xué)的變化,間接驗(yàn)證了假設(shè)的成立[7]。
圖2 癲癇發(fā)作過(guò)程的腦電信號(hào)Fig.2 EEG signals during seizures
EEG數(shù)據(jù)集的質(zhì)量會(huì)直接影響癲癇預(yù)測(cè)模型的預(yù)測(cè)效果。由于私有EEG 數(shù)據(jù)集獲取困難、數(shù)據(jù)量小且標(biāo)注困難,當(dāng)前的癲癇預(yù)測(cè)模型多采用公開(kāi)數(shù)據(jù)集進(jìn)行訓(xùn)練。但不同的公開(kāi)數(shù)據(jù)集中包含了來(lái)自不同采集方式、不同通道和質(zhì)量的數(shù)據(jù),數(shù)據(jù)集中包含各種噪聲,這會(huì)對(duì)模型的訓(xùn)練和泛化能力產(chǎn)生負(fù)面影響。常見(jiàn)的數(shù)據(jù)集分類方式如圖3所示。
圖3 數(shù)據(jù)集分類情況Fig.3 Dataset classification
按照數(shù)據(jù)來(lái)源進(jìn)行劃分,EEG 數(shù)據(jù)集可以分為公開(kāi)數(shù)據(jù)集、私有數(shù)據(jù)集、合成數(shù)據(jù)集三類。公開(kāi)數(shù)據(jù)集是指由機(jī)構(gòu)、組織或個(gè)人公開(kāi)發(fā)布的數(shù)據(jù)集;私有數(shù)據(jù)集是指未公開(kāi)發(fā)布的數(shù)據(jù)集;合成數(shù)據(jù)集是指通過(guò)人工或者算法生成出來(lái)的數(shù)據(jù)集,其數(shù)據(jù)特性與真實(shí)數(shù)據(jù)相似,可用于癲癇預(yù)測(cè)模型的訓(xùn)練。
1.1.1 公開(kāi)數(shù)據(jù)集
由于公開(kāi)數(shù)據(jù)集的易得性,目前研究中常使用公開(kāi)數(shù)據(jù)集進(jìn)行模型訓(xùn)練,便于和其他研究對(duì)比模型效果。常用公開(kāi)數(shù)據(jù)集如表1所示。
表1 常用EEG公開(kāi)數(shù)據(jù)集Table 1 Common public EEG datasets
1.1.2 私有數(shù)據(jù)集
私有數(shù)據(jù)集來(lái)源于實(shí)驗(yàn)室或醫(yī)院中癲癇患者的腦電檢測(cè)記錄,由經(jīng)驗(yàn)豐富的專業(yè)醫(yī)師進(jìn)行標(biāo)注后,經(jīng)過(guò)適當(dāng)數(shù)據(jù)處理而構(gòu)建。可以用于模型的外部驗(yàn)證,檢驗(yàn)?zāi)P偷姆夯阅堋H鏣JU-HH 數(shù)據(jù)集,記錄了2019 年5 月至2020 年12 月于天津大學(xué)環(huán)湖醫(yī)院17名癲癇患者的顱內(nèi)腦電數(shù)據(jù)。
1.1.3 合成數(shù)據(jù)集
由于私有數(shù)據(jù)集數(shù)據(jù)有限且獲取困難,有學(xué)者嘗試?yán)肎AN 等算法學(xué)習(xí)構(gòu)建合成數(shù)據(jù)集,這可緩解數(shù)據(jù)量不足的問(wèn)題。如Xu等人[12]提出了一種基于GAN的模型,可以用于合成癲癇發(fā)作前期EEG數(shù)據(jù),緩解數(shù)據(jù)量不足、分布不均衡的問(wèn)題。
1.2.1 頭皮腦電信號(hào)
通過(guò)頭皮表面的電極所檢測(cè)的腦電信號(hào)為頭皮腦電信號(hào)(scalp EEG,sEEG),也被稱為顱外腦電信號(hào)。這種采集方式容易受到工頻干擾和被試者體動(dòng)和眼動(dòng)活動(dòng)影響,因此sEEG信號(hào)噪聲多、強(qiáng)度弱。
1.2.2 顱內(nèi)腦電信號(hào)
通過(guò)手術(shù)在大腦中植入電極所檢測(cè)到的腦電信號(hào)為顱內(nèi)腦電信號(hào)(intracranial EEG,iEEG)[13]。iEEG可以直接記錄大腦深部區(qū)域的腦電信號(hào),相比于sEEG信號(hào)來(lái)說(shuō)噪聲小、空間分辨率高,且可以檢測(cè)到頭皮腦電信號(hào)無(wú)法檢測(cè)到的陰性癲癇發(fā)作與特征。但由于手術(shù)的有創(chuàng)性,iEEG不及sEEG應(yīng)用廣泛。
1.3.1 非連續(xù)數(shù)據(jù)集
非連續(xù)數(shù)據(jù)集是指數(shù)據(jù)集的腦電數(shù)據(jù)在時(shí)間上是非連續(xù)的,是在原始EEG信號(hào)中截取出來(lái)的片段,即人為剔除了部分?jǐn)?shù)據(jù),目前大部分的公開(kāi)癲癇發(fā)作數(shù)據(jù)集如Freiburg、Kaggle等數(shù)據(jù)集都是非連續(xù)的。
1.3.2 連續(xù)數(shù)據(jù)集
連續(xù)數(shù)據(jù)集是指數(shù)據(jù)在時(shí)間上是連續(xù)的。連續(xù)數(shù)據(jù)在癲癇的自動(dòng)檢測(cè)和實(shí)際應(yīng)用具有研究?jī)r(jià)值,但由于數(shù)據(jù)量較大且癲癇發(fā)作時(shí)腦電變化的不規(guī)律性,基于連續(xù)數(shù)據(jù)集的模型更容易發(fā)生誤判,導(dǎo)致效果不如非連續(xù)數(shù)據(jù)集。常用的連續(xù)數(shù)據(jù)集有SWECETHZ數(shù)據(jù)集等。
數(shù)據(jù)質(zhì)量的好壞會(huì)直接影響模型的性能,因此原始的EEG數(shù)據(jù)通常不能直接應(yīng)用于癲癇預(yù)測(cè)模型中,需要進(jìn)行數(shù)據(jù)預(yù)處理。在實(shí)際的應(yīng)用中,數(shù)據(jù)預(yù)處理和特征提取步驟順序不固定,常見(jiàn)的數(shù)據(jù)預(yù)處理有以下幾種。
EEG信號(hào)可以分為癲癇發(fā)作間期、發(fā)作前期、發(fā)作期、發(fā)作后期四個(gè)階段。在構(gòu)建癲癇預(yù)測(cè)模型前,需要對(duì)原始EEG數(shù)據(jù)中的不同發(fā)作階段進(jìn)行定義與標(biāo)注,常用的一個(gè)標(biāo)注方法如下:癲癇發(fā)作前預(yù)留5 min 的時(shí)間間隔用于采取預(yù)防措施;將癲癇發(fā)作開(kāi)始前5~35 min 的數(shù)據(jù)標(biāo)注為發(fā)作前期;考慮到發(fā)作間期和發(fā)作前期之間無(wú)明顯的界限,4 h 的間隔可以避免數(shù)據(jù)標(biāo)注不明確對(duì)實(shí)驗(yàn)結(jié)果的影響,因此將距離每一次發(fā)作開(kāi)始和結(jié)束4 h 之外的數(shù)據(jù)標(biāo)注為發(fā)作間期。
采集到的信號(hào)中往往包含各類偽影與噪聲,常采用帶通濾波的手段進(jìn)行消除,如巴特沃斯濾波器(Butterworth filter)等,其具有較低的截止頻率(0.1 Hz)和較高的截止頻率(127 Hz),是一種廣泛應(yīng)用于生物醫(yī)學(xué)信號(hào)分析的濾波技術(shù)[14]。
另外sEEG信號(hào)由于采集方式的限制,會(huì)被50 Hz和60 Hz 的電源線噪聲污染,也稱為工頻干擾,需要人為進(jìn)行消除。Truong等人[15]通過(guò)去除47~53 Hz和97~103 Hz 頻帶信號(hào)來(lái)去除50 Hz 的工頻干擾;通過(guò)去除57~63 Hz 和117~123 Hz 頻帶信號(hào)來(lái)去除60 Hz的工頻干擾,其去除工頻干擾前后的對(duì)比圖如圖4所示。
由于EEG信號(hào)不同通道間可能存在較大的相關(guān)性,可能需要對(duì)數(shù)據(jù)集進(jìn)行一些其他數(shù)據(jù)處理操作,如主成分分析、通道選擇等。
EEG 數(shù)據(jù)作為一種人體生理信號(hào),在應(yīng)用于算法模型時(shí)需要特別注意一些特性。(1)數(shù)據(jù)處理難度:由于癲癇發(fā)作具有偶然性和突發(fā)性且持續(xù)時(shí)間較短,這導(dǎo)致在收集到的數(shù)據(jù)中癲癇發(fā)作前期和發(fā)作期的數(shù)據(jù)較少,樣本分布不均衡,需要進(jìn)行適當(dāng)處理。(2)特征提取難度:EEG蘊(yùn)含著人腦大量信息,但是由于人類對(duì)于大腦以及神經(jīng)網(wǎng)絡(luò)模型認(rèn)識(shí)的不足導(dǎo)致目前無(wú)法判定何種信號(hào)是對(duì)預(yù)測(cè)癲癇發(fā)作有益的,在進(jìn)行EEG信號(hào)的特征提取時(shí),希望盡可能提取多維度的信息。
人工設(shè)計(jì)特征的提取方法常常與傳統(tǒng)機(jī)器學(xué)習(xí)相結(jié)合來(lái)構(gòu)建癲癇預(yù)測(cè)模型,但是此類模型在處理海量數(shù)據(jù)時(shí)暴露出了普適性差、模型性能差等缺點(diǎn)。而神經(jīng)網(wǎng)絡(luò)模型可自動(dòng)提取特征,在處理海量數(shù)據(jù)和復(fù)雜問(wèn)題時(shí)具有更大優(yōu)勢(shì)。由于EEG中含有大量噪聲,在數(shù)據(jù)預(yù)處理階段進(jìn)行初步特征提取可以有效提高數(shù)據(jù)質(zhì)量,從而提升模型性能。因此在癲癇預(yù)測(cè)領(lǐng)域常將自動(dòng)提取特征和人工設(shè)計(jì)特征結(jié)合使用,以盡可能多地提取到多維度的信息,常用的人工設(shè)計(jì)特征如表2所示。
EEG 的時(shí)域和頻域特征中包含了大量病理信息,對(duì)時(shí)域和頻域相關(guān)特征進(jìn)行提取,有利于模型性能的提升。利用頻域變換和時(shí)頻變換等手段可以有效提取時(shí)域、頻域等信息。常用的時(shí)頻變換方法有傅里葉變換、小波變換、Gabor變換、Hilbert-Huang變換等[16]。
另外一個(gè)常用的與時(shí)頻相關(guān)的特征為采樣信號(hào)的梅爾頻率倒譜系數(shù)(Mel-frequency cepstral coefficients,MFCCs),Dissanayake 等人[17]考慮到MFCCs 對(duì)生物醫(yī)學(xué)信號(hào)相關(guān)神經(jīng)網(wǎng)絡(luò)任務(wù)具有廣泛適用性,使用了MFCCs 作為模型特征,構(gòu)建的癲癇預(yù)測(cè)模型表現(xiàn)出了較優(yōu)性能。
熵特征是一個(gè)廣泛應(yīng)用于生物信號(hào)處理的非線性特征,主要指從信號(hào)的隨機(jī)性和復(fù)雜性中提取的信息熵和相關(guān)熵,例如模糊熵、近似熵、多尺度熵等。
擴(kuò)散距離也是一種非線性距離測(cè)量方式,用于量化兩個(gè)分布之間的差異。它是由Ling 和Okada[18]引入的,用于形狀匹配和圖像特征匹配。Yuan等人[16]采用了擴(kuò)散距離作為特征構(gòu)建了癲癇預(yù)測(cè)模型并表現(xiàn)出了較佳的性能。
在癲癇預(yù)測(cè)領(lǐng)域,互信息可以提取到EEG 信號(hào)中不同特征間的相關(guān)性?;谶@個(gè)原理,Salafian 等人[19]提出了一種算法,借助一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)提取原始EEG的特征,并與神經(jīng)互信息估計(jì)算法中提取到的不同通道之間的瞬時(shí)相關(guān)性特征進(jìn)行特征融合,利用軟估計(jì)作為學(xué)習(xí)函數(shù)節(jié)點(diǎn)進(jìn)行因子圖推斷并納入時(shí)間相關(guān)性來(lái)構(gòu)建癲癇預(yù)測(cè)模型,經(jīng)實(shí)驗(yàn)驗(yàn)證后發(fā)現(xiàn)該特征可以作為癲癇預(yù)測(cè)模型的有效特征。
應(yīng)用于癲癇預(yù)測(cè)模型的神經(jīng)網(wǎng)絡(luò)方法有很多,主要分為多層人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)兩類。多層人工神經(jīng)網(wǎng)絡(luò)主要有MLP、CNN、RNN、Transformer模型等,其中CNN 模型應(yīng)用最廣泛。脈沖神經(jīng)網(wǎng)絡(luò)也有很多變體,在應(yīng)用于癲癇預(yù)測(cè)領(lǐng)域時(shí)展現(xiàn)出了良好的性能。
MLP 是一種最簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)算法,廣泛應(yīng)用于分類、回歸任務(wù)。Guevara 等人[20]提出應(yīng)用MLP等機(jī)器學(xué)習(xí)方法結(jié)合EEG和功能性近紅外光譜(functional near-infrared spectroscopy,fNIRS)建立模型,對(duì)癲癇進(jìn)行預(yù)測(cè)。Yang 等人[21]使用基于MLP 的算法研究了時(shí)間序列非平穩(wěn)性對(duì)癲癇發(fā)作預(yù)測(cè)性能的影響,并表現(xiàn)出了較優(yōu)的性能。Li等人[22]提出了一種基于MLP的端到端的癲癇發(fā)作預(yù)測(cè)模型。該模型將去噪加權(quán)和MLP 相結(jié)合,實(shí)現(xiàn)了多個(gè)通道信息的整合。實(shí)驗(yàn)結(jié)果表明,該模型在癲癇發(fā)作預(yù)測(cè)領(lǐng)域具有良好的應(yīng)用前景。
CNN 是一種具有局部連接、權(quán)重共享等特性的神經(jīng)網(wǎng)絡(luò),通常由輸入層、卷積層、池化層和全連接層組成,基礎(chǔ)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示,其借助卷積的設(shè)計(jì)可以極大減少神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)量,提升計(jì)算效率,常用于計(jì)算機(jī)視覺(jué)領(lǐng)域。在癲癇預(yù)測(cè)領(lǐng)域,基于CNN 的癲癇預(yù)測(cè)模型已經(jīng)具備了比較成熟的范式,如Truong等人[15]提出利用30 s時(shí)間窗口的短時(shí)傅里葉變換來(lái)提取腦電信號(hào)中的時(shí)頻特征,并借助重疊采樣技術(shù)解決了樣本分布不均衡問(wèn)題,極大改善了數(shù)據(jù)質(zhì)量,在此基礎(chǔ)上建立的CNN 癲癇預(yù)測(cè)模型表現(xiàn)出了良好性能。Khan等人[23]提出使用連續(xù)小波變換提取腦電信號(hào)中的時(shí)域、頻域特征,再借助卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建癲癇預(yù)測(cè)模型。Xu等人[24]提出不對(duì)腦電信號(hào)進(jìn)行處理與變換,采用原始腦電信號(hào)作為輸入,建立了一種基于CNN 的端到端神經(jīng)網(wǎng)絡(luò)解決方案,為癲癇預(yù)測(cè)模型提供了另外一種思路。
在基本的范式上,有很多學(xué)者提出了由改進(jìn)后的CNN 構(gòu)建的癲癇預(yù)測(cè)模型,具有更良好的模型性能。本節(jié)按照CNN 算法的架構(gòu)改進(jìn)、訓(xùn)練策略改進(jìn)、其他改進(jìn)方式對(duì)基于CNN 的癲癇預(yù)測(cè)模型進(jìn)行綜述。
4.2.1 CNN架構(gòu)改進(jìn)
在癲癇預(yù)測(cè)領(lǐng)域,對(duì)CNN 架構(gòu)進(jìn)行合理改進(jìn)可以獲得更好的性能。Khan等人[25]根據(jù)神經(jīng)網(wǎng)絡(luò)架構(gòu)改進(jìn)類型,將CNN模型的改進(jìn)大致分為7個(gè)方向:基于空間利用、深度、多路徑、寬度、通道改進(jìn)、特征圖利用和注意力的使用。本文主要圍繞維度、空間、寬度三方面對(duì)改進(jìn)的CNN架構(gòu)的癲癇預(yù)測(cè)模型進(jìn)行總結(jié),對(duì)比分析列表如表3。
表3 CNN架構(gòu)的不同改進(jìn)方式Table 3 Different improvement methods for CNN architecture
CNN神經(jīng)網(wǎng)絡(luò)按照卷積核的維度可以分為一維卷積神經(jīng)網(wǎng)絡(luò)、二維卷積神經(jīng)網(wǎng)絡(luò)(2D-CNN)、三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN),其中三維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用最為廣泛。Wang等人[26]提出了一種結(jié)合隨機(jī)選擇和數(shù)據(jù)增強(qiáng)策略的1D-CNN 模型來(lái)檢測(cè)癲癇發(fā)作。在該模型中采用兩個(gè)具有不同計(jì)算規(guī)模的并行1DCNN 模塊來(lái)同步提取EEG 的特征,將這兩個(gè)并行1D-CNN 塊的輸出連接起來(lái)用于最終分類。該文還給出了基于時(shí)間片段的評(píng)價(jià)和基于事件的評(píng)價(jià)方法這兩種評(píng)價(jià)方式,提供了客觀、全面的評(píng)價(jià)體系。Gupta等人[27]也提出了一種基于1D-CNN的癲癇發(fā)作預(yù)測(cè)與診斷系統(tǒng)EpilNet,并開(kāi)發(fā)了一個(gè)應(yīng)用程序接口,便于該模型的工程性運(yùn)用。Wang 等人[28]提出了一種應(yīng)用多尺度擴(kuò)張卷積的3D-CNN 來(lái)分析腦電信號(hào)時(shí)域、頻域和通道信息,實(shí)現(xiàn)了80.5%的準(zhǔn)確度、85.8%的敏感性和75.1%的特異性。
卷積核的空間大小會(huì)直接影響到神經(jīng)網(wǎng)絡(luò)提取到的特征,一般來(lái)說(shuō)卷積核越大神經(jīng)網(wǎng)絡(luò)提取到的信息越多,但這會(huì)直接導(dǎo)致計(jì)算量的增大。為了進(jìn)一步提高模型性能,有學(xué)者采用擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建癲癇預(yù)測(cè)模型。Hussein等人[29]首次提出了一種半擴(kuò)張卷積的結(jié)構(gòu),并將多個(gè)具有不同擴(kuò)展速率的半擴(kuò)張卷積組合在一起代替標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)中的卷積層,使卷積神經(jīng)網(wǎng)絡(luò)在具有大的視野的同時(shí)保持圖像高分辨率,應(yīng)對(duì)腦電信號(hào)這種圖像數(shù)據(jù)具有良好性能。Gao 等人[30]建立了一種基于擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型。該模型采用基于注意力機(jī)制的特征加權(quán)融合策略,充分利用了腦電信號(hào)的時(shí)空多尺度特征。
多視圖卷積網(wǎng)絡(luò)在癲癇預(yù)測(cè)模型上也展現(xiàn)出了較好的性能。Liu等人[31]提出了一種多視圖卷積神經(jīng)網(wǎng)絡(luò)框架來(lái)預(yù)測(cè)癲癇的發(fā)作,通過(guò)特征拼接可同時(shí)獲得時(shí)域和頻域特征的特征表示。
4.2.2 CNN訓(xùn)練策略改進(jìn)
在改進(jìn)CNN架構(gòu)的基礎(chǔ)上對(duì)訓(xùn)練策略進(jìn)行改進(jìn)可以進(jìn)一步提升癲癇預(yù)測(cè)模型的性能。
采取合理的訓(xùn)練策略可以使模型僅用小樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練,可以很好解決數(shù)據(jù)量不足的問(wèn)題。Tariq等人[32]提出了一種基于孿生神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型,該方法以小波變換后的腦電信號(hào)張量為輸入,用CNN 模型來(lái)檢測(cè)癲癇發(fā)作前期的腦電信號(hào)。該模型擺脫了以往神經(jīng)網(wǎng)絡(luò)模型對(duì)大數(shù)據(jù)的依賴性,僅需要一次癲癇發(fā)作數(shù)據(jù)進(jìn)行模型訓(xùn)練即可獲得優(yōu)異的性能。
針對(duì)模型抗干擾性不強(qiáng)的問(wèn)題,Liang 等人[33]提出了一種基于一致性的訓(xùn)練策略來(lái)解決模型在小干擾下不穩(wěn)定的問(wèn)題,并借助多視圖CNN 在內(nèi)的多個(gè)模型進(jìn)行驗(yàn)證,使得模型的泛化能力得到了充分增強(qiáng)。
對(duì)損失函數(shù)進(jìn)行優(yōu)化也可以提升模型性能,Yarlagadda 等人[34]提出了一種具有子網(wǎng)損失函數(shù)的CNN 癲癇預(yù)測(cè)模型。將子網(wǎng)損失函數(shù)應(yīng)用于CNN,用合適的損失值更新網(wǎng)絡(luò)模型。實(shí)驗(yàn)表明該模型具有良好的學(xué)習(xí)性能,在iEEG 和靜息態(tài)功能磁共振成像(resting-state functional magnetic resonance imaging,rs-FMRI)兩類數(shù)據(jù)集上的訓(xùn)練測(cè)試結(jié)果可達(dá)到99.2%的準(zhǔn)確度。
預(yù)訓(xùn)練可以極大提升模型性能,廣泛用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域,在癲癇預(yù)測(cè)領(lǐng)域也展現(xiàn)出了良好的性能。Das 等人[35]提出采用自監(jiān)督策略以增強(qiáng)擴(kuò)張卷積遞歸神經(jīng)網(wǎng)絡(luò)模型的性能,這種策略的核心思想是將自監(jiān)督預(yù)訓(xùn)練階段中學(xué)習(xí)的權(quán)重應(yīng)用到監(jiān)督訓(xùn)練階段,以提高模型的預(yù)測(cè)能力。
4.2.3 CNN其他改進(jìn)
針對(duì)數(shù)據(jù)集是否來(lái)源于同一個(gè)患者,癲癇預(yù)測(cè)模型可以分為兩類:一類不區(qū)分不同患者,旨在設(shè)計(jì)一種通用型分類器,其可以識(shí)別癲癇發(fā)作的普遍規(guī)律,適用于多個(gè)患者,具有跨數(shù)據(jù)集的全局預(yù)測(cè)能力;另一類是針對(duì)某個(gè)患者特征構(gòu)建獨(dú)屬于患者的個(gè)性化癲癇預(yù)測(cè)模型。Dissanayake 等人[17]提出了適用于多個(gè)患者的多任務(wù)二維卷積神經(jīng)網(wǎng)絡(luò)和連體網(wǎng)絡(luò),它們具有不同的學(xué)習(xí)策略,可以利用來(lái)自多個(gè)患者的數(shù)據(jù)來(lái)進(jìn)行模型訓(xùn)練。
針對(duì)數(shù)據(jù)量不足、標(biāo)注不全的問(wèn)題,Rasheed 等人[36]提出了一種用于生成合成EEG數(shù)據(jù)樣本的深度卷積生成對(duì)抗網(wǎng)絡(luò),并使用卷積癲癇發(fā)作預(yù)測(cè)器來(lái)檢驗(yàn)人工數(shù)據(jù)與其對(duì)應(yīng)標(biāo)簽的匹配程度。Liang等人[37]基于一致性原則在CNN基礎(chǔ)上針對(duì)醫(yī)學(xué)數(shù)據(jù)標(biāo)注不全的問(wèn)題提出了一種半監(jiān)督的癲癇預(yù)測(cè)模型,可以充分使用未標(biāo)注的數(shù)據(jù)。
針對(duì)CNN模型的訓(xùn)練時(shí)間長(zhǎng)和硬件要求高的難題,Wu 等人[38]著力于解決設(shè)備中的傳輸帶寬與計(jì)算資源的限制問(wèn)題,提出一種基于殘差神經(jīng)網(wǎng)絡(luò)的模型C2SP-Net。該模型通過(guò)一種即插即用的傳感器內(nèi)壓縮矩陣,對(duì)采集到的原始腦電信號(hào)進(jìn)行壓縮,壓縮后的信號(hào)可直接用于癲癇發(fā)作預(yù)測(cè),降低了對(duì)傳輸帶寬與計(jì)算資源的要求,在癲癇發(fā)作之前可以及時(shí)給予癲癇患者警報(bào)。并且壓縮后的信號(hào)也可以被高保真地還原,便于醫(yī)生/科學(xué)家進(jìn)行事后分析,具有巨大應(yīng)用潛力。Li 等人[39]提出了一種新穎的低延遲并行卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),與最先進(jìn)的CNN 體系結(jié)構(gòu)相比,其網(wǎng)絡(luò)參數(shù)減少了至少50%,可以極大提高運(yùn)算速度。Zhao 等人[40]針對(duì)神經(jīng)網(wǎng)絡(luò)硬件要求、計(jì)算資源消耗高的問(wèn)題,提出了一種硬件友好的二進(jìn)制一維卷積神經(jīng)網(wǎng)絡(luò),用于癲癇發(fā)作的預(yù)測(cè)。該模型利用一維卷積內(nèi)核來(lái)提高預(yù)測(cè)性能。除第一層外,所有參數(shù)都被二值化以減少所需的計(jì)算和存儲(chǔ)。該模型經(jīng)公開(kāi)數(shù)據(jù)集測(cè)試,展現(xiàn)了優(yōu)良的性能。
神經(jīng)網(wǎng)絡(luò)也可以作為一種自動(dòng)提取特征的工具,將提取出的特征輸入分類器中進(jìn)行學(xué)習(xí)以實(shí)現(xiàn)癲癇的預(yù)測(cè)。Agarwal 等人[41]結(jié)合CNN 與支持向量機(jī)(support vector machine,SVM)提出了一種CNNSVM 模型,將提取到的時(shí)域、頻域信息和CNN 網(wǎng)絡(luò)自動(dòng)提取到的深度特征進(jìn)行特征融合,采用SVM 算法構(gòu)建了癲癇預(yù)測(cè)模型。將模型部署在自動(dòng)邊緣計(jì)算服務(wù)系統(tǒng)中,實(shí)驗(yàn)結(jié)果驗(yàn)證這是一種可行的癲癇發(fā)作預(yù)測(cè)方法。
RNN 是一種帶有短期記憶能力的神經(jīng)網(wǎng)絡(luò),可以處理時(shí)間序列數(shù)據(jù),常用于語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)是RNN的一種變體,可以解決RNN中常見(jiàn)的梯度爆炸問(wèn)題和梯度消失問(wèn)題,是預(yù)測(cè)癲癇領(lǐng)域中的常用模型,其基本記憶單元如圖6所示。
圖6 LSTM結(jié)構(gòu)記憶單元Fig.6 Memory cell of LSTM
湯云琪等人[42]采用小波變換提取腦電信號(hào)中的不同能量特征作為L(zhǎng)STM 的輸入,將電子搜索算法(electronic search algorithm,ESA)和隨時(shí)間反向傳播算法(backpropagation through time,BPTT)相結(jié)合更快更準(zhǔn)確地調(diào)整網(wǎng)絡(luò)參數(shù),以實(shí)現(xiàn)癲癇病發(fā)作的短時(shí)預(yù)測(cè)。與現(xiàn)有的網(wǎng)絡(luò)預(yù)測(cè)分類模型LSTM、SVM進(jìn)行對(duì)比實(shí)驗(yàn),本文算法較大提高了分類精度。Singh等人[14]提出了一種基于譜特征的雙層LSTM網(wǎng)絡(luò)模型,利用長(zhǎng)期多通道腦電信號(hào)自動(dòng)預(yù)測(cè)癲癇發(fā)作,并與傳統(tǒng)機(jī)器學(xué)習(xí)算法隨機(jī)森林分類器、決策樹(shù)分類器、K 近鄰分類器、支持向量機(jī)分類器和樸素貝葉斯分類器等進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)表明LSTM模型效果較好。Ali 等人[43]提出了一種雙向LSTM 網(wǎng)絡(luò)(bidirectional long short-term memory,Bi-LSTM),與SVM 和門(mén)控循環(huán)單元網(wǎng)絡(luò)(gated recurrent units,GRU)相比優(yōu)勢(shì)顯著。
Transformer 是一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò),主要用于自然語(yǔ)言處理領(lǐng)域。Transformer 主要包括編碼器和解碼器,其中編碼器和解碼器都由多個(gè)堆疊的自注意力層和前饋神經(jīng)網(wǎng)絡(luò)層組成,Transformer的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。
圖7 Transformer結(jié)構(gòu)Fig.7 Structure of Transformer
Transformer 在處理長(zhǎng)序列問(wèn)題上具有天然的優(yōu)勢(shì),在癲癇預(yù)測(cè)領(lǐng)域具有巨大的應(yīng)用潛力。張曉玲[6]將Transformer 用于構(gòu)建癲癇預(yù)測(cè)模型,構(gòu)建了基于圖譜識(shí)別分類的視覺(jué)轉(zhuǎn)換器(vision transformer,ViT),用于癲癇發(fā)作個(gè)性化預(yù)測(cè)研究,實(shí)驗(yàn)表明該模型表現(xiàn)出了較優(yōu)性能。Godoy 等人[44]更側(cè)重于不同通道的信息,基于Transformer 開(kāi)發(fā)了兩個(gè)神經(jīng)網(wǎng)絡(luò)模型,分別是時(shí)序多通道變壓器(temporal multichannel transformer,TMC-T)和時(shí)序多通道視覺(jué)轉(zhuǎn)換器(temporal multi-channel vision transformer,TMCViT),并對(duì)不同時(shí)間長(zhǎng)度的癲癇發(fā)作前期進(jìn)行探索。實(shí)驗(yàn)結(jié)果和統(tǒng)計(jì)驗(yàn)證表明,TMC-ViT 模型性能超越了CNN模型。Hussein等人[45]也基于Transformer提出了一種多通道視覺(jué)轉(zhuǎn)換器模型,用于多個(gè)通道EEG數(shù)據(jù)的時(shí)空光譜特征的自動(dòng)同步學(xué)習(xí)。實(shí)驗(yàn)表明該模型對(duì)sEEG 數(shù)據(jù)集的平均預(yù)測(cè)靈敏度可達(dá)99.80%,對(duì)iEEG 數(shù)據(jù)集的平均預(yù)測(cè)靈敏度可達(dá)90.28%~91.15%。
Yan等人[46]將EEG信號(hào)進(jìn)行短時(shí)傅里葉變換,將得到的三階張量按照不同維度進(jìn)行mode-n矩陣展開(kāi)得到三個(gè)矩陣,將其作為三層結(jié)構(gòu)Transformer 模型的輸入,從而實(shí)現(xiàn)癲癇預(yù)測(cè)任務(wù)。與以往的腦電分類模型相比,該模型能夠更好地利用腦電信號(hào)中的時(shí)間、頻率和通道信息,提高了癲癇發(fā)作預(yù)測(cè)的準(zhǔn)確性。
Hu等人[47]提出了一種混合Transformer模型并在此基礎(chǔ)上針對(duì)性地提出一種混合腦電圖節(jié)律信號(hào)的特征融合方法,該模型可以從多尺度分辨率分析EEG數(shù)據(jù)并應(yīng)用注意力機(jī)制對(duì)不同通道特征進(jìn)行提取。實(shí)驗(yàn)結(jié)果表明,該模型比CNN 具有更好的特征序列模式建模能力。
基于人工神經(jīng)元的神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)癲癇發(fā)作領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力,但是在性能與消耗資源方面都與生物神經(jīng)元相差甚遠(yuǎn)。SNN被公認(rèn)為是新一代更接近人腦的神經(jīng)網(wǎng)絡(luò)算法,它能夠捕獲生物神經(jīng)元的豐富動(dòng)態(tài)、表示和整合不同的信息維度(例如時(shí)間、頻率和相位),具有對(duì)大腦中復(fù)雜信息進(jìn)行建模的應(yīng)用潛力[48]。此外SNN模型對(duì)硬件的算力要求較低,可部署在低功耗硬件上。
在生物體中來(lái)自一個(gè)神經(jīng)元的信息可以通過(guò)多個(gè)突觸以多個(gè)尖峰的形式傳輸?shù)较乱粋€(gè)神經(jīng)元,受此啟發(fā),Ghosh-Dastidar 等人[49]提出了一種多尖峰神經(jīng)網(wǎng)絡(luò)模型,并基于此開(kāi)發(fā)了一種名為Multi-SpikeProp 的監(jiān)督學(xué)習(xí)算法,將原始單脈沖神經(jīng)網(wǎng)絡(luò)模型的效率提高了兩個(gè)數(shù)量級(jí),在癲癇檢測(cè)的EEG分類問(wèn)題上獲得了更高的精度。
隨著神經(jīng)網(wǎng)絡(luò)算法的發(fā)展,有學(xué)者嘗試將SNN與多層人工神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合,借助卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)與更新原理來(lái)改進(jìn)SNN 模型,使其具有更高的穩(wěn)定性與準(zhǔn)確度。Zarrin等人[50]開(kāi)發(fā)了一個(gè)具有兩個(gè)卷積隱藏層的深度尖峰神經(jīng)網(wǎng)絡(luò)(deep spiking neural network,DSNN),輸入層可將iEEG 頻譜圖轉(zhuǎn)換為尖峰作為SNN 的輸入。由于尖峰的離散性,原始SNN 模型直接使用沖激函數(shù)進(jìn)行梯度下降,這會(huì)使得網(wǎng)絡(luò)的訓(xùn)練不穩(wěn)定,因此Zarrin等人采用替代梯度法(surrogate gradient method)用于反向傳播計(jì)算并使用Sigmoid 函數(shù)來(lái)近似Heaviside 階躍函數(shù)的導(dǎo)數(shù)。改進(jìn)后的深度尖峰神經(jīng)網(wǎng)絡(luò)模型在癲癇檢測(cè)的EEG二分類問(wèn)題的準(zhǔn)確度可達(dá)到97.6%。Tian等人[51]聚焦在SNN 能量效率高的特點(diǎn)上,提出了一種用于癲癇發(fā)作預(yù)測(cè)的神經(jīng)形態(tài)計(jì)算方法。該方法使用高斯隨機(jī)離散編碼器(Gaussian random discrete encoder)將連續(xù)腦電信號(hào)轉(zhuǎn)換為離散的時(shí)間相關(guān)尖峰序列,并在脈沖卷積神經(jīng)網(wǎng)絡(luò)(Spiking-CNN)中進(jìn)行預(yù)測(cè),該網(wǎng)絡(luò)結(jié)合了CNN 和SNN 的優(yōu)點(diǎn),硬件友好,并且具有較高精度。
以往的SNN模型大多依賴神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征進(jìn)行模型構(gòu)建,而B(niǎo)urelo等人[52]將研究重點(diǎn)放在性能穩(wěn)定的癲癇生物標(biāo)志物對(duì)模型的提高。將腦電信號(hào)中出現(xiàn)的高頻振蕩(interictal high frequency oscillations,HFO)作為活動(dòng)性癲癇的生物標(biāo)志物,設(shè)計(jì)了一個(gè)雙層網(wǎng)絡(luò)的SNN 模型,并在神經(jīng)形態(tài)模擬電路上進(jìn)行了實(shí)現(xiàn),準(zhǔn)確度可達(dá)80%,這項(xiàng)研究是朝著使用低功耗可穿戴設(shè)備進(jìn)行無(wú)創(chuàng)癲癇監(jiān)測(cè)邁出的又一步。
基于神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型種類繁多,有學(xué)者嘗試對(duì)不同的癲癇預(yù)測(cè)模型進(jìn)行對(duì)比分析。Salafian等人[19]比較了傳統(tǒng)機(jī)器學(xué)習(xí)算法和CNN、LSTM等神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)癲癇上的性能差異。在這項(xiàng)分析中,發(fā)現(xiàn)LSTM是處理海量時(shí)間序列的腦電數(shù)據(jù)的最佳癲癇發(fā)作預(yù)測(cè)模型。也有學(xué)者嘗試將多種模型結(jié)合起來(lái)構(gòu)建癲癇預(yù)測(cè)模型,Daoud等人[11]將多層感知器、深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks,DCNN)、Bi-LSTM 網(wǎng)絡(luò)、自動(dòng)編碼器(autoencoder,AE)四個(gè)模型進(jìn)行組合,并組成了一個(gè)DCAE+Bi-LSTM 的模型,預(yù)訓(xùn)練一個(gè)基于DCNN 模型的編碼-解碼器,并在訓(xùn)練好的AE 后連接一個(gè)Bi-LSTM模型作為分類器,實(shí)驗(yàn)證明該模型超越了以往模型的性能,但是耗費(fèi)時(shí)間較長(zhǎng),不能達(dá)到實(shí)時(shí)預(yù)警的效果。為了對(duì)比不同模型的效果差別,以CHBMIT數(shù)據(jù)集上的模型表現(xiàn)為例,以準(zhǔn)確度作為衡量指標(biāo),如圖8。本文還對(duì)近期有關(guān)癲癇預(yù)測(cè)模型的文獻(xiàn)進(jìn)行總結(jié),如表4。
表4 基于神經(jīng)網(wǎng)絡(luò)的不同癲癇預(yù)測(cè)模型對(duì)比Table 4 Comparison of different epilepsy prediction models based on neural network
圖8 同一數(shù)據(jù)集上的不同模型表現(xiàn)Fig.8 Performance of different models on same dataset
基于神經(jīng)網(wǎng)絡(luò)算法的癲癇預(yù)測(cè)模型展現(xiàn)出了優(yōu)異性能,正在成為癲癇預(yù)測(cè)領(lǐng)域的研究熱點(diǎn),但在實(shí)際應(yīng)用過(guò)程中仍存在一些挑戰(zhàn)與不足。
雖然SNN 算法是硬件友好型的,但是目前癲癇預(yù)測(cè)模型中采用的主流算法是以CNN、RNN 為代表的多層人工神經(jīng)網(wǎng)絡(luò),它依賴于強(qiáng)算力和高內(nèi)存,對(duì)于硬件的要求較高,這限制了癲癇預(yù)測(cè)模型的實(shí)際應(yīng)用。針對(duì)這個(gè)問(wèn)題,可以借助云計(jì)算技術(shù)提供算力支持或研發(fā)資源節(jié)約型的高效算法進(jìn)行本地實(shí)現(xiàn)。
5.1.1 基于云計(jì)算的解決方案
將模型部署到云端服務(wù)器,檢測(cè)的腦電數(shù)據(jù)實(shí)時(shí)傳輸?shù)皆贫诉M(jìn)行計(jì)算,再將計(jì)算結(jié)果傳輸回來(lái),這種云計(jì)算方法可以緩解本地算力不足問(wèn)題。由于數(shù)據(jù)量過(guò)大,數(shù)據(jù)傳輸和計(jì)算將導(dǎo)致嚴(yán)重延遲,云計(jì)算解決方案也面臨較大挑戰(zhàn)。Hosseini等人[54]提出了一種基于云的腦機(jī)接口系統(tǒng),將腦電數(shù)據(jù)進(jìn)行降維,實(shí)時(shí)上傳到云端堆疊式自動(dòng)編碼器,進(jìn)行無(wú)監(jiān)督特征提取和分類,是目前為止較為前沿的解決方案,可以借鑒此解決方案進(jìn)一步壓縮數(shù)據(jù)量和提高傳輸速率,降低時(shí)延。
5.1.2 基于本地計(jì)算的解決方案
由于云計(jì)算的時(shí)延問(wèn)題,將模型部署在本地硬件上也是一種可能的解決方案。這種方案對(duì)算法模型和硬件特性同時(shí)提出了要求:算法模型應(yīng)是資源節(jié)約型的,不要求過(guò)高的算力和內(nèi)存空間;硬件需要提供盡量大的算力和利于計(jì)算的硬件系統(tǒng)結(jié)構(gòu)設(shè)計(jì)。Kiral-Kornek 等人[55]聚焦于硬件的改進(jìn),使用神經(jīng)形態(tài)TrueNorth芯片來(lái)部署基于多層人工神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型,為硬件的選擇提供了可參考的解決方案。Zaghloul等人[56]聚焦可穿戴系統(tǒng),提出了一種用于癲癇發(fā)作早期預(yù)測(cè)的無(wú)線可穿戴式自適應(yīng)系統(tǒng),具有巨大應(yīng)用潛力。Seethalakshmi等人[57]提出了一種基于神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)框架,設(shè)計(jì)了更適于本地硬件的算法模型并優(yōu)化了系統(tǒng)流程,為其他癲癇預(yù)測(cè)模型的物聯(lián)網(wǎng)應(yīng)用提供了一個(gè)可行的范式。
基于神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型需要海量數(shù)據(jù)進(jìn)行訓(xùn)練,在這個(gè)過(guò)程中可能會(huì)有患者隱私泄露風(fēng)險(xiǎn)。針對(duì)這個(gè)問(wèn)題,可以通過(guò)對(duì)患者信息加密來(lái)保護(hù)隱私,但是加密算法存在被破解的風(fēng)險(xiǎn)。另一種解決方案是采取聯(lián)邦學(xué)習(xí)形式進(jìn)行模型訓(xùn)練,只共享用本地患者數(shù)據(jù)訓(xùn)練好的模型參數(shù)或者訓(xùn)練結(jié)果而不共享數(shù)據(jù),這樣可以在源頭上杜絕患者隱私的泄露。Borovac等人[58]提出了一種數(shù)據(jù)不能共享的情況下的模型訓(xùn)練解決方案,即在各自的數(shù)據(jù)集上分別進(jìn)行模型訓(xùn)練,最終通過(guò)融合算法將訓(xùn)練結(jié)果進(jìn)行融合,這是一個(gè)行之有效的解決方案。
目前發(fā)表的論文中,癲癇預(yù)測(cè)模型大多采用EEG 數(shù)據(jù)集,這使得輸入的數(shù)據(jù)中患者生理信息可能是不全面的??刹捎枚嗄B(tài)信息輸入,增加其他生理信號(hào)或指標(biāo),提供人體更多維度的信息,可能會(huì)提高模型性能。Cichy 等人[59]為了更好捕獲大腦信息,同時(shí)采用了功能性磁共振成像和腦磁或腦電圖多種生理信號(hào),以同時(shí)捕獲大腦中的時(shí)間、空間信息。Truong等人[53]將EEG、心電圖信號(hào)(electrocardiogram,ECG)、體溫和時(shí)間多種數(shù)據(jù)進(jìn)行數(shù)據(jù)融合,并借助無(wú)監(jiān)督的GAN 進(jìn)行特征提取。在癲癇預(yù)測(cè)模型中,也可以將fMRI、EEG、ECG、體溫等多種生理數(shù)據(jù)進(jìn)行多模態(tài)的癲癇預(yù)測(cè)模型的構(gòu)建。
雖然當(dāng)下基于神經(jīng)網(wǎng)絡(luò)的各種癲癇預(yù)測(cè)模型都表現(xiàn)出了極佳的性能,但是學(xué)界至今無(wú)法完全解釋模型內(nèi)部的具體原理與機(jī)制,神經(jīng)網(wǎng)絡(luò)算法也因此被稱為黑箱模型,基于神經(jīng)網(wǎng)絡(luò)算法的癲癇預(yù)測(cè)模型難以大規(guī)模應(yīng)用于臨床實(shí)踐。針對(duì)這個(gè)問(wèn)題可以借助可視化、局部敏感度分析等技術(shù)來(lái)研究神經(jīng)網(wǎng)絡(luò)的可解釋性問(wèn)題。Gabeff等人[60]應(yīng)用DeepLIFT 算法等方法對(duì)基于CNN的癲癇預(yù)測(cè)模型的第一層輸出進(jìn)行可視化分析,來(lái)探索第一層的內(nèi)核如何對(duì)最終決策做出貢獻(xiàn),為研究癲癇預(yù)測(cè)模型的可解釋性提供了一個(gè)可行方案。基于神經(jīng)網(wǎng)絡(luò)的癲癇預(yù)測(cè)模型可解釋性是一個(gè)非常重要的問(wèn)題,但是目前相關(guān)研究十分有限,模型可解釋性仍待進(jìn)一步挖掘。
本文系統(tǒng)回顧了神經(jīng)網(wǎng)絡(luò)算法在癲癇預(yù)測(cè)領(lǐng)域的應(yīng)用,從算法特點(diǎn)與模型結(jié)構(gòu)等方面介紹了常用的神經(jīng)網(wǎng)絡(luò)算法并對(duì)比不同模型在數(shù)據(jù)集上的預(yù)測(cè)性能。同時(shí),提出目前基于神經(jīng)網(wǎng)絡(luò)算法的癲癇預(yù)測(cè)模型具有硬件要求高、隱私保護(hù)難、多模態(tài)信息利用不足、缺乏解釋性等不足,并針對(duì)這些不足進(jìn)行展望提出了可能的解決方案。神經(jīng)網(wǎng)絡(luò)算法在癲癇預(yù)測(cè)領(lǐng)域有很大的應(yīng)用潛力,但是目前仍然面臨很大的挑戰(zhàn),需要研究人員進(jìn)一步探索。