金 悅,沈小琪,林 嵐
(北京工業(yè)大學環(huán)境與生命學部生物醫(yī)學工程系智能化生理測量與臨床轉(zhuǎn)化北京市國際科研合作基地,北京 100124)
隨著人口老齡化進程的加速,阿爾茨海默?。ˋlzheimer’s disease,AD)的發(fā)病率在逐年增加[1-2]。全球AD 的發(fā)病人數(shù)超過5 000 萬,預計到2050 年,這一數(shù)字將增加到1.35 億[3]。我國有1 000 萬AD 患者,占全球AD 患者總數(shù)的1/5[3]。AD 患者的持續(xù)護理對家庭和整個社會來說都是一種巨大的負擔[4]。AD 潛伏期較長,早期診斷對其早期干預和治療非常重要。
神經(jīng)影像對AD 的早期診斷具有重要價值,例如,通過結(jié)構(gòu)磁共振成像可以顯示AD 患者的病理性大腦萎縮。因此,將新的機器學習技術(shù)和大規(guī)模的腦成像數(shù)據(jù)集相結(jié)合,對于AD 的早期診斷及治療具有一定的指導意義。深度學習是機器學習領域的一個重要分支,它在計算機視覺、目標檢測和自然語言處理等方面都有著很好的表現(xiàn)[5-6]。與傳統(tǒng)機器學習方法不同,深度學習技術(shù)以數(shù)據(jù)驅(qū)動的方式學習不同抽象層次的分層特征。在深度學習中,卷積神經(jīng)網(wǎng)絡(convolution neural network,CNN)是最流行的網(wǎng)絡結(jié)構(gòu)。CNN 目前已被廣泛應用于基于神經(jīng)影像學的AD 診斷與分類[7-8]。
張柏雯等[8]使用AlexNet,以遷移學習的方式提取圖像特征,并對所提取特征進行三維重構(gòu),經(jīng)主成分分析降維后進行AD、輕度認知障礙(mild cognitive impairment,MCI)與認知正常(cognitive normal,CN)受試者的分類。曾安等[9]提出了用于AD 診斷的多切片的CNN 集成模型,先使用一個8 層結(jié)構(gòu)的CNN模型分別對矢狀面、冠狀面、橫斷面的二維MRI 切片進行訓練,得到多個基分類器,再在每個方向中選擇準確率排名前五的基分類器進行集成。該模型在AD/CN 分類任務中的準確率為81%。Cui 等[10]將三維CNN 與遞歸神經(jīng)網(wǎng)絡相結(jié)合,采用CNN 學習影像的空間特征,采用遞歸神經(jīng)網(wǎng)絡提取影像的縱向特征,在AD/CN 分類任務中的準確率為91.3%。在一項多模態(tài)影像研究中,Liu 等[11]采用級聯(lián)CNN 的方式來學習MRI 和PET 中的多層次和多模態(tài)特征。首先,將每幅神經(jīng)MRI 影像劃分為27 個存在部分重疊的圖像塊。其次,使用多個VGG 結(jié)構(gòu)的三維CNN 從圖像塊中提取高級特征。最后,通過級聯(lián)一個二維CNN,將圖像塊中的特征進行集成。級聯(lián)CNN 模型在AD/CN 分類任務中的準確率為93.26%。
上述的CNN 模型總體上網(wǎng)絡結(jié)構(gòu)比較簡單,因此在網(wǎng)絡結(jié)構(gòu)優(yōu)化方面仍有改進的余地。在DenseNet問世之前,CNN 的演化通常是通過增加層數(shù)和通道數(shù)來完成。DenseNet 是一種全新的神經(jīng)網(wǎng)絡架構(gòu),它不僅能緩解梯度消失,而且模型需要的參數(shù)量也更少?;诖?,本文以海馬圖像塊作為感興趣區(qū)(region of interest,ROI),將DenseNet 和通道注意力模塊相結(jié)合,構(gòu)建AD 分類模型。該模型在DenseNet 網(wǎng)絡結(jié)構(gòu)基礎上加入通道注意力機制,避免網(wǎng)絡訓練過程中出現(xiàn)過擬合的問題,使AD 分類準確率得到較大提升。
本研究所使用的數(shù)據(jù)涉及到4 個公開數(shù)據(jù)集,分別是阿爾茨海默病成像計劃(AD Neuroimaging Initiative,ADNI)-1(http://adni.loni.usc.edu/)、ADNI-2、澳大利亞老齡化影像學、生物標志物和生活方式研究(The Australian Imaging,Biomarker &Lifestyle Flagship Study of Ageing,AIBL)數(shù)據(jù)庫(https://aibl.csiro.au/)和AD 最小間隔共振成像(The Minimal Interval Resonance Imaging in Alzheimer’s Disease,MIRIAD)數(shù)據(jù)集(http://miriad.drc.ion.ucl.ac.uk)。ADNI-1 數(shù)據(jù)集中包含187 例AD 患者、229 例CN 受試者、138 例MCI 轉(zhuǎn)化者(MCI converter,MCIc)和181 例MCI 非轉(zhuǎn)化者(MCI non-converter,MCInc)的基線數(shù)據(jù)以及4次(6 個月、12 個月、18 個月和24 個月)跟蹤隨訪數(shù)據(jù)。由于同一個受試者多次跟蹤隨訪掃描圖像具有相似性,為了避免數(shù)據(jù)泄露的發(fā)生,限制來自于同一對象的所有縱向數(shù)據(jù)只能出現(xiàn)在訓練集、驗證集、測試集任一劃分中。在受試者層面,將訓練集、驗證集和測試集按7∶1∶2 的比例隨機劃分,共進行5 次隨機劃分。其中,ADNI-1 數(shù)據(jù)集在實驗過程中被用于訓練和測試模型,數(shù)據(jù)分布見表1。ADNI-2、AIBL 和MIRIAD 3 個數(shù)據(jù)集被作為獨立測試集來驗證模型的泛化性能。表2 列出了4 個數(shù)據(jù)集的人口統(tǒng)計學信息。
表1 ADNI-1 基線數(shù)據(jù)及2 a 內(nèi)跟蹤隨訪數(shù)據(jù)分布 單位:例
表2 4 個數(shù)據(jù)集的人口統(tǒng)計學信息
圖像預處理的步驟如下:首先使用MRIcron 工具將DICOM 原始數(shù)據(jù)轉(zhuǎn)換為NIfTI 格式的圖像。隨后,所有NIfTI 格式的圖像均使用CAT12 工具箱(http://dbm.neuro.uni-jena.de/cat/)在SPM12 中進行分析處理(http://www.fil.ion.ucl.ac.uk/spm/software/spm12/)。T1加權(quán)MRI 圖像被分割為灰質(zhì)、白質(zhì)和腦脊液,并通過仿射變換和非線性變換標準化到模板空間,以獲得MNI-152 標準腦模板空間中的灰質(zhì)密度圖。將其與AAL(anatomical automatic labeling)模板對齊,以左(或右)海馬為中心提取ROI 圖像塊。通過這種方法,每個灰質(zhì)密度圖可以生成2 個ROI圖像塊。圖像塊大小設為64×64×64 體素,以確保覆蓋單側(cè)海馬體及鄰近區(qū)域,如圖1 所示。
圖1 左、右海馬ROI 圖像塊提取示意圖
受到ResNet 中跳躍連接的啟發(fā),DenseNet 在前面所有層與后面層間建立了密集連接。DenseNet 包括密集塊和過渡塊2 個部分。在一個密集塊中,每一層的輸入包含前面所有層的輸出特征,并通過過渡塊將特征信息傳遞到下一個密集塊。DenseNet 使用通道連接的方式來實現(xiàn)特征重用,這種方法可以高效地將傳遞特征給后續(xù)層,從而可以在較低的參數(shù)量和較少的計算成本下提高網(wǎng)絡性能。
深度學習中的注意力機制與人腦中的視覺注意力機制相似。它可以將重點集中在圖像中的特定區(qū)域,從而降低對非重要信息的關(guān)注程度,提升網(wǎng)絡的分類識別效率。在本研究中,將通道注意力模塊(channel attention module,CAM)引入三維DenseNet,以增強網(wǎng)絡對關(guān)鍵有效特征信息的提取和利用,進而提升分類效率。本研究中使用的CAM 結(jié)構(gòu)如圖2所示。具體實現(xiàn)步驟如下:
圖2 CAN 結(jié)構(gòu)圖
(1)CAM 的輸入為經(jīng)卷積層提取的特征圖F,H、W 和C 分別為特征圖的高度、寬度和通道數(shù)目。將F 分別經(jīng)過全局最大池化和全局平均池化,可得到2 個1×1×C 的特征向量。
(2)將2 個特征向量送入同一個共享的多層感知機中,對多層感知機輸出的2 個特征向量進行點和運算,再經(jīng)過激活操作得到通道注意力權(quán)重Mc。
(3)將原輸入特征圖F 與通道注意力權(quán)重Mc進行點乘運算,得到特征融合后的通道注意力特征圖Fc。
在DenseNet 的網(wǎng)絡架構(gòu)中加入CAM,構(gòu)建三維CAM-DenseNet 模型,在保證DenseNet 對原始特征的完整傳遞的基礎上,具備更強的特征提取能力。整個網(wǎng)絡架構(gòu)采用了2 個分支,分別作用于左、右海馬圖像塊的特征提取,網(wǎng)絡架構(gòu)如圖3 所示。這2 個分支具有相同的體系架構(gòu),每個分支均由1 個卷積塊、4個密集塊、4 個CAM 層、3 個過渡層和1 個全局平均池層組成。每個分支在初始的輸入層后緊跟1 個卷積塊,用于提取淺層特征。卷積塊由3×3×3 卷積層、批歸一化層、ReLU 激活層和最大池化層組成。在密集塊中,每個密集層通過捷徑連接來接收來自前面所有密集層的特征圖。密集層由1 個1×1×1 卷積層、1 個3×3×3 卷積層、2 個批歸一化層和2 個ReLU 激活層構(gòu)成。所有密集塊中都有4 個密集層。由于CAM不會改變特征圖的大小,所以在CAM 后設置過渡層來對特征圖進行降維。每個分支的最后部分均是一個全局平均池化層,可將高維特征壓縮到一維,以減少參數(shù)數(shù)量。在全局平均池化層后將2 個分支的特征進行特征拼接,并利用全連接層和Softmax 層來獲得分類概率。
圖3 基于海馬ROI 的三維CAM-DenseNet 模型結(jié)構(gòu)圖
模型的分類性能由準確率ACC、敏感度SEN、特異度SPE 和AUC 值4 個評價指標進行評估,其中ACC、SEN 和SPE 的計算公式分別為
式中,TP、FP、FN 和TN 分別表示真陽性、假陽性、假陰性和真陰性的數(shù)量。
模型是通過Tensorflow 2.4 平臺在Python3.8 環(huán)境下構(gòu)建的。在三維CAM-DenseNet 模型的訓練中,采用了隨機初始化方法來初始化網(wǎng)絡權(quán)重。在此基礎上,將損失函數(shù)用交叉熵來表示。該方法通過隨機梯度下降算法對梯度進行更新,并對各參數(shù)進行優(yōu)化。將初始學習速率設定為0.000 1,動量因子設置為0.9,權(quán)重衰減因子設置為0.000 5。該模型添加了L2 正則化以減少過擬合風險,使用批大小為32,進行了200 次迭代,并且設置了隨機失活率為0.2。這些設置將有助于提高網(wǎng)絡的泛化能力和減少訓練期間的過擬合現(xiàn)象。驗證集的主要作用是調(diào)整訓練過程中的迭代次數(shù),當驗證集上的模型精度在20 次迭代后不再提高時,停止模型迭代。
在4 個二分類的任務中(AD/CN、AD/MCInc、MCIc/CN 和MCIc/MCInc),將三維CAM-DenseNet 模型與三維DenseNet 模型進行比較,準確率差異如圖4 所示。三維CAM-DenseNet 模型在4 組二分類實驗中的準確率均高于三維DenseNet 模型,尤其是在AD/CN分類任務中,其準確率提升了約5%。DenseNet 本身具有良好的特征表達能力,在加入CAM 后,網(wǎng)絡可以更為準確地提取有效特征,提高了分類效果。
圖4 三維DenseNet 模型與三維CAM-DensNet 模型的分類性能比較
三維CAM-DenseNet 模型在4個二分類任務中的分類結(jié)果見表3。由表3 可知,三維CAM-DenseNet模型在AD/CN 組表現(xiàn)最好,其次是MCIc/CN 組,再次是AD/MCInc組,MCIc/MCInc組表現(xiàn)較差。海馬和其他內(nèi)側(cè)顳葉結(jié)構(gòu)的形態(tài)學特征在AD 分類中起著重要作用[12]。AD 患者的海馬萎縮程度較高,因此三維CAM-DenseNet模型可以更好地區(qū)分AD 患者與CN 受試者。與MCInc相比,MCIc患者在雙側(cè)海馬的萎縮更為顯著[13],MCIc的腦部變化更接近于AD。因此,該模型在MCIc/CN任務中也能取得較好性能。盡管MCIc與MCInc在海馬萎縮上存在一定差異,但就萎縮程度而言,更偏向于AD 與CN 中的AD 一側(cè)。因此,AD/MCInc與MCIc/MCInc2 個任務的分類效果都不理想。
表3 三維CAM-DenseNet 模型在4 個二分類任務中的性能比較(均值±標準差) 單位:%
將三維CAM-DenseNet 模型與其他基于海馬圖像的三維DenseNet 模型進行比較,結(jié)果見表4。同時,為了比較全腦和海馬圖像塊模型間的性能差異,建立了一個基于全腦圖像的三維DenseNet 模型作為基線模型。實驗結(jié)果顯示,三維CAM-DenseNet 模型比基于海馬圖像的三維DenseNet 模型具有更好的性能。同時,以海馬圖像塊作為輸入可以減少模型訓練過程中的過擬合,提升模型的學習效果。
表4 三維CAM-DenseNet 模型與多種三維DenseNet 模型在AD/CN分類中的性能比較
為了訓練可用的CNN 模型,需要大量的訓練數(shù)據(jù)。為使模型得到更好的訓練,本研究在實驗中添加了受試者2 a 內(nèi)的縱向數(shù)據(jù),以進一步擴充數(shù)據(jù)集??v向數(shù)據(jù)并非一次全部采納,而是分階段逐步添加。在每個階段添加縱向數(shù)據(jù)后,對模型進行重新訓練,并在4 個分類任務中,分別觀察添加縱向數(shù)據(jù)對模型性能的影響。
從表5 可以看出,在包含MCI 的3 個分類任務(MCIc/CN、AD/MCInc和MCIc/MCInc)中,模型的分類性能隨著縱向數(shù)據(jù)的增加而逐漸改善。這表明,向MCI分類任務中添加縱向數(shù)據(jù)可以有效提高模型的分類效果。但是,在AD/CN 分類任務中,如果只采用基線數(shù)據(jù),則該模型的性能是最優(yōu)的,隨著縱向數(shù)據(jù)的不斷增加,模型的性能會逐漸降低。
表5 增加縱向數(shù)據(jù)后模型的分類結(jié)果(均值±標準差) 單位:%
泛化是指模型經(jīng)過訓練后,應用到新數(shù)據(jù)并做出準確預測的能力。一般方法是對數(shù)據(jù)進行拆分獲得驗證集和測試集,但如果劃分過程不嚴格,就有可能會出現(xiàn)數(shù)據(jù)泄露。為了更好地評估模型的泛化性能,最好使用一個完全獨立的測試集。本研究中,分別以ADNI-2、AIBL 和MIRIAD 作為獨立測試集對模型泛化性能進行檢驗。表6 顯示了泛化評估結(jié)果。三維CAM-DenseNet 模型在3 個獨立測試集上的分類準確率在86%~94%之間,具有良好的泛化性能。在3 個數(shù)據(jù)集中,ADNI-2 的分類準確率最低,這可能是由于ADNI-2 采用的是3T 磁共振采集設備,而其他幾個數(shù)據(jù)集采用的是1.5T 磁共振采集設備。
表6 AD/CN 分類任務中的泛化評估結(jié)果(均值±標準差) 單位:%
為了提升AD 分類準確率,本文提岀了一種DenseNet 和通道注意力模塊相結(jié)合的CNN 模型。改進后的模型在保留DenseNet 對原始特征完整傳遞的基礎上,提供了更強的特征提取能力。為了驗證該模型的有效性,本研究將該模型與多種三維Dense-Net 模型進行比較,實驗結(jié)果證明,本文提出的三維CAM-DenseNet 模型具有更好的分類性能。另外,在MCI相關(guān)分類任務中加入縱向數(shù)據(jù)可以提升模型的分類性能。同時,模型對不同數(shù)據(jù)集均具有較好的泛化能力。綜上,本文提出的三維CAM-DenseNet 模型適用于AD 的分類研究。
本研究的不足之處在于研究重心集中于海馬區(qū)域,雖然海馬是AD 疾病中受影響最顯著的腦區(qū)之一,但由于AD 是一種異質(zhì)性的疾病,僅僅研究海馬無法全面反映其異質(zhì)性的病因。除此之外,本研究提出的模型是一種黑箱模型,缺乏必要的解釋能力,直接影響了其在臨床診斷中的應用價值。為此,本研究在未來將著重利用模型的優(yōu)異特征提取能力,深入分析其對AD 疾病異質(zhì)性病因的影響,以便更好地理解和診斷這種復雜的疾病。同時,應納入基于梯度的解釋方法,通過可視化等手段來揭示模型內(nèi)部的計算機制和判斷依據(jù),以便更好地認識和了解模型的智能診斷依據(jù)。這些措施將有效提高模型的可解釋性和應用價值,對于AD 臨床檢測與診斷的應用將產(chǎn)生重要的推動作用。