張榮，張爍，余紅梅，劉龍

（1. 山西醫(yī)科大學(xué) 計(jì)算機(jī)教學(xué)部，山西 太原 030001；2. 山西青年職業(yè)學(xué)院 計(jì)算機(jī)與信息工程系，山西 太原 030032；3. 山西醫(yī)科大學(xué) 公共衛(wèi)生學(xué)院，山西 太原 030001）

0 引言

阿爾茨海默癥AD 是一種常見(jiàn)的老年神經(jīng)退行性疾病，臨床表現(xiàn)為記憶力減退、失憶、語(yǔ)言能力退化并且難以逆轉(zhuǎn)和控制。文獻(xiàn)表明，預(yù)計(jì)到2050年，全世界AD 癥患者將達(dá)到1.07 億人［1］。輕度認(rèn)知障礙MCI 是AD 和正常衰老NC 的中間狀態(tài)。研究 表 明，MCI 患 者 比NC 更 容 易 發(fā) 展 為AD［2］。所以，更多關(guān)注MCI 和AD 的差異研究對(duì)AD 的早期診斷有很大幫助。由于MCI 病人在日常生活中并不會(huì)有太大影響，表現(xiàn)為記憶力輕度衰退，并且在發(fā)病前期不被人重視，這就是MCI 患者延誤病情最終發(fā)展為AD 病的重要原因。

隨著醫(yī)學(xué)影像技術(shù)的快速發(fā)展，產(chǎn)生了異構(gòu)的醫(yī)學(xué)圖像，如電子計(jì)算機(jī)斷層影像（Computed Tomography，CT）、磁共振影像（Magnetic Resonance Imaging，MRI）和正電子發(fā)射斷層影像（Positron Emission Tomography，PET）等，這些醫(yī)學(xué)影像對(duì)AD 的早期診斷起到了至關(guān)重要的作用。為了給醫(yī)生提供有效、準(zhǔn)確、快速的輔助診斷信息，機(jī)器學(xué)習(xí)技術(shù)處理多模態(tài)影像逐步成為醫(yī)學(xué)研究的熱點(diǎn)領(lǐng)域［3］。這種技術(shù)通過(guò)對(duì)不同模態(tài)的醫(yī)學(xué)影像的感興趣區(qū)域進(jìn)行特征提取，并分別對(duì)提取的特征進(jìn)行選擇和融合，最后根據(jù)選擇和融合的特征進(jìn)行圖像的分類(lèi)和識(shí)別。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是近些年來(lái)發(fā)展起來(lái)的高效識(shí)別模型，廣泛應(yīng)用于圖像識(shí)別領(lǐng)域，主要的特點(diǎn)是CNN 可以通過(guò)卷積和池化操作自動(dòng)對(duì)感興趣區(qū)域進(jìn)行高效的特征提取，避免傳統(tǒng)機(jī)器學(xué)習(xí)方法需要人工提取特征時(shí)出現(xiàn)不必要的人為錯(cuò)誤。CNN 通過(guò)類(lèi)腦學(xué)習(xí)的方式，將圖像數(shù)據(jù)從底層到高層逐層進(jìn)行特征提取，直到提取到適合模型分類(lèi)的特征，最后通過(guò)分類(lèi)器對(duì)目標(biāo)圖像進(jìn)行分類(lèi)，以提高識(shí)別的準(zhǔn)確率。

目前，對(duì)單模態(tài)醫(yī)學(xué)影像的識(shí)別研究已經(jīng)取得了一些成果，如Sarraf 等［4］用MRI 圖像使用CNN 模型對(duì)AD 和NC 進(jìn)行分類(lèi)，分類(lèi)準(zhǔn)確率達(dá)94.3%，但此方法只對(duì)AD 和NC 進(jìn)行分類(lèi)，沒(méi)有考慮MCI 的情況。Wang 等［5］設(shè)計(jì)了一種8 層的CNN 網(wǎng)絡(luò)模型來(lái)輔助診斷AD，準(zhǔn)確率提高到97.65%，但同樣未考慮MCI 的情況。因此，對(duì)于復(fù)雜的多模態(tài)醫(yī)學(xué)影像數(shù)據(jù)，如何使用深度學(xué)習(xí)模型對(duì)NC、MCI 和AD進(jìn)行多分類(lèi)成為一大挑戰(zhàn)。

本文提出了一種基于多模態(tài)影像數(shù)據(jù)，利用深度遷移學(xué)習(xí)方法對(duì)NC、MCI 和AD 進(jìn)行多分類(lèi)識(shí)別的診斷模型。首先利用遷移學(xué)習(xí)的方法對(duì)VGG 網(wǎng)絡(luò)進(jìn)行參數(shù)初始化，并用MRI 腦圖像和PET 腦圖像對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的微調(diào)，構(gòu)成兩個(gè)獨(dú)立的單模態(tài)CNN 網(wǎng)絡(luò)（MRI-CNN，PETCNN），然后分別提取MRI-CNN 和PET-CNN 網(wǎng)絡(luò)的特征向量并對(duì)其進(jìn)行融合，最后對(duì)MRI-CNN和PET-CNN 網(wǎng)絡(luò)構(gòu)建全連接層，并利用Adaboost算法對(duì)特征進(jìn)行選擇和融合，構(gòu)建分類(lèi)器進(jìn)行分類(lèi)識(shí)別。

1 基礎(chǔ)理論

1.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

CNN 是一種具有深層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是由輸入層、卷積層、池化層、全連接層和分類(lèi)輸出層構(gòu)成，網(wǎng)絡(luò)中間多個(gè)卷積層和池化層的組合可以看做一個(gè)復(fù)雜的函數(shù)f(·)。原始圖像數(shù)據(jù)首先通過(guò)卷積層進(jìn)行卷積操作后輸出特征圖（Feature Map），每次卷積操作都可以對(duì)輸入圖像進(jìn)行一次特征提取，假如有n次卷積操作就可以得到輸入圖像的n個(gè)特征。設(shè)Yi為經(jīng)過(guò)第i個(gè)卷積操作后輸出的特征圖，X為原始圖像的輸入矩陣，則在經(jīng)過(guò)第一次卷積操作 前Y0=X，Yi可 以 表 示 為Yi=f(Yi－1?Wi+bi)，其中f為激活函數(shù)（Activation Function），常用的激活函數(shù)有ReLU、sigmoid 等，Wi為第i個(gè)卷積層中卷積核的權(quán)值，bi為第i個(gè)卷積層的偏置值，?為卷積操作。

池化層主要是為了減少上一層特征向量的數(shù)據(jù)維度，還能保留原有重要信息的一種操作。設(shè)yi為經(jīng)過(guò)第i個(gè)池化操作的結(jié)果，有yi=down(xi)，其中xi為上一層的特征圖，down(·)為池化函數(shù)，常用的池化函數(shù)［6］有平均池化（Average-Pooling）、最大池化（Max-Pooling）等。

全連接層將經(jīng)過(guò)多次卷積和池化操作的特征圖進(jìn)行全連接，并將特征圖展開(kāi)為一個(gè)向量，最后通過(guò)激活函數(shù)輸出結(jié)果，實(shí)現(xiàn)圖像的分類(lèi)，可表示為：xl=f(wl xl－1+bl)，其中f為激活函數(shù)，wl為全連接層的權(quán)值，xl－1為上一層的特征圖，bi為全連接層的偏置值。CNN 原理圖如圖1 所示。

圖1 CNN 原理圖Fig. 1 CNN schematic diagram

1.2 VGG網(wǎng)絡(luò)結(jié)構(gòu)

VGG 網(wǎng)絡(luò)是在2014 年牛津大學(xué)VGG 項(xiàng)目組為參加ImageNet 大賽提出的一種CNN 模型，該網(wǎng)絡(luò)具有非常好的泛化能力，卷積層的通道數(shù)隨著網(wǎng)絡(luò)深度的增加而增加，通過(guò)該網(wǎng)絡(luò)可以得到豐富的特征向量。VGGNet 網(wǎng)絡(luò)具體分為VGG-13、VGG-16、VGG-19 三種類(lèi)型。本文使用VGG-16進(jìn)行MRI 腦圖像和PET 腦圖像的特征提取，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 2 VGG-16 network structure diagram

VGG-16 網(wǎng)絡(luò)輸入為224×224×3 的RGB 圖像，由1 個(gè)輸出層、13 個(gè)卷積層、5 個(gè)池化層、3 個(gè)全連接層和1 個(gè)輸出層構(gòu)成。表1 列出了VGG-16 網(wǎng)絡(luò)的具體參數(shù)，其中，f為卷積核或池化核的大小，s為步長(zhǎng)，d為該層卷積核的通道數(shù)（個(gè)數(shù)），p為填充參數(shù)，a為激活函數(shù)，C為類(lèi)別個(gè)數(shù)。

表1 VGG-16網(wǎng)絡(luò)參數(shù)Table 1 VGG-16 network parameters

2 對(duì)象與方法

本文設(shè)計(jì)的基于深度遷移學(xué)習(xí)的AD 診斷模型的建立主要分為三個(gè)階段：（1）對(duì)ADNI 數(shù)據(jù)集進(jìn)行圖像預(yù)處理；（2）利用VGG 網(wǎng)絡(luò)模型，通過(guò)遷移學(xué)習(xí)的方法對(duì)各模態(tài)腦圖像（MRI 圖像和PET 圖像）進(jìn)行特征提??；（3）利用Adaboost 算法對(duì)多模態(tài)圖像提取的特征進(jìn)行選擇和融合，構(gòu)建同一維度的特征向量，并得到最后的AD、MCI 和NC 的分類(lèi)結(jié)果?？傮w框架圖如圖3 所示。

圖3 總體框架圖Fig. 3 General frame diagram

具體步驟如下：

（1）數(shù)據(jù)預(yù)處理：通過(guò)ADNI 公開(kāi)數(shù)據(jù)庫(kù)下載分別帶有AD，MCI，NC 標(biāo)記的MRI 和PET 兩個(gè)模態(tài)影像數(shù)據(jù)，將每個(gè)模態(tài)的圖像分成訓(xùn)練集和測(cè)試集，最后對(duì)圖像（圖像大小為224×224）進(jìn)行預(yù)處理。

（2）對(duì)各模態(tài)圖像進(jìn)行特征提?。簶?gòu)建2 個(gè)VGG 網(wǎng)絡(luò)，使用遷移學(xué)習(xí)，優(yōu)化MRI-CNN 和PET-CNN 兩個(gè)網(wǎng)絡(luò)的參數(shù)（MRI-CNN 主要用來(lái)提取MRI 圖像特征，MRI-CNN 主要用作提取PET圖像特征），然后將預(yù)處理好的各模態(tài)的圖像通過(guò)構(gòu)建好VGG 網(wǎng)絡(luò)進(jìn)行特征提取，為特征選擇和融合做準(zhǔn)備。

（3）特征選擇與融合：使用Adaboost 算法對(duì)各模態(tài)提取的特征向量進(jìn)行選擇，在訓(xùn)練過(guò)程中不斷優(yōu)化各特征的權(quán)重，最后將不同權(quán)重的特征向量進(jìn)行疊加融合，再通過(guò)激活函數(shù)進(jìn)行分類(lèi)，得出分類(lèi)的結(jié)果。

2.1 數(shù)據(jù)來(lái)源和預(yù)處理

本文圖像數(shù)據(jù)來(lái)源為ADNI 公開(kāi)數(shù)據(jù)庫(kù)，ADNI 數(shù)據(jù)庫(kù)是由美國(guó)多個(gè)機(jī)構(gòu)［7］于2003 年創(chuàng)立，該數(shù)據(jù)庫(kù)不僅包括多模態(tài)的醫(yī)學(xué)影像數(shù)據(jù)，還包括了具有生物標(biāo)志物信息和醫(yī)學(xué)評(píng)定量表信息的數(shù)據(jù)，方便研究者對(duì)AD 病進(jìn)行研究。

圖像數(shù)據(jù)全部來(lái)源于Philips 系統(tǒng)，其中MRI 圖像使用1.5 T 掃描儀以上數(shù)據(jù)，全部受試者具有18F-FDG 的PET 圖 像 和MRI 圖 像，實(shí) 驗(yàn) 數(shù) 據(jù) 集 為AD、MCI、NC 三類(lèi)，共818 名受試者圖像信息，其中AD 為167 名，MCI 為301 名，NC 為350 名，每 名 受試者都有一個(gè)MRI 圖像和一個(gè)PET 圖像，每位受試者圖像都有橫斷面60 層的圖像信息，受試者信息如表2 所示。

表2 受試者信息統(tǒng)計(jì)表Table 2 Statistical table of subject information

研究表明圖像中大腦組織（灰質(zhì)、白質(zhì)等）是否萎縮是早期A(yíng)D 和NC 區(qū)分的重要標(biāo)志［8］。本文通過(guò)對(duì)大腦灰質(zhì)密度圖進(jìn)行分析處理，大腦灰質(zhì)密度圖可以通過(guò)Matlab 提供的SPM-12（Statistical Parametric Mapping）工具包完成［9］。處理流程為：對(duì)于MRI 圖像，由于MRI 的原始圖像中都包含頭骨等結(jié)構(gòu)，為了降低運(yùn)算量和提高實(shí)驗(yàn)結(jié)果，采用SPM-12中的CAT12 工具完成取頭骨操作，再對(duì)MRI 圖像進(jìn)行圖像分割，提取腦灰質(zhì)、白質(zhì)等信息。然后將預(yù)處理的MRI 腦圖像匹配到標(biāo)準(zhǔn)腦空間MNI（Montreal Neurological Institute）模板上。接著將預(yù)處理的MRI 圖像通過(guò)剪切或填充的方式統(tǒng)一圖像大小為224×224，為了符合VGG 網(wǎng)絡(luò)的輸入要求，需通過(guò)MicroDicom 工具將DICOM 格式轉(zhuǎn)化為png格式的圖像。最后為了保證圖像的統(tǒng)一性，將MRI的圖像體素值歸一化為0～255 之間。

對(duì)于PET 圖像，首先將同一受試者的多個(gè)DICOM 格式的圖片數(shù)據(jù)融合為一種PET 圖像，其腦部空間和組織結(jié)構(gòu)信息被保留。然后將每位受試者的PET 圖像與對(duì)應(yīng)同一樣本的MRI 圖像進(jìn)行配準(zhǔn)，防止因設(shè)備而產(chǎn)生的差異。接著將預(yù)處理的PET 圖像匹配到標(biāo)準(zhǔn)腦空間MNI 模板上并將PET圖像調(diào)整為224×224，通過(guò)MicroDicom 工具將DICOM 格式轉(zhuǎn)化為png 格式的圖像。最后為了保證圖像的統(tǒng)一性，將MRI 的圖像體素值歸一化為0～255 之間。

2.2 基于VGG遷移學(xué)習(xí)的特征提取

本文基于VGG 網(wǎng)絡(luò)對(duì)每位受試者M(jìn)RI 和PET的兩種模態(tài)影像分別進(jìn)行特征提取，根據(jù)CNN 網(wǎng)絡(luò)學(xué)習(xí)原理，隨著卷積層和池化層的交替對(duì)圖像的學(xué)習(xí)和降維，圖像特征的抽象程度越來(lái)越高，表達(dá)能力越來(lái)越強(qiáng)，同時(shí)維度也越來(lái)越低。在VGG 網(wǎng)絡(luò)結(jié)構(gòu)中，靠近輸入層的卷積層通常反映出圖像的紋理、邊緣信息，靠近輸出層的卷積層通常反映圖像的細(xì)節(jié)信息［10］。

由于訓(xùn)練VGG 網(wǎng)絡(luò)需要大量的訓(xùn)練集數(shù)據(jù)，如果直接使用818 位受試者的圖像數(shù)據(jù)重新訓(xùn)練VGG 網(wǎng)絡(luò)的參數(shù)，很容易發(fā)生過(guò)擬合的現(xiàn)象，最后導(dǎo)致分類(lèi)準(zhǔn)確率的下降，所以本文使用了遷移學(xué)習(xí)技術(shù)，在已訓(xùn)練好的VGG 網(wǎng)絡(luò)中，微調(diào)網(wǎng)絡(luò)參數(shù)，進(jìn)行圖像的特征提取。在特征提取時(shí)，首先將預(yù)處理好的MRI 圖像和PET 圖像分別輸入預(yù)先訓(xùn)練好的VGG 模型中（MRI-CNN，PET-CNN），網(wǎng)絡(luò)模型會(huì)“自動(dòng)”地進(jìn)行圖像特征提取，每張圖像提取第11 卷積層（conv11）、第13 卷積層（conv13）的特征，conv11 和conv13 的特征向量維度都為14×14×512，分別提取每位受試者60 個(gè)橫斷面的特征信息。以MRI 圖像為例，選擇一位受試者的腦橫切面在conv6、conv11、conv13 圖像特征提取的可視化如圖4 所示。

從 圖4 中 可 以 看 出，conv11 和conv13 的 特 征 圖比conv6 的特征圖更加抽象，每個(gè)單模態(tài)的圖像經(jīng)過(guò)特征的提取后，在conv11、conv13 的特征總和為14×14×512×2×60（每個(gè)橫斷面圖像都提取conv11 和conv13 的特征，一共60 個(gè)橫斷面），維度總和達(dá)到了1 200 萬(wàn)維，但是每組的受試者樣本不超過(guò)300 例，這樣可以看到提取特征的維度遠(yuǎn)大于樣本的數(shù)量，存在過(guò)多的冗余信息，這樣極容易發(fā)生過(guò)擬合現(xiàn)象，因此要進(jìn)一步對(duì)特征進(jìn)行選擇和融合使特征向量降維。本文設(shè)計(jì)的特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖4 MRI 圖像conv6、conv11、conv13 特征提取可視化Fig. 4 Feature extraction image of conv6，conv11，conv13 by MRI

圖5 特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig. 5 Network structure of feature extraction

2.3 特征選擇與融合

本文對(duì)NC、MCI 和AD 的三分類(lèi)問(wèn)題轉(zhuǎn)化為AD：NC，AD：MCI，NC：MCI，NC：MCI：AD，三個(gè)二分類(lèi)和一個(gè)三分類(lèi)問(wèn)題。根據(jù)MRI-CNN 和PET-CNN 各 模 態(tài) 提 取 的conv11 和conv13 的 特 征為14×14 的矩陣，每個(gè)模態(tài)都有61 440 個(gè)（512×2×60）特征矩陣，特征選擇的目的就是除去冗余的特征信息，保留對(duì)分類(lèi)算法貢獻(xiàn)度高的信息的過(guò)程。本文使用Adaboost 算法對(duì)特征進(jìn)行選擇與融合，其基本思想為分別將各模態(tài)的特征向量按順序進(jìn)行串聯(lián)組合，該組合包含了不同模態(tài)的全部特征信息。根據(jù)Adaboost 算法逐步選擇某一特征向量作為弱分類(lèi)器，然后循環(huán)以上選取弱分類(lèi)器的過(guò)程，逐步組合成一個(gè)強(qiáng)分類(lèi)器對(duì)各類(lèi)問(wèn)題進(jìn)行分類(lèi)。設(shè)A為MRI 圖 像 的 特 征 矩 陣，B為PET 圖 像 的特征矩陣，ai為A矩陣某行的特征向量，bi為B矩陣某行的特征向量，特征選擇與融合過(guò)程原理如圖6所示。

圖6 特征融合原理Fig. 6 Schematic diagram of feature fusion

設(shè)每組二分類(lèi)問(wèn)題的數(shù)據(jù)集為T(mén)={(x1，y1)，(x2，y2)，…，(xN，yN)}，其 中yi={+1，－1}表示正負(fù)兩類(lèi)，算法流程如算法1 所示。

算法1輸入：T={(x1,y1),(x2,y2),…,(xN,yN)}輸出：特征融合后的分類(lèi)器G(x)，其中G(x)={+1,－1}（1）初始化各模態(tài)特征向量權(quán)值：D1=(w11,w12,…,w1i),其中w1i=1 N (i=1,2,…,N)；（2）設(shè)m=1,2,…,M，其中M 為弱分類(lèi)器的個(gè)數(shù)。用DM 采樣N 個(gè)樣本，在訓(xùn)練樣本上獲得分類(lèi)器Gm(x)，使Gm(x)=±1；（3）計(jì)算加權(quán)錯(cuò)誤率:em=P(Gm(xi)≠yi)=∑i=1 NwmiI(Gm(xi)≠yi)，并計(jì)算分類(lèi)器Gm(x)的權(quán)重αm=1 2 log 1－em em；（4）更新特征向量的權(quán)值：DM+1=(wm+1,1,wm+1,2,…,wm+1,N)，其中：wm+1,i=wmi N wmie－αm yiGm(xi)；zme－αm yiGm(xi)，zm=∑i=1（5）回到第（2）步迭代執(zhí)行；（6）最終分類(lèi)器G(x)=sign( ∑m=1 MαmGm(x))

2.4 診斷模型評(píng)價(jià)

針對(duì)818 名受試者圖像信息分為4 組數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，分別為AD：NC，AD：MCI，NC：MCI，NC：MCI：AD，其中研究AD：MCI 和NC：MCI，可以對(duì)AD 早期診斷提供幫助。每類(lèi)數(shù)據(jù)都分為訓(xùn)練集和測(cè)試集，為了測(cè)試算法性能，采用十折交叉驗(yàn)證方法來(lái)驗(yàn)證算法性能，也就是將樣本平均分成10 份，逐一選擇其中的一份為測(cè)試集，其余的9 份為訓(xùn)練集。

評(píng)價(jià)指標(biāo)包括準(zhǔn)確率（Accuracy）、靈敏度（Sensitivity）、特 異 度（Specificity）、受 試 者 工 作 特 征（ROC）曲線(xiàn)下的面積（Area under curve，AUC）。

其中，TP表示真陽(yáng)性（True Positive）、FP表示假陽(yáng)性（False Positive）、TN表示真陰性（True Negative）、FN表示假陽(yáng)性（False Negative）。

本文實(shí)驗(yàn)軟件環(huán)境為：Windows10 操作系統(tǒng)，Python3.6，TensorFlow1.4 開(kāi) 源 框 架 和sklearn 包。硬 件 環(huán) 境 為i7 處 理 器3.60 GHz，32 G 內(nèi) 存，Ge-Force 1 080Ti 獨(dú)立顯卡。VGG16 配置參數(shù)為：參數(shù)優(yōu)化算法為Adam，dropout 丟掉率為0.5，學(xué)習(xí)率為1×10－8，訓(xùn)練的批次大小（batch size）為20。

3 結(jié)果與討論

本文將各模態(tài)數(shù)據(jù)在VGG 網(wǎng)絡(luò)進(jìn)行特征提取，并使用Adaboost 算法對(duì)各模態(tài)特征進(jìn)行融合，消除單模態(tài)信息不全的缺點(diǎn)，達(dá)到最后分類(lèi)識(shí)別的目的。實(shí)驗(yàn)分別從以下兩個(gè)方面進(jìn)行分析：1）使用VGG 網(wǎng)絡(luò)conv6、conv11 和conv12 特征信息對(duì) 圖像進(jìn)行分類(lèi)比較；2）多模態(tài)特征融合和單模態(tài)圖像分類(lèi)比較。

3.1 基于VGG 網(wǎng)絡(luò)conv6、conv11 和conv13 特征信息對(duì)圖像進(jìn)行分類(lèi)比較

利用VGG 網(wǎng)絡(luò)分別訓(xùn)練預(yù)處理后的MRI 圖像和PET 圖 像，并 將 卷 積 層conv6、conv11 和conv13的特征進(jìn)行提取，并只用已提取的單層特征信息基于A(yíng)daboost 算法進(jìn)行特征融合和分類(lèi)，在測(cè)試集上分類(lèi)準(zhǔn)確率結(jié)果如圖7 和表3 所示。

表3 各卷積層特征分類(lèi)準(zhǔn)確率（%）Table 3 The accuracy of the feature classification in each convolution（%）

圖7 各卷積層特征分類(lèi)結(jié)果Fig. 7 Results of feature classification in each convolution

通過(guò)圖7 可以看出，對(duì)于A(yíng)D：NC，AD：MCI，NC：MCI 分類(lèi)問(wèn)題，單獨(dú)使用conv11 和conv13 兩個(gè)層的特征進(jìn)行分類(lèi)，結(jié)果明顯好于僅使用conv6 特征的分類(lèi)結(jié)果，說(shuō)明conv11 和conv12 中有更多可用的特征信息；又由于conv11 和conv13 提取特征的大小都為14×14×512，而conv6 提取特征的大小為56×56×256，conv6、conv11 和conv13 特征向量維度不同，為了方便，后續(xù)實(shí)驗(yàn)只需選擇和融合conv11 和conv13 的特征即可。對(duì)于MRI 圖像和PET 圖像，使用單模態(tài)MRI 圖像進(jìn)行特征提取和融合的分類(lèi)正確率高于單模態(tài)PET 圖像的正確率，說(shuō)明VGG 網(wǎng)絡(luò)對(duì)于MRI 圖像可以獲得更多有用的特征信息。

3.2 基于A(yíng)daboost特征融合與單模態(tài)圖像分類(lèi)比較

表4 多模態(tài)特征融合和單模態(tài)識(shí)別準(zhǔn)確率（%）Table 4 Recognizable accuracy of muti-modal feature fusion and single modal（%）

通過(guò)表4 可以看出，多模態(tài)特征融合的分類(lèi)方法在準(zhǔn)確率方面比任意單模態(tài)特征分類(lèi)方法都有顯著提高，其中AD：NC 組分類(lèi)效果最佳；AD：MCI組分類(lèi)效果最差；AD：MCI：NC 組分類(lèi)效果相對(duì)較低，但準(zhǔn)確率在92.8%。在對(duì)AD 和MCI 分類(lèi)時(shí)，準(zhǔn)確率最低，可能是由于判斷MCI 較為復(fù)雜，因?yàn)镸CI 最終可以表現(xiàn)為兩種類(lèi)型：其一MCI 發(fā)展為AD，其二終身保持MCI，所以在分辨AD 和MCI 時(shí)有一定的難度。

圖8 展示了多模態(tài)特征融合對(duì)AD：NC 數(shù)據(jù)訓(xùn)練的迭代過(guò)程。這里只選取分類(lèi)結(jié)果最好的AD：NC 組進(jìn)行展示，從圖中可以看出使用曲線(xiàn)符合深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)規(guī)律，當(dāng)?shù)?5 次時(shí)，曲線(xiàn)收斂。

圖8 多模態(tài)特征融合AD：NC 組數(shù)據(jù)訓(xùn)練的迭代過(guò)程Fig. 8 Iterative process of data training for AD：NC in multi-modal feature fusion

多模態(tài)特征融合模型在區(qū)分AD、MCI 和NC 問(wèn)題上有比較理想的分類(lèi)結(jié)果，為了更好地用于醫(yī)學(xué)診斷，分別計(jì)算AD：NC、AD：MCI、NC：MCI 二分類(lèi)問(wèn)題的靈敏度和特異度。對(duì)于臨床診斷，正確診斷出病人是最為重要的，所以靈敏度（真陽(yáng)性率TPR）越高越理想；如果將沒(méi)病的錯(cuò)誤診斷為患者也會(huì)出現(xiàn)不良的后果，所以假陽(yáng)性率FPR（100%-特異度）越低越理想，因此靈敏性和特異性是相互制約的兩個(gè)因素。理想化的情況為T(mén)PR=1，F(xiàn)PR=0，即為將所有病人都診斷出來(lái)，并且沒(méi)有誤診任何一個(gè)沒(méi)有病的病人。表5 列出了多模態(tài)特征融合模型分類(lèi)的統(tǒng)計(jì)數(shù)據(jù)，圖9 繪制了表5 中AD：NC、AD：MCI 和NC：MCI 組對(duì)應(yīng)的ROC 曲線(xiàn)。

表5 AD：NC、AD：MCI、NC：MCI分類(lèi)評(píng)價(jià)指標(biāo)Table 5 Evalutaion index of AD：NC，AD：MCI，NC：MCI classification

圖9 多模態(tài)特征融合模型上AD：NC、AD：MCI、NC：MCI的ROC 曲線(xiàn)Fig. 9 ROC curves of AD：NC，AD：MCI，NC：MC on multimodal feature fusion model

通過(guò)表5 和圖8 可以看出，多模態(tài)特征融合模型在A(yíng)D：NC 組的真陽(yáng)性率為98.76%，AUC 值為0.988，說(shuō)明多模態(tài)特征融合模型對(duì)診斷AD 更具有優(yōu)勢(shì)。在A(yíng)D：MCI 組的假陽(yáng)性率為85.13%，說(shuō)明對(duì)AD 的誤診率相對(duì)較高，也恰好驗(yàn)證了AD：MCI組用來(lái)判斷MCI 準(zhǔn)確率較低。

由表6 可以看出，不論在A(yíng)D：NC 組還是NC：MCI 組分類(lèi)實(shí)驗(yàn)中，本文的方法都優(yōu)于文獻(xiàn)中的其他方法，而且本文方法只用了兩種模態(tài)的特征，文獻(xiàn)［11］、文獻(xiàn)［12］、文獻(xiàn)［13］使用了三種模態(tài)的特征，除了MRI 圖像和PET 圖像外，還加入了CSF 生物標(biāo)志物特征進(jìn)行融合，這也為今后研究提供了方向，加入CSF 生物標(biāo)志物特征會(huì)對(duì)AD 病的早期診斷有多大影響，也是后續(xù)需要研究的一個(gè)內(nèi)容?？傊?，本文算法和分類(lèi)診斷模型在A(yíng)D：NC，AD：MCI，NC：MCI，AD：MCI：NC 組上取得了更好的效果，也驗(yàn)證了算法的可行性和優(yōu)越性。

表6 多模態(tài)分類(lèi)方法在A(yíng)D：NC和NC：MCI組的分類(lèi)實(shí)驗(yàn)結(jié)果對(duì)比Table 6 Comparison of the experimental results using mutimodal classification method in AD：NC and NC：MCI

4 結(jié)論

本文提出了一種融合多模態(tài)影像的AD 多分類(lèi)診斷模型。該診斷模型基于深度學(xué)習(xí)，可以對(duì)各單模態(tài)特征信息進(jìn)行有效地融合和圖像識(shí)別。通過(guò)對(duì)同一模型不同卷積層特征融合實(shí)驗(yàn)和多模態(tài)特征融合與單模態(tài)圖像分類(lèi)對(duì)比，結(jié)果表明本文提出的方法對(duì)AD 病的診斷具有一定的醫(yī)學(xué)意義。在未來(lái)的研究中，可以進(jìn)一步完善腦圖像數(shù)據(jù)集，對(duì)AD和MCI 分類(lèi)結(jié)果進(jìn)行提升。