張 麗 強 彥 張小龍 王三虎

1(太原理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院 山西 太原 030024)2(賓夕法尼亞州立大學(xué)信息科學(xué)與技術(shù)學(xué)院 賓西法尼亞州 尤尼弗西蒂帕克 16802)3(呂梁學(xué)院計算機科學(xué)與技術(shù)系 山西 呂梁 033000)

0 引 言

肺癌已成為全世界發(fā)病率與致死率最高的惡性腫瘤之一[1]。肺癌死亡率逐年增高的最主要原因是其早期的病變特征不易被發(fā)現(xiàn)，一經(jīng)確診，治愈率很低。計算機輔助診斷(CAD)系統(tǒng)[2]能通過幫助放射科醫(yī)師做出正確的分類決策并降低手動讀取掃描所產(chǎn)生的成本，顯著提高基于計算機斷層掃描(CT)的篩查程序的可行性。本文應(yīng)用基于同步深度監(jiān)督的多尺度肺結(jié)節(jié)分類方法顯著提高了CAD系統(tǒng)決策的準(zhǔn)確率。

1 相關(guān)工作

計算機輔助診斷方法在肺癌早期篩查中發(fā)揮著重要作用。Li等[3]提出了一種改進的隨機森林(RF)算法用于肺結(jié)節(jié)良惡性分類，在LIDC數(shù)據(jù)集上達到了0.90的準(zhǔn)確率，這是傳統(tǒng)的計算機輔助診斷方法。近年來，深度學(xué)習(xí)已經(jīng)成功應(yīng)用于語音識別、圖像識別[4-6]等領(lǐng)域，在醫(yī)學(xué)圖像處理中深度學(xué)習(xí)技術(shù)也得到廣泛的應(yīng)用[7-8]，其中卷積神經(jīng)網(wǎng)絡(luò)(CNN)在肺部醫(yī)學(xué)圖像處理中取得一定的研究成果，使用CNN的一個顯著優(yōu)點是它們不需要從圖像中手工提取任何類型的特征，而是直接從數(shù)據(jù)中學(xué)習(xí)辨別特征。Shen等[9]使用2層卷積神經(jīng)網(wǎng)絡(luò)在不同尺度的多個結(jié)節(jié)上成功地對惡性肺結(jié)節(jié)進行分類。Ciompi等[10]使用現(xiàn)有的預(yù)訓(xùn)練CNN(稱為OverFeat[11]，具有8個加權(quán)層)對周圍結(jié)節(jié)進行分類。Setio等[12]在不同的結(jié)節(jié)視圖(軸向、冠狀、矢狀和六個對角線平面)上使用9個獨立的CNN(每個有三個卷積層)進行分類，以確定結(jié)節(jié)的存在。通過將CNN輸出與完全連接的層融合來獲得最終的分類結(jié)果。

盡管目前的CNN模型在肺部醫(yī)學(xué)圖像處理中取得一定的研究成果，但針對肺結(jié)節(jié)占肺部CT影像面積小且結(jié)節(jié)大小不一的特點，選擇適當(dāng)?shù)木W(wǎng)絡(luò)架構(gòu)提取特定輸入數(shù)據(jù)特征仍是一個巨大的挑戰(zhàn)。AlexNet[13]由Hinton提出并在2012年ImageNet競賽中成功使用，與其他結(jié)構(gòu)復(fù)雜的深度CNN架構(gòu)相比(例如GoogLeNet、VGG等)，AlexNet是一種結(jié)構(gòu)簡單的CNN架構(gòu)，易于訓(xùn)練和優(yōu)化，但它并不是針對醫(yī)學(xué)圖像的網(wǎng)絡(luò)模型。針對肺部結(jié)節(jié)的特征，本文改進了典型的AlexNet模型以適應(yīng)肺部醫(yī)學(xué)圖像的分析與處理。但是改進的AlexNet模型并不能直接處理肺結(jié)節(jié)的多尺度現(xiàn)象，并且容易產(chǎn)生梯度消失、過擬合等現(xiàn)象。Chen等[14]提出了空間金字塔模型(PSR)來捕獲局部特征的絕對和相對空間關(guān)系，在遙感圖像分類中表現(xiàn)出優(yōu)異的性能。He等[15]提出了空間金字塔池化策略，用于物體檢測和分類任務(wù)。Lee等[16]提出深度監(jiān)督網(wǎng)絡(luò)，通過對隱藏層使用監(jiān)督功能，在MNIST、CIFAR-10、CIFAR-100及SVHN等數(shù)據(jù)集中均取得良好的分類效果。鑒于此，本文提出了基于同步深度監(jiān)督的多尺度肺結(jié)節(jié)分類方法。

2 方 法

本文充分考慮肺結(jié)節(jié)的圖像特征，改進了AlexNet架構(gòu)，減小了卷積核尺寸，舍棄了部分池化層，使其能夠作為一種簡單有效的醫(yī)學(xué)圖像分類模型。在該網(wǎng)絡(luò)模型中為每個隱藏層引入“伴隨”目標(biāo)函數(shù)，為隱藏層提供集成的同步監(jiān)督，以減少分類錯誤并提高隱藏層學(xué)習(xí)過程的直接性和透明度。為了處理多尺度肺結(jié)節(jié)現(xiàn)象，本文將空間金字塔池化作為一種有效的多尺度池化操作添加到網(wǎng)絡(luò)架構(gòu)中，以允許該模型能夠處理多尺度信息并有效提取對肺結(jié)節(jié)分類有強影響的特征。整體模型架構(gòu)如圖1所示。

圖1 整體模型架構(gòu)圖

2.1 改進的AlexNet模型

AlexNet主要由卷積層、池化層、整流線性單元(ReLU)層和完全連接層組成。AlexNet較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢是因為其使用了ReLu激活函數(shù)和DropOut正則化技術(shù)。如式(1)所示，ReLU具有半波整流器功能，其可以顯著加速訓(xùn)練階段并防止過度擬合。AlexNet通過引入多種權(quán)值組合的DropOut方法控制過擬合，在訓(xùn)練過程中，通過將多個輸入神經(jīng)元或隱藏神經(jīng)元隨機設(shè)置為零來減少神經(jīng)元間復(fù)雜的互適應(yīng)。

f(x)=max(x,0)

(1)

傳統(tǒng)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型主要用于分辨率較高、圖片尺寸較大的圖片識別。受限于肺部ROI圖像的大小，原AlexNet模型的卷積核過大，不適合處理肺部醫(yī)學(xué)影像數(shù)據(jù)，因此要針對本文中數(shù)據(jù)源的特點，對AlexNet模型進行針對性改進。改進后的AlexNet模型對比如表1所示。

表1 AlexNet模型改進前后對比

續(xù)表1

2.2 同步深度監(jiān)督策略——SDS

改進的AlexNet架構(gòu)是一種有效的端到端肺部醫(yī)學(xué)影像數(shù)據(jù)分類框架，但當(dāng)前框架存在三個明顯的問題。第一個問題是在整個分類過程中，中間層的不透明性使得訓(xùn)練過程難以觀察。第二個問題涉及學(xué)習(xí)特征的魯棒性和判別能力，特別是在網(wǎng)絡(luò)的后一層，會嚴重影響性能。第三個問題是在梯度“爆炸”和“消失”的情況下，訓(xùn)練效果差。為了更好地處理當(dāng)前改進的AlexNet架構(gòu)中存在的問題，將同步深度監(jiān)督策略納入到改進的AlexNet架構(gòu)中。這種方法可以同時最小化分類錯誤并提高隱藏層學(xué)習(xí)過程的直接性和透明度。SDS的核心思想旨在為隱藏層提供集成的同步監(jiān)督，這與僅在輸出層提供監(jiān)督并將該監(jiān)督傳播回早期層的標(biāo)準(zhǔn)方法形成對比。SDS為每個隱藏層引入“伴隨”目標(biāo)函數(shù)，這些伴隨目標(biāo)函數(shù)可以被視為學(xué)習(xí)過程中的附加約束。圖2表示SDS的執(zhí)行過程。

為了更好地理解融合SDS策略的AlexNet架構(gòu)，下面給出了一個例子。假設(shè)輸入樣值Xi∈Rn表示原始輸入數(shù)據(jù),yi∈{1,2,…,K}表示樣本Xi所對應(yīng)的標(biāo)簽。假設(shè)改進的AlexNet架構(gòu)中總共有M個層，其權(quán)重組合是W=(W(1),W(2),…,W(M))。改進的AlexNet架構(gòu)的每個隱藏層中的分類器，相應(yīng)的權(quán)重是w=(W(1),W(2),…,W(M-1))。在改進的AlexNet架構(gòu)中，權(quán)重參數(shù)和濾波器之間的關(guān)系分別為：

Z(m)=f(Q(m))，Z(0)=X

(2)

Q(m)=W(m)×Z(m-1)

(3)

式中：m指網(wǎng)絡(luò)中的特定層;W(M)，m=1,2,…,M是要學(xué)習(xí)的網(wǎng)絡(luò)權(quán)重;Z(m-1)為第m-1層的特征圖，Q(m)為先前特征圖上的卷積響應(yīng);f()為Q上的池化函數(shù)。本文網(wǎng)絡(luò)架構(gòu)的總目標(biāo)函數(shù)如下式：

F(W)=P(W)+Q(W)

(4)

式中：P(W)和Q(W)分別為輸出目標(biāo)和總伴隨目標(biāo)，其定義如下：

(5)

(6)

式中：M表示網(wǎng)絡(luò)總層數(shù)，w(out)是指輸出層的分類器權(quán)重。改進的AlexNet架構(gòu)的最終組合目標(biāo)函數(shù)定義如下：

(7)

式(7)中輸出層L(W,w(out))的總損失為：

(8)

在式(7)中，作為隱藏層的伴隨損失l(W,w(m))為：

(9)

式(8)和式(9)都是預(yù)測誤差的鉸鏈損失，可以看出，改進的AlexNet架構(gòu)不僅學(xué)習(xí)卷積核W*，而且在每個隱藏層中強制執(zhí)行約束，以直接進行良好的標(biāo)簽預(yù)測，并強烈推動每個單獨的層具有辨別力和敏感性。注意，對于每個l(W,w(m))，w(m)直接取決于Z(m)，其取決于W1,W2，…,Wm直到第m層。在訓(xùn)練過程中，常把式(7)中的第二項設(shè)置為零。這樣，在輸出層產(chǎn)生良好分類結(jié)果的總體目標(biāo)不會改變，并且伴隨目標(biāo)只是作為代理或正規(guī)化。為了實現(xiàn)該目標(biāo)，通常在式(6)的第二項中設(shè)置閾值r。該伴隨函數(shù)的工作機制是當(dāng)隱藏層的(伴隨目標(biāo))總值達到或低于r時，整體功能和伴隨目標(biāo)函數(shù)的鉸鏈損失消失，并不在學(xué)習(xí)過程中發(fā)揮作用。平衡參數(shù)αm為輸出目標(biāo)和伴隨目標(biāo)間的平衡參數(shù)。

總而言之，通過改進每個隱藏層中的分類器，同步深度監(jiān)督(SDS)將隱藏層的特征質(zhì)量同步執(zhí)行優(yōu)化，舍棄弱影響冗余特征，有效解決了梯度消失現(xiàn)象，減少過擬合，具有較好的分類性能。

2.3 多尺度空間金字塔池化策略——MSPP

本文使用肺部影像公開數(shù)據(jù)集LIDC-IDRI[17]，其中標(biāo)注的肺結(jié)節(jié)大小范圍為3～30 mm，像素級別的范圍為6×6～60×60像素，為保證大規(guī)模數(shù)據(jù)下批量訓(xùn)練及數(shù)據(jù)的原始性，將圖片調(diào)整為32×32、48×48、64×64像素3個尺度。如圖3所示。

(1) 三個尺度的良性結(jié)節(jié) (2) 三個尺度的惡性結(jié)節(jié)圖3 多尺度ROI圖

常用的CNN都需要輸入的圖像尺寸是固定的，這是由CNN的結(jié)構(gòu)決定的。

在以往的肺結(jié)節(jié)分類任務(wù)中，往往采用特定大小ROI作為網(wǎng)絡(luò)輸入，但這種做法降低了分類結(jié)果的準(zhǔn)確度。也有采用多尺度ROI作為輸入，但需要設(shè)計多個網(wǎng)絡(luò)模型，這增加了訓(xùn)練的復(fù)雜度。

本文使用了空間金字塔池化策略，用來處理多尺度卷積特征圖以生成固定長度的池化表示。即在最后一個卷積層conv4后加入MSPP層。MSPP層對特征進行池化，并產(chǎn)生固定長度的輸出，將此輸出作為全連接層的輸入。空間金字塔的輸出是一個k×M維向量，M代表金字塔塊的數(shù)量，k代表最后一層卷積層的卷積核的數(shù)量。這個固定維度的向量就是全連接層的輸入。本文使用四個尺度的圖像輸入到同一個深度網(wǎng)絡(luò)，當(dāng)輸入圖像處于不同的空間尺度時，帶有相同大小卷積核的網(wǎng)絡(luò)就可以在不同的尺度上抽取特征，最后生成固定維度的向量。MSPP網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 MSPP網(wǎng)絡(luò)結(jié)構(gòu)圖

如圖4所示，將最后一層卷積后產(chǎn)生的特征圖輸入空間金字塔池化層中，該金字塔層由4層組成，都使用全局池化進行特征映射。第1層為1×1，將特征映射的整個區(qū)域r11匯集到R1中。第2層為2×2，將特征映射區(qū)域r21、r22、r23、r24匯集到R2中。同理，將第3層和第4層將特征映射區(qū)域分別匯集到R3、R4中。因此，每個特征圖通過空間金字塔池合并為30個單元。由于前一層具有64個特征圖，因此空間金字塔池化層的輸出被連接以形成30×64維向量，然后，將該矢量送入全連接層以進行后續(xù)的分類。

將MSPP策略納入改進的AlexNet-SDS架構(gòu)，可以使網(wǎng)絡(luò)模型適用于多尺度圖像同時輸入到同一個網(wǎng)絡(luò)中，它能在輸入尺寸任意的情況下產(chǎn)生固定大小的輸出，并將卷積特征匯集在任意比例區(qū)域中以生成固定長度表示。

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集描述

本實驗基于來自LIDC-IDRI數(shù)據(jù)庫，包含1 010組醫(yī)療記錄和1 018套胸部CT圖像，共有244 527個胸部CT圖像，每個圖像由4位經(jīng)驗豐富的放射科醫(yī)師進行標(biāo)記。每組數(shù)據(jù)中的標(biāo)記信息以XML格式存儲，包含輪廓坐標(biāo)和肺結(jié)節(jié)的惡性程度。放射科醫(yī)師將肺結(jié)節(jié)的惡性程度M量化為1、2、3、4、5五個等級，分別表示極不可能、適度不可能、不確定、適度懷疑、高度懷疑。

3.2 實驗方案

為了提高準(zhǔn)確性，選取至少有三個醫(yī)師同時標(biāo)注惡性度的結(jié)節(jié)，并取其平均值。去除了平均值為3的結(jié)節(jié)，若平均值低于3，則認為該結(jié)節(jié)屬于良性結(jié)節(jié)；若平均值高于3，則認為該結(jié)節(jié)屬于惡性結(jié)節(jié)。共得到1 265個結(jié)節(jié)，其中良性結(jié)節(jié)779，惡性結(jié)節(jié)486。為了增強數(shù)據(jù)集，將預(yù)處理后的ROI圖像分別進行90°、180°、270°旋轉(zhuǎn)及水平和垂直翻轉(zhuǎn)。使用10折交叉驗證，經(jīng)過大量實驗調(diào)整，將初始學(xué)習(xí)率設(shè)置為0.3，并使用動態(tài)學(xué)習(xí)率；動量和權(quán)重衰減分別設(shè)置為0.9和0.000 5。平衡參數(shù)αm設(shè)置為0.001。在訓(xùn)練期間增加了L2范數(shù)權(quán)重衰減緩解過擬合。在實驗中分別使用兩種分類器，具有徑向基函數(shù)核的SVM分類器和RF分類器。

3.3 評價標(biāo)準(zhǔn)

在肺結(jié)節(jié)分類實驗中，通常使用準(zhǔn)確性、靈敏度、特異度、ROC曲線等作為評價指標(biāo)[18]。評估分類指數(shù)的公式如表2所示，其中：TP代表真陽性，TN代表真陰性，F(xiàn)P代表假陽性，F(xiàn)N代表假陰性。ROC曲線指受試者工作特征曲線,是反映敏感性和特異性連續(xù)變量的綜合指標(biāo),曲線下面積越大，診斷準(zhǔn)確性越高。最后實驗結(jié)果是在重復(fù)運行基礎(chǔ)上由平均值和標(biāo)準(zhǔn)差的形式給出。

表2 評價指標(biāo)計算公式

3.4 模型性能比較

為了評估本文所提出的方法的性能，與最近發(fā)表的論文中使用基于LIDC數(shù)據(jù)集的肺結(jié)節(jié)傳統(tǒng)分類方法及深度學(xué)習(xí)分類方法進行比較，結(jié)果列于表3和圖5中。

表3 基于LIDC數(shù)據(jù)集的肺結(jié)節(jié)分類不同算法比較

圖5 不同模型的ROC曲線圖

從表3可以看出，本文提出的方法精度為93.68，與其他方法相比有更好的肺結(jié)節(jié)分類性能，同時也說明改進的AlexNet網(wǎng)絡(luò)融合SDS策略能有效提高肺結(jié)節(jié)分類性能，其精確度能達到92.07。本文提出的方法與傳統(tǒng)的分類方法(Improved-RF)相比，精確度提升了8.82；與其他深度網(wǎng)絡(luò)(Setio-CNN，Overfeat)相比，精確度分別提升了7.22、11.65。

從圖5中可以看出，不同診斷方法的結(jié)果存在一定的差異性，本文方法的ROC曲線較其他方法更靠近坐標(biāo)左上方，AUC值最大，在肺結(jié)節(jié)良惡性診斷上具有明顯的優(yōu)勢。

3.5 不同分類器同步監(jiān)督結(jié)果比較

不同分類器同步監(jiān)督結(jié)果比較如圖6所示。

圖6 不同分類器性能比較

可以看出，兩種分類器均能達到較好的效果，但RF分類器的分類精度更高。兩個分類器的整體性能表明加入同步監(jiān)督策略可以使分類結(jié)果更加準(zhǔn)確。這歸功于分層同步監(jiān)督策略選擇強影響特征，消除了許多弱影響冗余特征。

3.6 多層次池化結(jié)果比較

為了研究MSPP層數(shù)對本文方法的影響，保持其他參數(shù)不變。設(shè)置MSPP層的數(shù)量分別為1層、2層、3層和4層。當(dāng)MSPP層為1層時，設(shè)置局部空間塊為1×1，即得到1個塊。當(dāng)MSPP層為2層時，第1層塊數(shù)保持不變，設(shè)置第2層局部空間塊為2×2，即第2層得到4個塊。當(dāng)MSPP層為3層時，第1～2層塊數(shù)保持不變，設(shè)置第3層局部空間塊為3×3，即得到9個塊。當(dāng)MSPP層為4層時，第1～3層塊數(shù)保持不變，設(shè)置第4層局部空間塊為4×4，即得到16個塊，結(jié)果如圖7所示。

圖7 多層次池化結(jié)果比較

可以看出，隨著訓(xùn)練次數(shù)的增加，當(dāng)金字塔層數(shù)為4層時分類精確度最高；金字塔為3層時的精度與4層很接近；但是金字塔層數(shù)為1時，精度明顯降低，最高只有89.61%。由此證明，金字塔層數(shù)對提高模型精確度有著至關(guān)重要的影響。

4 結(jié) 語

本文提出了一種基于同步深度監(jiān)督的多尺度肺結(jié)節(jié)分類方法，該方法改進了經(jīng)典的AlexNet模型使其更適用于醫(yī)學(xué)圖像分類，融合了同步深度監(jiān)督策略，解決了梯度消失現(xiàn)象，減少了過擬合；應(yīng)用SPP策略，解決了不同尺度圖像不能輸入同一模型進行訓(xùn)練的難題，實現(xiàn)了多尺度肺結(jié)節(jié)ROI圖像端到端的分類診斷，提高了肺結(jié)節(jié)分類精度。通過實驗證明，本文方法優(yōu)于當(dāng)前幾種比較流行的深度分類方法以及傳統(tǒng)分類算法。在下一步工作中，嘗試在3D-CNN模型中融入同步深度監(jiān)督策略，從而實現(xiàn)更精確的肺結(jié)節(jié)惡性度分類。