王衛(wèi)兵 王卓 徐倩 孫宏

摘 要：為提高不易分割診斷的毛玻璃結(jié)節(jié)的分類準(zhǔn)確率，同時針對VGG16網(wǎng)絡(luò)結(jié)構(gòu)卷積層數(shù)深，參數(shù)多的問題，提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)用于肺結(jié)節(jié)分類。對VGG16網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，提出的模型在肺結(jié)節(jié)公開數(shù)據(jù)集LIDC-IDRI上進(jìn)行訓(xùn)練和測試。結(jié)果表明，采用灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)相結(jié)合的方法圖像分類精度最高，準(zhǔn)確率為91.7%，其他評價指標(biāo)包括敏感性和特異性也略有提高，優(yōu)于現(xiàn)有方法。

關(guān)鍵詞：肺結(jié)節(jié);深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

DOI：10.15938/j.jhust.2021.04.012

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號：1007-2683（2021）04-0087-07

Abstract：In order to improve the classification accuracy of ground glass nodules that are difficult to segment and diagnose and at the same time， the VGG16 network structure has deep convolutional layers and many parameters， A 3D deep convolutional neural network based on intensity， texture， and shape-enhanced images for pulmonary nodule recognition was proposed. The VGG16 network structure was optimized， and the proposed model was trained and tested on the public nodule dataset of lung nodules LIDC-IDRI. The results showed that the proposed method using the composition of intensity， texture and shape-enhanced has the highest image classification accuracy， with an accuracy of 91.7%. Other measures， including sensitivity and specificity， also improved slightly， It is superior to existing methods.

Keywords：pulmonary nodule;deep learning;convolutional neural network

0 引 言

國際癌癥研究機(jī)構(gòu)制定的癌癥發(fā)病率和死亡率報告顯示，肺癌是最常見的癌癥，且是死亡率較高的癌癥之一[1]。中國人口眾多，肺癌的發(fā)病率和死亡率同樣居高不下，我國男性肺癌發(fā)病率和死亡率均排名前列[2]。引起肺癌的原因除了遺傳因素外，主要與大氣污染、大量吸煙、工作壓力和精神因素有關(guān)。早期準(zhǔn)確的診斷在肺癌治療中起著重要的作用。然而，由于良性和惡性肺結(jié)節(jié)之間的細(xì)微差別，即使對于醫(yī)學(xué)專家來說，肺癌診斷也是一項艱巨的任務(wù)。此外，放射診斷的準(zhǔn)確性也各不相同，在很大程度上取決于臨床醫(yī)生的主觀經(jīng)驗。計算機(jī)輔助診斷（computer aided diagnosis，CAD）是指通過醫(yī)學(xué)圖像處理技術(shù)以及其他可能的生理、生化手段，結(jié)合計算機(jī)的分析計算，輔助發(fā)現(xiàn)病灶，可以有效降低誤診概率和提高診斷準(zhǔn)確率。因此，為了降低醫(yī)生的誤診概率以及減少醫(yī)生的工作壓力，需要發(fā)展計算機(jī)輔助診斷系統(tǒng)，以幫助醫(yī)生對肺結(jié)節(jié)檢測作出正確診斷，進(jìn)行針對性治療，提高治愈幾率具有重要意義。

近年來，深度學(xué)習(xí)在計算機(jī)視覺、自然語言處理、音頻識別等領(lǐng)域取得突破性進(jìn)展。卷積神經(jīng)網(wǎng)絡(luò)是一種深度的監(jiān)督學(xué)習(xí)下的神經(jīng)網(wǎng)絡(luò)，局部感知和共享權(quán)值的獨特結(jié)構(gòu)使CNN在圖像識別和處理領(lǐng)域具有獨特的優(yōu)勢。局部感知使圖像的局部空間像素聯(lián)系的更加緊密，共享權(quán)值則減少了網(wǎng)絡(luò)訓(xùn)練參數(shù)的個數(shù)，降低了計算的復(fù)雜程度[3]。與舊的傳統(tǒng)框架相比，深度學(xué)習(xí)具有多種優(yōu)勢。首先，深度學(xué)習(xí)可以直接從訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)特征，特征提取過程大大簡化，相對簡單的端到端訓(xùn)練過程，以及更容易對系統(tǒng)性能進(jìn)行調(diào)整。Bengio[4]系統(tǒng)地介紹了深度學(xué)習(xí)所包含的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)方法。卷積神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享及池化操作等特性使之可以有效地降低網(wǎng)絡(luò)的復(fù)雜度，減少訓(xùn)練參數(shù)的數(shù)量[5]。在圖像處理方面，Long等[6]構(gòu)建端到端全卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)接收任意大小的輸入并通過有效的學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。且后續(xù)提出的深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）在目前最大的圖像識別數(shù)據(jù)庫ImageNet上取得了超出之前最先進(jìn)成果要好得多的成績[7]。2018年，Unar等[8]提出一種通過利用圖像的視覺和文本特征來檢索相似文本圖像的新方法。第一步提取視覺特征，然后在下一步中檢測和識別文本，基于內(nèi)核的方法將視覺和文本信息融合。隨后，2019年，Unar等[9]提出結(jié)合視覺和文本特征來檢索分類相似的圖像的CBIR方法，支持三種檢索模式：圖像查詢、關(guān)鍵字以及二者的組合。在4個數(shù)據(jù)集上的實驗結(jié)果表明了所提出的視覺和文本圖像方法的效率和準(zhǔn)確性。

當(dāng)前針對肺結(jié)節(jié)的分類方法大致分為兩類。一是基于傳統(tǒng)的機(jī)器學(xué)習(xí)算法的肺結(jié)節(jié)分類，即通過人工提取特征，使用隨機(jī)森林、直方圖特征、支持向量機(jī)（support vector machine，SVM）等分類器完成分類。Messay T等[10]提出一種新的CAD系統(tǒng)用于肺結(jié)節(jié)檢測，通過放射科醫(yī)師對肺結(jié)節(jié)公開數(shù)據(jù)集（the lung image database consortium and image database resource initiative database，LIDC-IDRI）的84幅CT影像進(jìn)行手動分割，使用LIDC-IDRI數(shù)據(jù)集進(jìn)行7倍交叉驗證性能，分析顯示CAD靈敏度為82.66%。Jacobs C等[11]對所提出的CAD系統(tǒng)進(jìn)行性能優(yōu)化，由經(jīng)驗豐富的放射科醫(yī)師對CAD系統(tǒng)的輸出進(jìn)行回顧性分析，所提出的系統(tǒng)達(dá)到80%的靈敏度，表明CAD系統(tǒng)能夠找到篩選數(shù)據(jù)庫中未包含的亞實性結(jié)節(jié)。以上方法雖取得良好的實驗結(jié)果，但需要專業(yè)人員的專業(yè)知識，且提取特征所需的人力需求高，耗時費力，需要復(fù)雜的檢測過程。二是基于深度學(xué)習(xí)的肺結(jié)節(jié)分類，該方法由網(wǎng)絡(luò)模型自己學(xué)習(xí)特征。Shen等[12]提出一種新的卷積神經(jīng)網(wǎng)絡(luò)MC-CNN模型對肺結(jié)節(jié)的惡性程度進(jìn)行分類，所提出的方法不依賴于結(jié)節(jié)分割。Sun等[13]設(shè)計并實現(xiàn)了三種多通道提取ROI（region of interest， ROI）的深度結(jié)構(gòu)化算法，性能顯著高于傳統(tǒng)計算機(jī)輔助診斷系統(tǒng)。Setio等[14]提出一種多視圖卷積神經(jīng)網(wǎng)絡(luò)，在公開的LIDC-IDRI數(shù)據(jù)集的888次掃描中，該方法在每次掃描達(dá)到90.1%的高檢測靈敏度。Li等[15]提出一種卷積神經(jīng)網(wǎng)絡(luò)（E-CNNs）集成框架，省去了分割過程，避免了傳統(tǒng)檢測方法中的肺結(jié)節(jié)丟失，并利用該框架顯著降低了假陽性。Zhou等[16]提出一種用于醫(yī)學(xué)圖像分割的網(wǎng)絡(luò)結(jié)構(gòu)UNet++，將UNet++與多個醫(yī)學(xué)圖像分割結(jié)構(gòu)進(jìn)行了比較，取得更好的效果。劉露等[17]將深度置信網(wǎng)絡(luò)（deep belief network， DBN） 用于肺結(jié)節(jié)良惡性分類任務(wù)當(dāng)中，將新提出的DBN模型與基于紋理特征和多分辨率直方圖特征的SVM模型進(jìn)行對比，在不考慮醫(yī)學(xué)特征的情況下，DBN模型的識別準(zhǔn)確率高達(dá)86%。Xie等[18]通過反向傳播神經(jīng)網(wǎng)絡(luò)和AdaBoost構(gòu)建集成分類器，融合3個整體分類器的決策，分別對3個特征進(jìn)行訓(xùn)練，在LIDC-IDRI數(shù)據(jù)集上性能優(yōu)異。Gu等[19]提出了一種3D檢測深卷積神經(jīng)網(wǎng)絡(luò)與多尺度預(yù)測策略相結(jié)合的方法，包括多尺度立方體預(yù)測和立方體聚類，以檢測肺結(jié)節(jié)。

以上關(guān)于肺結(jié)節(jié)的分類研究已經(jīng)取得了較好的成果，然而，對于肺部結(jié)節(jié)中的微小結(jié)節(jié)仍然存在特征提取難，診斷難的問題，如毛玻璃結(jié)節(jié)，因此對于毛玻璃結(jié)節(jié)的分類非常重要。

針對以上問題，主要介紹3個貢獻(xiàn)來提高毛玻璃結(jié)節(jié)分類準(zhǔn)確率的問題。首先，本文提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)，以經(jīng)典的VGG16網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，構(gòu)建適用于毛玻璃結(jié)節(jié)分類的網(wǎng)絡(luò)結(jié)構(gòu)，對LIDC-IDRI數(shù)據(jù)集進(jìn)行預(yù)處理，對數(shù)據(jù)集進(jìn)行分割得到肺實質(zhì)圖像，將數(shù)據(jù)歸一化并對數(shù)據(jù)進(jìn)行增強(qiáng)操作，完成特征提取;并引入一種從結(jié)節(jié)中提取任意數(shù)量視圖的方法，在目標(biāo)域數(shù)據(jù)集訓(xùn)練分類器，將特征提取的輸出作為分類器的輸入，對模型進(jìn)行微調(diào)，通過無監(jiān)督學(xué)習(xí)方法從數(shù)據(jù)集中學(xué)習(xí)特征。并在LIDC-IDRI數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試，得到分類結(jié)果;此外，為了比較深度學(xué)習(xí)架構(gòu)與經(jīng)典分類器分類方法的性能，訓(xùn)練了K最近鄰（k-nearest neighbor， KNN），隨機(jī)森林（random forest， RF）和支持向量機(jī)（SVM）分類器，與本文所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)相結(jié)合的三維深度卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對比。實驗結(jié)果表明，所提方法針對毛玻璃結(jié)節(jié)具有最高的分類準(zhǔn)確率，其他評價指標(biāo)也有小幅度提高，具有最好的分類性能。

1 肺結(jié)節(jié)分類

1.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)集為LIDC-IDRI，LIDC-IDRI為美國癌癥研究所公開數(shù)據(jù)集[20]。LIDC-IDRI數(shù)據(jù)集包含1018個研究實例，每個實例包含臨床肺部CT圖像和相關(guān)的XML文件，其中每個圖像包含一個或多個肺結(jié)節(jié)。對于每個實例中的圖像，都由4位經(jīng)驗豐富的放射科醫(yī)師進(jìn)行兩階段的診斷標(biāo)注。

CT圖像的亮度值是Hu（Hounsfield unit單位），CT圖像的Hu值反映組織對X射線吸收值（衰減系數(shù)u），參考肺窗設(shè)定值，在0到255的范圍內(nèi)執(zhí)行數(shù)據(jù)之間的數(shù)據(jù)歸一化，使得肺結(jié)節(jié)在CT圖像上可見。

1.2 數(shù)據(jù)預(yù)處理

基于數(shù)據(jù)集提供的位置坐標(biāo)，以二維的候選結(jié)節(jié)的像素中心為質(zhì)心，提取固定尺寸的結(jié)節(jié)三維塊作為分類網(wǎng)絡(luò)訓(xùn)練集數(shù)據(jù)。

為了解決數(shù)據(jù)之間的不平衡和過擬合問題，執(zhí)行數(shù)據(jù)增強(qiáng)操作，陽性樣本圍繞X、Y和Z軸為標(biāo)準(zhǔn)，隨機(jī)旋轉(zhuǎn)，增加數(shù)量，直到其為樣本數(shù)量的100倍，并且將陰性樣本也隨機(jī)旋轉(zhuǎn)為樣本數(shù)量的100倍，對其進(jìn)行隨機(jī)采樣，以解決可能因數(shù)據(jù)不對稱導(dǎo)致的模型過擬合問題。向圖像中的RGB通道添加隨機(jī)擾動（噪聲）。常用的噪聲是高斯噪聲和椒鹽噪聲。添加噪聲的圖像如圖1所示。

在該研究中，從CT圖像中手動提取感興趣區(qū)域（ROI），重新訓(xùn)練CNN模型。從具有多個卷積層和池化層的深度卷積網(wǎng)絡(luò)中獲取固定大小的feature maps，使用可以反映毛玻璃結(jié)節(jié)特征的ROI作為輸入圖像。對于卷積神經(jīng)網(wǎng)絡(luò)分類所需的圖像特征，使用全局圖像特征提取。例如清晰度、顏色直方圖和亮度直方圖。對于一般的圖像分類，可以通過分析圖像的二維信息獲取所需的特征。然而，在CT圖像中檢測病變部位，病變部位的形狀特征是多樣的，因此圖像的空間特征非常重要。本研究中，對于圖像中R、G和B 3個通道中的每個通道，通過將結(jié)節(jié)候選者的軸向、冠狀和矢狀圖像分配到紅色、綠色和藍(lán)色通道，生成偽彩色圖像。因為圖像數(shù)據(jù)含有空間的信息，所以通過DCNN以學(xué)習(xí)更多特征，減少假陽性的判斷。提取ROI圖像的示例如圖2所示。

初始分割采用的算法是Fast Marching，分割肺實質(zhì)，對結(jié)節(jié)進(jìn)行檢測，并對其分別進(jìn)行灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)，突出毛玻璃結(jié)節(jié)邊緣特征。

在圖像分割步驟之后，找到圖像中毛玻璃結(jié)節(jié)的坐標(biāo)。使用OpenCv連通域處理函數(shù)connectedComponentsWithStats（）。此函數(shù)返回連通域圖和相應(yīng)連通域重心坐標(biāo)。獲取假陽性結(jié)節(jié)，以提高分類準(zhǔn)確率。

將分好的數(shù)據(jù)集進(jìn)行預(yù)處理，采用python的pillow庫中crop操作，設(shè)定固定的裁剪區(qū)域?qū)⑺袌D像的尺寸都裁剪為224×224。為了減少圖像的方向依賴性，通過對所有CT圖像使用線性插值法，使z軸方向上的間隔與x和y軸方向上的間隔一致。對數(shù)據(jù)進(jìn)行預(yù)處理，將數(shù)據(jù)歸一化。數(shù)據(jù)歸一化采用組歸一化方式，對數(shù)據(jù)沿通道進(jìn)行歸一化。按照每連續(xù)3張圖像來建立一個子文件夾，將連續(xù)的3張224×224圖像作為VGG網(wǎng)絡(luò)的輸入。將二維圖像依次疊加，轉(zhuǎn)換為224×224×3三維圖像。

1.3 模型設(shè)計

現(xiàn)有的肺結(jié)節(jié)分類方法，只利用一個網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，存在一定的局限性。且提取的毛玻璃結(jié)節(jié)邊緣的紋理特征對于區(qū)分惡性結(jié)節(jié)和良性結(jié)節(jié)及正確分類至關(guān)重要。為了提取毛玻璃結(jié)節(jié)的特征，需要將多分辨率影像作為信道信息使用，或?qū)⑤斎胗跋竦牟糠謪^(qū)域作為特征圖使用。因此提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)，將獲得的特征圖在內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行集成和訓(xùn)練。本文以經(jīng)典的VGG16網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，設(shè)計適用于毛玻璃結(jié)節(jié)分類的模型。

VGG16探索了卷積神經(jīng)網(wǎng)絡(luò)的深度與其性能之間的關(guān)系，通過反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層，錯誤率大幅下降[21]。VGG16通過約100萬張自然圖像進(jìn)行訓(xùn)練學(xué)習(xí)，由13層卷積層和池化層組成的特征提取結(jié)構(gòu)，從輸入圖像中提取4 096維的特征向量。

通過對灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的結(jié)節(jié)信息和去除血管和胸壁的信息相結(jié)合，作為所構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的輸入圖像。輸入層用于數(shù)據(jù)輸入，所包含的神經(jīng)元個數(shù)等于特征向量的維數(shù)。輸入層是數(shù)據(jù)進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)的第一層，在該層進(jìn)行數(shù)據(jù)的均值化、歸一化、降維和白化。將不同形式、不同規(guī)則的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，以便于準(zhǔn)確抽取特征和構(gòu)建評價。每個輸入圖像使用軸向、冠狀和矢狀平面來反應(yīng)三維空間信息，以便最能反映毛玻璃結(jié)節(jié)的特征。

各輸入圖像通過13個卷積層（convolution layer）和3個全連接層（fully-connected layer）組成的整合模塊。卷積層執(zhí)行卷積運算，并生成特征圖。優(yōu)化的適用于肺結(jié)節(jié)分類的VGG16的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。池化層采用最大池化（max-pooling）操作，通過使用max-pooling可以提高計算效率，max-pooling通過選擇鄰域的最大值來總結(jié)輸出神經(jīng)元[22]。輸出層對輸入圖像進(jìn)行分類所采用的方法為Softmax回歸。在卷積層激活函數(shù)采用線性整流函數(shù)ReLU，加快網(wǎng)絡(luò)收斂速度，減少消耗的計算資源和訓(xùn)練時間[23]。

對卷積層的前16層未做改動，將第17層卷積塊替換成3個分開的卷積塊，分開的卷積塊最后再結(jié)合，得到所需的特征圖。優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)17層參數(shù)數(shù)量總數(shù)704 512，相較于原始的VGG16網(wǎng)絡(luò)結(jié)構(gòu)第17層參數(shù)數(shù)量2 359 296明顯減少。且提出的優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)每個卷積塊之后都可以增加一個ReLU激活函數(shù)，可以學(xué)習(xí)到更多特征，魯棒性更強(qiáng)。

Keras和TensorFlow是深度學(xué)習(xí)的框架，允許使用圖形進(jìn)行各種數(shù)值計算并且支持GPU運算。本研究基于Keras和TensorFlow完成實驗，Keras作為前端，TensorFlow作為后端。在這項工作中防止卷積神經(jīng)網(wǎng)絡(luò)過擬合的方法是Dropout方法。Dropout在每次訓(xùn)練的時候，通過在每個訓(xùn)練中隨機(jī)省略一半特征檢測器[24]。這樣做是為了減少每次迭代中具有不同連接的網(wǎng)絡(luò)訓(xùn)練節(jié)點之間的相互依賴性，防止過擬合。新的權(quán)重值可以通過反向傳播算法使用兩個概率和標(biāo)注數(shù)據(jù)0或1來更新。當(dāng)精度達(dá)到預(yù)定值或收斂條件時，終止訓(xùn)練過程。然后，使用常規(guī)的反向傳播算法進(jìn)行監(jiān)督訓(xùn)練，以對整個網(wǎng)絡(luò)進(jìn)行微調(diào)。通過構(gòu)建的VGG16的網(wǎng)絡(luò)體系結(jié)構(gòu)和數(shù)據(jù)預(yù)處理，實現(xiàn)特征提取和選擇。最后，使用訓(xùn)練模型對測試數(shù)據(jù)進(jìn)行評估分析。

1.4 實驗與分析

評價標(biāo)準(zhǔn)采用肺結(jié)節(jié)分類方法常用的敏感性、特異性、準(zhǔn)確性、受試者工作特征（receiver operating characteristic， ROC）曲線作為評價標(biāo)準(zhǔn)。為了評估毛玻璃結(jié)節(jié)的分類性能，分類準(zhǔn)確性、敏感性和特異性方程由以下等式表示。

式中：TP為毛玻璃結(jié)節(jié)正確分類個數(shù);TN為非毛玻璃結(jié)節(jié)正確分類的個數(shù);FP為毛玻璃結(jié)節(jié)錯誤分類個數(shù);FN為非毛玻璃結(jié)節(jié)錯誤分類的個數(shù)。

對于所提方法進(jìn)行實驗，訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集以4：1的比例隨機(jī)組成，圖像的尺寸裁剪為224×224，切片間隔為1 mm。定義的兩個數(shù)據(jù)集之間沒有患者或結(jié)節(jié)的任何重疊，并基于相同比例分布兩組中的結(jié)節(jié)類型。

使用隨機(jī)梯度下降法進(jìn)行學(xué)習(xí)，最大限度地減少交叉熵的分類損失。學(xué)習(xí)率：0.001，批尺寸：20。使用加權(quán)交叉熵作為損失函數(shù)。LIDC-IDRI數(shù)據(jù)集使用5折交叉驗證進(jìn)行評估，4個子集用于訓(xùn)練/驗證，1個用于測試。提出的網(wǎng)絡(luò)結(jié)構(gòu)使用Adadelta優(yōu)化器進(jìn)行訓(xùn)練，在公開的LIDC-IDRI數(shù)據(jù)集上預(yù)訓(xùn)練。從頭開始訓(xùn)練最大迭代次數(shù)設(shè)置為150。

采用MATLAB 2016中的現(xiàn)成KNN和RF算法。當(dāng)決策樹數(shù)目設(shè)置為100時，該算法取得了較好的效果。采用深度學(xué)習(xí)工具M(jìn)atconvnet，該工具是由Vedaldi A等人為MATLAB設(shè)計的[25]。

為了比較輸入圖像對毛玻璃結(jié)節(jié)分類結(jié)果的影響，分別構(gòu)建基于原始圖像作為輸入圖像的實驗方法、基于灰度增強(qiáng)作為輸入圖像的實驗方法、基于紋理和形狀濾波增強(qiáng)作為輸入圖像的方法，前三種方法采用單輸入圖像，另構(gòu)建本文所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的多輸入圖像實驗方法。表1給出了采用不同實驗方法的肺結(jié)節(jié)分類的性能。

基于原始圖像作為輸入圖像的實驗方法和基于灰度增強(qiáng)作為輸入圖像的實驗方法的分類準(zhǔn)確率分別為68.3%和74.3%?；诩y理和形狀濾波增強(qiáng)作為輸入圖像的方法的準(zhǔn)確率為82.8%，在單輸入圖像中分類性能最好，但毛玻璃結(jié)節(jié)的分類準(zhǔn)確率仍不高。本文所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的多輸入圖像實驗方法準(zhǔn)確率為91.7%，敏感性為85.3%，特異性為88.5%。敏感性和特異性也均有提高，在所有方法中顯示出了最好的分類性能。

通過優(yōu)化VGG16網(wǎng)絡(luò)結(jié)構(gòu)，減少模型參數(shù)，加快網(wǎng)絡(luò)收斂速度，減少了模型的過擬合問題。同時，對于本文所提出的方法，研究比較了與三種傳統(tǒng)分類器的分類性能，包括K最近鄰（KNN），隨機(jī)森林（RF）和支持向量機(jī)（SVM），其中SVM具有最佳性能。表2給出了3種分類器對毛玻璃結(jié)節(jié)的分類性能。

由表2可知，SVM具有最好的分類性能，其準(zhǔn)確率、敏感性、特異性分別為90.7%、83.3%、85.5%，在3種分類器中性能最佳，但3種評價指標(biāo)均低于本文提出的方法。

此外，采用ROC曲線來檢驗分類性能，ROC曲線如圖4所示。ROC曲線圖是反映敏感性與特異性之間關(guān)系的曲線。曲線下部分的面積被稱為AUC（area under curve），用來表示預(yù)測準(zhǔn)確性，AUC值越高，曲線下方面積越大，說明預(yù)測準(zhǔn)確率越高。

由圖4可知，本文所提方法對毛玻璃結(jié)節(jié)分類效果良好，且相比于傳統(tǒng)分類器的分類性能更好。

最后，將本文所提方法與同使用LIDC-IDRI數(shù)據(jù)集的肺結(jié)節(jié)分類方法進(jìn)行比較，驗證方法同使用5折交叉驗證，其準(zhǔn)確率、敏感性和特異性對比如表3所示。

由表3可知，其他三種方法的準(zhǔn)確率和敏感性皆低于本文提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)用于肺結(jié)節(jié)（毛玻璃結(jié)節(jié)）分類方法。本文所提方法可有效提高毛玻璃結(jié)節(jié)分類性能。特異性高意味著誤診率低，本文所提方法在特異性上略低于文[12]和文[18]，但相比于準(zhǔn)確率和敏感性的提高是可以接受的。出現(xiàn)這種情況可能是因為數(shù)據(jù)分割及標(biāo)注過程出現(xiàn)的誤差所致，說明本文方法倚賴于良好的結(jié)節(jié)分割，這也是后續(xù)研究需要重點克服的困難。

2 結(jié) 論

本文研究了基于三維卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)分類，創(chuàng)新的提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的方法，并對VGG16網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。與原始圖像、僅使用灰度增強(qiáng)和使用紋理和形狀濾波增強(qiáng)的方法相比，結(jié)果表明所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)分類方法可以更好地從三維圖像中提取毛玻璃結(jié)節(jié)特征，并有效地將其特征用于識別分類結(jié)節(jié)，優(yōu)于當(dāng)前幾種傳統(tǒng)分類器算法。

本文的不足是該方法在很大程度上依賴于良好的結(jié)節(jié)分割。一旦對肺結(jié)節(jié)區(qū)域的描述不正確，該方法可能性能有所下降。論文對圖像ROI的提取采用的是基于人工的方法，部分實驗研究工作量較大。因此下一步是解決ROI的自動提取問題和對三維網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步優(yōu)化，加深網(wǎng)絡(luò)層，提取高維特征，提高分類性能。

早期的肺結(jié)節(jié)檢測對于發(fā)現(xiàn)肺部病變以提高患者治療幾率并增加生存率非常重要，因此肺結(jié)節(jié)檢測分類具有重要意義。此外，理論上本文提出的方法可以通過遷移學(xué)習(xí)，應(yīng)用到其他醫(yī)學(xué)影像或者更多領(lǐng)域的數(shù)據(jù)集之中。

參 考 文 獻(xiàn)：

[1] BRAY F，F(xiàn)ERLAY J， SOERJOMATARAM I， et al. Global Cancer Statistics 2018：GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries[J].CA：a Cancer Journal for Clinicians，2018， 68（6）：394.

[2] CHEN W， ZHENG R， BAADE P D， et al. Cancer Statistics in China， 2015[J].CA：a Cancer Journal for Clinicians，2016， 66（2）：115.

[3] 李蘭英，孔銀，陳德運.一種新的卷積神經(jīng)網(wǎng)絡(luò)的ECT圖像重建算法[J].哈爾濱理工大學(xué)學(xué)報，2017，22（4）：28.

LI Lanying，KONG Yin，CHEN Deyun. A New ECT Image R Econstruction Algorithm Based on Convolutional Neural Network[J]. Journal Of Harbin University of Science and Technology，2017，22（4）：28.

[4] BENGIO Y. Learning Deep Architectures for AI[J]. Foundations and Trends in Machine Learning，2009， 2（1）：1.

[5] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)學(xué)報，2017，40（6）：1229.

ZHOU F Y， JIN L P， DONG J. Review of convolutional neural network [J]. Chinese Journal of Computers. 2017， 40（6）：1229.

[6] LONG J， SHELHAMER E， DARRELL T. Fully Convolutional Networks for Semantic Segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：3431.

[7] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks[C]//Advances in Neural Information Processing Systems，2012：1097.

[8] UNAR S， WANG X， ZHANG C. Visual and Textual Information Fusion Using Kernel Method for Content Based Image Retrieval[J]. Information Fusion，2018，44：176.

[9] UNAR S， WANG X， WANG C， et al. A Decisive Content Based Image Retrieval Approach for Feature Fusion in Visual and Textual Images[J]. Knowledge-Based Systems，2019，179：8.

[10] MESSAY T， HARDIE R C， ROGERS S K. A New Computationally Efficient CAD System for Pulmonary Nodule Detection in CT Imagery[J]. Medical image analysis，2010，14（3）：390.

[11] JACOBS C， van RIKXOORT E M， TWELLMANN T，et al. Automatic Detection of Subsolid Pulmonary Nodules in Thoracic Computed Tomography Images[J]. Medical Image Analysis， 2014， 18（2）：374.

[12] SHEN W， ZHOU M， YANG F， et al. Multi-crop Convolutional Neural Networks for Lung Nodule Malignancy Suspiciousness Classification[J].Pattern Recognition，2017，61：663.

[13] SUN W， ZHENG B， QIAN W. Automatic Feature Learning Using Multichannel ROI Based on Deep Structured Algorithms for Computerized Lung Cancer Diagnosis[J]. Computers in Biology and Medicine， 2017， 89：530.

[14] SETIO A A A， CIOMPI F， LITJENS G，et al. Pulmonary Nodule Detection in CT Images：False Positive Reduction Using Multi-view Convolutional Networks[J]. IEEE Transactions on Medical Imaging，2016， 35（5）：1160.

[15] LI C， ZHU G， WU X， et al. False-positive Reduction on Lung Nodules Detection in Chest Radiographs by Ensemble of Convolutional Neural Networks[J]. IEEE Access， 2018， 6：16060.

[16] ZHOU Z， SIDDIQUEE M M R， TAJBAKHSH N， et al. Unet++：A Nested U-net Architecture for Medical Image Segmentation[M]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer， Cham， 2018：3.

[17] 劉露，楊培亮，孫巍巍，等.深度置信網(wǎng)絡(luò)對孤立性肺結(jié)節(jié)良惡性的分類[J].哈爾濱理工大學(xué)學(xué)報，2018，23（3）：9.

LIU Lu，YANG PeiIiang，SUN Reiuwei，et al. DBN Classifier for Classification of Benign and Malignant Solitary Pulmonary Nodule[J]. Journal Of Harbin University of Science and Technology，2018，23（3）：9.

[18] XIE Y， ZHANG J， XIA Y， et al. Fusing Texture， Shape and Deep Model-learned Information at Decision Level for Automated Classification of Lung Nodules on Chest CT[J]. Information Fusion， 2018，42：102.

[19] GU Y， LU X， YANG L， et al. Automatic Lung Nodule Detection Using a 3D Deep Convolutional Neural Network Combined with A Multi-scale Prediction Strategy in Chest CTs[J]. Computers in Biology and Medicine， 2018，103：220.

[20] JACOBS C， van RIKXOORT E M， MURPHY K， et al. Computer-aided Detection of Pulmonary Nodules：A Comparative Study Using the Public LIDC/IDRI Database[J]. European Radiology， 2016， 26（7）：2139.

[21] SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-scale Image Recognition[J]. arXiv Preprint arXiv：1409.1556， 2014.

[22] GONG Y， WANG L， GUO R， et al. Multi-scale Orderless Pooling of Deep Convolutional Activation Features[C]//European Conference on Computer Vision. Springer， Cham， 2014：392.

[23] XU B， WANG N， CHEN T， et al. Empirical Evaluation of Rectified Activations in Convolutional Network[J]. arXiv Preprint arXiv：1505.00853， 2015.

[24] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving Neural Networks by Preventing Co-adaptation of Feature Detectors[J]. arXiv Preprint arXiv：1207.0580， 2012.

[25] VEDALDI A， LENC K. Matconvnet：Convolutional Neural Networks for Matlab[C]//Proceedings of the 23rd ACM International Conference on Multimedia.ACM， 2015：689.

（編輯：溫澤宇）