曹珍貫，李銳，張宗唐

基于深度學習的肺部醫(yī)療圖像識別

曹珍貫，李銳，張宗唐

（安徽理工大學 電氣與信息工程學院，安徽 淮南 232000）

肺結節(jié)作為肺癌早期診斷的重要特征，對其識別和類型判斷具有重要意義。目前使用遷移學習的識別算法存在著源數(shù)據(jù)集與目標數(shù)據(jù)集差距過大問題，對于肺結節(jié)特征提取不足，導致效果不佳。故此提出了基于卷積神經(jīng)網(wǎng)絡的改進神經(jīng)網(wǎng)絡模型。將預訓練的GooLeNet Inception V3網(wǎng)絡與設計的特征融合層結合，提高網(wǎng)絡對特征的提取能力；為確定最佳組合方式，對各組以準確率為標準進行測試。實驗在LUNA16肺結節(jié)數(shù)據(jù)集上進行。進行分組測試結果表明，改進的網(wǎng)絡準確率達88.80%，敏感度達87.15%。在識別準確率和敏感性指標上，與GooLeNet Inception V3算法相比，分別提高了2.72, 2.19個百分點。在不同數(shù)據(jù)集比例下進行實驗，同樣達到了更優(yōu)的效果，具有更好的泛化能力?？梢越o臨床診斷提供相對客觀的指標依據(jù)。

醫(yī)學圖像；深度學習；遷移學習；GooLeNet

目前，肺癌的發(fā)病率和致死率每年都在不斷增加。根據(jù)美國癌癥協(xié)會數(shù)據(jù)，每年大約14%以上的新發(fā)癌癥屬于肺癌類型。在惡性腫瘤中，肺癌以最高的發(fā)病率和死亡率居于榜首。肺結節(jié)作為與肺癌有密切關系的多器官多系統(tǒng)疾病，很有可能是肺癌的早期特征。因此，對于肺結節(jié)的檢測對診斷早期肺癌有重要參考意義[1-2]。

計算機斷層掃描（Computed Tomography，CT）作為常用在肺結節(jié)評估的成像方式，要求醫(yī)生具有專業(yè)的醫(yī)學影像知識和臨床經(jīng)驗。同時由于不同醫(yī)生的診斷也具有個體差異[3]，近些年計算機輔助診斷（Computer-Aided Diagnosis，CAD）技術作為輔助醫(yī)療工具被廣泛應用，能夠給出相對客觀的評價指標，輔助醫(yī)生做出診斷。

早期的研究方法多為使用特征提取的方法，即提取圖片中的感興趣區(qū)域（Region of Interest，ROI），從形狀、灰度、紋理等特征分析結節(jié)特性，人工提取特征方法費時費力[4]。隨著機器學習領域的快速發(fā)展，以卷積神經(jīng)網(wǎng)絡為代表的深度學習算法廣泛應用：一種是基于候選區(qū)域的兩階段檢測算法，如RCNN；另一種是基于回歸的一階段檢測算法，如YOLO[5-6]系列。Francis等[7]提出使用YOLO檢測框架來檢測CT中的結節(jié)，通過使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）來預測多個敘述框，并在LIDC-IDRI（肺影像數(shù)據(jù)庫聯(lián)盟）數(shù)據(jù)集上進行測試，敏感度為89%?，F(xiàn)階段常使用在其他數(shù)據(jù)集上訓練過的卷積網(wǎng)絡來提取目標數(shù)據(jù)集的特征，常用網(wǎng)絡包括CNN、YOLO、FCN、R-CNN[8-9]等。

目前使用的遷移學習方法可以取得較好的效果，但是源數(shù)據(jù)集與目標數(shù)據(jù)集差距過大，特征提取存在改進的空間。因此，本文設計一種改進的GooLeNet Inception V3網(wǎng)絡的深度神經(jīng)網(wǎng)絡模型來識別肺結節(jié)。

本文的主要工作在于建立特征融合層和相關參數(shù)的優(yōu)化，將目標網(wǎng)絡與建立的融合層相結合，更好地提取目標數(shù)據(jù)集的特征。

1 數(shù)據(jù)集

本文使用LUNA16數(shù)據(jù)集。作為公用肺結節(jié)數(shù)據(jù)集LIDC-IDRI[10]的子集，LUNA16包括888位病人CT圖像，分成10個子集存儲。每套圖像由mhd和raw文件組成，mhd給出圖像基本信息，raw儲存像素信息。CT圖像實例如圖1所示。

圖1 LUNA16圖像實例

2 改進的肺結節(jié)識別模型

2.1 GooLeNet網(wǎng)絡算法

2012年Szegedy等[11]提出GooLeNet網(wǎng)絡，相比AlexNet、VGG等網(wǎng)絡，GooLeNet具有更深的網(wǎng)絡結構和更少的參數(shù)量（見表1）。GooLeNet通過調(diào)整網(wǎng)絡結構（見圖2），設計Inception層，大幅降低了參數(shù)量，從而提高訓練效率。

表1 常用神經(jīng)網(wǎng)絡參數(shù)對比

圖2 GooLeNet的網(wǎng)絡結構圖

2.2 改進的RGIV3網(wǎng)絡結構設計

GooLeNet Inception V3[10,12]是在ImageNet數(shù)據(jù)集訓練得到的模型，與本文使用的LUNA16數(shù)據(jù)集差距較大，直接使用效果不佳，故設計融合層來減小兩數(shù)據(jù)集差距過大對識別的影響。通過該特征融合層對網(wǎng)絡學習的特征信息進行非線性擬合，更好地學習圖片特征。

設計的融合層由3個全連接層和一個Dropout層組成，結構如圖3所示。將該層與GooLeNet Inception V3網(wǎng)絡組合，下文中，原GooLeNet Inception V3稱為GIV3，組合后網(wǎng)絡稱為RGIV3。

根據(jù)經(jīng)驗，節(jié)點數(shù)應在1024, 512, 256, 128中選擇，隱藏率在0.4, 0.5, 0.6中選擇。為確定最佳組合方式，本文針對節(jié)點參數(shù)和隱藏率的不同組合進行實驗，共30組分別進行實驗，以準確率為選擇標準。實驗結果如表2所示。根據(jù)結果，本文選擇參數(shù)組合為1024和512，隱藏率為0.5。

圖3 改進后RGIV3結構圖

表2 節(jié)點數(shù)與隱藏率組合實驗結果

由于目標數(shù)據(jù)集樣本量較少，訓練新的模型容易出現(xiàn)過擬合，實驗中采用在ImageNet等大型數(shù)據(jù)庫訓練后的權值作為初始化依據(jù)，通過較低的學習率進行微調(diào)。

2.3 網(wǎng)絡權值更新方法

選擇隨機梯度下降（Stochastic Gradient Descent，SGD）方法更新權值，即沿學習率反方向靠近損失函數(shù)的最小值時的參數(shù)[9]。更新公式如下：

3 實驗及結果分析

3.1 數(shù)據(jù)集預處理

LUNA16的原始數(shù)據(jù)由圖像數(shù)據(jù)（.raw）和標注數(shù)據(jù)（.mhd）組成，由于神經(jīng)網(wǎng)絡無法直接讀取該格式圖像，把mhd格式圖像轉換為通用BMP格式圖像。通過轉換得到與CT切片數(shù)量相同的RGB格式圖像，每張圖片顯示了一張切片的完整圖像信息。從標注文件中可以得到結節(jié)的位置信息和性質信息，通過位置信息和切片深度可以快速定位切片及結節(jié)位置[13]。病人在進行CT檢查時，由于姿勢不同導致圖像出現(xiàn)翻轉，需要根據(jù)標注數(shù)據(jù)調(diào)整圖片使其正臥，同時修改坐標信息。

由于數(shù)據(jù)集較小，需要通過數(shù)據(jù)增強的方式擴充數(shù)據(jù)集。本文使用有監(jiān)督類的數(shù)據(jù)增強方式，對轉換的BMP格式圖像進行數(shù)據(jù)增強以擴充數(shù)據(jù)集，并通過微調(diào)學習率的方式防止過擬合。

肺實質指肺內(nèi)各支氣管及其終端的肺泡結構，即肺內(nèi)空氣接觸的腔隙和管壁。在CT影像中，指的是肺部白色輪廓的黑色部分。本文的研究目標為識別肺結節(jié)，所以僅需對肺實質部分進行分析，肺外部輪廓部分可能會給神經(jīng)網(wǎng)絡學習帶來影響，故對影像進行提取肺實質操作[14]。

如圖4為LUNA16數(shù)據(jù)集中的一張原始數(shù)據(jù)切片。經(jīng)過二值化、腐蝕膨脹等操作將肺實質與肺部輪廓分割開來如右圖，在去除輪廓后僅以肺實質進行后續(xù)處理[15]。

圖4 原圖像和處理后肺實質圖像

3.2 實驗過程

實驗在Windows 10系統(tǒng)下進行，CPU為Inter Core i5-6200U@ 2.30GHz，使用Tensorflow框架和slim微調(diào)模型，Python3.6版本。

實驗過程中訓練使用了750個病人的CT資料，測試使用了150個病人資料。共提取出肺結節(jié)圖像2000張和健康組織圖像2000張，通過數(shù)據(jù)增強的方式擴充數(shù)據(jù)集，共有肺結節(jié)圖像5000張，健康組織5000張。調(diào)整尺寸固定為330×330。分別采用80%作為訓練集，20%作為測試集；70%作為訓練集，30%作為測試集；60%作為訓練集，40%作為測試集。每組訓練至損失函數(shù)一致，分別測試并對比分析模型性能。其中80%組在slim模型上訓練了2776步，將損失函數(shù)降至0.38，準確率達88.8%，其他組別結果如表4。

實驗中，使用設計的RGIV3網(wǎng)絡在訓練集和驗證集上進行訓練，并在測試集進行驗證。為了避免陷入局部最優(yōu)，對學習率采取逐步遞減的方法。即當每迭代200次，對學習率進行調(diào)整。

3.3 實驗結果分析

根據(jù)實驗結果得到真陽性（True Positive，TP）、真陰性（True Negative，TN）、假陽性（False Positive，F(xiàn)P）和假陰性（False Negative，F(xiàn)N），并選擇了3個評價指標來評價模型性能[14-16]：準確率（Accuracy，Acc）、敏感度（Sensitivity，Sen）、特異度（Specificity，Spe），計算式如下：

準確率表現(xiàn)了預測結果與真實結果的相符程度，敏感性體現(xiàn)了模型識別肺結節(jié)的能力。特異性則是對無肺結節(jié)的圖像的識別能力。GIV3與RGIV3的訓練過程如圖5所示，根據(jù)圖5可看出，RGIV3具有更快的收斂速度，模型性能更加穩(wěn)定，同時結合準確率，改進的RGIV3模型在數(shù)據(jù)集上取得了更好的效果。

圖5 訓練過程（總體損失loss變化）

在80%作為訓練集，20%作為測試集時，各模型的效果對比如表3所示。

表3 模型效果對比 %

通過表3所示，本文改進的模型在準確率和敏感性上分別為88.80%和87.15%，相較于傳統(tǒng)的GIV模型分別提高了2.72%和2.19%。達到了較優(yōu)的識別效果。

為更全面評估改進的RGIV3模型性能，在不同訓練集與測試集的比例下進行了實驗，結果如表4所示。

表4 不同數(shù)據(jù)比例下模型效果對比 %

根據(jù)上表所示，結合訓練過程分析，改進的RGIV3相比原GIV模型存在較好的識別效果，在80%，70%，60%的數(shù)據(jù)比例下均優(yōu)于GIV3的識別效果，同時收斂速度更快，具有更好的性能。

4 結束語

本文使用一種改進的神經(jīng)網(wǎng)絡模型，對LUNA16數(shù)據(jù)集使用一部分進行肺結節(jié)的檢測。通過GIV3網(wǎng)絡與設計的特征融合層的相結合，提高了網(wǎng)絡對于特征的提取能力，在一定程度上緩解了由于源數(shù)據(jù)集與目標數(shù)據(jù)集之間差距較大，導致遷移學習的效果不佳。在對比實驗中，本文的模型相較于已有的其他模型，具有較好的識別效果。由于數(shù)據(jù)集規(guī)模較小，存在一定的過擬合情況，通過數(shù)據(jù)增強擴充數(shù)據(jù)集以及微調(diào)

學習率的方式，可以有效緩解。在后續(xù)的研究中，可將計算特征與語義特征相聯(lián)系，為肺結節(jié)給予定量評估，為醫(yī)生提供診斷依據(jù)。

[1] 楊懷金，夏克文，劉方原，等. 融合卷積神經(jīng)網(wǎng)絡和流形學習的肺結節(jié)檢測[J]. 科學技術與工程，2021, 21(01): 260-268.

[2] 葉楓，王路遙，洪衛(wèi)，等. 基于SE-CapsNet的肺結節(jié)良惡性診斷研究[J]. 中國生物醫(yī)學工程學報，2021, 40(01): 71-80.

[3] 曹蕾，黎維娟，馮前進. 基于LDA和SVM的肺結節(jié)CT圖像自動檢測與診斷[J]. 南方醫(yī)科大學學報，2011, 31(02): 324-328.

[4] 唐力. 基于肺部圖像識別的計算機輔助分類方法研究[D]. 哈爾濱：哈爾濱理工大學，2021.

[5] 王乾梁，石宏理. 基于改進YOLO V3的肺結節(jié)檢測方法[J]. 中國醫(yī)學物理學雜志，2021, 38(09): 1179-1184.

[6] 陳婧，葉曉丹. 肺結節(jié)MRI檢查的研究進展和臨床應用[J]. 中國中西醫(yī)結合影像學雜志，2021, 19(05): 506-510.

[7] FRANCIS G, KO J P. Pulmonary nodules: detection, assessment, and CAD[J]. American Journal of Roentgenology, 2008, 191(4): 1057-1069.

[8] LIU D, ZHU S, LIU B, et al. Improvement of CT target scanning quality for pulmonary nodules by PDCA management method[J]. Mathematical Problems in Engineering, 2021(6): 1-9.

[9] 孟以爽. 基于深度學習的醫(yī)療圖像識別[D]. 上海：上海交通大學，2018.

[10] 何新宇，張曉龍. 基于深度神經(jīng)網(wǎng)絡的肺炎圖像識別模型[J]. 計算機應用，2019, 39(06): 1680-1684.

[11] SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions[J]. IEEE Computer Society, 2015: 1-9．

[12] OHNO Y, NISHIO M, KOYAMA H, et al. Dynamic contrast-enhanced CT and MRI for pulmonary nodule assessment[J]. American Journal of Roentgenology, 2014, 202(3): 515-529.

[13] SOUTO M, TAHOCES P G, SUAREZ CUENCA J J, et al. Automatic detection of pulmonary nodules on computed tomography: a preliminary study[J]. Radiologia, 2008, 50(5): 387-392.

[14] ZHANG C, LI J, HUANG J, et al. Computed tomography image under convolutional neural network deep learning algorithm in pulmonary nodule detection and lung function examination[J]. Journal of healthcare engineering, 2021, 2021: 3417285.

[15] LEE C H, JWO J S. Automatic segmentation for pulmonary nodules in CT images based on multifractal analysis[J]. IET Image Processing, 2020, 14(7): 1347-1353.

[16] ITOUJI E, KONO M, ADACHI S, et al. The role of CT and MR imaging in the diagnosis of lung cancer[J]. Gan to Kagaku Ryoho Cancer & Chemotherapy, 1997, 24 Suppl 3: 353-358.

Lung medical image recognition based on deep learning

CAO Zhen-guan，LI Rui，ZHANG Zong-tang

(School of Electrical and Information Engineering, Anhui University of Science & Technology, Anhui Huainan 232000, China)

As an important feature of early diagnosis of lung cancer, pulmonary nodules are of great significance to its recognition and classification. At present, there is a large gap between the source data set and the target data set in the recognition algorithm of transfer learning, and the feature extraction of pulmonary nodules is insufficient, resulting in poor effect. This paper proposes an improved neural network model based on convolutional neural network. The pre-trained GooLeNet Inception V3 network is combined with the designed feature fusion layer to improve the network's feature extraction capability. In order to determine the best combination method, each group is tested based on accuracy. The experiment was performed on the LUNA16 dataset of pulmonary nodules. After grouping test, the accuracy and sensitivity of the improved network are 88.80% and 87.15% respectively. Compared with GooLeNet Inception V3 algorithm, the recognition accuracy and sensitivity are improved by 2.72 and 2.19 percentage points respectively. Experiments under different proportions of data sets also achieve better results and have better generalization ability. It can provide relatively objective index basis for clinical diagnosis.

medical image；deep learning；transfer learning；GooLeNet

2021-10-22

安徽省科技重大專項項目——礦山職工全過程智能健康管理關鍵技術研究及應用示范（201903a07020013）；安徽理工大學2021年研究生創(chuàng)新基金（2021CX2072）

曹珍貫（1979-），男，浙江泰州人，副教授，博士，主要從事智能控制研究，caozhenguan@163.com。

TP391.4

A

1007-984X(2022)02-0044-06