張修聰，劉 杰，張光磊

（1.北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044；2.北京航空航天大學(xué)生物醫(yī)學(xué)工程高精尖創(chuàng)新中心，北京 100191）

0 引言

肺癌是世界上發(fā)病率和死亡率上升最快的惡性腫瘤之一，對(duì)人類(lèi)生命安全構(gòu)成的威脅最大。在所有癌癥類(lèi)型中，肺癌的患病人數(shù)和死亡人數(shù)均高居首位。由于肺癌發(fā)病時(shí)間短、轉(zhuǎn)移速度快，早期診斷十分困難，絕大多數(shù)肺癌患者到了晚期才能診斷出癌癥，其五年生存率極低，僅有不到20%。當(dāng)疾病逐漸惡化或無(wú)法進(jìn)行手術(shù)治療時(shí)，患者只能依靠放療和化療等醫(yī)學(xué)手段維持生命，他們的平均存活時(shí)間不到一年。通過(guò)早期的診斷治療，肺癌患者的5年生存率大大升高，能夠達(dá)到70%以上。因此，針對(duì)肺癌的早期精準(zhǔn)檢測(cè)具有重要的臨床意義和治療價(jià)值。

肺結(jié)節(jié)（pulmonary nodule）分為良惡性兩類(lèi)，直徑小于3 cm，常無(wú)明顯癥狀。其中惡性結(jié)節(jié)占比20%左右。癌癥的風(fēng)險(xiǎn)隨結(jié)節(jié)大小呈指數(shù)增加。在計(jì)算機(jī)斷層成像（computed tomogra?phy，CT）的掃描下可以檢測(cè)肺部是否存在結(jié)節(jié)。通過(guò)CT 掃描檢測(cè)能夠及早診斷出部分早期肺癌，有效減少肺癌患者的死亡率約20%。

當(dāng)今，如何實(shí)現(xiàn)早期肺癌的精準(zhǔn)檢測(cè)是個(gè)極具挑戰(zhàn)性的醫(yī)學(xué)難題。肺癌的臨床檢查方法主要有體格檢查、影像檢查、內(nèi)鏡檢查、組織活檢等。然而，作為臨床上診斷肺結(jié)節(jié)良惡性的“金標(biāo)準(zhǔn)”，活體組織檢查相對(duì)復(fù)雜和耗時(shí)，不能對(duì)腫瘤進(jìn)行全面的整體分析。醫(yī)生可以在機(jī)器輔助診斷模式的幫助下對(duì)肺結(jié)節(jié)的良惡性進(jìn)行診斷，可以有效解決費(fèi)時(shí)費(fèi)力、診斷效率較低等問(wèn)題，其大多傳統(tǒng)的機(jī)器學(xué)習(xí)結(jié)節(jié)分類(lèi)方法不能夠?qū)崿F(xiàn)端到端的方式進(jìn)行工作，仍然需要手動(dòng)提取特征。深度神經(jīng)網(wǎng)絡(luò)作為一種最近蓬勃發(fā)展的方法，在肺結(jié)節(jié)良惡性分類(lèi)研究中具有很大的潛力，然而，所需高質(zhì)量數(shù)據(jù)的短缺明顯阻礙了其在醫(yī)學(xué)圖像識(shí)別當(dāng)中的應(yīng)用。而遷移學(xué)習(xí)由于所需數(shù)據(jù)規(guī)模較小，是解決這一問(wèn)題極具前景的一種深度學(xué)習(xí)技術(shù)。遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，可以實(shí)現(xiàn)跨領(lǐng)域任務(wù)，可以用來(lái)解決領(lǐng)域差異大、模型效率低等問(wèn)題。

因此，本研究圍繞早期肺結(jié)節(jié)的精準(zhǔn)檢測(cè)方法展開(kāi)，提出了一種基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類(lèi)的創(chuàng)新研究思路，旨在通過(guò)實(shí)現(xiàn)對(duì)肺結(jié)節(jié)良惡性的早期準(zhǔn)確判斷，為輔助醫(yī)生進(jìn)行早期肺癌的快速、準(zhǔn)確的診斷提供新的更有力的臨床篩查工具。本研究基于肺部圖像數(shù)據(jù)庫(kù)聯(lián)盟和圖像數(shù)據(jù)庫(kù)資源計(jì)劃（lung im?age database consortium and image database re?source initiative, LIDC-IDRI）開(kāi)源數(shù)據(jù)庫(kù)，通過(guò)對(duì)1010例病人的肺部CT影像數(shù)據(jù)進(jìn)行分析，構(gòu)建數(shù)據(jù)集并進(jìn)行實(shí)驗(yàn)。

1 相關(guān)研究工作

近些年來(lái)，在對(duì)肺結(jié)節(jié)良惡性分類(lèi)的研究中已有不少的研究成果，主要包括傳統(tǒng)的機(jī)器學(xué)習(xí)方法、卷積神經(jīng)網(wǎng)絡(luò)、混合模型等。

傳統(tǒng)機(jī)器學(xué)習(xí)方法的流程通常為：①圖像采集；②區(qū)域分割；③特征提??；④建立預(yù)測(cè)模型。Mizuho 等分別采用了支持向量機(jī)和梯度樹(shù)增強(qiáng)方法，并使用貝葉斯優(yōu)化，在公開(kāi)數(shù)據(jù)集上，訓(xùn)練出模型的曲線下方面積（area un?der curve，AUC）分別為0.850和0.896。Tu 等對(duì)私有數(shù)據(jù)集上的肺結(jié)節(jié)進(jìn)行三維重建，手動(dòng)提取了374個(gè)特征，采用放射學(xué)特征提取和機(jī)器學(xué)習(xí)分類(lèi)相結(jié)合的方法，最終獲得了79%的分類(lèi)準(zhǔn)確率（accuracy），同時(shí)AUC達(dá)到了0.80。

采用深度學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型的訓(xùn)練已經(jīng)成為醫(yī)學(xué)領(lǐng)域中的常見(jiàn)方法，可以無(wú)需憑借先驗(yàn)知識(shí)選取特征就能夠?qū)崿F(xiàn)端到端的檢測(cè)。Shen 等對(duì)卷積神經(jīng)網(wǎng)絡(luò)采用了多尺度采樣池化的設(shè)計(jì)，適應(yīng)了肺結(jié)節(jié)大小變化較大的特點(diǎn)，更好的提取結(jié)節(jié)特征，最終在LIDC-IDRI 數(shù)據(jù)庫(kù)上獲得了86%的分類(lèi)準(zhǔn)確率。Zhu 等建立的肺部CT 圖像智能診斷系統(tǒng)實(shí)現(xiàn)了肺結(jié)節(jié)檢測(cè)和診斷兩部分功能，他們分別設(shè)計(jì)了兩個(gè)3D 雙路徑網(wǎng)絡(luò)來(lái)進(jìn)行肺結(jié)節(jié)的檢測(cè)和分類(lèi)，并且在分類(lèi)時(shí)使用了梯度增強(qiáng)的方法，在LIDC-IDRI數(shù)據(jù)集上進(jìn)行了驗(yàn)證，結(jié)果顯示其性能超過(guò)了高水平的醫(yī)生。

此外，機(jī)器學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)的混合模型也被應(yīng)用在肺結(jié)節(jié)的分類(lèi)任務(wù)中。一些研究采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和分析，機(jī)器學(xué)習(xí)方法作為分類(lèi)預(yù)測(cè)器，也取得了不錯(cuò)的的分類(lèi)效果。Hussein 等對(duì)結(jié)節(jié)進(jìn)行三維重建，提取重建完整結(jié)節(jié)的水平面、冠狀面和矢狀面上的投影圖，最終獲得了82.4%的分類(lèi)準(zhǔn)確率。

2 數(shù)據(jù)集處理

本實(shí)驗(yàn)基于LIDC-IDRI 肺結(jié)節(jié)數(shù)據(jù)庫(kù)，由肺部CT 影像和相應(yīng)的診斷結(jié)果標(biāo)注而成，包含了從肺癌檢查中獲得的1010例病人的肺部CT影像數(shù)據(jù)和診斷信息。圖1 為CT 圖像中肺結(jié)節(jié)的示意圖。每個(gè)病例都有對(duì)應(yīng)的XML 文件來(lái)記錄結(jié)節(jié)位置等標(biāo)注信息。每個(gè)結(jié)節(jié)的良惡性程度由四位經(jīng)驗(yàn)豐富的醫(yī)生標(biāo)注的5分量表進(jìn)行評(píng)估（從1到5，惡性可能性不斷增加，其中3為不清楚或未知）。目前數(shù)據(jù)庫(kù)總大小約124 GB，其中每張CT圖像的大小均為512×512像素。

圖1 CT圖像中的肺結(jié)節(jié)

由于四位醫(yī)生的標(biāo)注是互相之間彼此獨(dú)立的，也存在針對(duì)同一張CT 圖像中的結(jié)節(jié)有不同評(píng)分的情況，因此我們將每個(gè)醫(yī)生標(biāo)注5級(jí)評(píng)分的中位數(shù)作為醫(yī)生的綜合意見(jiàn)提取出來(lái)，采用會(huì)診投票策略來(lái)獲得更加準(zhǔn)確的數(shù)據(jù)標(biāo)簽。將中位數(shù)數(shù)值小于2.5 的標(biāo)記為良性結(jié)節(jié)，數(shù)值大于3.5 的標(biāo)記為惡性結(jié)節(jié)，介于2.5和3.5 之間的標(biāo)記為未知。對(duì)于未知的結(jié)節(jié)，由于缺乏可信賴的標(biāo)簽，決定將其暫不納入訓(xùn)練集或測(cè)試集當(dāng)中。采用以上標(biāo)準(zhǔn)，共計(jì)獲得良性結(jié)節(jié)369例、惡性結(jié)節(jié)358例，CT圖像共計(jì)4161張。

3 方法

本文提出的基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類(lèi)模型，其流程主要包括：①圍繞CT圖像提取ROI 區(qū)域并生成多尺度圖像輸入。②使用預(yù)訓(xùn)練的ResNet-50卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取特征。③構(gòu)造基于遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類(lèi)模型。

3.1 多尺度圖像輸入

由于肺結(jié)節(jié)的良惡性和其在CT 影像中的直徑、輪廓、紋理和密度等密切相關(guān)，因此選擇一個(gè)固定合適的ROI 區(qū)域大小是比較重要的。如圖2 所示為數(shù)據(jù)庫(kù)中結(jié)節(jié)直徑的像素分布表示，可以看出其主要分布在0～40之間，且不同結(jié)節(jié)之間差異較大。

圖2 結(jié)節(jié)直徑分布統(tǒng)計(jì)圖

為了滿足模型輸入的要求，我們將得到的不同采樣大小的圖像進(jìn)行差值放大，進(jìn)而合成為一張RGB三通道圖像作為網(wǎng)絡(luò)模型的新輸入。如圖3所示，根據(jù)對(duì)LIDC-IDRI數(shù)據(jù)集中各個(gè)結(jié)節(jié)直徑分布的統(tǒng)計(jì)，選擇了三種不同的ROI 區(qū)域獲取方式。分別在圍繞結(jié)節(jié)的中心選取邊長(zhǎng)像素大小為32×32 像素，64×64 像素，96×96 像素的正方形區(qū)域。其中，當(dāng)ROI 區(qū)域較小時(shí)，能夠囊括大部分的結(jié)節(jié)，還能得到穩(wěn)定的信噪比，保留結(jié)節(jié)的紋理、分葉等內(nèi)部信息；當(dāng)ROI 區(qū)域?yàn)橹械却笮r(shí)，大概能夠囊括所有的結(jié)節(jié)，保留一定的邊緣信息；當(dāng)ROI 區(qū)域較大時(shí)，能夠囊括所有包含有結(jié)節(jié)的外部區(qū)域，保留一定的周邊環(huán)境以及與血管等的距離信息。

圖3 ROI區(qū)域采樣合成

提取ROI 區(qū)域之后，將不同像素的正方形圖像通過(guò)三次插值的方法放大到適應(yīng)源遷移網(wǎng)絡(luò)輸入的標(biāo)準(zhǔn)大小。最后，合成獲得一張三通道RGB圖像。

3.2 基于ResNet-50的特征提取

本研究所遷移的源網(wǎng)絡(luò)為深度殘差網(wǎng)絡(luò)（deep residual network，ResNet），采用了短路連接網(wǎng)絡(luò)結(jié)構(gòu)，如圖4所示。

圖4 殘差網(wǎng)絡(luò)的基本構(gòu)成［14］

圖中展示了構(gòu)成ResNet 網(wǎng)絡(luò)的核心模塊，weight layer 代表了網(wǎng)絡(luò)中卷積層等特征提取層；Relu為網(wǎng)絡(luò)采用的激活函數(shù)；和（）是輸入該塊的特征和經(jīng)過(guò)兩層運(yùn)算后獲得的特征。該塊的設(shè)計(jì)核心在于右側(cè)的短接結(jié)構(gòu)，使得輸入網(wǎng)絡(luò)前的特征和運(yùn)算后的特征（）同時(shí)保留。保證了在經(jīng)過(guò)該網(wǎng)絡(luò)塊運(yùn)算后，至少不會(huì)損失已有的特征提取結(jié)果，避免了退化問(wèn)題。

3.3 基于遷移學(xué)習(xí)構(gòu)造模型

本文采用遷移學(xué)習(xí)的方法，將在ImageNet上表現(xiàn)良好的深度網(wǎng)絡(luò)模型遷移到我們的目標(biāo)領(lǐng)域，用以解決肺結(jié)節(jié)領(lǐng)域數(shù)據(jù)不足的問(wèn)題。如圖5所示，在該模型的構(gòu)造過(guò)程中，我們遷移了ResNet-50的網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)，為了使之能夠更加適應(yīng)良惡性分類(lèi)問(wèn)題，我們對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)添加了三個(gè)全連接層，其中含有的神經(jīng)元數(shù)量分別為1024、512和2，輸出結(jié)果為良性或惡性。全連接層使用Relu 激活功能，為網(wǎng)絡(luò)增加了非線性成分，從而使模型訓(xùn)練的結(jié)果更加穩(wěn)定。

圖5 遷移學(xué)習(xí)模型網(wǎng)絡(luò)示意圖

為了進(jìn)一步避免過(guò)度擬合并增強(qiáng)模型的泛化能力，同時(shí)保持模型的學(xué)習(xí)能力，進(jìn)一步將Dropout和正則化項(xiàng)策略引入到全連接層，對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)。Dropout是指在模型訓(xùn)練過(guò)程中依據(jù)特定的概率隨機(jī)舍去特定層中的某些神經(jīng)元，這相當(dāng)于每次的迭代訓(xùn)練都是不同的神經(jīng)網(wǎng)絡(luò)。正則化是指將與參數(shù)大小有關(guān)的項(xiàng)目添加到損失函數(shù)中，這樣可以使參數(shù)的值盡可能小，從而限制參數(shù)的值范圍，并避免過(guò)擬合。本研究使用L正則化，將L范數(shù)添加到損失函數(shù)中。

4 實(shí)驗(yàn)設(shè)置

圖像的輸入采用多尺度采樣的方法將圍繞結(jié)節(jié)中心提取邊長(zhǎng)分別為32×32、64×64、96×96像素的ROI區(qū)域并插值到224×224像素大小，然后合成一張三通道RGB圖像。在對(duì)圖像的采樣之前還需要對(duì)來(lái)自多個(gè)機(jī)構(gòu)的數(shù)據(jù)進(jìn)行統(tǒng)一的預(yù)處理，包括數(shù)據(jù)擴(kuò)增、插值放大和直方圖均衡化。對(duì)訓(xùn)練集中的所有CT 圖像數(shù)據(jù)都執(zhí)行旋轉(zhuǎn)90°、旋轉(zhuǎn)180°、左右鏡像、上下鏡像等操作，將有限的數(shù)量進(jìn)行5倍的擴(kuò)充，以此增強(qiáng)網(wǎng)絡(luò)模型的魯棒性。采用雙三次插值的方法將圖像放大到224×224像素大小，具有更好的放大效果。采用直方圖均衡化的方式來(lái)對(duì)圖像進(jìn)行預(yù)處理，使得結(jié)節(jié)中的紋理、毛刺信息更加豐富。

為了客觀評(píng)價(jià)模型的泛化能力，本實(shí)驗(yàn)劃分訓(xùn)練集和測(cè)試集需要保證同一個(gè)病人的同一肺結(jié)節(jié)的不同CT 圖像不能被同時(shí)分到訓(xùn)練集或測(cè)試集中。因此，在進(jìn)行十折交叉驗(yàn)證時(shí)采用根據(jù)病人分組的方法，即將數(shù)據(jù)集中的病例按照編號(hào)隨機(jī)分成十組，輪流將其中的一組作為測(cè)試集，剩下九組作為訓(xùn)練集，也僅對(duì)訓(xùn)練集進(jìn)行了擴(kuò)增。

在本研究中，編譯神經(jīng)網(wǎng)絡(luò)時(shí)采用了交叉熵?fù)p失函數(shù)和Adam 優(yōu)化器，該優(yōu)化器使用時(shí)只需要關(guān)注調(diào)整其學(xué)習(xí)率即可。在實(shí)驗(yàn)過(guò)程中，本研究提出并使用了一種交替開(kāi)放卷積網(wǎng)絡(luò)層數(shù)并同時(shí)改變學(xué)習(xí)率大小的訓(xùn)練方法。全連接層中的Dropout 的概率一般設(shè)定為0.2 左右，采用L正則化策略，系數(shù)設(shè)置為0.001。

評(píng)價(jià)標(biāo)準(zhǔn)采用準(zhǔn)確率（accuracy）和來(lái)對(duì)分類(lèi)結(jié)果進(jìn)行表示。其中準(zhǔn)確率表示分類(lèi)正確的樣本數(shù)與總體樣本數(shù)的比值，如表1所示，計(jì)算公式如下：

表1 結(jié)果評(píng)價(jià)指標(biāo)

ROC 曲線是反應(yīng)敏感度和特異度連續(xù)變化的綜合指標(biāo)，以敏感度為縱坐標(biāo)，（1-特異度）為橫坐標(biāo)繪制成曲線，曲線下方面積的大小即為，越大則準(zhǔn)確率越高。

5 實(shí)驗(yàn)結(jié)果

經(jīng)過(guò)十折交叉驗(yàn)證，對(duì)在測(cè)試集上的分類(lèi)準(zhǔn)確率和取平均值，模型最終達(dá)到了90.26%的分類(lèi)準(zhǔn)確率和0.956 的。表2 展示了本研究和三個(gè)最新發(fā)表的基于LIDC-IDRI 數(shù)據(jù)庫(kù)的基于深度學(xué)習(xí)進(jìn)行肺結(jié)節(jié)斷層層面上的良惡性分類(lèi)算法模型的分類(lèi)準(zhǔn)確率、。

表2 與類(lèi)似研究的效果對(duì)比

可以看出，本研究分類(lèi)效果不論是在準(zhǔn)確率還是在上相比于其它三個(gè)研究都具有一定的優(yōu)越性。

本研究還對(duì)多尺度采樣的有效性做了對(duì)比實(shí)驗(yàn)。試驗(yàn)的設(shè)置與結(jié)果如表3 所示。實(shí)驗(yàn)1 采用的多尺度采樣合成RGB 圖像輸入，而實(shí)驗(yàn)2、3、4 中分別采用將特定大小的ROI 區(qū)域復(fù)制三份作為輸入的方式，其它設(shè)置均與實(shí)驗(yàn)1相同。

表3 多尺度采樣對(duì)照試驗(yàn)結(jié)果

結(jié)果表明，多尺度采樣合成RGB 圖像輸入的方法準(zhǔn)確率和明顯優(yōu)于其它三種輸入方式。這說(shuō)明多尺度采樣的方法在遷移學(xué)習(xí)中是可以應(yīng)用的并且有良好效果的。

6 結(jié)語(yǔ)

本文針對(duì)肺結(jié)節(jié)良惡性分類(lèi)任務(wù)，提出了一種基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類(lèi)模型?；贚IDC-IDRI 公開(kāi)數(shù)據(jù)庫(kù)構(gòu)建數(shù)據(jù)集，針對(duì)肺部CT 圖像提取ROI 區(qū)域并生成多尺度圖像作為輸入，遷移了ResNet-50卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)，并對(duì)全連接層進(jìn)行設(shè)計(jì)，采用了交替開(kāi)放式的遷移學(xué)習(xí)訓(xùn)練策略，有效提升模型的訓(xùn)練效果。結(jié)果表明，將多尺度遷移學(xué)習(xí)方法應(yīng)用到肺結(jié)節(jié)良惡性分類(lèi)任務(wù)上，分類(lèi)效果得到明顯提升。