胡偉儉， 陳為， 馮浩哲， 張?zhí)炱剑?朱正茂， 潘巧明*

(1.麗水學(xué)院 工學(xué)院， 浙江 麗水 323000； 2.浙江大學(xué) 計(jì)算機(jī)學(xué)院 CAD&CG國家重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310058)

應(yīng)用于平掃CT圖像肺結(jié)節(jié)檢測的深度學(xué)習(xí)方法綜述

胡偉儉1， 陳為2， 馮浩哲2， 張?zhí)炱?， 朱正茂2， 潘巧明1*

(1.麗水學(xué)院 工學(xué)院， 浙江 麗水 323000； 2.浙江大學(xué) 計(jì)算機(jī)學(xué)院 CAD&CG國家重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310058)

肺癌是一種致死率很高的癌癥.通過肺部平掃CT影像檢測肺結(jié)節(jié)對肺癌早期診斷、治療意義重大.全面介紹了一種革命性的圖像識別技術(shù)——深度學(xué)習(xí)方法，在肺結(jié)節(jié)檢測中的應(yīng)用.首先，橫向?qū)Ρ攘瞬煌矸e神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其在圖像識別上的效果，其次著重分析了不同深度學(xué)習(xí)方法在訓(xùn)練肺結(jié)節(jié)分類器上的應(yīng)用，包括faster-RCNN、遷移學(xué)習(xí)、殘差學(xué)習(xí)以及遷移學(xué)習(xí).還介紹了一些可用的肺部CT影像數(shù)據(jù)集供讀者參考.

深度學(xué)習(xí)；肺結(jié)節(jié)；卷積神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)庫

深度學(xué)習(xí)方法在圖像處理領(lǐng)域取得了巨大的成功[1-2]，以深度學(xué)習(xí)為基礎(chǔ)的CAD(computer aided diagnosis)系統(tǒng)在醫(yī)學(xué)影像的識別與目標(biāo)檢測方面達(dá)到了極高的準(zhǔn)確率.肺結(jié)節(jié)檢測的經(jīng)典流程見圖1，由數(shù)據(jù)預(yù)處理與訓(xùn)練分類器兩部分組成，其中數(shù)據(jù)預(yù)處理過程主要由傳統(tǒng)的CV方法組成，深度學(xué)習(xí)方法則主要應(yīng)用于訓(xùn)練分類器過程，即訓(xùn)練一個(gè)多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行肺結(jié)節(jié)檢測.

文獻(xiàn)[3]詳細(xì)介紹了數(shù)據(jù)的預(yù)處理過程，在此不再贅述.肺結(jié)節(jié)檢測的深度學(xué)習(xí)應(yīng)用尚處于初級階段，因此本文主要從(1)卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)選取與效果對比，(2)利用Fast-RCNN與Faster-RCNN進(jìn)行候選檢測，(3)利用殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(ResNet)增加網(wǎng)絡(luò)深度，(4)利用遷移學(xué)習(xí)進(jìn)行參數(shù)初始化，(5)利用網(wǎng)絡(luò)參數(shù)迭代方法與curriculum learning優(yōu)化網(wǎng)絡(luò)訓(xùn)練，這5個(gè)方面介紹可用于肺結(jié)節(jié)檢測的前沿的深度學(xué)習(xí)方法，并在最后介紹可用的數(shù)據(jù)庫.

圖1 肺結(jié)節(jié)檢測流程圖Fig.1 Flow diagram of lung nodule detection

1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選取與效果對比

1998年，LECUN等[4]首次提出卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)LeNet模型.2012年，CNN在ImageNet競賽中取得第一[1]，至此CNN成為圖像處理與目標(biāo)檢測的通用神經(jīng)網(wǎng)絡(luò)，對于肺結(jié)節(jié)檢測亦是如此.

文獻(xiàn)[5]詳細(xì)介紹并對比了主流CNN網(wǎng)絡(luò)結(jié)構(gòu)，包含AlexNet、BN AlexNet、Batch Normalised Network In Network(NIN)、ENet、GoogLeNet、VGG(-16,-19)、ResNet(-18,-34,-50,-101,152)、Inception-v3和nception-v4等.從準(zhǔn)確率、圖片處理速度、參數(shù)數(shù)目和內(nèi)存占用量四方面對網(wǎng)絡(luò)特點(diǎn)進(jìn)行了總結(jié)，綜合對比如圖2所示.

圖2 各神經(jīng)網(wǎng)絡(luò)綜合比較Fig.2 General comparison of CNN architectures

1.1 準(zhǔn)確率

由文獻(xiàn)[5]給出的網(wǎng)絡(luò)結(jié)構(gòu)和準(zhǔn)確率對比圖可以看出，準(zhǔn)確率最低的是AlexNet，最高的是Inception-v4.同時(shí)ResNet和Inception系列比其他網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率至少高出7%.

1.2 圖片處理速度

綜合來看VGG系列的處理速度最慢，平均0.2 s才能處理1張圖片，實(shí)時(shí)性差.而BN AlexNet在每批64張圖片的情況下處理1張圖最快可達(dá)0.006 s. Inception和ResNet處理單張圖片平均可達(dá)0.02～0.1 s.

同時(shí)，對比準(zhǔn)確率與圖片處理速度，大部分的網(wǎng)絡(luò)都位于一條直線上，說明加快處理速度相應(yīng)地要犧牲準(zhǔn)確率. 但是VGG系列和AlexNet網(wǎng)絡(luò)結(jié)構(gòu)位于直線下方，說明其準(zhǔn)確率與處理速度綜合表現(xiàn)不如其他網(wǎng)絡(luò).

1.3 參數(shù)數(shù)目

在神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)目方面，VGG和AlexNet網(wǎng)絡(luò)調(diào)用了大量參數(shù)，卻未能發(fā)揮參數(shù)數(shù)量的優(yōu)勢，實(shí)現(xiàn)較高的準(zhǔn)確率.而ENet、GoogleNet、NIN和ResNet網(wǎng)絡(luò)結(jié)構(gòu)，則能在大量參數(shù)優(yōu)勢的基礎(chǔ)上取得較高的準(zhǔn)確率.

1.4 內(nèi)存占用量

VGG內(nèi)存占用量通常為800 MB，且隨著每輪參數(shù)迭代輸入數(shù)據(jù)的增加而增加，最高可接近2 000 MB，相比之下NIN和GoogleNet占用內(nèi)存最少，通常為200 MB，最高為500 MB.其余網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)存占用量均在300～1 000 MB.

總體而言，GoogleNet及其衍生的Inception系列具有消耗資源少、準(zhǔn)確率中等的特點(diǎn)，ResNet系列和Inception系列具有消耗資源中等、準(zhǔn)確率高的特點(diǎn)，這2類是目前綜合性能最好的網(wǎng)絡(luò)結(jié)構(gòu).而AlexNet和VGG雖然在準(zhǔn)確率與計(jì)算資源上不如其他網(wǎng)絡(luò)，但是因?yàn)樘岢鰰r(shí)間早、結(jié)構(gòu)簡單，依然是現(xiàn)在應(yīng)用廣泛的網(wǎng)絡(luò)結(jié)構(gòu).同時(shí)，這些網(wǎng)絡(luò)結(jié)構(gòu)的性能在各項(xiàng)指標(biāo)上都全面超過了早期的LeNet結(jié)構(gòu).

具體到肺結(jié)節(jié)檢測上，目前大部分研究都停留在LeNet結(jié)構(gòu)或在LeNet基礎(chǔ)上的改進(jìn).文獻(xiàn)[6]使用了3D卷積神經(jīng)網(wǎng)絡(luò)，在LeNet的基礎(chǔ)上增加了1～2層卷積層，分類準(zhǔn)確率可以達(dá)到81.50%.文獻(xiàn)[7]對圖像進(jìn)行加權(quán)處理，將3D的圖像降維成2D，又在網(wǎng)絡(luò)結(jié)構(gòu)最末多加了1層全連接層，其AUC面積可達(dá)0.962.文獻(xiàn)[8]取中心點(diǎn)的三視圖，在加入了Dropout層的LeNet網(wǎng)絡(luò)結(jié)構(gòu)中訓(xùn)練，其應(yīng)用于肺結(jié)節(jié)診斷問題的AUC面積可達(dá)0.94.文獻(xiàn)[9]在候選檢測出的立體區(qū)域選取9個(gè)角度的視圖并放入網(wǎng)絡(luò)中訓(xùn)練，同時(shí)在網(wǎng)絡(luò)中加入Fusion層進(jìn)行分組分類與整合，其AUC面積最高可達(dá)0.996.

總之，目前應(yīng)用在肺結(jié)節(jié)檢測上的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基本停留在對LeNet的改進(jìn)上，導(dǎo)致使用LeNet結(jié)構(gòu)的訓(xùn)練器假陽率(FP)很高，因此需要嘗試用VGG、GoogleNet、Inception、ResNet等新的網(wǎng)絡(luò)結(jié)構(gòu).在最新的Kaggle Data Science Bowl 2017中，第2名獲獎(jiǎng)?wù)卟捎昧薈3D網(wǎng)絡(luò)進(jìn)行訓(xùn)練，ROC準(zhǔn)確率達(dá)到了0.85，具體可見Github上的源代碼(https://github.com/juliandewit/kaggle_ndsb2017).

2 Fast-RCNN&Faster-RCNN：候選檢測

經(jīng)典流程圖圖1中，采用了經(jīng)典的RCNN目標(biāo)檢測模型，即經(jīng)處理的圖像需要先經(jīng)候選檢測進(jìn)行疑似區(qū)域選取，再送入神經(jīng)網(wǎng)絡(luò)進(jìn)行分類.其缺點(diǎn)是候選檢測未與神經(jīng)網(wǎng)絡(luò)結(jié)合，訓(xùn)練速度慢、消耗空間大.

Fast-RCNN[10]與Faster-RCNN[11]基于RCNN模型進(jìn)行了改進(jìn)，旨在將候選檢測納入神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其主要特點(diǎn)包括：

(1)Fast-RCNN

Fast-RCNN直接將圖像送入神經(jīng)網(wǎng)絡(luò)，先對圖像做5次卷積再選取候選區(qū)域，可以有效避免重復(fù)計(jì)算圖像特征，從而提高訓(xùn)練速度.

(2)Faster-RCNN

Faster-RCNN提出區(qū)域生成網(wǎng)絡(luò)(RPN)，代替Fast-RCNN候選區(qū)域選取步驟，將檢測全過程納入深度網(wǎng)絡(luò)框架，大大提高了運(yùn)行速度.

目前，尚未查詢到有關(guān)Faster-RCNN在肺結(jié)節(jié)檢測上應(yīng)用的文獻(xiàn)，但文獻(xiàn)[12-13]分別運(yùn)用Faster-RCNN結(jié)合殘差學(xué)習(xí)進(jìn)行人臉檢測和行人檢測，取得了良好的效果.肺結(jié)節(jié)檢測同樣具有樣本特征豐富、正樣本稀疏、目標(biāo)尺度小等特點(diǎn)，因此可以嘗試Faster-RCNN檢測.

3 殘差學(xué)習(xí):增加網(wǎng)絡(luò)深度

多層卷積網(wǎng)絡(luò)的訓(xùn)練過程中往往會遇到梯度消失和梯度爆炸的問題.文獻(xiàn)[14]提出采用Batch Normalization方法可有效解決梯度爆炸問題.文獻(xiàn)[15-16]提出了解決梯度消失問題的新的網(wǎng)絡(luò)結(jié)構(gòu)：殘差學(xué)習(xí)網(wǎng)絡(luò)；文獻(xiàn)[17]提出了基于殘差學(xué)習(xí)的新型CNN結(jié)構(gòu)：Inception-V4結(jié)構(gòu).已經(jīng)在第1節(jié)中對這種結(jié)構(gòu)的優(yōu)缺點(diǎn)進(jìn)行了比較，這里僅介紹殘差學(xué)習(xí)網(wǎng)絡(luò)的基本思想以及在肺結(jié)節(jié)檢測中的應(yīng)用.殘差學(xué)習(xí)網(wǎng)絡(luò)基于多層網(wǎng)絡(luò)大部分目標(biāo)函數(shù)都是恒等映射這一基本假設(shè)，將目標(biāo)函數(shù)H(x)分解為

H(x)=F(x)+x，

(1)

式(1)中網(wǎng)絡(luò)僅對F(x)進(jìn)行學(xué)習(xí)，避免了BP算法導(dǎo)致的梯度消失，因此，殘差學(xué)習(xí)可以將傳統(tǒng)10層左右的網(wǎng)絡(luò)加深到100～1 000層.

現(xiàn)有用于肺結(jié)節(jié)檢測的神經(jīng)網(wǎng)絡(luò)層數(shù)都較少，也未見將殘差學(xué)習(xí)應(yīng)用于肺結(jié)節(jié)檢測的相關(guān)文獻(xiàn)，這可能是限制準(zhǔn)確率的重要原因.然而在與肺結(jié)節(jié)檢測相似的人臉識別領(lǐng)域，使用殘差學(xué)習(xí)已達(dá)到了3.57%的錯(cuò)誤率[15]，因此將殘差學(xué)習(xí)應(yīng)用于肺結(jié)節(jié)檢測很有意義.

4 遷移學(xué)習(xí):參數(shù)初始化

遷移學(xué)習(xí)，即將已訓(xùn)練好的模型參數(shù)遷移到新模型中來幫助新模型訓(xùn)練數(shù)據(jù)集[18].遷移學(xué)習(xí)方法可以替代隨機(jī)初始化參數(shù)方法，將訓(xùn)練完成的參數(shù)分享給新模型，從而加快并優(yōu)化新模型的學(xué)習(xí).在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中，若數(shù)據(jù)集較神經(jīng)網(wǎng)絡(luò)的復(fù)雜程度小，就很容易出現(xiàn)過擬合癥狀.現(xiàn)有的肺結(jié)節(jié)檢測數(shù)據(jù)庫一般只有幾千個(gè)樣本，利用遷移學(xué)習(xí)方法，可以很好地解決上述問題，從而進(jìn)一步降低錯(cuò)誤率.文獻(xiàn)[19]指出，應(yīng)用遷移學(xué)習(xí)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在分類效果上普遍優(yōu)于未應(yīng)用遷移學(xué)習(xí)的.

目前，應(yīng)用于肺結(jié)節(jié)檢測的遷移學(xué)習(xí)主流方法是：利用相關(guān)領(lǐng)域容易獲得的大數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，然后用肺部CT影像數(shù)據(jù)集進(jìn)行調(diào)整.文獻(xiàn)[20]分別使用6個(gè)數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行獨(dú)立遷移學(xué)習(xí)訓(xùn)練，并比對了不同數(shù)據(jù)集的效果，指出使用遷移學(xué)習(xí)訓(xùn)練的肺結(jié)節(jié)檢測神經(jīng)網(wǎng)絡(luò)其準(zhǔn)確率較未使用遷移學(xué)習(xí)提高了2%.

5 參數(shù)迭代方法與curriculum learning

5.1 參數(shù)迭代方法

神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化的本質(zhì)是高維優(yōu)化，針對特定問題的學(xué)習(xí)率的選取以及優(yōu)化算法的選取會極大影響網(wǎng)絡(luò)參數(shù)的收斂性.文獻(xiàn)[21]指出，高維優(yōu)化問題中根本沒有那么多局部極值，而高維非凸優(yōu)化問題之所以困難，是因?yàn)榇嬖诖罅康陌包c(diǎn).因此，能否在有限步內(nèi)跳出鞍點(diǎn)也是優(yōu)化算法要重點(diǎn)考量的.

下文通過比較幾種主流優(yōu)化算法，并結(jié)合肺結(jié)節(jié)圖像特征，給出適用于肺結(jié)節(jié)檢測的神經(jīng)網(wǎng)絡(luò)參數(shù)迭代方法.文獻(xiàn)[22]對比了(a)梯度下降法，(b)隨機(jī)梯度下降法，(c)Mini-Batch梯度下降法，(d)動量法(Momentum)，(e)Nestrov梯度加速法，(f)Adagard，(g)Adadelta，(h)RMSprop，(i)Adam 9種主流高維優(yōu)化方法的優(yōu)劣，從魯棒性、跳出鞍點(diǎn)的能力、收斂速度和學(xué)習(xí)率四方面對上述9種優(yōu)化算法進(jìn)行了總結(jié)：

5.1.1 魯棒性

在魯棒性方面，(a)～(c)的收斂性依賴于穩(wěn)定的初值與學(xué)習(xí)率遞減函數(shù)，一旦這些條件被滿足，(a)～(c)將穩(wěn)定收斂至局部最優(yōu)點(diǎn)或鞍點(diǎn).因?yàn)?d)～(i)每一步計(jì)算量更大，總體上不如(a)～(c)魯棒.同時(shí)，(e)可以視為(d)在收斂性上的改進(jìn)，在使用(d)，(e)算法時(shí)，(e)算法比(d)更為魯棒.

5.1.2 跳出鞍點(diǎn)的能力

在跳出鞍點(diǎn)的能力上，(f)～(i)都可以在有限幾步內(nèi)跳出鞍點(diǎn)，(d)和(e)在迭代次數(shù)足夠多時(shí)也能跳出鞍點(diǎn)，但比(f)～(i)需時(shí)更長.(a)～(c) 3種算法幾乎都無法跳出鞍點(diǎn).

5.1.3 收斂速度

(d)和(e)算法基于物理中動量的思想，在下坡方向加速收斂，抑制震蕩，總體上6種方法的收斂速度排序?yàn)?d)～(e)>(f)～(i)>(a)～(c).

5.1.4 學(xué)習(xí)率

(f)～(i)都為自適應(yīng)學(xué)習(xí)率算法，即可以自動調(diào)整學(xué)習(xí)率，從而加大對罕見情況的學(xué)習(xí)力度，而(a)～(e)都需要設(shè)定學(xué)習(xí)率和設(shè)計(jì)學(xué)習(xí)率隨訓(xùn)練時(shí)間遞減的函數(shù).對于(f)～(i)算法，其中，(f)和(h)都有可能在多次迭代后學(xué)習(xí)率收斂到0，而(g)和(i)是對(f)和(h)的改進(jìn).

具體到肺結(jié)節(jié)檢測上，因?yàn)榉谓Y(jié)節(jié)的形狀、顏色、面積都有不同，有必要針對這些不同的形狀、顏色和面積選取學(xué)習(xí)率，因此一般在具有自適應(yīng)學(xué)習(xí)率特點(diǎn)的算法中選擇綜合表現(xiàn)最好的(i)Adam方法.同時(shí)，如果在迭代過程中參數(shù)出現(xiàn)了震蕩的情況，則應(yīng)采用(c)梯度下降法緩慢逼近收斂點(diǎn).此外，還有一些使用非線性方法的優(yōu)化算法[23-24]，因其計(jì)算量太大，一般不采用.

5.2 Curriculum learning

文獻(xiàn)[25]提出了一種優(yōu)化網(wǎng)絡(luò)訓(xùn)練過程的curriculum learning方法.借鑒人類學(xué)習(xí)的方式，認(rèn)為若訓(xùn)練集不是隨機(jī)選取，而是按照一定規(guī)則進(jìn)行排序選取，則可以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.比如，面對不同的學(xué)習(xí)任務(wù)，人們往往會將更多的學(xué)習(xí)精力放在自己做錯(cuò)的部分，而對已經(jīng)掌握的部分不再重復(fù)學(xué)習(xí).

具體到肺結(jié)節(jié)檢測上，實(shí)質(zhì)性結(jié)節(jié)顏色明亮，形態(tài)特征明顯，容易區(qū)分，但毛玻璃結(jié)節(jié)灰度特征與周圍肺部顏色相似，會出現(xiàn)血毛玻璃結(jié)節(jié)類訓(xùn)練集使用誤差逆?zhèn)鞑ニ惴╗26]對網(wǎng)絡(luò)參數(shù)進(jìn)行更新過程中初始梯度很小的現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)參數(shù)更新幅度很小.為解決這一問題，一般選取大量毛玻璃結(jié)節(jié)訓(xùn)練集進(jìn)行訓(xùn)練，如果訓(xùn)練集每次都隨機(jī)選取，那么神經(jīng)網(wǎng)絡(luò)在大量易于識別的結(jié)節(jié)上被重復(fù)訓(xùn)練，對于形態(tài)不規(guī)則(如表面凹凸不平或是有棘狀突起)的結(jié)節(jié)情況類似.因此，可以采用curriculum learning方法減少易于識別結(jié)節(jié)的冗余訓(xùn)練，加強(qiáng)難于識別結(jié)節(jié)的訓(xùn)練.

目前，暫未發(fā)現(xiàn)針對肺結(jié)節(jié)檢測的curriculum learning方法，但文獻(xiàn)[27]提出的針對視網(wǎng)膜成像出血檢測的訓(xùn)練集選取方法，可類似應(yīng)用于肺結(jié)節(jié)檢測，具體步驟如下：

(1)首先，對所有待訓(xùn)練樣本賦予相同的選取概率，并隨機(jī)選取n個(gè)樣本進(jìn)行訓(xùn)練，用訓(xùn)練好的參數(shù)對這n個(gè)訓(xùn)練樣本進(jìn)行預(yù)測，計(jì)算預(yù)測值與真值的偏差.

(2)更改這n個(gè)訓(xùn)練樣本被選中的概率，降低偏差小的樣本被選中的概率，提高偏差大的樣本被選中的概率.

(3)依據(jù)選取概率重新選擇n個(gè)訓(xùn)練樣本進(jìn)行訓(xùn)練，重復(fù)步驟(2)，直至網(wǎng)絡(luò)參數(shù)收斂.

(4)該方法的效果依賴于神經(jīng)網(wǎng)絡(luò)的初始參數(shù)，因此實(shí)際使用時(shí)通常先隨機(jī)選取訓(xùn)練集對神經(jīng)網(wǎng)絡(luò)進(jìn)行若干輪訓(xùn)練，直到網(wǎng)絡(luò)參數(shù)較穩(wěn)定后再使用.

6 數(shù)據(jù)庫介紹

數(shù)據(jù)庫分為用于訓(xùn)練網(wǎng)絡(luò)和用于測試兩類，按照神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要求，兩者相互獨(dú)立.

6.1 用于訓(xùn)練的數(shù)據(jù)庫

以下5個(gè)為用于訓(xùn)練的數(shù)據(jù)庫，其數(shù)據(jù)量均超過1 000(LTRC-ILD數(shù)據(jù)庫為533)，且對肺結(jié)節(jié)有準(zhǔn)確的標(biāo)注.

(1)LIDC-IDRI數(shù)據(jù)庫[28]

(2)The Nelson trial 數(shù)據(jù)庫[29]

(3)LTRC-ILD數(shù)據(jù)庫[30]

(4)Kaggle Data Science Bowl 2017訓(xùn)練數(shù)據(jù)集 (https://www.kaggle.com/c/data-science-bowl-2017)

(5)2017阿里天池大賽訓(xùn)練數(shù)據(jù)集

(https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100066.333.4.BWVodM&raceId=231601)

6.2 用于測試的數(shù)據(jù)庫

以下3個(gè)為可用于測試的數(shù)據(jù)庫，數(shù)據(jù)量相對較少，獨(dú)立于訓(xùn)練數(shù)據(jù)庫.

(1)ANODE09數(shù)據(jù)庫[31]

(2)Kaggle Data Science Bowl 2017測試數(shù)據(jù)集 (https://www.kaggle.com/c/data-science-bowl-2017)

(3)2017阿里天池大賽測試數(shù)據(jù)集(https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100066.333.4.BWVodM&raceId=231601)

7 總 結(jié)

對應(yīng)用于平掃CT圖像肺結(jié)節(jié)檢測的深度學(xué)習(xí)方法進(jìn)行了綜述，介紹了現(xiàn)有研究成果以及可用于肺結(jié)節(jié)檢測的前沿方法，其中有些方法(如遷移學(xué)習(xí)法)已經(jīng)應(yīng)用于肺結(jié)節(jié)檢測，還有一些方法在解決與肺結(jié)節(jié)檢測相似的問題(如人臉識別)中取得了優(yōu)秀成果. 肺結(jié)節(jié)檢測問題在20世紀(jì)已被提出，前人基于傳統(tǒng)機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺方法對其進(jìn)行了研究和完善，隨著深度學(xué)習(xí)的興起，不斷涌現(xiàn)出新的網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)方法. 如何將前人的成果與深度學(xué)習(xí)方法相結(jié)合、如何選取合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、如何應(yīng)用前沿的深度學(xué)習(xí)方法來改善已有神經(jīng)網(wǎng)絡(luò)的分類效果，這些將成為該研究領(lǐng)域未來需要攻克的難題.

[1] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// PEREIRA F ， BURGES C J C， BOTTOU L, et al. Advances in Neural Information Processing Systems 25. Nevada: Curran Associates Inc, 2012:1097-1105.

[2] 劉玉杰,龐蕓萍,李宗民,等.融合抽象層級變換和卷積神經(jīng)網(wǎng)絡(luò)的手繪圖像檢索方法[J].浙江大學(xué)學(xué)報(bào)：理學(xué)版,2016,43(6):657-663. LIU Y J , PANG Y P, LI Z M, et al. Sketch based image retrieval based on abstract-level transform and convolutional neural networks[J]. Journal of Zhejiang University: Science Edition,2016,43(6):657-663.

[3] ELBAZ A, BEACHE G M, GIMEL’FARB G, et al. Computer-aided diagnosis systems for lung cancer: Challenges and methodologies[J]. International Journal of Biomedical Imaging,2013,2013(1):942353.

[4] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278-2324.

[5] CANZIANI A, PASZKE A, CULURCIELLO E. An analysis of deep neural network models for practical applications[J]. arXiv preprint arXiv:1605.07678,2016.

[6] ANIRUDH R, THIAGARAJAN J J, BREMER T, et al. Lung nodule detection using 3D convolutional neural networks trained on weakly labeled data[C]//SPIE Medical Imaging. Orlando: International Society for Optics and Photonics,2016:978532.Doi:10.1117/12.2214876.

[7] LEE H, LEE H, PARK M, et al. Contextual convolutional neural networks for lung nodule classification using Gaussian-weighted average image patches[C]// SPIE Medical Imaging. Orlando: International Society for Optics and Photonics,2017:1013423.Doi:10.1117/12.2253978.

[8] ROTH H R, LU L, LIU J, et al. Improving computer-aided detection using convolutional neural networks and random view aggregation[J]. IEEE Transactions on Medical Imaging,2016,35(5):1170-1181.

[9] SETIO A A A, CIOMPI F, LITJENS G, et al. Pulmonary nodule detection in CT images: False positive reduction using multi-view convolutional networks[J]. IEEE Transactions on Medical Imaging,2016,35(5):1160-1169.

[10] GIRSHICK R. Fast R-CNN[C]// IEEE International Conference on Computer Vision. Washington : IEEE Computer Society,2015:1440-1448.

[11] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.

[12] WAN S, CHEN Z, ZHANG T, et al. Bootstrapping face detection with hard negative examples[J]. arXiv preprint arXiv:1608.02236,2016.

[13] ZHANG L, LIN L, LIANG X, et al. Is Faster R-CNN doing well for pedestrian detection? [C]// European Conference on Computer Vision. New York: Springer International Publishing,2016:443-457.

[14] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C] // Proceedings of the 32nd International Conference on Machine Learning. Lille: Computer Science,2015,37:448-456.

[15] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington: IEEE,2015:770-778.

[16] HE K, ZHANG X, REN S, et al. Identity mappings in deep residual networks[C]//European Conference on Computer Vision. New York: Springer International Publishing,2016:630-645.

[17] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-resnet and the impact of residual connections on learning[J]. arXiv preprint arXiv:1602.07261,2016.

[18] PAN S J, YANG Q. A survey on transfer learning[J]. IEEE Educational Activities Department,2010,22(10):1345-1359.

[19] HOOCHANG S, ROTH H R, GAO M, et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging,2016,35(5):1285-1298.

[20] CHRISTODOULIDIS S, ANTHIMOPOULOS M, EBNER L, et al. Multi-source transfer learning with convolutional neural networks for lung pattern analysis[J]. IEEE Journal of Biomedical & Health Informatics,2017,21(1):76-84.

[21] DAUPHIN Y N, PASCANU R, GULCEHRE C, et al. Identifying and attacking the saddle point problem in high-dimensional non-convex optimization[J]. Mathematics,2014,111:2475-2485.

[22] RUDER S. An overview of gradient descent optimization algorithms[J]. arXiv preprint arXiv:1609.04747,2016.

[23] CHEN W, WANG Z, ZHOU J. Large-scale L-BFGS using MapReduce[J]. Advances in Neural Information Processing Systems,2014(2):1332-1340.

[24] 梁昔明,錢積新.大規(guī)模界約束優(yōu)化的子空間截?cái)嗯ｎD法[J].浙江大學(xué)學(xué)報(bào)：理學(xué)版,2002,29(5):494-499.

LIANG X M ,QIAN J X . Subspace truncated-Newton algorithm for large-scale bound constrained optimization[J]. Journal of Zhejiang University: Science Edition,2002,29(5):494-499.

[25] BENGIO Y, LOURADOUR J, COLLOBERT R, et al. Curriculum learning[C]//Proceedings of the 26th International Conference on Machine Learning. Montreal: The International Machine Learning Society,2009.

[26] HECHT-NIELSEN R. Theory of the backpropagation neural network[C]// International Joint Conference on Neural Networks. Washington: IEEE,1989(1):593-605.

[27] GRINSVEN M J J P V, GINNEKEN B V, HOYNG C B, et al. Fast convolutional neural network training using selective data sampling: Application to hemorrhage detection in color fundus images[J]. IEEE Transactions on Medical Imaging,2016,35(5):1273-1284.

[28] ARMATO S G, MCLENNAN G, BIDAUT L, et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on CT scans[J]. Medical Physics,2011,38(2):915-931.

[29] XU D M, GIETEMA H, DE K H, et al. Nodule management protocol of the Nelson randomised lung cancer screening trial[J]. Lung Cancer,2006,54(2):177-184.

[30] BARTHOLMAI B ,KARWOSKI R, ZAVALETTA V, et al. The lung tissue research consortium: An extensive open database containing histological, clinical, and radiological data to study chronic lung disease[R/OL]. The Insight Journal-2006 MICCAI Open Science Workshop. [2006-08-17].http://hdl.handle.net/1926/221.

[31] VAN G B, VAN A V D V S, DUINDAM T, et al. Comparing and combining algorithms for computer-aided detection of pulmonary nodules in computed tomography scans: The anode 09 study[J]. Medical Image Analysis,2010,14(6):707-722.

A survey of depth learning methods for detecting lung nodules by CT images.

HU Weijian1, CHEN Wei2, FENG Haozhe2, ZHANG Tianping2, ZHU Zhengmao2, PAN Qiaoming1

(1.EngineeringCollege,LishuiUniversity,Lishui323000,ZhejiangProvince,China; 2.StateKeyLabofCAD&CG,CollegeofComputerScience,ZhejiangUniversity,Hangzhou310058,China)

Lung cancer is one of the most aggressive cancers and detecting lung nodule by CT images at the early stage is of vital importance to treating lung cancer. This paper overviews the application of a revolutionary image recognition method, deep learning, in the detection of lung nodule. First, we contrast different convolutional neural network (CNN) architectures and their performance in image recognition. Then, we mainly focus on various deep learning methods including faster-RCNN, transfer learning, residual network and curriculum learning to train the classifier. We also introduce some available databases of lung CT images in the last section of our paper.

deep learning; lung nodule; CNN; database

2017-05-23.

浙江省自然科學(xué)基金資助項(xiàng)目(LY13F020019).

胡偉儉(1980-)，ORCID:http://orcid.org/0000-0003-1299-878X，男，碩士，講師，主要從事人機(jī)交互研究，E-mail:13754252004@163.com.

*通信作者，ORCID: http:// orcid.org/0000-0002-2506-8293，E-mail：lsxypqm@163.com.

10.3785/j.issn.1008-9497.2017.04.001

TP 301

A

1008-9497(2017)04-379-06

Journal of Zhejiang University(Science Edition), 2017,44(4):379-384