李 莉 喬 璐 張浩洋

(東北林業(yè)大學(xué)軟件工程系 黑龍江 哈爾濱 150000)

0 引 言

據(jù)世界衛(wèi)生組織下屬國際癌癥研究機構(gòu)(IARC)發(fā)布的癌癥數(shù)據(jù)顯示，肺癌是當(dāng)今世界發(fā)病率及死亡率最高的一種惡性腫瘤疾病，2018年全球新增癌癥病例1 810萬，死亡人數(shù)超過半數(shù)高達960萬。肺癌的早期無明顯癥狀，故一經(jīng)發(fā)現(xiàn)多為晚期，為有效防止該種現(xiàn)象的發(fā)生，肺癌的早期發(fā)現(xiàn)與治療顯得刻不容緩[1]。肺結(jié)節(jié)是肺癌的早期表現(xiàn)形式，電子計算機斷層掃描CT(Computed Tomography)是檢測肺結(jié)節(jié)的一種主要方式[2]。肺結(jié)節(jié)在CT影像序列中大多呈現(xiàn)為直徑在3～30 mm的類球形白色病灶，具有形狀、分布位置不確定的特點。此外單個患者進行一次CT掃描可產(chǎn)生高達上百幅影像，影像科醫(yī)生所需診斷的數(shù)據(jù)過于龐大，使得診斷難度不斷提升。為解決上述問題，肺癌計算機輔助診斷系統(tǒng)CAD[3-4]作為影像科醫(yī)生的“第三只眼睛”應(yīng)運而生，在去除大量無關(guān)數(shù)據(jù)的同時為其診斷提供“第二意見”，可有效提高醫(yī)生的診斷效率及準(zhǔn)確率。CAD系統(tǒng)進行肺結(jié)節(jié)檢測主要分為2個步驟[5]：① 在保證高敏感度的前提下獲得候選結(jié)節(jié)區(qū)域。② 去除假陽性結(jié)節(jié)。但目前在一定程度該系統(tǒng)仍存在敏感度低假陽率高的問題，如何解決上述問題仍需進一步研究。

傳統(tǒng)的肺結(jié)節(jié)檢測方法主要通過人工設(shè)計特征的方式并使用分類器(如支持向量機SVM)達到檢測的目的。但由于肺結(jié)節(jié)的形狀、位置具有高度可變性，給特征的選擇與提取帶來麻煩，導(dǎo)致檢測結(jié)果并不理想。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，發(fā)現(xiàn)其在圖像識別領(lǐng)域具有強大的特征提取能力，在醫(yī)學(xué)圖像診斷中發(fā)揮著不可替代的作用[6]。針對肺結(jié)節(jié)的檢測，SETIO等[7]提出使用多視角卷積神經(jīng)網(wǎng)絡(luò)進行假陽性去除，分別從不同方向提取二維切片進行檢測，將檢測結(jié)果進行融合以獲取最終病灶，但對于特征提取的傳播復(fù)用效率未進行考慮。劉一鳴等[8]通過訓(xùn)練二維卷積神經(jīng)網(wǎng)絡(luò)并不斷地進行參數(shù)調(diào)整以獲得檢測結(jié)果最優(yōu)的模型，但是不斷的參數(shù)調(diào)整會導(dǎo)致模型訓(xùn)練緩慢甚至丟失某些重要特征。朱輝等[9]將U-net網(wǎng)絡(luò)進行改進獲得多尺度特征用于肺結(jié)節(jié)檢測，但在訓(xùn)練中會忽略一些底層特征的語義，使得對于小目標(biāo)的檢測效果無法保證。上述方法均利用了神經(jīng)網(wǎng)絡(luò)來實現(xiàn)對肺結(jié)節(jié)的檢測，相較于傳統(tǒng)算法其準(zhǔn)確率與檢測性能有所提升，在一定程度上提升了肺結(jié)節(jié)的檢出率，但都存在一定程度的漏診和誤診。

為解決上述問題，現(xiàn)提出結(jié)合FPN改進R-FCN的肺結(jié)節(jié)檢測算法。以R-FCN網(wǎng)絡(luò)為基本模型，針對肺結(jié)節(jié)檢測中存在的問題對其加以改進，升級網(wǎng)絡(luò)結(jié)構(gòu)，融入FPN，引入focal loss損失函數(shù)，使得原網(wǎng)絡(luò)的特征傳播能力得到加強。在利用高層語義信息的同時也能充分考慮低層信息，減少信息丟失，加強尺度較小病灶的檢測效果，提升病灶的檢測效率，降低誤診率。

1 改進的R-FCN模型

神經(jīng)網(wǎng)絡(luò)一直被視為快速、精準(zhǔn)的框架，在醫(yī)學(xué)圖像識別領(lǐng)域有著巨大潛力。本文使用R-FCN[10]為基礎(chǔ)網(wǎng)絡(luò)進行肺結(jié)節(jié)檢測，該網(wǎng)絡(luò)主要是由區(qū)域推薦網(wǎng)絡(luò)(RPN)和檢測模塊構(gòu)成的目標(biāo)檢測網(wǎng)絡(luò)?，F(xiàn)將該網(wǎng)絡(luò)用于肺結(jié)節(jié)檢測中，針對肺結(jié)節(jié)的形態(tài)、大小、位置等特征對傳統(tǒng)R-FCN網(wǎng)絡(luò)進行以下優(yōu)化：1)引入DenseNet替換ResNet網(wǎng)絡(luò)用于特征提取，加強特征的傳播復(fù)用能力。2)引入FPN[11]結(jié)構(gòu)將特征圖的淺層特征與深層特征相融合，使得淺層特征擁有深層特征般的語義能力以保證小病灶區(qū)域的檢測。3)使用focal loss損失函數(shù)用于優(yōu)化網(wǎng)絡(luò)的訓(xùn)練緩解樣本的不均衡性。優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 DenseNet

傳統(tǒng)R-FCN網(wǎng)絡(luò)中使用ResNet結(jié)構(gòu)進行特征提取，通過建立前層與后層之間的“短路連接”加強訓(xùn)練過程中的反向傳播，從而解決深層網(wǎng)絡(luò)帶來的負(fù)面影響，加快網(wǎng)絡(luò)的訓(xùn)練速度。本文將該網(wǎng)絡(luò)升級為密集連接卷積網(wǎng)絡(luò)—DenseNet[12]用于特征提取。相比于ResNet,這種結(jié)構(gòu)提出了一種更為激進的密集連接機制，能更有效地實現(xiàn)特征的重用，在計算量和參數(shù)更少的情形下展現(xiàn)更優(yōu)的性能，提升網(wǎng)絡(luò)效率。圖2(a)展示了ResNet網(wǎng)絡(luò)的連接機制，為有效對比，圖2(b)展示了DenseNet網(wǎng)絡(luò)的密集連接機制。

(a) ResNet網(wǎng)絡(luò)連接機制

(b) DenseNet網(wǎng)絡(luò)連接機制圖2 網(wǎng)絡(luò)連接機制對比圖

可以看出，雖然兩種網(wǎng)絡(luò)都采取了跨層連接的方式，但實現(xiàn)方法卻有著本質(zhì)差別。ResNet僅是通過元素級的相加使每一層與前面的某層相連，而DenseNet為使網(wǎng)絡(luò)層之間能獲得最大信息，保證前饋的特性，摒棄了以往神經(jīng)網(wǎng)絡(luò)在特征傳遞給某一層之前將其相加的思想，采用拼接的方式把每一層與之前所有層的輸入進行拼接，將輸出的特征圖傳遞給之后的所有層，達到充分利用各層特征的同時提升網(wǎng)絡(luò)的訓(xùn)練效率。即第K層會有K個輸入，輸入的是之前的所有層的特征圖。這種方式有效提升了特征的傳播復(fù)用能力，使得網(wǎng)絡(luò)無須學(xué)習(xí)冗余的信息。假設(shè)一幅圖像X0在網(wǎng)絡(luò)中傳播，ResNet網(wǎng)絡(luò)第L層的輸出如式(1)所示，DenseNet網(wǎng)絡(luò)第L層的輸出如式(2)所示。

XL=HL(XL-1)+XL-1

(1)

XL=HL([X0，X1，…，XL-1])

(2)

式中：HL()代表一個非線性轉(zhuǎn)換函數(shù)。式(2)中L層將之前所有層的特征圖[X0,X1,…,XL-1]合并作為輸入。通過利用Bottleneck Layer、Translation Layer，以及較小的Growth Rate使得該網(wǎng)絡(luò)變窄，在減少參數(shù)數(shù)量降低計算量的同時也降低了過擬合。DenseNet結(jié)構(gòu)的每一層都可以直接利用損失函數(shù)的梯度以及最開始的輸入信息，類似于是一種隱形的深度監(jiān)督(Implicit Deep Supervision)，這種方式使網(wǎng)絡(luò)的訓(xùn)練變得更加容易。

1.2 特征金字塔結(jié)構(gòu)

在肺結(jié)節(jié)檢測中，單幅CT影像序列往往存在著各種大小不一、形態(tài)各異的病灶區(qū)域，如何以較高的敏感度充分獲取多尺度感興趣區(qū)域以降低漏診率顯得至關(guān)重要。多尺度目標(biāo)檢測是計算機視覺領(lǐng)域中的一個重要問題，圖3為實現(xiàn)多尺度目標(biāo)檢測的演變過程。其中，圖3(a)為傳統(tǒng)檢測方案中依靠手動設(shè)計特征階段時的解決方案，這種方式需要在每個尺度上計算特征，導(dǎo)致速度非常緩慢。隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，出現(xiàn)圖3(b)所示方式，該種方式僅適用于單尺度特征，但由于網(wǎng)絡(luò)深度帶來的負(fù)面影響，使得語義信息差距極大。為解決多尺度特征問題，圖3(c)階段對大小不同的特征圖分別預(yù)測并進行綜合判定，初始SSD方法就是采用這種方式。然而其對于處理低層語義特征效果較弱，無法精準(zhǔn)進行小目標(biāo)的定位。為解決上述方法帶來的問題，圖3(d)所示的特征金字塔FPN應(yīng)運而生，將低語義、高分辨率信息與高語義、低分辨率信息相結(jié)合，從而獲取充分的信息。

(a) (b)

(c) (d)圖3 金字塔結(jié)構(gòu)

在傳統(tǒng)R-FCN算法中單利用圖像高層的卷積特征圖而忽略了圖像低層特征。在目標(biāo)檢測中，雖然網(wǎng)絡(luò)的高層特征語義信息十分豐富，但經(jīng)過層層pooling等操作后，會丟失很多細(xì)節(jié)信息，這些信息往往會對圖像中小目標(biāo)的檢測產(chǎn)生影響，從而使得小目標(biāo)的定位十分粗糙。為解決特征丟失引起的小目標(biāo)檢測困難的問題，將特征金字塔FPN結(jié)構(gòu)融入至R-FPN中，F(xiàn)PN主要包含兩個過程：① 自下而上的過程；② 自上而下的過程和橫向連接。通過運用該方式可將高層充分的語義信息映射回分辨率大、細(xì)節(jié)信息充分的低層特征，將高層與低層特征相結(jié)合使得所有尺度下的特征都有豐富的語義信息從而來提升小目標(biāo)的檢測精度。

1.3 RPN網(wǎng)絡(luò)改進

RPN是R-FCN中的重要組成部分，用于獲取圖像中的感興趣區(qū)域。RPN網(wǎng)絡(luò)將獲取到的最后一層特征通過大小為3×3的滑動窗口進行卷積操作，得到256通道的卷積層，隨后分別經(jīng)過兩個1×1的卷積用于實現(xiàn)分類與回歸，稱之為網(wǎng)絡(luò)頭部。其中圖像的背景與前景、邊界框的回歸是基于一組稱作錨的參考框加以定義，為覆蓋不同尺寸的目標(biāo)，錨有一組預(yù)先定義的比例及尺寸。原始RPN以特征圖中的每個點為中心生成三種比例，三種尺度共9種大小不同的錨點。其結(jié)構(gòu)示意圖如圖4所示。

圖4 原始RPN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

在肺結(jié)節(jié)檢測中，RPN網(wǎng)絡(luò)主要用于以高敏感度搜索CT影像中的疑似結(jié)節(jié)區(qū)域。為解決肺結(jié)節(jié)檢測中存在的準(zhǔn)確率低、小病灶定位粗糙的問題，現(xiàn)使用特征金字塔FPN結(jié)構(gòu)替換單一尺度的特征圖融入至RPN網(wǎng)絡(luò)中。由于網(wǎng)絡(luò)頭部需在金字塔每個層級的每個位置滑動，每個層級都對應(yīng)于原始圖像的不同尺度信息，現(xiàn)將原始RPN網(wǎng)絡(luò)中的尺度信息分離，使得每個層級僅使用單一尺度的錨點?，F(xiàn)根據(jù)肺結(jié)節(jié)較為固定的形態(tài)特征，重設(shè)RPN中的錨點數(shù)量及比例。將{82，162，322，482，642}這五種尺度的錨分別對應(yīng)于{P2，P3，P4，P5，P6}這五個特征層上，并將長寬比例設(shè)為1 ∶1。所以在金字塔中每個層級中的點均對應(yīng)五個錨點。錨的大小設(shè)置如圖5所示。即將單個RPN網(wǎng)絡(luò)擴展至五個RPN網(wǎng)絡(luò)，主網(wǎng)絡(luò)到RPN時由單通道擴展至五通道。其中尺度較大的錨用于檢測大結(jié)節(jié)區(qū)域，尺度較小的錨用于檢測小結(jié)節(jié)區(qū)域。最后，ProposalLayer會將輸出結(jié)果合并。

圖5 錨點設(shè)置

模型訓(xùn)練過程中將根據(jù)重疊交并比(Intersection over Union，IOU)進行后續(xù)邊界框的回歸，IOU定義如下：

(3)

IOU的取值介于[0,1]間，代表邊界框A與B的重疊程度，數(shù)值越大，重疊程度越高。本文將IOU大于0.7的定義為病灶區(qū)域，小于0.3的作為非病灶區(qū)域。

1.4 focal loss損失函數(shù)

在肺結(jié)節(jié)檢測模型的訓(xùn)練過程中會存在正樣本與負(fù)樣本比率嚴(yán)重失衡的問題，即數(shù)據(jù)集中各個類別的樣本數(shù)量極不均衡，從而使得分類模型產(chǎn)生嚴(yán)重的偏向性，導(dǎo)致模型無法學(xué)習(xí)少例樣本的特征最終產(chǎn)生預(yù)測失誤的結(jié)果。為解決上述問題，本文引入Lin等[13]提出的focal loss作為改進網(wǎng)絡(luò)的損失函數(shù)來解決訓(xùn)練樣本的非均衡性。focal loss的定義如下：

(4)

(5)

FL(pt)=-α(1-pt)γlog(pt)

(6)

式中：α和γ是參數(shù)，表明其對分類樣本的敏感度，α用于調(diào)節(jié)正負(fù)樣本不均衡，γ用于減少易分類樣本中的損耗；p為樣本的預(yù)測概率；y為樣本標(biāo)簽。

2 實 驗

2.1 實驗數(shù)據(jù)

本文使用美國國家癌癥研究所收集的肺部圖像數(shù)據(jù)庫(Lung Image Database Consortium，LIDC-IDRI)[14]。該數(shù)據(jù)庫由7個學(xué)術(shù)中心和8個醫(yī)學(xué)影像公司合作建立，為研究肺結(jié)節(jié)提供了一個權(quán)威且公開的標(biāo)準(zhǔn)。其中包括1 010個不同患者的1 018套病例，每個病人的CT影像切片都經(jīng)4位影像科醫(yī)生進行標(biāo)注診斷。由于CT影像來自于不同的設(shè)備，導(dǎo)致切片厚度也各不相同，所以首先需對數(shù)據(jù)進行采樣至1 mm×1 mm×1 mm，從而保證數(shù)據(jù)的一致性。

由于CT掃描圖像是包含所有肺部組織的，若直接使用會存在一些與檢測無關(guān)的干擾，故需要做一些預(yù)處理。首先根據(jù)放射劑量對胸腔內(nèi)的組織進行過濾，保留HU值范圍在[-500,400]初步去除胸腔等與肺結(jié)節(jié)檢測無關(guān)的組織。肺結(jié)節(jié)檢測時輸入為經(jīng)閾值法等步驟進行預(yù)處理后的患者CT影像序列。

2.2 肺結(jié)節(jié)檢測模型

肺結(jié)節(jié)檢測的目標(biāo)是實現(xiàn)在單幅CT影像找出全部病灶區(qū)域，并對各處病灶實現(xiàn)精準(zhǔn)分類以及病灶位置框的精確回歸?，F(xiàn)采用優(yōu)化后的R-FCN模型進行肺結(jié)節(jié)檢測實驗，把預(yù)處理后的CT影像送至網(wǎng)絡(luò)，使用DenseNet網(wǎng)絡(luò)對肺部CT影像序列進行訓(xùn)練，提升特征的復(fù)用能力。為了使RPN網(wǎng)絡(luò)更好地適應(yīng)FPN達到多尺度輸出的目的，將RPN的數(shù)量予以增加，使得主網(wǎng)絡(luò)在到達RPN部分時由單通道擴展至五通道，在訓(xùn)練過程中不斷優(yōu)化網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)。實驗顯示將FPN中每個層級中每個點均對應(yīng)大小為{82，162，322，482，642}、比例為1的五種尺度的錨點分別對應(yīng)于{P2，P3，P4，P5，P6}五個特征層時效果最好，不僅可以達到多尺度檢測的目的還可以提高小目標(biāo)檢測的敏感度。算法采用focal loss損失函數(shù)進行網(wǎng)絡(luò)訓(xùn)練從而解決訓(xùn)練過程中樣本不均衡的問題，根據(jù)文獻[13]將α設(shè)為2、γ設(shè)為0.25時具有最佳的效果。實驗證明，focal loss能夠提高識別精度并緩解樣本的不均衡性。圖6展示了訓(xùn)練過程中所提算法準(zhǔn)確率隨迭代次數(shù)的變化情況。

圖6 準(zhǔn)確率變化情況

為說明改進網(wǎng)絡(luò)對不同尺度肺結(jié)節(jié)病灶區(qū)域的敏感程度，根據(jù)結(jié)節(jié)大小將其分為三個層次，分別為直徑在5 mm以下的小尺度微小結(jié)節(jié)，直徑介于5～10 mm的中等尺度結(jié)節(jié)，以及直徑大于10 mm的大尺度結(jié)節(jié)?，F(xiàn)隨機抽取LIDC數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)，使用改進網(wǎng)絡(luò)對其進行檢測。圖7展示了融入FPN后模型對不同尺度病灶區(qū)域的識別概率樣例。

圖7 病灶及預(yù)測概率

可以看出，改進網(wǎng)絡(luò)對形狀復(fù)雜多樣的結(jié)節(jié)展現(xiàn)了良好的鑒別能力。當(dāng)病灶區(qū)域直徑較大時，網(wǎng)絡(luò)預(yù)測效果較高。但針對小尺度的結(jié)節(jié)，改進算法也能夠獲得正確的預(yù)測結(jié)果?，F(xiàn)對肺結(jié)節(jié)檢測的實驗效果進行評估，隨機選取單幅影像進行測試，改進網(wǎng)絡(luò)的檢測效果圖樣例如圖8所示。

圖8 檢測效果圖

為驗證改進算法的有效性，采取FROC(free-response receiver operating characteristic)準(zhǔn)則，通過計算CPM(competition performance metric)衡量算法性能。CPM是指平均每組CT圖像中假陽個數(shù)(FPs per scan)為不同值時的平均檢出率?，F(xiàn)進行以下三個實驗證實改進算法的有效性：1) 使用未改進的R-FCN結(jié)構(gòu)對肺結(jié)節(jié)進行檢測記為Model_1。2) 引入DenseNet對網(wǎng)絡(luò)性能的影響記為Model_2。3) 引入FPN并使用focal loss對網(wǎng)絡(luò)進行訓(xùn)練記為Model_3?，F(xiàn)隨機選取該數(shù)據(jù)庫下病人的CT影像資料進行實驗并采用FROC準(zhǔn)則通過計算CPM來評價算法對結(jié)節(jié)的檢測性能。表1對比顯示了三種網(wǎng)絡(luò)結(jié)構(gòu)與本文所提算法在LIDC數(shù)據(jù)集上對肺結(jié)節(jié)檢測的性能差異。

表1 不同模型的肺結(jié)節(jié)識別性能對比

通過觀察表1中肺結(jié)節(jié)的檢出率與平均每組CT圖像中的假陽個數(shù)之間的關(guān)系，可以看出所提算法在改進過程中網(wǎng)絡(luò)的識別性能在不斷優(yōu)化。將ResNet升級為DenseNet使網(wǎng)絡(luò)的識別性能得到有效提升，使用focal loss替代傳統(tǒng)的交叉熵代價函數(shù)使網(wǎng)絡(luò)具有更好的效果。最后引入FPN結(jié)構(gòu)可以進一步去除假陽，提升網(wǎng)絡(luò)的識別性能。實驗結(jié)果證實所提算法在肺結(jié)節(jié)檢測方面的識別性能明顯優(yōu)于原始方法。

現(xiàn)將所提算法與文獻[15]使用的Faster-RCNN模型、文獻[7]使用的多視角卷積神經(jīng)網(wǎng)絡(luò)模型以及文獻[16]使用的多視角深度信念網(wǎng)絡(luò)，通過表2對比顯示本文所提模型與其他檢測模型在不同F(xiàn)Ps/scan下的性能差異。

表2 各模型在不同F(xiàn)Ps per scan下的敏感度

通過觀察表1中肺結(jié)節(jié)的檢出率與平均每組CT圖像中的假陽個數(shù)之間的關(guān)系，可以看出所提算法CPM值高于其他算法達到0.876，在平均假陽數(shù)量在2、4、8時可達到91%以上的敏感度，網(wǎng)絡(luò)整體的識別性能有了較大提升。圖9對比展示了各模型的FROC曲線。

圖9 FROC曲線

通過對比FROC曲線可以看出針對肺結(jié)節(jié)檢測問題改進算法的識別性能在不斷提升，具有較高的敏感度。雖然在平均假陽數(shù)量為8時敏感度略低于文獻[16]，但其整體敏感度明顯優(yōu)于其他算法。綜合考慮，改進算法對于肺結(jié)節(jié)的檢測是一種極為有效的方式，可以為影像科醫(yī)生的診斷提供有效的第二意見，符合臨床使用要求。

3 結(jié) 語

針對以往肺結(jié)節(jié)檢測算法中存在的檢出率低及小結(jié)節(jié)定位粗糙的問題，提出結(jié)合FPN改進R-FCN的肺結(jié)節(jié)檢測算法。在病灶區(qū)域檢測上，對R-FCN網(wǎng)絡(luò)加以改進，引入DenseNet以加強特征的傳播復(fù)用，提升網(wǎng)絡(luò)效率。將FPN網(wǎng)絡(luò)融入到R-FCN中，并調(diào)整相關(guān)結(jié)構(gòu)及參數(shù)，融合不同層級特征圖的語義信息，以提升尺度較小結(jié)節(jié)的檢測精度并降低漏檢率。此外，算法還使用focal loss用于緩解訓(xùn)練過程中正負(fù)樣本不均衡的問題。使用該算法在LIDC數(shù)據(jù)集上進行檢測獲得了較好的結(jié)果，實驗結(jié)果表明，所提算法有效提升了檢測精度，降低小目標(biāo)的漏檢率。然而本文未充分考慮肺結(jié)節(jié)的空間立體性，在今后的過程中，可考慮將其擴展至三維神經(jīng)網(wǎng)絡(luò)，在解決小目標(biāo)定位問題的同時利用其空間信息進一步提升檢測精度。