顧軍華，孫哲然，王 鋒，戚永軍，張亞娟

1)河北工業(yè)大學(xué)河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室, 天津 300401；2)河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院, 天津 300401；3) 河北工業(yè)大學(xué)電子信息工程學(xué)院, 天津 300401；4) 北華航天工業(yè)學(xué)院信息技術(shù)中心, 河北廊坊 065000

肺癌是當(dāng)前人類疾病中最常見(jiàn)的惡性腫瘤之一[1]，早發(fā)現(xiàn)、早確診是降低死亡率的希望所在．醫(yī)學(xué)上將胸部電子計(jì)算機(jī)斷層掃描(computed tomography, CT)上的“肺部斑點(diǎn)”定義為肺部結(jié)節(jié)，肺結(jié)節(jié)是肺癌最重要的初期表征之一，如果能做到及早準(zhǔn)確發(fā)現(xiàn)肺結(jié)節(jié)，會(huì)大幅降低漏診率和誤診率．

計(jì)算機(jī)輔助診斷結(jié)果能夠?yàn)獒t(yī)生提供第二意見(jiàn)．盡管已經(jīng)有肺癌輔助診斷系統(tǒng)被用于協(xié)助放射科醫(yī)生閱讀胸部 CT，但一些容易發(fā)展成肺癌的結(jié)節(jié)常會(huì)因表現(xiàn)出類似良性病變而難以區(qū)分，如肺臟錯(cuò)構(gòu)瘤、肺結(jié)核球和霉菌球赫爾炎性假瘤等，易出現(xiàn)假陰性導(dǎo)致漏診；也可能將非病變解讀為病變，或?qū)⒘夹圆∽冋`解讀為惡性，導(dǎo)致假陽(yáng)性結(jié)果．因此，判別肺結(jié)節(jié)惡性度的計(jì)算機(jī)輔助診斷技術(shù)仍需不斷的發(fā)展和改進(jìn)． 早期傳統(tǒng)的醫(yī)學(xué)圖像分類方法依賴于手動(dòng)提取特征和分類器分類兩個(gè)步驟，特征提取是肺結(jié)節(jié)良惡性分類的關(guān)鍵．傳統(tǒng)的肺結(jié)節(jié)良惡性特征提取方法主要從生長(zhǎng)速度、紋理特性、形狀特性和多特征融合來(lái)設(shè)計(jì)．ELBAZ 等[2]將兩步標(biāo)記方法用于精確地監(jiān)測(cè)相應(yīng)結(jié)節(jié)之間的體積變化，能夠有效判斷肺結(jié)節(jié)良惡性，缺點(diǎn)是需長(zhǎng)時(shí)間跟蹤結(jié)節(jié)變化．WAY等[3]先分割結(jié)節(jié)，再提取紋理特征來(lái)訓(xùn)練一個(gè)線性判別分類器．HAN等[4]對(duì)多個(gè)方向上的多個(gè)相鄰體素之間的關(guān)系進(jìn)行紋理特征分析．常用良惡性分類器包括支持向量機(jī)和k近鄰等．SCHILHAM 等[5]提取的結(jié)節(jié)特征并輸入到k近鄰分類器中進(jìn)行訓(xùn)練，但該方法發(fā)生假陽(yáng)性的概率很高．

基于深度學(xué)習(xí)的肺癌輔助診斷日漸成為該領(lǐng)域最為活躍的研究方向之一，它可將特征表示和分類器分類結(jié)合到一個(gè)模型當(dāng)中，進(jìn)行一體化的學(xué)習(xí)，特別是深度卷積神經(jīng)網(wǎng)絡(luò)，能自動(dòng)學(xué)習(xí)到圖像不同層次的特征信息，實(shí)現(xiàn)端到端的分類. 卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)局部感知的特點(diǎn)決定了其在提取自然圖像或者醫(yī)學(xué)圖像特征的過(guò)程是從局部到全局、從低級(jí)特征到高級(jí)語(yǔ)義特征，許多方法通過(guò)改進(jìn)卷積層的數(shù)量和組合方式，來(lái)達(dá)到分類效果的提升．KUMAR等[6]應(yīng)用自動(dòng)編碼器網(wǎng)絡(luò)提取肺結(jié)節(jié)特征，采用二叉決策樹(shù)對(duì)結(jié)節(jié)良惡性進(jìn)行分類，并在肺圖像聯(lián)合數(shù)據(jù)庫(kù)(lung image database consortium, LIDC-IDRI)[7]上獲得了75.01%的準(zhǔn)確率，該方法在敏感性方面有較大提升，但分類準(zhǔn)確率相對(duì)較差．多視角方法在肺結(jié)節(jié)診斷中被廣泛應(yīng)用．SETIO等[8]基于肺結(jié)節(jié)的實(shí)性結(jié)節(jié)、亞實(shí)性結(jié)節(jié)和實(shí)性大結(jié)節(jié)3種形態(tài)，設(shè)計(jì)了對(duì)應(yīng)的二維卷積檢測(cè)模型，對(duì)于每個(gè)候選對(duì)象，從不同方向的平面提取一組二維切片，輸入網(wǎng)絡(luò)中，并使用特定融合方法將結(jié)果進(jìn)行組合． XIE等[9]對(duì)每個(gè)三維結(jié)節(jié)提取了9種不同視角下的二維圖像，除了在每個(gè)二維平面切片以外，在三維立方體的不同的對(duì)角方向也進(jìn)行了切片，從不同視角表征結(jié)節(jié)質(zhì)異性，并采用十折交叉進(jìn)行了驗(yàn)證，在LIDC-IDRI數(shù)據(jù)庫(kù)上最終達(dá)到了平均92.53%的準(zhǔn)確率．以上的多視角結(jié)節(jié)良惡性診斷方法從不同角度提取結(jié)節(jié)特征，但仍不可避免的存在因結(jié)節(jié)信息丟失，難以對(duì)圖像進(jìn)行全面和深層次解析而導(dǎo)致結(jié)節(jié)診斷精度較低的問(wèn)題．DEY等[10]設(shè)計(jì)了4個(gè)雙通路3維卷積神經(jīng)網(wǎng)絡(luò)MoDenseNet(multi-output dense connection)用于肺結(jié)節(jié)的診斷，選取LIDC數(shù)據(jù)集中的686個(gè)結(jié)節(jié)進(jìn)行訓(xùn)練，獲得了 90.4%的準(zhǔn)確率，分類準(zhǔn)確率雖然獲得了較大提升，但因模型中采用的密集網(wǎng)絡(luò)易造成特征爆炸，不易于訓(xùn)練．ZUO等[11]利用卷積神經(jīng)網(wǎng)絡(luò)用作肺結(jié)節(jié)的邊緣檢測(cè)，并將模型改進(jìn)為一個(gè)適合于圖像分類任務(wù)的多分辨率模型，使用LUNA16數(shù)據(jù)集中3種不同大小的結(jié)節(jié)圖片進(jìn)行多分辨率測(cè)試，準(zhǔn)確率均超過(guò)92.81%．

現(xiàn)有方法中，許多模型在效率和精度方面得到了有效提升，但相對(duì)復(fù)雜的模型往往容易過(guò)擬合，而簡(jiǎn)單模型則會(huì)出現(xiàn)提取的圖像特征單一，對(duì)圖像的表達(dá)會(huì)比較片面，難以充分表示醫(yī)學(xué)圖像信息的缺點(diǎn)．特別是針對(duì)肺結(jié)節(jié)這類微小目標(biāo)識(shí)別分類問(wèn)題時(shí)，更需要在多個(gè)條件下提取特征，做到特征的全面表達(dá)．

本研究針對(duì)由于肺結(jié)節(jié)結(jié)構(gòu)復(fù)雜，其形態(tài)容易根據(jù)其位置、尺寸和類型的不同而動(dòng)態(tài)變化，導(dǎo)致肺結(jié)節(jié)CT圖像特征提取不全面的問(wèn)題，提出一個(gè)新的多尺度特征融合網(wǎng)絡(luò)(multi-scale feature fusion network, MSFFNet)，用于肺結(jié)節(jié)良惡性自動(dòng)分類，在公開(kāi)數(shù)據(jù)集LIDC-IDRI上做了大量的實(shí)驗(yàn)，達(dá)到了97.2%的準(zhǔn)確率．

1 特征提取與融合模型MSFFNet

本研究提出的肺結(jié)節(jié)分類模型MSFFNet旨在提取更高層次的語(yǔ)義信息和更全面的結(jié)節(jié)特征．首先，對(duì)輸入的肺結(jié)節(jié)CT圖像在單層卷積層中用多個(gè)不同大小的卷積核來(lái)卷積，在不同尺度提取不同范圍的肺結(jié)節(jié)特征信息；之后，聚合多種不同感受野(receptive field)的特征獲得性能增益，在通道維度中拼接這些特征，融合特征被輸入到3個(gè)連續(xù)的SE-ResNeXt模塊中，以提取更高層次的語(yǔ)義信息；最后，特征經(jīng)過(guò)全局平均池化和全連接操作，經(jīng)過(guò)softmax函數(shù)[12]輸出良惡性分類結(jié)果．圖1為本研究提出的肺結(jié)節(jié)良惡性分類模型．

圖1 多尺度特征融合的肺結(jié)節(jié)良惡性分類模型Fig.1 Classification model of pulmonary nodules based on multi-scale feature fusion

1.1 多尺度特征提取與融合

卷積核尺寸決定了特征圖感受野的大?。舾惺芤疤?，可能會(huì)阻礙模型對(duì)微小目標(biāo)的分類；反之，若感受野太小，會(huì)使網(wǎng)絡(luò)忽略輸入數(shù)據(jù)的全局信息．卷積操作通常是將卷積核作為窗口在輸入圖像上以一定的步長(zhǎng)滑動(dòng)，并在相應(yīng)的位置作加權(quán)和．一張長(zhǎng)寬都為m的肺CT圖像，若步長(zhǎng)為z，k(k≤m)個(gè)邊長(zhǎng)為n的卷積核卷積，會(huì)得到k個(gè)大小為(m-n)/z+1的特征圖．考慮到肺結(jié)節(jié)的位置多是非固定狀態(tài)，且不同肺結(jié)節(jié)的形態(tài)和大小也存在很大差異，因此，相應(yīng)的結(jié)節(jié)特征也需從不同范圍中提?。煌叨鹊木矸e核表示不同范圍的感受野，可獲取更全面的結(jié)節(jié)特征信息．圖1中的(a)為多尺度特征提取與融合過(guò)程.其中，Ⅰ為網(wǎng)絡(luò)的多尺度提取部分，conv表示卷積操作，具體方法是將輸入的肺結(jié)節(jié)圖像分別經(jīng)過(guò)4個(gè)不同尺寸的卷積核(1×1、3×3、5×5和7×7)，深度為64的卷積層，步長(zhǎng)為2，使用填充(padding)操作保持輸出特征圖大小與輸入保持一致．特征融合過(guò)程如圖1中Ⅱ所示．卷積后獲得的4種特征進(jìn)行通道拼接(concatenate)，網(wǎng)絡(luò)在執(zhí)行這一步驟的同時(shí)完成特征融合過(guò)程．多尺度特征融合過(guò)程即特征向量的拼接，表示為

Z=[Z1,Z2,Z3,Z4]

(1)

其中，Z1、Z2 、Z3和Z4分別為卷積獲得的4種特征向量，對(duì)應(yīng)的特征通道數(shù)分別為m,n,p和q．Z對(duì)應(yīng)的通道數(shù)為C，C=m+n+p+q．

1.2 特征重調(diào)

特征重調(diào)是通過(guò)對(duì)特征圖進(jìn)行兩次維度的變換，捕捉通道之間的特征關(guān)系，將特征按照重要性程度排序，獲得結(jié)節(jié)分類的判別特征，使特征具有高度的層次性．此過(guò)程主要依靠引入SE-ResNeXt網(wǎng)絡(luò)模塊來(lái)實(shí)現(xiàn)．

1.2.1 SE-ResNeXt基本理論

在MSFFNet模型中引入的SE-ResNeXt 模塊是將縮聚-激發(fā)網(wǎng)絡(luò)(squeeze-and-excitation networks, SENet[13])模塊插入到ResNeXt[14]中得到的，它同時(shí)具備了兩者的優(yōu)點(diǎn)，即在網(wǎng)絡(luò)層數(shù)遞增的同時(shí)，減小網(wǎng)絡(luò)退化，又能建立特征通道之間的關(guān)聯(lián)，提升結(jié)節(jié)分類效果.

SENet可作為單獨(dú)模塊插入現(xiàn)有的多種分類網(wǎng)絡(luò)中．其中，最關(guān)鍵的兩個(gè)步驟是縮聚(squeeze)操作和激發(fā)(excitation)操作．前者利用全局平均池化在空間維度壓縮特征，把每個(gè)通道的二維特征變成一個(gè)實(shí)數(shù)，該實(shí)數(shù)代表了特征通道上響應(yīng)的全局分布；后者通過(guò)學(xué)習(xí)參數(shù)W為每個(gè)特征通道生成權(quán)重，此權(quán)重被用來(lái)顯式地對(duì)特征通道之間的相關(guān)性進(jìn)行建模．

SENet圖像分類算法流程為：

1) 用3×3大小的卷積核，對(duì)有C′個(gè)通道，大小為H′×W′的輸入圖像X進(jìn)行卷積(加權(quán)和計(jì)算)，卷積后得到C個(gè)大小為H×W的特征圖U，其第c個(gè)特征圖uc的輸出[13]為

(2)

其中，該卷積核的權(quán)重組合為V,V=[v1,v2, …,vC]，vc是第c個(gè)卷積核；vlc為第c個(gè)卷積核作用于第l個(gè)輸入；xl=(xij)l表示第l個(gè)輸入的特征圖，l=1, 2, …,C′．

2) 進(jìn)行squeeze操作．將C個(gè)H×W大小的特征圖U作為輸入，經(jīng)過(guò)全局平均池化，轉(zhuǎn)換成C個(gè)大小為1×1的特征輸出m．因此，第c個(gè)特征圖uc的全局平均池化輸出[13]為

(3)

3) 進(jìn)行excitation操作．如式(4)，將m先后和網(wǎng)絡(luò)學(xué)習(xí)到的參數(shù)W1和W2相乘，即兩個(gè)全連接操作．經(jīng)過(guò)這兩個(gè)全連接操作，實(shí)現(xiàn)了通道維度的變換，得到輸出權(quán)重為

s=σ(g(m,W))=σ(W2δ(W1m))

(4)

其中，δ()為ReLU激活層；σ()為sigmoid激活函數(shù)．

ResNeXt網(wǎng)絡(luò)模型是由殘差網(wǎng)絡(luò)為基礎(chǔ)改進(jìn)得到的，高度模塊化且易于搭建，通過(guò)聚合相同的拓?fù)浣Y(jié)構(gòu)，增加了分支卷積策略，path為分支數(shù)，則可在不增加參數(shù)復(fù)雜度的前提下提高模型準(zhǔn)確率．圖2為path=32時(shí)的ResNeXt結(jié)構(gòu)示意．

圖2 path=32的ResNeXt結(jié)構(gòu)[14]Fig.2 ResNeXt structure of path = 32[14]

1.2.2 特征重調(diào)過(guò)程

在MSFFNet模型中，肺CT圖像經(jīng)圖1(a)過(guò)程后，將得到的特征圖輸入到SE-ResNeXt圖像分類模塊，經(jīng)過(guò)一個(gè)3×3的卷積操作，再將3個(gè)連續(xù)的SE-ResNeXt模塊嵌入網(wǎng)絡(luò)，對(duì)應(yīng)的輸出通道數(shù)分別為64、128和256個(gè)，在充分增加網(wǎng)絡(luò)深度的前提下提高了模型準(zhǔn)確率，緩解了網(wǎng)絡(luò)退化，同時(shí)能夠捕捉通道間特征依賴關(guān)系．對(duì)融合后的特征進(jìn)行扁平化處理，再把多維特征一維化，作為卷積層到全連接層的過(guò)渡，經(jīng)過(guò)全連接層輸出256維特征，利用softmax函數(shù)分別輸出良性結(jié)節(jié)和惡性結(jié)節(jié)的分類概率．

圖1(b)展示了本研究使用的SE-ResNeXt結(jié)構(gòu)．其中，C為輸入或輸出特征的通道數(shù)；C/r表示將特征維度降低到輸入的1/r， 以此來(lái)降低計(jì)算量，本研究設(shè)r=4， 經(jīng)過(guò)一個(gè)全連接層并采用ReLU激活函數(shù)激活后，降維的特征升回到原來(lái)的維度，大幅減少了計(jì)算復(fù)雜度．經(jīng)過(guò)sigmoid函數(shù)激活，獲得歸一化的權(quán)重，它將輸出特征映射到(0, 1)的區(qū)間，在用于特征相差不大時(shí)展現(xiàn)出較好的分類問(wèn)題效果，且單調(diào)遞增又容易被優(yōu)化．經(jīng)過(guò)sigmoid函數(shù)激活后，歸一化的權(quán)重被加權(quán)到每個(gè)通道的特征上，從而可獲得通道特征的重要性排序．特征重排序操作過(guò)程為

xc=Fscale(uc,sc)=sc·uc

(7)

其中，X=(xc)，c=1, 2, …,C；uc為第c個(gè)通道特征的二維矩陣；sc為對(duì)應(yīng)的權(quán)重．當(dāng)前特征通道二維矩陣的每個(gè)值都乘以該權(quán)重，這些權(quán)重代表了每個(gè)特征通道的重要程度．將它們加權(quán)到先前C個(gè)通道的特征上，得到X，完成對(duì)原特征的重新標(biāo)定，增強(qiáng)重要的特征，削弱不重要的特征，進(jìn)一步提升了模型的分類效果．

2 MSFFNet模型配置與訓(xùn)練

2.1 網(wǎng)絡(luò)配置

MSFFNet網(wǎng)絡(luò)配置如表1．其中，multi_conv為多尺度卷積；conv為卷積操作；stride為步長(zhǎng)，卷積步驟的分支數(shù)path=8；fc為全連接，其參數(shù)為C/r和C，C為特征通道數(shù)， 當(dāng)r=4時(shí)，C/r為excitaiton操作中將特征維度降低到輸入的1/4．

表1 網(wǎng)絡(luò)配置

2.2 損失函數(shù)

MSFFNet使用如式(8)的交叉熵?fù)p失函數(shù)H(p,q)來(lái)衡量真實(shí)概率分布與預(yù)測(cè)概率分布之間的差異，函數(shù)值越小，模型預(yù)測(cè)效果越好．交叉熵便于梯度下降反向傳播，利于優(yōu)化，常用于識(shí)別圖像類別問(wèn)題．

(8)

其中，p為類別標(biāo)簽；q為模型輸出的實(shí)際值．交叉熵用來(lái)判定實(shí)際值和預(yù)測(cè)值的接近程度，因此，通常最后一個(gè)輸出層的節(jié)點(diǎn)數(shù)量與最終分類的目標(biāo)數(shù)量相等，在本研究的MSFFNet模型中，表示輸出一個(gè)二維數(shù)組，其每個(gè)維度對(duì)應(yīng)一個(gè)類別．

2.3 訓(xùn)練參數(shù)

設(shè)學(xué)習(xí)率為0.01，對(duì)MSFFNet肺結(jié)節(jié)良惡性分類模型進(jìn)行訓(xùn)練．設(shè)衰減率為5×10-4，加入L2正則化和dropout[15]防止過(guò)擬合，同時(shí)加入批量歸一化[16]，以解決梯度消失問(wèn)題，并設(shè)輸入數(shù)據(jù)的批量大小batch size為16，模型總迭代次數(shù)為1 744次，模型在160次遍歷后收斂到最優(yōu)值．

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與預(yù)處理

3.1.1 LIDC-IDRI數(shù)據(jù)集

LIDC-IDRI(https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI)數(shù)據(jù)集包括1 018個(gè)肺結(jié)節(jié)CT掃描實(shí)例，結(jié)節(jié)直徑范圍為3～30 mm，由4個(gè)放射科醫(yī)生提供2個(gè)階段的診斷標(biāo)注，每個(gè)圖像包含至少1個(gè)肺結(jié)節(jié)．所有結(jié)節(jié)的惡性程度，由放射科醫(yī)生在等級(jí)1～5之間進(jìn)行評(píng)判，評(píng)判等級(jí)越高表示惡性程度越高，患癌風(fēng)險(xiǎn)越大．圖3展示了良性和惡性結(jié)節(jié)的形態(tài)．

圖3 五種不同惡性度的肺結(jié)節(jié)Fig.3 Five lung nodules with different malignancies

3.1.2 數(shù)據(jù)增強(qiáng)

由于肺結(jié)節(jié)相對(duì)于整張CT圖像來(lái)說(shuō)，面積占比往往非常小，既使是惡性結(jié)節(jié)，也只占很小一部分，肺實(shí)質(zhì)等構(gòu)造對(duì)模型的訓(xùn)練會(huì)產(chǎn)生一定程度的影響；此外，良性結(jié)節(jié)的圖像數(shù)量往往多于惡性結(jié)節(jié)的，這種類別不平衡也會(huì)影響分類性能．因此，本研究采用以下預(yù)處理方法：對(duì)原始圖片進(jìn)行像素提取，以去除原始結(jié)節(jié)中潛在的冗余信息，每張圖片的大小最終為64×64像素. 隨機(jī)選取部分圖像并對(duì)每張圖像都進(jìn)行-10°、-5°、5°和10°的旋轉(zhuǎn)操作，再采用增加高斯噪聲和椒鹽噪聲的方法對(duì)圖像進(jìn)行變換，以增強(qiáng)模型的魯棒性．預(yù)處理后每類結(jié)節(jié)圖像數(shù)量相等，共包含16 385張肺結(jié)節(jié)圖像，由于評(píng)分為3的未知等級(jí)的結(jié)節(jié)存在不確定性，影響模型的訓(xùn)練效果，因此，本研究?jī)H從這些樣本中取評(píng)分為1和2的結(jié)節(jié)將其劃分為良性，評(píng)分4和5的結(jié)節(jié)劃分為惡性，最終每個(gè)等級(jí)樣本分布情況如表2．

表2 各等級(jí)樣本數(shù)據(jù)量分布

3.2 評(píng)價(jià)指標(biāo)

在肺結(jié)節(jié)分類問(wèn)題中，準(zhǔn)確率(accurary)是判定模型分類性能的重要指標(biāo)．本研究設(shè)準(zhǔn)確率為分類正確的樣本數(shù)與總體樣本數(shù)之比，即

accurary=T/(T+N)

(9)

其中，T為正確分類的樣本數(shù)；N為被錯(cuò)誤分類的樣本數(shù)；T+N為總樣本數(shù)．

此外，低誤診率和低錯(cuò)診率也是肺結(jié)節(jié)分類研究所追求的重要目標(biāo)．本研究選用受試者工作特征(receiver operation characteristic, ROC)曲線、敏感性(sensitivity)和特異性(specificity)作為評(píng)定指標(biāo)．敏感性指真正有病的患者中被確診為患者的數(shù)量，也稱真陽(yáng)性率，如式(10)．特異性表示真正無(wú)病的患者中被確診為無(wú)病的數(shù)量，如式(11)．

sensitivity=TP/(TP+FN)

(10)

specificity=TN/(FP+TN)

(11)

其中，TP為真陽(yáng)性，即真實(shí)數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)都是陽(yáng)性；FP為假陽(yáng)性，表示真實(shí)數(shù)據(jù)為陰性，預(yù)測(cè)結(jié)果為陽(yáng)性；TN為真陰性，表示真實(shí)數(shù)據(jù)為陰性，預(yù)測(cè)結(jié)果為陰性；FN為假陰性，表示真實(shí)數(shù)據(jù)為陽(yáng)性，預(yù)測(cè)結(jié)果為陰性．

4.3 實(shí)驗(yàn)結(jié)果對(duì)比

為找到可以使模型的分類表現(xiàn)達(dá)到最優(yōu)的卷積核尺寸組合，本研究分別驗(yàn)證了單一尺寸、2種、3種、4種以及5種不同尺寸的卷積核對(duì)肺結(jié)節(jié)分類表現(xiàn)的影響，實(shí)驗(yàn)結(jié)果如圖4．

圖4 多尺度卷積核的種類對(duì)分類性能的影響Fig.4 (Color online) The influence of the types of multi-scale convolution kernels on classification performance

由圖4可見(jiàn)，單一尺寸的卷積核分類效果最差；采用4種不同尺寸的卷積操作時(shí)，所得準(zhǔn)確率最優(yōu)；采用5種不同尺寸的卷積時(shí)，所得準(zhǔn)確率和敏感性都出現(xiàn)了一定程度的下降，而特異性指標(biāo)升高，這意味著模型的誤診率相對(duì)較低，但準(zhǔn)確率不高．因此，綜合準(zhǔn)確率、特異性和敏感性指標(biāo)后，本研究采用4種不同尺寸的卷積核進(jìn)行多尺度卷積，以期使模型的分類效果達(dá)到最佳．

為驗(yàn)證SE-ResNeXt模塊數(shù)量對(duì)肺結(jié)節(jié)診斷效果的影響，分別對(duì)比了不同數(shù)量SE-ResNeXt模塊的診斷結(jié)果，如圖5．

圖5 SE-ResNeXt模塊數(shù)量對(duì)分類準(zhǔn)確率的影響Fig.5 The effect of the number of SE-ResNeXt blocks on the classification accuracy

由圖5可見(jiàn)，前期肺結(jié)節(jié)良惡性分類準(zhǔn)確率隨著SE-ResNeXt模塊數(shù)量的增加而逐漸提高，但后期隨著模塊數(shù)量的增加，參數(shù)增多，模型復(fù)雜度亦增大，當(dāng)SE-ResNeXt模塊數(shù)量增至4個(gè)時(shí)，分類準(zhǔn)確率開(kāi)始下降．因此可認(rèn)為，SE-ResNeXt模塊數(shù)量為3時(shí)，MSFFNet模型擁有最優(yōu)的結(jié)節(jié)良惡性分類效果，此時(shí)模型的分類準(zhǔn)確率為97.2%，敏感性為98.62%，特異性為96.14%．

分別將MSFFNet與卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks, CNNs)[17]和SE-ResNeXt[13]的實(shí)驗(yàn)結(jié)果進(jìn)行比較，得到ROC曲線如圖6．由圖6可見(jiàn)，CNNs模型的分類效果相對(duì)較差，MSFFNet模型肺結(jié)節(jié)良惡性的分類效果最優(yōu)．

圖6 不同肺結(jié)節(jié)良惡性分類方法的ROC曲線Fig.6 ROC curve of different classification methods of pulmonary nodules

圖7是采用MSFFNet模型和3種傳統(tǒng)經(jīng)典肺結(jié)節(jié)分類模型，包括CNNs[17]、堆棧自編碼器(stacked autoencoder, SAE)[17]和VGG[18]，在準(zhǔn)確率、特異性和敏感性方面的分類結(jié)果．由圖7可見(jiàn)，MSFFNet模型可將良惡性分類準(zhǔn)確率提升到97.2%，性能最佳．

圖7 MSFFNet與經(jīng)典分類模型的分類性能比較Fig.7 Comparison between MSFFNet and classical classification models

為驗(yàn)證MSFFNet分類模型性能，本研究將改進(jìn)前的SE-ResNeXt分類模型以及近兩年提出的其他幾種肺結(jié)節(jié)良惡性分類方法在LIDC-IDRI預(yù)處理數(shù)據(jù)集上進(jìn)行比較，結(jié)果如表3. 由表3可見(jiàn)，MSFFNet模型不論是在準(zhǔn)確率還是特異性和敏感性方面都具備更強(qiáng)的表現(xiàn)力，在模型的多卷積設(shè)計(jì)以及特征融合策略方面對(duì)比單獨(dú)的SE-ResNeXt分類網(wǎng)絡(luò)，MSFFNet模型的肺結(jié)節(jié)的良惡性分類結(jié)果優(yōu)于其他分類模型．

表3 LIDC數(shù)據(jù)集上不同肺結(jié)節(jié)分類方法比較1)Table 3 Performance comparisons of different pulmonary nodule classification methods on the LIDC dataset %

1)灰底數(shù)值為該指標(biāo)上取得的最優(yōu)結(jié)果

結(jié) 語(yǔ)

本研究提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度特征融合的肺結(jié)節(jié)惡性度分類方法，首次在肺結(jié)節(jié)分類問(wèn)題中采用 SE-ResNeXt模塊，在加深網(wǎng)絡(luò)深度，提取更高級(jí)別語(yǔ)義信息的同時(shí)，減少了網(wǎng)絡(luò)退化問(wèn)題，表明多卷積的特征融合方法可改善網(wǎng)絡(luò)模型的分類性能．對(duì)比實(shí)驗(yàn)結(jié)果證明，模型在肺結(jié)節(jié)良惡性分類方面能夠表現(xiàn)出有效的分類結(jié)果．下一步我們將從超參數(shù)設(shè)計(jì)和損失函數(shù)等方面進(jìn)行優(yōu)化，結(jié)合現(xiàn)有計(jì)算機(jī)輔助診斷系統(tǒng)或網(wǎng)絡(luò)端，在臨床應(yīng)用中進(jìn)一步驗(yàn)證模型的可行性．