吳柯薇 白 玫*

世界上約有6%的成年人患有冠心病(coronary heart disease，CHD)，冠狀動(dòng)脈粥樣硬化會(huì)導(dǎo)致血管閉塞從而危機(jī)生命[1]。隨著我國(guó)老齡化情況不斷加重，全國(guó)范圍內(nèi)CHD患者明顯增多，CHD已經(jīng)成為威脅人們身體健康的主要疾病之一。冠狀動(dòng)脈造影作為診斷冠狀動(dòng)脈狹窄的金標(biāo)準(zhǔn)，因其有創(chuàng)，風(fēng)險(xiǎn)大，檢查費(fèi)用高，目前不作為臨床診斷CHD的首選。隨著CT硬件技術(shù)的不斷更新和CT血管造影(computed tomography angiography，CTA)技術(shù)的普及，冠狀動(dòng)脈CT血管造影(coronary computed tomography angioplasty，CCTA)技術(shù)在CHD的診斷過(guò)程中應(yīng)用越來(lái)越廣泛。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNNs)作為深度學(xué)習(xí)(Deep learning)的一種技術(shù)備受關(guān)注，該技術(shù)已經(jīng)被廣泛地應(yīng)用于一系列復(fù)雜的圖像處理案例中，例如圖像識(shí)別，圖像分類(lèi)和目標(biāo)檢測(cè)[2]。CNNs不用人工提取圖像特征，而是自主學(xué)習(xí)輸入圖像的特征，從第一次成功應(yīng)用于肺結(jié)節(jié)的檢測(cè)后，已經(jīng)被廣泛應(yīng)用于醫(yī)學(xué)圖像處理的各個(gè)領(lǐng)域[3]。

本研究為了提高分析的效率和準(zhǔn)確率，通過(guò)深度學(xué)習(xí)技術(shù)，構(gòu)建冠狀動(dòng)脈CTA圖像斑塊識(shí)別模型。對(duì)已有的常規(guī)圖片識(shí)別模型進(jìn)行遷移學(xué)習(xí)，對(duì)模型進(jìn)行預(yù)訓(xùn)練和微調(diào)，從而提升模型對(duì)于醫(yī)學(xué)圖像的特征提取能力，進(jìn)而獲得更好的精度，達(dá)到可應(yīng)用于臨床計(jì)算機(jī)輔助診斷的要求，為診斷醫(yī)生精準(zhǔn)的判斷提供參考[4]。

1 冠狀動(dòng)脈CTA圖像斑塊的識(shí)別算法

建立殘差網(wǎng)絡(luò)(residual network，ResNet)模型對(duì)CCTA圖像有無(wú)斑塊進(jìn)行識(shí)別。使用ResNet模型對(duì)冠狀動(dòng)脈CTA圖像進(jìn)行自動(dòng)分類(lèi)，該模型主要分為源數(shù)據(jù)的預(yù)訓(xùn)練、遷移學(xué)習(xí)、目標(biāo)數(shù)據(jù)的微調(diào)訓(xùn)練、模型性能的檢驗(yàn)等內(nèi)容。模型流程見(jiàn)圖1。

圖1 模型流程圖

1.1 ResNet卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在特征學(xué)習(xí)中至關(guān)重要，常規(guī)認(rèn)為網(wǎng)絡(luò)設(shè)計(jì)的越深越好，但實(shí)際網(wǎng)絡(luò)越深會(huì)遇到更多問(wèn)題，主要問(wèn)題是梯度消失和梯度爆炸[5]。將最新一代卷積神經(jīng)網(wǎng)絡(luò)(深度殘差神經(jīng)網(wǎng)絡(luò)，ResNet-152)[6]引入殘差連接，能夠在深層次的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)解決其性能退化問(wèn)題。而殘差連接可以加速深度網(wǎng)絡(luò)的收斂，并通過(guò)大幅度提高網(wǎng)絡(luò)深度來(lái)保持準(zhǔn)確率的提高。ResNet基本結(jié)構(gòu)單元見(jiàn)圖2。

圖2 ResNet基本結(jié)構(gòu)單元

ResNet模型基本思想是提出一個(gè)殘差學(xué)習(xí)結(jié)構(gòu)，將原來(lái)需要學(xué)習(xí)的函數(shù)H(x)變?yōu)镕(x)+x，這種擬合函數(shù)的求解要比之前求解H(x)簡(jiǎn)單。根據(jù)圖像中的殘差向量編碼，通過(guò)一個(gè)重制，將一個(gè)問(wèn)題分解成多尺度的殘差問(wèn)題，以解決深度網(wǎng)絡(luò)訓(xùn)練優(yōu)化難的問(wèn)題。因此，ResNet網(wǎng)絡(luò)與之前的CNNs網(wǎng)絡(luò)相比，在深度增加的同時(shí)網(wǎng)絡(luò)性能也得到了提升[7]。

利用ResNet模型，進(jìn)行冠狀動(dòng)脈CTA圖像斑塊的識(shí)別，并且研究了不同深度的ResNet網(wǎng)絡(luò)，進(jìn)行反復(fù)對(duì)比，選擇最適合臨床應(yīng)用的最適宜層數(shù)的ResNet。不同深度ResNet的網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)表1。

1.2 圖像預(yù)處理

1.2.1 CCTA圖像后處理

CCTA的原始圖像中不僅包含冠狀動(dòng)脈，還包含有心肌、骨骼及軟組織。為了更準(zhǔn)確的識(shí)別出目標(biāo)血管的斑塊信息，本研究所識(shí)別的CCTA圖像是經(jīng)過(guò)三維重建后處理的冠狀動(dòng)脈血管圖像。三維后處理可以選擇的二維(two dimensional，2D)圖像有曲面重建(curve planar reformation，CPR)圖和拉直圖像，但拉直圖像會(huì)導(dǎo)致冠狀動(dòng)脈內(nèi)部形態(tài)發(fā)生改變，而形態(tài)輪廓信息也是判斷斑塊的重要信息，因此本研究選擇的是冠狀動(dòng)脈的CPR圖像。冠狀動(dòng)脈CTA重建見(jiàn)圖3。

1.2.2 圖像歸一化

ResNet 需要使用固定大小的圖像作為輸入(227×227或224×224)。將圖像進(jìn)行尺度調(diào)整，使所有圖像具有相同的大小，以便進(jìn)行訓(xùn)練或特征提取。首先將后處理圖像去除無(wú)效區(qū)域后調(diào)整圖像大小到256×256像素矩陣，轉(zhuǎn)換成聯(lián)合攝影組(joint photographic group，JPG)格式保存，建立統(tǒng)一數(shù)據(jù)集。通過(guò)減去在整個(gè)訓(xùn)練數(shù)據(jù)集上計(jì)算出的平均像素值來(lái)對(duì)圖像進(jìn)行歸一化。

表1 不同深度ResNet的網(wǎng)絡(luò)結(jié)構(gòu)

圖3 冠狀動(dòng)脈CTA重建圖

1.3 softmax分類(lèi)器

卷積神經(jīng)網(wǎng)絡(luò)采用softmax[8]分類(lèi)器，softmax層接在全連接層后。softmax層的輸出為一個(gè)概率分布，可以得到輸入屬于每一種類(lèi)別的概率，且輸出概率總和為1，輸出概率的計(jì)算為公式1：

式中k的值為2(本研究是二分類(lèi)問(wèn)題，故k=2)。

2 ResNet的CCTA圖像斑塊識(shí)別實(shí)驗(yàn)

2.1 數(shù)據(jù)集

數(shù)據(jù)集中的CCTA圖像來(lái)源于醫(yī)院有數(shù)字減影血管造影(digital subtraction angiography，DSA)對(duì)照的100例患者。100例患者均選擇三支冠狀動(dòng)脈的CPR圖像，分別為右冠狀動(dòng)脈(right coronary artery，RCA)，前降支(anterior descending artery，LDA)，左回旋支(left circumflex artery，LCX)。CPR在重建時(shí)選擇360°內(nèi)重建20幅圖像，整個(gè)數(shù)據(jù)集數(shù)量為6000幅，具體分布見(jiàn)表2。

表2 數(shù)據(jù)集數(shù)據(jù)類(lèi)型分布(幅)

將數(shù)據(jù)集整體打亂后，劃分為訓(xùn)練集(60%)，驗(yàn)證集(20%)和測(cè)試集(20%)三個(gè)部分，采取相同的預(yù)處理操作，以保證驗(yàn)證和測(cè)試的結(jié)果準(zhǔn)確。

2.2 硬件和軟件平臺(tái)

實(shí)驗(yàn)中所用的計(jì)算機(jī)硬件配置為64位Windows10操作系統(tǒng)，2.80 GHz Intel i7 CPU，軟件方面，選擇Google的深度學(xué)習(xí)開(kāi)源框架TensorFlow作為程序框架，版本為1.30，前端為Keras2.0.8，程序使用Python3.6編寫(xiě)設(shè)計(jì)。

2.3 實(shí)驗(yàn)結(jié)果分析

對(duì)于評(píng)價(jià)的性能指標(biāo)，選取通過(guò)整體準(zhǔn)確率(accuracy，Acc)、靈敏度(sensitivity，Se)和特異性(specificity，Sp)來(lái)衡量，其中準(zhǔn)確率是正確分類(lèi)的斑塊比例。每個(gè)指標(biāo)具體計(jì)算方法為公式2～4：

式中，TP為真陽(yáng)性(true positive，TP)，表示本來(lái)是陽(yáng)性，被正確分類(lèi)的樣本個(gè)數(shù)；FP為假陽(yáng)性(false positive，F(xiàn)P)，表示本來(lái)不是陽(yáng)性，被分類(lèi)為陽(yáng)性的樣本個(gè)數(shù)；TN為真陰性(true negative，TN)，表示本來(lái)是陰性樣本，被正確分類(lèi)的樣本個(gè)數(shù)；FN為假陰性(false negative，F(xiàn)N)，表示本來(lái)不是陰性，被錯(cuò)誤地分類(lèi)為陰性的樣本個(gè)數(shù)[13]。

三種深度的網(wǎng)絡(luò)在實(shí)驗(yàn)中的超參數(shù)為，學(xué)習(xí)率0.001，每個(gè)卷積核batch的大小是32。

2.3.1 不同層數(shù)網(wǎng)絡(luò)評(píng)價(jià)

由于網(wǎng)絡(luò)的層數(shù)和復(fù)雜度會(huì)影響訓(xùn)練結(jié)果，因此選擇3種層數(shù)的ResNet進(jìn)行研究，不同深度的CNNs各參數(shù)的比較結(jié)果見(jiàn)表3。

表3 不同深度ResNet性能參數(shù)對(duì)比(%)

表3顯示，ResNet-50的靈敏度最高，ResNet-152的準(zhǔn)確率和特異度最高。但由于網(wǎng)絡(luò)層數(shù)的增加直接影響了網(wǎng)絡(luò)的運(yùn)算速度，ResNet-152的訓(xùn)練速度要比ResNet-50的速度低數(shù)十倍，在臨床工作中，有良好的網(wǎng)絡(luò)性能，快速的運(yùn)算時(shí)間再輔以醫(yī)師的臨床經(jīng)驗(yàn)方能達(dá)到更好的診斷效能。

2.3.2 ResNet-50輔助醫(yī)師評(píng)價(jià)評(píng)測(cè)

以DSA結(jié)果為金標(biāo)準(zhǔn)，對(duì)100例患者的CCTA圖像進(jìn)行評(píng)測(cè)。選取已訓(xùn)練好的ResNet-50，由兩名具有5年以上診斷經(jīng)驗(yàn)的醫(yī)生進(jìn)行單獨(dú)評(píng)價(jià)及參考ResNet結(jié)果的基礎(chǔ)上進(jìn)行評(píng)價(jià)，其評(píng)價(jià)結(jié)果見(jiàn)表4。

表4 ResNet-50輔助醫(yī)師評(píng)價(jià)評(píng)測(cè)結(jié)果(%)

表4顯示，在ResNet神經(jīng)網(wǎng)絡(luò)的輔助下，兩名醫(yī)師的診斷準(zhǔn)確性都得到了顯著提升，并且在保證較高特異性的同時(shí)顯著的提高了診斷的靈敏度。

3 討論

冠狀動(dòng)脈粥樣硬化斑塊根據(jù)CT值水平可分為軟斑塊(CT值＜50 HU)、纖維斑塊(CT值50～120 HU)和鈣化斑塊(CT值＞120 HU)[9]3類(lèi)。由于鈣化斑塊的硬化偽影和注入造影劑后纖維斑塊的局部強(qiáng)化影響，并不能通過(guò)肉眼準(zhǔn)確的判斷是否存在斑塊及斑塊的性質(zhì)。前期的臨床實(shí)踐和大量文獻(xiàn)的比較研究中發(fā)現(xiàn)，CCTA對(duì)其狹窄程度的評(píng)估存在著一定的誤差率，這些誤差的造成大多是建立在診斷醫(yī)師個(gè)人經(jīng)驗(yàn)判斷的基礎(chǔ)上。CNNs的主要優(yōu)點(diǎn)是根據(jù)給定的訓(xùn)練數(shù)據(jù)集，自動(dòng)地學(xué)習(xí)對(duì)象特征[10]。但是，CNN需要大量的訓(xùn)練數(shù)據(jù)進(jìn)行特征的學(xué)習(xí)，在醫(yī)學(xué)圖像處理領(lǐng)域，通常樣本數(shù)據(jù)缺乏、采集和標(biāo)注也十分困難，因此其應(yīng)用往往存在局限性。有研究[11-12]表明，即使未經(jīng)過(guò)重新訓(xùn)練，通過(guò)遷移學(xué)習(xí)深度卷積特征也可以用作通用視覺(jué)表達(dá)，比如在大型自然圖像ImageNet數(shù)據(jù)集[13]上預(yù)先訓(xùn)練的CNNs特征，在其他很多圖像識(shí)別任務(wù)中也取得了很好的結(jié)果。利用ResNet網(wǎng)絡(luò)對(duì)CCTA圖像斑塊進(jìn)行識(shí)別，并對(duì)不同深度網(wǎng)絡(luò)的識(shí)別效能做出了統(tǒng)計(jì)。實(shí)驗(yàn)中模型的殘差塊有效克服了網(wǎng)絡(luò)的退化問(wèn)題，在網(wǎng)絡(luò)深度加深的同時(shí)，保證了性能不會(huì)過(guò)度下降[14]。但考慮到臨床應(yīng)用上結(jié)合醫(yī)師的診斷，需要一個(gè)訓(xùn)練速度快且敏感性好的網(wǎng)絡(luò)，因此選擇ResNet-50作進(jìn)一步研究對(duì)象。由于在冠狀動(dòng)脈斑塊的診斷過(guò)程中，準(zhǔn)確性一直依靠于診斷醫(yī)師的臨床經(jīng)驗(yàn)，和DSA相比較下，往往鈣化斑塊假陽(yáng)性率高，非鈣化斑塊假陰性率高。本研究中，診斷醫(yī)師在參考ResNet-50的診斷結(jié)果后再對(duì)斑塊類(lèi)型進(jìn)行判別，均在保證特異度的同時(shí)提高了準(zhǔn)確性和診斷靈敏度。

在傳統(tǒng)的機(jī)器學(xué)習(xí)中，機(jī)器學(xué)習(xí)的是人標(biāo)注的特征，但在深度學(xué)習(xí)中，計(jì)算機(jī)自主學(xué)習(xí)特征，所提取的特征是看不到的。因此，深度學(xué)習(xí)中的黑箱效應(yīng)一直是模型優(yōu)化過(guò)程中的難點(diǎn)。臨床應(yīng)用中，可以將ResNet作為輔助診斷技術(shù)，醫(yī)師對(duì)于診斷結(jié)果有最終決定權(quán)，通過(guò)這種模式可以更好的利用CNNs提高臨床中的應(yīng)用價(jià)值[15]。本研究只對(duì)斑塊進(jìn)行有無(wú)二分類(lèi)，但在臨床診斷中是遠(yuǎn)遠(yuǎn)不夠的，需要對(duì)斑塊的種類(lèi)做進(jìn)一步的識(shí)別才能對(duì)于診斷及后續(xù)治療起到關(guān)鍵作用，也是本研究之后需要解決的主要問(wèn)題。