楊 靜，湯福南，張 暉*

（1.南京醫(yī)科大學(xué)附屬兒童醫(yī)院放射科，南京 210008；2.南京醫(yī)科大學(xué)第一附屬醫(yī)院臨床醫(yī)學(xué)工程處，南京 210029）

0 引言

根據(jù)2016年公布的數(shù)據(jù)，在各種類型的癌癥中，肺癌的發(fā)病率和死亡率均居于前列[1]。通常，CT檢查被認(rèn)為是檢查肺部病變最精確的成像模態(tài)[2]，隨著CT技術(shù)的進(jìn)步，早期無法發(fā)現(xiàn)和診斷的肺部影像，如極小的肺結(jié)節(jié)、密度變化不明顯的磨玻璃結(jié)節(jié)、肺門附近易被掩蓋的肺結(jié)節(jié)影像也可以被清晰地觀察到，文獻(xiàn)報道≤10 mm的純磨玻璃密度結(jié)節(jié)的檢出率也越來越高[3]。結(jié)節(jié)處理是以體積和倍增時間為基礎(chǔ)[4]，但肺結(jié)節(jié)每次檢查均為屏氣掃描，屏氣的深淺程度不會完全一致，不同的屏氣深度會影響同一肺結(jié)節(jié)體積倍增情況的測量結(jié)果，進(jìn)而影響肺部病變良惡性的臨床診斷。為了使每次的測量結(jié)果具有一致性和可比性，就需要將屏氣的程度進(jìn)行量化并校準(zhǔn)每次測量的肺結(jié)節(jié)體積。現(xiàn)有的肺結(jié)節(jié)體積倍增測量要求受檢者在檢查中盡可能保持相同的呼吸深度，必要時還需要進(jìn)行呼吸訓(xùn)練以規(guī)范呼吸[5]，在此基礎(chǔ)上認(rèn)定前后2次屏氣深度完全相同，且測量過程中不會進(jìn)行任何誤差校準(zhǔn)，但每次受檢者的呼吸并不可能完全相同，所以臨床診斷結(jié)果存在較大誤差[6]。目前人工智能在肺結(jié)節(jié)篩查方面已比較成熟，但在肺結(jié)節(jié)定性和肺結(jié)節(jié)測量方面仍存在一定盲區(qū)，如評估呼吸運(yùn)動對肺結(jié)節(jié)測量結(jié)果的影響還停留在規(guī)范受檢者呼吸等方面[7]。本研究的目的是構(gòu)建一種用于肺輪廓語義分割的全卷積神經(jīng)網(wǎng)絡(luò)，并以此為基礎(chǔ)準(zhǔn)確勾畫出肺部輪廓，以肺輪廓的改變量來修正由于呼吸運(yùn)動而造成的對肺結(jié)節(jié)測量結(jié)果的偏差。

1 資料與方法

1.1 一般資料

網(wǎng)絡(luò)訓(xùn)練與測試數(shù)據(jù)來自美國國立衛(wèi)生研究院（National Institutes of Health，NIH）的CT圖像數(shù)據(jù)集中的263幅胸部圖像，其中軟組織窗75幅、肺窗188幅。實驗結(jié)果驗證數(shù)據(jù)來自25例PET/CT腫瘤篩查的患者，每例患者的PET/CT檢查圖像包括用于衰減校準(zhǔn)的自由呼吸胸部CT檢查圖像和屏氣胸部CT檢查圖像。NIH的數(shù)據(jù)一般是將同一三維體積中的數(shù)據(jù)按順序排放在一起，為了避免訓(xùn)練數(shù)據(jù)出現(xiàn)在一個三維體積中提取多幅圖像的情況，在選取訓(xùn)練數(shù)據(jù)時會根據(jù)圖像在每個三維體積中的特征，在同一個三維體積中，肺尖取1幅圖像，肺中部取2～3幅圖像（病灶有代表性的會適當(dāng)多取1～2幅圖像），肺底取1幅圖像，以達(dá)到取樣合理的目的。

1.2 實驗方法

本研究的依據(jù)是肺結(jié)節(jié)的大小應(yīng)該與單次屏氣深度呈比例，以肺實質(zhì)容積表征每次屏氣深度，屏氣深則肺部擴(kuò)張大，肺容積加大，屏氣淺則肺部擴(kuò)張小，肺容積偏小，而肺結(jié)節(jié)一般會隨肺部的擴(kuò)張而拉伸，其拉伸程度和肺部的擴(kuò)張程度呈比例。以肺輪廓的改變量來校準(zhǔn)由于呼吸運(yùn)動而造成的對肺結(jié)節(jié)測量結(jié)果的偏差，校準(zhǔn)原理：首先分別根據(jù)屏氣和自由呼吸時CT圖像中肺部輪廓所包含的像素總數(shù)和單個像素的大小分別計算出屏氣和自由呼吸2種CT圖像的肺實質(zhì)的容積，其次求出屏氣和自由呼吸時肺實質(zhì)容積的差異，然后根據(jù)肺部容積的差異求出校準(zhǔn)因子，最后用校準(zhǔn)因子對實測的肺結(jié)節(jié)長度進(jìn)行校準(zhǔn)從而得到準(zhǔn)確的肺結(jié)節(jié)尺寸。計算公式如下：

式中，V為肺實質(zhì)容積；C為圖像中肺部像素總數(shù)；P為單個圖像像素大??；V自由呼吸為自由呼吸相肺實質(zhì)容積；V屏氣為屏氣相肺實質(zhì)容積；ΔV為自由呼吸與屏氣之間肺容積差；fad為校準(zhǔn)因子；L自由呼吸為實測的肺結(jié)節(jié)長度；L′自由呼吸為校準(zhǔn)后的肺結(jié)節(jié)長度。

本研究的難點在于準(zhǔn)確地勾畫出受檢者的肺部輪廓并進(jìn)行測量，以得到每次屏氣的肺實質(zhì)容積，通過比較2次肺實質(zhì)容積的變化得到肺結(jié)節(jié)測量校準(zhǔn)因子，進(jìn)而對每次肺結(jié)節(jié)體積的測量結(jié)果進(jìn)行校準(zhǔn)。傳統(tǒng)的肺部輪廓的分割方法一般是基于閾值的方法如分水嶺分割、二維三維區(qū)域生長分割等[8]，本研究構(gòu)建了一個基于語義分割的全卷積神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練該網(wǎng)絡(luò)實現(xiàn)對肺部輪廓的準(zhǔn)確勾畫，將該網(wǎng)絡(luò)部署于校準(zhǔn)軟件中以實現(xiàn)對不同屏氣相的肺結(jié)節(jié)大小的校準(zhǔn)。

2 實驗流程

本研究的實驗流程如圖1所示。具體步驟包括圖像預(yù)處理、構(gòu)建網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練和測試、保存與部署網(wǎng)絡(luò)、新增數(shù)據(jù)的再訓(xùn)練。

圖1 肺結(jié)節(jié)測量校準(zhǔn)方法流程圖

2.1 圖像預(yù)處理

本研究首先采用標(biāo)記軟件對263幅胸部圖像進(jìn)行標(biāo)記，標(biāo)記圖像應(yīng)為用3種偽彩標(biāo)注的包含肺實質(zhì)、人體輪廓、圖像背景的圖像，如圖2所示。同時將用于測試的原始DICOM圖像轉(zhuǎn)換為三通道色圖，將原始圖像和標(biāo)記圖像分別保存在不同文件夾下用于訓(xùn)練。

2.2 構(gòu)建網(wǎng)絡(luò)

構(gòu)建網(wǎng)絡(luò)的過程包括修改網(wǎng)絡(luò)屬性、搭建網(wǎng)絡(luò)結(jié)構(gòu)、為網(wǎng)絡(luò)賦予初始權(quán)重3個步驟。

第一步，修改網(wǎng)絡(luò)屬性。由于VGG16是一種1 000個分類的分類網(wǎng)絡(luò)，而本研究所要實現(xiàn)的是將一幅圖像按照肺實質(zhì)、人體輪廓、圖像背景進(jìn)行像素三分類，所以需要對原VGG16的全連接層進(jìn)行修改，將1 000個分類修改為3類，代碼如下：

pxLayer

圖2 用于訓(xùn)練的部分原始圖像數(shù)據(jù)集與標(biāo)記圖像數(shù)據(jù)集

pixelClassificationLayer('Name','labels','Classes',tbl.

Name,'ClassWeights',classWeights);

lgraph=removeLayers(lgraph,'pixelLabels');

lgraph=addLayers(lgraph,pxLayer);

lgraph=connectLayers(lgraph,'softmax','labels');

第二步，搭建網(wǎng)絡(luò)結(jié)構(gòu)。以修改的VGG16網(wǎng)絡(luò)為核心，將VGG16全連接層和softmax層替換成反卷積層，如圖3所示，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，最終構(gòu)成一個91層的全卷積語義分割網(wǎng)絡(luò)，其第2～32層是以VGG16的卷積層為核心的編碼器，第34～89層為反卷積層的解碼器。由于VGG16是一個經(jīng)過預(yù)訓(xùn)練的成熟的分類卷積神經(jīng)網(wǎng)絡(luò)，使用該網(wǎng)絡(luò)構(gòu)成的全卷積語義分割網(wǎng)絡(luò)可以充分利用預(yù)訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練結(jié)果，從而使用較少的數(shù)據(jù)進(jìn)行訓(xùn)練就可以得到理想的結(jié)果。

第三步，為網(wǎng)絡(luò)賦予初始權(quán)重。構(gòu)建完成的網(wǎng)絡(luò)需給其賦予初始權(quán)重，本研究是將數(shù)據(jù)集中各個特征組織如肺實質(zhì)、人體輪廓、背景在整體圖像中的出現(xiàn)頻率作為初始權(quán)重因子。肺實質(zhì)、人體輪廓、背景初始權(quán)重值詳見表1，其中初始權(quán)重取的是出現(xiàn)頻率的中值與各個頻率的比值。

圖3 全卷積語義分割網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 基于VGG16的用于肺部輪廓勾畫的語義分割網(wǎng)絡(luò)結(jié)構(gòu)圖

表1 特征組織的初始權(quán)重值

2.3 網(wǎng)絡(luò)訓(xùn)練和測試

首先，將標(biāo)記過的圖像按照80%為訓(xùn)練集、20%為測試集進(jìn)行配置，即210幅為訓(xùn)練圖像，53幅為測試圖像。同時為了增強(qiáng)訓(xùn)練效果、擴(kuò)大標(biāo)本量，還需要將原有的圖像數(shù)據(jù)進(jìn)行一定的擴(kuò)增，包括圖像的平移、圖像的鏡像、圖像的翻轉(zhuǎn)等。其次，對網(wǎng)絡(luò)訓(xùn)練過程中的參數(shù)進(jìn)行配置，包括設(shè)置學(xué)習(xí)率、優(yōu)化函數(shù)、迭代次數(shù)、訓(xùn)練輪數(shù)等。最后，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練過程中，網(wǎng)絡(luò)會動態(tài)調(diào)節(jié)各個卷積層的權(quán)重因子，訓(xùn)練完成后需使用測試集對網(wǎng)絡(luò)進(jìn)行測試，測試結(jié)果可以用于評判網(wǎng)絡(luò)的性能和效果，如達(dá)到效果則完成訓(xùn)練，如未達(dá)到要求則應(yīng)調(diào)節(jié)訓(xùn)練參數(shù)、優(yōu)化數(shù)據(jù)集。

2.4 保存與部署網(wǎng)絡(luò)

完成訓(xùn)練的網(wǎng)絡(luò)保存為一個新的網(wǎng)絡(luò)，該網(wǎng)絡(luò)的每個卷積層的權(quán)重因子都是訓(xùn)練后的最新值，本研究是將生成的網(wǎng)絡(luò)嵌入到肺實質(zhì)測量的腳本中使用。將肺實質(zhì)測量的腳本通過編譯器生成可執(zhí)行文件，從而脫離編譯環(huán)境單獨運(yùn)行，最終完成部署。

2.5 新增數(shù)據(jù)的再訓(xùn)練

訓(xùn)練完成的網(wǎng)絡(luò)可以直接用于臨床，也可以作為預(yù)訓(xùn)練網(wǎng)絡(luò)對新增的數(shù)據(jù)進(jìn)行迭代訓(xùn)練，從而進(jìn)一步優(yōu)化網(wǎng)絡(luò)。隨著臨床數(shù)據(jù)的增加，可以通過多次迭代訓(xùn)練進(jìn)一步提高網(wǎng)絡(luò)訓(xùn)練的效果。

3 結(jié)果

3.1 語義分割網(wǎng)絡(luò)對肺輪廓分割的訓(xùn)練效果

本研究通過多次試驗選擇自適應(yīng)動量（adaptive momentum，ADAM）算法作為優(yōu)化算法，學(xué)習(xí)率為0.001，網(wǎng)絡(luò)訓(xùn)練迭代210次，訓(xùn)練50輪，網(wǎng)絡(luò)訓(xùn)練過程如圖5所示。

圖5 網(wǎng)絡(luò)訓(xùn)練過程

采用測試數(shù)據(jù)集對訓(xùn)練完成的網(wǎng)絡(luò)進(jìn)行測試，訓(xùn)練完成的網(wǎng)絡(luò)進(jìn)行語義分割的結(jié)果如圖6所示。訓(xùn)練好的網(wǎng)絡(luò)會對測試集中的圖像進(jìn)行語義分割，分割為肺實質(zhì)、人體輪廓、背景。通過分割完成后的圖像可以對語義分割區(qū)域和人工勾畫區(qū)域的重疊性進(jìn)行測量，在測試集中隨機(jī)對抽取的圖像進(jìn)行語義分割，分割區(qū)域和人工勾畫區(qū)域的重疊性測量結(jié)果如圖7所示。用準(zhǔn)確率、交并比（intersection over union，IoU）和平均邊界得分等指標(biāo)衡量語義分割網(wǎng)絡(luò)的最終目標(biāo)分割效果。一般IoU大于0.5是可以接受的結(jié)果，本研究所用的模型IoU結(jié)果見表2，顯示肺實質(zhì)的平均準(zhǔn)確率為0.924 7，IoU為0.836 2，訓(xùn)練成績比較理想。由于所選訓(xùn)練圖像為NIH提供的開源數(shù)據(jù)集，選取的訓(xùn)練集中有1/3是肺尖和肺底圖像，而肺部占整體圖像體積偏小，且NIH數(shù)據(jù)集中的圖像基本都是有肺結(jié)節(jié)灶的圖像，該類圖像結(jié)節(jié)區(qū)域和正常肺部圖像相比結(jié)構(gòu)更復(fù)雜，標(biāo)記與訓(xùn)練難度更大，所以導(dǎo)致IoU未能達(dá)到0.9以上。本研究設(shè)計的基于肺實質(zhì)語義分割的全卷積神經(jīng)網(wǎng)絡(luò)以修正呼吸運(yùn)動對肺結(jié)節(jié)測量結(jié)果偏差的校準(zhǔn)軟件可以將訓(xùn)練結(jié)果保存為新的網(wǎng)絡(luò)，新網(wǎng)絡(luò)作為預(yù)訓(xùn)練網(wǎng)絡(luò)能增加數(shù)據(jù)迭代訓(xùn)練，所以隨著訓(xùn)練圖像增加和多次迭代訓(xùn)練，訓(xùn)練結(jié)果的準(zhǔn)確性還能進(jìn)一步提高。

由此，本研究搭建了一個新型的全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行肺部輪廓的準(zhǔn)確分割，并全部采用肺部CT圖像進(jìn)行訓(xùn)練，從而構(gòu)建了一種新的肺結(jié)節(jié)測量結(jié)果校準(zhǔn)算法。

圖6 訓(xùn)練完成的網(wǎng)絡(luò)進(jìn)行語義分割的結(jié)果

圖7 分割區(qū)域和人工勾畫區(qū)域的重疊性測量結(jié)果

表2 全卷積神經(jīng)網(wǎng)絡(luò)語義分割訓(xùn)練結(jié)果

3.2 校準(zhǔn)因子對肺結(jié)節(jié)測量值的影響

對25例受檢者在屏氣和自由呼吸2種呼吸模式同一斷層的同一肺結(jié)節(jié)長軸進(jìn)行測量，測量結(jié)果差ΔL如公式（5）所示。25例中有16例2種呼吸模式的測量結(jié)果差異較大（ΔL＞1 mm），9例測量結(jié)果差異很?。é≤1 mm），測量結(jié)果有較大差異的占比64%。使用本研究中的算法對16例有較大差異的測量結(jié)果進(jìn)行校準(zhǔn)，校準(zhǔn)后誤差有較大變化（Δ＞1 mm）的例數(shù)為9例，其中最大縮小約1.5 mm，最小縮小約1 mm，校準(zhǔn)后誤差無明顯變化（Δ≤0.5 mm）的例數(shù)為7例，校準(zhǔn)后有較大變化的占比56.25%。

式中，L自由呼吸為校準(zhǔn)前自由呼吸相肺結(jié)節(jié)長軸長度；L′自由呼吸為校準(zhǔn)后自由呼吸相肺結(jié)節(jié)長軸長度；L屏氣為屏氣相肺結(jié)節(jié)長軸測量長度；ΔL為校準(zhǔn)前2種呼吸模式肺結(jié)節(jié)測量差；ΔL′為校準(zhǔn)后2種呼吸模式肺結(jié)節(jié)測量差；Δ為校準(zhǔn)前與校準(zhǔn)后2種測量差值之間的誤差。

圖8為誤差最大的1例的測量圖像。其中圖8（a）中標(biāo)注的測量值為自由呼吸圖像測量結(jié)果，實測肺結(jié)節(jié)長軸長度為32 mm；圖8（b）中標(biāo)注的測量值為屏氣測量結(jié)果，實測肺結(jié)節(jié)長軸長度為34 mm。由本研究中的算法得到的校準(zhǔn)因子為1.045 4，校準(zhǔn)后自由呼吸肺結(jié)節(jié)長軸長度為33.45 mm，校準(zhǔn)前2種呼吸模式肺結(jié)節(jié)測量誤差為2 mm，校準(zhǔn)后2種呼吸模式肺結(jié)節(jié)測量誤差為0.55 mm，減小了1.45 mm。

4 討論

圖8 誤差最大的1例測量圖像

隨著螺旋CT在肺部疾病診斷中的廣泛應(yīng)用[9]，肺結(jié)節(jié)的檢出率逐年提高[10]，但對于肺結(jié)節(jié)的定性仍然需要依靠診斷醫(yī)生根據(jù)肺結(jié)節(jié)的各種測量結(jié)果進(jìn)行判斷。其中，肺結(jié)節(jié)倍增量是一個重要指標(biāo)，不規(guī)則結(jié)節(jié)及三角結(jié)節(jié)通常多為良性，隨訪大小常常無變化[11]，而有些肺結(jié)節(jié)的幾何尺寸正好在符合外科手術(shù)的臨界線上，此時結(jié)節(jié)體積測量的可重復(fù)性及準(zhǔn)確性就尤為重要[12]。以往的診斷一般都是直接在前后2次的CT檢查圖像上進(jìn)行測量，這種測量沒有考慮到受檢者的呼吸對測量結(jié)果的影響。要得到正確的肺結(jié)節(jié)倍增值，就需要全方位考慮各種因素對測量結(jié)果的影響。本研究將呼吸所導(dǎo)致的肺容積變化引起的肺結(jié)節(jié)幾何尺寸測量結(jié)果的偏差進(jìn)行了修正。研究的難點是對肺部輪廓的準(zhǔn)確勾畫，一般對肺部輪廓的勾畫采用計算機(jī)輔助的人機(jī)交互方式、基于閾值分割（如分水嶺分割、區(qū)域增長分割）等方法[13]。臨床上多采用計算機(jī)輔助的人機(jī)交互方式進(jìn)行勾畫，但效率很低[14]?；陂撝档姆指罘椒ㄊ窃缙诜尾坑嬎銠C(jī)輔助處理的常規(guī)方法，如傳統(tǒng)的分水嶺分割一般會把肺部分為多種不同的組織區(qū)域，無法準(zhǔn)確分割肺部輪廓[15]；區(qū)域增長分割的精度取決于種子點的選取、區(qū)域增長的條件和終止算法執(zhí)行的條件這3個要素[16]。由于傳統(tǒng)的計算機(jī)輔助設(shè)計自身存在缺陷，計算機(jī)輔助功能并不能有效提高臨床的工作效率。近年來，深度學(xué)習(xí)方法在機(jī)器學(xué)習(xí)的很多領(lǐng)域都取得了顯著的成效[17]。隨著計算機(jī)算力的提高，人工智能的計算機(jī)輔助功能得到了加強(qiáng)，在圖像分割中使用深度學(xué)習(xí)的全卷積神經(jīng)網(wǎng)絡(luò)是一種很好的選擇。

本研究采用基于全卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法對肺部輪廓進(jìn)行勾畫，相對于基于閾值分割的方法，神經(jīng)網(wǎng)絡(luò)具有部署后運(yùn)算量小、能快速得到結(jié)果、對只有部分二維斷層圖像的肺結(jié)節(jié)診斷也能進(jìn)行修正、通過多次迭代訓(xùn)練可以不斷提高準(zhǔn)確性等優(yōu)點。

本研究用于驗證的25例肺結(jié)節(jié)測量中，有16例在自由呼吸和屏氣2種成像方法的肺結(jié)節(jié)測量中結(jié)果有差異，通過校準(zhǔn)，其中9例縮小了測量差異，有效性達(dá)到了56.25%，其他7例對差異也有校準(zhǔn)作用，但是校準(zhǔn)的效果不明顯（Δ≤0.5 mm），分析原因應(yīng)該是用于訓(xùn)練的例數(shù)太少，造成對肺輪廓的區(qū)分準(zhǔn)確性不足。隨著神經(jīng)網(wǎng)絡(luò)對加入新的臨床數(shù)據(jù)進(jìn)行多次迭代訓(xùn)練，其校準(zhǔn)的有效性應(yīng)該能進(jìn)一步提高。

本研究的不足之處在于：首先，用于訓(xùn)練和測試的數(shù)據(jù)集太少，其中訓(xùn)練的僅210幅圖像，導(dǎo)致最終結(jié)果的有效性不太高；其次，沒有進(jìn)行多輪迭代訓(xùn)練，對神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練的結(jié)果僅有理論推導(dǎo)，尚無實驗結(jié)果。下一步的研究需要進(jìn)一步擴(kuò)大樣本數(shù)據(jù)量，對該全卷積神經(jīng)網(wǎng)絡(luò)要用新增數(shù)據(jù)進(jìn)行多次迭代訓(xùn)練，以進(jìn)一步提高校準(zhǔn)軟件的準(zhǔn)確性和可靠性，同時也可以通過改變該全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中編解碼器的類型，如以網(wǎng)絡(luò)結(jié)構(gòu)更深的VGG19代替VGG16組成新的網(wǎng)絡(luò)用于訓(xùn)練等。

綜上所述，本研究基于全卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)體積倍增校準(zhǔn)方法實現(xiàn)了對肺結(jié)節(jié)物理尺寸測量結(jié)果的校準(zhǔn)，與傳統(tǒng)的閾值法相比，其準(zhǔn)確性、可持續(xù)優(yōu)化性均有較大改進(jìn)，能提高臨床對肺結(jié)節(jié)診斷的準(zhǔn)確性和效率，是一種有效的輔助診斷手段。