魏 靜，江旻珊，茅 前

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引 言

糖尿病性黃斑水腫（dabetic macular edema，DME）是血視網(wǎng)膜屏障破損導(dǎo)致黃斑區(qū)液體積聚的一種眼底疾病，是糖尿病患者視力損傷的重要原因[1]。DME患者若未及時(shí)得到診斷和治療，會(huì)導(dǎo)致不可逆的視力損傷。DME的主要治療方式是向玻璃體內(nèi)注射抗血管皮生長(zhǎng)因子（anti-VEGF）來(lái)抑制異常的新生血管生長(zhǎng)，但是患者的個(gè)體注射方案需要醫(yī)生根據(jù)積液的類型和區(qū)域大小來(lái)決定。視網(wǎng)膜積液根據(jù)積聚位置分為視網(wǎng)膜內(nèi)積液（intraretinal fluid，IRF）和視網(wǎng)膜下積液（subretinal fluid，SRF）。光學(xué)相干斷層掃描（optical coherence tomography，OCT）是一種無(wú)輻射非侵入的成像技術(shù)，能提供清晰的視網(wǎng)膜橫截面圖像。眼科醫(yī)生通過(guò)觀察DME患者的視網(wǎng)膜OCT圖像中的積液類型和積液區(qū)域大小判斷病變情況，但不能準(zhǔn)確地量化積液并據(jù)此制定治療方案。然而，手動(dòng)分割視網(wǎng)膜積液在人力和時(shí)間上都是一個(gè)巨大的挑戰(zhàn)。自動(dòng)準(zhǔn)確量化OCT圖像中的IRF和SRF可以大大提高醫(yī)生的診斷和治療效率，因此，一種能夠自動(dòng)分割積液區(qū)域的算法對(duì)于臨床診斷尤為重要。

近些年，很多自動(dòng)分割OCT視網(wǎng)膜積液的方法被提出，主要分為傳統(tǒng)圖像分割和機(jī)器學(xué)習(xí)兩類。王杰等[2]通過(guò)模糊水平集識(shí)別B 掃描和C 掃描上的流體區(qū)域邊界，組合邊界生成視網(wǎng)膜積液的3D分割，并在10只患有DME的眼睛上對(duì)算法進(jìn)行了評(píng)估，該方法需要預(yù)先分割視網(wǎng)膜層并對(duì)分割結(jié)果進(jìn)行手動(dòng)校正。Chiu等[3]提出了一種基于核回歸的機(jī)器學(xué)習(xí)方法對(duì)視網(wǎng)膜層進(jìn)行分類，再結(jié)合圖論和動(dòng)態(tài)編程的框架識(shí)別準(zhǔn)確的視網(wǎng)膜層和液體位置，在10名患者的OCT圖像上進(jìn)行了驗(yàn)證，但是這種方法并沒(méi)有區(qū)別視網(wǎng)膜內(nèi)積液和下積液。Montuoro等[4]使用隨機(jī)森林分類器結(jié)合圖論同時(shí)分割視網(wǎng)膜層和流體區(qū)域，然后利用二者的相互作用提取各種基于上下文的特征改善分割結(jié)果。傳統(tǒng)圖像分割算法和機(jī)器學(xué)習(xí)都依賴于復(fù)雜的數(shù)學(xué)計(jì)算和連續(xù)的迭代優(yōu)化，處理圖像時(shí)間較長(zhǎng)。

近幾年，深度學(xué)習(xí)技術(shù)不斷發(fā)展，尤其是卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域。Schlegl等[5]提出了一個(gè)編碼-解碼的卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)和量化黃斑疾病的IRF和SRF，在IRF上取得了良好的性能。Roy等[6]開發(fā)了ReLayNet同時(shí)分割7個(gè)視網(wǎng)膜層各流體區(qū)域，而沒(méi)有區(qū)分積液類型。Lu等[7]應(yīng)用圖分割算法預(yù)先分割內(nèi)界膜和布魯赫膜，使用U-net網(wǎng)絡(luò)自動(dòng)分割OCT圖像中的IRF、SRF。根據(jù)已發(fā)表的文獻(xiàn)，大多數(shù)分割多類視網(wǎng)膜積液的方法都需要聯(lián)合視網(wǎng)膜層分割或使用兩級(jí)網(wǎng)絡(luò)，但是錯(cuò)誤的層分割或上一級(jí)網(wǎng)絡(luò)也會(huì)對(duì)最終的分割結(jié)果造成影響。

本文提出一種改進(jìn)的U-net神經(jīng)網(wǎng)絡(luò)Res-SE Unet來(lái)自動(dòng)識(shí)別視網(wǎng)膜OCT圖像中的IRF和SRF區(qū)域。用Res-SE Block替代U-net的標(biāo)準(zhǔn)卷積層，殘差可以減少梯度消失的問(wèn)題而SE塊可以學(xué)習(xí)更有效的殘差特征，提高網(wǎng)絡(luò)的分割精度。本文方法不依賴視網(wǎng)膜層的分割或者上一級(jí)網(wǎng)絡(luò)，減少了錯(cuò)誤的層分割或上一級(jí)網(wǎng)絡(luò)訓(xùn)練結(jié)果的影響，并縮短了算法處理時(shí)間。

1 材料與方法

1.1 圖像預(yù)處理

本文使用了來(lái)自加州大學(xué)圣地亞分校的Kermany數(shù)據(jù)集[8]，該數(shù)據(jù)集使用Spectralis（海德堡）成像系統(tǒng)采集，包含了37 205張脈絡(luò)膜新生血管（CNV），11 348張?zhí)悄虿↑S斑水腫（DME）、8 616張玻璃膜疣（Drusen）、26 315張正常（Normal）視網(wǎng)膜OCT圖像。本文提出的網(wǎng)絡(luò)目標(biāo)是從DME的OCT圖像中同時(shí)檢測(cè)和量化IRF和SRF，從 DME類別中抽取了80張含有IRF和SRF的OCT圖像作為實(shí)驗(yàn)樣本，由兩名眼科專家獨(dú)立標(biāo)注病變區(qū)域輪廓如圖1所示，紅色輪廓表示IRF區(qū)域，黃色表示SRF區(qū)域。當(dāng)出現(xiàn)明顯不一致標(biāo)注或由于圖像質(zhì)量問(wèn)題較難標(biāo)注時(shí)，從數(shù)據(jù)集中排除此實(shí)驗(yàn)樣本。

圖1 手動(dòng)標(biāo)注的OCT圖像Fig.1 OCT image with manual annotation

如圖2（a） 所示，IRF和SRF限制在視網(wǎng)膜內(nèi)界膜（ILM）和布魯赫膜（Bruch’s membrane）之間，因此，利用視網(wǎng)膜區(qū)域與背景的灰度差異對(duì)感興趣區(qū)域進(jìn)行提取，結(jié)果如圖2（b） 所示。增大積液區(qū)域所占像素比例，一定程度上減少背景與積液不均衡對(duì)分割結(jié)果的影響。OCT圖像基于相干光干涉的原理成像，掃描對(duì)象亞分辨率的不同會(huì)引起反射波隨機(jī)干擾產(chǎn)生斑點(diǎn)噪聲，影響網(wǎng)絡(luò)的特征提取。為了解決這一問(wèn)題，采用雙邊濾波算法來(lái)去除噪聲，此算法在抑制散斑噪聲的同時(shí)還可以保持圖片邊緣，圖2（c） 顯示了去噪后的OCT圖像。Kermany數(shù)據(jù)集中OCT圖像分辨率不同，將圖像統(tǒng)一調(diào)整為256×256作為網(wǎng)絡(luò)輸入。將OCT圖像和標(biāo)簽圖作為實(shí)驗(yàn)樣本按7：3的比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集用于訓(xùn)練和驗(yàn)證網(wǎng)絡(luò)模型，測(cè)試集用于評(píng)估網(wǎng)絡(luò)性能，訓(xùn)練集和測(cè)試集的樣本互斥。深度學(xué)習(xí)的訓(xùn)練需要大量數(shù)據(jù)，而我們的樣本數(shù)量不足以支撐，且人工標(biāo)注耗費(fèi)大量時(shí)間，所以本文采用數(shù)據(jù)增強(qiáng)的技術(shù)，通過(guò)隨機(jī)旋轉(zhuǎn)，上下平移和圖像翻轉(zhuǎn)等30倍擴(kuò)充訓(xùn)練集圖像數(shù)量，減小網(wǎng)絡(luò)訓(xùn)練過(guò)程中的過(guò)擬合問(wèn)題，提高分割準(zhǔn)確度。

圖2 OCT圖像預(yù)處理步驟Fig.2 The pre-processing of OCT image

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 Res-SE Block

Res-SE Block由殘差連接和SE塊組成。殘差連接已被證明是在深層次網(wǎng)絡(luò)學(xué)習(xí)特征時(shí)克服梯度消失問(wèn)題的有效方式[9]。2017年，Hu等[10]提出SENet（squeeze-and-excitation networks）獲得了ImageNet挑戰(zhàn)賽冠軍，網(wǎng)絡(luò)結(jié)構(gòu)單元SE塊在特征通道維度上加入Attention機(jī)制，通過(guò)損失函數(shù)學(xué)習(xí)各維度的權(quán)重，根據(jù)各維度的重要程度學(xué)習(xí)殘差特征。Res-SE Block的結(jié)構(gòu)如圖3所示，Xl經(jīng)過(guò)兩次卷積操作得到大小為H×W×C的特征圖Xr，通過(guò)全局平均池化轉(zhuǎn)換為 1 ×1×C的特征信息，每個(gè)二維特征通道的轉(zhuǎn)換公式為

圖3 Res-SE BlockFig.3 Res-SE Block

式中：Fsq(·) 表示擠壓操作；xc表示Xr第c維度上的特征圖；H、W分別表示特征圖的長(zhǎng)和寬；uc表示經(jīng)擠壓后得到的特征值；h、w分別表示特征圖上某一點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。

經(jīng)兩次全連接層和RELU激活函數(shù)學(xué)習(xí)各個(gè)特征通道之間的相關(guān)性，通過(guò)Sigmoid函數(shù)將特征間的相關(guān)性進(jìn)行歸一化，得到各特征通道的權(quán)重，通過(guò)權(quán)重與對(duì)應(yīng)的特征通道相乘進(jìn)行特征重標(biāo)定

式中：Fex(·) 表示激勵(lì)操作；W1和W2表示兩個(gè)全連接層；Xc表示Xr第c維度上的特征圖；Vc表示該特征圖通過(guò)激勵(lì)操作得到的權(quán)重。

將SE塊嵌入殘差連接，根據(jù)重要程度對(duì)不同維度的殘差特征進(jìn)行提升或抑制，提高網(wǎng)絡(luò)學(xué)習(xí)能力：

式中：Xl表示Res-SE Block的輸入；X表示Xl經(jīng)過(guò)SE塊的變換結(jié)果；Xl+1表示Res-SE Block的輸出結(jié)果。

1.2.2 Res-SE Unet

2015年，Ronneberge等[11]提出了U-net網(wǎng)絡(luò)用于醫(yī)學(xué)圖像的語(yǔ)義分割，由具有相同卷積數(shù)量的收縮路徑和擴(kuò)展路徑對(duì)稱組成，收縮路徑包括四個(gè)下采樣層提取圖像語(yǔ)義信息，擴(kuò)展路徑包括四個(gè)上采樣層還原圖像尺寸重建圖像。U-net神經(jīng)網(wǎng)絡(luò)首次提出跳躍連接將下采樣層和上采樣層的特征融合，多尺度融合使底層的細(xì)節(jié)信息能夠補(bǔ)充高層相對(duì)抽象的語(yǔ)義信息，提高分割精度。

Res-SE Unet神經(jīng)網(wǎng)絡(luò)使用Res-SE Block 代替U-Net 神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)卷積模塊，學(xué)習(xí)重要特征，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。相比于標(biāo)準(zhǔn) U-net 神經(jīng)網(wǎng)絡(luò)，本模型的最大通道數(shù)為 512，減少網(wǎng)絡(luò)參數(shù)數(shù)量，同時(shí)保持較好的泛化能力。本模型收縮路徑和擴(kuò)展路徑中的單元數(shù)量與標(biāo)準(zhǔn)U-net相同，每一個(gè)收縮單元包括一個(gè)Res-SE Block提取圖像特征和一個(gè)下采樣層，下采樣層采用2×2的最大池化，特征圖尺寸減小一半；每一個(gè)擴(kuò)展單元包括一個(gè)Res-SE Block和一個(gè)上采樣層，上采樣采用轉(zhuǎn)置卷積，特征圖尺寸擴(kuò)大2倍，通過(guò)拼接方式與收縮路徑中對(duì)應(yīng)的特征融合。在最后一層，網(wǎng)絡(luò)采用通道數(shù)為3的3×3的卷積層，壓縮擴(kuò)展路徑輸出的特征圖維度，3個(gè)通道分別對(duì)應(yīng)IRF、SRF和背景。網(wǎng)絡(luò)還使用Softmax激活函數(shù)將最后一層的輸出歸一化，取每個(gè)像素的最大概率對(duì)應(yīng)的通道作為分類結(jié)果。

圖4 Res-SE Unet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Res-SE Unet architecture

1.2.3 損失函數(shù)

視網(wǎng)膜積液分割是通過(guò)神經(jīng)網(wǎng)絡(luò)將OCT圖像的像素分為背景、IRF、SRF三類。將圖片的像素看作分類樣本，積液類別的樣本數(shù)量較少，為了使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時(shí)更加關(guān)注IRF和SRF的特征，賦予樣本較少的類別較大的權(quán)重，提高網(wǎng)絡(luò)對(duì)積液的分割性能。每個(gè)類別的權(quán)重為

式中：wi為每個(gè)類別的權(quán)重；Ni為圖中每個(gè)類別的像素總數(shù)。

本文使用加權(quán)多類損失函數(shù)，該損失函數(shù)由Dice損失函數(shù)和交叉熵?fù)p失函數(shù)結(jié)合共同優(yōu)化模型。Dice損失函數(shù)和交叉熵?fù)p失函數(shù)公式分別為

最終，加權(quán)損失函數(shù)為

式中 λ1和 λ2分別表示Dice損失和交叉熵?fù)p失在總損失中的比例。

1.3 訓(xùn)練過(guò)程

本研究的運(yùn)行環(huán)境為NVIDIA cuDNN7.5、CUDA10.0、Python 3.7、Anaconda3，硬件配置為RTX 2080Ti GPU，256 GB容量的硬盤，深度學(xué)習(xí)的框架為tensorflow。神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí)各層權(quán)重并通過(guò)驗(yàn)證數(shù)據(jù)驗(yàn)證模型性能選擇最優(yōu)模型，每一輪學(xué)習(xí)從訓(xùn)練集中隨機(jī)抽取80%訓(xùn)練模型，剩余20%用于驗(yàn)證模型，提高模型學(xué)習(xí)能力。分批輸入數(shù)據(jù)減少訓(xùn)練時(shí)間。本研究采用Adadelta優(yōu)化方法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，使用式（7）提出的加權(quán)聯(lián)合損失函數(shù)判斷網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程。根據(jù)訓(xùn)練結(jié)果調(diào)整參數(shù)，損失函數(shù)的 λ1和 λ2分別設(shè)置為0.3和0.7，設(shè)置訓(xùn)練批大小為6，訓(xùn)練數(shù)據(jù)集迭代100輪。

1.4 統(tǒng)計(jì)方法

為了定量評(píng)估本文算法的分割性能，采用Dice系數(shù)和IoU系數(shù)作為評(píng)價(jià)指標(biāo)，通過(guò)計(jì)算神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)和專家標(biāo)注之間的區(qū)域相似性衡量IRF和SRF分割的準(zhǔn)確性。

Dice系數(shù)的計(jì)算式為

IoU的計(jì)算式為

式中：A為積液的真實(shí)標(biāo)注圖；B為預(yù)測(cè)的分割結(jié)果。

本文對(duì)IRF和SRF的分割效果進(jìn)行獨(dú)立評(píng)估，將非指定類型的流體區(qū)域視為背景。

2 結(jié) 果

2.1 實(shí)驗(yàn)結(jié)果分析

利用本文模型在20張包含IRF和SRF的OCT B掃描圖像上進(jìn)行測(cè)試評(píng)估，計(jì)算每張圖像與預(yù)測(cè)結(jié)果的Dice系數(shù)和IoU。圖5箱線圖顯示了測(cè)試集圖像IRF的Dice系數(shù)分布情況，網(wǎng)絡(luò)對(duì)IRF分割的Dice系數(shù)最高達(dá)到了0.90，SRF的Dice系數(shù)最高達(dá)到了0.96。Dice系數(shù)的分布也較為集中，這表明網(wǎng)絡(luò)在一般情況下對(duì)流體都能進(jìn)行有效的分割。表1顯示了我們的方法在整個(gè)測(cè)試集中的平均表現(xiàn)，IRF的Dice系數(shù)為0.84，IoU系數(shù)為0.72；SRF的Dice系數(shù)為0.86，IoU系數(shù)為0.74。

表1 測(cè)試集積液分割評(píng)估結(jié)果Tab.1 Evaluation of the fluid segmentation results for test OCT image

圖5 Dice系數(shù)箱線圖Fig.5 Boxplot of Dice coefficient

本文還比較了Res-SE Unet與U-net[7]、基于膨脹卷積的分支殘差U-net（BRUNet）[12]、使用補(bǔ)丁的含有兩個(gè)額外最大池化操作的PaEX-Unet[13]。表2描述了四種網(wǎng)絡(luò)自動(dòng)分割I(lǐng)RF和SRF的Dice系數(shù)，Res-SE Unet相比于其他網(wǎng)絡(luò)，IRF和SRF的Dice系數(shù)都有一定程度上的提高，這表明該網(wǎng)絡(luò)可以更加有效地分割OCT圖像中的流體區(qū)域。這主要是由于Res-SE Unet利用殘差連接，在一定程度上減小了特征信息在傳播時(shí)的損失，同時(shí)SE塊提高了圖像有用特征的權(quán)重，提升了模型的分割性能。

表2 不同網(wǎng)絡(luò)在測(cè)試集上的Dice系數(shù)比較Tab.2 Comparison of Dice coefficients between different networks on test dataset

圖6展示了本文模型對(duì)測(cè)試集內(nèi)一些OCT圖像的分割效果。第一行是DME患者的OCT圖像，第二行是專家手動(dòng)標(biāo)注的標(biāo)簽圖，第三行是網(wǎng)絡(luò)對(duì)積液區(qū)域的預(yù)測(cè)結(jié)果，其中白色區(qū)域表示IRF，紅色區(qū)域表示SRF。第一列至第三列顯示了一種簡(jiǎn)單情況，OCT圖像中表現(xiàn)出明顯的黃斑囊樣水腫或漿液性視網(wǎng)膜脫離時(shí)，我們的方法表現(xiàn)出了良好的性能；第三列和第四列顯示了OCT圖像信噪比相對(duì)較低時(shí)的分割結(jié)果，圖像對(duì)比度較低，流體邊界不明顯導(dǎo)致分割效果較差，但是網(wǎng)絡(luò)基本可以檢測(cè)到流體位置；第五列顯示了測(cè)試集中IRF分割效果最差的情況，這種情況主要是由于一些IRF區(qū)域面積過(guò)小，網(wǎng)絡(luò)對(duì)這些區(qū)域的識(shí)別能力較低，或是流體與視網(wǎng)膜組織中的陰影區(qū)域難以區(qū)分，專家未標(biāo)注的陰影區(qū)域也被網(wǎng)絡(luò)標(biāo)記為IRF。

圖6 測(cè)試集中IRF 和SRF的分割示例Fig.6 Example segmentations of IRF and SRF from the test set

3 結(jié) 論

本文中提出了U-net改進(jìn)網(wǎng)絡(luò)Res-SE Unet，用于自動(dòng)分割視網(wǎng)膜OCT圖像中的IRF和SRF區(qū)域。所提出的網(wǎng)絡(luò)使用Res-SE Block替代Unet中的卷積層，更加有效地學(xué)習(xí)圖片的特征信息。為了減小圖片中背景與流體區(qū)域不平衡的問(wèn)題，在訓(xùn)練之前先進(jìn)行圖像剪裁，去除大部分背景，在訓(xùn)練中還使用加權(quán)損失函數(shù)優(yōu)化模型，增加IRF和SRF的權(quán)重，提高積液分割的準(zhǔn)確度。我們的網(wǎng)絡(luò)在測(cè)試集中取得了良好的分割效果，測(cè)試樣本中IRF的Dice系數(shù)和IoU平均值達(dá)到了0.84和0.72；SRF的Dice系數(shù)和IoU平均值達(dá)到了0.86和0.74。Res-SE Unet可以較為快速準(zhǔn)確識(shí)別IRF和SRF，有助于眼科醫(yī)生根據(jù)病情調(diào)整治療方案?；谏疃葘W(xué)習(xí)檢測(cè)和分割DME中的積液需要大量圖像數(shù)據(jù)用于模型訓(xùn)練，但由于分割目標(biāo)限制，Kermany數(shù)據(jù)集中DME組同時(shí)含有IRF和SRF的樣本數(shù)量較少，限制了模型訓(xùn)練效果。隨著未來(lái)公開可用的DME OCT圖像數(shù)量增加，所提出的網(wǎng)絡(luò)的分割性能也會(huì)進(jìn)一步提高。我們的網(wǎng)絡(luò)對(duì)小區(qū)域的流體分割還需要進(jìn)一步的提升，在未來(lái)的工作中，將繼續(xù)研究損失函數(shù)減小目標(biāo)與背景不平衡對(duì)分割結(jié)果的影響，在網(wǎng)絡(luò)結(jié)構(gòu)中加入生成對(duì)抗網(wǎng)絡(luò)模型，增加特征圖像的數(shù)量，提高網(wǎng)絡(luò)的分割性能。