李玉蓮，田軍，陳東祥，鄧盈，曾維鑫，曾悅琪

（電子科技大學(xué)成都學(xué)院，四川 成都 611731）

0 引言

皮膚癌是一種常見的惡性腫瘤，嚴重影響到人類健康和生命。皮膚癌有黑色素瘤和非黑色素瘤皮膚癌這兩大類，其中黑色素瘤的治療效果最好，但非黑色素瘤皮膚癌的治療難度較大。隨著計算機技術(shù)的發(fā)展和深度學(xué)習(xí)的崛起，基于深度學(xué)習(xí)的皮膚癌圖像分割的研究變得更加精準和自動化，而圖像分割技術(shù)作為圖像處理的關(guān)鍵技術(shù)之一，早已應(yīng)用于醫(yī)學(xué)領(lǐng)域。如朱長明等人[1]采用譜聚類集成的超聲圖像分割算法對低信噪比的淋巴結(jié)超聲圖像進行分割。劉辰等人[2]采用醫(yī)學(xué)圖像分割技術(shù)保留和去除關(guān)鍵的區(qū)域和組織。廖林峰等人[3]將模糊C-均值聚類算法運用于醫(yī)學(xué)圖像，針對模糊C-均值聚類算法容易受到聚類中心初始值和噪聲的影響，采用粒子群算法和遺傳算法的結(jié)合，以迭代的方式來獲取分割結(jié)果。Ronneberger 等人[4]提出了一種對稱的全卷積神經(jīng)網(wǎng)絡(luò)UNet，通過跳躍連接，融合了淺層和深層的圖像特征信息，提升了醫(yī)學(xué)圖像分割任務(wù)的性能。近年來，已有研究對使用U-Net 模型在醫(yī)學(xué)領(lǐng)域進行圖像分割做了深入探索。如：腦腫瘤[5]、肝腫瘤[6]、視網(wǎng)膜[7]、肺[8]等典型醫(yī)學(xué)圖像上取得了很好的結(jié)果。然而，由于UNet 本質(zhì)上是一種經(jīng)過改造的全卷積神經(jīng)網(wǎng)絡(luò)模型，它會出現(xiàn)建模局部-整體關(guān)系欠缺、持續(xù)采樣次數(shù)過多會造成精度損失、占用大量的計算資源進行訓(xùn)練和推理產(chǎn)生過擬合現(xiàn)象等等問題。

綜合上述進展，本文提出了一種新的皮膚癌分割模型PRU-Net，首先采用U-Net 網(wǎng)絡(luò)和密集鏈接結(jié)構(gòu)作為分割網(wǎng)絡(luò)模型，以此增強皮膚癌全局信息的傳播和重復(fù)利用；其次通過添加通道注意力機制提升邊緣圖像的分割準確率；再加入ResNet中的殘差模塊和空洞金字塔池化模塊,提高網(wǎng)絡(luò)模型的分割性能。

1 算法研究

1.1 語義分割網(wǎng)絡(luò)

在圖像處理領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)通常適用于細節(jié)敏感度較低的圖像檢測和分類，因為卷積神經(jīng)網(wǎng)絡(luò)具有感受野較小的淺層卷積,可以局部感知到部分區(qū)域的基本特征信息，當(dāng)網(wǎng)絡(luò)層數(shù)越多，卷積層的感受野越大，性能越好，可以關(guān)注到圖像更為抽象和豐富的整體特征信息。卷積神經(jīng)網(wǎng)絡(luò)通過池化層和卷積層使得學(xué)習(xí)到的抽象特征具有平移不變性，因此卷積神經(jīng)網(wǎng)絡(luò)可以有效地處理大樣本數(shù)據(jù)集。由于卷積神經(jīng)網(wǎng)絡(luò)具有較深的網(wǎng)絡(luò)結(jié)構(gòu)，可能會導(dǎo)致在提取特征時，損失圖像的紋理邊緣、目標輪廓等細節(jié)信息，所以卷積神經(jīng)網(wǎng)絡(luò)無法有效地實現(xiàn)圖像的語義分割任務(wù)。

在語義分割領(lǐng)域中對特征信息及背景區(qū)域進行準確、高效地分類成為一大難點，而全卷積神經(jīng)網(wǎng)絡(luò)的誕生則有效地解決了這個問題，其分割結(jié)果可精確到像素級別。Long等人在2015年聯(lián)合提出了一種無全連接層的卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）。FCN 對比以圖像分類為目的的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不同，主要用于圖像分割任務(wù)，它可以準確識別圖像中每個特征像素的類別，并可以對像素進行準確定位，實現(xiàn)像素級別的語義分割。FCN與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)的不同之處在于：它可以接受任意尺寸大小的輸入圖像，F(xiàn)CN網(wǎng)絡(luò)通過反卷積（Deconvolution）對最后一個卷積層處理之后的特征圖像進行上采樣操作，使得輸出圖像維持原始尺寸大小。FCN網(wǎng)絡(luò)通過卷積層提取圖像的特征，在網(wǎng)絡(luò)進行上采樣操作時，對特征圖像進行像素級的分類，逐個計算像素分類的損失，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 FCN結(jié)構(gòu)

FCN雖然在圖像分割領(lǐng)域得到了廣泛應(yīng)用，但它也存在一些缺點和不足之處：1）網(wǎng)絡(luò)運算量大，導(dǎo)致模型運算速度變慢，訓(xùn)練和測試所需時間大大增加；2）分割精度有限，F(xiàn)CN 各個層之間缺乏上下文信息，導(dǎo)致分割結(jié)果不能充分考慮整個圖像的語義信息；3）模型可解釋性差，一些像素可能被獨立分割，使得分割結(jié)果難以與初始圖像相匹配。

1.2 基于U-Net網(wǎng)絡(luò)分割模型

U-Net 是一種基于FCN 網(wǎng)絡(luò)的改進圖像語義分割算法，可以廣泛應(yīng)用于不同類型的圖像分割問題。U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由圖2 可知，U-Net 將網(wǎng)絡(luò)結(jié)構(gòu)劃分為兩部分：編碼器和解碼器，同時編碼器部分又稱為下采樣過程，解碼器部分又稱為上采樣過程。

圖2 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

在醫(yī)學(xué)圖像分割任務(wù)中，U-Net 網(wǎng)絡(luò)具有優(yōu)異的表現(xiàn)，醫(yī)學(xué)影像和普通圖像相比較為復(fù)雜，并且輪廓特征不清晰、灰度范圍偏大，但分割的目標特征在人體圖像中結(jié)構(gòu)固定并呈規(guī)律分布，語義特征也簡單明確，U-Net 網(wǎng)絡(luò)通過結(jié)合淺層特征信息和深層語義信息可以對醫(yī)學(xué)圖像提供精確的分割定位。此外，醫(yī)學(xué)影像樣本集數(shù)量偏少，對模型結(jié)構(gòu)復(fù)雜的網(wǎng)絡(luò)可能會產(chǎn)生大量的參數(shù)，從而導(dǎo)致模型出現(xiàn)過擬合現(xiàn)象。UNet 作為輕量級的網(wǎng)絡(luò)，對數(shù)據(jù)集規(guī)模較小的醫(yī)學(xué)影像有著較好的分割效果，即使在網(wǎng)絡(luò)訓(xùn)練過程中圖像數(shù)據(jù)量不足，依舊可以通過鏡像、平移及旋轉(zhuǎn)等圖像增廣操作來擴充數(shù)據(jù)集，防止網(wǎng)絡(luò)過擬合。此外，UNet 網(wǎng)絡(luò)可以通過改進或優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的單元模塊來增加模型的泛化能力，使網(wǎng)絡(luò)模型具有較好的分割性能。

1.3 算法改進

1）密集鏈接結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)通過提高網(wǎng)絡(luò)深度來提取高維特征。網(wǎng)絡(luò)越深，越容易造成梯度消失，會通過加入殘差網(wǎng)絡(luò)（Residual Network，ResNet）來避免梯度消失問題，加入多尺度特征采樣來提高網(wǎng)絡(luò)寬度。但是隨著神經(jīng)網(wǎng)絡(luò)層數(shù)增多，輸入輸出路徑變得更長，將存在梯度反向傳播進入輸入路徑時特征信息丟失的情況，且網(wǎng)絡(luò)對特征向量進行恒等映射時反復(fù)學(xué)習(xí)，易導(dǎo)致參數(shù)冗余。為了更好地解決上述問題，Huang G[9]提出了密集鏈接卷積網(wǎng)絡(luò)（Densely Connected Convolutional Network，DenseNet），其由多個密集連接的卷積層組成，這使得每一層的輸出都成為后續(xù)所有層的輸入，從而提高了信息流通的效率和共享率。DenseNet能夠增強特征信息的重復(fù)利用，同時降低參數(shù)的數(shù)量，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)

密集鏈接模塊的主要思想是在每一層的輸出上堆疊前面所有層的輸出特征圖。這種密集鏈接的方式可以將信息從前面層傳遞到后面層，避免了深度神經(jīng)網(wǎng)絡(luò)中梯度消失的問題。DenseNet 將每個卷積層的輸出與該層之前所有卷積層的輸出拼接在一起傳遞給下一層，褶皺連接方式可以將前面層的特征直接傳遞給后面層，避免了深度神經(jīng)網(wǎng)絡(luò)中梯度消失和梯度爆炸的問題。同時，密集鏈接可以增加網(wǎng)絡(luò)中特征的重用，提高網(wǎng)絡(luò)的參數(shù)利用。

2）金字塔型空洞卷積模塊

空洞卷積（Dilated Convolution）也被稱為空間擴張卷積或膨脹卷積，其主要目的是通過增加卷積核的感受野來提取更廣泛的上下文信息，從而提升模型的表現(xiàn)?？斩淳矸e的實現(xiàn)方式是在卷積核內(nèi)部插入一定數(shù)量的間隔，從而使得卷積核的有效感受野得到擴大，也就是更多的上下文信息可以被獲取。如圖4所示，標準卷積是擴張率等于1的特例。卷積核大小為k，擴張率為r的空洞卷積在連續(xù)的濾波器值之間引入r-1個零，接受野K的大小為：

圖4 普通卷積和空洞卷積

與普通卷積相比，空洞卷積在不損失特征圖分辨率的情況下擴大感受野，同時也不會增加參數(shù)數(shù)量，故可以很好地應(yīng)用空洞卷積獲取圖像全局信息。

皮膚癌分割任務(wù)中，池化過程通常會造成空間分辨率降低，多次池化操作會損失圖像特征信息。為擴大皮膚癌圖像特征映射的感受野，使卷積層可以接收任意尺寸的特征圖像，并融合圖像多尺度特征信息，本文模型將用空洞金字塔池化模塊(Atrous Spatial Pyramid Pooling，ASPP)替換原始網(wǎng)絡(luò)底部的卷積層，網(wǎng)絡(luò)從不同空洞率下卷積的輸出結(jié)果進行特征融合，得到多尺度的特征來輔助語義分割任務(wù)，避免了語義分割中因感受野過小而導(dǎo)致精度不足的問題。

ASPP采用了金字塔式的多尺度信息聚合策略,先采用不同空洞率的卷積對輸入圖片進行特征提取，再將這些特征進行上采樣和匯聚，最后得到全局上下文信息和語義信息，在分類和分割任務(wù)中發(fā)揮重要作用。如圖5空洞金字塔型池化模塊示意圖。

圖5 空洞金字塔池化模塊

空洞卷積可以通過獲得不同膨脹率的膨脹卷積進行多尺度語義融合，改進后的空洞金字塔池化模塊，既可以使用膨脹系數(shù)小的卷積層增大皮膚癌圖像病變區(qū)域的細節(jié)特征信息，又可以使用膨脹系數(shù)大的卷積層增大圖像特征映射的感受野。在本文改進的網(wǎng)絡(luò)模型中，將U-Net 底部的卷積層使用帶有空洞卷積的金字塔池化模塊代替，使網(wǎng)絡(luò)模型可以提升皮膚癌圖像特征信息分割的準確率，解決圖像特征區(qū)域與背景區(qū)域?qū)Ρ榷鹊投鴮?dǎo)致的分割模糊等問題。

3）PRU-Net網(wǎng)絡(luò)模型設(shè)計

在U-Net 網(wǎng)絡(luò)分割過程中，會存在圖像邊緣模糊等問題。因此，針對皮膚癌語義分割算法的難點及U-Net 網(wǎng)絡(luò)在分割領(lǐng)域的不足之處，本文提出了一種新的分割算法PRU-Net。PRU-Net 是由密集鏈接模塊和金字塔型空洞卷積模塊組合而成，加上殘差模塊，該網(wǎng)絡(luò)分別從以下三方面對皮膚癌模型結(jié)構(gòu)進行優(yōu)化與改進：

①為了避免網(wǎng)絡(luò)欠擬合，通過增加ResNet網(wǎng)絡(luò)的層次結(jié)構(gòu)，使網(wǎng)絡(luò)模型擬合程度更好，更加符合皮膚癌圖像的特征信息；

②采用密集連接和ResNet 殘差網(wǎng)絡(luò)相結(jié)合的模型結(jié)構(gòu)，在ResNet 原始網(wǎng)絡(luò)的編碼器-解碼器結(jié)構(gòu)之間添加密集鏈接結(jié)構(gòu)，通過對網(wǎng)絡(luò)層與層之間建立短連接的方法，增加皮膚癌的特征復(fù)用，減少冗余特征的參數(shù)量；

③將傳統(tǒng)ResNet 底層的卷積操作改為空洞金字塔池化模塊，使其通過逐層解碼方式提取皮膚癌圖像的特征信息，保證模型既可以充分利用圖像的低維和高維特征信息，又可以提升網(wǎng)絡(luò)模型的訓(xùn)練能力和分割效果。

PRU-Net 模型的核心由編碼器、空洞金字塔池化、殘差模塊以及解碼器四個模塊共同構(gòu)成，PRUNet網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 PRU-Net網(wǎng)絡(luò)模型

2 實驗

2.1 數(shù)據(jù)集與預(yù)處理

本文所使用的數(shù)據(jù)集來自國際皮膚成像合作組織(The International Skin Imaging Collaboration，ISCI)，該數(shù)據(jù)集包括2 594張圖像和12 970張標簽圖像。其中收錄了大量高質(zhì)量皮膚病變的皮膚鏡圖像，這些圖像都來自于臨床數(shù)據(jù)，實際價值較好,并且圖像是皮膚癌專家進行的注釋與標注，如圖7所示。

圖7 ISCI數(shù)據(jù)集

本文對數(shù)據(jù)集做了以下處理：

1)為確保輸入數(shù)據(jù)具有一致的大小，將圖像和標簽壓縮至256×256像素。

2）為使數(shù)據(jù)落在一個較小的范圍內(nèi)，避免權(quán)重更新過程中出現(xiàn)梯度爆炸或梯度消失的問題，加速網(wǎng)絡(luò)的收斂速度，對壓縮后的數(shù)據(jù)進行了標準化。

3）醫(yī)學(xué)數(shù)據(jù)集涉及患者隱私、醫(yī)學(xué)倫理等現(xiàn)實問題，大量數(shù)據(jù)不易被獲取，故醫(yī)學(xué)圖像領(lǐng)域中高質(zhì)量大規(guī)模數(shù)據(jù)集的匱乏，而提高深度學(xué)習(xí)模型的泛化能力需要依賴于大量的數(shù)據(jù)集進行模型訓(xùn)練。

為解決此問題，對輸入的圖像進行了數(shù)據(jù)增強，包括幾何變換、顏色變換、增加隨機噪聲。

圖8 中（a）是原圖，（b）、（c）、（d）分別是對原圖進行逆時針旋轉(zhuǎn)90 度、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)。圖9 中（a）是原始圖像，（b）、（c）、（d）分別是對原圖的亮度、飽和度、對比度調(diào)節(jié)。圖10中是本研究中添加的兩種隨機噪聲，（a）是原圖，（b）是高斯噪聲，（c）是椒鹽噪聲。

圖8 幾何變換類

圖9 顏色變換類

圖10 隨機噪聲

2.2 評價指標

為了能夠定量地評價各個網(wǎng)絡(luò)模型對數(shù)據(jù)集的分割效果，本文選用醫(yī)學(xué)圖像分割中最常見的評價指標Dice 相似系數(shù)（Dice Similarity Coefficient，DSC）和交并比（Intersection over Union，IoU）進行模型評估。DSC 用于評估真實分割區(qū)域與預(yù)測分割區(qū)域之間的相似程度，其值越大表示預(yù)測值與真實值之間的相似度越高，分割的結(jié)果越好。IoU 是預(yù)測分割區(qū)域和真實分割區(qū)域之間交集與并集的比值，同樣也是指標越高，分割效果越好。DSC 和IoU 的表達式依次如下：

其中，A和B分別代表真實和預(yù)測的分割結(jié)果。

2.3 實驗設(shè)置

實驗環(huán)境搭建在Python3.6 下，使用Keras 構(gòu)建網(wǎng)絡(luò)框架，實驗環(huán)境在Intel(R)Core(TM)i7-7700HQ CPU及顯卡GTX1050 進行，運行內(nèi)存8GB，顯存4GB。網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置如下：采用Adam 優(yōu)化器更新參數(shù)模型，學(xué)習(xí)率為0.5e-3，網(wǎng)絡(luò)迭代訓(xùn)練次數(shù)設(shè)置為50 個周期，卷積時填充padding 均設(shè)置為SAME 模式，訓(xùn)練時批大小batch size設(shè)置為2，隨機丟棄率Dropout設(shè)置為0.5。

2.4 實驗結(jié)果分析

本文將PRU-Net 網(wǎng)絡(luò)模型與其他模型應(yīng)用于ISCI數(shù)據(jù)集，分別展示了網(wǎng)絡(luò)分割模型訓(xùn)練loss對比圖如圖11。

圖11 loss對比圖

根據(jù)圖11，可以看出PDU-Net相較于另外兩個模型，訓(xùn)練的效果較好，隨著訓(xùn)練輪次的增加，PDU-Net的loss值在不斷下降并在下降到最小值后穩(wěn)定。

圖12 展示了不同網(wǎng)絡(luò)模型對部分測試圖片的分割效果。

圖12 網(wǎng)絡(luò)模型分割結(jié)果對比

圖12 (c)、圖12(f)分別是U-Net 網(wǎng)絡(luò)、ResNet 網(wǎng)絡(luò)對圖片的分割結(jié)果，可以看出分割的結(jié)果較差，并帶有毛刺。圖12(i)是PRU-Net網(wǎng)絡(luò)對圖片的分割結(jié)果，可以看出該結(jié)果實現(xiàn)了準確的分割。

本文進一步將PRU-Net 網(wǎng)絡(luò)與其他醫(yī)學(xué)圖像分割模型在分割準確率（Dice 系數(shù)和IoU）上進行了對比，如表1所示。

表1 不同網(wǎng)絡(luò)模型在ISCI數(shù)據(jù)集上的分割準確率

由表1可知，PRU-Net模型仍然表現(xiàn)出色，其平均Dice 系數(shù)達到了0.906，IoU 值達到了0.830。這些實驗結(jié)果進一步表明了本文所提出的PRU-Net 網(wǎng)絡(luò)具有更好的分割性能。

3 結(jié)論

本文通過實驗分析了幾種常用深度神經(jīng)網(wǎng)絡(luò)模型在皮膚癌分割的效果以及它們之間的差異性。針對目前皮膚癌分割流程及相關(guān)技術(shù)，展開深入的研究，本文提出了一種新的模型結(jié)構(gòu)PRU-Net，加深網(wǎng)絡(luò)深度的同時引入空洞金字塔模塊（ASPP）和殘差模塊，在U-Net“上采樣+下采樣”的過程中添加具有BN層及ReLU 激活函數(shù)的密集鏈接結(jié)構(gòu)，并聯(lián)不同膨脹率的空洞卷積，使模型可以融合皮膚癌圖像的多尺度信息。本文所提出的網(wǎng)絡(luò)模型已取得較好的成果，但是仍需進一步改進。下一步將會采集更多分布均衡的數(shù)據(jù)，探索如何利用半監(jiān)督和無監(jiān)督算法有效地進行皮膚癌分割，同時確保輔助診斷的準確性，并且加大神經(jīng)網(wǎng)絡(luò)的廣度與深度以增強其表達能力，使深度學(xué)習(xí)算法在各個領(lǐng)域得到快速發(fā)展。