黃鴻，王濤，李遠(yuǎn)，周凡琳，李昱

（1 重慶大學(xué)光電技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，重慶400044）

（2 重慶大學(xué)附屬腫瘤醫(yī)院病理科，重慶400030）

0 引言

在癌癥病理圖像的臨床診斷中，基于病理組織切片的顯微分析可用于觀察癌組織的發(fā)展?fàn)顟B(tài)從而判斷癌癥的變化、轉(zhuǎn)移情況，因此病理圖像又被稱為癌癥臨床診斷中的金標(biāo)準(zhǔn)［1］。近年來，隨著全視野數(shù)字切片技術(shù)的發(fā)展，針對(duì)病理圖像的定量分析研究逐漸興起。病理圖像智能分析對(duì)癌癥患者的診斷和預(yù)后具有重要作用，其中病理切片的病灶分割可用于計(jì)算癌癥病變的相關(guān)量化指標(biāo)、定位癌組織區(qū)域以及參與制定手術(shù)方案等［2-3］。精確的計(jì)算機(jī)輔助病理分割不僅能幫助臨床醫(yī)生提高診斷效率，還可以提升診斷的準(zhǔn)確性，如何針對(duì)癌癥病理圖像特點(diǎn)設(shè)計(jì)高效的分割算法已成為醫(yī)學(xué)圖像分析領(lǐng)域的研究熱點(diǎn)［4］。

傳統(tǒng)的圖像分割方法主要包括閾值分割法、區(qū)域生長(zhǎng)法和圖割法等。典型的閾值分割法有大津法［5］，其主要原理是通過最大化類間方差來計(jì)算分割閾值，因其簡(jiǎn)單和計(jì)算量較小而被廣泛應(yīng)用［6］。典型的區(qū)域生長(zhǎng)法有分水嶺算法［7］，其主要原理為通過將像素灰度模擬為海拔高度來模擬地理環(huán)境，谷底和峰頂?shù)倪吔缂礊榉炙畮X，其分割結(jié)果具有空間連續(xù)性，在分割連續(xù)小目標(biāo)時(shí)效果較好，但該算法受噪聲影響大且不適用于大區(qū)域分割。典型的圖割法有Graphcut 法［8］，其原理為先建立一張加權(quán)圖，通過邊權(quán)值的大小來篩選邊，使劃分的子圖彼此盡量相互分離，從而達(dá)到分割的目的［9］。該方法具有較好的泛化性被廣泛應(yīng)用于醫(yī)學(xué)圖像分割，但其時(shí)間復(fù)雜度較高對(duì)計(jì)算資源的消耗大。上述傳統(tǒng)圖像分割方法共有的缺點(diǎn)是依賴于手工特征，分割中不能充分利用圖像中的語義信息，導(dǎo)致性能受限。

深度學(xué)習(xí)方法具有特征提取能力強(qiáng)和便于訓(xùn)練優(yōu)化的特點(diǎn)，開始應(yīng)用于醫(yī)用圖像分割中。這些方法主要為全卷積模型，代表性方法包括全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）［10］、U-Net 網(wǎng)絡(luò)［11］和UNet++網(wǎng)絡(luò)［12］等。早期，CIRESAN D C 等［13］基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）利用滑窗進(jìn)行像素級(jí)目標(biāo)分割，但存在計(jì)算量大和效率低的問題。LONG J 等提出了FCN 網(wǎng)絡(luò)作為替代方法，將經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的全連接層替代為上采樣卷積層，從而建立了一個(gè)只包含卷積層的網(wǎng)絡(luò)，取消了輸入尺寸固定的限制，可靈活應(yīng)用于不同大小的圖像上。在FCN 網(wǎng)絡(luò)的基礎(chǔ)上，U-Net 網(wǎng)絡(luò)進(jìn)一步發(fā)展了編碼、解碼的思想，其上采樣和下采樣結(jié)構(gòu)呈U 形對(duì)稱，其解碼層增加了相應(yīng)的上采樣層和通過跳躍連接進(jìn)行特征融合使提取特征更加有效，提高了分割精度。ZHOU Z 等在U-Net 網(wǎng)絡(luò)基礎(chǔ)上提出了U-Net++網(wǎng)絡(luò)，通過將長(zhǎng)連接改用密集連接、在訓(xùn)練時(shí)自動(dòng)剪枝的方式，使網(wǎng)絡(luò)可以自適應(yīng)學(xué)習(xí)合適的下采樣層數(shù)以獲得最優(yōu)的對(duì)應(yīng)U-Net 網(wǎng)絡(luò)深度，在提升分割性能的同時(shí)沒有明顯增大計(jì)算資源的消耗。黃鴻等［14］基于融合自適應(yīng)加權(quán)聚合策略提出了iU-Net++方法，該方法可以自適應(yīng)學(xué)習(xí)各層特征權(quán)重，使包含不同信息的特征根據(jù)貢獻(xiàn)程度聚合起來得到分割結(jié)果，在淺層特征融合中突出了關(guān)鍵特征，提升了分割性能。此外，還有學(xué)者將病理圖像研究拓展到了高光譜病理圖像的研究中，在利用空間信息的基礎(chǔ)上增加了更豐富的病理組織光譜信息［15］。鄭少佳等［16］基于傅里葉變換多頻率通道注意力機(jī)制結(jié)合Inception 網(wǎng)絡(luò)構(gòu)建了一種膽管癌高光譜圖像分割網(wǎng)絡(luò)，在一定程度上解決了數(shù)據(jù)不平衡問題并在膽管癌上取得了較高的分割精度。WEI X等［17］設(shè)計(jì)了一個(gè)端到端網(wǎng)絡(luò)，通過在原始光譜數(shù)據(jù)和其主成分之間建立逐像素映射實(shí)現(xiàn)了無監(jiān)督學(xué)習(xí)，有效解決了監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練樣本有限的問題。

上述方法針對(duì)病理圖像通過融合不同深度U-Net 網(wǎng)絡(luò)特征，在CT、MRI 等醫(yī)學(xué)圖像上取得了不錯(cuò)的分割效果，但直接在淺層進(jìn)行預(yù)測(cè)，在一定程度上削弱了高層語義特征的指導(dǎo)作用，導(dǎo)致沒有充分利用高層語義特征在精確定位病灶區(qū)域上的重要作用，尤其是病理圖像存在切片染色多樣、分辨率差異大等問題，限制了病理圖像分割的性能。

針對(duì)上述問題，本文提出了一種改進(jìn)的層級(jí)特征融合分割方法（Hierarchical Feature-fused U-Net，HUNet）。該方法基于U-Net 網(wǎng)絡(luò)，利用EfficientNet-B4 網(wǎng)絡(luò)作為特征編碼器，在解碼器部分改進(jìn)了特征融合方法，利用改進(jìn)的通道注意力模塊對(duì)融合特征進(jìn)行篩選，訓(xùn)練時(shí)不同深度預(yù)測(cè)下對(duì)應(yīng)的損失函數(shù)都進(jìn)行反向傳播，獲得了更有效的深層語義特征，從而提升了模型獲取和利用全局語義特征的能力，改善了癌癥病理圖像病灶分割精度。

1 本文方法

1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

U-Net 是一種具有對(duì)稱性的分割網(wǎng)絡(luò)，它通過添加長(zhǎng)連接的方式在每一層中都進(jìn)行高層全局特征和局部細(xì)節(jié)特征的特征融合，有效利用了不同重要性特征進(jìn)行分割預(yù)測(cè)［18］。因此采用U-Net 網(wǎng)絡(luò)作為分割模型的基本網(wǎng)絡(luò)結(jié)構(gòu)，其整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

圖1 HU-Net 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 The overall structure of the proposed HU-Net algorithm

該網(wǎng)絡(luò)主要包括編碼器、解碼器和特征融合預(yù)測(cè)三個(gè)部分。圖1（a）為基于EfficientNet-B4 網(wǎng)絡(luò)的特征編碼器。圖1（b）為解碼器，在解碼器中改進(jìn)了U-Net 原有特征融合方式，將不同深度特征重新進(jìn)行了融合，從深層逐漸到淺層，每一層融合特征都不斷上采樣到最淺層，每層特征融合時(shí)都融合之前深層中的高層語義信息。圖1（c）為特征融合預(yù)測(cè)模塊，訓(xùn)練時(shí)將不同深度的層融合特征都進(jìn)行預(yù)測(cè)輸出，都計(jì)算損失函數(shù)并反向傳播。同時(shí)，在網(wǎng)絡(luò)解碼器中應(yīng)用了通道注意力模塊（CA1-CA4）對(duì)融合后的特征進(jìn)行通道特征選擇，如圖1（b）中紫色部分。

1.2 編碼器模塊

EfficientNets 是Google 利用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索獲得的一系列網(wǎng)絡(luò)模型，分別為EfficientNet-B0～B7［19］。通過考慮運(yùn)算量與計(jì)算資源，本文網(wǎng)絡(luò)選擇在Imagenet 數(shù)據(jù)集上預(yù)訓(xùn)練的EfficientNet-B4 網(wǎng)絡(luò)作為特征編碼器，通過遷移學(xué)習(xí)使編碼器在病理圖像上更快學(xué)習(xí)到關(guān)鍵特征，在實(shí)際使用時(shí)去掉了全連接層，具體結(jié)構(gòu)如圖2。該網(wǎng)絡(luò)主要由32 個(gè)移動(dòng)翻轉(zhuǎn)瓶頸卷積模塊（Mobile Inverted Bottleneck Convolution，MBCONV）和2 個(gè)卷積層構(gòu)成，各個(gè)MBCONV 塊中卷積核的大小分別如圖2所示。通過將步長(zhǎng)設(shè)為2，使輸出特征圖在長(zhǎng)和寬兩個(gè)方向上分別縮小為原來的一半，實(shí)現(xiàn)了壓縮特征圖以進(jìn)行特征編碼，將EfiicientNet-B4 中不同下采樣特征通過圖1 中的跳躍連接和解碼器特征進(jìn)行融合從而代替了原U-Net 中的編碼器進(jìn)行特征編碼。同時(shí)，EfficientNet-B4 網(wǎng)絡(luò)還引入了通道注意力思想，將特征圖在特征通道上進(jìn)行壓縮和激發(fā)，使得在編碼過程中進(jìn)一步突出了關(guān)鍵特征。

圖2 EfficientNet-B4 整體結(jié)構(gòu)Fig.2 The structure of EfficientNet-B4

1.3 解碼器模塊

U-Net 網(wǎng)絡(luò)只使用最淺層融合特征進(jìn)行預(yù)測(cè)，U-Net++通過增加短連接和剪枝的方式實(shí)現(xiàn)了自動(dòng)學(xué)習(xí)U-Net 網(wǎng)絡(luò)的合適層數(shù)，豐富了模型表示復(fù)雜特征的能力，但這種特征聚合方式并不能充分利用深層特征的全局信息以適用于癌癥理圖像分割。針對(duì)病理圖像內(nèi)容復(fù)雜和相似性高的特點(diǎn)，需要進(jìn)一步增加全局特征的預(yù)測(cè)作用以增強(qiáng)模型對(duì)病灶的區(qū)分能力。因此，在保留跳躍連接的基礎(chǔ)上設(shè)計(jì)了如圖1所示的解碼器，對(duì)每一層要上采樣的特征都分別進(jìn)行若干次上采樣，直至最淺層。

在每一層融合時(shí)，除了融合上一解碼層和對(duì)應(yīng)編碼層的輸出，還包括之前解碼層上采樣到本層的特征，融合方式均為按特征通道進(jìn)行疊加。設(shè)從網(wǎng)絡(luò)最深層到最淺層分別為0，1，2，…，當(dāng)前層為第i層，Conc（·）表示特征疊加融合操作，則每一層中特征融合表示為

通過式（1）中的融合方式，HU-Net 網(wǎng)絡(luò)增強(qiáng)了深層特征在模型預(yù)測(cè)中的重要性，最深層的語義特征在淺層進(jìn)行預(yù)測(cè)時(shí)依然發(fā)揮作用，但融合特征數(shù)量的增加帶來了融合后特征通道數(shù)量的增加。為了確定不同通道特征的重要性并篩選有效特征，使用了通道注意力模塊對(duì)融合特征進(jìn)行選擇。為了使注意力模塊更加有效以及方便使用，降低對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的依賴，對(duì)通道注意力模塊的使用采用如圖3所示流程。輸入特征在經(jīng)過通道注意力模塊校正后首先使用卷積操作將特征通道壓縮為原來的一半，接著對(duì)特征進(jìn)行批歸一化和激活，最后將通道壓縮的特征進(jìn)行疊加。這樣可以進(jìn)一步突出經(jīng)通道注意力校正得到的關(guān)鍵特征，同時(shí)使注意力模塊在網(wǎng)絡(luò)各個(gè)地方可以靈活使用。具體的融合方式如圖1（b）。

圖3 注意力模塊的使用方法Fig.3 The method of using attention block

1.4 層級(jí)融合模塊

為了加速模型訓(xùn)練收斂以及更有效地進(jìn)行模型微調(diào)，同時(shí)使網(wǎng)絡(luò)在訓(xùn)練過程中在不同深度都獲得更有效特征，設(shè)計(jì)了如圖1（c）所示的特征融合預(yù)測(cè)模塊。在解碼器的不同層，都將該層融合篩選后的特征通過轉(zhuǎn)置卷積直接上采樣到圖像原尺寸，并利用Sigmoid 函數(shù)進(jìn)行激活，輸出之后得到每層對(duì)應(yīng)的分割預(yù)測(cè)結(jié)果。然后，將不同層的預(yù)測(cè)進(jìn)行疊加融合，再經(jīng)過卷積并激活后得到融合的預(yù)測(cè)結(jié)果作為模型最終預(yù)測(cè)。訓(xùn)練時(shí)，模型對(duì)最終的融合預(yù)測(cè)結(jié)果和各層單獨(dú)的預(yù)測(cè)結(jié)果都進(jìn)行輸出，分別依次計(jì)算損失函數(shù)和進(jìn)行誤差反向傳播。在模型驗(yàn)證和測(cè)試時(shí)，只采用融合預(yù)測(cè)結(jié)果作為模型輸出。通過這種方式，可以直接在深層和淺層同時(shí)得到更有效的特征，通過觀察不同層的預(yù)測(cè)結(jié)果可以分析不同層的訓(xùn)練學(xué)習(xí)情況以及評(píng)估模型的特征表達(dá)能力，增強(qiáng)了模型的可解釋性。

上述融合和訓(xùn)練方式，使網(wǎng)絡(luò)在深層中將更加關(guān)注病灶位置，可以獲得更有效的高層語義信息進(jìn)行病灶區(qū)域定位，利用淺層特征進(jìn)行邊界細(xì)節(jié)預(yù)測(cè)，使模型整體分割預(yù)測(cè)更加精確。

1.5 通道注意力模塊

圖4 通道注意力模塊結(jié)構(gòu)Fig.4 The structure of attention block

進(jìn)行兩次卷積和批歸一化操作后，需利用全局池化學(xué)習(xí)全局參數(shù)。目前的壓縮激勵(lì)注意力網(wǎng)絡(luò)（Squeeze-and-Excitation Networks，SENet）［20］只利用了全局平均池化（Global Average Pooling，GAP）來提取對(duì)應(yīng)通道權(quán)重特征，但容易導(dǎo)致細(xì)節(jié)信息丟失。因此，本文增加了通過全局最大池化（Global Max Pooling，GMP）來提取通道特征，通過保留更多信息從而增強(qiáng)注意力模塊的學(xué)習(xí)和表示能力。

2 實(shí)驗(yàn)結(jié)果及分析

在整個(gè)實(shí)驗(yàn)中，實(shí)驗(yàn)的硬件環(huán)境為PANYAO 7048GR，CPU 為正式版E5-2096 2.3G-3.6G 45M Cache 22NM，內(nèi)存為256 G，顯卡為NVIDIA GeForce GTXTITAN RTX，應(yīng)用的深度學(xué)習(xí)框架為基于Ubuntu 系統(tǒng)的Tensorflow2.0 框架。CUDA 以及CUDNN的版本為CUDA10.1.243 和CUDNN7.6.5，采用的編程語言為Python3.8。

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用了兩個(gè)癌癥病理數(shù)據(jù)集來評(píng)估本文算法模型，第一個(gè)為2020年“華錄杯”江蘇大數(shù)據(jù)開發(fā)與應(yīng)用大賽（“SEED”大賽）—醫(yī)療衛(wèi)生賽道癌癥病理數(shù)據(jù)集［21］，第二個(gè)數(shù)據(jù)集為2017年中國(guó)大數(shù)據(jù)人工智能創(chuàng)新創(chuàng)業(yè)大賽（Brain Of Things，BOT）—病理切片識(shí)別AI 挑戰(zhàn)賽中的病理數(shù)據(jù)集［22］。上述數(shù)據(jù)集均為胃部癌變組織，為正常、癌變組織分割問題。

1）SEED 病理數(shù)據(jù)集

該數(shù)據(jù)集在江蘇省人民醫(yī)院中收集，共包含732 個(gè)帶胃癌病灶精標(biāo)注的數(shù)字病理切片樣本，其中有17個(gè)樣本病理圖像為空白無法使用，1 個(gè)樣本出現(xiàn)錯(cuò)誤標(biāo)注，在使用中均被剔除，實(shí)驗(yàn)中實(shí)際使用樣本數(shù)為714。病理圖像以及對(duì)應(yīng)的標(biāo)注都為RGB 圖像。該數(shù)據(jù)集中圖像尺度差異大，如圖5（c）所示。不同圖像的尺度從372×489 到12 047×18 257 變化，尺度上的巨大變化為病灶精確分割帶來了挑戰(zhàn)。

2）BOT 病理數(shù)據(jù)集

BOT 數(shù)據(jù)集包含560 個(gè)樣例，每個(gè)樣本包含病理圖像和對(duì)應(yīng)的病灶區(qū)域標(biāo)注，圖像大小全部為2 048×2 048。該數(shù)據(jù)集的病理圖像中大部分病灶區(qū)域都相對(duì)較小，是分割中的難點(diǎn)問題。病理圖像和對(duì)應(yīng)專家標(biāo)注的掩膜如圖5（d）～（g）。標(biāo)注掩膜圖像中，白色區(qū)域表示癌組織對(duì)應(yīng)區(qū)域，黑色區(qū)域表示正常組織。

圖5 SEED 和BOT 數(shù)據(jù)集Fig.5 The SEED and BOT data sets used in the experiment

2.2 實(shí)驗(yàn)設(shè)置

為了彌補(bǔ)訓(xùn)練數(shù)據(jù)相對(duì)不足，實(shí)驗(yàn)中對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行了數(shù)據(jù)增廣，增廣比例設(shè)置為1.2 倍，以減小增廣數(shù)據(jù)可能引入的額外干擾。具體增廣方式包括旋轉(zhuǎn)、鏡像、翻轉(zhuǎn)操作，其中旋轉(zhuǎn)操作固定為30°、60°的順時(shí)針和逆時(shí)針旋轉(zhuǎn)，鏡像操作為水平鏡像，翻轉(zhuǎn)操作為上下翻轉(zhuǎn)。每個(gè)訓(xùn)練樣本的增廣概率為20%，對(duì)每次數(shù)據(jù)增廣只隨機(jī)選取一種變換方式處理圖像。每種增廣方式下獲得的圖像數(shù)量，其比例相近且在增廣數(shù)據(jù)中均勻分布。

出于盡量保留訓(xùn)練圖像細(xì)節(jié)和減少模型計(jì)算量，訓(xùn)練HU-Net 網(wǎng)絡(luò)時(shí)兩個(gè)數(shù)據(jù)集中圖像均縮放為576×576 大小，訓(xùn)練采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）作為模型優(yōu)化器。實(shí)驗(yàn)采用DICE 系數(shù)差異函數(shù)作為訓(xùn)練損失函數(shù)，訓(xùn)練時(shí)利用模型在不同深度下對(duì)應(yīng)的預(yù)測(cè)結(jié)果共同進(jìn)行訓(xùn)練。預(yù)測(cè)時(shí)，所有預(yù)測(cè)結(jié)果均以0.5 為概率閾值對(duì)模型輸出進(jìn)行二值化后得到。訓(xùn)練初始學(xué)習(xí)率設(shè)置為0.01，訓(xùn)練epoch 總數(shù)設(shè)置為150。隨著訓(xùn)練模型逐步擬合，當(dāng)驗(yàn)證精度超過10 個(gè)epoch 沒有增加時(shí)，則減小學(xué)習(xí)率，每次學(xué)習(xí)率減小0.005，最小學(xué)習(xí)率為0.000 1，當(dāng)經(jīng)過連續(xù)20 個(gè)epoch 驗(yàn)證精度沒有提高時(shí)結(jié)束訓(xùn)練，批次大?。╞atch size）為5。本實(shí)驗(yàn)所有參數(shù)為在多次實(shí)驗(yàn)條件下確定的最優(yōu)值。

共選取了DICE 系數(shù)、交叉比系數(shù)（Intersection Over Union，IOU）、敏感度（Sensitivity，Sen）、準(zhǔn)確率（Mean Accuracy，MA）和精確率（Precision，Pre）五個(gè)評(píng)價(jià)指標(biāo)進(jìn)行定量評(píng)價(jià)，具體表示為

式中，Ma表示預(yù)測(cè)矩陣，Pre表示標(biāo)簽矩陣。TP、FP、TN、FN 分別表示為真陽性、假陽性、真陰性、假陰性的對(duì)應(yīng)像素預(yù)測(cè)結(jié)果，其中最終的預(yù)測(cè)矩陣為將模型預(yù)測(cè)結(jié)果以0.5 為閾值進(jìn)行二值化操作后得出。五個(gè)評(píng)價(jià)指標(biāo)分別從多個(gè)角度定量地度量了預(yù)測(cè)結(jié)果的分割效果，使評(píng)價(jià)結(jié)果較為客觀和全面。

2.3 BOT 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

2.3.1 HU-Net 網(wǎng)絡(luò)和經(jīng)典網(wǎng)絡(luò)對(duì)比

為驗(yàn)證HU-Net 網(wǎng)絡(luò)有效性，選取了FCN-VGG16［10］、U-Net［11］、SegNet［23］、DeepLabv3+［24］、CA-Net［25］和TransUnet［26］進(jìn)行對(duì)比。訓(xùn)練時(shí)，為了減少參數(shù)對(duì)于各方法分割性能的影響，各個(gè)模型的輸入大小都設(shè)置為576×576 大小，批處理大?。˙atch size）設(shè)置為5，且采用和HU-Net 訓(xùn)練相同的數(shù)據(jù)增廣方式。初始學(xué)習(xí)率和學(xué)習(xí)率設(shè)置如下：最小學(xué)習(xí)率都調(diào)整為0.000 1，初始學(xué)習(xí)率分別設(shè)置為0.01、0.005、0.005、0.001、0.005、0.005，每超過10 個(gè)epoch 驗(yàn)證精度未提高時(shí)觸發(fā)學(xué)習(xí)率變化，每次變化學(xué)習(xí)率下降為原來的0.8 倍，學(xué)習(xí)率的設(shè)置為多次實(shí)驗(yàn)取得的最優(yōu)值。所有算法的實(shí)驗(yàn)結(jié)果都為五折交叉驗(yàn)證結(jié)果的平均值。

實(shí)驗(yàn)前，按照4∶1 的比例劃分訓(xùn)練集和測(cè)試集，不同算法在BOT 數(shù)據(jù)集上的分割結(jié)果如表1。

表1 不同算法在BOT 數(shù)據(jù)集上的結(jié)果Table 1 The result of different algorithms on the BOT dataset

由表1 可得知，F(xiàn)CN 網(wǎng)絡(luò)取得了較差的分割精度，這是因?yàn)锽OT 病理圖像中的病灶區(qū)域普遍較小，F(xiàn)CN 網(wǎng)絡(luò)在進(jìn)行預(yù)測(cè)時(shí)只利用了最深層語義信息，導(dǎo)致細(xì)節(jié)信息利用不足，而U-Net 網(wǎng)絡(luò)因?yàn)槿诤狭思?xì)節(jié)信息因此取得了更高的預(yù)測(cè)分割精度。TransUnet、CA-Net 和SegNet 在保留細(xì)節(jié)信息的基礎(chǔ)上分別采用了更有效的特征提取器、利用注意力模塊進(jìn)行特征篩選和改進(jìn)上采樣的方式，進(jìn)一步改善了病灶分割效果，但這些方法共同的缺點(diǎn)是沒有突出全局特征在病理圖像分割中的作用。本文提出的HU-Net 算法改進(jìn)了特征融合方式，突出了深層語義信息在預(yù)測(cè)中的作用，因此在BOT 數(shù)據(jù)集上取得了最好的分割效果。DeepLabv3+相較于FCN 網(wǎng)絡(luò)減少了下采樣深度，調(diào)節(jié)了深層特征在預(yù)測(cè)中作用，在精確度上取得了不錯(cuò)效果，但是減少下采樣會(huì)導(dǎo)致計(jì)算量顯著增加。

為了直觀對(duì)比不同方法的預(yù)測(cè)，將標(biāo)注圖像（GT）同所有方法在測(cè)試集上的預(yù)測(cè)結(jié)果分別進(jìn)行疊加顯示，其中標(biāo)簽圖像用紅色表示，模型預(yù)測(cè)結(jié)果使用綠色進(jìn)行表示，預(yù)測(cè)結(jié)果和標(biāo)注部分重合區(qū)域表示為黃色，結(jié)果如圖6。

圖6 不同算法在BOT 數(shù)據(jù)集上的分割結(jié)果Fig.6 Segmentation masks of different algorithms on BOT dataset

從圖6 可得知，F(xiàn)CN 因?yàn)闆]有利用細(xì)節(jié)信息所以出現(xiàn)了嚴(yán)重的過分割，U-Net 和SegNet 網(wǎng)絡(luò)因?yàn)檫^于強(qiáng)化細(xì)節(jié)信息在預(yù)測(cè)中的作用，導(dǎo)致弱化了模型定位病灶的能力，出現(xiàn)欠分割現(xiàn)象。而CA-Net 和TansUnet 等通過篩選有效特征和增強(qiáng)特征提取能力，在一定程度上改善了分割效果。本文提出的HU-Net算法突出了全局特征同時(shí)保留了細(xì)節(jié)信息，使分割結(jié)果更加精準(zhǔn)。

2.3.2 HU-Net 算法消融實(shí)驗(yàn)

在此基礎(chǔ)上，進(jìn)行了消融實(shí)驗(yàn)，具體設(shè)置為：1）在U-Net 的基礎(chǔ)上使用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的EfficientNet-B4 網(wǎng)絡(luò)作為特征提取器，實(shí)驗(yàn)中稱為EU-Net。2）在EU-Net 的基礎(chǔ)上使用多深度特征融合策略并使用多輸出進(jìn)行多損失函數(shù)共同訓(xùn)練，實(shí)驗(yàn)中命名為FU-Net。3）在EU-Net 的基礎(chǔ)上增加使用注意力模塊，注意力模塊的使用位置同樣在各解碼層對(duì)應(yīng)的特征融合位置，實(shí)驗(yàn)中命名為AU-Net。4）本文所提方法HU-Net 網(wǎng)絡(luò)。消融實(shí)驗(yàn)中的模型訓(xùn)練設(shè)置與HU-Net 訓(xùn)練相同，取五折交叉驗(yàn)證實(shí)驗(yàn)結(jié)果均值作為各模型得分，實(shí)驗(yàn)結(jié)果如表2。

表2 不同模型在BOT 數(shù)據(jù)集上的結(jié)果Table 2 The results of different models on the BOT dataset

從表2 可看出，EU-Net 在BOT 數(shù)據(jù)集上提升了分割精度，說明更換有效的編碼器可以獲得更具鑒別力的特征。同時(shí)，添加注意力模塊（AU-Net）和深度特征融合（FU-Net）兩種改進(jìn)方式相較于EU-Net 又在一定程度上提升了病灶的預(yù)測(cè)分割精度，F(xiàn)U-Net 得分更高說明深層信息對(duì)于預(yù)測(cè)而言有著重要作用，而HU-Net 模型融合了兩種方式的優(yōu)點(diǎn)獲得了最高DICE 系數(shù)。

2.4 SEED 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

2.4.1 HU-Net 網(wǎng)絡(luò)和經(jīng)典網(wǎng)絡(luò)對(duì)比

為了測(cè)試HU-Net 模型在不同數(shù)據(jù)集上的泛化性，在SEED 數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)置同2.3.1 節(jié)，實(shí)驗(yàn)結(jié)果如表3。

表3 不同方法在SEED 數(shù)據(jù)集上的結(jié)果Table 3 The result of different algorithms on the SEED dataset

在表3 中，F(xiàn)CN 比U-Net 獲得了更好的分割效果，主要是因?yàn)镾EED 病理圖像中病灶區(qū)域較大，因此突出全局特征的FCN 分割精度更高。SegNet、TransUnet 和CA-Net 分別通過改進(jìn)上采樣方式、替換編碼器和利用注意力篩選特征，在不同程度上提升了分割精度。不同于FCN 網(wǎng)絡(luò)進(jìn)行了多倍特征下采樣和U-Net直接利用淺層特征預(yù)測(cè)，DeepLabv3+減少了下采樣倍數(shù)并在深度層中進(jìn)行預(yù)測(cè)，調(diào)節(jié)了深層特征在預(yù)測(cè)中的作用，提升了分割精度。本文提出的HU-Net 直接在融合結(jié)構(gòu)上突出了深層特征，并利用注意力模塊進(jìn)行篩選，因此在不同評(píng)價(jià)指標(biāo)下均取得了最高得分，相較于U-Net 網(wǎng)絡(luò)DICE 系數(shù)提升了16.58%。

各算法在測(cè)試集上的預(yù)測(cè)結(jié)果如圖7。在圖7 中，F(xiàn)CN 能大致分割出病灶區(qū)域，但由于沒有利用細(xì)節(jié)特征進(jìn)行預(yù)測(cè)，因此在病灶邊緣的分割誤差較大。U-Net 網(wǎng)絡(luò)因?yàn)槿趸巳痔卣髟陬A(yù)測(cè)中的作用，定位病灶區(qū)域能力受限，出現(xiàn)欠分割現(xiàn)象。相較于對(duì)比算法，HU-Net 取得了最好的分割效果。

圖7 不同算法在SEED 數(shù)據(jù)集上的分割結(jié)果Fig.7 Segmentation masks of different algorithms on SEED dataset

2.4.2 算法消融實(shí)驗(yàn)

在SEED 數(shù)據(jù)集上消融實(shí)驗(yàn)設(shè)置與2.3.2 節(jié)一致，實(shí)驗(yàn)結(jié)果如表4。

表4 不同模型在SEED 數(shù)據(jù)集上的結(jié)果Table 4 The results of different models on the SEED dataset

從表4 可以看出，AU-Net 和FU-Net 網(wǎng)絡(luò)相較于EU-Net 在DICE 系數(shù)上有明顯提升，說明采用通道注意力模塊和改進(jìn)的深層特征融合方式都能提高病理圖像的病灶分割性能。HU-Net 網(wǎng)絡(luò)在病灶分割上取得了最高的分割精度，驗(yàn)證了該方法對(duì)于提升模型分割性能的有效性。結(jié)合表2 中的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)深層特征融合方式的改進(jìn)對(duì)模型的分割性能提升尤為明顯，這說明在癌癥病理圖像分割任務(wù)中，深層語義特征相較于細(xì)節(jié)特征具有更重要作用。

對(duì)實(shí)驗(yàn)進(jìn)行綜合對(duì)比分析：1）觀察圖5、7 中所示圖像可以看出實(shí)驗(yàn)用BOT、SEED 數(shù)據(jù)集具有明顯染色差異，但對(duì)比分析表2、4 可以發(fā)現(xiàn)在添加注意力模塊之后AU-Net 相較于EU-Net 分別提升了1.72%和0.81%，說明本文注意力模塊在不同深度層中篩選得到了更有效的通道特征，明顯增強(qiáng)了網(wǎng)絡(luò)應(yīng)對(duì)圖像顏色變化的能力。2）FU-Net 相較于EU-Net 在兩個(gè)數(shù)據(jù)集上分別提升了2.19%和2.81%，說明改進(jìn)特征融合方式和增加不同層的反向傳播訓(xùn)練能更好地適應(yīng)病理圖像分割需要，而FU-Net 在SEED 數(shù)據(jù)集上取得了更高分割精度的提升，進(jìn)一步說明這種改進(jìn)方法在應(yīng)對(duì)尺度變化的圖像上表現(xiàn)出了明顯作用。3）同時(shí)，分析表1、4 可以看出HU-Net 相較經(jīng)典網(wǎng)絡(luò)以及改進(jìn)對(duì)比網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上均取得了最優(yōu)效果，說明了本文所提方法較好解決了圖像染色差異和圖像尺度變化的問題。

3 結(jié)論

本文提出了一種改進(jìn)的病理圖像語義分割算法HU-Net。該算法首先增強(qiáng)了編碼器提取特征的能力，然后利用自然圖像到病理圖像的遷移學(xué)習(xí)來緩解病理圖像相對(duì)不足的問題，在解碼器中通過改進(jìn)深層和淺層特征的融合方式增強(qiáng)了全局特征在預(yù)測(cè)中的作用，并采用注意力模塊篩選了重要特征，最后通過網(wǎng)絡(luò)多輸出訓(xùn)練在各個(gè)層中獲得了更具鑒別力的特征。在BOT 和SEED 病理圖像數(shù)據(jù)集上的結(jié)果表明，本文所提方法獲得了更好的分割效果，其DICE 分割精度分別可達(dá)77.99%和82.94%，從而為醫(yī)生臨床診斷提供輔助支持。

病理圖像往往具有大小不一、尺度變化大的特點(diǎn)，本文所提方法直接將所有圖像統(tǒng)一變換為了576×576 大小以方便訓(xùn)練，可能會(huì)導(dǎo)致病理圖像細(xì)節(jié)信息丟失，因此下一步研究工作將關(guān)注如何更有效利用圖像中的細(xì)節(jié)信息進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，改善分割性能。