梁芳烜，楊 鋒，2，盧麗云，尹夢曉，2

1.廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，南寧 530004

2.廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室，南寧 530004

腦組織是人體的核心器官之一，對人類健康起著至關(guān)重要的作用，而腦腫瘤嚴(yán)重影響了生命安全。腦腫瘤分為原發(fā)性和繼發(fā)性，即原本生長在顱內(nèi)的腫瘤和由其他部位轉(zhuǎn)移到腦組織的腫瘤。其中，神經(jīng)膠質(zhì)瘤是最常見的原發(fā)性腫瘤，共分為4個(gè)等級(jí)；1和2級(jí)為低級(jí)膠質(zhì)瘤（Low Grade Gliomas，LGG）；3 和4 級(jí)為高級(jí)膠質(zhì)瘤（High Grade Gliomas，HGG），約占所有腦腫瘤的70%～80%[1]?，F(xiàn)有很多治療方案，如手術(shù)切除、放療、化療和免疫治療等，手術(shù)治療是目前最有效的治療方法。然而，腦瘤部位和正常組織沒有明顯的界限，切除不完全，則復(fù)發(fā)很快，而切除掉正常的腦組織，會(huì)對人體造成二次損傷，導(dǎo)致準(zhǔn)確切除腦腫瘤的難度非常大。影響腦瘤切除準(zhǔn)確度的因素大致分為兩類，成像技術(shù)和分割方法。醫(yī)學(xué)成像技術(shù)有利于醫(yī)生獲取患者腦組織信息，從而評估并制定合適的手術(shù)和治療方案。自X-射線[2]被發(fā)現(xiàn)后，計(jì)算機(jī)斷層掃描（Computer Tomographs，CT）、核磁共振成像（Magnetic Resonance Imaging，MRI）、正電子發(fā)射斷層掃描（Positron Emission Tomography，PET）和單光子發(fā)射計(jì)算機(jī)斷層掃描（Single-Photo Emission Computed Tomography，SPECT）等成像技術(shù)迅猛發(fā)展，促進(jìn)了腦圖像處理的發(fā)展。對比CT、PET和SPECT 掃描，MRI 利用磁場和無線電波成像，避免人體暴露于電離輻射，是一種無損傷成像方式，且成像中軟組織對比度高。因此，MRI 較適用于腦成像[3]。MRI 可產(chǎn)生不同序列的圖像，不同模態(tài)的信息相互補(bǔ)充，提高腫瘤及其分區(qū)的診斷正確率和分割準(zhǔn)確性[4]。神經(jīng)膠質(zhì)瘤診斷包含四種模態(tài)的MRI圖像，分別為用于區(qū)分腫瘤與周邊組織的T1、清晰顯示腦組織結(jié)構(gòu)的T1c、區(qū)分整體腫瘤和正常組織的T2和顯示腫瘤周圍水腫和正常組織差異的Flair。

目前，大部分大腦分割還是依賴人工分割，然而，該方式耗時(shí)耗力，且受個(gè)人經(jīng)驗(yàn)影響。因此，尋找一種精確的自動(dòng)的腦腫瘤分割方法，減輕醫(yī)生工作量，避免主觀意見，非常具有研究價(jià)值。隨著深度學(xué)習(xí)技術(shù)在自然圖像分類、檢測和分割研究的普及，將其應(yīng)用于醫(yī)學(xué)圖像分割，實(shí)現(xiàn)自動(dòng)學(xué)習(xí)特征并分割特定組織，有望解決自動(dòng)分割問題。然而，由于腦組織邊界模糊，腦腫瘤位置、形狀和大小具有高可變性，以及成像噪聲、類不平衡和數(shù)據(jù)集大小有限等因素，使得基于深度學(xué)習(xí)技術(shù)的腦圖像分割研究面臨巨大的挑戰(zhàn)。

隨著深度學(xué)習(xí)在醫(yī)學(xué)圖像分割方面的應(yīng)用逐漸增多，出現(xiàn)了眾多的相關(guān)綜述[5-8]。綜述[5-6]涉及非醫(yī)學(xué)圖像分割；李鏘等人[7]研究了監(jiān)督和非監(jiān)督分類相關(guān)方法；Tiwari 等人[8]綜述了腦腫瘤的分割和分類兩部分內(nèi)容，未能詳細(xì)闡釋分割類方法。不同于上述綜述，本文僅針對基于卷積神經(jīng)網(wǎng)絡(luò)的腦圖像分割方法進(jìn)行綜述，詳細(xì)梳理了近幾年的相關(guān)論文。論文介紹了腦圖像分割的研究背景、意義和難點(diǎn)，并簡單描述了它的發(fā)展歷程；然后，詳細(xì)描述了腦圖像分割中主流的卷積神經(jīng)網(wǎng)絡(luò)及其改進(jìn)方案，簡介了腦分割實(shí)驗(yàn)中常用的數(shù)據(jù)集和性能評價(jià)指標(biāo)；最后，分析和比較2017 至2019 年的BraTs 挑戰(zhàn)賽中排名靠前的算法性能，并討論深度學(xué)習(xí)方法應(yīng)用于腦圖像分割面臨的挑戰(zhàn)和未來的發(fā)展趨勢。

1 腦腫瘤分割方法發(fā)展概述

2006年，Hinton等[9]首次提出多隱層的“深度學(xué)習(xí)”，區(qū)別淺層學(xué)習(xí)，加入了多層隱藏層訓(xùn)練，掀起了深度學(xué)習(xí)熱潮。在此基礎(chǔ)上，AlexNet[10]、VGG[11]、GoogLeNet[12]、ResNet[13]、DenseNet[14]等深而寬的網(wǎng)絡(luò)結(jié)構(gòu)相繼被提出，從而學(xué)習(xí)到更深層次的數(shù)據(jù)特征。隨著設(shè)備計(jì)算能力的提高和大數(shù)據(jù)發(fā)展，深度學(xué)習(xí)在圖像處理、自然語言、自動(dòng)駕駛和視頻處理等領(lǐng)域取得了很大的發(fā)展。因其在圖像處理的應(yīng)用效果好，且可自動(dòng)提取特征，利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)腦腫瘤自動(dòng)分割成為熱點(diǎn)研究項(xiàng)目。

根據(jù)有無標(biāo)注的訓(xùn)練樣本，腦腫瘤分割方法可分為無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)?；跓o監(jiān)督學(xué)習(xí)的腦腫瘤分割方法有閾值[15-16]、區(qū)域[17]和活動(dòng)輪廓模型[18]，以及聚類方法，如k-means 聚類[19]、貝葉斯模糊聚類[20-21]、模糊C-均值聚類[22]、超像素聚類[23]等。對于監(jiān)督學(xué)習(xí)，早期方法一般有支持向量機(jī)[24-25]、隨機(jī)森林[26-27]。然而，上述方法需要較多人工干涉，如閾值設(shè)置、種子點(diǎn)選擇、能量函數(shù)設(shè)計(jì)和聚類規(guī)則制定，以及早期監(jiān)督學(xué)習(xí)方法中特征劃定。相較而言，卷積神經(jīng)網(wǎng)絡(luò)方法可以從訓(xùn)練數(shù)據(jù)中自動(dòng)獲取特征，并可以獲得先進(jìn)的分割結(jié)果。文獻(xiàn)[28]使用兩階段級(jí)聯(lián)U-Net實(shí)現(xiàn)粗到精分割，奪得2019年腦腫瘤挑戰(zhàn)賽冠軍。文獻(xiàn)[29]對標(biāo)簽不確定損失建模，并利用DenseNet 和注意力機(jī)制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，能夠獲得較好的效果。文獻(xiàn)[30]在U-Net內(nèi)部嵌入不同深度的U-Net集，并重新設(shè)計(jì)跳連接使得編碼器部分可以結(jié)合不同尺度語義信息。

2 腦腫瘤分割方法

相對來說，基于卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割方法雖然需要標(biāo)注的腦圖像，但能夠獲得較好的分割結(jié)果，且可以自動(dòng)學(xué)習(xí)圖像特征。因此，綜述重點(diǎn)討論這類方法，并根據(jù)腦腫瘤分割難點(diǎn)，從數(shù)據(jù)和結(jié)構(gòu)優(yōu)化兩個(gè)角度具體介紹主流的方法。腦腫瘤分割困難主要有兩方面因素，數(shù)據(jù)有限和類不平衡，以及腫瘤的高可變性。針對數(shù)據(jù)問題，現(xiàn)有方案有數(shù)據(jù)增強(qiáng)、級(jí)聯(lián)和損失函數(shù)設(shè)計(jì)等方法；而對腫瘤結(jié)構(gòu)易變問題，則采取多任務(wù)方法，將分割任務(wù)分為多個(gè)子任務(wù)，或使用多視圖和多尺度等方法，增加訓(xùn)練和預(yù)測階段的特征信息。

2.1 數(shù)據(jù)優(yōu)化

基于卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割方法需要大量的已標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，從而學(xué)習(xí)圖像特征，獲得準(zhǔn)確的分割。然而，目前公開的高質(zhì)量標(biāo)注的腦腫瘤數(shù)據(jù)比較少，且數(shù)據(jù)集中各類的數(shù)量往往不平衡，極大地限制了卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)上的應(yīng)用。因此，解決數(shù)據(jù)集大小有限和類不平衡問題，有助于顯著改善分割精度，解決方案如表1所示。對于數(shù)據(jù)大小受限的問題，較常用的方法是在原有數(shù)據(jù)的基礎(chǔ)上，擴(kuò)充數(shù)據(jù)量，如旋轉(zhuǎn)、翻轉(zhuǎn)、縮放和添加隨機(jī)雜色等方案，提高訓(xùn)練過程，減輕過擬合，但可能會(huì)受到數(shù)據(jù)質(zhì)量的影響[31-37]。針對數(shù)據(jù)集類不平衡問題，可以采用級(jí)聯(lián)方法，實(shí)現(xiàn)從粗到細(xì)的分割，降低類間不平衡[28，32，35，38-40]。然而，級(jí)聯(lián)方法將導(dǎo)致計(jì)算量和內(nèi)存消耗變大。為了解決這類問題，可以設(shè)計(jì)合適的損失函數(shù)解決數(shù)據(jù)類不平衡[31，33，35，41-45]。Isensee等人[31]采用多類骰子損失函數(shù)解決類不平衡。隨后，又加入了交叉熵?fù)p失函數(shù)互補(bǔ)，進(jìn)一步減輕不平衡的情況[33]。Brosch等人[41]使用敏感性和特異性的均方誤差加權(quán)和作為損失函數(shù)，更好地平滑梯度。Jesson 等人[42]提出多尺度損失函數(shù)，對全卷積網(wǎng)絡(luò)的每個(gè)分辨率給出預(yù)測，將高與低分辨率輸出相結(jié)合，以對圖像域和標(biāo)簽域中的上下文建模。Sudre等人[43]評估了加權(quán)交叉熵函數(shù)、靈敏度函數(shù)、骰子損失函數(shù)和骰子重疊損失重新平衡類的表現(xiàn)。Fidon 等人[44]根據(jù)概率標(biāo)簽空間上的Wasserstein距離，提出了用于多類分割的語義信息概括的Dice 分?jǐn)?shù)。Li 等人[35]和McKinley 等人[45]采用焦點(diǎn)損失函數(shù)解決類失衡問題。但是，損失函數(shù)需要根據(jù)具體的網(wǎng)絡(luò)和任務(wù)進(jìn)行設(shè)計(jì)，不能實(shí)現(xiàn)通用。

2.2 結(jié)構(gòu)優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)是經(jīng)典的深度學(xué)習(xí)方法，根據(jù)相應(yīng)的任務(wù)，已有眾多的改進(jìn)。對于腦腫瘤分割，根據(jù)其位置、形狀和大小的高可變性特點(diǎn)，網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)盡可能利用圖像中的特征信息。因此，基于卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割的結(jié)構(gòu)可大致分為三類，分別為多任務(wù)、多視圖以及多尺度方法，如表2所示。

表1 數(shù)據(jù)優(yōu)化

表2 結(jié)構(gòu)優(yōu)化

2.2.1 基于多任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)分割方法

腦腫瘤分割有多個(gè)分割區(qū)域，如完整腫瘤、腫瘤核心、增強(qiáng)腫瘤，可將其分為多個(gè)子任務(wù)進(jìn)行訓(xùn)練，簡化多類分割的復(fù)雜度，提高小類分割效果，從而整體提高分割精度。按照分割區(qū)域，通?？梢詫⑵浞譃槿齻€(gè)子任務(wù)進(jìn)行分割。如圖1，Wang 等人[32，40]和Yogananda 等人[46]將多類分割問題轉(zhuǎn)化為三個(gè)二進(jìn)制分割問題，然后分別利用三類網(wǎng)絡(luò)對完整腫瘤、腫瘤核心和增強(qiáng)腫瘤核心進(jìn)行分割，解決了類不平衡，提高了分割精度。然而，這會(huì)導(dǎo)致模型復(fù)雜度加深，計(jì)算和存儲(chǔ)開銷大，并且忽略模型間的相關(guān)性。為了解決上述問題，Zhou等人[39，47]提出了一個(gè)多任務(wù)深度模型，將腦腫瘤分割任務(wù)分解為3個(gè)不同但相關(guān)的任務(wù)，并采用基于課程學(xué)習(xí)的培訓(xùn)策略，一起訓(xùn)練3 個(gè)任務(wù)以利用其潛在的相關(guān)性，如圖2。子任務(wù)間共同訓(xùn)練，共享參數(shù)，大大節(jié)省了計(jì)算和內(nèi)存消耗，但可能引入不相關(guān)參數(shù)，導(dǎo)致子模型性能下降。此外，根據(jù)腦腫瘤軟組織邊界模糊的特點(diǎn)，可將腦腫瘤分割分為腫瘤區(qū)域和腫瘤邊緣兩類任務(wù)，相互補(bǔ)充，可同時(shí)取得較好的分割結(jié)果和計(jì)算效率，不足之處在于難以分割類數(shù)量較少的區(qū)域[48]。

圖1 多任務(wù)網(wǎng)絡(luò)

圖2 多任務(wù)共享網(wǎng)絡(luò)

2.2.2 基于多視圖的卷積神經(jīng)網(wǎng)絡(luò)分割方法

腦腫瘤分割中引入多視圖信息，即軸向、矢狀和冠狀三類視圖，如圖3，從不同切片角度獲取圖像特征，從而更精確地分割腦腫瘤區(qū)域。Wang等人[40]采用多視圖融合，即3 個(gè)正交視圖中的網(wǎng)絡(luò)集合，然后配合各向異性接受場，充分利用3D上下文信息訓(xùn)練各層網(wǎng)絡(luò)，從而獲得更高的分割精度。相對2D卷積，使用多層3D卷積具有較大的計(jì)算成本和內(nèi)存存儲(chǔ)。為此，Zhao等人[49]分別獲取了軸向，冠狀和矢狀視圖中的2D 圖像補(bǔ)丁和切片，并訓(xùn)練3 種全卷積神經(jīng)網(wǎng)絡(luò)分割模型，之后使用基于投票的融合策略將其組合以分割腦腫瘤。然而，2D卷積不能充分利用腦圖像的空間信息，而3D 卷積卻面臨高昂的計(jì)算成本和存儲(chǔ)需求。Chen 等人[50]提出了可分離3D 卷積的3D U-Net 結(jié)構(gòu)，將每個(gè)3D 卷積以平行方式分為3 個(gè)分支，每個(gè)分支分別采用軸向，矢狀和冠狀視圖訓(xùn)練，在不增加計(jì)算負(fù)擔(dān)的情況下，充分利用3D體積信息，但未能完全發(fā)揮3D卷積的性能。

圖3 軸向、冠狀和矢狀視圖

2.2.3 基于多尺度的卷積神經(jīng)網(wǎng)絡(luò)分割方法

多尺度是對信號(hào)的不同粒度的采樣，通常不同的尺度具有不同的特征，采用多尺度特征融合網(wǎng)絡(luò)可以增加圖像訓(xùn)練或預(yù)測過程中的特征信息，提高分割精度。根據(jù)其使用階段，可分為多尺度特征融合網(wǎng)絡(luò)[29，34，38，41，44，49，51-59]、多尺度預(yù)測融合網(wǎng)絡(luò)[31，36，40，43，46，52-53，59-63]和多尺度特征/預(yù)測融合網(wǎng)絡(luò)[52-53]。其中，多尺度特征融合網(wǎng)絡(luò)可分為并行多分支網(wǎng)絡(luò)[38，51-57]和串行結(jié)構(gòu)[29，34，41，44，49，58-59]，均是在不同的感受野下進(jìn)行特征提取。并行多分支網(wǎng)絡(luò)可以采用并行卷積路徑進(jìn)行多尺度處理，有效地合并本地信息和上下文信息[38，51-53]，如圖4；也可以在同一層中并行不同張率的擴(kuò)展卷積獲取不同尺度的特征，更加靈活地平衡計(jì)算量和模型性能[54-57]，如圖5。然而，并行網(wǎng)絡(luò)會(huì)占用較大的計(jì)算資源和存儲(chǔ)空間，資源受限的情況下，應(yīng)采用串行結(jié)構(gòu)。串行結(jié)構(gòu)可將不同層級(jí)的特征進(jìn)行融合，有效解決腦腫瘤邊緣不清晰的缺陷，但獲取的信息有限，如圖6。相比于多尺度特征融合，多尺度預(yù)測的功能類似，都是將高低級(jí)特征合并，從而提高分割精度，如圖7。而其不同點(diǎn)在于，計(jì)算效率較高。

圖4 基于并行路徑的多尺度特征融合

圖5 基于并行擴(kuò)展卷積的多尺度特征融合

圖6 基于串行路徑的多尺度特征融合

圖7 多尺度預(yù)測融合

3 常用的腦圖像數(shù)據(jù)集和評價(jià)指標(biāo)

具有準(zhǔn)確標(biāo)注的腦圖像數(shù)據(jù)集不僅可以提升網(wǎng)絡(luò)的性能，而且可以驗(yàn)證提出算法的有效性。然而，醫(yī)學(xué)數(shù)據(jù)的標(biāo)注難度遠(yuǎn)大于自然圖像，需要經(jīng)驗(yàn)豐富，專業(yè)知識(shí)高的專家進(jìn)行標(biāo)注，甚至同時(shí)需要多個(gè)專家進(jìn)行標(biāo)注，最大程度降低主觀因素影響。因此，制作具有準(zhǔn)確標(biāo)記的醫(yī)學(xué)圖像數(shù)據(jù)集非常耗費(fèi)時(shí)間和精力。此外，評價(jià)算法的優(yōu)劣，需要相同的評價(jià)指標(biāo)。下面將對常用的腦圖像數(shù)據(jù)集和性能評價(jià)指標(biāo)進(jìn)行總結(jié)，表3展示了所述數(shù)據(jù)集概況。

3.1 數(shù)據(jù)集

（1）BraTs

BraTs 數(shù)據(jù)集主要為多模態(tài)腦腫瘤分割挑戰(zhàn)賽提供數(shù)據(jù)集。其提供4 類尺寸為240×240×155 的MRI 序列，分別是T1、T1c、T2 和FLAIR，以及3 類標(biāo)簽：增強(qiáng)腫瘤，腫瘤周圍水腫、壞死和非增強(qiáng)的腫瘤核心。其大致分為三部分，即BraTs12-13[64]、BraTs14-16 和BraTs17-19[65-66]。其中，在BraTS17-19期間的數(shù)據(jù)仍然采用BraTS12-13 中由臨床專家手動(dòng)標(biāo)注的圖像，而BraTS14-16 使用的數(shù)據(jù)已被刪除。此外，自2017 年起，數(shù)據(jù)集與之前大不相同，標(biāo)注并添加了所有神經(jīng)膠質(zhì)瘤子區(qū)域的所有術(shù)前TCGA/TCIA掃描，即膠質(zhì)母細(xì)胞瘤（TCGA-GBM，n=135）和低級(jí)膠質(zhì)瘤（TCGALGG，n=108）。

（2）ADNI

ADNI 數(shù)據(jù)集[67]提供阿爾茨海默氏病神經(jīng)影像，用于發(fā)現(xiàn)和追蹤阿爾茨海默氏?。ˋlzheimer’s Disease，AD）。目前，已開發(fā)ADNI-1、ADNI-GO、ADNI-2 和ADNI-3 這4 個(gè)階段，其中腦成像常采用MRI 和PET 掃描。ADNI-1 包括400 名輕度認(rèn)知障礙（Mild Cognitive Impairment，MCI）受試者，200名患有早期AD受試者和200 名老年對照受試者。ADNI-GO 階段評估了現(xiàn)有的ADNI-1 隊(duì)列以及200 名早期輕度認(rèn)知障礙（Early Mild Cognitive Impairment，EMCI）受試者。在ADNI-1和ADNI-GO的基礎(chǔ)上，ADNI-2加入了150名老年人對照組，100 名EMCI 受試者，150 名晚期輕度認(rèn)知障礙受試者，以及150 例輕度AD 患者。同時(shí)，添加了107 名“重要記憶關(guān)注”受試者，解決健康對照與MCI 間的差距。ADNI-3 添加了AD 的關(guān)鍵指標(biāo)tau 蛋白纏結(jié)掃描（tau PET），并增加了數(shù)百名MCI受試者，輕度AD受試者和老年人對照。

（3）OASIS

OASIS數(shù)據(jù)集[68]提供大腦神經(jīng)影像數(shù)據(jù)集，可用于研究和分析AD 病癥。至今，已提供了3 個(gè)階段的數(shù)據(jù)集，分別為OASIS-1、OASIS-2 和OASIS-3。OASIS-1是一系列MRI 橫斷面數(shù)據(jù)集，包括416 名年齡在18 至96歲之間的受試者的橫斷面集合。對于每個(gè)對象，包括在單個(gè)成像會(huì)話中獲得的3個(gè)或4個(gè)單獨(dú)的T1-W MRI掃描。OASIS-2 是由150 例年齡在60 至96 歲之間的受試者組成的MRI 縱斷面數(shù)據(jù)集，共進(jìn)行373 次掃描，對于每次掃描，獲得3 或4 個(gè)單獨(dú)的T1-W MRI 掃描。OASIS-3 提供MRI 和PET 成像，匯總了1 098 例相關(guān)臨床數(shù)據(jù)，年齡跨度為42 歲到95 歲，共包含2 000 多個(gè)結(jié)構(gòu)和不同序列的MR圖像。

表3 腦圖像數(shù)據(jù)集

（4）ISLES

ISLES數(shù)據(jù)集主要為缺血性中風(fēng)損傷分割挑戰(zhàn)賽，即MICCAI會(huì)議期間舉辦的挑戰(zhàn)賽之一，其目的是尋求一種定位不可逆轉(zhuǎn)損傷的腦組織區(qū)域和范圍的重復(fù)性良好且準(zhǔn)確性高的數(shù)據(jù)分析技術(shù)，支持臨床醫(yī)生的決策過程，如決定使用或反對溶栓治療，提供數(shù)據(jù)集。截止2018年，ISLES挑戰(zhàn)賽共歷經(jīng)四屆，分別為2015年亞急性缺血性腦中風(fēng)損傷分割和急性中風(fēng)預(yù)后/半影評估，2016年損傷和臨床結(jié)果預(yù)測，2017年急性腦MRI成像病變結(jié)果預(yù)測，2018 年CT 灌注數(shù)據(jù)進(jìn)行分割。其中，除了2018 年加入了CT 腦成像，其余階段皆為MRI掃描。

（5）IBSR數(shù)據(jù)集

IBSR 數(shù)據(jù)集是互聯(lián)網(wǎng)大腦分割存儲(chǔ)庫，其提供了人工引導(dǎo)的專家分割標(biāo)準(zhǔn)和MRI數(shù)據(jù)，旨在評估和開發(fā)腦圖像分割技術(shù)，并診斷多類病癥種，如AD、多動(dòng)癥、自閉癥等。IBSR 數(shù)據(jù)集由20 種帶標(biāo)簽的皮質(zhì)結(jié)構(gòu)和32種非皮質(zhì)結(jié)構(gòu)的MRI 圖像組成。其中，每個(gè)MRI 尺寸大小為256×256×128，并具有不同的體素間距：0.84 mm×0.84 mm×1.5 mm，0.94 mm×0.94 mm×1.5 mm和1.0 mm×1.0 mm×1.5 mm。

3.2 評價(jià)指標(biāo)

（1）Dice相似系數(shù)和Jaccard相似系數(shù)

Dice 相似系數(shù)（DSC）[69]和Jaccard 系數(shù)主要用于計(jì)算不同樣本的相似度，是集合間的相似度度量函數(shù)，系數(shù)越大，分割效果越好，其計(jì)算表達(dá)式如下所示：Vseg代表預(yù)測的分割體積，Vgt代表真實(shí)的分割體積，以下公式中相同符號(hào)的含義一樣。

（2）體積重疊誤差和相對體積差異

體積重疊誤差（Volumetric Overlap Error，VOE）指預(yù)測分割體積和真實(shí)分割體積的誤差，誤差越小，分割結(jié)果越精準(zhǔn)。相對體積差異（Relative Volume Difference，RVD）則是用于判斷過分割或欠分割，它們的公式表示如下：

（3）Hausdorff距離和平均對稱表面距離

Hausdorff距離取兩個(gè)點(diǎn)集間的最大最小距離，平均對稱表面距離（Average Symmetrical Surface Distance，ASSD）則取點(diǎn)集間最小距離之和的平均距離。使用Hausdorff或ASSD距離作為相似度測量時(shí)，盡可能最小化其距離。它們的定義如下：

d(a,b)為a、b兩點(diǎn)間的歐幾里得距離。

4 BraTs17-19挑戰(zhàn)賽算法性能分析

BraTs挑戰(zhàn)賽主要為參賽者提供統(tǒng)一的數(shù)據(jù)集和評價(jià)指標(biāo)，評估腦部MRI圖像中腫瘤分割方法的優(yōu)劣。表4主要從參考文獻(xiàn)、年份、網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)解決方法、結(jié)構(gòu)優(yōu)化和Dice系數(shù)等因素，展示了2017年至2019年BraTs挑戰(zhàn)賽中排名靠前的競賽方法。分析表4 可知，對于BraTs17 挑戰(zhàn)賽，文獻(xiàn)[52]集成DeepMedic[51]、3D FCN（Fully Convolutional Networks）和3D U-Net多個(gè)網(wǎng)絡(luò)，并采用多尺度輸入和預(yù)測優(yōu)化訓(xùn)練，最后集成它們的預(yù)測，獲得WT 和TC 中Dice 分?jǐn)?shù)最高，競賽第一名。區(qū)別于上述方法，文獻(xiàn)[40]將任務(wù)分為3 個(gè)級(jí)聯(lián)子任務(wù)網(wǎng)絡(luò)，將前一網(wǎng)絡(luò)的輸出作為輸入，實(shí)現(xiàn)粗到細(xì)的分割，并采用多視圖和多尺度優(yōu)化輸出，獲得ET 分割Dice 分?jǐn)?shù)最佳，競賽第二名。類似文獻(xiàn)[52]思路，文獻(xiàn)[39]和[58]集成多類模型，文獻(xiàn)[39]采用多任務(wù)共享結(jié)構(gòu)優(yōu)化訓(xùn)練，文獻(xiàn)[58]使用多尺度預(yù)測優(yōu)化輸出，均在競賽中取得較好的結(jié)果。然而，集成網(wǎng)絡(luò)內(nèi)存占用高，計(jì)算代價(jià)大。文獻(xiàn)[70]不使用集成網(wǎng)絡(luò)，提出非對稱U-Net 結(jié)構(gòu)，增加解碼器分支，重建輸入圖像以正則化共享編碼器。借鑒文獻(xiàn)[70]，文獻(xiàn)[28]采用級(jí)聯(lián)UNet，使用U-Net獲得粗分割，然后輸入非對稱編碼網(wǎng)絡(luò)獲得精分割。文獻(xiàn)[70]和文獻(xiàn)[28]分別取得TC 和WT分割Dice 分?jǐn)?shù)最佳，競賽第一。不同于結(jié)構(gòu)優(yōu)化，文獻(xiàn)[31]和[33]注重網(wǎng)絡(luò)訓(xùn)練，采用數(shù)據(jù)增強(qiáng)和損失函數(shù)提高訓(xùn)練，旨在獲得健壯的網(wǎng)絡(luò)。尤其是文獻(xiàn)[33]采用其他機(jī)構(gòu)數(shù)據(jù)和訓(xùn)練策略，如區(qū)域訓(xùn)練，優(yōu)化訓(xùn)練，獲得ET分割Dice分?jǐn)?shù)最優(yōu)，競賽第二。文獻(xiàn)[45]和[49]利用標(biāo)簽不確定損失對標(biāo)簽噪聲和不確定性建模，優(yōu)化網(wǎng)絡(luò)訓(xùn)練，有效提高分割性能，分別取得了BraTs18和BraTs19挑戰(zhàn)賽第三名，WT 分割Dice 分?jǐn)?shù)最優(yōu)。綜上，多尺度處理、損失設(shè)計(jì)和數(shù)據(jù)擴(kuò)充常被用來優(yōu)化訓(xùn)練過程，并能有效提高分割性能，進(jìn)一步提高網(wǎng)絡(luò)性能可以考慮如何設(shè)計(jì)優(yōu)化方法組合。

表4 BraTS17-19競賽方法對比

5 結(jié)束語

本文對近幾年基于卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割方法進(jìn)行了梳理，首先根據(jù)數(shù)據(jù)和結(jié)構(gòu)優(yōu)化兩方面分析了主流的方法，然后介紹了常見的數(shù)據(jù)集和評價(jià)指標(biāo)，并對BraTs17-19 挑戰(zhàn)賽中排名靠前的算法性能進(jìn)行分析。根據(jù)上述面臨的挑戰(zhàn)和已有的解決方案，可獲得基于卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割方法的趨勢如下：

通過增強(qiáng)數(shù)據(jù)、級(jí)聯(lián)和損失函數(shù)設(shè)計(jì)，可解決數(shù)據(jù)集有限及類不平衡的問題，降低過擬合，從而加強(qiáng)網(wǎng)絡(luò)訓(xùn)練或預(yù)測。具有準(zhǔn)確標(biāo)記的數(shù)據(jù)不僅影響網(wǎng)絡(luò)訓(xùn)練的性能，還影響算法有效性的驗(yàn)證。然而，現(xiàn)有的符合要求的數(shù)據(jù)集仍然很少，且不同機(jī)構(gòu)或儀器產(chǎn)生的數(shù)據(jù)有差異，導(dǎo)致可供有效訓(xùn)練的數(shù)據(jù)非常有限。最直接的方法是擴(kuò)充數(shù)據(jù)，但結(jié)果受到生成數(shù)據(jù)的質(zhì)量影響嚴(yán)重，尋求一種生成近似原始數(shù)據(jù)的數(shù)據(jù)增強(qiáng)方法非常具有研究價(jià)值。此外，也可以設(shè)計(jì)網(wǎng)絡(luò)的級(jí)聯(lián)實(shí)現(xiàn)和合適的損失函數(shù)解決數(shù)據(jù)類不平衡，降低過擬合，從而提高分割精度。

除了可以解決數(shù)據(jù)類不平衡，損失函數(shù)還可以根據(jù)具體網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)，提高分割準(zhǔn)確度。例如，交叉熵?fù)p失可彌補(bǔ)Dice損失存在的缺陷，提高其表現(xiàn)能力；標(biāo)簽不確定損失可對網(wǎng)絡(luò)的標(biāo)簽和噪聲建模，改善網(wǎng)絡(luò)性能；壓縮損失函數(shù)可有利于約束腫瘤形狀等等。然而，損失函數(shù)的設(shè)計(jì)沒有固定的改進(jìn)方式，設(shè)計(jì)難度比較大，如何改進(jìn)損失函數(shù)是未來需要研究的范疇。

通過采用多任務(wù)、多視圖和多尺度方法，增加網(wǎng)絡(luò)捕獲的圖像信息，可以有效提高網(wǎng)絡(luò)的性能。多任務(wù)方法可根據(jù)分割區(qū)域類別劃分多類任務(wù)，或根據(jù)區(qū)域和邊緣分為兩類任務(wù)，具體子任務(wù)設(shè)計(jì)視具體分割任務(wù)進(jìn)行設(shè)計(jì)。此外，單獨(dú)訓(xùn)練每類子任務(wù)，會(huì)導(dǎo)致網(wǎng)絡(luò)復(fù)雜，參數(shù)較多，設(shè)計(jì)子任務(wù)共享網(wǎng)絡(luò)參數(shù)，可以有效降低模型復(fù)雜度，加快訓(xùn)練過程。多視圖訓(xùn)練能夠獲得圖像的全方位信息，可以單獨(dú)訓(xùn)練軸向、冠狀或矢狀三類切面的子網(wǎng)絡(luò)，或?qū)ζ浣y(tǒng)一訓(xùn)練。相比多任務(wù)和多視圖，網(wǎng)絡(luò)中多尺度方法比較常用。多尺度方法可設(shè)計(jì)多尺度特征融合、多尺度預(yù)測融合或多尺度特征/預(yù)測融合，如何選擇則視具體分割網(wǎng)絡(luò)確定。