摘 要：心臟磁共振圖像分割對心功能分析和心臟疾病診斷具有十分重要的意義。針對傳統(tǒng)心臟分割方法對心臟MR圖像特征提取不全面，以及基于注意力機(jī)制的深度學(xué)習(xí)方法參數(shù)量過大的問題，設(shè)計(jì)一種基于GAN與軸向區(qū)塊注意力的心臟磁共振圖像分割模型，對圖像特征進(jìn)行多尺度、全方面地提取，結(jié)合GAN策略提升模型性能。實(shí)驗(yàn)結(jié)果表明，模型實(shí)現(xiàn)了圖像的有效分割并提高了分割結(jié)果與真實(shí)標(biāo)簽之間的一致性。

關(guān)鍵詞：圖像分割；GAN網(wǎng)絡(luò)；注意力機(jī)制；磁共振圖像

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2024）13-0046-06

Cardiac Magnetic Resonance Image Segmentation Based on

GAN and Axial Block Attention

WANG Bo， HU Huaifei

（South-Central Minzu University， Wuhan 430074， China）

Abstract： Cardiac magnetic resonance image segmentation is of great significance for cardiac function analysis and cardiac disease diagnosis. Aiming at the problem that traditional cardiac segmentation methods can not fully extract features from cardiac MR images， and the Deep Learning method based on the Attention Mechanism has too many parameters. A cardiac magnetic resonance image segmentation model based on GAN and axial block attention is designed to extract image features at multiple scales and in all aspects， and combined with GAN strategy to improve model performance. Experimental results show that the model achieves effective segmentation of images and improves the consistency between segmentation results and real labels.

Keywords： image segmentation; GAN network; Attention Mechanism; magnetic resonance image

0 引 言

我國居民心血管疾病流行趨勢明顯，心血管疾病的發(fā)病人數(shù)持續(xù)增加[1]。磁共振（Magnetic Resonance， MR）技術(shù)能夠得到清晰的組織結(jié)構(gòu)圖，使心功能分析在臨床實(shí)踐中變得更加精準(zhǔn)全面[2]。由于患者M(jìn)R圖像數(shù)量龐大，臨床醫(yī)師在閱片上需要耗費(fèi)大量的時(shí)間和精力[3]。如何避免主觀因素影響實(shí)現(xiàn)高效準(zhǔn)確地分割MR圖像成為難題。

1 相關(guān)研究

卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用不僅避免了主觀影響，還加快了MR圖像的分割速度。但卷積核具有局限性，無法有效獲取長距離的依賴關(guān)系，限制了圖像特征的表達(dá)能力。注意力機(jī)制（Attention Mechanism）通過動態(tài)學(xué)習(xí)模型的感興趣區(qū)域，合理分配模型的權(quán)重，提升了模型的表達(dá)能力和整體性能，打破了卷積神經(jīng)網(wǎng)絡(luò)模型在特征提取方面的局限性。

Chen等[4]首次將自注意力機(jī)制引入醫(yī)學(xué)圖像分割任務(wù)，在U-Net模型中使用Transformer對所提取的特征信息進(jìn)行全局編碼，豐富了圖像全局底層細(xì)節(jié)信息。Wang等[5]引入位置編碼對全局信息進(jìn)行編碼，對自注意力模塊進(jìn)行降維操作，有效降低了網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度。Valanarasu等[6]在文獻(xiàn)[5]的基礎(chǔ)上向全局位置編碼增加門控單元（Gated Unit），提出了軸向門控注意力（Axial Attention），通過控制信息流動約束了信息傳遞，對自注意力機(jī)制進(jìn)行了改進(jìn)。Tu等[7]使用網(wǎng)格注意力模塊提取全局特征信息，結(jié)合區(qū)塊注意力（Block Attention）模塊提取局部特征信息，有效提升了模型對特征的提取表達(dá)能力。Rahman等[8]使用深度監(jiān)督策略分別對模型進(jìn)行并聯(lián)、級聯(lián)訓(xùn)練，所提出的逐級特征融合策略在得到深層特征信息的同時(shí)實(shí)現(xiàn)了模型間的信息交互，增強(qiáng)了模型對特征的表達(dá)能力。Tragakis等[9]提出一種全卷積Transformer模型（Fully Convolution Transformer， FCT），該模型在解碼階段引入自注意力結(jié)構(gòu)，能夠提取到長程語義依賴，結(jié)合逐級特征融合策略[8]將不同分辨率的特征圖進(jìn)行融合，進(jìn)一步提升了模型的分割性能。

Goodfellow等[10]借鑒博弈論（Game Theory）思想提出生成對抗網(wǎng)絡(luò)模型，通過生成器與鑒別器之間的博弈，訓(xùn)練模型預(yù)測出更加符合真實(shí)數(shù)據(jù)分布的結(jié)果，顯著提升了預(yù)測的準(zhǔn)確性和合理性。Kohl等[11]首次將生成對抗網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域，該模型的預(yù)測結(jié)果更加合理。Peiris等[12]采用雙視圖半監(jiān)督對抗訓(xùn)練實(shí)現(xiàn)了醫(yī)學(xué)圖像的精準(zhǔn)分割。Qi等[13]提出一種級聯(lián)條件GAN模型，該模型級聯(lián)兩個(gè)多尺度特征融合模型作為生成器，實(shí)現(xiàn)了雙心室的分割。

本文針對心臟MR圖像特征提取不全面、使用注意力方法參數(shù)量大、計(jì)算量高的問題，提出一種基于GAN與軸向區(qū)塊注意力的心臟MR圖像分割模型，模型的整體框架如圖1所示。該模型采用軸向門控注意力和區(qū)塊注意力相結(jié)合的方式提取圖像的全局代表性特征和局部代表性特征，并融合生成對抗策略協(xié)助模型進(jìn)行學(xué)習(xí)數(shù)據(jù)的分布。該模型有效解決了圖像特征提取不全面的問題，增強(qiáng)了分割結(jié)果與真實(shí)標(biāo)簽之間的一致性，提升了模型的特征提取能力和分割性能。

2 材料與方法

如圖1所示，首先，將待分割的MR圖像發(fā)送至由軸向門控注意力和區(qū)塊注意力組成的生成器G，生成預(yù)測的分割結(jié)果B。其次，計(jì)算分割結(jié)果B與對應(yīng)真實(shí)標(biāo)簽A之間的損失，并反饋給生成器。再次，將真實(shí)標(biāo)簽A與分割結(jié)果B一起送入鑒別器D中鑒別二者數(shù)據(jù)分布的一致性。將鑒別結(jié)果作為模型的損失，分別反饋給生成器和鑒別器以便更新各自模型的參數(shù)，重復(fù)此過程直至訓(xùn)練結(jié)束。

2.1 基于軸向區(qū)塊注意力的生成器模型

基于軸向區(qū)塊注意力的生成器模型結(jié)構(gòu)如圖2所示，將輸入的心臟MR切片圖像尺寸調(diào)整為256×256像素和224×224像素，分別送入兩個(gè)結(jié)構(gòu)相同的網(wǎng)絡(luò)中并行訓(xùn)練。對于尺寸為256×256像素的圖像，首先圖像經(jīng)過預(yù)處理模塊后進(jìn)行下采樣操作。接著，使用軸向門控注意力[6]提取圖像的全局特征信息，并使用逐級特征融合策略[8]融合提取到的特征信息，得到圖像的全局特征信息GF1。同時(shí)，使用MBConv [14]模塊對下采樣的結(jié)果進(jìn)行處理后，使用區(qū)塊注意力[9]提取圖像的局部特征信息，得到圖像的局部特征信息LF1。接著，將提取到的全局特征信息GF1與局部特征信息LF1進(jìn)行融合，再次調(diào)整圖像的尺寸得到網(wǎng)絡(luò)的輸出結(jié)果F1。同理，對224×224像素的圖像進(jìn)行處理可得到結(jié)果F2。最后，將兩個(gè)結(jié)果F1和F2進(jìn)行融合，得到預(yù)測的分割結(jié)果。

2.1.1 軸向門控注意力

軸向注意力原理如圖3（a）所示，設(shè)圖像大小為M×M像素。軸向注意力對圖中某點(diǎn)P的全局注意力是通過計(jì)算以點(diǎn)P為中心，橫向一行與縱向一列的像素點(diǎn)得到的。與傳統(tǒng)注意力機(jī)制相比，計(jì)算量由整幅圖像降為橫向與縱向兩個(gè)軸上，即將全局注意力的計(jì)算量由M 2降低為2M，大大降低了模型的計(jì)算復(fù)雜度。同時(shí)，軸向門控注意力在軸向注意力的基礎(chǔ)上增加了門控單元，動態(tài)調(diào)整軸向注意力的權(quán)重信息，進(jìn)一步增強(qiáng)模型對圖像全局代表性特征的提取能力，如式（1）所示：

式中，yij表示特征圖中坐標(biāo)為（i，j）像素點(diǎn)的軸向門控注意力結(jié)果，查詢矩陣q = WQ×Fin，鍵值矩陣k = WK×Fin，值矩陣v = WV×Fin，分別由輸入特征圖Fin經(jīng)可學(xué)習(xí)的映射矩陣WQ、WK、WV計(jì)算得到。pq、pk、pv分別表示查詢矩陣、鍵值矩陣和值矩陣對應(yīng)的位置編碼項(xiàng)。GQ、GK、GV1分別表示作用于查詢矩陣、鍵值矩陣和值矩陣的門控單元，GV2表示值矩陣對應(yīng)位置編碼的門控單元。門控單元可以不斷地學(xué)習(xí)調(diào)控，增強(qiáng)模型的特征提取能力。

2.1.2 區(qū)塊注意力

區(qū)塊注意力原理如圖3（b）所示，對輸入特征圖像進(jìn)行區(qū)塊劃分，將整幅圖像（M×M像素）劃分為若干子圖像塊（m×m像素，m可被M整除）。通過分塊的形式降低了模型的計(jì)算尺度，從而降低了計(jì)算復(fù)雜度，如式（2）所示：

式中，yo表示坐標(biāo)為o （i，j）像素點(diǎn)的區(qū)塊注意力結(jié)果，Nm×m表示一個(gè)子圖像塊中像素點(diǎn)的集合，e表示該子圖像塊中任意位置的像素點(diǎn)。當(dāng)輸入的圖像尺寸不同時(shí)，可根據(jù)圖像大小自由調(diào)節(jié)m的取值，調(diào)整區(qū)塊注意力的作用范圍，進(jìn)而調(diào)整局部特征提取模塊的性能。

2.2 鑒別器模型

鑒別器采用卷積神經(jīng)網(wǎng)絡(luò)，由二維卷積層、批歸一化層與激活函數(shù)組成。計(jì)算分割結(jié)果B與真實(shí)標(biāo)簽A的交叉熵，用于更新生成器模型的參數(shù)。同時(shí)，將分割結(jié)果B與“假標(biāo)簽0”進(jìn)行對比學(xué)習(xí)，將真實(shí)標(biāo)簽A與“真標(biāo)簽1”進(jìn)行對比學(xué)習(xí)，學(xué)習(xí)得到的交叉熵加權(quán)求和，所得結(jié)果用于更新鑒別器模型的參數(shù)。通過上述學(xué)習(xí)策略，使鑒別器參與對生成器分割質(zhì)量的調(diào)控，并且使鑒別器模型具備鑒別分割結(jié)果“真?zhèn)巍钡哪芰Α?/p>

2.3 損失函數(shù)

實(shí)驗(yàn)中采用DICE損失和交叉熵?fù)p失（Cross Entropy， CE）度量真實(shí)標(biāo)簽A與生成器分割結(jié)果B之間的相似程度。

DICE損失即是通過計(jì)算真實(shí)標(biāo)簽A和分割結(jié)果B的未重疊率來衡量分割的準(zhǔn)確性，如式（3）所示：

式中，| A ∩ B |表示二者重疊的區(qū)域，即分割結(jié)果預(yù)測正確的區(qū)域；| A | + | B |表示真實(shí)標(biāo)簽和分割結(jié)果圖像的全部區(qū)域。

CE損失即是通過度量真實(shí)標(biāo)簽A和預(yù)測結(jié)果B數(shù)據(jù)分布之間的差異來衡量二者數(shù)據(jù)分布的一致性，如式（4）所示：

式中，i表示圖像中第i個(gè)類別，Ai和Bi分別表示對應(yīng)圖像中第i個(gè)類別的概率。

2.3.1 生成器損失

生成器的損失函數(shù)由上述兩種損失的線性組合構(gòu)成，如式（5）所示：

式中，λ1、λ2與ω均表示可學(xué)習(xí)權(quán)重，且∑ λ = 1， 、 分別表示由生成器和鑒別器計(jì)算真實(shí)標(biāo)簽A與分割結(jié)果B的CE損失，LDICE則表示由生成器計(jì)算真實(shí)標(biāo)簽A與分割結(jié)果B的DICE損失。

2.3.2 鑒別器損失

鑒別器的損失函數(shù)由鑒別器訓(xùn)練得到的兩部分CE損失共同構(gòu)成，如式（6）所示：

式中，θ1、θ2均表示可學(xué)習(xí)權(quán)重，且∑θ = 1，LCE0表示由分割結(jié)果B和“假標(biāo)簽0”計(jì)算得到的CE損失。LCE1表示由真實(shí)標(biāo)簽A與“真標(biāo)簽1”計(jì)算得到的CE損失。

2.4 評價(jià)指標(biāo)

通常采用DICE系數(shù)（DICE Coefficient）和豪斯多夫距離（Hausdorff Distance， HD）來評估模型的分割性能。

DICE系數(shù)表明圖像重疊的程度，其值介于0～1之間，越接近于1表明分割結(jié)果B與真實(shí)標(biāo)簽A越相似，分割結(jié)果越準(zhǔn)確，如式（7）所示：

HD通過計(jì)算兩集合邊界的最大距離來評估分割邊界的一致性。HD越小表明兩集合之間的邊界越接近，一致性越強(qiáng)；反之表明兩集合之間邊界越疏遠(yuǎn)，一致性越弱，如式（8）所示：

式（9）表示計(jì)算真實(shí)標(biāo)簽A中任意點(diǎn)a到預(yù)測分割結(jié)果B中所有點(diǎn)的最小距離。接著，比較真實(shí)標(biāo)簽A中所有點(diǎn)的最小距離，選出最大值作為真實(shí)標(biāo)簽A到分割結(jié)果B的最大距離h（A，B）。同理，h（B，A）可求出分割結(jié)果B到真實(shí)標(biāo)簽A的最大距離。式（8）中的H（A，B）表示HD的值，取h（A，B）和h（B，A）中的最大值。

3 實(shí)驗(yàn)測試

3.1 實(shí)驗(yàn)數(shù)據(jù)集和實(shí)驗(yàn)相關(guān)配置

本實(shí)驗(yàn)所用數(shù)據(jù)集是由心臟分割挑戰(zhàn)賽（Automated Cardiac Diagnosis Challenge， ACDC）提供的心臟MR圖像[15]。該數(shù)據(jù)集是由150位患者舒張期（End Diastole， ED）和收縮期（End Systole， ES）的心臟MR圖像以及對應(yīng)的真實(shí)標(biāo)簽圖像所構(gòu)成。數(shù)據(jù)集中包括正常群體、既往心梗患者、擴(kuò)張型心肌患者、肥厚型心肌患者和右心室異?；颊叩男呐KMR圖像，共五個(gè)醫(yī)療組，每個(gè)醫(yī)療組30例圖像。每例MR圖像的二維切片數(shù)量在9～18之間，對應(yīng)的真實(shí)標(biāo)簽圖像包括右心室（Right Ventricle， RV）、心肌（Myocardium， MYO）、左心室（Left Ventricle， LV）和背景四類標(biāo)簽。

數(shù)據(jù)集的劃分如下：訓(xùn)練集包括五個(gè)醫(yī)療組各18例共計(jì)90例心臟MR圖像，驗(yàn)證集包括五個(gè)醫(yī)療組各2例共計(jì)10例心臟MR圖像，測試集使用官方挑戰(zhàn)賽固定的五個(gè)醫(yī)療組各10例共計(jì)50例心臟MR圖像。在訓(xùn)練前對所有待使用的MR圖像進(jìn)行切片和圖像尺寸標(biāo)準(zhǔn)化預(yù)處理，通過裁剪和填充將圖像修改為256×256像素。所有實(shí)驗(yàn)均在原始數(shù)據(jù)量的前提下進(jìn)行，分別對舒張期和收縮期兩個(gè)階段預(yù)處理后的圖像進(jìn)行訓(xùn)練和驗(yàn)證。

本實(shí)驗(yàn)使用的是基于PyThorch框架搭建的網(wǎng)絡(luò)模型，訓(xùn)練過程中分別將生成器和鑒別器的學(xué)習(xí)率設(shè)定為0.000 1和0.000 05，且分別使用Adam優(yōu)化器和RMSprop優(yōu)化器。Axi_Block表示僅使用軸向區(qū)塊注意力模型作為生成器的模型；Axi_Block_GAN表示使用Axi_Block作為生成器并加上鑒別器的完整模型。

3.2 實(shí)驗(yàn)結(jié)果

表1是所提模型與其他模型在心臟舒張期圖像分割結(jié)果上的對比。實(shí)驗(yàn)結(jié)果表明：本文模型的右心室、心肌和左心室分割結(jié)果的DICE系數(shù)均高于其他方法，HD整體較好。心臟分割的平均DICE系數(shù)為84.17%（0.04），平均HD為2.17（0.54）。本文方法的分割精度優(yōu)于其他方法，且分割的一致性最好。

表2是所提模型與其他模型在心臟收縮期圖像分割結(jié)果上的對比。實(shí)驗(yàn)結(jié)果表明：分割結(jié)果的DICE系數(shù)較好為77.90%（0.04），平均HD略高于其他方法為1.87（0.71）。本文方法的分割精度優(yōu)于其他方法。

表3是各方法模型內(nèi)存與參數(shù)量的比較。由Medt模型的實(shí)驗(yàn)數(shù)據(jù)可知，參數(shù)量與模型性能成正相關(guān)。本文方法在較少參數(shù)量的情況下表現(xiàn)出較好的性能，實(shí)驗(yàn)驗(yàn)證了本文方法的有效性與優(yōu)越性。括號內(nèi)為鑒別器模型所占內(nèi)存大小。

圖4為上述各方法在舒張期和收縮期分割結(jié)果的箱形圖比較。從圖4（a）中可以看出，在舒張期本文方法具有較強(qiáng)的分割性能且整體更加穩(wěn)定；從圖4（b）中可以看出，在收縮期本文方法整體性能較好，且左心室分割效果最優(yōu)。

表4是本文方法與其他方法分割結(jié)果的對比。標(biāo)簽圖由左心室（白色部分）、心?。\灰色部分）、右心室（深灰色部分）和背景（黑色部分）組成。從對比圖中可以看出，本文方法的結(jié)果與金標(biāo)簽圖像更為接近，且各標(biāo)簽分割結(jié)果連續(xù)無細(xì)小偽影，整體的分割效果更加接近金標(biāo)簽更好。

4 結(jié) 論

采用軸向門控注意力提取圖像的全局特征，結(jié)合區(qū)塊注意力提取圖像的局部特征，二者組合使用有效降低了模型的參數(shù)量，同時(shí)也充分提升了模型的特征提取能力；結(jié)合多尺度特征信息融合策略，得到更加豐富、全面的特征信息；使用生成對抗策略生成一致性更好的分割結(jié)果。實(shí)驗(yàn)結(jié)果表明，所提模型性能較好，分割結(jié)果準(zhǔn)確且穩(wěn)定。

參考文獻(xiàn)：

[1] 陳偉偉，高潤霖，劉力生，等.《中國心血管病報(bào)告2017》概要 [J].中國循環(huán)雜志，2018，33（1）：1-8.

[2] KRAMER C M，BARKHAUSEN J，BUCCIARELLI-DUCCI C，et al. Standardized Cardiovascular Magnetic Resonance Imaging （CMR） Protocols： 2020 Update [J].Journal of Cardiovascular Magnetic Resonance，2020，22（1）：1-18.

[3] LI Y Z，WANG Y，HUANG Y H，et al. RSU-Net： U-net Based on Residual and Self-attention Mechanism in the Segmentation of Cardiac Magnetic Resonance Images [J].Computer Methods and Programs in Biomedicine，2023，231：107437-107437.

[4] CHEN J N，LU Y Y，YU Q H，et al. Transunet： Transformers Make Strong Encoders for Medical Image Segmentation [J/OL].arXiv：2102.04306v1 [cs.CV].[2023-11-16].https：//arxiv.org/abs/2102.04306.

[5] WANG H Y，ZHU Y K，GREEN B，et al. Axial-Deeplab： Stand-alone Axial-Attention for Panoptic Segmentation [C]//European Conference on Computer Vision. [S.I.]：Springer，2020：108-126.

[6] VALANARASU J M J，OZA P，HACIHALILOGLU I，et al. Medical Transformer： Gated Axial-attention for Medical Image Segmentation [C]//Medical Image Computing and Computer Assisted Intervention. [S.I.]：Springer，2021：36-46.

[7] TU Z Z，TALEBI H，ZHANG H，et al. MaxViT： Multi-axis Vision Transformer [C] //European Conference on Computer Vision. [S.I.]：Springer，2022：459-479.

[8] RAHMAN M M，MARCULESCU R. Medical Image Segmentation via Cascaded Attention Decoding [C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. [S.I.]：IEEE，2023：6222-6231.

[9] TRAGAKIS A，KAUL C，MURRAY-SMITH R，et al. The Fully Convolutional Transformer for Medical Image Segmentation [C] //Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. [S.I.]：IEEE，2023：3660-3669.

[10] GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al. Generative Adversarial nets [C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. [S.I.]：Cambridge，2014：2672-2680.

[11] KOHL S，BONEKAMP D，SCHLEMMER H P，et al. Adversarial Networks for the Detection of Aggressive Prostate Cancer [J/OL].arXiv：1702.08014v1 [cs.CV].[2023-11-06].https：//arxiv.org/abs/1702.08014.

[12] PEIRIS H，CHEN Z L，EGAN G，et al. Duo-SegNet： Adversarial Dual-views for Semi-supervised Medical Image Segmentation [C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2021. [S.I.]：Springer，2021：428-438.

[13] QI L，ZHANG H R，TAN W J，et al. Cascaded Conditional Generative Adversarial Networks with Multi-scale Attention Fusion for Automated Bi-ventricle Segmentation in Cardiac MRI [J].IEEE Access，2019，7：172305-172320.

[14] HOWARD A G，ZHU M L，CHEN B，et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications [J/OL].arXiv：1704.04861v1 [cs.CV].[2023-11-09].http：//www.arxiv.org/abs/1704.04861 2017.

[15] BERNARD O，LALANDE A，ZOTTI C，et al. Deep Learning Techniques for Automatic MRI Cardiac Multi-Structures Segmentation and Diagnosis： Is the Problem Solved？ [J].IEEE Transactions on Medical Imaging，2018，37（11）：2514-2525.

作者簡介：王博（1999—），男，漢族，河南安陽人，碩士研究生在讀，研究方向：醫(yī)學(xué)圖像處理與人工智能。