周 濤 黨 培 陸惠玲 侯森寶 彭彩月 師宏斌

①(北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 銀川 750021)

②(寧夏醫(yī)科大學(xué)理學(xué)院 銀川 750004)

③(北方民族大學(xué)圖像圖形智能處理國家民委重點(diǎn)實(shí)驗(yàn)室 銀川 750021)

④(寧夏醫(yī)科大學(xué)總醫(yī)院泌尿外科 銀川 750004)

1 引言

隨著醫(yī)學(xué)影像設(shè)備的發(fā)展，多模態(tài)醫(yī)學(xué)圖像成為醫(yī)學(xué)圖像分析的研究熱點(diǎn)[1]。正電子發(fā)射計(jì)算機(jī)斷層顯像(Posit ron Em ission Tom og raphy/Com puted Tomography,PET/CT)圖像是重要的多模態(tài)圖像之一，結(jié)合了正電子發(fā)射型計(jì)算機(jī)斷層顯像(PET)圖像對(duì)腫瘤檢測的高靈敏度和電子計(jì)算機(jī)斷層掃描(CT)圖像的解剖信息，能夠充分利用不同類型的醫(yī)學(xué)圖像對(duì)病灶信息描述的冗余性和互補(bǔ)性。

目前的多模態(tài)圖像分割方法大多基于圖像分析任務(wù)的知識(shí)融合來自每個(gè)模態(tài)的信息。Fu等人[2]引入一個(gè)基于深度學(xué)習(xí)的框架，使用多模態(tài)空間注意模塊自動(dòng)學(xué)習(xí)強(qiáng)調(diào)與腫瘤相關(guān)的空間區(qū)域進(jìn)而分割出病灶區(qū)域。周濤等人[3]提出一種跨模態(tài)的多編碼混合注意力U型網(wǎng)絡(luò)(Multi-Encoder Attention UNet,MEAU-Net)，該網(wǎng)絡(luò)設(shè)計(jì)多編碼器解決單模態(tài)醫(yī)學(xué)圖像病灶提取能力不足的問題。Kumar等人[4]用一種新的監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)量化每個(gè)模態(tài)特征在不同空間位置的相對(duì)重要性。上述表明，結(jié)合多模態(tài)圖像可以獲得更豐富的疾病信息。同時(shí)，多尺度信息能夠結(jié)合高分辨率特征和高語義特征，實(shí)現(xiàn)對(duì)不同尺度目標(biāo)的有效學(xué)習(xí)[5]。因此，針對(duì)目標(biāo)對(duì)象多尺度問題，胡敏等人[6]提出一種基于改進(jìn)U型神經(jīng)網(wǎng)絡(luò)的圖像分割模型(A ttention U-Net p lus,AUNet+)，該網(wǎng)絡(luò)針對(duì)腦出血CT圖像病灶部位多尺度的問題，提出殘差8度卷積塊融合不同層次的特征信息，提高對(duì)目標(biāo)區(qū)域的特征提取能力。W ang等人[7]提出一種多尺度密集跳躍連接網(wǎng)絡(luò)模型，該模型利用多尺度特征信息，有效地解決由于左心室邊緣信息模糊和心臟區(qū)域收縮末期分割精度低而導(dǎo)致分割困難的問題。Zhou等人[8]提出利用密集連通性捕捉了多尺度上下文信息進(jìn)行語義分割提高分割精度。

如何綜合使用多模態(tài)醫(yī)學(xué)圖像，從不同角度提取多模態(tài)醫(yī)學(xué)圖像信息，避免不同醫(yī)學(xué)圖像的缺點(diǎn)同時(shí)又能獲得更豐富的疾病信息，以及如何充分提取跨尺度上下文信息是肺部腫瘤醫(yī)學(xué)圖像分割需要解決的關(guān)鍵難題。針對(duì)上述問題，本文提出跨模態(tài)跨尺度跨維度的PET/CT圖像的T ransformer分割模型，主要貢獻(xiàn)是：(1)在編碼器設(shè)計(jì)PET/CT主干分支和PET,CT輔助分支提取多模態(tài)圖像信息；(2)在跳躍連接設(shè)計(jì)跨模態(tài)跨維度注意力模塊(Cross-m odal and Cross-d im ension A tten tion Module,C2AM)，從模態(tài)和維度的角度提取跨模態(tài)圖像各維度的有效信息；(3)在瓶頸層提出跨尺度T ransform er模塊(C ross-sca le T ransfo rm er M odule,CTM)，自適應(yīng)學(xué)習(xí)編碼器的淺層的空間信息和深層的語義信息從而學(xué)習(xí)到更多的上下文信息，并從中獲取跨尺度全局信息；(4)在解碼器構(gòu)造多尺度自適應(yīng)解碼特征融合模塊(Multi-scale Adaptive Decoding Feature fusion M odule,MA-DFM)，聚合并充分利用解碼路徑得到精細(xì)程度不同的多尺度特征圖，有效抑制上采樣中引入的噪聲。

2 模型整體流程

本文跨模態(tài)跨尺度跨維度的PET/CT圖像的T ransform er分割模型如圖1所示，在編碼器部分采用主輔網(wǎng)絡(luò)思想，使用PET/CT圖像(如圖1所示加深顏色M區(qū)域)為主干網(wǎng)絡(luò)輸入，PET和CT圖像為輔助網(wǎng)絡(luò)輸入；在瓶頸層部分設(shè)計(jì)跨尺度T ransform er模塊，利用多尺度自適應(yīng)編碼特征融合模塊(M u lti-scale Adap tive Encoding Feature fusion M odu le,M A-EFM)自適應(yīng)地融合編碼器前4層信息，并利用T ransform er編解碼模塊，實(shí)現(xiàn)全局上下文語義信息的建模；在跳躍連接部分將3種模態(tài)圖像拼接傳入C2AM，從模態(tài)和維度的角度捕獲跨模態(tài)圖像各維的有效信息，綜合表達(dá)病變組織器官的解剖信息和功能信息，從而指導(dǎo)肺部腫瘤組織分割的過程；在解碼器部分利用MA-DFM融合解碼器各個(gè)階段特征圖，有效抑制上采樣中引入的噪聲。

從臨床醫(yī)學(xué)角度講，多模態(tài)圖像綜合表達(dá)病變組織器官的解剖和功能信息，緩解單種模態(tài)醫(yī)學(xué)圖像病灶信息缺失的問題。因此本文使用跨模態(tài)跨維度的注意力機(jī)制捕獲不同模態(tài)不同維度的空間語義信息。同時(shí)，U型網(wǎng)絡(luò)(U-shaped Network,U-Net)編解碼不同階段的特征圖具有不同的空間信息和語義信息，為了充分學(xué)習(xí)多尺度的上下文信息，本文在U-Net編碼器和解碼器使用多尺度特征融合的思想并調(diào)節(jié)相應(yīng)的上下采樣策略，實(shí)現(xiàn)對(duì)不同尺度特征圖的充分利用。

2.1 跨模態(tài)跨維度注意力模塊

本文提出跨模態(tài)跨維度注意力模塊如圖2(a)所示，將3種模態(tài)特征圖拼接為Fconcat；通過轉(zhuǎn)置運(yùn)算將Fconcat轉(zhuǎn)換為分別以Channel,Height,W eigh為第1維度的特征圖，記為FC,FH,FW并對(duì)每個(gè)維度的特征圖使用空間注意力機(jī)制捕獲不同維度的語義信息。例如在特征圖FC上進(jìn)行最大池化和平均池化得到FCMax和FCAvg，拼接兩種池化的特征圖后進(jìn)行卷積和sigmoid操作并與FC相乘，得到Channel維度空間信息的特征圖α∈R3C×H×W。同理可以得到Height和W eigh維度空間信息特征圖β ∈R H×3C×W和γ ∈R W×H×3C，如式(1)—式(3)所示。對(duì)β,γ進(jìn)行轉(zhuǎn)置運(yùn)算使其與Fconcat尺寸一致后進(jìn)行平均運(yùn)算得到FAvg有效融合不同維度的空間信息，如式(4)所示；最后將FAvg與Fconcat拼接并卷積輸出，捕獲多模態(tài)背景下不同維度的語義信息

圖2 跨模態(tài)跨尺度跨維度模塊

2.2 跨尺度Transformer模塊

跨尺度T ransformer模塊用于自適應(yīng)學(xué)習(xí)編碼器前4層多尺度特征圖的語義信息和空間信息并提取跨尺度全局信息。該模塊主要包含兩個(gè)步驟：第1步，通過多尺度自適應(yīng)編碼特征融合模塊提取多尺度上下文信息；第2步，利用T ransformer編解碼模塊捕獲跨尺度全局信息。

2.2.1多尺度自適應(yīng)編碼特征融合模塊

本文使用多尺度自適應(yīng)編碼器特征融合模塊學(xué)習(xí)對(duì)其他層次上的特征進(jìn)行空間過濾，保留有用的信息組合。如圖2(b)所示，該模塊主要包含兩個(gè)部分：編碼器多尺度處理單元(Encoder M u lti-scale Processing Unit,EMP Unit)和自適應(yīng)融合模塊。

編碼器多尺度處理單元：EMP Unit中黃色代表3×3卷積，紅色代表下采樣。該模塊用于調(diào)節(jié)不同尺度特征圖的下采樣策略，使其與瓶頸層同尺寸。

2.2.2 Transformer模塊

缺乏多尺度上下文信息會(huì)降低分割性能。受文獻(xiàn)[10]啟發(fā)本文設(shè)計(jì)了一個(gè)T ransform er編解碼模塊，建模全局上下文語義信息。該模塊由T ransform er編碼模塊(T ransform er Encoding M odu le,TEM)和T ransform er解碼模塊(T ransform er Decoding Module,TDM)組成，具體如圖2(d)所示。

TEM：T ransform er編碼模塊Query分支的輸入為MA-EFM模塊得到的多尺度自適應(yīng)特征圖FE,Key和Value分支的輸入為具有高層語義信息的瓶頸層特征圖FE5，利用高層語義信息指導(dǎo)提取跨尺度全局信息。首先，3個(gè)1×1卷積分別將FE映射為QE，將FE5映射為KE和VE并將QE和KE的通道壓縮到C/8，即QE,KE∈RB,C/8,H,W,VE∈R B,C,H,W。為了使特征的自我注意操作對(duì)位置敏感，本文采用可學(xué)習(xí)參數(shù)分別從垂直和水平方向?qū)μ卣魑恢眠M(jìn)行編碼得到PE并利用PE對(duì)QE進(jìn)行編碼得到 EP。然后，將QE和KE相乘計(jì)算相似度矩陣，在高級(jí)語義信息的引導(dǎo)下獲得跨尺度全局空間信息相關(guān)權(quán)值。并將其結(jié)果與 EP相加，通過softmax獲得注意權(quán)重EAtt。將其E Att與VE相乘，得到具有強(qiáng)全局語義的跨尺度全局特征信息FEAtt。最后，F(xiàn)EAtt與FE5進(jìn)行元素級(jí)相加，得到跨尺度全局特征映射FEM。具體如式(7)—式(11)所示

TDM：與TEM類似，T ransform er解碼模塊Query分支的輸入為具有高層語義信息的U-Net編碼器瓶頸層特征圖FE5,Key和Value分支輸入為跨尺度全局特征映射FEM，在FEM的引導(dǎo)下，進(jìn)一步提取特征圖FE5中包含的強(qiáng)語義位置自相關(guān)信息。分別將FE5映射為QD,FEM映射為KD和VD。壓縮QD和KD的信道使得QD,KD∈R B,C/8,H,W,VD∈R B,C,H,W。采用可學(xué)習(xí)參數(shù)分別從垂直和水平方向?qū)μ卣魑恢眠M(jìn)行編碼得到PD∈R B,C/8,H,W利用PD對(duì)QD進(jìn)行編碼得到 DP；然后，計(jì)算QD和KD之間的相似度矩陣并將其與 DP相加，通過softmax獲得注意權(quán)重DAtt。并將其結(jié)果和VD相乘，得到具有強(qiáng)語義位置信息的空間特征信息FDAtt；最后，F(xiàn)DAtt與FE5進(jìn)行元素級(jí)相加，得到最終的跨尺度強(qiáng)語義全局特征圖FDM。具體如式(12)—式(16)所示

2.3 多尺度自適應(yīng)解碼特征融合模塊

本文使用一種多尺度自適應(yīng)解碼器特征融合模塊，旨在自適應(yīng)聚合解碼階段不同尺度的特征圖，并通過串并聯(lián)的空間和通道注意力機(jī)制使模型關(guān)注感興趣區(qū)域。該模塊主要包含3個(gè)部分，如圖2(c)所示：解碼器多尺度處理單元(Decoder Multi-scale Processing Unit,DMP Unit)、自適應(yīng)融合、串并聯(lián)的空間和通道注意力機(jī)制。

DMP Unit用于調(diào)節(jié)統(tǒng)一U-Net解碼器各層特征圖尺寸為(50×50)，然后再融合，本文相應(yīng)地修改了上采樣策略，具體如式(17)所示

其中φi為U-Net解碼器第i層 的特征圖，φ′i為DMP Unit輸出特征圖，DMP Unit模塊，通過卷積調(diào)節(jié)特征圖通道數(shù)，通過上采樣調(diào)節(jié)尺寸。

受文獻(xiàn)[9]啟發(fā)，在解碼器部分構(gòu)造了一個(gè)自適應(yīng)融合規(guī)則，具體如式(18)所示

其中，D Wi是融合系數(shù)，代表解碼器不同層特征圖的權(quán)重，其值之和為1并通過訓(xùn)練得到。以λDWi為控制參數(shù)，利用softmax函數(shù)分別定義D Wi，如式(19)所示。并通過標(biāo)準(zhǔn)反向傳播學(xué)習(xí)。最后利用串并聯(lián)的空間和通道注意力機(jī)制進(jìn)一步關(guān)注病灶區(qū)域得到最終的輸出O utput如式(20)所示

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集及預(yù)處理

數(shù)據(jù)集從寧夏某三甲醫(yī)院核醫(yī)學(xué)科收集，并進(jìn)行預(yù)處理，從3個(gè)模態(tài)截取有較強(qiáng)區(qū)分能力的子圖作為感興趣區(qū)域(Region O f Interest,ROI)歸一化為50×50。最終采用預(yù)處理后3種模態(tài)圖像各2 025張作為訓(xùn)練集，各405張作為測試集。

3.2 評(píng)價(jià)指標(biāo)

本文使用的評(píng)價(jià)指標(biāo)為準(zhǔn)確率(A ccu racy,Acc)、召回率(Recall)、戴斯相似系數(shù)(Dice sim ilariy coefficient,Dice)、體積重疊誤差(Volum etric overlap error,Voe)、相對(duì)體積差異(Relative volume difference,Rvd)和平均交并比(Mean intersection over union,M iou)，為了方便顯示各項(xiàng)指標(biāo)的性能，本文所使用的Voe和Rvd評(píng)價(jià)指標(biāo)結(jié)果為1減去模型測試值。公式定義如表1所示。其中，病灶區(qū)域被正確分割的定義為真陽性(T rue Positive,TP)，正常組織區(qū)域被正確分割定義為真陰性(T rue Negative,TN)，正常組織區(qū)域被分割為病灶區(qū)域定義為假陽性(False Positive,FP)，病灶區(qū)域分割為正常區(qū)域定義為假陰性(False Negative,FN)。P表示模型預(yù)測的目標(biāo)像素，G表示標(biāo)簽值(Ground truth)中的目標(biāo)像素。

表1 評(píng)價(jià)指標(biāo)

3.3 實(shí)驗(yàn)

本文模型基于Pytorch實(shí)現(xiàn)，實(shí)驗(yàn)室硬件環(huán)境服務(wù)器Intel(R)Xeon(R)Gold 6154 CPU，內(nèi)存256 GB，顯卡NV ID IA T ITAN V,py thon3.7,PyTorch1.7.0,CUDA版本為11.1.106。本文采用了Adam優(yōu)化器，訓(xùn)練周期為120，學(xué)習(xí)率為0.0001，批處理大小為8。采用2元交叉熵?fù)p失函數(shù)反映模型預(yù)測值與實(shí)際值之間的差距。

實(shí)驗(yàn)思路：通過3組實(shí)驗(yàn)來說明本文所提模型的先進(jìn)性，第1組實(shí)驗(yàn)證明跨模態(tài)圖像對(duì)分割結(jié)果的影響；第2組實(shí)驗(yàn)與一些先進(jìn)的分割網(wǎng)絡(luò)進(jìn)行比較；第3組實(shí)驗(yàn)證明跨模態(tài)跨維度跨尺度的有效性。

3.3.1跨模態(tài)相關(guān)性實(shí)驗(yàn)

本次實(shí)驗(yàn)通過3個(gè)實(shí)驗(yàn)來驗(yàn)證跨模態(tài)網(wǎng)絡(luò)的優(yōu)勢。U-Net[11]網(wǎng)絡(luò)，輸入圖像為PET/CT圖像；Y-Net[12]網(wǎng)絡(luò)，輸入圖像為CT與PET/CT兩種模態(tài)圖像；本文所提出的模型，輸入3種模態(tài)圖像，主干網(wǎng)絡(luò)為PET/CT模態(tài)圖像，輔助網(wǎng)絡(luò)為PET和CT模態(tài)圖像。不同網(wǎng)絡(luò)分割結(jié)果如表2所示，圖3為跨模態(tài)相關(guān)性實(shí)驗(yàn)的雷達(dá)圖和可視化分割結(jié)果圖，其中，圖3(b)第3列為CT灰度圖，在灰度圖中能清晰地看出不同病灶區(qū)域的灰度變化。通過表2可以清楚地看出，Y-Net各項(xiàng)評(píng)價(jià)指標(biāo)高于U-Net。而本文模型各項(xiàng)評(píng)價(jià)指標(biāo)高于Y-Net，同樣在圖3(a)中，本文所提模型各項(xiàng)評(píng)價(jià)指數(shù)的坐標(biāo)軸覆蓋范圍最大，證明了多模態(tài)醫(yī)學(xué)圖像有效緩解單種模態(tài)醫(yī)學(xué)圖像分割時(shí)病灶特征提取能力不足等問題；從圖3(b)可以看出，U-Net僅使用單種模態(tài)圖像，在分割不規(guī)則病灶時(shí)效果不如其他兩種網(wǎng)絡(luò)，例如第1行、第4行顯示出的效果；Y-Net雖然相較于U-Net具有豐富的病灶信息，但病灶信息仍然不足，對(duì)于肺部病灶尺度形狀大小不一與正常組織粘連等復(fù)雜的問題，分割處理時(shí)存在明顯的缺陷，如第2行；而本文提出的模型，能夠在模態(tài)、維度和尺度方面進(jìn)行信息的互補(bǔ)，各項(xiàng)評(píng)價(jià)指標(biāo)均得到了一定程度的提升，針對(duì)復(fù)雜的病灶有很好的分割效果。

表2 跨模態(tài)相關(guān)性實(shí)驗(yàn)分割結(jié)果(%)

圖3 跨模態(tài)相關(guān)性實(shí)驗(yàn)的雷達(dá)圖和可視化分割結(jié)果圖

3.3.2不同分割網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

本次實(shí)驗(yàn)通過與6個(gè)不同先進(jìn)分割網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)驗(yàn)證本文所提模型的先進(jìn)性，實(shí)驗(yàn)結(jié)果如表3所示。從圖4(b)可以看出UNet++[13]第4行、第5行的病灶組織出現(xiàn)了腫瘤病灶斷裂的狀況，第1行和第2行不規(guī)則病灶區(qū)域分割效果欠佳；SegNet[14]沒有出現(xiàn)病灶區(qū)域分割斷裂的問題但對(duì)于不規(guī)則病灶分割結(jié)果明顯欠佳；在第4行中，A ttention UNet[15]和擠壓激勵(lì)和殘差UNet[16](Squeeze-and-Excitation Residual UNet,SEResUNet)在正常組織與病灶間均不同程度地出現(xiàn)了分割白點(diǎn)；多尺度T ransformer全局注意網(wǎng)絡(luò)[9](M u lti-scale T ransform er G lobal A ttention Network,M sTGANet)有效解決病灶區(qū)域與正常組織粘連等問題。MEAU-Net[3]使用3種模態(tài)圖像，但由于其不具有跨尺度上下文信息，第1行和第2行沒有區(qū)分正常組織。通過圖4(b)與表3中不同方法的對(duì)比，可以看出本文所提模型分割效果好，各項(xiàng)指數(shù)也高于其他網(wǎng)絡(luò)。證明本文所提模型的可行性和先進(jìn)性。

表3 不同分割網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)分割結(jié)果(%)

3.3.3跨模態(tài)跨尺度跨維度實(shí)驗(yàn)

本組實(shí)驗(yàn)共設(shè)計(jì)了8個(gè)實(shí)驗(yàn)驗(yàn)證跨模態(tài)跨維度和跨尺度方法的有效性。在本組實(shí)驗(yàn)中使用3模態(tài)輸入稱為多模態(tài)UNet(Multi-modal UNet,MUNet)，在瓶頸層僅使用PET/CT，跳躍連接處將3種網(wǎng)絡(luò)拼接傳入；C2代表在MUNet中加入C2AM，T代表在MUNet中加入CTM，D代表在MUNet中加入MA-DFM；最后的本文行為本文所提完整模型。從圖5(b)可以清晰看出加入CTM后，可以捕獲跨尺度上下文信息，有效解決正常組織粘連的問題，證明CTM模塊的有效性。C2AM模塊能夠提取跨模態(tài)圖像不同維度的有效互補(bǔ)信息，從表4可以看出在MA-DFM模塊和跨尺度T ransformer基礎(chǔ)上添加C2AM模塊相較于未加C2AM模塊的分割結(jié)果評(píng)價(jià)指標(biāo)明顯提高，證明了C2AM有效性。但僅僅使用C2AM模塊由于缺乏跨尺度上下文信息效果不佳，從圖5(b)可以添加C2AM模塊模型的分割效果明顯改善。同時(shí)對(duì)比表4的實(shí)驗(yàn)結(jié)果表明MA-DFM模塊能夠有效地提高分割結(jié)果。盡管在主輔網(wǎng)絡(luò)的基礎(chǔ)上添加各個(gè)模塊評(píng)價(jià)指標(biāo)并不是依次逐漸提高，但最終所提出的模型合理地使用各個(gè)模塊，評(píng)價(jià)指標(biāo)和分割效果均為最優(yōu)，對(duì)于肺部腫瘤與正常組織粘連、不同尺度的病灶以及復(fù)雜的病灶邊緣都能有效分割。

表4 跨?？绯叨瓤缇S度實(shí)驗(yàn)分割結(jié)果(%)

圖5 跨模態(tài)跨尺度跨維度實(shí)驗(yàn)的雷達(dá)圖和可視化分割結(jié)果圖

4 結(jié)論

本文充分考慮多模態(tài)醫(yī)學(xué)圖像的特點(diǎn)。提出跨模態(tài)跨尺度跨維度的PET/CT圖像的T ransform er分割模型。通過跨模態(tài)相關(guān)性實(shí)驗(yàn)證明本文提出的模型在跨模態(tài)方面的有效性；通過不同分割網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)中證明本文所提出模型的先進(jìn)性；通過跨模態(tài)跨尺度跨維度實(shí)驗(yàn)證明各個(gè)模塊的合理性。結(jié)果表明所提模型對(duì)于肺部病灶分割的Acc,Recall,D ice,Voe,Rvd和M iou分別為97.99%,94.29%,95.32%,92.74%,92.95%和90.14%，對(duì)于復(fù)雜的病灶分割，具有較高的精度和相對(duì)較低的冗余度。