尤慧明 姚靈君 沈偉芬 朱大榮

影像學(xué)中組織成分的改變既可以反映人體發(fā)育狀況，也與代謝性及內(nèi)分泌性疾病相關(guān)。準(zhǔn)確分離出各組織成分是定量評估組織成分改變的基礎(chǔ)，對疾病的診斷、治療、病理研究、手術(shù)導(dǎo)航、放療計劃制定等都具有重要意義[1-3]。CT常作為組織分割的基準(zhǔn)圖像，CT值的大小可以反映各種不同的組織成分[4]。然而，腦實質(zhì)（白質(zhì)、灰質(zhì)）、肌肉等成分的CT值存在交叉重疊，難以區(qū)分。MR成像具有無輻射、軟組織成像空間分辨率高等特點，但其骨性組織成像精確度較低，常需額外進行CT掃描。因此，能否單純使用MR成像一次性獲得各個組織成分的信息具有重要臨床的意義。筆者基于Transformer深度學(xué)習(xí)網(wǎng)絡(luò)的最輕量網(wǎng)絡(luò)（Segformer）在頭部三點非對稱回波水脂分離成像（iterative decomposition of water and fat with echo asymmetric and least squares estimation,IDEAL）圖像上實現(xiàn)組織成分（腦實質(zhì)、腦脊液、顱骨、空氣、軟組織）的分割，探索其在臨床應(yīng)用的可行性，現(xiàn)將結(jié)果報道如下。

1 對象和方法

1.1 對象 收集2019年9月至2021年8月杭州市臨平區(qū)第一人民醫(yī)院志愿者40名，男15名，女25名，年齡27～58（42.6±15.7）歲。納入標(biāo)準(zhǔn)：（1）無先天性顱骨畸形；（2）無既往頭顱外傷病史；（3）無顱內(nèi)腫瘤或腦積水。排除標(biāo)準(zhǔn)：（1）具有MR成像禁忌證（例如幽閉恐懼癥、體內(nèi)金屬、嚴(yán)重的視覺或聽覺障礙）；（2）存在累及頭部疾病者。本研究經(jīng)杭州市臨平區(qū)第一人民醫(yī)院醫(yī)學(xué)倫理委員會批準(zhǔn)，所有志愿者均簽署知情同意書。

1.2 影像學(xué)檢查 頭部MR成像使用同一臺1.5 T掃描儀（美國GE公司，型號：Signa HDxt），16通道頭頸聯(lián)合線圈，三維小角度梯度回波水脂分離序列（3D GRE IDEAL）掃描。成像視野（field of vision,FOV）288 mm×288 mm，像素0.83×0.83 mm2，層厚2.5 mm，無間隔，重復(fù)時間6.2 ms，兩個回波時間為分別2.1 ms、4.2 ms，激勵翻轉(zhuǎn)角20°。分別重建出水相、脂相、同相位、反相位圖像，掃描層數(shù)均為70。見圖1。

圖1 原始磁共振IDEAL水脂分離圖像

CT成像使用64排CT掃描儀（德國西門子公司，型號：Definition），頭先進仰臥位，掃描范圍從顱頂?shù)缴项M骨。像素0.49×0.49 mm2，層厚1.25 mm，管電壓120 kV，管電流270～400 mA。圖像大小512×512。見圖2。

圖2 原始CT圖

1.3 方法 在進行網(wǎng)絡(luò)模型訓(xùn)練前，先將MR和CT圖像配準(zhǔn)至相同的圖像大小和位置，隨后利用CT和IDEAL水圖實現(xiàn)5種組織成分的標(biāo)注，最后采用Segformer網(wǎng)絡(luò)進行訓(xùn)練，實現(xiàn)IDEAL圖像上5種組織成分的分割。

1.3.1 圖像配準(zhǔn) 將CT圖像調(diào)整至與MR相同分辨率后，采取形態(tài)學(xué)操作在CT圖像上去除CT床。然后利用Elastix軟件[6]對去床后的CT圖像和IDEAL水圖實現(xiàn)剛性配準(zhǔn)，以消除不同模態(tài)圖像間的掃描位置差異。將同樣的配準(zhǔn)參數(shù)作用于脂通道和同相通道。配準(zhǔn)后的圖像統(tǒng)一裁剪至256×256，并將MR圖像的像素值利用最大、最小化歸一處理至[0，255]。同時利用形態(tài)學(xué)操作和閾值分割方法對MR圖像制作頭部區(qū)域掩膜。將CT圖像上頭部以外區(qū)域的CT值設(shè)置為-1 000 Hu，將MR圖像頭部以外區(qū)域的像素值設(shè)置為0。

1.3.2 組織成分標(biāo)注 首先根據(jù)CT值與組織對應(yīng)關(guān)系對空氣和骨骼進行標(biāo)注，直接將其閾值分割結(jié)果作為空氣（CT＜-100 Hu）、骨骼（CT＞120 Hu）的標(biāo)記區(qū)域。隨后，使用SPM12工具箱（http://www.fil.ion.ucl.ac.uk/spm/software/spm12/）在水圖上進行白質(zhì)、灰質(zhì)和腦脊液的標(biāo)注，將白質(zhì)和灰質(zhì)分割結(jié)果合并，作為腦實質(zhì)標(biāo)注。其余未標(biāo)注區(qū)域為軟組織。流程見圖3。組織成分的標(biāo)注結(jié)果即為網(wǎng)絡(luò)訓(xùn)練的金標(biāo)準(zhǔn)。

圖3 基于CT和MR圖像的組織成分標(biāo)注流程

1.3.3 網(wǎng)絡(luò)訓(xùn)練及預(yù)測 神經(jīng)網(wǎng)絡(luò)采用Segformer框架，網(wǎng)絡(luò)結(jié)構(gòu)見圖4。該網(wǎng)絡(luò)采用編解碼結(jié)構(gòu)，編碼器（Encoder）中包含自注意力機制（Self-Attention）和混合前饋神經(jīng)網(wǎng)絡(luò)（mixfeed forward network,Mix-FFN），同時結(jié)合了輕量級多層感知器（multi-layer perceptron,MLP），可以更好提取特征。解碼器（Decoder）采用MLP從不同的層聚集信息，結(jié)合全局注意和局部注意的同時避免復(fù)雜解碼。

圖4 Segformer網(wǎng)絡(luò)結(jié)構(gòu)圖

在所有樣本中隨機選取30名作為訓(xùn)練集，共包含1 784張圖像，剩余10名（包含618張圖像）作為測試集。將IDEAL的水圖、脂圖、同相圖組成三通道作為網(wǎng)絡(luò)輸入，先采用ImageNet 1K數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重對網(wǎng)絡(luò)進行初始化，使用mmsegmentation代碼庫進行訓(xùn)練。在訓(xùn)練過程中，采用數(shù)據(jù)擴增來增加網(wǎng)絡(luò)的泛化性能，具體包括0.5～2.0倍的隨機縮放、隨機水平翻轉(zhuǎn)和隨機旋轉(zhuǎn)（-30°～30°）。使用AdamW優(yōu)化器對模型在數(shù)據(jù)集上進行16萬次迭代，批大小為16。初始學(xué)習(xí)速率設(shè)為0.000 06，使用因子為1.0的指數(shù)策略動態(tài)調(diào)整學(xué)習(xí)率。

操作系統(tǒng)采用Ubuntu 20.04 LTS，CPU為Intel Core i7-9700F，GPU為NVIDIA GeForce RTX 2070 SUPER，使用pytorch框架構(gòu)建網(wǎng)絡(luò)。

1.4 性能評估 采用Dice相似性系數(shù)（Dice similaritycoefficient,DSC）、像素準(zhǔn)確度（pixel accuracy,PA）、均交并比（intersection over union,IoU）等指標(biāo)評價每種組織成分的分割性能，DSC、PA、IoU值越大表示該成分的分割效果越好。計算方法分別如公式1-3所示。

其中X代表分割金標(biāo)，Y代表預(yù)測的分割圖像，|X∩Y|是X和Y之間的交集，|X|和|Y|分別表示X和Y的元素的個數(shù)。FP為假陽性，表示背景預(yù)測錯誤；FN為假陰性，表示目標(biāo)預(yù)測錯誤；TP為真陽性，表示目標(biāo)預(yù)測正確；TN為真陰性，表示背景預(yù)測正確。

根據(jù)金標(biāo)準(zhǔn)中5種組織成分的像素數(shù)，統(tǒng)計每名志愿者的各組織成分在頭部所有成分中所占的比例。如公式4所示，將各組織成分的占比與其評價指標(biāo)做加權(quán)求和得到平均指標(biāo)，Index1～Index5分別表示5種成分的評價指標(biāo)，p1～p5分別表示5種組織成分的占比。

2 結(jié)果

2.1 組織成分占比 統(tǒng)計測試集10名志愿者的各組織成分占比，結(jié)果顯示空氣、骨骼、腦實質(zhì)、腦脊液、軟組織的占比分別為0.125±0.016、0.184±0.015、0.375±0.019、0.085±0.011、0.231±0.020。

2.2 網(wǎng)絡(luò)分割性能評估 測試集加權(quán)平均的DSC為0.822±0.039，PA為0.931±0.015，表明網(wǎng)絡(luò)能有效實現(xiàn)組織成分分割。在5種組織中，腦實質(zhì)的分割效果最好DSC為0.953±0.006，顱內(nèi)空氣的最低DSC為0.720±0.071。各組織成分的分割結(jié)果及其加權(quán)平均指標(biāo)見表1。

表1 Segformer對頭部5種組織成分的分割結(jié)果

Segformer MIT-B0分割結(jié)果示例見圖5（插頁），頭部IDEAL圖像的5種組織（腦實質(zhì)、腦脊液、軟組織、骨骼、空氣）都能清晰分割出來，在區(qū)域連通性上也有較好的表現(xiàn)。

圖5 Segformer在不同層面上的組織分割結(jié)果例圖

3 討論

精確地分割各組織成分的區(qū)域?qū)膊≡\斷、放療計劃制定、解剖結(jié)構(gòu)研究和病理生理學(xué)研究等都具有重要意義。MR和CT檢查對不同組織成分的顯示各有優(yōu)勢，如何在單一模態(tài)上進行多種組織成分的分割仍具挑戰(zhàn)。本文采用基于注意力機制的Segformer網(wǎng)絡(luò)在MR IDEAL圖像上進行頭部組織成分分割，展現(xiàn)了較好的性能。其中腦實質(zhì)區(qū)域分割效果最好，DSC、PA、IoU值均在0.91以上，這也進一步證實了MR軟組織對比的優(yōu)勢。與CT值標(biāo)記的頭骨區(qū)域相比，網(wǎng)絡(luò)分割頭骨的DSC為0.748±0.069，該結(jié)果與Gong等[6]結(jié)合mDixon和ZTE圖像進行頭骨分割效果相近。在各組織成分中，空氣分割的DSC值最低，這可能與其在頭部的占比最小有關(guān)，小目標(biāo)區(qū)域的分割效果一般較差，這在其他研究中已經(jīng)得到證實。

本研究采用臨床常規(guī)采集的IDEAL圖像作為組織成分分割的基礎(chǔ)圖像。該技術(shù)利用了物質(zhì)的化學(xué)位移效應(yīng)實現(xiàn)水脂分離，在一次采集中可以快速生成水相、脂相、同相位和反相位等多個對比圖像，有研究者將其用于合成CT的研究[7]。本文將IDEAL多種對比圖像結(jié)合組成多通道進行成分分割，除了對脂肪識別的天然優(yōu)勢外，同時對白質(zhì)、灰質(zhì)、腦脊液等可以提供良好的對比。本研究結(jié)果表明，在側(cè)腦室及顱頂層面，腦脊液、腦實質(zhì)、顱骨等成分分割與標(biāo)注結(jié)果均具有良好的重疊度；而在靠近顱底層面，由于結(jié)構(gòu)的復(fù)雜性，空氣與骨皮質(zhì)交界處、篩竇等區(qū)域難以實現(xiàn)精細分割，同時這些區(qū)域也容易受到個體差異性的影響。

深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域[3,8-10]，近年來研究者們也不斷提出了新的網(wǎng)絡(luò)框架。與傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)相比，注意力機制對提取的特征進一步加工，通過賦予不同的權(quán)重表示其重要程度，將關(guān)注主要集中于目標(biāo)區(qū)域從而提高結(jié)果準(zhǔn)確度，同時，利用注意力的方式捕獲全局的上下文信息對目標(biāo)建立遠距離依賴，解決了長距離信息丟失的問題。目前基于注意力機制的神經(jīng)網(wǎng)絡(luò)如Transformer等已經(jīng)在醫(yī)學(xué)圖像處理的多個領(lǐng)域中取得了突出的效果。本研究采用的Segformer網(wǎng)絡(luò)，將基于注意力機制的Transformer網(wǎng)絡(luò)與MLP相結(jié)合，在進行高效分割的同時避免了復(fù)雜的解碼器，實現(xiàn)模型效果與效率的平衡。

本研究中在采用Segformer網(wǎng)絡(luò)結(jié)構(gòu)進行組織成分分割中體現(xiàn)出了良好的性能，但由于本研究使用的數(shù)據(jù)均來自同一個中心的同一臺掃描設(shè)備，訓(xùn)練模型對其他設(shè)備、掃描參數(shù)及存在病變等情況下的泛化能力還有待進一步驗證。

綜上所述，本研究驗證了通過MR單一序列IDEAL圖像進行頭部組織成分分割的可行性，通過基于注意力機制的Segformer神經(jīng)網(wǎng)絡(luò)可有效實現(xiàn)腦實質(zhì)、腦脊液、顱骨、空氣、軟組織等5種組織成分的分割。