王 毅, 田梨梨, 程欣宇, 王麗會(huì)

(貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 貴州省智能醫(yī)學(xué)影像分析與精準(zhǔn)診斷重點(diǎn)實(shí)驗(yàn)室, 貴陽(yáng) 550025)通信作者: 程欣宇, E-mail: ai.cxy@qq.com

1 引言

醫(yī)學(xué)圖像配準(zhǔn)是醫(yī)學(xué)圖像分析處理任務(wù)中最基本的步驟, 是指通過(guò)對(duì)一幅圖像經(jīng)過(guò)一系列的幾何變換,使變換后圖像與參考圖像處于相同的坐標(biāo)空間, 以達(dá)到兩幅圖像中相同的組織結(jié)構(gòu)在空間位置上一一對(duì)齊.配準(zhǔn)算法的配準(zhǔn)精度和配準(zhǔn)效率將直接影響后續(xù)的醫(yī)療診斷分析和研究結(jié)果. 因此, 研究快速、精準(zhǔn)的醫(yī)學(xué)圖像配準(zhǔn)算法具有重要的理論意義和臨床實(shí)用價(jià)值.

傳統(tǒng)的配準(zhǔn)算法框架主要包含4個(gè)部分[1]: 特征空間、搜索空間、搜索策略和相似性度量. 特征空間是指從參考圖像和浮動(dòng)圖像中提取可用于配準(zhǔn)的特征;搜索空間定義了圖像變換的范圍和方式, 即線性變換或非線性變換; 搜索策略是指采用合適最優(yōu)化算法在搜索空間中尋找最優(yōu)的配準(zhǔn)參數(shù); 相似性度量用于評(píng)估每次變換結(jié)果的優(yōu)劣, 為搜索策略的搜索方向提供依據(jù). 在此基礎(chǔ)上, 已有大量的配準(zhǔn)算法被提出并被廣泛用于實(shí)際臨床應(yīng)用, 如SyN[2]、Demons[3]、FSL[4]等.盡管這些配準(zhǔn)算法都能取得較好的配準(zhǔn)效果, 但是都面臨著一個(gè)共同的問(wèn)題: 對(duì)于每一對(duì)待配準(zhǔn)圖像對(duì), 傳統(tǒng)配準(zhǔn)算法均需要從零開(kāi)始迭代優(yōu)化目標(biāo)函數(shù), 嚴(yán)重影響了配準(zhǔn)效率[5], 難以滿足臨床實(shí)時(shí)的配準(zhǔn)需求.

近年來(lái), 深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于醫(yī)學(xué)圖像配準(zhǔn). 目前, 基于深度學(xué)習(xí)的配準(zhǔn)技術(shù)主要被分為兩大類(lèi):有監(jiān)督學(xué)習(xí)配準(zhǔn)算法和無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)算法. 有監(jiān)督學(xué)習(xí)配準(zhǔn)算法是利用已知幾何變換的待配準(zhǔn)圖像對(duì)訓(xùn)練網(wǎng)絡(luò), 并通過(guò)計(jì)算網(wǎng)絡(luò)估計(jì)的幾何變換和已知幾何變換的均方誤差 (mean squared error, MSE) 更新網(wǎng)絡(luò)的權(quán)重參數(shù). 如Miao等人[6]在ConvNet的最后一層設(shè)計(jì)一個(gè)回歸器去預(yù)測(cè)二維X光和三維CT圖像的剛性配準(zhǔn)參數(shù), 解決了現(xiàn)有基于灰度的二維/三維配準(zhǔn)算法速度慢、捕獲范圍小等兩個(gè)缺陷. 不同于回歸的方法,Yang 等人[7]采用已知幾何變換的待配準(zhǔn)圖像對(duì)訓(xùn)練深度編解碼網(wǎng)絡(luò), 使其能夠精準(zhǔn)預(yù)測(cè)大變形微分同胚度量映射 (large deformation diffeomorphic metric mapping, LDDMM) 配準(zhǔn)模型[8]中的動(dòng)量, 隨后通過(guò)貝葉斯概率網(wǎng)絡(luò)求得DVF. Sokooti等人[9]則直接使用多尺度ConvNet去估計(jì)待配準(zhǔn)圖像對(duì)的DVF, 而無(wú)需將幾何變換約束至具體的配準(zhǔn)模型. 一些作者也嘗試?yán)肅onvNet估計(jì)薄板樣條模型[10]的參數(shù), 如Cao等人[11]和Eppenhof等人[12], 他們分別使用模板樣條模型實(shí)現(xiàn)了大腦MRI圖像和胸部CT圖像的可變形配準(zhǔn). 與傳統(tǒng)配準(zhǔn)算法相比, 有監(jiān)督學(xué)習(xí)配準(zhǔn)算法極大地提高了配準(zhǔn)效率, 但這類(lèi)方法的配準(zhǔn)性能十分依賴帶有標(biāo)簽的訓(xùn)練數(shù)據(jù). 然而, 獲得帶有標(biāo)簽的醫(yī)學(xué)圖像數(shù)據(jù)成本非常高, 并且標(biāo)記信息通常利用傳統(tǒng)配準(zhǔn)算法獲得或者人工合成, 并不精準(zhǔn), 因此, 限制了有監(jiān)督配準(zhǔn)算法的發(fā)展.

基于無(wú)監(jiān)督學(xué)習(xí)的配準(zhǔn)算法不需要任何標(biāo)簽, 其通過(guò)最小化給定的損失函數(shù)約束神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)最優(yōu)的DVF. Jaderberg等人[13]提出的空域變換網(wǎng)絡(luò) (spatial transformer network, STN) 因其能對(duì)圖像重采樣并且可微而極大推動(dòng)了無(wú)監(jiān)督配準(zhǔn)算法的發(fā)展. 自STN提出后, 大量無(wú)監(jiān)督配準(zhǔn)算法涌現(xiàn)出來(lái). 如Balakrishnan等人[14]提出了一個(gè)優(yōu)秀的無(wú)監(jiān)督配準(zhǔn)框架VoxelMorph,該框架使用一個(gè)類(lèi)似Unet的架構(gòu)估計(jì)稠密的DVF, 然后在訓(xùn)練過(guò)程中借助STN模塊對(duì)浮動(dòng)圖像重采樣, 并通過(guò)計(jì)算重采樣后的圖像和參考圖像的相似性度量指導(dǎo)網(wǎng)絡(luò)訓(xùn)練, 最終在Dice分?jǐn)?shù)評(píng)價(jià)指標(biāo)上取得了與SyN配準(zhǔn)算法相當(dāng)?shù)木? Zhao等人[15]和Tang等人[16]基于VoxelMorph分別設(shè)計(jì)了無(wú)監(jiān)督配準(zhǔn)框架VTN (volume tweening network) 和 ADMIR (affine and deformable medical image Registration), 他們均在可變形網(wǎng)絡(luò)框架中新增仿射預(yù)配準(zhǔn)模型, 使得網(wǎng)絡(luò)能夠同時(shí)執(zhí)行仿射配準(zhǔn)和可變形配準(zhǔn), 真正地做到端到端配準(zhǔn). 但是他們也存在區(qū)別, VTN框架能夠級(jí)聯(lián)多個(gè)可變形配準(zhǔn)的子網(wǎng)絡(luò), 遞進(jìn)式提高配準(zhǔn)性能. 實(shí)驗(yàn)結(jié)果證明了級(jí)聯(lián)策略能夠處理大位移形變, 提高配準(zhǔn)的精度. 除了模型上的創(chuàng)新, 一些學(xué)者也致力于探索幾何變換映射的微分同胚性質(zhì). 如Zhang[17]提出使用逆一致正則化項(xiàng)來(lái)約束相應(yīng)逆映射的差異, 并在損失函數(shù)中引入逆一致性損失和防折疊損失來(lái)保證DVF的平滑屬性. Mok等人[18]使用類(lèi)似SyN算法的思想, 利用ConvNet輸出一對(duì)微分同胚映射, 用于將兩幅圖像從兩條測(cè)地線映射到兩幅圖像的中間地帶, 實(shí)驗(yàn)結(jié)果表明, 該方法能夠獲得平滑且拓?fù)浔３值腄VF.

盡管無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)算法不需要標(biāo)簽數(shù)據(jù), 并且在多個(gè)數(shù)據(jù)集上也取得了十分優(yōu)秀的配準(zhǔn)性能, 但仍存在以下問(wèn)題: 1)現(xiàn)存的大多數(shù)無(wú)監(jiān)督配準(zhǔn)算法僅能配準(zhǔn)單模態(tài)圖像, 在多模態(tài)圖像配準(zhǔn)上, 性能低下, 且針對(duì)QSM圖像和T1加權(quán)圖像的配準(zhǔn)算法仍鮮見(jiàn)報(bào)道. 2)現(xiàn)存的配準(zhǔn)算法大多采用全局相似度量如MSE、NCC (normalized cross-correlation)、NMI (normalized mutual information)[19]來(lái)驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí), 但這些相似性度量并不適用于衡量QSM圖像和T1加權(quán)圖像的相似性, 難以驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí).

為了解決以上問(wèn)題, 本文設(shè)計(jì)了RF-RegNet用于QSM圖像和T1加權(quán)圖像配準(zhǔn), 通過(guò)編碼金字塔提取QSM圖像和T1加權(quán)圖像特征, 兩個(gè)解碼器分別用于估計(jì)圖像對(duì)之間的局部和全局幾何形變, 最后利用局部特征相似損失和DVF的正則化共同指導(dǎo)網(wǎng)絡(luò)模型訓(xùn)練, 完成高效精確地配準(zhǔn).

2 RF-RegNet配準(zhǔn)方法

分別定義F,M為在n維空間? ?Rn的參考圖像和浮動(dòng)圖像, 圖像配準(zhǔn)旨在尋找到一個(gè)最優(yōu)的變形場(chǎng)使得浮動(dòng)圖像與參考圖像處于同一空間并且相同的組織結(jié)構(gòu)在空間位置上一一對(duì)齊. 這一過(guò)程可表示為式(1):

其中,M°φ 代表浮動(dòng)圖像經(jīng)過(guò)變形場(chǎng)φ 重采樣后所得到的圖像,Lsim(·,·)函數(shù)用于衡量?jī)煞鶊D像之間的相似性,Lsmooth(·)函 數(shù)用于約束變形場(chǎng)平滑, λ為兩個(gè)函數(shù)之間的平滑系數(shù). 傳統(tǒng)配準(zhǔn)算法通過(guò)優(yōu)化每對(duì)配準(zhǔn)圖像的目標(biāo)函數(shù)尋找最優(yōu)變形場(chǎng), 盡管能夠取得較好的配準(zhǔn)效果, 但也極大地影響了配準(zhǔn)效率. 本文通過(guò)深度卷積模型共享全局參數(shù)尋找最優(yōu)變形場(chǎng)來(lái)代替特定配準(zhǔn)對(duì)的優(yōu)化過(guò)程, 這意味著只要深度卷積網(wǎng)絡(luò)模型一旦收斂, 輸入任意待配準(zhǔn)圖像對(duì)均能快速精準(zhǔn)得到最優(yōu)的變形場(chǎng), 這一過(guò)程可表示為:

其中,f代表深度卷積模型學(xué)習(xí)到的映射函數(shù), θ為網(wǎng)絡(luò)模型參數(shù)即卷積神經(jīng)網(wǎng)絡(luò)每層的核權(quán)重系數(shù). 通過(guò)最小化損失函數(shù)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練, 以求得最優(yōu)網(wǎng)絡(luò)權(quán)重參數(shù)本文在U-Net網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上, 設(shè)計(jì)了RF-RegNet實(shí)現(xiàn)快速精準(zhǔn)的T1加權(quán)圖像和QSM圖像配準(zhǔn), 配準(zhǔn)框架如圖1所示. RF-RegNet的核心架構(gòu)由一個(gè)編碼金字塔和兩個(gè)解碼器構(gòu)成, 編碼金字塔用于提取圖像的細(xì)節(jié)特征, 兩個(gè)解碼器分別用于估計(jì)圖像對(duì)之間細(xì)小結(jié)構(gòu)區(qū)域、紋理細(xì)節(jié)的局部形變和大腦整體形狀、位置、大小、角度等全局形變, 通過(guò)結(jié)合局部形變和全局形變得到最優(yōu)的變形場(chǎng), 隨后利用重采樣層對(duì)浮動(dòng)圖像進(jìn)行重采樣得到配準(zhǔn)后的圖像, 并通過(guò)計(jì)算重采樣后的圖像和參考圖像的特征相似性驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí).

圖1 RF-RegNet配準(zhǔn)框架圖

2.1 編碼金字塔

編碼金字塔結(jié)構(gòu)類(lèi)似于拉普拉斯金字塔, 它是由一系列殘差圖像L0,L1,···,Ln-1組成, 每一層圖像均是高斯金字塔兩個(gè)層次之間的差異, 如圖2所示.

圖2 編碼金字塔網(wǎng)絡(luò)結(jié)構(gòu)

構(gòu)建高斯金字塔是構(gòu)建拉普拉斯金字塔的前提,高斯金字塔是通過(guò)對(duì)原始圖像逐級(jí)高斯濾波再下采樣得到的, 圖2中G0表示初始圖像(i=0),Gi表示第i(1≤i≤n)次高斯濾波并下采樣得到的圖像, 高斯金字塔的計(jì)算過(guò)程如式(3)所示:

其中, Φ表示高斯濾波算子,D表示下采樣操作. 拉普拉斯金字塔每一層Li是由高斯金字塔中每一層圖像Gi+1經(jīng) 過(guò)上采樣、濾波之后與上一層圖像Gi相減得到,這一過(guò)程被描述為:

其中,U表示圖像上采樣操作. 原始圖像經(jīng)過(guò)下采樣后壓縮了圖像信息, 在去除噪聲的同時(shí)也保留了部分圖像特征信息, 但是將圖像經(jīng)過(guò)上采樣, 往往通過(guò)插值填補(bǔ)缺失的像素值, 導(dǎo)致難以完全恢復(fù)至原始圖像. 拉普拉斯金字塔通過(guò)差值將丟失的信息記錄作為圖像特征,能夠捕獲圖像的細(xì)節(jié)和邊緣特征, 因此被廣泛用于圖像融合、圖像重建等領(lǐng)域.

本文使用可學(xué)習(xí)的卷積核代替編碼金字塔中的高斯核, 讓本文所提出的編碼金字塔不僅能夠捕獲待配準(zhǔn)圖像對(duì)的紋理細(xì)節(jié)差異, 還能夠捕獲大腦微小結(jié)構(gòu)的特征差異. 編碼金字塔由語(yǔ)義編碼和殘差編碼兩部分組成, 其中, 語(yǔ)義編碼部分將參考圖像和浮動(dòng)圖像堆疊形成一個(gè)二通道圖像作為輸入, 并通過(guò)一個(gè)步長(zhǎng)為1、4個(gè)卷積核為3 ×3×3的卷積對(duì)其進(jìn)行卷積運(yùn)算, 再經(jīng)過(guò)一個(gè)LeakyReLU激活函數(shù)得到初始特征圖, 記為S0. 隨后再通過(guò)步長(zhǎng)為2、卷積核為3 ×3×3的步幅卷積和LeakyReLU激活函數(shù)逐級(jí)下采樣, 以捕獲不同特征圖下的全局語(yǔ)義信息. 語(yǔ)義編碼階段共經(jīng)過(guò)4次下采樣, 每次下采樣均使得圖像尺寸減半, 圖像通道數(shù)增加一倍, 將經(jīng)過(guò)下采樣得到的圖像分別標(biāo)記為Si,i=1,2,3,4, 如圖1編碼金字塔中左半部分所示. 殘差編碼部分使用步長(zhǎng)為2、卷積核為3 ×3×3的反卷積和Leaky-ReLU激活函數(shù)將語(yǔ)義編碼器所獲得的特征圖Si,i=1,2,3,4 進(jìn)行上采樣得到Ui,i=1,2,3,4, 隨后與對(duì)應(yīng)的上一層特征圖Si,i=0,1,2,3做 差值得到差分特征圖像Dk,k=1,2,3,4 即Dk=Sk-1-Uk,k=1,2,3,4, 如圖1編碼金字塔中右半部分所示.

2.2 殘差解碼器和語(yǔ)義解碼器

醫(yī)學(xué)圖像配準(zhǔn)的目標(biāo)旨在尋找最優(yōu)的像素級(jí)幾何形變參數(shù), 需要將編碼金字塔學(xué)習(xí)到的特征映射至像素空間, 因此本文使用與語(yǔ)義編碼器和殘差編碼器對(duì)應(yīng)的語(yǔ)義解碼器和殘差解碼器去完成這一過(guò)程. 語(yǔ)義解碼器和殘差解碼器均是通過(guò)步長(zhǎng)為2、卷積核為3×3×3的反卷積和LeakyReLU激活函數(shù)完成上采樣操作, 但不同于語(yǔ)義解碼器, 殘差解碼器利用跳躍連接層融合了殘差淺層特征和殘差深層特征, 加強(qiáng)密集預(yù)測(cè). 在語(yǔ)義解碼器和殘差解碼器的最后一層均使用一個(gè)步長(zhǎng)為1、3個(gè)核為3 ×3×3的卷積回歸出像素級(jí)的幾何形變參數(shù), 即DVF. 最后, 將分別得到的局部DVF與全局DVF相加得到最終的DVF, 如圖1解碼器部分所示.

2.3 損失函數(shù)

2.3.1 上下文自相似性度量

本文使用上下文自相似性度量 (self-similarity context, SSC) 衡量重采樣后的QSM圖像與參考圖像T1圖像的相似性從而驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)全局共享參數(shù). 自相似性是用于描述一幅圖像內(nèi)的兩個(gè)圖像塊之間的距離度量, 對(duì)于三維圖像I中任意像素點(diǎn)x,x∈I, 本文定義以x為 中心, 鄰域半徑為p的圖像塊為xp, 在三維方向上與圖像塊xp的 距離為r的圖像塊被定義為i=1,2,···,6, 如圖3所示.

圖3 自相似性鄰域結(jié)構(gòu)圖

則在像素點(diǎn)x的自相似性特征能夠用與xp相鄰且互不為對(duì)角的圖像塊=1,2,···,6兩兩之間的高斯核距離表示, 即:

其中, 對(duì)于以圖像塊xp為中心任意兩個(gè)鄰域圖像塊且j≠i/2×2+(1-i%2)的高斯核距離可表示為式(6):

其中,Dp(·,·)表示兩個(gè)圖像塊的像素值的均方誤差之和, σ2為所有成對(duì)圖像塊均方歐式距離的均值, 即:

提取了兩幅圖像的自相似特征后, 則SSC損失函數(shù)可計(jì)算為:

其中,F為參考圖像,M°φ 為浮動(dòng)圖像經(jīng)過(guò)變形場(chǎng)φ 重采樣后所得到的圖像,N為圖像體素總個(gè)數(shù).

2.3.2 正則化約束

圖像配準(zhǔn)不僅要使得配準(zhǔn)結(jié)果與參考圖像盡可能相似, 同時(shí)還需要使得幾何變換盡可能平滑. 不平滑的幾何變換不滿足微分同胚性質(zhì), 表明配準(zhǔn)后的組織結(jié)構(gòu)被破壞. 為了解決這一問(wèn)題, 本文采用正則項(xiàng)R(φ)來(lái)約束變形場(chǎng)平滑, 其定義如下:

其中, ||·||為 矩陣的Frobenius范數(shù), ? φ(p)為在體素點(diǎn)p處的DVF的空間梯度, 即:

因此, 網(wǎng)絡(luò)模型所使用的總損失ltotal如下所示:

其中, λ為正則系數(shù), 用于平衡相似性度量和變形場(chǎng)正則化.

3 實(shí)驗(yàn)設(shè)置及評(píng)價(jià)標(biāo)準(zhǔn)

3.1 數(shù)據(jù)描述及其預(yù)處理

本文研究所采用的模板圖像為MNI152的T1加權(quán)圖像, 分辨率為1 mm×1 mm×1 mm. QSM圖像數(shù)據(jù)采集自貴州省人民醫(yī)院, 共計(jì)104名受試者. 所有采集數(shù)據(jù)均在3T MRI (GE 750w)掃描, 使用16通道磁頭線圈. 其采集參數(shù)如下: 重復(fù)采集時(shí)間/回波時(shí)間/翻轉(zhuǎn)角度 =2.7ms/31.7ms/12°, 圖像大小和分辨率分別為256 mm×256 mm×22 mm, 1 mm×1 mm×1 mm, 掃描時(shí)間約為3分鐘. 此外, 所采集的QSM相位圖還需經(jīng)過(guò)相位解纏繞、背景相位去除和反演重建得到重建后的圖像才能用于配準(zhǔn). 本文首先對(duì)相位圖像進(jìn)行拉普拉斯變換再進(jìn)行傅里葉變換得到解纏繞相位的頻域空間表示[20], 隨后利用可變卷積核半徑的復(fù)雜諧波偽影去除算法進(jìn)行背景相位去除[21], 最后使用最小平方QR分解法求得磁化率[22], 得到重建的QSM圖像.

3.2 訓(xùn)練階段

本文將采集自貴州省人民醫(yī)院的90幅QSM圖像作為訓(xùn)練集, 剩余的14幅QSM圖像作為測(cè)試集. 訓(xùn)練集用于網(wǎng)絡(luò)模型預(yù)測(cè), 測(cè)試集用于評(píng)估模型的性能和泛化能力. 本文所提出的方法均在Keras中實(shí)現(xiàn), 使用Adam優(yōu)化器, 在32 GB的NVIDIA Tesla V100 GPU上進(jìn)行加速訓(xùn)練, 共迭代5 000次, 訓(xùn)練約18小時(shí)左右, 初始學(xué)習(xí)率設(shè)置為0.000 1, BatchSize設(shè)置為1, 訓(xùn)練的總輪數(shù)Epoch設(shè)置為50, 每輪迭代次數(shù)Iteration設(shè)置為100. 訓(xùn)練RF-RegNet模型的步驟如算法1.

算法1. RF-RegNet網(wǎng)絡(luò)模型訓(xùn)練算法初始化:F參考圖像S訓(xùn)練數(shù)據(jù)集lr:=10-4學(xué)習(xí)率Batchsize:=1批次大小Iteration:=100迭代次數(shù)epoch:=50訓(xùn)練輪數(shù)λ:=1.0損失函數(shù):ltotal=lSSC(F,M°φ)+λR(φ)訓(xùn)練開(kāi)始:1. For epoch=1 to 500 do 2. 隨機(jī)打亂訓(xùn)練數(shù)據(jù)集3. For iteration=1 to 100 do隨機(jī)選擇數(shù)據(jù)集中的一幅圖像作為浮動(dòng)圖像M;4. 利用網(wǎng)絡(luò)模型預(yù)測(cè)位移矢量場(chǎng)DVF;M 5. 依據(jù)DVF對(duì)浮動(dòng)圖像 進(jìn)行幾何變換;Θi 6. 計(jì)算損失值并更新網(wǎng)絡(luò)參數(shù)(每一個(gè) 是配準(zhǔn)網(wǎng)絡(luò)模型中的可學(xué)習(xí)參數(shù)):Θi:=Θi-lr?loss?Θi 7. End for each 8. End for epoch

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

為了有效評(píng)估QSM圖像和T1加權(quán)圖像配準(zhǔn)的性能, 本文采用目標(biāo)配準(zhǔn)誤差 (target registration error,TRE)[23]、Dice分?jǐn)?shù)[24]、Hausdorff距離 (Hausdorff distance,HD) 和平均對(duì)稱表面距離 (average symmetric surface distance,ASD)[25]來(lái)評(píng)估圖像之間的表面相似性. 其中,TRE表示同一個(gè)標(biāo)注點(diǎn)在參考圖像和配準(zhǔn)后圖像的差異, 其計(jì)算方法如式 (12) 所示:

其中, (x,y,z)代 表參考圖像標(biāo)記點(diǎn)的坐標(biāo), (x′,y′,z′)代表配準(zhǔn)結(jié)果對(duì)應(yīng)于參考圖像標(biāo)記點(diǎn)的坐標(biāo),n代表標(biāo)注點(diǎn)的數(shù)目, 本文共標(biāo)注了6個(gè)標(biāo)注點(diǎn).

HD用于反映兩個(gè)區(qū)域的最大差異, 其定義如下:

其中,和F*分別表示配準(zhǔn)結(jié)果和參考圖像中對(duì)應(yīng)的解剖結(jié)構(gòu)區(qū)域,HD值越低意味著兩個(gè)區(qū)域越相似. 類(lèi)似于HD,Dice分?jǐn)?shù)用于表示兩個(gè)結(jié)構(gòu)區(qū)域之間的重疊程度, 其定義如下:

Dice分?jǐn)?shù)的取值范圍為0–1, 越高的Dice分?jǐn)?shù)值意味著更好配準(zhǔn)性能.

最后, 本文也利用ASD來(lái)評(píng)估圖像之間的表面相似性, 其計(jì)算方法如式(15)所示:

其中,d(x,Y) 為 體素點(diǎn)x到圖像區(qū)域Y的最小歐式距離:

由于QSM是功能圖像, 難以分割出圖像局部解剖結(jié)構(gòu), 因此本文僅在全局腦部結(jié)構(gòu)上進(jìn)行定量評(píng)估配準(zhǔn)的性能.

4 實(shí)驗(yàn)結(jié)果與定量分析

為了評(píng)估本文模型的性能, 本文與VoxelMorph、ADMIR、VTN、Cascaded[26]4種先進(jìn)的深度學(xué)習(xí)配準(zhǔn)算法進(jìn)行了比較. 在對(duì)比實(shí)驗(yàn)中, 由于對(duì)比算法均是針對(duì)單模態(tài)圖像配準(zhǔn)的, 因此, 本文采用對(duì)比算法中的網(wǎng)絡(luò)結(jié)構(gòu), 而損失函數(shù)和插值方式與本文提出的算法相同. 不同網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程迭代曲線如圖4所示.

圖4 不同方法訓(xùn)練損失下降圖

從圖4可以看出, 相比與其他4種方法, RF-RegNet損失下降速度最快且最低. Cascade、VoxelMorph、ADMIR的損失收斂曲線有大量重疊部分, VTN的損失收斂速度最慢且難以收斂至最優(yōu)值.

4.1 可視化結(jié)果

圖5為5種配準(zhǔn)算法的可視化結(jié)果, 其中第1、2列分別為參考圖像和浮動(dòng)圖像, 后續(xù)5列分別為5種方法的配準(zhǔn)結(jié)果并使用綠色橢圓框標(biāo)記出本文方法明顯改善的部分解剖區(qū)域. 從圖中可以直觀地看出,5種方法在全局腦部結(jié)構(gòu)上均取得了較好的配準(zhǔn)效果, 但各個(gè)方法之間也存在明顯差異. VTN、Cascaded兩種方法的配準(zhǔn)結(jié)果更為平滑, 丟失了許多的高頻細(xì)節(jié)信息. VoxelMorph、ADMIR兩種方法相比于VTN和Cascaded, 配準(zhǔn)效果有一定的提升, 但依然丟失較多的細(xì)節(jié)信息. 本文所提出的方法取得了最好的視覺(jué)效果.

圖5 不同方法配準(zhǔn)結(jié)果的可視化圖

4.2 定量分析

為了進(jìn)一步驗(yàn)證本文所提出的模型RF-RegNet的性能, 本文使用TRE、Dice分?jǐn)?shù)、HD和ASD四種評(píng)價(jià)指標(biāo)在測(cè)試集上對(duì)全局的配準(zhǔn)結(jié)果進(jìn)行了定量分析.定量結(jié)果如表1所示.

從表1中可以直觀地觀察到, 本文的方法取得了最佳的平均TRE、Dice分?jǐn)?shù)、HD, 其中,TRE相較于其他4種方法分別下降了35.5%、20%、5.4%、6.4%;Dice分?jǐn)?shù)較其他方法分別提高了1.7%、1.1%、0.5%、0.4%;HD較其他幾種方法分別降低了2.9%、3%、1.9%、1.6%;ASD較VTN、Cascaded、Voxel-Morph降低了6.2%、4.7%、1.2%, 較ADMIR方法升高了1.9%. 越高的Dice分?jǐn)?shù)和越低的TRE、HD、ASD意味著更好的配準(zhǔn)效果. 因此, 本文所提出的模型顯示了最好的配準(zhǔn)性能. 從配準(zhǔn)所需的時(shí)間上看,VoxelMorph的網(wǎng)絡(luò)結(jié)構(gòu)最為簡(jiǎn)單, 僅包含一個(gè)編碼器和一個(gè)解碼器, 因此取得了最快的運(yùn)行時(shí)間. VTN、ADMIR和Cascaded的設(shè)計(jì)思想均是通過(guò)堆疊多個(gè)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)由粗到細(xì)配準(zhǔn), 模型參數(shù)量大, 因此需要耗費(fèi)更多的時(shí)間, 本文所提出的方法所需配準(zhǔn)時(shí)間略高于VoxelMorph, 低于其他方法, 滿足臨床實(shí)時(shí)的配準(zhǔn)需求.

表1 幾種方法的定量分析結(jié)果

圖6展示了5種方法分別在Dice分?jǐn)?shù)、ASD、HD、TRE四個(gè)評(píng)價(jià)指標(biāo)上的箱線圖, 可以直觀地看出,本文提出的方法相比于其他方法的性能更為穩(wěn)定, 進(jìn)一步證明了RF-RegNet的優(yōu)越性.

圖6 4種評(píng)價(jià)指標(biāo)的箱線圖

5 結(jié)論

本文針對(duì)QSM紋理結(jié)構(gòu)特點(diǎn), 借鑒拉普拉斯金字塔的思想, 設(shè)計(jì)了殘差編碼器和語(yǔ)義編碼器, 用于提取和學(xué)習(xí)配準(zhǔn)圖像對(duì)之間的局部紋理和邊緣信息的匹配變形參數(shù). 最后, 通過(guò)重采樣層重建以得到最后的配準(zhǔn)結(jié)果. 在網(wǎng)絡(luò)優(yōu)化的過(guò)程中, 本文采用SSC的特征相似性作為損失函數(shù)驅(qū)動(dòng)網(wǎng)絡(luò)模型學(xué)習(xí). 實(shí)驗(yàn)結(jié)果表明, 本文提出的方法顯著提升了QSM圖像和T1加權(quán)圖像的配準(zhǔn)精度. 但仍存在些許不足, 主要體現(xiàn)在: 在配準(zhǔn)之前需要使用外部工具包進(jìn)行預(yù)對(duì)齊, 降低了配準(zhǔn)效率.其次, 本文使用SSC特征相似性作為損失函數(shù), 雖然能夠較好衡量T1加權(quán)圖像和QSM圖像的相似性, 但是計(jì)算復(fù)雜, 致使網(wǎng)絡(luò)訓(xùn)練速度緩慢.