賀天福，康家銀，武凌霄，姬云翔

(江蘇海洋大學(xué) 電子工程學(xué)院，江蘇 連云港 222005)

近些年來(lái)，現(xiàn)代醫(yī)學(xué)影像技術(shù)更新迅速，新技術(shù)和新設(shè)備在醫(yī)學(xué)診斷與治療中發(fā)揮了重要作用。經(jīng)各類醫(yī)學(xué)成像設(shè)備采集到的醫(yī)學(xué)圖像，在一定程度上能夠呈現(xiàn)人體的不同信息，從而有助于醫(yī)生更加直觀、精確地掌握患者的身體狀況。磁共振成像(magnetic resonance image，MRI)是一種結(jié)構(gòu)型成像，能夠提供反映人體軟組織與神經(jīng)血管等解剖結(jié)構(gòu)的高空間分辨率信息[1]；正電子發(fā)射斷層掃描(positron emission tomography，PET)圖像是一種功能型成像，它能夠提供反映人體細(xì)胞代謝活動(dòng)的信息，從而有助于發(fā)現(xiàn)異常狀況[2]。這兩類醫(yī)學(xué)成像設(shè)備的成像方式存在差異，使得單一模態(tài)的醫(yī)學(xué)影像僅能夠在某一層面反映人體的部分信息而無(wú)法相對(duì)完整地反映人體的真實(shí)狀況。影像融合技術(shù)可將MRI與PET這兩種不同模態(tài)的醫(yī)學(xué)影像進(jìn)行整合，實(shí)現(xiàn)各自信息的優(yōu)勢(shì)互補(bǔ)，從而使融合得到的圖像既能夠保留MRI圖像中豐富的空間結(jié)構(gòu)信息，又能夠保留PET圖像中所呈現(xiàn)的人體功能信息，進(jìn)而有助于臨床醫(yī)生進(jìn)行疾病的有效診斷。

針對(duì)多模態(tài)醫(yī)學(xué)影像的融合問(wèn)題，研究人員已經(jīng)提出了許多不同的策略與算法。第一類備受關(guān)注的方法是基于多尺度變換的方法，該類方法的實(shí)現(xiàn)包含3個(gè)部分：圖像變換，按照一定的融合規(guī)則進(jìn)行融合，以及圖像逆變換。截至目前，研究人員已提出了多種基于多尺度變換的圖像融合方法，如基于小波的方法[3]、基于非下采樣輪廓波變換(non-subsampled contourlet transformation，NSCT)[4]和非下采樣剪切波變換(non-subsampled shearlettransformation，NSST)[5]等，這些方法都在多模態(tài)醫(yī)學(xué)圖像的融合中展現(xiàn)了良好的效果?；诙喑叨茸儞Q的醫(yī)學(xué)圖像融合方法能夠根據(jù)對(duì)應(yīng)的變換域空間特點(diǎn)靈活地設(shè)計(jì)相應(yīng)的融合規(guī)則，但此類方法往往會(huì)在源醫(yī)學(xué)圖像變換至對(duì)應(yīng)變換域后產(chǎn)生一定程度的圖像失真問(wèn)題。第二類常用于醫(yī)學(xué)圖像融合的方法是基于稀疏表示(sparse representation，SR)[6]的方法。此類方法后續(xù)發(fā)展為采用聯(lián)合稀疏表示(joint sparse representation，JSR)[7]、組稀疏表示(group sparse representation，GSR)[8]等進(jìn)行多模態(tài)醫(yī)學(xué)圖像的融合。該類方法的重點(diǎn)在于稀疏表示字典的構(gòu)建以及目標(biāo)函數(shù)優(yōu)化方法的選擇。采用稀疏表示能夠以線性組合的方式較好地表示源醫(yī)學(xué)圖像，與此同時(shí)能夠節(jié)省存儲(chǔ)空間，但卻會(huì)在融合圖像中產(chǎn)生塊效應(yīng)，導(dǎo)致融合圖像對(duì)源醫(yī)學(xué)圖像的細(xì)節(jié)保持不完整。第三類用于圖像融合的方法是基于邊緣保持濾波的方法。該類方法因其良好的性能被相關(guān)學(xué)者關(guān)注，文獻(xiàn)[9]提出了一種用于圖像融合的引導(dǎo)濾波算法。文獻(xiàn)[10]將局部拉普拉斯金字塔濾波引入到解剖和功能圖像的融合中。這種分解策略不僅保留了邊緣，而且增強(qiáng)了細(xì)節(jié)，同時(shí)還較好地保留了能夠反映圖像功能信息的偽彩色信息。

近年來(lái)，深度學(xué)習(xí)在自然語(yǔ)言處理與圖像處理等各個(gè)領(lǐng)域都有巨大的發(fā)展，國(guó)內(nèi)外研究者也將其應(yīng)用于圖像融合領(lǐng)域。采用深度學(xué)習(xí)的圖像融合方法，在一定程度上能夠避免傳統(tǒng)的圖像融合方法的缺陷。基于深度學(xué)習(xí)的醫(yī)學(xué)圖像融合方法中常用方法之一是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的方法。該類方法利用網(wǎng)絡(luò)中卷積層優(yōu)秀的圖像特征提取能力對(duì)源圖像進(jìn)行特征提取，然后結(jié)合特征圖或其他方法將提取到的特征進(jìn)行融合。文獻(xiàn)[11]提出了一種用于醫(yī)學(xué)圖像融合的多尺度殘差金字塔注意力網(wǎng)絡(luò)(記為MSRPAN)，該網(wǎng)絡(luò)由一個(gè)特征提取器、融合器和重構(gòu)器組成，其中在特征提取器部分采用3個(gè)MSRPAN塊來(lái)提取醫(yī)學(xué)圖像的多尺度特征。另一種常見的利用深度學(xué)習(xí)策略進(jìn)行圖像融合的方法是基于生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)的方法。文獻(xiàn)[12]首先將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用到圖像融合領(lǐng)域，提出了FusionGAN模型，通過(guò)網(wǎng)絡(luò)生成器與判別器的對(duì)抗保留紅外圖像與可見光圖像的信息，但采用單一判別器使得生成器隨著對(duì)抗訓(xùn)練的深入而偏向于可見光圖像。文獻(xiàn)[13]提出了DDcGAN網(wǎng)絡(luò)，該方法通過(guò)在生成器中使用反卷積，并采用雙判別器，使得生成器生成圖像時(shí)能夠?qū)Σ煌直媛实脑磮D像進(jìn)行融合從而得到較高分辨率的融合圖像，但生成器所采用的編碼—解碼器網(wǎng)絡(luò)使得圖像淺層特征的利用率較低；此外，在融合PET與MRI圖像時(shí)，模型的損失函數(shù)不能較好地平衡不同模態(tài)的醫(yī)學(xué)圖像信息。文獻(xiàn)[14]提出了DSAGAN模型，該模型通過(guò)采用雙支路機(jī)制分別提取兩種源圖像的信息，并與注意力機(jī)制相結(jié)合更好地對(duì)特征進(jìn)行提取和選擇，以達(dá)到較好的融合效果，但由于其采用雙支路結(jié)構(gòu)，使得模型在特征提取過(guò)程中能夠同時(shí)利用兩種源圖像特征的融合層數(shù)目較少，從而缺乏對(duì)圖像淺層特征直接應(yīng)用。這些方法展現(xiàn)了優(yōu)異的性能，但也存在一些不足，如融合得到的圖像往往較為模糊，且對(duì)細(xì)節(jié)部分的保留不夠充分。文獻(xiàn)[15]則通過(guò)在特征提取網(wǎng)絡(luò)中插入原始可見光圖像，一定程度上增強(qiáng)了融合圖像中的結(jié)構(gòu)性信息。

基于以上分析，本文提出了一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的PET和MRI圖像融合模型。該模型的主體由一個(gè)生成器網(wǎng)絡(luò)和兩個(gè)判別器網(wǎng)絡(luò)組成，其中生成器部分通過(guò)采用密集連接來(lái)保證圖像信息的高效利用，同時(shí)在生成器網(wǎng)絡(luò)中用于特征提取的中間層級(jí)額外引入MRI圖像以提高生成圖像的密集結(jié)構(gòu)信息。具體過(guò)程為：首先通過(guò)圖像的彩色空間變換將PET圖像由RGB空間變換到Y(jié)CbCr空間；再將PET圖像的Y分量與MRI圖像聯(lián)結(jié)后輸入到生成器網(wǎng)絡(luò)；然后將通過(guò)生成器所生成的圖像和真實(shí)圖像分別輸入到兩個(gè)判別器中，通過(guò)進(jìn)行循環(huán)對(duì)抗來(lái)不斷提升生成器與雙判別器的能力，最終達(dá)到平衡，從而使得生成器能夠生成一幅既包含原始MRI圖像的空間結(jié)構(gòu)信息又包含原始PET圖像的功能信息的融合圖像。

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)[16]于2014年由Goodfellow提出，該網(wǎng)絡(luò)通常由兩部分構(gòu)成，即生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，其中，生成器網(wǎng)絡(luò)根據(jù)對(duì)應(yīng)的輸入生成類似于真實(shí)目標(biāo)的高維分布的假數(shù)據(jù)，而判別器網(wǎng)絡(luò)則要盡可能地分辨出通過(guò)生成器網(wǎng)絡(luò)所生成假數(shù)據(jù)和真實(shí)數(shù)據(jù)。生成器和判別器網(wǎng)絡(luò)通過(guò)二者之間的互相對(duì)抗與博弈來(lái)提升各自的能力，最終達(dá)到一個(gè)動(dòng)態(tài)平衡，即判別器網(wǎng)絡(luò)已經(jīng)無(wú)法判斷輸入的數(shù)據(jù)是來(lái)自于生成器所生成的數(shù)據(jù)還是來(lái)自于真實(shí)數(shù)據(jù)，此時(shí)的生成器網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)得到了真實(shí)目標(biāo)的高維數(shù)據(jù)分布[17]。具體而言，生成對(duì)抗網(wǎng)絡(luò)通過(guò)以下的目標(biāo)函數(shù)進(jìn)行優(yōu)化：

(1)

其中：V(D，G)為目標(biāo)函數(shù)，G表示網(wǎng)絡(luò)的生成器，D表示網(wǎng)絡(luò)的判別器；x表示真實(shí)數(shù)據(jù)，z表示輸入的隨機(jī)噪聲；Pdata(x)表示真實(shí)數(shù)據(jù)分布，Pz(z)表示希望得到的生成分布。

1.2 YCbCr彩色空間

MRI圖像為灰度圖像，它能夠呈現(xiàn)人體的結(jié)構(gòu)信息，包括紋理細(xì)節(jié)和密集結(jié)構(gòu)信息。而對(duì)于PET圖像而言，它通過(guò)放射性示蹤劑的攝取情況反映人體重要的功能信息，通常表現(xiàn)為偽彩色的RGB圖像。為了便于實(shí)現(xiàn)MRI(灰度圖像)和PET(偽彩色圖像)的融合，需要對(duì)PET圖像進(jìn)行顏色空間的變換。本文將PET圖像由RGB彩色空間變換為YCbCr彩色空間。變換后的PET圖像包含3個(gè)分量，分別為Y，Cb和Cr，其中Y分量主要包含能夠反映PET圖像整體結(jié)構(gòu)與亮度變化的亮度信息，而Cb與Cr分量則分別反映了原圖像的藍(lán)色與紅色的濃度偏移量成份。由RGB至YCbCr的變換過(guò)程如下：

(2)

2 本文算法

2.1 融合的總體框架

基于前述生成對(duì)抗網(wǎng)絡(luò)、YCbCr變換等方法，本文提出了基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的PET與MRI圖像融合框架，如圖1所示。

圖1中，IM，IP分別為MRI和PET圖像；IP-Y，IP-Cb和IP-Cr分別為PET圖像經(jīng)過(guò)YCbCr變換得到的3個(gè)分量；Generator為生成器，Discriminator-M和Discriminator-P為兩個(gè)判別器，分別對(duì)應(yīng)MRI圖像與PET圖像經(jīng)YCbCr變換得到的IP-Y分量；IF-Y為經(jīng)過(guò)生成器生成的圖像，IF為最終的融合圖像。

圖1 總體融合框架

如圖1所示，整個(gè)融合框架包含一個(gè)生成器和兩個(gè)判別器，具體融合步驟如下。

(1) 將IP進(jìn)行YCbCr變換分別得到IP的Y，Cb，Cr 3個(gè)通道的分量圖像IP-Y，IP-Cb和IP-Cr。

(2) 將IM與IP-Y輸入到生成器中，生成器提取輸入圖像的特征信息并進(jìn)行特征選擇，然后融合生成IF-Y。需要指出的是，此步驟需要事先完成生成器網(wǎng)絡(luò)的訓(xùn)練過(guò)程。生成器網(wǎng)絡(luò)的訓(xùn)練過(guò)程為：首先將IM與IP-Y圖像輸入到生成器網(wǎng)絡(luò)；然后將生成器網(wǎng)絡(luò)所生成的IF-Y分別與IM，IP-Y輸入到對(duì)應(yīng)的判別器Discriminator-M和Discriminator-P中進(jìn)行鑒別；接下來(lái)，依據(jù)生成器與判別器的輸出結(jié)果對(duì)生成器和判別器的網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練和交替更新，直至達(dá)到網(wǎng)絡(luò)平衡。此時(shí)訓(xùn)練得到的生成器網(wǎng)絡(luò)就是所需的用于PET和MRI圖像融合的生成器。

(3) 將生成器網(wǎng)絡(luò)生成的IF-Y分量圖像與對(duì)應(yīng)的PET圖像的IP-Cb，IP-Cr兩個(gè)分量圖像進(jìn)行YCbCr的反變換，從而得到最終的融合圖像IF。

2.2 損失函數(shù)

2.2.1 生成器損失函數(shù) 為了避免生成器生成的圖像趨向于平滑而丟失源圖像中豐富的細(xì)節(jié)信息，本文在設(shè)計(jì)生成器的損失函數(shù)時(shí)采用混合損失，從表層信息以及深層語(yǔ)義信息兩方面對(duì)網(wǎng)絡(luò)整體進(jìn)行約束。生成器的損失函數(shù)定義為

LG-total=Ladv+αLssim+βLgrad+γLper。

(3)

其中：LG-total為總損失，Ladv為對(duì)抗損失，Lssim為結(jié)構(gòu)相似性損失，Lgrad為梯度損失，Lper為感知損失；α，β，γ分別為調(diào)整不同損失間的比例參數(shù)。每一種損失將在后續(xù)內(nèi)容中分別詳述。

(1) 對(duì)抗損失。對(duì)抗損失項(xiàng)由兩部分構(gòu)成，通過(guò)在訓(xùn)練過(guò)程中的平衡使得生成器能夠同時(shí)保留兩幅源圖像的信息，具體定義為

Ladv=log(1-DM(IF-Y))+log(1-DP-Y(IF-Y))，

(4)

IF-Y=G(IM,IP-Y)。

(5)

其中：IF-Y為生成器所生成的圖像，IM為原始MRI圖像，IP-Y為原始PET圖像經(jīng)過(guò)YCbCr變換得到的Y分量；G為網(wǎng)絡(luò)的生成器，DM為鑒別生成器所生成的圖像與原始MRI圖像的判別器，DP-Y為鑒別生成器所生成的圖像與原始PET圖像經(jīng)過(guò)YCbCr變換的Y分量的判別器。

(2) 結(jié)構(gòu)相似性損失。結(jié)構(gòu)相似性損失項(xiàng)通過(guò)亮度、對(duì)比度、結(jié)構(gòu)方面對(duì)生成器進(jìn)行約束，使得輸入的融合圖像與源圖像之間擁有一定的相似結(jié)構(gòu)，具體定義為

Lssim=(1-SSIM(IF-Y,IM))+(1-SSIM(IF-Y,IP-Y))。

(6)

其中，SSIM(·)表示對(duì)輸入的兩幅圖像進(jìn)行結(jié)構(gòu)相似性計(jì)算，輸出一個(gè)小于等于1的標(biāo)量，值越大表明兩幅圖像的結(jié)構(gòu)越相似。

(3) 梯度損失。梯度損失主要衡量融合得到的圖像分別與源MRI和PET的YCbCr的Y分量間的結(jié)構(gòu)紋理等信息的差異，從而約束融合圖像盡可能多地包含源圖像的細(xì)節(jié)和紋理信息，具體定義為

Lgrad=η||IF-Y-IM||TV+ρ||IF-Y-IP-Y||TV。

(7)

其中：||·||TV為TV范數(shù)；η，ρ分別為調(diào)整不同損失間的比例系數(shù)。

(4) 感知損失。感知損失主要用來(lái)衡量圖像特征信息的保留情況，以此對(duì)生成器進(jìn)行深層次約束。具體過(guò)程為：將生成器所生成的融合圖像與源圖像分別輸入到預(yù)訓(xùn)練好的VGG19網(wǎng)絡(luò)中；通過(guò)VGG19網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征信息提取，得到源圖像在深層語(yǔ)義上的表現(xiàn)；通過(guò)計(jì)算融合圖像與源圖像在深層語(yǔ)義表示上的區(qū)別來(lái)考量圖像特征信息的保留情況。本文選擇了VGG19網(wǎng)絡(luò)中的第3，8，17和26共4層作為圖像的感知特征層，并且選擇從像素內(nèi)容上進(jìn)行深層約束，從梯度方面進(jìn)行生成器融合圖像與MRI圖像的相似性約束。感知損失具體定義為

(8)

2.2.2 判別器損失 對(duì)于判別器損失，本文選擇兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相同的判別器并采用相同的損失函數(shù)，來(lái)區(qū)分生成器生成的圖像與原始輸入的圖像，并通過(guò)判別器來(lái)促使生成器產(chǎn)生符合原始圖像紋理與強(qiáng)度的融合圖像。判別器的損失函數(shù)為

LD=LDM+LDP-Y，

(9)

LDM=E(-log(DM(IM)))+E(-log(1-DM(IF-Y)))，

(10)

LDP-Y=E(-log(DP-Y(IP-Y)))+E(-log(1-DP-Y(IF-Y)))。

(11)

其中：LDM為對(duì)MRI與融合圖像進(jìn)行判別的損失，LDP-Y為對(duì)PET的Y分量和融合圖像進(jìn)行判別的損失；E(·)表示取平均值操作。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

2.3.1 生成器網(wǎng)絡(luò)結(jié)構(gòu) 本文生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。生成器網(wǎng)絡(luò)由5層卷積組成，采用密集連接策略以增強(qiáng)圖像信息在網(wǎng)絡(luò)中的傳遞，此外通過(guò)將密集連接后的特征再與原始的MRI圖像聯(lián)結(jié)，作為后續(xù)網(wǎng)絡(luò)的輸入以增強(qiáng)生成圖像中的密集結(jié)構(gòu)信息，從而更好地表現(xiàn)圖像的細(xì)節(jié)信息。第一層至第四層均選擇3×3的卷積核，激活函數(shù)選擇為L(zhǎng)eakyRelu函數(shù)，最后一層則通過(guò)使用1×1卷積核濾波器進(jìn)行信道降維，選擇非線性函數(shù)Tanh進(jìn)行激活；n為卷積輸出通道數(shù)，分別為256，128，64，32，1；所有卷積層的步長(zhǎng)均為1。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3.2 判別器網(wǎng)絡(luò)結(jié)構(gòu) 本文采用的判斷MRI與融合圖像的判別器的結(jié)構(gòu)如圖3所示，其中第一層至第三層選擇卷積層進(jìn)行特征提取，最后一層利用全連接層(fully connected，F(xiàn)C)匯集信息并作出決策。第一層選擇3×3的卷積核，激活函數(shù)選擇為Relu函數(shù)；第二層與第三層也采用3×3的卷積，并使用BN(batch normalization)層進(jìn)行歸一化操作，激活函數(shù)選擇為L(zhǎng)eakyRelu函數(shù)；三層卷積層的步長(zhǎng)均為2；最后一層FC層，選擇非線性函數(shù)Tanh進(jìn)行最終決策，生成一個(gè)0到1間的標(biāo)量值從而對(duì)輸入圖像進(jìn)行判斷。對(duì)于用于判斷PET圖像的Y分量與融合圖像的判別器而言，由于其功能與判斷MRI和融合圖像的判別器功能類似，因此本文采用與判斷MRI和融合圖像的判別器相同的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 訓(xùn)練過(guò)程

(1) 初始化生成器與兩個(gè)判別器的網(wǎng)絡(luò)參數(shù)，將MRI和PET圖像的Y分量圖輸入到對(duì)應(yīng)的判別器中，根據(jù)輸出結(jié)果對(duì)判別器的參數(shù)進(jìn)行更新。

(2) 將MRI和PET圖像的Y分量圖聯(lián)結(jié)后輸入到生成器網(wǎng)絡(luò)中，得到生成器生成的融合圖像，結(jié)合對(duì)應(yīng)的生成器損失對(duì)生成器網(wǎng)絡(luò)參數(shù)進(jìn)行更新。當(dāng)生成器總損失LG-total大于LG-max時(shí)重復(fù)此過(guò)程至多20次。

(3) 將MRI和PET圖像的Y分量圖與生成器生成的圖像分別輸入到對(duì)應(yīng)的判別器中，根據(jù)輸出結(jié)果對(duì)判別器的參數(shù)進(jìn)行更新。當(dāng)判別器損失LD小于LD-min或大于LD-max時(shí)重復(fù)此過(guò)程至多5次。

(4) 重復(fù)過(guò)程(2)和(3)直至網(wǎng)絡(luò)達(dá)到平衡狀態(tài)。

上述訓(xùn)練過(guò)程中，LG-max為第一批源圖像輸入到生成器所得到的生成器損失的0.7倍；LD-min設(shè)置為1.2，LD-max設(shè)置為1.8。此做法的目的主要是調(diào)節(jié)兩個(gè)判別器損失間的平衡，從而加速網(wǎng)絡(luò)訓(xùn)練過(guò)程。上述訓(xùn)練過(guò)程的運(yùn)行環(huán)境為Pytorch框架、Python3.6.13平臺(tái)；硬件環(huán)境為GeRorce RTX-2080Ti GPU 和 Intel(R)Core(TM) i5-8265U CPU。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)介紹 本文中用于實(shí)驗(yàn)的PET和MRI圖像均取自于哈佛大學(xué)醫(yī)學(xué)院的“全腦”(The Whole Brain)數(shù)據(jù)集(http: //www.med.harvard.edu /aanlib/)，圖像原始大小均為256×256。本文從“全腦”數(shù)據(jù)集中隨機(jī)選擇51對(duì)圖像作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。在對(duì)圖像邊緣進(jìn)行尺寸為4的零值填充后，通過(guò)將步幅設(shè)為18將成對(duì)的圖像進(jìn)行裁剪，使PET與MRI圖像塊的大小為84×84像素，如此操作后共得到5 100對(duì)PET和MRI圖像塊。在測(cè)試階段，從“全腦”數(shù)據(jù)集中隨機(jī)挑選20組圖像來(lái)測(cè)試訓(xùn)練所得的模型的性能。

3.1.2 參數(shù)設(shè)置 本實(shí)驗(yàn)中，用于調(diào)節(jié)生成器總損失項(xiàng)LG-total的參數(shù)α，β，γ分別設(shè)為10.0，5.0，0.2；調(diào)節(jié)生成器梯度損失項(xiàng)Lgrad的參數(shù)η，ρ分別為1.1，1.0；調(diào)節(jié)生成器感知損失項(xiàng)Lper的參數(shù)μ，ν分別為0.1，10；網(wǎng)絡(luò)的參數(shù)優(yōu)化器選擇為RMSprop優(yōu)化器；學(xué)習(xí)率設(shè)為2×10-3，平滑常數(shù)設(shè)為0.9，每個(gè)批尺寸的大小設(shè)為24，總的迭代次數(shù)設(shè)為3。

3.1.3 評(píng)價(jià)指標(biāo) 為了對(duì)不同算法的融合結(jié)果進(jìn)行客觀評(píng)價(jià)和分析，本文選擇了以下8種常用的圖像融合評(píng)價(jià)指標(biāo)：結(jié)構(gòu)相似性(structural similarity，SSIM)[18]，從亮度、對(duì)比度、結(jié)構(gòu)三方面度量源圖像與融合圖像的相似性，其值越大表示融合圖像越接近原始圖像；基于梯度的融合性能指標(biāo)Qab/f[19]，衡量融合圖像與源圖像間的相似邊緣，其值越大表示融合圖像擁有更多原始圖像的邊緣細(xì)節(jié)信息；信息熵(entropy，EN)[20]，衡量融合圖像所包含信息量的多少，其值越大代表融合圖像中含有越多的信息量；基于噪聲評(píng)估的融合性能指標(biāo)Nab/f[21]，評(píng)價(jià)圖像融合過(guò)程中引入的噪聲信息的多少，其值越小代表融合后的圖像引入了更少的噪聲；相關(guān)系數(shù)(correlation coefficient，CC)[20]，度量融合圖像與原始圖像間的線性相關(guān)度，其值越大代表融合越貼近原始圖像；邊緣強(qiáng)度(edge intensity，EI)[20]，評(píng)價(jià)融合圖像的邊緣銳化程度,其值越大代表融合圖像質(zhì)量越好；空間頻率(spatial frequency，SF)[22]，通過(guò)圖像在空域的梯度分布來(lái)度量融合圖像細(xì)節(jié)信息的豐富程度,其值越大表示融合圖像擁有更多的細(xì)節(jié)信息；人類視覺(jué)敏感度指標(biāo)Qcb[23],通過(guò)取全局質(zhì)量平均圖來(lái)測(cè)算圖像質(zhì)量，其值越大表示融合圖像質(zhì)量越好。

3.1.4 對(duì)比算法 本文選擇了3種基于生成對(duì)抗網(wǎng)絡(luò)的圖像融合方法，在20組測(cè)試圖像上從主觀與客觀兩方面對(duì)融合結(jié)果進(jìn)行分析與評(píng)價(jià)。3種用于對(duì)比的方法分別來(lái)自于文獻(xiàn)[12](記為DDcGAN)、文獻(xiàn)[13](記為FusionGAN) 和文獻(xiàn)[14](記為DSAGAN) 。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 主觀評(píng)價(jià) 對(duì)融合結(jié)果的主觀評(píng)價(jià)主要通過(guò)肉眼觀察進(jìn)行，即通過(guò)目視判讀圖像的融合效果，如圖像的顏色、亮度以及真實(shí)度等。換言之，對(duì)融合結(jié)果的主觀評(píng)價(jià)主要為判斷融合圖像能否在視覺(jué)上較為完整地展現(xiàn)源圖像的信息。圖4和圖5分別展示了兩組PET和MRI圖像通過(guò)4種不同方法得到的融合結(jié)果。為了便于比較，本文用矩形框標(biāo)注出圖像中差異較大的部分。

圖4所示的第一組融合結(jié)果中，采用FusionGAN方法得到的融合結(jié)果雖然對(duì)源PET圖像的功能信息保留較為完整，但嚴(yán)重丟失了源MRI圖像中較為顯著的結(jié)構(gòu)信息；采用DDcGAN方法得到的融合圖像存在諸如源PET圖像部分功能信息丟失、源MRI圖像中結(jié)構(gòu)信息保留不明顯等問(wèn)題；采用DSAGAN方法得到的融合結(jié)果能較豐富地保留源PET圖像信息，但從源MRI圖像中保留的結(jié)構(gòu)信息存在一定的偽影；而本文方法在保留源PET圖像功能信息與源MRI圖像顯著結(jié)構(gòu)信息間取得一定平衡，從而將源MRI圖像中存在的較為顯著的結(jié)構(gòu)在融合圖像中完整地表現(xiàn)出來(lái)，得到的融合結(jié)果比較迎合人眼的視覺(jué)效果。

a MRI

圖5所示的第二組融合結(jié)果中，采用FusionGAN方法得到的融合結(jié)果對(duì)源MRI圖像中的結(jié)構(gòu)性信息保留不充分，邊緣輪廓不夠明顯；而采用DDcGAN和DSAGAN方法得到的融合圖像能夠一定程度地保留源MRI圖像中的小尺寸結(jié)構(gòu)信息，但圖像中小尺寸結(jié)構(gòu)的邊緣效果較為模糊；相對(duì)地，本文方法對(duì)源MRI圖像信息的融合更充分，得到的融合結(jié)果中小結(jié)構(gòu)信息豐富清晰，整體主觀視覺(jué)效果更好。

a MRI

3.2.2 客觀評(píng)價(jià) 為了進(jìn)一步評(píng)價(jià)所提方法的融合效果，本文利用“3.1.3”中引入的量化指標(biāo)對(duì)不同算法所得的融合結(jié)果進(jìn)行客觀、定量的評(píng)價(jià)，評(píng)價(jià)結(jié)果具體如表1所示，其中粗體表示效果最佳者。

由表1可知，本文所提方法在SSIM,Nab/f，Qab/f，CC，SF，EI與Qcb等7個(gè)客觀評(píng)價(jià)指標(biāo)上都得到最佳值。本文方法所采用的生成器網(wǎng)絡(luò)在使用密集連接的同時(shí)引入了結(jié)構(gòu)信息豐富的源MRI圖像，并且，相較于其他幾種方法，本文方法在生成器網(wǎng)絡(luò)的損失函數(shù)中對(duì)梯度等結(jié)構(gòu)信息給予了更多的關(guān)注，因此在SSIM，Qab/f，SF和EI等更關(guān)注圖像邊緣結(jié)構(gòu)和紋理等信息的指標(biāo)上取得了最佳值。本文方法中生成器網(wǎng)絡(luò)的整體深度較淺，并且在網(wǎng)絡(luò)層中未采用BN層以降低對(duì)數(shù)據(jù)的依賴，從而能夠更好地保留網(wǎng)絡(luò)所提取的淺層特征，隨之減少了因特征丟失而引入的額外噪聲，因此在Nab/f與CC指標(biāo)上達(dá)到最佳值。在Qcb指標(biāo)上取得優(yōu)異性能，表明本文所提方法所生成的融合圖像在對(duì)比度方面表現(xiàn)良好，更為符合人類視覺(jué)系統(tǒng)。在EN指標(biāo)上本文方法表現(xiàn)欠佳，主要原因在于為了提升融合圖像的結(jié)構(gòu)信息，本文方法在融合的過(guò)程中比較關(guān)注結(jié)構(gòu)信息豐富的源MRI圖像，卻不可避免地導(dǎo)致源PET圖像的信息有所損失。綜上所述，本文所提方法就定量指標(biāo)而言，總體優(yōu)于對(duì)比的其他幾種方法，取得了更好的融合結(jié)果。

表1 不同方法在融合20組MRI與PET圖像時(shí)的融合結(jié)果

為了更直觀地展示不同方法在融合PET和MRI圖像時(shí)的客觀效果，圖6顯示了4種方法在融合20組成對(duì)MRI與PET圖像時(shí)各個(gè)量化指標(biāo)的情況。

a SSIM

此外，為了比較不同算法在融合PET和MRI圖像時(shí)的效率，本文測(cè)試了不同算法在融合20組測(cè)試圖像時(shí)的平均運(yùn)行時(shí)間，如表2所示。

表2 不同融合方法的平均運(yùn)行時(shí)間

如表2所示，本文所提方法的運(yùn)行時(shí)間略遜于DSAGAN方法而高于其他兩種方法，由此可知本文所提方法在保證圖像融合效果的情況下有較高的運(yùn)行效率。

4 結(jié)論

本文提出了一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的PET和MRI圖像融合方法。所提方法是一種端到端的網(wǎng)絡(luò)模型，在圖像的融合過(guò)程中無(wú)需設(shè)計(jì)復(fù)雜的融合策略。本文方法總體上由一個(gè)生成器和兩個(gè)判別器構(gòu)成，其中生成器在采用密集連接的同時(shí)還在部分層級(jí)引入源MRI圖像，以便更好地在網(wǎng)絡(luò)中傳遞圖像特征，從而提升融合圖像的細(xì)節(jié)紋理等信息；同時(shí)，通過(guò)兩個(gè)結(jié)構(gòu)相同的判別器不斷提升生成器的性能。損失函數(shù)方面，采用混合損失，即通過(guò)結(jié)構(gòu)相似性、梯度、感知與對(duì)抗等損失對(duì)生成器同時(shí)進(jìn)行表層及深層約束。在公開的數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明，本文方法在主觀視覺(jué)效果與客觀定量評(píng)價(jià)方面均取得了較優(yōu)的結(jié)果。