高媛　吳帆　秦品樂　王麗芳

摘 要：針對傳統醫(yī)學圖像融合中需要依靠先驗知識手動設置融合規(guī)則和參數，導致融合效果存在不確定性、細節(jié)表現力不足的問題，提出了一種基于改進生成對抗網絡（GAN）的腦部計算機斷層掃描（CT）/磁共振 （MR）圖像融合算法。首先，對生成器和判別器兩個部分的網絡結構進行改進，在生成器網絡的設計中采用殘差塊和快捷連接以加深網絡結構，更好地捕獲深層次的圖像信息;然后，去掉常規(guī)網絡中的下采樣層，以減少圖像傳輸過程中的信息損失，并將批量歸一化改為層歸一化，以更好地保留源圖像信息，增加判別器網絡的深度以提高網絡性能;最后，連接CT圖像和MR圖像，將其輸入到生成器網絡中得到融合圖像，通過損失函數不斷優(yōu)化網絡參數，訓練出最適合醫(yī)學圖像融合的模型來生成高質量的圖像。實驗結果表明，與當前表現優(yōu)良的基于離散小波變換（DWT）算法、基于非下采樣剪切波變換（NSCT）算法、基于稀疏表示（SR）算法和基于圖像分類塊稀疏表示（PSR）算法對比，所提算法在互信息（MI）、信息熵（IE）、結構相似性（SSIM）上均表現良好，最終的融合圖像紋理和細節(jié)豐富，同時避免了人為因素對融合效果穩(wěn)定性的影響。

關鍵詞：醫(yī)學圖像融合;生成對抗網絡;計算機斷層成像（CT）/磁共振（MR）;層歸一化;殘差塊

中圖分類號： TP391.4文獻標志碼：A

Medical image fusion algorithm based on generative adversarial residual network

GAO Yuan， WU Fan*， QIN Pinle， WANG Lifang

（School of Big Data Science， North University of China， Taiyuan Shanxi 030051， China）

Abstract： In the traditional medical image fusion， it is necessary to manually set the fusion rules and parameters by using prior knowledge， which leads to the uncertainty of fusion effect and the lack of detail expression. In order to solve the problems， a Computed Tomography （CT）/ Magnetic Resonance （MR） image fusion algorithm based on improved Generative Adversarial Network （GAN） was proposed. Firstly， the network structures of generator and discriminator were improved. In the design of generator network， residual block and fast connection were used to deepen the network structure， so as to better capture the deep image information. Then， the down-sampling layer of the traditional network was removed to reduce the information loss during image transmission， and the batch normalization was changed to the layer normalization to better retain the source image information， and the depth of the discriminator network was increased to improve the network performance. Finally， the CT image and the MR image were connected and input into the generator network to obtain the fused image， and the network parameters were continuously optimized through the loss function， and the model most suitable for medical image fusion was trained to generate the high-quality image. The experimental results show that， the proposed algorithm is superior to Discrete Wavelet Transformation （DWT） algorithm， NonSubsampled Contourlet Transform （NSCT） algorithm， Sparse Representation （SR） algorithm and Sparse Representation of classified image Patches （PSR） algorithm on Mutual Information （MI）， Information Entropy （IE） and Structural SIMilarity （SSIM）. The final fused image has rich texture and details. At the same time， the influence of human factors on the stability of the fusion effect is avoided.

Key words： medical image fusion; Generative Adversarial Network （GAN）; Computed Tomography （CT）/ Magnetic Resonance （MRI）; layer normalization; residual block

0 引言

在臨床診斷和治療中，醫(yī)學圖像是確定病灶位置的重要判斷依據，但單模態(tài)醫(yī)學圖像無法達到成像結果全面、清晰，且分辨率高的效果[1-3]。通過將多模態(tài)醫(yī)學圖像進行融合，可以解決單模態(tài)醫(yī)學圖像信息不足的問題，提高疾病準確診斷和治療的效率。融合后的醫(yī)學圖像能夠準確地表達源圖像的細節(jié)特征，最大限度地保留多模態(tài)源圖像信息[4]。

圖像融合是一種增強技術，可以將同一場景的多幅圖像或序列探測圖像合成一幅信息更豐富、全面的圖像。醫(yī)學圖像融合主要是以多尺度變換[5]、稀疏表示[6]和脈沖耦合模型[7]等為主的傳統方法。多尺度變換將源圖像進行分解重構，分解為高頻圖像和低頻圖像，再根據各自特點設置融合規(guī)則;但由于不同的濾波器其尺度和方向上的參數性能不同，使得融合效果的穩(wěn)定性受人為因素影響較大[8]。稀疏表示通過字典對源圖像進行稀疏編碼，得到稀疏系數，再設置一定的融合規(guī)則對系數進行融合，最后重構得到融合圖像;由于該算法對單個圖像塊進行編碼，存在算法計算效率低且融合后圖像信息丟失嚴重的問題[9]。脈沖耦合模型具有獨特的全局耦合性和脈沖同步性;但該模型復雜，運行速率不高，且現有的理論無法解釋參數如何設置能達到最優(yōu)的融合效果[10]。綜上所述，傳統方法往往需要手動設置復雜的活動水平度量和融合規(guī)則，并通過先驗知識進行參數初始化，存在融合效果不穩(wěn)定、模型復雜、運行速率低的問題[11]。近年來，在圖像處理領域深度學習比傳統方法具有更強的特征捕獲能力[12]。而神經網絡是一種端到端的模型，并能夠避免傳統方法中先驗知識影響融合效果的問題。其中生成對抗網絡（Generative Adversarial Network， GAN）在圖像生成方面具有突出的效果，實際應用于圖像生成[13]、圖像修補[14]、草稿圖復原[15]等領域，本文通過對GAN網絡模型的改進，能夠提高融合效果的穩(wěn)定性并提高運算速度。

本文在醫(yī)學圖像融合方面提出了一種殘差生成對抗網絡（Residual Generative Adversarial Network， Res-GAN）。首先，基于醫(yī)學圖像特征豐富、紋理信息復雜的特征，對生成對抗網絡中的生成器和判別器兩部分的網絡結構進行構建。生成器的目的是生成同時具有電子計算機斷層掃描（Computed Tomography， CT）和磁共振（Magnetic Resonance， MR）或MR和單光子發(fā)射計算機斷層成像（Single-Photon Emission Computed Tomography， SPECT）兩種圖像信息的融合圖;判別器的目的是通過訓練促使生成器達到最優(yōu)權重，達到最終融合圖像最大限度地保留源圖像信息，準確地展現細節(jié)特征的目的。

1 相關工作

1.1 生成對抗網絡模型

Goodfellow等[16]首先提出了GAN的概念，在深度學習領域引起廣泛的研究熱潮。GAN在訓練期間通過直接進行采樣和推斷，使GAN的應用效率提升，其強大的圖像生成能力在實際應用場景有著廣泛的應用。GAN的基本框架如圖1所示。

GAN是同時訓練兩個模型：一個是用來捕獲數據分布的生成器模型（Generative， G），一個是用來估計樣本的判別模型（Discriminative， D）。G和D在對抗的框架下進行學習，D對真實數據進行建模，使得G避免了這些步驟直接學習去逼近真實數據，在任意函數G和D的空間中存在唯一的解，使最終生成數據達到D無法區(qū)分真?zhèn)蔚男Ч?。GAN在優(yōu)化過程中，由G和D構成了一個動態(tài)的“博弈過程”，其模型優(yōu)化函數如式（1）所示：

優(yōu)化函數由兩項構成：x 表示真實目標圖像，z表示輸入G的噪聲;G（z）表示G生成的圖像，D（x）表示D判斷真實目標圖像為x的概率，D（G（x））表示D判斷G（z）為圖像x的概率。為了學習生成器關于數據x上的分布Pg（x），定義輸入噪聲的先驗變量Pz（z），然后使用G（z;θg）來代表數據空間的映射。這里G是一個由含有參數θg的多層感知機表示的可微函數，多層感知機D（x;θd）用來輸入一個單獨的標量。D（x）代表x來自于真實數據分布而不是Pg（x）的概率，同時訓練G來最小化lg（1-D（G（z）））。

原始的GAN模型主要目的是擬合出相應的生成和判別函數以生成圖像，并沒有對生成器和判別器的具體結構作出限制。由于深度學習神經網絡在圖像處理方面取得的顯著成績[17]，本文設計生成器和判別器均采用神經網絡模型，同時為了更好地保留源圖像的細節(jié)信息，在融合過程中要盡可能地在每一層傳輸的過程中減少信息的丟失，以在融合圖像中保留更豐富的信息。

1.2 殘差網絡模型

由He等[18]提出的ResNet（Residual Neural Network），通過使用殘差塊（Residual Block）成功訓練出了152層的神經網絡，該結構可以極快地加速神經網絡的訓練，模型的準確率也有較大的提升。ResNet的主要思想是在網絡中增加了直連通道，即Highway Network的思想。在此之前的網絡結構是層與鄰近層之間連接對輸入進行非線性變換，ResNet的思想允許原始輸入信息直接傳到后面的層中，其網絡結構如圖2所示。

傳統的卷積網絡或者全連接網絡在信息傳遞時不可避免會存在信息丟失、損耗等問題;同時在層數過多的情況下，引發(fā)梯度消失或者梯度爆炸等問題，導致網絡無法訓練。ResNet通過在原始的卷積層上增加跳躍連接支路（Skip Connection）以構成基本殘差塊，使H（x）的學習被表示H（x）=F（x）+x;同時殘差塊結構的累加，在一定程度上解決了梯度消失或者梯度爆炸等問題，通過直接將輸入信息繞道傳到輸出，保護信息的完整性，整個網絡只需要學習輸入、輸出差別的那一部分，簡化了學習目標和難度，如圖3所示。

殘差網絡的Residual Block和Skip Connection結構，改善了網絡深度增加帶來的梯度消失和網絡退化的問題，提升了深度網絡的性能。鑒于殘差網絡結構近年來在圖像生成領域上的優(yōu)異成績，本文將殘差塊引入生成器部分的網絡結構。

2 Res-GAN的醫(yī)學圖像融合策略

2.1 融合過程

Res-GAN算法，對融合過程中的權重進行自適應，需要輸入目標圖作為網絡對最優(yōu)融合效果的評判標準。所以，對已配準好的醫(yī)學圖像進行融合的步驟為：

1）從數據庫中取出500對CT和MR圖像得到圖像集{Ici，Imi}，其中：下標c表示CT圖像，下標m表示MR圖像，下標i表示第i對圖像。

2）選擇當前效果優(yōu)良的6種圖像融合方法：基于卷積稀疏的形態(tài)成分分析（Convolutional Sparsity based Morphological Component Analysis， CS-MCA）算法 [19];基于離散分數小波變換（Discrete FRactional Wavelet Transformation， DFRWT）[20]算法;基于離散小波變換 （Discrete Wavelet Transformation， DWT）算法[21];基于非下采樣剪切波變換（NonSubsampled Contourlet Transform， NSCT）算法[22];基于稀疏表示（Sparse Representation， SR）算法[23];基于圖像分類塊稀疏表示（Sparse Representation of classified image Patches， PSR）算法[24]對數據集中的每對圖像進行融合，得出融合圖像構成融合圖像集{f j1， f j2，…， f j500}，其中上標j表示第j種融合方法。

3）采用互信息（Mutual Information， MI）、信息熵（Information Entropy， IE）、結構相似性（Structural SIMilarity， SSIM）、空間頻率（Spatial Frequency， SF）、平均梯度（Average Gradient， AG）、標準差（Standard Deviation， SD）、對比度（Contrast， C）、峰值信噪比（Peak Signal-to-Noise Radio， PSNR）、相關系數（Correlation Coefficient， CC）、邊緣信息保留值（Edge Information Preservation Vlaues， EIPV）10種評價指標，對融合圖像集進行評價并進行統計，選擇客觀指標評價最優(yōu)的2500張融合圖作為目標圖組成訓練集If。

4）使用Res-GAN的醫(yī)學圖像融合算法進行訓練，在通道維度中連接CT圖像Ic和MR圖像Im，然后將連接圖像輸入到生成器G中，同時將目標圖像If輸入到判別器D中，訓練過程如圖4所示。

2.2 改進思想

在網絡結構方面，本文將生成對抗網絡應用到圖像融合領域，為了更好地保留圖像細節(jié)信息，減少信息在每一層傳輸過程中的丟失，本文在傳統的GAN模型基礎上，采用殘差學習框架，讓堆疊層擬合殘差映射，而不是直接擬合所需的底層映射。針對特征圖維度翻倍以及刪除構建塊后造成分類誤差顯著增加的問題[25]，采用具有金字塔結構的殘差網絡[26]，如圖5所示。通過在構建網絡的過程中去掉下采樣單元以減少圖像信息的丟失，同時逐漸增加特征圖的維度，使受下采樣單元影響的部分均勻地分布在所有單元上，從而使網絡在刪除下采樣單元時性能不會顯著下降。

由于CT與MR圖像都是灰度圖，所有的輸入都在同一個區(qū)間范圍內，經過批量歸一化（Bach Normalization， BN）層均值歸零、方差歸一的算法，拉伸圖像的對比度，忽略圖像的像素信息只考慮相對差異，會破壞源圖像的對比度信息[27]，從而影響網絡輸出的質量。本文為了更好地保留源圖像的對比度信息，引入層歸一化（Layer Normalization， LN），它在計算得到某層的平均輸入值和輸入方差時包含該層所有維度輸入，最后通過同一個規(guī)范化操作來達到轉換各個維度輸入的目的[28]。LN針對單個樣本進行訓練，有效解決了BN受mini-batch數據分布影響的問題;另外，由于它不需要保存mini-batch的均值和方差，可以在很大程度上節(jié)省額外的存儲空間。

2.3 Res-GAN算法網絡結構

由2.1節(jié)所述的改進思想，將改進的措施應用到本文的Res-GAN算法中，設計的整個網絡結構如圖6所示。

2.3.1 生成器

生成器的目的在于提取更多、更深層次的圖像特征生成新的融合圖像，其網絡結構如圖6（a）所示。首先，對輸入圖像進行卷積操作，先進入3×3×3×64的卷積層，即輸入為3通道、輸出為64通道的3×3的濾波器，設置步長為1，并通過零填充使圖片在卷積過程中保持大小不變。其次，兩層3×3的濾波器構成一個殘差塊，通過殘差塊的堆疊來提取深層次特征，將殘差塊的數量增加到32個，加深了網絡深度。為了最大化地保存源圖像中的細節(jié)信息，只引入卷積層而不進行下采樣;使用線性整流單元（Rectified Linear Unit， ReLU）優(yōu)化網絡性能[29];BN轉換的思想是使經過平移和縮放后的不同神經元的輸入分布于不同的區(qū)間，而LN對于同層的神經元訓練可得到同一個轉換，從而用LN層替換傳統的BN層。最后，采用3×3的濾波器融合深層次特征和快捷連接輸入的淺層次特征，采用1×1的濾波器將通道降為3通道，輸出融合圖像。

2.3.2 判別器

判別器與生成器不同，其根本目的在于分類，先從圖像中提取特征，然后進行分類。如圖6（b）所示，判別器是簡單的卷積神經網絡結構。通過4層5×5的濾波器進行卷積操作來提取圖像特征，同時為了減小去掉下采樣單元引起的圖像信息的丟失，逐層增加特征圖的通道數，從第一層輸入3通道、輸出64通道，每層通道數以兩倍速度遞增，一直增加到輸入第4層輸入256通道、輸出512通道。然后，通過3×3的濾波器的卷積層逐漸降低通道數，且同生成器一樣，激活函數采用ReLU。最后，通過全連接層（Fully Connect layer， FC）進行分類，采用Sigmoid函數輸出判別的結果。

2.3.3 損失函數

本文算法的損失函數由生成器的損失函數和判別器的損失函數兩部分組成，旨在最小化損失以達到訓練目的，如式（2）所示：

LRes-GAN={min（LG），min（LD）}（2）

其中：LG為生成器的損失函數，LD為判別器的損失函數，總損失函數LRes-GAN的目的在于最小化LG和LD。

生成器損失LG是生成器和判別器之間的對抗損失V和圖像生成過程中的內容損失C之和，α用于在V和C之間取得平衡。采用最小二乘法，其實質是最小化“均方誤差”，通過最小化誤差的平方和尋找數據的最佳函數匹配，并使得求得的數據與實際數據之間誤差的平方和最小，能夠使損失函數快速收斂，訓練過程更加穩(wěn)定。

式（4）中：Inf表示融合目標圖，其中n∈{1，2，…，N}，N表示融合圖像的數量;D（Inf）表示分類結果;a表示判別器識別虛假數據為真的標簽。式（5）中：H、W分別表示輸入圖像的高和寬;第一項‖·‖F代表矩陣范數，目的在于將CT圖像Ic的信息保留在融合圖像If中;第二項表示梯度算子，目的在于保留MR圖像Im的細節(jié)信息;β是控制兩項之間權值的正參數。

判別器損失LD，由MR圖像和融合目標圖像的分類結果與其對應的真值標簽求均方誤差之和得到。

LD=1N∑Nn=1（D（Im）-b）2+1N∑Nn=1（D（If）-c）2（6）

其中：D（Im）和D（If）分別表示MR圖像和融合目標圖像的分類結果;b和c分別表示各自的真值標簽。

3 仿真實驗與結果分析

本文實驗使用的是美國哈佛醫(yī)學院（Harvard Medical School）的數據集，全腦圖譜由Keith A.Johnson和J.Alex Becker創(chuàng)建，提供正常腦和一些常見疾病的腦部圖像。選取出清晰度高、紋理豐富、細節(jié)復雜的高質量CT和MR圖像，為了方便訓練，將圖像均進行歸一化。

本實驗環(huán)境由硬件環(huán)境和軟件環(huán)境構成，硬件環(huán)境為測試實驗所用的Intel Xeon服務器，搭載2塊NVIDIA Tesla M40的GPU，顯存共24GB（12GB×2）;軟件環(huán)境為64位Ubnutu 14.04.05 LTS操作系統，Tensorflow V1.2，CUDA Toolkit 8.0，Python 3.5。

3.1 融合效果

以正常腦部、腦弓形蟲和腦萎縮的三組CT和MR圖像，失智癥和膠質瘤的兩組MR和SPECT圖像為例對本文算法融合效果進行展示。為了驗證本文融合算法的醫(yī)學圖像融合效果，選取在醫(yī)學圖像融合領域表現良好的基于DWT算法[21]、基于NSCT算法[22]、基于SR算法[23]、基于PSR算法[24]這四種傳統算法與本文算法進行對比。基于DWT算法對兩個輸入源圖像進行小波變換，融合小波系數的融合規(guī)則采用基于區(qū)域能力最大的融合規(guī)則和一致性校驗，對融合后的小波系數進行逆小波變換得到融合圖像[21]?；贜SCT算法是充分利用NSCT和脈沖耦合神經網絡（Pulse Coupled Neural Network， PCNN）的優(yōu)點所提出的圖像融合算法：首先，對源圖像進行NSCT分解，低頻子帶設置“取最大”的融合規(guī)則，高頻子帶采用PCNN模型;然后，修正后的NSCT域空間頻率作為輸入激勵PCNN，選取最大點火頻率作為融合圖像的系數;最后，通過逆NSCT得到融合圖像[22]?；赟R算法提出了基于稀疏表示的多聚焦圖像融合方法，首先通過完備字典用稀疏系數表示源圖像，其次與“取最大”融合規(guī)則相結合，通過組合的稀疏系數和字典重建融合圖像[23]。基于PSR算法將源圖像在幾何方向上劃分出分類塊，并通過在線字典學習（Online Dictionary Learning， ODL）訓練相應的子字典，采用最小角回歸（Least Angle RegreSsion， LARS）對每個塊進行稀疏編碼并將稀疏系數與取最大融合規(guī)則相結合，最后進行重構得到融合圖像[24]。

從圖7可以看出，針對CT/MR圖像融合正常腦部的融合圖中：基于DWT和NSCT的算法亮度存在嚴重失真，融合效果較差，CT輪廓信息沒有很好地集成到融合圖像中，骨骼和軟組織信息不明顯;基于SR、PSR的算法和本文算法在保持結構完整性方面表現良好，從細節(jié)處看，基于PSR的算法中略微丟失了部分源MR圖信息，本文算法有更高的亮度對比度和更清晰的結構信息，很好地保留了邊緣的紋理細節(jié)。

腦弓形蟲的融合圖中：基于DWT的算法融合效果不佳，存在偽影，且對MR源圖像的信息丟失嚴重;基于SR的算法視覺效果相對較好，圖像信息保存比較完整;基于PSR的算法和本文算法的圖像清晰、軟組織信息與源圖像較接近，融合效果較好，在融合邊緣無虛影產生，對源圖像信息的保存相對完整。

腦萎縮融合圖中：基于DWT的算法圖像整體偏暗，對比度不高，視覺效果不好;基于PSR的算法中骨骼信息組織體現不明顯，不利于醫(yī)生對病灶的判斷;本文算法融合效果較好，圖像亮度提升，對比度較高，紋理信息與邊緣信息的保存程度較高，可以獲得更好的視覺質量，具有更小的亮度失真和對比度失真。

從融合效果對比綜合來看，本文算法都成功地將腦部骨骼和軟組織信息進行了融合，相較于四種傳統融合方法，本文算法的融合效果更優(yōu)。

從圖8可以看出，針對MR/SPECT圖像失智癥和膠質瘤的融合圖中：基于DWT算法在細節(jié)特征信息的表示上性能較差，存在水平和垂直遮擋問題;基于NSCT算法在邊緣細節(jié)表示方面，與原始MR圖像相比，邊緣細節(jié)模糊;基于SR算法相較其他算法在右上角對比度較低，輪廓不明顯;基于PSR算法邊緣細節(jié)相對明顯，但整體對比度較低;本文算法融合效果明顯優(yōu)于其他算法，具有更清晰的細節(jié)表現力，對源圖像特征信息保留完整，沒有暗線并保持了較高的對比度，充分表明了本文算法可以在邊緣銳度和對比度等方面獲得更好的融合性能。

3.2 評價指標

為了更加全面地對融合結果進行評估，本文對測試集圖像進行融合并計算客觀評價指標MI、IE、SSIM、SF、AG平均值得到評價數據。MI表示融合圖像中包含源圖像的信息量，MI越大，表明融合圖像中包含的源圖像信息量越多;IE用來衡量圖像的信息豐富程度， IE越大，表明融合效果越好;SSIM從亮度、對比度和結構三個方面衡量融合圖像與源圖像的相似程度，其值在[0，1]之間，SSIM越大，表明融合圖像與源圖像結構越相似;SF體現圖像整體的活躍程度，SF越大，表示圖像的邊緣信息越多;AG反映圖像細節(jié)和紋理等邊緣信息的豐富程度，AG越大，表明圖像越清晰。

從表1中可以看出：本文算法在大部分客觀評價指標上達到了最佳值，在MI、IE、SSIM三個客觀評價指標上均有良好的表現，對于正常腦部、腦膜瘤、腦萎縮三種類型，在MI上相較性能相對較好且穩(wěn)定的基于SR算法分別提升了2.61%、2.54%和20.37%，表明本文算法具有能較好的提取邊緣和紋理信息的能力;IE解決了信息的量化度量問題，本文算法在實驗中均是最優(yōu)值，對于正常腦部、腦膜瘤、腦萎縮三種類型，與基于SR算法相比分別提升了16.7%、24.9%和5.9%，客觀地表明了本文算法在圖像融合效果上的優(yōu)越性;SSIM是衡量兩幅圖像相似度的指標，在該指標上本文算法在正常腦部和腦萎縮的實驗中是最優(yōu)的，在腦膜瘤實驗中次優(yōu)?；贒WT和NSCT的算法存在低對比度和結構失真的問題，基于SR和PSR的算法和本文算法在亮度和對比度方面有更好的效果，但基于SR算法中存在細節(jié)丟失，綜上可以看出，本文所提的算法在針對CT/MR圖像進行融合時可以更好地保留邊緣、紋理和細節(jié)信息。

從表2中可以看出：本文算法在MI和SSIM上的性能均優(yōu)于其他四種對比算法，平均提高了34%和21.9%。在失智癥實驗中，本文算法的IE達到最優(yōu)值，其SF和AG均為次優(yōu);在膠質瘤實驗中，本文算法在SF上達到最優(yōu)，相較其他算法平均提高了4.5%，本文算法雖然沒有達到每個單項評價指標均最優(yōu)，但均可保持良好。綜上可以看出，本文算法融合效果最好，可以提供更好的融合醫(yī)學圖像，在保持源圖像的細節(jié)特征信息上表現較優(yōu)。

由于醫(yī)學圖像具有隱私性和特殊性，在醫(yī)學圖像融合領域沒有完整的開源數據庫，融合過程中的測試集需要自己手動構造，測試集的質量很大程度上限制了訓練網絡模型的性能，在實際應用中，若有更準確的數據集，可以進一步提升融合效果，達到更好的客觀指標?？傮w考慮，本文算法較好地保留了源圖像的輪廓以及細節(jié)信息，客觀評價與主觀觀察結果相符，為精確的病灶定位及手術治療提供了有利的影像依據。

為了驗證本文算法的時間效率，記錄了正常腦部實驗中各個算法的運行時間，結果如表3所示。

算法運行時間算法運行時間基于DWT算法47.5基于NSCT算法74.6基于SR算法95.8基于PSR算法178.3本文算法64.7

通過表3可以看出：由于基于DWT算法沒有參數尋優(yōu)的過程，直接計算區(qū)域能量，運行最快，但得到的融合結果并不理想;基于PSR算法需要將源圖像進行分塊并訓練稀疏字典使得其運行時間較長;本文算法相較基于PSR算法運行時間減少了許多，表明采用網絡模型省去很多不必要的參數尋優(yōu)，使得融合過程變得簡單和高效。本文實驗采用了傳統融合方法對目標圖進行了構造，耗費的時間主要用于構造數據集和網絡訓練及測試，將網絡運用于醫(yī)學圖像融合領域，得到訓練成熟的網絡模型后，直接將源圖像輸入網絡模型，可以在較短的時間內得到效果優(yōu)良的融合圖像。

4 結語

基于GAN強大的圖像生成特性以及殘差塊能提取更深層次特征的能力，本文提出了Res-GAN網絡并應用于醫(yī)學圖像融合領域。實驗結果表明，本文算法較好地保留了源圖像的邊緣、區(qū)域邊界及紋理等細節(jié)信息，避免了邊緣部分產生虛影，達到了較好的融合效果。但醫(yī)學圖像開源的數據集不足，即只有源圖像但沒有融合的目標圖，本文實驗是選取了優(yōu)秀的傳統方法，手動構造目標圖，從而造成了時間上的耗費并影響了模型訓練的優(yōu)劣。在實際應用中，若取得質量較好的完整數據集，直接輸入網絡對模型進行訓練，將會大幅減少實驗中的工作量，得到訓練好的模型便可直接將醫(yī)學圖像進行融合，且由于訓練集的質量得到保證，融合效果將會大幅提升。在后續(xù)的工作中，需要對網絡結構進行進一步的改進，尋求更優(yōu)性能的多模態(tài)圖像融合算法，在實驗中對目標圖的構造進行進一步的探索，減少其對實驗結果的限制。

參考文獻 （References）

[1]SHEN R， CHENG I， BASU A. Cross-scale coefficient selection for volumetric medical image fusion [J]. IEEE Transactions on Biomedical Engineering， 2013， 60（4）： 1069-1079.

[2]TAO L， QIAN Z. An improved medical image fusion algorithm based on wavelet transform [C]// Proceedings of the 7th International Conference on Natural Computation. Piscataway： IEEE， 2011： 76-78.

[3]江澤濤，楊陽，郭川.基于提升小波變換的圖像融合改進算法的研究[J].圖像與信號處理，2015，4：11-19.（JANG Z T， YANG Y， GUO C. Study on the improvement of image fusion algorithm based on lifting wavelet transform [J]. Journal of Image and Signal Processing， 2015， 4： 11-19.）

[4]曹義親，雷章明，黃曉生.基于區(qū)域的非下采樣形態(tài)小波醫(yī)學圖像融合算法[J].計算機應用研究，2012，29（6）：2379-2381.（CAO Y Q， LEI Z M， HUANG X S. Region-based algorithm for non-sampling morphological wavelet medical image fusion [J]. Application Research of Computers， 2012， 29（6）： 2379-2381.）

[5]LI S， YANG B， HU J. Performance comparison of different multi-resolution transforms for image fusion [J]. Information Fusion， 2011， 12（2）： 74-84.

[6]WANG J， PENG J， FENG X， et al. Fusion method for infrared and visible images by using non-negative sparse representation [J]. Infrared Physics and Technology， 2014， 67： 477-489.

[7]XIANG T， YAN L， GAO R. A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain [J]. Infrared Physics and Technology， 2015， 69： 53-61.

[8]MA J， ZHOU Z， WANG B， et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization [J]. Infrared Physics and Technology， 2017， 82： 8-17.

[9]HE G， XING S， HE X， et al. Image fusion method based on simultaneous sparse representation with non-subsampled contourlet transform [J]. IET Computer Vision， 2019， 13（2）： 240-248.

[10]DING S， ZHAO X， XU H， et al. NSCT-PCNN image fusion based on image gradient motivation [J]. IET Computer Vision， 2018， 12（4）： 377-383.

[11]藺素珍，韓澤.基于深度堆疊卷積神經網絡的圖像融合[J].計算機學報，2017，40（11）：2506-2518.（LIN S Z， HAN Z. Images fusion based on deep stack convolutional neural network [J]. Chinese Journal of Computers， 2017， 40（11）： 2506-2518.）

[12]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2012： 1097-1105.

[13]RADFORD A， METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks [EB/OL]. [2019-01-20]. https：//arxiv.org/pdf/1511.06434.pdf.

[14]PATHAK D， KRHENBHL P， DONAHUE J， et al. Context encoders： feature learning by inpainting [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544.

[15]ISOLA P， ZHU J Y， ZHOU T， et al. Image-to-image translation with conditional adversarial networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[16]GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 2672-2680.