石涵瑜　遲潔茹　李鎣楠

文章編號： 10069798（2022）01002406; DOI： 10.13306/j.10069798.2022.01.004

摘要：? 針對磁共振圖像超分辨率重建算法存在的邊緣信息丟失和運動偽影等問題，本文提出一種基于反饋網(wǎng)絡的磁共振圖像超分辨重建方法。采用反饋路徑構(gòu)成網(wǎng)絡結(jié)構(gòu)，在所提出的重建算法中，將輸入圖像進行上采樣和下采樣操作，提取圖像特征，并對提取的特征進行融合后與輸入圖像一起進行局部循環(huán)訓練，同時通過殘差和卷積操作，重建超分辨率圖像。為了更加全面的對本文所提方法性能進行比較和分析，采用峰值信噪比（peak signaltonoise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity，SSIM）作為圖像質(zhì)量的客觀評價標準，從主觀和客觀兩方面對實驗結(jié)果進行評價。研究結(jié)果表明，在相同的欠采樣系數(shù)下，利用所提方法重建的圖像PSNR和SSIM指標均高于其它算法，重建效果較好，不僅能準確地重建圖像信息，還可提高圖像的重建質(zhì)量，證明本文所提方法的有效性。該研究具有較好的實際應用價值。

關鍵詞：? 磁共振圖像; 超分辨率重建; 特征融合; 反饋網(wǎng)絡

中圖分類號： TP391.4; TP183文獻標識碼： A

磁共振成像（magnetic resonance imaging，MRI）[1]是一種非侵入式的活體成像技術，具有無輻射和對比度高等特點，被廣泛用于臨床診斷[23]。在磁共振掃描過程中，為避免運動偽影，要求患者長時間保持靜止狀態(tài)，這會加劇患者的不適。近年來，為縮短掃描時間和克服運動偽影，圖像超分辨率重建技術被引入磁共振成像中。圖像超分辨率重建技術[4]是一種利用給定的一幅或多幅低分辨率（low resolution，LR）圖像，生成超分辨率（super resolution，SR）圖像的技術，利用該技術可在不改變硬件情況下提高圖像質(zhì)量。目前，深度神經(jīng)網(wǎng)絡模型是應用較為廣泛的超分辨率重建技術。J.PAULY等人[5]根據(jù)稀疏表示原理，提出包含特征提取、非線性映射和重建的基于深度卷積網(wǎng)絡的圖像超分辨方法（learning a deep convolutional network for image superresolution，SRCNN），SRCNN首次將卷積神經(jīng)網(wǎng)絡用于超分辨率重建算法中，可以提供更大的感受和更多的上下文信息，取得了良好效果;I.J.GOODFELLOW等人[6]提出生成式對抗網(wǎng)絡（generative adversarial network，GAN），GAN網(wǎng)絡主要包含用于生成偽造數(shù)據(jù)的生成器網(wǎng)絡和用于判斷真假信息的判別器網(wǎng)絡，兩種網(wǎng)絡以對抗博弈的思想同一時間進行訓練，通過無監(jiān)督學習，完善和優(yōu)化自身的網(wǎng)絡性能;HE K M等人[7]在深度網(wǎng)絡模型中，引入遞歸思想和殘差思想，提出了有52個卷積層的深層卷積神經(jīng)網(wǎng)絡模型，稱為深遞歸殘差網(wǎng)絡（image superresolution via deep recursive residual network，DRRN）。網(wǎng)絡結(jié)構(gòu)使用多通道殘差塊來解決梯度消失或爆炸，同時在一個遞歸塊內(nèi)，每個殘差單元內(nèi)對應位置相同的卷積層參數(shù)均共享，使用更少的參數(shù)，網(wǎng)絡結(jié)構(gòu)也更為簡潔。以上幾種經(jīng)典算法在自然圖像上取得了較好的超分辨率效果，應用于磁共振圖像中，提高了圖像的清晰度。C.M.HYUN等人[8]通過使用Unet[9]結(jié)構(gòu)，學習欠采樣磁共振成像的重建，僅利用29%的K空間[10]信息就重建出高質(zhì)量的MR圖像。但網(wǎng)絡深度越深，訓練參數(shù)越多，計算量也就越大，會增加模型設計的難度和普適性;ZHAO M等人[11]提出基于生成對抗網(wǎng)絡的拉普拉斯金字塔方法，將對抗網(wǎng)絡用于醫(yī)學圖像重建中，可以提高檢測的精確度，避免產(chǎn)生假細節(jié)，使重建后的圖像更清晰，但此算法的生成器和判別器是兩種網(wǎng)絡模型，難以同時收斂且存在訓練不穩(wěn)定的情況等。因此，本文提出一種基于反饋網(wǎng)絡的磁共振圖像超分辨率重建方法，利用反饋網(wǎng)絡特點，精確提取圖像信息，同時簡化網(wǎng)絡結(jié)構(gòu)以減少計算量。該研究可以有效提高圖像重建的準確性。

1圖像重建方法

本文提出的基于反饋網(wǎng)絡的圖像重建算法主要分為特征提取、特征反饋和圖像重建3部分，算法的網(wǎng)絡結(jié)構(gòu)如圖1所示。

1.1特征提取

采用卷積層實現(xiàn)特征提取，通過卷積核提取圖像特征。特征提取部分由下采樣和上采樣組成，并通過跳躍連接的方式將特征信息進行融合。輸入圖像經(jīng)過下采樣得到特征圖，在此基礎上繼續(xù)進行上采樣，并將下采樣提取的特征通過跳躍連接到上采樣特征中，每進行一次上采樣，得到的特征圖像都會與相應的下采樣特征圖像進行融合，2次上采樣之后得到的特征圖像，尺寸大小與輸入圖像一致。經(jīng)過多層級特征提取，可以保證圖像能融合更多不同尺寸的特征信息，使圖片邊緣信息恢復更加精細。本網(wǎng)絡遵循Unet網(wǎng)絡設計，下采樣和上采樣模塊都包含兩層卷積和一層激活函數(shù)，卷積層由log2（s）基本塊組成，其中s為比例因子。因為進行了兩次操作，可以將輸入圖像的特征進行4倍縮小和放大。下采樣FDown和上采樣FUp分別為

其中，CDown（）和CUp（）分別表示下采樣層和上采樣層函數(shù);Fin表示輸入圖像特征。

激活函數(shù)采用LeakyReLU（帶泄露修正線性單元）[12]，使負值輸入有很小的坡度，從而增大輸出的準確性。帶泄露修正線性單元為

其中，α的取值為01。特征圖像為

1.2特征反饋

特征反饋部分是將特征提取的特征圖像Fext進行反饋，與輸入圖像的特征Fin融合后進行局部循環(huán)訓練。在融合過程中，采用小波變換[13]方式，對特征圖像Fext與輸入特征圖像Fin進行N層分解，分解成3N個高頻帶和1個低頻帶。對于低頻分量，采用加權平均進行融合，即

其中，CFext和CFin分別表示特征圖像Fext與輸入圖像特征Fin的低頻分量。

對于高頻分量，采用局部方差準則進行融合，而對每個高頻分量的像素點用canny算子[14]進行邊緣提取，再對邊緣圖像的每一個像素點計算其局部方差，其數(shù)學表達式為

其中，m和n分別表示局部區(qū)域的行數(shù)和列數(shù);Xij為當前局部區(qū)域內(nèi)一個像素的灰度值;為當前局部區(qū)域像素灰度值的平均值。

通過對低頻分量和高頻分量進行小波逆變換，實現(xiàn)特征圖像Fext與輸入特征圖像Fin的融合，即

其中，F(xiàn)IWT（）表示小波逆變換;Fret表示反饋后的特征圖像。特征反饋不僅可保留更多的原始圖像信息，還可使重建后的圖像細節(jié)更加清晰完整。

1.3殘差網(wǎng)絡和圖像重建

本文采用殘差網(wǎng)絡（residual channel attention networks，RCAN）算法[15]，RCAN網(wǎng)絡可適應不同的通道特征，緩解因網(wǎng)絡深度導致的梯度消失問題。重建模塊由一層卷積構(gòu)成，其濾波器尺寸為3×3，輸入通道與輸出通道分別為64和3，步長值設置為1，填充值設置為1。重建后的超分辨率圖像為

其中，fconv表示重建模塊的卷積層函數(shù);Fmix表示進行特征融合的函數(shù)。

1.4損失函數(shù)

損失函數(shù)（loss function）用于估計網(wǎng)絡模型擬合值與實際值之間的差異。損失函數(shù)值越小，模型重建效果越好。本算法采用均方根誤差作為網(wǎng)絡模型的損失函數(shù)[16]，即

其中，yi和i為訓練集中的數(shù)據(jù)對;yi為第i個樣本的真實圖像;i為第i個樣本的重建圖像;m為訓練集的樣本個數(shù)。本文所有參數(shù)的優(yōu)化均采用標準反向投影和隨機梯度下降方法[17]。

2實驗與分析

2.1實驗設置

1）實驗數(shù)據(jù)與處理。本文采用紐約大學公開的NYU fastMRI膝關節(jié)數(shù)據(jù)集。選取像素點大小為256個×256的410張T1加權單線圈膝關節(jié)圖像作為原始數(shù)據(jù)集，分別在頻域上進行2倍、3倍和4倍欠采樣，得到數(shù)據(jù)點，將數(shù)據(jù)點保留在k空間中，并將所有外圍數(shù)據(jù)點清零，然后通過傅立葉反變換，將裁剪后的數(shù)據(jù)轉(zhuǎn)換為圖像。圖像進行欠采樣降質(zhì)處理后，在[0，1]的范圍內(nèi)歸一化[18]，得到的低分辨率圖像均為256個×256。將預處理后的圖像作為本實驗的數(shù)據(jù)集，其中80%的圖像用于訓練集，20%的圖像用于驗證集。

2）實驗環(huán)境與超參數(shù)設置。本實驗采用的操作系統(tǒng)為Ubuntu 1804，中央處理器（central processing?unit，CPU）為Inter Core i910940X，圖形處理器（graphic processing unit，GPU）為RTX2080Ti，深度學習框架為Pytorch。采用Adam優(yōu)化器對網(wǎng)絡參數(shù)進行優(yōu)化，初始學習率設置為0000 1，共訓練100輪。

本文通過一組對比實驗，確定網(wǎng)絡反饋次數(shù)的改變對重建圖像質(zhì)量的影響，欠采樣系數(shù)設置為2，不同反饋次數(shù)結(jié)果對比如圖2所示。由圖2可以看出，在相同迭代輪數(shù)下，隨著反饋次數(shù)的增加，峰值信噪比值也隨之上升，同時實驗訓練的時長也逐漸增加。結(jié)合訓練時長與成像質(zhì)量兩方面考慮，本文算法的反饋次數(shù)選為3。

2.2實驗分析

1）評價指標。為了更全面的對本文所提方法性能進行比較和分析，從主觀和客觀兩方面對實驗結(jié)果進行評價，進一步說明本文所提方法的可靠性與可行性。

本文采用PSNR[19]和SSIM[20]作為圖像質(zhì)量的客觀評價標準。PSNR從整體結(jié)構(gòu)上評價圖像失真或噪聲水平，其值越高，表明輸出圖像失真越少，圖像重建質(zhì)量越好;SSIM通過整合亮度、結(jié)構(gòu)和對比度3個不同的特征，計算圖像的相似性，評價圖像去噪結(jié)果。PSNR和SSIM的值越大，表明圖像重建的質(zhì)量越好。2）結(jié)果分析。經(jīng)典的圖像超分辨率方法有SRCNN算法、DRRN算法和GAN算法等，這些算法也廣泛應用于醫(yī)學圖像重建。因此，本文選取以上3種算法與本文算法進行比較。實驗均采用相同的磁共振圖像數(shù)據(jù)集，并在主觀視覺上對結(jié)果進行分析。膝關節(jié)橫線位圖像不同超分辨率算法結(jié)果對比如圖3所示，膝關節(jié)冠狀位圖像不同超分辨率算法結(jié)果對比如圖4所示，選取2幅具有代表性的膝關節(jié)磁共振圖像進行實驗仿真，并分別在2倍，3倍和4倍欠采樣系數(shù)下，對低分辨率圖像進行處理，得到重建的超分辨率圖像，并將圖像局部進行放大，以觀察細節(jié)信息。

由圖3和圖4可以看出，SRCNN算法重建后的圖像與其它算法相比，膝關節(jié)的組織結(jié)構(gòu)視覺效果模糊，不能清晰重建圖像信息;雖然DRRN算法和GAN算法的重建圖像比SRCNN算法清晰，能看清楚大部分組織，但很多細節(jié)信息并沒有很好的恢復，并且含有少量的偽影;而采用本文算法重建的圖像與其他算法重建的圖像相比，可以很好的消除運動偽影，邊緣細節(jié)處理較理想，能更好地觀測膝關節(jié)的情況。

為了客觀評價磁共振圖像超分辨率重建的性能，利用處理好的測試集分別進行實驗測試，測試集膝關節(jié)橫線位MRI的PSNR/SSIM結(jié)果比較如表1所示。幾種算法與本文算法分別使用2倍，3倍和4倍欠采樣數(shù)據(jù)集，重建圖像的PSNR和SSIM指標。膝關節(jié)冠狀位MRI的PSNR/SSIM結(jié)果比較如表2所示，表2中的數(shù)據(jù)是測試集的所有圖像分別經(jīng)過對應算法處理后的平均值。

由表1和表2可以看出，在不同的欠采樣系數(shù)下，2倍欠采樣系數(shù)的重建效果要優(yōu)于3倍和4倍欠采樣系數(shù)，并且本算法的PSNR值和SSIM值均高于其他算法;在相同的欠采樣系數(shù)下，SRCNN算法的PSNR值和SSIM值較低，DRRN算法和GAN算法存在微弱的差距，而本文算法的PSNR值和SSIM值最好。因此，本文提出的算法不僅能更準確地重建圖像信息，還能提高圖像的重建質(zhì)量，證明本文所提方法具有優(yōu)越性。

3結(jié)束語

本文提出一種基于反饋網(wǎng)絡的磁共振圖像超分辨率算法，改善重建圖像的視覺效果。本文算法首先經(jīng)過上采樣和下采樣操作，對輸入圖像的特征進行多層提取，通過跳躍鏈接將特征融合，并將提取后的特征圖像反饋回網(wǎng)絡中，與輸入圖像一起進行局部循環(huán)訓練，同時經(jīng)過殘差網(wǎng)絡和卷積操作，得到重建后的超分辨率圖像。實驗結(jié)果表明，本文算法在客觀評價以及主觀視覺上較之前方法有所提升，而且取得了更佳的超分辨率重建效果，驗證了所提方法的有效性與可行性。在下一步的工作中，將本文所提出方法應用于7T磁共振圖像中，以研究更深層次的超分辨率網(wǎng)絡，進一步提升圖像重建效果。

參考文獻：

[1]高家紅， 雷皓， 陳群， 等. 磁共振成像發(fā)展綜述[J]. 中國科學， 2020， 50（11）： 12851295.

[2]左艷， 黃鋼， 聶生東. 深度學習在醫(yī)學影像智能處理中的應用與挑戰(zhàn)[J]. 中國圖象圖形學報， 2021， 26（2）： 305315.

[3]CHI J R， GUO L， DESTRUEL A， et al. Magnetic resonanceelectrical properties tomography by directly solving maxwell′s curl equations[J]. Applied Sciences， 2020， 10（9）： 33183330

[4]王知人， 谷昊晟， 任福全， 等. 基于深度卷積殘差學習的圖像超分辨[J]. 鄭州大學學報（理學版）， 2020， 52（3）： 4248.

[5]PAULY J， NISHIMURA D， MACOVSKI A. A kspace analysis of smalltipangle excitation[J]. Journal of Magnetic Resonance， 2011， 213（2）： 544557.

[6]GOODFELLOW I J， ABADIE J P， MIRZA M， et al. Generative adversarial nets[C]∥International Conference on Neural Information Processing Systems. Montreal： Neural Information Processing， 2014： 276285.

[7]HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE Computer Society Press， 2016： 770778.

[8]HYUN C M， KIM H P， LEE S M， et al. Deep learning for undersampled MRI reconstruction[J]. Physics in Medicine & Biology， 2018， 63（13）： 135007135021.

[9]RONNEBERGER O， FISCHER P， BROX T. Unet： Convolutional networks for biomedical image segmentation[C]∥ International Conference on Medical Image Computing and Computer Assisted Intervention. Munich： Springer International Publishing， 2015： 234241.

[10]王一達， 宋陽， 謝海濱， 等. 卷積神經(jīng)網(wǎng)絡重建欠采的磁共振圖像[J]. 磁共振成像， 2018， 9（6）： 453459.

[11]ZHAO M， LIU X H， LIU H， et al. Superresolution of cardiac magnetic resonance images using laplacian pyramid based on generative adversarial networks[J]. Computerized Medical Imaging and Graphics， 2020， 80： 101698101706.

[12]XU L M， ZENG X H， ZHANG H， et al. BPGAN： Bidirectional CTtoMRI prediction using multigenerative multiadversarial nets with spectral normalization and localization[J]. Neural Networks， 2020， 128： 8296.

[13]陳德昊， 林建恒， 衣雪娟， 等. 基于小波包時頻圖特征和卷積神經(jīng)網(wǎng)絡的水聲信號分類[J]. 聲學技術， 2021， 40（3）： 336340.

[14]段紅燕， 楊浩， 李世杰， 等. 基于小波的改進邊緣檢測方法[J]. 計算機工程與設計， 2020， 41（12）： 34853489.

[15]LIU Z W， HUANG J， ZHU C J， et al. Residual attention network using multichannel dense connections for image superresolution[J]. Applied Intelligence， 2020， 51： 8599.

[16]GRAHAM E， ALLAN T， IVANA K. Estimation and testing of forecast rationality under flexible loss[J]. Review of Economic Studies， 2010， 72（4）： 11071125.

[17]闞濤， 高哲， 楊闖. 采用分數(shù)階動量的卷積神經(jīng)網(wǎng)絡隨機梯度下降法[J]. 模式識別與人工智能， 2020， 33（6）： 559567.

[18]王巖， 吳曉富. 深度神經(jīng)網(wǎng)絡訓練中適用于小批次的歸一化算法[J]. 計算機科學， 2019， 46（11A）： 273276， 308.

[19]HUYNHTHU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters， 2008， 44（13）： 800801.

[20]WANG J J， CHEN P， ZHENG N N， et al. Associations between MSE and SSIM as cost functions in linear decomposition with application to bit allocation for sparse coding[J]. Neurocomputing， 2021， 422： 139149. Research on SuperResolution Reconstruction of MRI

Based on Feedback NetworkSHI Hanyu CHI Jieru LI Yingnan

（The College of Electronic Information， Qingdao University， Qingdao 266071， China）Abstract： Aiming at the problems of loss of edge information and motion artifacts in the superresolution reconstruction algorithm of magnetic resonance images， this paper proposes a superresolution reconstruction method of magnetic resonance images based on a feedback network. In order to improve the accuracy and quality of superresolution image reconstruction， a feedback path is used to form a network structure. In the proposed reconstruction algorithm， the input image is upsampled and downsampled， the image features are extracted， and the extracted features are fused perform partial loop training together with the input image， to reconstruct superresolution images through residual and convolution operations at the same time. In order to compare and analyze the performance of the methods proposed in this article more comprehensively， peak signaltonoise ratio （PSNR） and structural similarity （SSIM） are used as the objective evaluation criteria of image quality. The experimental results are evaluated in both subjective and objective aspects. The experimental results show that under the same undersampling coefficient， the PSNR and SSIM indexes of the image reconstructed by the proposed method are higher than other algorithms， and the reconstruction effect is better. It can not only reconstruct accurate image information， but also improve the quality of image reconstruction， which proves the effectiveness of the method proposed in this paper. This research has good practical application value.

Key words： magnetic resonance image; superresolution reconstruction; feature fusion; feedback network

收稿日期： 20210825; 修回日期： 20211028

基金項目：? 山東省自然科學基金資助項目（ZR2016FM11）

作者簡介：? 石涵瑜（1996），女，碩士研究生，主要研究方向為深度學習和醫(yī)學圖像處理。

通信作者：? 遲潔茹（1970），女，博士，副教授，主要研究方向為機器學習、神經(jīng)網(wǎng)絡和醫(yī)學成像。 Email： chijieru@qdu.edu.cn