吳清江+戴修斌

摘要：限制電子計算機斷層掃描的掃描視圖的角度是降低X射線劑量并因此削弱X射線對人體損傷的有效方法之一。然而，它會降低重建的CT圖像質量。提出通過訓練卷積神經網絡來預測缺失的掃描視圖并重建CT圖像的方法。訓練CNN網絡時，使用聯(lián)合損失函數(shù)，其包括重建損失和對抗性損失。重建損失可以捕捉到缺失預測的總體結構，對抗性損失可以從分布中選出一種特定的模式，使結果更加準確。在補全缺失的投影數(shù)據(jù)之后，使用傳統(tǒng)的濾波反投影方法從完整的投影重建CT圖像。實驗結果表明，方法可以顯著改善在有限視角下的CT重建圖像的質量。

關鍵詞：有限視角CT重建；卷積神經網絡；聯(lián)合損失函數(shù)；對抗生成性網絡；圖像修補

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2017）35-0204-04

Limited-view CT Reconstruction Based on Convolutional Neural Networks with Joint Loss

WU Qing-jiang， DAI Xiu-bin

（College of Telecommunications and Information Engineering， Nanjing University of Posts and Telecommunications， 210003 Nanjing， China）

Abstract： Limiting the scan views of X-ray computed tomography （CT） is one of the efficient ways to reduce the dose of X-rays and consequently weaken the damage by the X-rays. However， it will degrade the reconstructed CT images. This paper proposed to predict the missing projections and improve the CT images reconstructed from limited-view projections by training an unsupervised convolutional neural networks （CNN）. When training the CNN， Joint loss function which includes not only reconstruction loss， but adversarial loss was used. While reconstruction loss can capture the overall structure of the missing projections， the latter can pick a particular mode from the distribution and make the results much sharper. After the missing projections have been estimated， Reconstruct the CT images from the complete projections by utilizing conventional filtered back-projection （FBP） method. The experimental results show that our method can achieve considerable improvement in limited-view CT reconstruction.

Keywords： limited-view CT reconstruction， convolutional neural networks， joint loss function， adversarial networks， prediction of missing projections.

1 概述

CT是臨床診斷不可缺少的工具[1]。不幸的是，當進行X線CT檢查時，患者將比其他醫(yī)療成像設備（如磁共振成像和超聲波成像）接收更多的輻射劑量。因此，必須盡量減少X射線的劑量。在所有減少劑量的方法中，限制CT掃描的角度相當常見。然而，它會導致重建的圖像的退化。這種退化會妨礙醫(yī)學診斷，在臨床上是不能接受的。

目前，如何改善在缺少某些投影時重建CT圖像方面已經有許多相關的研究。研究方法大概可以分為兩組：直接對CT圖像進行修復的和直接對CT投影數(shù)據(jù)進行修復。

全變差方法屬于前一組，其整合了稀疏變換的系數(shù)以形成最終變差，并通過最小化全變差來重構圖像[2-3]。主要缺點是全變差方法在重構圖像中引入過度平滑的整體結構和塊狀偽影。除了全變差方法外，基于字典的方法[4-5]也可以歸類為前者。它訓練了一個冗長的字典作為一個完整的數(shù)據(jù)集，并使用像素級的線性組合來表示對象圖像。

與上述兩種方法不同，一些方法側重于估計缺失的CT投影數(shù)據(jù)。在這一類中，最直接的方法是通過角插值來補全缺失的投影[6]。最近，另一種方法，即所謂的基于矩的方法，已經引起了更多的關注[7-8]?；诰氐姆椒ū澈蟮脑硎峭ㄟ^建立投影矩和圖像矩之間的關系來預先描述缺失的投影。

2016年，Pathak等人[9]提出了一種新穎的圖像修補方法，命名為上下文編碼器，通過使用無監(jiān)督的卷積神經網絡來生成任意圖像區(qū)域的內容。該方法對于預測圖像的缺失部分獲得了顯著的效果。因此提出了一種基于GAN的有限角度CT重建方法。使用無監(jiān)督CNN網絡訓練自動編碼器模型來預測丟失的投影數(shù)據(jù)。模型的編碼器部分給出了具有缺失投影數(shù)據(jù)與輸入投影數(shù)據(jù)之間的潛在特征表示。在獲取該特征表示之后，解碼器部分生成缺失部分投影。為了獲得令人滿意的預測結果，在訓練過程中同時使用重建損失和對抗性損失[9]。通過這種方式，可以有效地學習圖像特征，其不僅捕獲外觀，而且捕獲圖像視覺結構的語義。在補全了丟失的投影數(shù)據(jù)后，可以通過FBP方法重建CT圖像。endprint

2 自動編碼器模型

在本文中，我們提出了一種基于無監(jiān)督卷積神經網絡的上下文編碼器來預測生成有限角度CT圖像投影數(shù)據(jù)的缺失部分。 圖1顯示了我們的概述模型的整體架構。在以下小節(jié)為模型的具體介紹。

2.1 編碼器

本文所提出的模型使用自動編碼器類型的CNN網絡作為生成器部分，以從不完全CT投影數(shù)據(jù)中生成缺失的投影數(shù)據(jù)。本文的CNN網絡利用AlexNet[10]架構。具體來說，在獲取不完全投影數(shù)據(jù)之后，我們使用前五個卷積層來計算有限角度CT投影圖像的抽象特征表示。如果給定投影的大小為128 * 180，則編碼器部分可以生成尺寸為4 * 4 * 512的派生特征表示。值得注意的是，盡管我們的模型的編碼器部分是從AlexNet架構派生而來的，但是它被訓練用于預測缺失的投影，而不是像AlexNet一樣用于圖像分類。

2.2 全通道

通常，信息以完全連接的方式直接從編碼器輸出端傳遞到解碼器生成端，其中所有的激活函數(shù)都直接連接。然而，完全連接將導致參數(shù)數(shù)量的爆炸。因此，本文使用通道方式的將編碼器生成信息傳遞到解碼器。而且由于通道式全連接層沒有連接不同特征圖的參數(shù)，僅在特征圖中傳遞信息，因此與完全連接的層不同。

2.3 解碼器

借助于通道式全連接層，編碼器部分計算出的特征表示可以連接到解碼器部分。然后，解碼器部分可以生成圖像的像素。為了做到這一點，解碼器部分由的五個上卷積層組成[11]，每個卷積器使用線性單元（ReLU）作為激活函數(shù)。

2.4 聯(lián)合損失函數(shù)

在訓練中，我們使用聯(lián)合損失函數(shù)，包括重建損失和對抗性損失。

使用標記的L2距離，我們可以將重建損耗定義為：

（1）

其中M是輸入投影數(shù)據(jù)x的缺失區(qū)域的二進制掩碼；F（x）是編碼器部分的輸出，是元素乘積運算。

從（1）可以看出，重構損失傾向于預測分布的平均值，這可能使平均像素誤差最小。然而，這將導致模糊的圖像。換句話說，盡管有能力預測目標的大致輪廓，但（1）中的重建損失不能捕獲高頻細節(jié)。

為了應對重建損失帶來的問題，我們應用生成對抗網（GAN）[12]的對抗損失[9]作為補充。 GAN背后的主要思想是共同學習一個生成模型和對抗性模型，后者可以為前者提供損失梯度。由于GAN不容易訓練上下文預測任務，所以在文獻[9]中已經提出了GAN的替代變體，其給出如下：

（2）

其中D是對抗模型。

聯(lián)合損失函數(shù)J（x）為（1）中的重建損失和（2）中的對抗損失的聯(lián)合函數(shù)

（3）

2.5 CT圖像重建

在通過上述訓練模型估計缺失的投影之后，投影數(shù)據(jù)變得完整。然后，我們可以使用FBP方法從完整的投影重建CT圖像。

3 實驗

在本節(jié)中，通過一些實驗來驗證本文模型的有效性，用上下文編碼器來補全一些掃描視圖中缺失的投影數(shù)據(jù)。

從西門子Somatom CT掃描儀掃描實驗數(shù)據(jù)，包括60張CT圖像和相應的投影數(shù)據(jù)。為了產生不完全的投影，我們假設在某些掃描視圖（0°到α）處的投影丟失，缺失投影的值設置為0。在所有實驗數(shù)據(jù)中，30個CT圖像及其相應的投影是用于訓練任務；其余用于測試。參數(shù)λr和λa分別設定為0.8和0.2。

為了評估我們的方法在預測缺失圖像方面的表現(xiàn)，我們首先考慮缺失投影圖像與預測投影圖像之間的差距。圖2示出了當α=45°我們的方法在1°，9°，17°，25°，33°和41°預測出的CT投影數(shù)據(jù)與缺失投影數(shù)據(jù)之間的比較。從圖2可以看出，實際投影數(shù)據(jù)與預測結果之間具有良好契合。此外，圖3中給出當α=75°的情況下，在1°，13°，25°，37°，49°和61°處本文模型預測結果與缺失投影數(shù)據(jù)之間的比較。圖3顯示即使幾乎投影數(shù)據(jù)缺失40%的，本文的方法仍然可以取得良好的預測結果。因此，我們可以得出結論，本文所提出的方法在修補CT投影數(shù)據(jù)方面具有良好的性能。

接下來，驗證本文模型生成的投影數(shù)據(jù)是否能夠在CT重建中表現(xiàn)良好。使用均方誤差（MSE）[8]定性測量原始圖像f和重建圖像f'之間的差異。

圖4顯示了通過本文模型補全缺失投影之后通過FBP方法重建的CT圖像與缺失投影數(shù)據(jù)重建的CT圖像間的比較。在圖4中，可用投影的范圍為45°至179°；第一列中的圖像是原始圖像；第二列中的圖像是用0填充缺失投影數(shù)據(jù)時通過FBP方法重建的結果；最后一列中的圖像是通過本文提出的模型重建的結果。顯然，在使用本文模型的最后一列的圖像中沒有觀察到FBP方法的經典偽影。此外，與第二列中的圖像相比，最后一列的圖像中的掃描對象的信息更好地保留。我們還列出了圖4中缺失投影數(shù)據(jù)CT圖像與原CT圖像的MSE值：第二列圖像的MSE為20.67%，20.25%和20.76%；最后一列圖像的MSE值分別為2.88%，3.84%和2.84%。顯而易見，使用本文模型的最后一列中的圖像的MSE遠低于圖4的第二列中的圖像。

從上述討論可以得出結論，當有限角度投影數(shù)據(jù)缺失時，本文模型能有效地重建的CT圖像。

圖4 通過本文模型補全缺失投影數(shù)據(jù)之后通過FBP方法重建的CT圖像與缺失投影數(shù)據(jù)重建的CT圖像間的比較?？捎猛队暗姆秶鸀?5°至179°；第一列中的圖像是原始圖像；第二列中的圖像是用0填充缺失投影數(shù)據(jù)時通過FBP方法重建的結果；最后一列中的圖像是通過本文提出的模型重建的結果

4 總結

本文提出了一種在投影數(shù)據(jù)某些角度丟失時改進CT圖像的新方法。具體方法為訓練具有聯(lián)合損耗函數(shù)的無監(jiān)督卷積神經網絡，其類似于自動編碼器，以預測缺失的投影。使用預測數(shù)據(jù)補全CT投影數(shù)據(jù)后，采用FBP算法從完整的投影數(shù)據(jù)中重建CT圖像。實驗結果表明，本文的方法在預測缺失投影數(shù)據(jù)時具有良好的性能，可以獲得良好的CT重建圖像。endprint

參考文獻：

[1] Marchant， T.E.， Joshi K.D.： Comprehensive Monte Carlo study of patient doses from cone-beam CT imaging in radiotherapy[J]. J. Radiol. Prot. 37， 13-30 （2017）

[2] Sanchez A.A.： Estimation of noise properties for TV-regularized image reconstruction in computed tomography[J]. Phys. Med. Biol. 60， 7007-7033 （2015）

[3] Cai， A.， Wang， L.， Zhang， H.， Yan， B.， Li， L.， Xi， X.， Li， J.： Edge guided image reconstruction in linear scan CT by weighted alternating direction TV minimization[J]. J. X-Ray Sci. Technol. 22， 335-349 （2014）

[4] Chen， Y.， Shi， L.， Feng， Q.， Yang， J.， Shu， H.Z.， Luo， L.M.， Coatrieux， J.L.， Chen， W.F.： Artifact suppressed dictionary learning for low-dose CT Image Processing[J]. IEEE T. Med. Imaging. 33， 2271-2292 （2014）

[5] Chen， Y.， Yin， X.， Shi， L.， Shu， H.Z.， Luo， L.M.， Coatrieux， J.L.， Toumoulin， C.： Improving abdomen tumor low-dose CT images using a fast dictionary learning based processing[J]. Phys. Med. Biol. 58， 5803-5820 （2013）

[6] Zhang， H.， Kruis， M.， Sonke， J.J.： Directional sinogram interpolation for motion weighted 4D cone-beam CT reconstruction[J]. Phys. Med. Biol. 62， 2254-2275 （2017）

[7] Shu， H.Z.， Zhou， J.， Han， G.N.， Luo， L.M.， Coatrieux， J.L.： Image reconstruction from limited range projections using orthogonal moments[J]. Pattern Recogn. 40， 670-680 （2007）

[8] Dai， X.B.， Shu， H.Z.， Luo， L.M.， Han， G.N.， Coatrieux， J.L.： Reconstruction of tomographic images from limited range projections using discrete Radon transform and Tchebichef moments[J]. Pattern Recogn. 43， 1152-1164 （2010）

[9] Pathak， D.， Krahenbuhl， P.， Donahue， J.， Darrell， T.， Efros， A.A.： Context Encoders： Feature Learning by Inpainting[C]. In： 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 2536-2544. IEEE Press， New York （2016）

[10] Krizhevsky， A.， Sutskever， I.， Hinton， G.E.： ImageNet classification with deep convolutional neural networks[C]. In： Advances in Neural Information Processing Systems， pp. 1097-1105. MIT Press， Cambridge MA （2012）

[11] Long， J.， Shelhamer， E.， Darrell， T.： Fully convolutional networks for semantic segmentation[C]. In： 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 3431-3440. IEEE Press， New York （2015）

[12] Goodfellow， I.， Pouget-Abadie， J.， Mirza， M.， Xu， B.， Warde-Farley， D.， Ozair， S.， Courville， A.， Bengio， Y.： Generative adversarial nets[C]. In： Advances in Neural Information Processing Systems， pp. 2672-2680. MIT Press， Cambridge MA （2014）.endprint