李 青，李潤睿，強 彥，成煜斌，王 濤

(太原理工大學 信息與計算機學院，太原 030024)

計算機斷層掃描成像是一種可靠的、非侵入性的檢測技術(shù)，它可以檢測人體內(nèi)部結(jié)構(gòu)異常，如腫瘤、骨折、血管疾病以及細胞癌變等，除了為診斷提供支持，CT還可以指導各種臨床過程，包括介入、手術(shù)治療以及放射治療等疾病[1]。臨床上為了獲得具有診斷意義的高質(zhì)量CT影像，所用的X射線劑量相對較高，而且會多角度重復采集多張影像數(shù)據(jù)。反復的CT掃描會讓患者暴露在巨大的輻射當中，過度輻射還會誘發(fā)癌癥、代謝異常、白血病或其他遺傳性疾病，對人體產(chǎn)生不可逆的影響，降低患者的生活質(zhì)量[2]。因此，降低CT掃描輻射劑量不可避免地成為了研究者的關(guān)注熱點，并具有重要的臨床價值。

在臨床上，為了獲得低劑量的CT圖像，通常使用降低管電流減少X射線輻射；降低管電壓減少X射線穿透能力；減少X射線數(shù)目來降低輻射劑量。雖然在一定程度上改善了輻射劑量過高的問題，但是這些措施會極大地降低X射線信號的信噪比(signal-noise ratio，SNR)，并導致低對比度CT圖像存在大量噪聲和偽影，成像質(zhì)量的視覺退化會導致器官紋理和邊緣的模糊，從而降低臨床診斷和任務分析的可靠性[3]。然而，為了克服CT圖像的視覺退化，提高低劑量CT圖像的臨床可用性，重建出符合臨床需求的CT圖像是國內(nèi)外研究者廣泛關(guān)注的、具有挑戰(zhàn)性的難點問題。

目前，人工智能在計算機視覺、自然語言處理以及醫(yī)學圖像領(lǐng)域取得突破性進展，尤其體現(xiàn)在醫(yī)學圖像處理領(lǐng)域，包括前期的PET/CT圖像重建[4]、MRI圖像病灶分割[5]、CT圖像檢索[6]，以及后期的智能診斷[7]。隨著深度學習方法在圖像去噪、超分辨率、圖像識別、圖像檢測等[8-9]計算機視覺領(lǐng)域發(fā)展迅速，在圖像重建領(lǐng)域[10]也取得了初步應用。隨著硬件技術(shù)的快速發(fā)展，以及對高性能處理、數(shù)據(jù)驅(qū)動的執(zhí)行加速了醫(yī)學成像領(lǐng)域深度學習方法的運用。因此，近年來，利用深度學習技術(shù)提出更優(yōu)的CT重建方法成為研究人員的研究重點。

本文重點總結(jié)了深度學習算法在CT重建領(lǐng)域的應用，分析不同算法在CT圖像的降噪精度、病變識別能力以及保持精細結(jié)構(gòu)和紋理細節(jié)等方面的重建能力。本文的整體框架如圖1所示，我們首先詳細描述了CT圖像重建問題，然后對醫(yī)學CT圖像重建方法進行全面介紹，主要分為傳統(tǒng)的CT重建算法，以及近幾年發(fā)展迅速的深度學習重建算法。

圖1 人工智能方法在CT圖像重建中的應用Fig.1 Application of artificial intelligence methods in CT image reconstruction

在深度學習重建算法中又包含了四類方法，分別為：對原始數(shù)據(jù)進行預處理的投影域CT圖像重建、圖像后處理的圖像域CT圖像重建、雙域網(wǎng)絡CT圖像重建以及直接映射CT圖像重建，突出了基于深度學習的CT圖像重建應用在模型性能、結(jié)構(gòu)保存和病變判別方面的具體貢獻。隨后，還回顧了不同CT重建中常用的數(shù)據(jù)集和損失函數(shù)的多樣性，討論了重建過程中存在的問題和未來的研究方向。

1 CT圖像成像概述

圖像重建是將從成像設備收集的原始數(shù)據(jù)形成可解釋圖像的過程。在已知一組測量值的前提下，目標是確定影響接收器收集信號的原始圖像結(jié)構(gòu)，這一過程被稱為逆問題。設y是一組原始采集的傳感器測量值，在采集過程中收到一些固有噪聲N的影響，目標是恢復空間域的圖像x，將這一過程用公式(1)描述：

y=A(F(x),N) .

(1)

其中，F(xiàn)(·)代表成像物理結(jié)構(gòu)進行建模的正向操作運算，一般包括雷登變換(Radon)或傅里葉變換，它可以是線性操作，也可以是非線性操作，具體取決于成像模式。A表示噪聲和信號之間的相互作用。圖像重建還是一個不確定的問題，因為測量值(M)往往比未知數(shù)(N)少得多。

從數(shù)學層面上理解，這個問題具有高度不確定性，因為描述模型的方程個數(shù)遠遠小于未知數(shù)的個數(shù)，可能有無限一致的圖像映射到相同的測量值。因此，重建算法的一個挑戰(zhàn)是從一組潛在的解決方案中選擇最佳解決方案[11]。CT圖像的稀疏視圖、有限角采樣、降低輻射劑量通常會減小測量信號y的大小，同時增加其稀疏性和噪聲水平，從而增加重建問題的不適定性和復雜性。這就提出了對具有高特征提取能力的復雜重建算法的需求，重建算法要最大限度地利用收集的信號以及先驗知識，捕捉特定于模態(tài)的成像特征。此外，開發(fā)高質(zhì)量的重建算法不僅需要對成像系統(tǒng)的物理和生物醫(yī)學結(jié)構(gòu)都有深入的了解，而且還需要專門設計的算法來解釋測量的統(tǒng)計特性并容忍測量數(shù)據(jù)中存在的誤差。

經(jīng)過五十多年的努力，醫(yī)學CT圖像重建領(lǐng)域取得了長足的進步，大致可以分為兩類：傳統(tǒng)方法和基于深度學習的方法。傳統(tǒng)方法得到了廣泛的研究，重點放在如何改進重建結(jié)果[12]以及降低其計算成本[13]。最近，受深度學習在計算機視覺問題中的成功啟發(fā)，研究人員研究了用于各種生物醫(yī)學圖像重建問題的深度學習方法。在過去幾年中，CT圖像重建領(lǐng)域逐漸成為了一個非?；钴S的研究領(lǐng)域，并發(fā)表了一系列專題專刊[14-16]。接下來，對傳統(tǒng)方法在CT圖像重建中的應用進行了概述，討論了它們的優(yōu)點和局限性，以及深度學習范例在該領(lǐng)域的應用，并對傳統(tǒng)方法進行了補充和改進。

2 傳統(tǒng)方法在CT圖像重建中的應用

傳統(tǒng)的CT圖像重建算法考慮了測量和噪聲的統(tǒng)計特性以及成像系統(tǒng)的硬件設備，從分析方法發(fā)展到迭代或基于優(yōu)化的方法，大致可分為三類：即正弦圖域濾波、迭代重建和圖像域恢復[17]。雖然這些方法在重建精度和偽影減少方面有了顯著的改善，但它們?nèi)匀淮嬖谝恍┤秉c，在實際臨床應用中往往受到限制。

有個理發(fā)師，理發(fā)時總講些妖魔鬼怪的故事，問他為什么。他說：“我講這些故事的時候，你的頭發(fā)就會豎起來，這樣我理起發(fā)來就容易得多了?！?/p>

通常，CT圖像重建方法是低劑量CT圖像到正常劑量CT圖像的映射。重建后CT圖像處理技術(shù)雖然不需要投影數(shù)據(jù)，也比以上兩類方法更簡單，但由于復雜噪聲在圖像域的分布不均勻等統(tǒng)計特性，依據(jù)噪聲模型估計噪聲分布降低了去噪的性能，導致重建效果不佳。近年來，深度學習通過訓練多層深度卷積網(wǎng)絡，實現(xiàn)對輸入數(shù)據(jù)信息特征的提取、分析和處理。

2.1 正弦圖域濾波方法

基于正弦圖域濾波的重建方法主要目的是從低劑量X射線束獲得的CT原始數(shù)據(jù)中濾除噪聲，通過直接對反投影前形成的原始投影數(shù)據(jù)進行重建，可以準確地計算噪聲統(tǒng)計量并進行有效重建。一些研究人員應用傳統(tǒng)的去噪技術(shù)處理數(shù)據(jù)，典型的方法有：結(jié)構(gòu)自適應濾波[18-19]、雙邊濾波[20]，這類方法主要通過改善濾波器進行去噪過程。另外一些經(jīng)典的方法，比如：懲罰似然法[21]、加權(quán)最小二乘算法[22]，這些方法的共同點都是對物理特性和光子統(tǒng)計特性結(jié)合起來去噪，是目前流行的正弦圖域濾波方法。然而，這些方法通常計算成本不高(毫秒量級)，并且可以在無噪聲、全采樣或所有角度投影的假設下生成良好的圖像質(zhì)量[23]。正弦圖域濾波方法通常只考慮成像系統(tǒng)的幾何形狀和采樣特性，而忽略系統(tǒng)物理特性和測量噪聲的細節(jié)[24]，當處理有噪聲或不完整的測量數(shù)據(jù)時，例如降低測量采樣率，重建結(jié)果會隨著信號變?nèi)醵鴩乐赝嘶?，并且無法恢復信號中的缺失信息，從而導致診斷性能受損。另外，重建過程預測數(shù)據(jù)過分依賴CT設備供應商的完備數(shù)據(jù)以及CT掃描儀無法獲得的原始數(shù)據(jù)，這些數(shù)據(jù)大多數(shù)不能公開訪問。

2.2 迭代重建方法

迭代重建方法基于成像系統(tǒng)的物理、傳感器和噪聲統(tǒng)計的更復雜的模型，將傳感器域(原始測量數(shù)據(jù))中數(shù)據(jù)的統(tǒng)計特性、圖像域中的先驗信息，有時還將成像系統(tǒng)的參數(shù)組合到其損失函數(shù)中。與正弦圖域濾波方法相比，迭代重建算法提供了更靈活的重建框架，并且以增加計算量為代價對噪聲和不完整數(shù)據(jù)表示問題具有更好的魯棒性[25]。

迭代重建依賴于圖像的先驗信息，通過在正弦圖和圖像域之間迭代來進行降噪，它將重建過程看作函數(shù)求解最優(yōu)解的逆問題，首先設計正則項，接著優(yōu)化目標函數(shù)，直到獲得較好的信噪比(SNR)才停止迭代過程?；谌兎?total variation，TV)的先驗[26]被廣泛應用于迭代重建研究中，雖然TV通過更適合于分段恒定圖像的非平滑絕對值對梯度稀疏性提出了很強的假設，但是在最終的重建中，TV往往會造成細節(jié)模糊和斑塊紋理等偽影現(xiàn)象。除此之外，研究人員利用豐富的特征信息克服重建過程中出現(xiàn)的偽影問題，例如TV的變體[27]，非局部均值[28]，小波方法[29]和字典學習[30]?？傮w而言，盡管迭代重建方法與正弦圖域濾波方法相比提高了準確率并減少了偽影，但它們?nèi)匀幻媾R三個主要問題：第一，迭代重建技術(shù)往往是特定于供應商的，掃描儀幾何形狀和校正步驟的細節(jié)對用戶和其他供應商不開放。其次，由于每次迭代所需的投影和反投影操作的負載，迭代重建技術(shù)相關(guān)的計算開銷很大，這些方法的計算成本通常比正弦圖域濾波方法高出幾個數(shù)量級。最后，重建質(zhì)量高度依賴于正則化函數(shù)和相關(guān)的超參數(shù)設置，需要手動調(diào)整才能達到較優(yōu)的效果。種種因素限制了迭代重建技術(shù)在臨床中的應用。

2.3 圖像后處理重建方法

與正弦圖域濾波方法和迭代重建方法不同，基于圖像域的重建被認為是一種后處理方法。圖像后處理重建算法直接應用于CT圖像，而不是原始投影數(shù)據(jù)，相比于迭代重建方法，它的重建速度非?？?，而且不需要供應商提供原始數(shù)據(jù)，它可以很輕松地集成到CT設備的工作流程中。諸如非局部均值過濾方法[31]、基于字典學習的方法[32]、塊匹配算法[33]和基于統(tǒng)計的算法[34]等。盡管圖像域后處理方法非常靈活，但在算法實現(xiàn)過程中由于噪聲的非均勻性而無法計算其統(tǒng)計量，削弱了CT重建的準確性。此外，它還存在模糊CT圖像的結(jié)構(gòu)信息等問題。因此，現(xiàn)有的圖像后處理重建方法及其局限性為提出新的CT重建方法提供了方向。

3 深度學習方法在CT圖像重建中的應用

深度學習是人工智能的一個分支學科，它利用經(jīng)驗自動學習和改進應用程序，通過構(gòu)建深度神經(jīng)網(wǎng)絡處理各種任務。深度學習模型由多層特征表示(除了輸入層和輸出層之外的多個隱藏層)組成，從原始輸入開始通過多層網(wǎng)絡提取不同抽象層次的特征表示，從而使復雜函數(shù)的學習成為可能[35]；它的關(guān)鍵特征是利用所提供的數(shù)據(jù)樣本自動學習用于特征提取的所有參數(shù)，與人工特征方法相比，可以更好地針對特定問題進行自我優(yōu)化。當輸入是圖像時，低層特征通常表示圖像中的邊緣和輪廓，而高層特征通常是語義特征[36]。

臨床上，醫(yī)學圖像一直被用于疾病的診斷和治療。圖像處理技術(shù)用于改善圖像質(zhì)量、圖像分析以幫助臨床醫(yī)生解釋圖像。自動和半自動的圖像分析方法不僅節(jié)約了大量時間，而且提高了圖像分析的準確性，同時還增加了臨床醫(yī)生執(zhí)行醫(yī)療程序所需的解釋任務的可靠性[37]。深度學習目前已成功應用于醫(yī)學圖像分析任務，如分類、分割、配準、邊緣檢測等[38]，如今，在醫(yī)學圖像重建領(lǐng)域也逐漸被廣泛應用。

在CT圖像重建領(lǐng)域，深度模型可以捕獲高級特征顯示了它在整個數(shù)據(jù)驅(qū)動學習過程中學習CT圖像上的不確定噪聲分布能力，此外，數(shù)據(jù)驅(qū)動學習方法可以有效地適應任何噪聲類型。因此，深度學習方法可以顯著提高CT圖像重建的整體性能[39]。CT圖像重建是利用投影數(shù)據(jù)進行的，但是，當投影數(shù)據(jù)不夠完整，掃描時間短以及掃描角度范圍有限的情況下會導致投影數(shù)據(jù)不完整，傳統(tǒng)的重建方法可能并不適用，極大可能導致重建圖像中的階梯效應或塊狀偽影，甚至在重建圖像的邊緣出現(xiàn)偽影。目前，深度學習方法已用于應對這些挑戰(zhàn)，與現(xiàn)有的傳統(tǒng)方法相比，圖像重建準確率更高，并且有效地降低了噪聲，提高了空間分辨率，在圖形處理單元上執(zhí)行速度更快。根據(jù)CT圖像的成像特性，本文將基于深度學習的CT圖像重建方法劃分為四個子類，即投影域CT圖像重建、圖像域CT圖像重建、雙域網(wǎng)絡CT圖像重建和直接映射CT圖像重建。圖2描述了深度學習方法用于CT圖像重建的四個子類。

圖2 深度學習方法用于CT圖像重建的四個子類Fig.2 Deep learning methods are used in four subclasses of CT image reconstruction

3.1 投影域CT圖像重建

投影域CT圖像重建問題表述為投影域圖像利用深度學習方法從不完整的數(shù)據(jù)表示(低劑量、數(shù)據(jù)稀疏、有限角)到完整數(shù)據(jù)表示(正常劑量)的回歸問題。這一階段的主要目標是利用深度學習模型估計在信號采集階段沒有采集到的缺失部分，以便將更完整的信號信息輸入到濾波反投影層進行重建過程。LIANG et al[40]提出一種深度殘差卷積神經(jīng)網(wǎng)絡，用于在濾波反投影重建圖像的同時，從未測量的視圖進行精確的全視圖估計。這種方法可以使重建速度加快，條紋偽影減少并且重建出更多重要的圖像細節(jié)，但是由于噪聲不僅存在于不完整的數(shù)據(jù)采集中，而且也存在于完整的數(shù)據(jù)采集中，最小化參考值和預測值之間的誤差導致模型預測采集完整的數(shù)據(jù)圖像時可能會缺乏紋理細節(jié)。LEE et al[41]提出了一種基于深層神經(jīng)網(wǎng)絡的稀疏CT正弦圖合成方法，利用插值法對稀疏CT正弦圖中缺失數(shù)據(jù)進行填充，提供了綜合完整的數(shù)據(jù)。但是，數(shù)據(jù)集中數(shù)據(jù)的冗余度較高，訓練網(wǎng)絡時間較長，在扇束CT、錐束CT和螺旋多扇束CT以及不規(guī)則角度采樣方面還尚待解決?？紤]到有限的訓練數(shù)據(jù)集和深度學習對數(shù)據(jù)擾動的敏感性，特別是在噪聲和不完整數(shù)據(jù)的情況下，基于深度學習的方法可能無法推廣到新的測試實例，HUANG et al[42]通過約束重建圖像與測量的投影數(shù)據(jù)一致性，同時利用基于學習的方法補充未測量到的投影數(shù)據(jù)信息，可以提高重建質(zhì)量。LI et al[43]針對GAN產(chǎn)生缺失信息的特點，提出了U-Net生成器和鑒別器正弦圖修復GAN方法來恢復缺失的正弦圖數(shù)據(jù)，以抑制正弦圖的奇異性進行有限角重建，使正弦圖修復GAN適用于標準醫(yī)學CT圖像。DONG et al[44]提出了一種針對不完全CT數(shù)據(jù)的深度學習重建框架，從給定的稀疏視角和有限角度的不完全投影正弦圖中重建出高質(zhì)量CT圖像。FU et al[45]提出了一種不完全數(shù)據(jù)深度學習重建框架，該框架能夠以更快的速度和更少的參數(shù)獲得更好的成像質(zhì)量。CHOI et al[46]開發(fā)了一種自監(jiān)督的去噪方法，用于提高低劑量投影圖像質(zhì)量。MA et al[47]提出了一種注意殘余密集卷積神經(jīng)網(wǎng)絡來對信號圖進行去噪，并且比傳統(tǒng)濾波方法獲得了更好的性能。

深度學習方法應用于投影域CT重建用于恢復不完整數(shù)據(jù)信息，不完整數(shù)據(jù)當做先驗信息補全缺失信息，然后利用傳統(tǒng)的重建算法來整合信息，并約束重建圖像與所獲取測量數(shù)據(jù)的一致性。雖然投影域中的深度學習方法可以減少投影域中信號損失，并顯著提高重建圖像質(zhì)量。然而，由于重建過程對正弦圖的內(nèi)在一致性很敏感，任何對正弦圖的不當操作都可能在整個重建圖像上引入額外的偽影；此外，深度學習方法提取的特征僅限于投影域，對于完備的投影數(shù)據(jù)在圖像域的重建過程仍然存在缺陷。深度學習方法在投影域中CT重建中的應用總結(jié)如表1所示。

3.2 圖像域CT圖像重建

圖像域CT圖像重建的任務是學習低質(zhì)量重建圖像和高質(zhì)量重建圖像之間的映射。雖然現(xiàn)有的迭代重建方法改善了重建圖像質(zhì)量，但計算代價太大，并且在有噪聲或不完整信息(數(shù)據(jù)稀疏采樣等)情況下仍然可能出現(xiàn)重建偽影[48]。重建效果不佳的主要原因來自于噪聲的非平穩(wěn)特性和由于信息丟失而產(chǎn)生的嚴重條紋偽影。CT圖像中噪聲和偽影很難分離，它們具有很強的幅值，并且不服從圖像域中特定的模型分布[49]。與人工設計的濾波器相比，深度神經(jīng)網(wǎng)絡提供的復雜模式的自動學習具有明顯優(yōu)勢。

深度學習方法首次引入CT圖像重建是在2016年由美國醫(yī)學物理學家協(xié)會(AAPM)組織的低劑量X射線CT挑戰(zhàn)賽上，KANG et al[50]使用了三層卷積神經(jīng)網(wǎng)絡重建CT圖像，獲得了顯著的性能提升。2017年，CHEN et al[51]基于反卷積網(wǎng)絡和跳躍連接相結(jié)合引入了編解碼卷積神經(jīng)網(wǎng)絡用來對稀疏性CT圖像重建進行研究，該網(wǎng)絡的去噪效果令人滿意，獲得了較高的峰值信噪比。XIE et al[52]基于編解碼網(wǎng)絡提出DEARE框架，從少數(shù)視圖數(shù)據(jù)重建出三維CT圖像，然而，還需要更多的實驗來優(yōu)化和驗證該網(wǎng)絡結(jié)構(gòu)。隨著生成對抗網(wǎng)絡(GAN)的出現(xiàn)，YANG et al[53]利用Wasserstein距離代替JS散度，并在MSE損失的基礎(chǔ)上引入VGG損失函數(shù)，不僅克服了梯度消失而且還保留了LDCT的細節(jié)信息。HUANG et al[54]將注意力機制引入CycleGAN的生成器中進行LDCT去噪，并取得了可喜的成績。LI et al[55]通過建立局部輸出與同一卷積層內(nèi)其他像素之間的相互作用來指導卷積濾波，證明了通過自注意模型解決去噪問題的能力，并提出平面注意力網(wǎng)絡和深度注意力網(wǎng)絡處理CT層內(nèi)和層間的長期依賴關(guān)系，進一步提高去噪性能。YIN et al[56]提出一種基于非配對數(shù)據(jù)的WGAN模型用于肺部CT圖像去噪，基于VGG-19網(wǎng)絡計算的殘差連接和多感知損失提高了GAN模型的降噪效果和紋理保持性。CHI et al[57]提出的LSGAN生成器網(wǎng)絡中使用inception殘差塊來防止每個卷積層中的噪聲通過快捷連接傳遞到反卷積層，并設計多重損失函數(shù)來優(yōu)化去噪網(wǎng)絡。MA et al[58]利用LSGAN網(wǎng)絡結(jié)合混合損失函數(shù)進行LDCT的噪聲學習，可以得到較好的去噪效果，但是在像素級相似性評估中表現(xiàn)欠佳。YANG et al[59]利用兩個基于U-Net的生成器對CT圖像進行去噪，第一個生成器的目標是對LDCT的高頻段進行處理，以提高生成器對高頻細節(jié)的敏感度；第二個生成器將經(jīng)過優(yōu)先處理的LDCT圖像的高頻帶和低頻帶合成重建的CT圖像。此外，與其他基于GAN的應用不同，文中還提出了一種帶有inception模塊的多尺度鑒別器，用于提取LDCT圖像的多尺度特征。與傳統(tǒng)的具有兩個生成器的CGAN模型不同，GU et al[60]提出的條件GAN模型使用了基于U-Net網(wǎng)絡的單一生成器來降低LDCT噪聲，使用自適應實例歸一化層通過切換生成器模型來執(zhí)行低劑量到高劑量的圖像轉(zhuǎn)換。SHAN et al[61]將模塊化CNN與來自三家知名供應商的典型迭代重建方法進行了比較，模塊化CNN得到了有競爭性的LDCT重建結(jié)果。為了達到CT圖像超分辨率重建目的，YOU et al[62]開發(fā)了一個受恒等、殘差和循環(huán)學習集成約束的GAN-Circle網(wǎng)絡，結(jié)合了深度CNN、殘差學習和網(wǎng)中網(wǎng)技術(shù)進行特征提取和恢復，并采用了循環(huán)Wasserstein回歸對抗性訓練框架。

表1 深度學習方法在投影域CT重建中的應用Table 1 Application of deep learning method in projection domain CT reconstruction

GOU et al[63]基于ResNet模型提出了基于梯度正則化的目標函數(shù)，該算法獲得良好訓練效果和保持LDCT圖像特征清晰度的能力。GHOLIZADEH-ANSARI et al[64]提出基于ResNet和邊緣檢測的膨脹卷積網(wǎng)絡架構(gòu)，可以學習到更多邊緣特征信息。MING et al[65]提出了一種用于LDCT恢復的DenseNet算法，通過減少連通性模式，在訓練網(wǎng)絡的同時提高每個塊的計算效率。除此之外，SHIRI et al[66]還利用膨脹卷積和ResNet提出了增強新冠肺炎CT圖像數(shù)據(jù)質(zhì)量的建議。JIANG et al[67]利用膨脹卷積，提出多尺度并行CNN模型用于肺部CT圖像去噪，該模型既降低了噪聲，又保留了低劑量肺部CT的細節(jié)特征和紋理特征。HUANG et al[68]利用ResNet估計每個小波變換子帶的殘差，對小波變換的LDCT圖像和NDCT圖像中的兩級去噪模型進行了訓練，實現(xiàn)了紋理保持和結(jié)構(gòu)增強。與上述ResNet相反，ZHONG et al[69]通過兩階段遷移學習策略對網(wǎng)絡進行了微調(diào)，第一階段使用帶有盲高斯噪聲的自然圖像，第二階段使用LDCT圖像。ZHANG et al[70]提出了一種集成了深度學習網(wǎng)絡和成像物理優(yōu)勢的自監(jiān)督混合CT超分辨率模型。ATAEI et al[71]級聯(lián)兩個相同的神經(jīng)網(wǎng)絡，通過最小化感知損失重建出低對比度區(qū)域的精細結(jié)構(gòu)細節(jié)。CHOI et al[72]提出了一種基于深度學習的LDCT圖像復原方法，結(jié)合正弦圖域的噪聲統(tǒng)計以及圖像域中的噪聲特性，在不增加偽影的情況下，成功降低了噪聲水平，恢復了圖像細節(jié)。LI et al[73]結(jié)合小波變換和亞像素卷積，提出了一種自頂向下的自適應自引導小波卷積神經(jīng)網(wǎng)絡，引入了可調(diào)金字塔殘差塊和相鄰尺度信息融合塊，自適應提取多尺度、多樣性以及相鄰尺度之間的信息特征，同時，利用交叉緯度混合注意塊對融合后的有效信息進行增強，無用信息進行抑制。該方法能有效地保留CT圖像的結(jié)構(gòu)和紋理信息，同時去除噪聲和偽影。LI et al[74]利用膨脹殘差卷積神經(jīng)網(wǎng)絡和注意力模塊，提出了一個多階段的網(wǎng)絡架構(gòu)，將整個去噪過程分為兩個階段的子網(wǎng)絡，逐步完成去噪任務，通過自編碼器神經(jīng)網(wǎng)絡，利用自監(jiān)督學習方案訓練一個專門針對CT圖像的感知損失，細化特征信息的同時還保留圖像結(jié)構(gòu)細節(jié)特征以及紋理信息。

在稀疏視圖、有限角測量和噪聲干擾情況下，初始投影域重建后圖像可能包含即使通過深度學習模型也難以去除的復雜偽影和噪聲。與計算機視覺中的許多逆問題(如圖像修復)一樣，初始重建中丟失的信息也很難通過后處理過程進行恢復。因此，圖像域CT重建更適合于處理質(zhì)量相對較好的圖像重建。圖像域CT重建中網(wǎng)絡模型通常采用濾波反投影等算法作為輸入，僅適用于去除投影域圖像中噪聲偽影的圖像域，不能保證采樣的正弦圖數(shù)據(jù)得到保留。然而，采樣的正弦圖是圖像源數(shù)據(jù)，重建前后應盡可能保持相同，以確保重建內(nèi)容的高保真度。如果只利用圖像域中包含的信息，而忽略了另一個域中的補充信息，方法的魯棒性會受到質(zhì)疑。盡管已有許多學者研究圖像域CT重建方法，但是CT成像過程各個環(huán)節(jié)的中間域數(shù)據(jù)復雜，如何有效利用這些數(shù)據(jù)恢復圖像的結(jié)構(gòu)和邊緣信息仍然是一個挑戰(zhàn)。深度學習方法在圖像域CT圖像重建中的應用總結(jié)如表2所示。

3.3 雙域網(wǎng)絡CT圖像重建

在強大的表示能力和海量數(shù)據(jù)的輔助下，基于深度學習的方法已經(jīng)在醫(yī)學圖像重建任務中取得了成功。然而，上述方法都是基于單一域進行重建，雖然這些方法可以方便地應用于原始正弦圖或相應的FBP重建圖像，計算量相對較小，模型復雜度較低，但它們要么僅適用于去除已重建圖像中噪聲偽影的圖像域，要么僅適用于從稀疏正弦圖合成完整正弦圖的投影域，投影域數(shù)據(jù)和圖像域數(shù)據(jù)之間缺乏信息交互，影響重建效果進一步提升。因此，研究人員已經(jīng)開展了在雙域網(wǎng)絡中進行CT圖像重建研究。

CHEN et al[75]引入專家場系統(tǒng)(Experts Assessment)作為正則化項，通過梯度下降法形成迭代數(shù)值，在固定迭代次數(shù)下，迭代過程展開成網(wǎng)絡，網(wǎng)絡參數(shù)和正則化項可以通過數(shù)據(jù)集進行訓練。GUPTA et al[76]利用卷積神經(jīng)網(wǎng)絡取代投影梯度下降過程。受ADMM-Net[77]的啟發(fā)，HE et al[78]提出在數(shù)據(jù)域和圖像域同時約束重建問題，并將基于乘子交替方向法的優(yōu)化方法展開為網(wǎng)絡，可以有效地加快重建速度，避免參數(shù)調(diào)整，但測量結(jié)果僅被用作數(shù)據(jù)一致性約束，沒有很好地挖掘數(shù)據(jù)域中的先驗信息。WANG et al[79]提出基于U-Net的圖像重建框架，在保留圖像結(jié)構(gòu)的同時去除噪聲和角度偽影，但計算量大，需要較大的訓練數(shù)據(jù)集。VISHNEVSKIY et al[80]對每個迭代模塊采用指數(shù)加權(quán)損失，以確定迭代優(yōu)化的方向。由于這種方法需要對每一迭代塊中的中間圖像進行投影校正，因此重建結(jié)果通常具有較高的重建精度，這對醫(yī)學診斷具有重要的臨床意義。然而，空間卷積是一種局部算子，只關(guān)注相鄰像素，忽略了CT圖像數(shù)據(jù)包含豐富拓撲結(jié)構(gòu)信息。為了同時提取LDCT數(shù)據(jù)的像素級和拓撲級特征，XIA et al[81]提出了一種同時在圖像和流形空間中執(zhí)行的流形和圖形一體化卷積網(wǎng)絡用于LDCT重建。PAN et al[82]提出一種多域集成Swin變換網(wǎng)絡，將數(shù)據(jù)、殘差數(shù)據(jù)、圖像和殘差圖像的豐富領(lǐng)域特征結(jié)合在一起，能夠捕捉重建圖像的全局和局部特征，具有更好的重建圖像質(zhì)量、特征恢復和邊緣保護。YIN et al[83]提出一種區(qū)域漸進式三維殘差卷積網(wǎng)絡，網(wǎng)絡包括正弦圖域網(wǎng)絡(SD-Net)、濾波反投影(FBP)和圖像域網(wǎng)絡(ID-Net)三個階段重建過程，在提高最終的LDCT質(zhì)量方面起到互補作用。ZHENG et al[84]構(gòu)造投影域的卷積神經(jīng)網(wǎng)絡來估計缺失投影數(shù)據(jù)，采用線性解析算子將數(shù)據(jù)從投影域轉(zhuǎn)換到圖像域，在圖像域中增加卷積網(wǎng)絡進行圖像細化。ZHOU et al[85]提出了一種級聯(lián)殘差密集空間通道注意網(wǎng)絡用于有限視角CT重建，由殘差密集空間通道注意網(wǎng)絡和投影數(shù)據(jù)保真層確保預測投影數(shù)據(jù)保真度，同時允許梯度反向傳播。ZHANG et al[86]提出的learn++模型集成了兩個并行交互的子網(wǎng)絡，同時在圖像域和投影域進行圖像恢復和正弦圖修復操作，能夠充分挖掘投影數(shù)據(jù)和重建圖像之間的潛在關(guān)系。WANG et al[87]設計了一種用于正弦圖和CT圖像重建的深度網(wǎng)絡，由濾波反投影層連接的兩個級聯(lián)塊組成，前者負責去噪和補全正弦圖，后者用于去除CT圖像中的噪聲和偽影。XIE et al[88]提出一種直接從正弦圖重建圖像的雙網(wǎng)絡結(jié)構(gòu)，通過逐點全連通層學習反投影過程，在所需內(nèi)存降低、參數(shù)減少的情況下獲得了具有競爭力的重建結(jié)果。LIANG et al[89]比較了稀疏視角CT重建與投影域網(wǎng)絡、圖像域網(wǎng)絡以及投影域和圖像域相結(jié)合的綜合網(wǎng)絡的圖像重建性能，通過對真實掃描的CT圖像進行數(shù)值模擬投影，投影域和圖像域相結(jié)合的綜合網(wǎng)絡可以有效重建出豐富的高頻結(jié)構(gòu)信息。WANG et al[90]開發(fā)了2D膨脹殘差網(wǎng)絡對低劑量投影圖進行去噪，同時設計自注意2D殘差編碼器-解碼器網(wǎng)絡，以獲得具有清晰邊緣和紋理的CT圖像。

表2 深度學習方法在圖像域CT重建中的應用Table 2 Application of deep learning method in image domain CT reconstruction

續(xù)表2

基于雙域網(wǎng)絡的CT圖像重建方法比基于單域網(wǎng)絡的重建方法需要更大的GPU內(nèi)存來進行訓練，重建過程也更加復雜，參數(shù)相對較多，但是這種方法的有效性和通用性也表明它可能解決圖像重建領(lǐng)域以外的超分辨率、灌注CT反卷積等領(lǐng)域的優(yōu)化和逆問題，為現(xiàn)有的深度學習技術(shù)帶來了更強的穩(wěn)健性和可靠性。深度學習方法在雙域網(wǎng)絡CT重建中的應用總結(jié)如表3所示。

3.4 直接映射CT圖像重建

直接映射CT圖像重建通過學習正弦圖和CT圖像空間之間的映射，同時近似逆問題的基本物理模型，使用深度神經(jīng)網(wǎng)絡直接從投影域數(shù)據(jù)解碼為CT圖像。這種直接估計模型受益于深度學習模型的多級抽象和自動特征提取能力，在CT圖像重建領(lǐng)域也開始廣泛應用。

2018年哈佛醫(yī)學院的ZHU B教授團隊[91]在《Nature》上發(fā)表了關(guān)于醫(yī)學圖像重建的論文，它將圖像重建重新定義為一個數(shù)據(jù)驅(qū)動的監(jiān)督學習任務，將其命名為流形近似自動變換(Automap)，學習傳感器域和圖像域之間的重建映射關(guān)系，利用三個全連接層和兩個卷積層深度神經(jīng)網(wǎng)絡實現(xiàn)重建過程。在這個新的范例中，CNN學習了復雜的CT圖像重建過程，包括域變換和數(shù)據(jù)過濾。然而，全連接層使得自動映射網(wǎng)絡難以實現(xiàn)，這種方法中的網(wǎng)絡在重建大尺寸醫(yī)學圖像時需要大量的計算資源。FU et al[92]將輸入和輸出數(shù)據(jù)映射到分層網(wǎng)絡體系結(jié)構(gòu)上解決重建問題，其參數(shù)比一般網(wǎng)絡所需的參數(shù)要少得多。LI et al[93]開發(fā)了一種深度神經(jīng)網(wǎng)絡，并證明該網(wǎng)絡可以將完整或不完整的線積分數(shù)據(jù)訓練成高定量精度重建圖像。在CT重建領(lǐng)域取得早期成功后，還將投影域直接映射到圖像域的方法擴展到PET圖像重建[94-95]。

直接將原始數(shù)據(jù)映射到圖像的一個主要限制是對大數(shù)據(jù)的嚴重依賴和昂貴的計算成本，特別是巨大的GPU內(nèi)存需求。此外，專用神經(jīng)網(wǎng)絡僅限于一種特定的重建幾何，并不廣泛適用于各種掃描儀體系結(jié)構(gòu)和掃描協(xié)議。因此，在CT醫(yī)學成像領(lǐng)域仍然是一個具有挑戰(zhàn)性的問題。深度學習方法在直接映射CT圖像重建中的應用總結(jié)如表4所示。

表3 深度學習方法在雙域網(wǎng)絡CT重建中的應用Table 3 Application of deep learning method in CT reconstruction of dual-domain network

表4 深度學習方法在直接映射CT圖像重建中的應用Table 4 Application of deep learning method in direct mapping CT image reconstruction

4 常用數(shù)據(jù)集及損失函數(shù)

4.1 常用數(shù)據(jù)集及增加訓練樣本的方法

基于深度學習的重建算法很大程度上依賴于訓練數(shù)據(jù)集的大小和多樣性來達到較高的訓練精度。表5中總結(jié)了在圖像重建領(lǐng)域中常用的標準數(shù)據(jù)集，然而，與這些數(shù)據(jù)集相關(guān)的數(shù)據(jù)量還不足以在LDCT重建中獲得高性能。因此，在此基礎(chǔ)上還詳細介紹了增加CT數(shù)據(jù)可用性的方法，以有效地訓練和驗證深度學習模型。

正常劑量和低劑量的配對CT數(shù)據(jù)集對于深度學習模型的訓練和驗證至關(guān)重要。在臨床操作中，對患者的重復掃描是獲得成對數(shù)據(jù)的唯一方式。然而，在臨床實踐中，這種操作是不被允許的，當患者長期暴露在X射線的輻射中，會對患者身體造成不可逆的損傷。此外，CT圖像的正弦圖數(shù)據(jù)是特定于供應商的，不允許從第三方提取。有監(jiān)督的深度學習模型中，必須有成對的NDCT和LDCT圖像，常用的解決方案是將泊松噪聲和高斯噪聲添加到從NDCT獲得的正弦圖中模擬生成不同劑量的LDCT圖像。根據(jù)模擬正弦圖數(shù)據(jù)變換方法的不同，在LDCT圖像重建中廣泛使用的主要有Siddon射線驅(qū)動算法、基于Radon變換的算法和基于正向投影的算法。除此之外，研究人員還提出利用不成對的訓練數(shù)據(jù)和噪聲先驗來訓練深度學習模型。

表5 CT圖像重建中常用數(shù)據(jù)集Table 5 Datasets commonly used in CT image reconstruction

為了解決數(shù)據(jù)量不足的問題，研究人員利用旋轉(zhuǎn)和翻轉(zhuǎn)來增加訓練數(shù)據(jù)集中的樣本數(shù)量，與數(shù)據(jù)增強相比，基于圖像塊的訓練加快了網(wǎng)絡收斂，不僅有助于增強局部區(qū)域中感知方差的檢測，同時增加訓練樣本的數(shù)量。

4.2 損失函數(shù)的多樣性

CT圖像重建方法性能不僅取決于網(wǎng)絡結(jié)構(gòu)和訓練數(shù)據(jù)，還取決于訓練過程中使用的損失函數(shù)。損失函數(shù)用來評估數(shù)據(jù)在特定深度學習模型中的建模效果，通常由一個或多個函數(shù)組成，對重建的最終圖像質(zhì)量有很大的影響。表6中列出了常見的損失函數(shù)及其優(yōu)勢。

均方誤差(mean square error，MSE)是許多深度模型中廣泛使用的損失函數(shù)，雖然它很容易優(yōu)化，但是平均值操作會導致紋理信息丟失、過渡平滑以及生成虛假病變等問題[55]，如果訓練數(shù)據(jù)本身帶有噪聲，這種影響尤為突出。為了優(yōu)化此類問題，最小絕對誤差(least absolute error，LAE)作為MSE的替代方法成為了優(yōu)化深度學習模型的一種較理想的方法，雖然也同為基于均值的逐像素比較矩陣，但是實驗結(jié)果證明它可以克服MSE損失引起的圖像模糊問題[39]。然而，由于退化圖像中存在大量塊狀偽影，通過基于LAE優(yōu)化的深度學習模型獲得的重建圖像仍然存在失真現(xiàn)象。當預訓練網(wǎng)絡VGG-16和VGG-19發(fā)布后，將感知損失引入深度學習模型優(yōu)化過程中，來克服MSE和LAE造成的重建圖像退化問題。感知損失被用來計算生成CT圖像和真實CT圖像之間的特征差異，但僅利用感知損失重建出的圖像更易導致網(wǎng)格偽影，因此，感知損失通常與MSE相結(jié)合來優(yōu)化深度學習模型。

表6 基于深度學習重建模型中常用損失函數(shù)Table 6 Reconstruction of commonly used loss functions in models based on deep learning

由感知驅(qū)動的結(jié)構(gòu)相似性指數(shù)(structural similarity index measure，SSIM)通過局部圖像塊的統(tǒng)計特性來確保深度學習模型的結(jié)構(gòu)保持能力，在視覺評估中，SSIM表現(xiàn)優(yōu)于MSE，提供了更高的峰值信噪比[39]。在CT圖像重建發(fā)展進程中，生成對抗網(wǎng)絡(GAN)也受到了極大地關(guān)注，盡管GAN能夠生成與目標分布具有相似紋理的圖像，但并不一定得出在解剖學上正確的結(jié)果。尤其是在數(shù)據(jù)量不足的情況下，GAN網(wǎng)絡還會引入新的偽影結(jié)構(gòu)，雖然這種偽影結(jié)構(gòu)在自然圖像中是可取的，但是在醫(yī)學成像領(lǐng)域必須避免這種偽影生成。因此，基于像素的內(nèi)容損失L1和L2常常被添加到GAN損失中引導圖像的內(nèi)容信息重建過程。研究證明，基于對抗性損失的GAN網(wǎng)絡導致了收斂問題[53]，因此，在文獻[96]的啟發(fā)下，研究人員通過引入帶梯度懲罰的Wasserstein距離作為損失函數(shù)來克服收斂性問題，利用循環(huán)GAN網(wǎng)絡和最小二乘GAN的循環(huán)一致性損失和最小二乘損失作為損失函數(shù)克服GAN網(wǎng)絡訓練過程存在的問題。

5 挑戰(zhàn)與展望

綜上所述，基于人工智能的深度學習CT重建方法與分析、迭代和壓縮感知方法相比，可以獲得更好的圖像質(zhì)量，大量研究人員提出的先進性方法也印證了深度學習在CT圖像重建領(lǐng)域的成功，然而，深度學習CT重建方法快速發(fā)展的背后依舊存在許多問題，嚴重阻礙了它在臨床實踐中的廣泛應用。

1) 模型可解釋性問題。深度學習的過程是一個黑匣子，這意味著沒有直接的物理模型或者提供理論機制來解釋如何將輸入轉(zhuǎn)化為輸出，因此，深度學習重建模型很難被臨床醫(yī)生接受。近年來，通過構(gòu)建可解釋性的神經(jīng)網(wǎng)絡或者利用各種可視化技術(shù)來提高模型的可解釋性成為基于深度學習的自然圖像分析領(lǐng)域的熱門話題，未來研究人員也將在構(gòu)建可解釋和高性能的深度學習重建模型方面做出努力。

2) 模型泛化性問題。泛化性意味著模型在從給定的數(shù)據(jù)中學習并將學習到的模型應用到其他領(lǐng)域的能力。與自然圖像不同，當經(jīng)過訓練的深度學習模型應用于來自不同供應商的掃描儀數(shù)據(jù)集時，醫(yī)學圖像的分布會有很大不同，模型的泛化能力會成為一個重大問題[97]?，F(xiàn)有深度學習模型應用于終端用戶數(shù)據(jù)時可能會造成性能大幅下降，構(gòu)建能夠在臨床應用中保持性能的健壯模型對于推廣模型的應用至關(guān)重要。

3) 算法的不穩(wěn)定性問題。雖然深度學習算法已經(jīng)表現(xiàn)出準確的重建效果，但目前基于深度學習的重建算法仍然缺乏穩(wěn)定性，其中，不穩(wěn)定問題主要包括：(1) 關(guān)于某些微小噪聲擾動的不穩(wěn)定性；(2) 關(guān)于微小結(jié)構(gòu)變化的不穩(wěn)定性；(3) 關(guān)于樣本數(shù)量變化的不穩(wěn)定性。在醫(yī)學成像中，穩(wěn)定且準確的圖像重建方法是用于疾病診斷的必要條件，因此，提高算法準確性的同時，保證其穩(wěn)定性至關(guān)重要。

4) 訓練數(shù)據(jù)集的質(zhì)量和數(shù)量。眾所周知，深度學習方法是一種數(shù)據(jù)驅(qū)動的方法，模型性能很大程度上依賴于訓練數(shù)據(jù)集的質(zhì)量和數(shù)量，構(gòu)建一個全面的訓練數(shù)據(jù)集至關(guān)重要。但是，大量的高質(zhì)量數(shù)據(jù)來源于臨床，在商業(yè)應用中使用臨床成像數(shù)據(jù)可能會存在法律和倫理問題，通過不同來源收集并構(gòu)建大型醫(yī)學圖像數(shù)據(jù)集是很困難的。此外，缺乏高質(zhì)量帶標簽的大型臨床數(shù)據(jù)集是深度學習應用于醫(yī)學圖像重建領(lǐng)域的障礙之一。

6 結(jié)束語

本文綜述了國內(nèi)外CT圖像重建方面的研究現(xiàn)狀，分析了CT圖像退化原理，對基于傳統(tǒng)方法及深度學習方法在CT圖像重建領(lǐng)域的應用進行分類討論，并且分析其優(yōu)缺點；其次，介紹了目前大部分方法中使用的公開數(shù)據(jù)集及現(xiàn)階段增加訓練樣本的方法，最后對重建過程采用的損失函數(shù)的性能進行了評測和總結(jié)分析。目前，臨床上對自動化醫(yī)學圖像分析的需求不斷增加，以幫助醫(yī)師實現(xiàn)高效和準確的基于成像的診斷和決策，這為基于深度學習的方法在臨床上的廣泛應用提供了大量機會。隨著計算能力的快速發(fā)展和深度學習模型的優(yōu)化，深度學習有望在實現(xiàn)快速、便攜、安全和廉價的醫(yī)學成像方面發(fā)揮重要作用。