郭嘉杰 張志浩 項(xiàng)磊 宮恩浩 王浩 唐橋虹*
1 廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心 (廣東 廣州 510080)
2 深透醫(yī)療 (上海 200062)
3 中國(guó)食品藥品檢定研究院醫(yī)療器械檢定所 (北京 100050)
內(nèi)容提要: 正電子發(fā)射體層成像利用示蹤劑可視化人體中分子的代謝活動(dòng),在腫瘤的早期診斷中發(fā)揮重要作用。然而,探測(cè)器掃描時(shí)間以及示蹤劑注射劑量的約束導(dǎo)致PET圖像普遍存在低分辨率和低信噪比的問(wèn)題。目前,基于人工智能的PET圖像增強(qiáng)方法已取得優(yōu)異成果。為此,重點(diǎn)介紹PET影像檢查的應(yīng)用現(xiàn)狀與發(fā)展趨勢(shì),基于人工智能的PET圖像增強(qiáng)方法,以及已上市的PET圖像增強(qiáng)軟件產(chǎn)品,旨在為研究開(kāi)發(fā)人員和監(jiān)管部門(mén)提供借鑒。
根據(jù)國(guó)際癌癥研究機(jī)構(gòu)2022年2月發(fā)布的癌癥統(tǒng)計(jì)數(shù)據(jù)顯示,2020年我國(guó)新發(fā)癌癥和死亡病例分別為457萬(wàn)例和300萬(wàn)例,位居全球第一。據(jù)預(yù)測(cè),2022年該數(shù)字將增加到482萬(wàn)例和312萬(wàn)例,分別是美國(guó)的2倍和5倍[1]。我國(guó)已經(jīng)成為名副其實(shí)的“癌癥大國(guó)”,癌癥防控形勢(shì)愈加嚴(yán)峻。
正電子發(fā)射體層成像(Positron Emission Tomography,PET)作為一種先進(jìn)的核醫(yī)學(xué)成像技術(shù),利用特異性示蹤劑無(wú)創(chuàng)地顯像生物體內(nèi)的生化、代謝等功能性變化。與計(jì)算機(jī)體層成像(Computed Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)相比,PET具有高靈敏度和普適性?xún)?yōu)勢(shì),已被廣泛用于腫瘤的區(qū)分以及治療評(píng)估,并作為腫瘤學(xué)臨床診斷的金標(biāo)準(zhǔn)之一[2]。在PET圖像的重建過(guò)程中,為了獲得更高的成像質(zhì)量,往往需要較高的光子計(jì)數(shù)率[3]。增加掃描時(shí)間或示蹤劑劑量是提高光子計(jì)數(shù)率的主要手段,但同時(shí)也會(huì)增加對(duì)患者的輻射傷害,以及因患者無(wú)意識(shí)運(yùn)動(dòng)而產(chǎn)生噪聲的概率。目前,大量關(guān)于PET圖像增強(qiáng)的科學(xué)研究正在進(jìn)行,旨在實(shí)現(xiàn)低劑量和較短掃描時(shí)間的同時(shí),提高PET圖像質(zhì)量。
近年來(lái),人工智能在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用得到井噴式增加。對(duì)于PET圖像增強(qiáng)任務(wù),研究人員將深度學(xué)習(xí)結(jié)合到傳統(tǒng)PET圖像的迭代重建框架中,或?qū)⒒颊叩慕馄式Y(jié)構(gòu)圖像如CT或MR作為先驗(yàn)信息提高成像質(zhì)量。另一方面,編解碼器網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)可以端到端地從低質(zhì)量重建圖像中生成高質(zhì)量圖像[4]??傊?,深度學(xué)習(xí)能從訓(xùn)練樣本中學(xué)習(xí)PET系統(tǒng)在光子探測(cè)過(guò)程中的復(fù)雜響應(yīng)函數(shù),克服傳統(tǒng)數(shù)學(xué)建模方法的不足,表現(xiàn)遠(yuǎn)優(yōu)于傳統(tǒng)方法。
PET影像檢查大幅提高了早期腫瘤檢測(cè)的準(zhǔn)確率,在疫情防控方面扮演重要角色。然而我國(guó)目前的PET(PET/CT)設(shè)備裝機(jī)量不足,因此研究PET快速掃描和低劑量成像技術(shù)具有重要的科學(xué)意義和應(yīng)用前景[5]。
PET圖像是通過(guò)向活體內(nèi)注射特定的放射性示蹤劑,然后由掃描儀采集數(shù)據(jù)并重建獲得。放射性核素(例如18F、13N、11C等)被標(biāo)記到特定化合物(例如葡萄糖、水、氨等)制成放射性示蹤劑。示蹤劑進(jìn)入人體后參與新陳代謝,放射性核素則會(huì)聚集在感興趣的組織中。如圖1所示,放射性核素發(fā)生β+衰變,并釋放正電子e+和電子中微子ve,當(dāng)正電子失去動(dòng)能后與電子相互作用發(fā)生湮滅反應(yīng),同時(shí)產(chǎn)生一對(duì)相對(duì)移動(dòng),能量為511keV的湮滅γ光子。γ光子能量高,易穿透人體,因此可被體外檢測(cè)設(shè)備捕獲,進(jìn)而重建成像[6]。解析法和迭代法是傳統(tǒng)的PET圖像重建方法。解析法是基于PET成像原理直接推導(dǎo)出的數(shù)學(xué)解,根據(jù)計(jì)算過(guò)程不同,可分為濾波反投影法(Filtered Back Projection,F(xiàn)BP),反投影濾波法(Back Projection Filtered,BPF),卷積反投影法(Convolution Back Projection)等[7-10]。因投影數(shù)據(jù)的修正對(duì)重建結(jié)果影響甚大,所以解析法中使用的濾波器尤為重要。迭代法則基于統(tǒng)計(jì)原理,用投影的方式比較投影的理論值和實(shí)際值,不斷更新迭代取得最佳結(jié)果。迭代法中測(cè)量所得的正弦圖數(shù)據(jù)s∈?P×1的期望值與待重建圖像g∈?Q×1存在如下仿射關(guān)系,見(jiàn)公式(1)。
圖1.PET 系統(tǒng)結(jié)構(gòu)
其中,A∈?P×Q為探測(cè)器系統(tǒng)矩陣,r代表散射和隨機(jī)事件。定義目標(biāo)函數(shù)F描述與s之間的不一致程度,則重建過(guò)程可表示為公式(2)。
迭代法將重建過(guò)程轉(zhuǎn)換為已知正弦圖數(shù)據(jù)s求待重建圖像g的逆問(wèn)題,即尋找使得與s最接近的g。又因服從獨(dú)立Poisson隨機(jī)分布,所以選擇Poisson對(duì)數(shù)似然作為目標(biāo)函數(shù),見(jiàn)公式(3)。
P,Q分別表示LOR數(shù)量和PET圖像的體素?cái)?shù)量。經(jīng)典的迭代法最大似然期望最大化法(Maximum Likelihood Expectation Maximization,MLEM)通過(guò)以下迭代更新步驟獲取最優(yōu)解[11]。見(jiàn)公式(4)。
其中,1N∈I,n是迭代次數(shù)。與FPB相比,MLEM不僅對(duì)噪聲抑制效果好且對(duì)比度效果恢復(fù)顯著。在實(shí)際應(yīng)用中,解析法重建速度快但是抗噪能力差,而改進(jìn)的迭代法由于更新形式簡(jiǎn)單,收斂速度快被廣泛應(yīng)用于臨床實(shí)踐[12]。
近年來(lái),PET成像技術(shù)飛速發(fā)展,已廣泛應(yīng)用于腫瘤學(xué)、心臟病學(xué)和神經(jīng)病學(xué)等領(lǐng)域。從世界范圍看,70%的PET影像檢查用于腫瘤,目前大約能診斷20種癌癥[13]。PET成像技術(shù)與CT解剖學(xué)信息相結(jié)合組成PET/CT技術(shù),以18F-FDG作為示蹤劑,在腫瘤診斷各階段發(fā)揮著至關(guān)重要的作用。如圖2所示,PET/CT圖像可精準(zhǔn)地顯示病變位置以及功能代謝情況。
圖2.左圖為PET 圖像,中圖為CT 圖像,右圖為PET/CT 像
PET有以下幾方面優(yōu)勢(shì)。①PET能有效彌補(bǔ)常規(guī)影像學(xué)檢查的不足,判斷腫瘤的發(fā)展程度,提高鑒別腫瘤良惡性的準(zhǔn)確率。李佳錚等[14]指出,PET可輔助預(yù)測(cè)內(nèi)鏡黏膜下剝離術(shù)ESD的根治性及監(jiān)測(cè)術(shù)后復(fù)發(fā);李可心等[15]利用18F-FDG PET/CT預(yù)測(cè)早期宮頸癌盆腔淋巴結(jié)轉(zhuǎn)移。此外,Han等[16]結(jié)合深度學(xué)習(xí)和PET對(duì)癌癥的組織亞型進(jìn)行區(qū)分,尤其是腺癌和鱗狀細(xì)胞癌。Ou等[17]的研究證明PET區(qū)分乳腺癌和乳腺淋巴瘤的能力優(yōu)于CT。②PET/CT為已確診的腫瘤患者臨床分期和再分期提供選擇依據(jù)。Orsaria等[18]研究表明PET/CT有助于評(píng)估原發(fā)性乳癌腫塊及其與轉(zhuǎn)移性腋窩LN的關(guān)系,進(jìn)而預(yù)測(cè)腫瘤行為并指導(dǎo)臨床實(shí)踐。③PET/CT能更好地評(píng)價(jià)療效和評(píng)估預(yù)后。Lee等[19]基于PET/CT和臨床病理學(xué)特征構(gòu)建統(tǒng)計(jì)模型,預(yù)測(cè)乳腺癌患者對(duì)新輔助化療的反應(yīng),準(zhǔn)確率高于僅結(jié)合臨床病理學(xué)特征的模型。Peng等[20]基于PET/CT圖像特征,預(yù)測(cè)鼻咽癌患者的治療效果,達(dá)到較高準(zhǔn)確率。另外,PET/CT對(duì)腫瘤分子及基因分型預(yù)測(cè)有重大幫助[21]。
我國(guó)每百萬(wàn)人口的PET/CT保有量與美國(guó)相差二十幾倍,人均PET/CT設(shè)備遠(yuǎn)低于世界水平[9]。當(dāng)前設(shè)備數(shù)量的不足促使PET技術(shù)向快速掃描發(fā)展??焖賿呙杩蓽p少采集時(shí)間,讓更多患者使用到設(shè)備,同時(shí)能降低因患者無(wú)意識(shí)運(yùn)動(dòng)而產(chǎn)生噪聲的潛在概率。另外,示蹤劑成本高,存在造成患者日后繼發(fā)癌癥的潛在風(fēng)險(xiǎn)[2]。因此,PET成像向低劑量快速掃描發(fā)展是必然趨勢(shì)。
如表1所示,PET圖像增強(qiáng)方法主要分三類(lèi),包括投影域預(yù)處理、改進(jìn)重建算法和去噪后處理。投影預(yù)處理,即首先根據(jù)投影數(shù)據(jù)的噪聲特點(diǎn)設(shè)計(jì)相應(yīng)的濾波算法去除噪聲,再由傳統(tǒng)或深度學(xué)習(xí)方法進(jìn)行重建。已提出的濾波算子有結(jié)構(gòu)適應(yīng)性濾波、雙邊濾波和自調(diào)節(jié)的維納濾波算子等[22-24]。投影數(shù)據(jù)預(yù)處理方法可作為單獨(dú)的模塊,獨(dú)立性強(qiáng),計(jì)算速度快,但缺點(diǎn)是敏感性高,對(duì)最終重建圖像的影響較大,容易造成失真。另外,主流的PET設(shè)備廠商出于專(zhuān)利保護(hù)通常不會(huì)提供PET原始數(shù)據(jù),這進(jìn)一步限制了此類(lèi)方法的發(fā)展。
表1.PET圖像增強(qiáng)方法的分類(lèi)
早期對(duì)傳統(tǒng)PET重建算法的改進(jìn)集中在尋找EM算法的替代方法,比如有序子集最大似然法(Ordered Subsets Expectation-Maximization,OSEM),將EM算法依次應(yīng)用于數(shù)據(jù)集的若干不相交子集上,提高收斂速度。另外,標(biāo)準(zhǔn)共軛梯度法、迭代坐標(biāo)上升法和空間交替廣義EM法等也是不錯(cuò)的替代方[25-28]。又因所有的最大似然(Maximum Likelihood,ML)方法都存在病態(tài)性,即對(duì)數(shù)據(jù)的微小變化敏感,估計(jì)值具有高方差,所以迭代結(jié)果會(huì)出現(xiàn)棋盤(pán)效應(yīng)或者質(zhì)量退化[29]。研究人員提出對(duì)似然函數(shù)增加約束項(xiàng),使模型根據(jù)圖像結(jié)構(gòu)或平滑度的先驗(yàn)期望,從一組基本等價(jià)解中選出最有可能的解?;诠剑?)添加了約束項(xiàng)的迭代重建過(guò)程可表示為公式(5)。
其中,R(g)是約束函數(shù),可以是廣義高斯函數(shù)和相對(duì)差分先驗(yàn)等,β是懲罰系數(shù)[30,31]。
去噪后處理是指對(duì)重建好的PET圖像進(jìn)行濾波,常見(jiàn)的濾波方法有小波變換、高斯濾波和非局部均值等[32-34]。該方法不依賴(lài)投影數(shù)據(jù),但是各廠家設(shè)備的噪聲差異較大、偽影分布規(guī)律復(fù)雜,對(duì)濾波算法的性能有較高要求。另外,圖像域后處理容易導(dǎo)致圖像細(xì)節(jié)丟失和過(guò)于平滑等問(wèn)題。
基于人工智能的PET圖像增強(qiáng)方法可劃分為機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。研究人員受機(jī)器學(xué)習(xí)啟發(fā),用數(shù)據(jù)驅(qū)動(dòng)模型取代傳統(tǒng)的數(shù)學(xué)模型進(jìn)行PET圖像重建。這些模型包括綜合詞典和稀疏變換等,從大量的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)圖像特征而完成建模[35,36]。另外,研究人員將圖像域后處理看作回歸問(wèn)題,采用隨機(jī)森林算法從低質(zhì)量圖像預(yù)測(cè)高質(zhì)量圖像[37]。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子領(lǐng)域,具備強(qiáng)大的表征能力,提供了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的框架學(xué)習(xí)從輸入到輸出的映射關(guān)系。2016年,Zhu等[38]開(kāi)創(chuàng)性地使用深度學(xué)習(xí)從k空間數(shù)據(jù)重建MR圖像。2018年起,深度學(xué)習(xí)被廣泛應(yīng)用于PET圖像重建和去噪后處理。
如表1所示,基于深度學(xué)習(xí)的PET圖像重建算法主要分為兩類(lèi),第一類(lèi)是端到端重建,利用神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)正弦圖數(shù)據(jù)到圖像域數(shù)據(jù)的映射;第二種是基于正則化的迭代重建,將神經(jīng)網(wǎng)絡(luò)集成到迭代重建框架中,用先驗(yàn)信息或數(shù)據(jù)一致性約束重建過(guò)程。表2列出了近年來(lái)具有代表性的基于深度學(xué)習(xí)的PET圖像重建方法。
表2.基于深度學(xué)習(xí)的PET圖像重建方法
神經(jīng)網(wǎng)絡(luò)端到端重建過(guò)程可概括為公式(6)、公式(7)。
其中,g?為高質(zhì)量的期望重建圖像。神經(jīng)網(wǎng)絡(luò)N學(xué)習(xí)s→g的最佳映射Θ,該方法僅通過(guò)單個(gè)步驟一次性獲取重建結(jié)果,相似于傳統(tǒng)FBP算法。該方法的優(yōu)勢(shì)在于不依賴(lài)于復(fù)雜的基于成像原理構(gòu)建的數(shù)學(xué)模型,直接由數(shù)據(jù)驅(qū)動(dòng),從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)正弦圖與PET圖像之間的非線(xiàn)性映射關(guān)系。
Zhu等[38]首次將深度學(xué)習(xí)應(yīng)用于PET圖像重建,提出由全連接層和卷積層構(gòu)成的AUTOMAP架構(gòu)。如圖3所示,其中第一個(gè)全連接層將復(fù)雜的正弦圖數(shù)據(jù)格式化為列向量,第二、三個(gè)全連接層學(xué)習(xí)正弦圖數(shù)據(jù)到圖像域數(shù)據(jù)之間的反投影映射,卷積層則用于去噪。相比于傳統(tǒng)方法,AUTOMAP重建的圖像偽影更少。受AUTOMAP啟發(fā),研究人員提出各種個(gè)性化網(wǎng)絡(luò)結(jié)構(gòu),如DeepPET,F(xiàn)BP-Net和DUG-RECON等[39-41]。其中,DeepPET的重建速度比OSEM和FBP分別快108倍和3倍,并且重建效果更好,F(xiàn)BP-Net由FBP模塊和去噪器組成,前者對(duì)粗重構(gòu)圖像歸一化,后者合并所有時(shí)間幀信息,泛化性能超過(guò)UNet和DeepPET。DUG-RECON是個(gè)多階段網(wǎng)絡(luò),依次為去噪、重建和超分辨率,超分辨率能有效緩解重構(gòu)圖像的模糊問(wèn)題。
圖3.AUTOMAP 中使用的神經(jīng)網(wǎng)絡(luò)模型
GAN是一種無(wú)監(jiān)督深度學(xué)習(xí)模型,通過(guò)自我博弈的方式準(zhǔn)確地學(xué)習(xí)真實(shí)數(shù)據(jù)的分布,對(duì)醫(yī)學(xué)圖像處理有很大啟發(fā)[42]。Liu等[43]使用條件GAN更魯棒、更準(zhǔn)確地重建PET圖像。Hu等[44]改進(jìn)WGAN,并用感知損失、均方誤差和Wasserstein距離作為聯(lián)合損失函數(shù),有效解決傳統(tǒng)重建圖像中過(guò)度平滑和細(xì)節(jié)丟失的問(wèn)題,同時(shí)降低了重建時(shí)間。Xue等[45]改進(jìn)cycle-GAN,學(xué)習(xí)低計(jì)數(shù)正弦圖到全計(jì)數(shù)PET圖像之間的映射,得到了更高的重建質(zhì)量。
現(xiàn)有端到端重建方法使用的深度學(xué)習(xí)模型結(jié)構(gòu)復(fù)雜,內(nèi)存利用率低,適合從正弦圖生成尺寸較?。ㄈ?28×128)的2D圖像切片,一旦圖像尺寸增大或者用于3D圖像序列重建,將很難訓(xùn)練并用于推理。為了解決這個(gè)問(wèn)題,Whiteley等[5]將正弦圖數(shù)據(jù)先解析為最可能湮滅位置直方圖數(shù)據(jù)(Histo-Img),與衰減圖一并作為輸入,使用改進(jìn)的UNet將其映射到高質(zhì)量PET圖像。對(duì)比OSEM,該方法將3D PET圖像重建速度提高了67倍,并且質(zhì)量高、噪聲低。Whiteley等[46]在后續(xù)的工作中進(jìn)一步提高重建速度,設(shè)計(jì)一種氡反演層(Radon Invension Layer)降低模型的內(nèi)存需求,快速地從全尺寸低計(jì)數(shù)數(shù)據(jù)中生成高質(zhì)量的PET圖像,對(duì)比OSEM+PSF和FBP方法,重建速度分別提高了7.2倍和4.9倍。
4.1.2 基于正則化的迭代重建
根據(jù)正則化方式的不同,基于正則化的迭代重建方法可分為基于生成和基于分析兩類(lèi)。基于生成的方法用神經(jīng)網(wǎng)絡(luò)N從隱向量z中表征期望重建圖像g,并在迭代中估計(jì)z使網(wǎng)絡(luò)的輸出g與期望重建圖像g?一致。g可表示為公式(8)。
其中N一般是降噪或生成網(wǎng)絡(luò),能為重建過(guò)程帶來(lái)先驗(yàn)信息如患者間(inter-patient)信息和患者內(nèi)(intra-patient)信息。z代表噪聲圖像或者患者的先驗(yàn)圖像如CT和MR圖像。此時(shí),重建過(guò)程在公式(2)基礎(chǔ)上可修改為公式(9)。
Gong等[47]預(yù)訓(xùn)練一個(gè)從低質(zhì)量PET圖像恢復(fù)高質(zhì)量PET圖像的深度卷積網(wǎng)絡(luò),并結(jié)合到傳統(tǒng)的MLEM迭代重建框架中,使得重建結(jié)果噪聲更少,細(xì)節(jié)更清晰。詳細(xì)結(jié)合方式如圖4所示,該方法中z初始為隨機(jī)噪聲圖像,Θ在迭代時(shí)固定。在Gong后續(xù)工作[48]中,受深度圖像先驗(yàn)[49]的啟發(fā),在沒(méi)有成對(duì)訓(xùn)練數(shù)據(jù)(低計(jì)數(shù)PET圖像-高計(jì)數(shù)PET圖像)的情況下,使用患者的MR圖像來(lái)重建PET圖像。此時(shí)z固定為MR圖像,迭代過(guò)程中對(duì)Θ進(jìn)行估計(jì)。Xie等[50]在Gong等[47]的基礎(chǔ)上用GAN作為N,進(jìn)一步提高了重建效果。Xie等[51]在后續(xù)工作中使用低計(jì)數(shù)的PET和CT圖像作為雙通道輸入z,高計(jì)數(shù)的PET圖像作為標(biāo)簽,預(yù)訓(xùn)練一個(gè)3D降噪卷積神經(jīng)網(wǎng)絡(luò),并取得了更好的病變對(duì)比度-背景標(biāo)準(zhǔn)偏差權(quán)衡曲線(xiàn)。Lv等[52]依次用兩個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)表征待重建圖像,有效控制圖像噪聲和對(duì)比度。
圖4.基于正則化(生成)的迭代重建模型
基于分析的方法使用神經(jīng)網(wǎng)絡(luò)顯式地構(gòu)造正則項(xiàng),約束網(wǎng)絡(luò)的輸出圖像與期望重建圖像一致,見(jiàn)公式(10)。
其中,N一般是預(yù)訓(xùn)練的去噪網(wǎng)絡(luò)或條件生成網(wǎng)絡(luò),Θ在迭代中固定,N的輸入g也可以替換成隱向量z。Wang等[53]在最大后驗(yàn)重建算法基礎(chǔ)上,利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造正則項(xiàng),改善了重建結(jié)果的噪聲偏差平衡。Kim等[54]將局部線(xiàn)性擬合函數(shù)(LLF)與去噪卷積神經(jīng)網(wǎng)絡(luò)DnCNN結(jié)合構(gòu)造正則項(xiàng),使得重建過(guò)程對(duì)輸入的噪聲水平差異魯棒。Xie等[55]預(yù)訓(xùn)練從低質(zhì)量PET圖像生高質(zhì)量MR圖像的3D卷積神經(jīng)網(wǎng)絡(luò)作為正則項(xiàng),用解剖學(xué)先驗(yàn)信息約束重建過(guò)程。結(jié)果表明,該方法能消除階梯偽影,重建圖像質(zhì)量?jī)?yōu)異。
基于分析的方法相比基于生成的方法更加靈活,能夠利用懲罰系數(shù)β,調(diào)節(jié)正則項(xiàng)對(duì)偏差的懲罰力度和EM優(yōu)化的數(shù)據(jù)保真實(shí)度之間的權(quán)重。然而,β的確定依賴(lài)于經(jīng)驗(yàn),由調(diào)參確定,因此研究人員提出展開(kāi)式迭代重構(gòu)算法,將迭代重建模型展開(kāi)為多個(gè)連續(xù)的可訓(xùn)練的深度學(xué)習(xí)模塊,此時(shí)β變?yōu)榭捎?xùn)練參數(shù),在降低正則項(xiàng)的訓(xùn)練難度同時(shí)加強(qiáng)數(shù)據(jù)一致性[56]。在公式(4)和(5)基礎(chǔ)上可得帶約束項(xiàng)的MLEM的梯度下降形式的更新公式,見(jiàn)公式(11)。
其中,α是更新步長(zhǎng),R?(g)表示R(g)的梯度。EMNet[57]將公式(13)重寫(xiě)為公式(12)。
即用神經(jīng)網(wǎng)絡(luò)來(lái)代替R?(g),Θ在迭代中訓(xùn)練,使得正則化可學(xué)習(xí)。如圖5所示,作者用UNet作為R?(g),并將公式(13)打包成網(wǎng)絡(luò)層以減輕內(nèi)存使用量。
圖5.EMNet 的模型結(jié)構(gòu)
結(jié)果顯示,EMNet的性能優(yōu)于神經(jīng)網(wǎng)絡(luò)去噪和高斯去噪方法。此外,Bland等[58]將系統(tǒng)矩陣和投影算子的優(yōu)點(diǎn)和濾波器結(jié)合,提出一種展開(kāi)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),對(duì)比MLEM算法重建速度提高了54.5%,并顯著提高圖像重建質(zhì)量,類(lèi)似方法還有FBSEM和TransEM[59,60]。
基于深度學(xué)習(xí)的PET圖像去噪過(guò)程可概括為公式(14)、公式(15)。
這類(lèi)方法通常以低質(zhì)量PET圖像gl和先驗(yàn)信息prior為輸入,期望的高質(zhì)量PET圖像gh?為標(biāo)簽訓(xùn)練神經(jīng)網(wǎng)絡(luò),得到最佳參數(shù)去預(yù)測(cè)高質(zhì)量PET圖像gh。gl一般是傳統(tǒng)重建方法的輸出。表3列出了近年來(lái)具有代表性的基于深度學(xué)習(xí)的PET圖像去噪方法。Ly等[61]和da Costa-Luis等[62]用卷積神經(jīng)網(wǎng)絡(luò)從低質(zhì)量PET圖像預(yù)測(cè)高質(zhì)量PET圖像。Yang等[63]在訓(xùn)練網(wǎng)絡(luò)時(shí),使用由不同正則化參數(shù)重建的低質(zhì)量PET圖像作為輸入,顯著改善了重建圖像的病變對(duì)比度。Ladefoged等[64]以多個(gè)低劑量PET圖像切片為輸入,訓(xùn)練一種類(lèi)似UNet的編解碼器殘差深度網(wǎng)絡(luò),結(jié)果表明該網(wǎng)絡(luò)對(duì)噪聲更加魯棒。Ouyang等[65]同樣使用多切片輸入,使用條件GAN結(jié)合特定任務(wù)感知損失保持重建圖像中正確的病理特征?;贕AN的方法還有CycleWGANs[66]和PT-WGAN[67]。
表3.基于深度學(xué)習(xí)的PET圖像去噪方法
先驗(yàn)信息能引導(dǎo)神經(jīng)網(wǎng)絡(luò)進(jìn)行更準(zhǔn)確的重建。Liu等[68]和Schramm等[69]以MRI T1加權(quán)圖像作為先驗(yàn)信息,提高了重建準(zhǔn)確度。Chen等[70]以MRI T1加權(quán)、T2加權(quán)和T2 flair圖像作為先驗(yàn)信息,其重建圖像的質(zhì)量與全劑量圖像相當(dāng)。另外,Chan等[71]用手動(dòng)分割的病變掩模作為先驗(yàn)信息,改善病變區(qū)域的對(duì)比度恢復(fù)效果。Li等[72]將局部相對(duì)噪聲水平作為先驗(yàn)信息,促使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高噪聲水平到低噪聲水平之間的映射。
正則化能約束去噪過(guò)程,減小圖像的平滑程度,如Kaplan等[73]提出用總變分正則約束均方誤差損失函數(shù)。此外,研究人員還提出基于深度圖像先驗(yàn)的去噪模型,基于動(dòng)態(tài)PET圖像和堆疊自編碼器的降噪方法和基于擴(kuò)張卷積的去噪網(wǎng)絡(luò)等[59,74,75]。
PET圖像增強(qiáng)技術(shù)是當(dāng)前PET成像領(lǐng)域的研究熱點(diǎn),受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。
為了推動(dòng)基于人工智能的PET圖像增強(qiáng)算法的創(chuàng)新與應(yīng)用,國(guó)際醫(yī)學(xué)影像領(lǐng)域頂會(huì)在2020年9月發(fā)起了首屆超低劑量PET成像挑戰(zhàn)賽,比賽目標(biāo)是從聯(lián)影醫(yī)療和西門(mén)子系統(tǒng)采集的低劑PET圖像恢復(fù)高質(zhì)量的標(biāo)準(zhǔn)劑量PET圖像。比賽吸引了全球知名高校和科研機(jī)構(gòu)的眾多團(tuán)隊(duì)前來(lái)參加,呈現(xiàn)諸多優(yōu)秀解決方案。圖6展示了某團(tuán)隊(duì)從低劑量(全劑量的1%~25%)PET圖像的恢復(fù)結(jié)果,其圖像質(zhì)量與全劑量PET圖像相當(dāng),體現(xiàn)了人工智能技術(shù)在PET圖像增強(qiáng)領(lǐng)域的強(qiáng)大賦能。
圖6.低劑量PET 圖像恢復(fù)高劑量PET 圖像的效果
縮短PET掃描時(shí)間可以減少圖像運(yùn)動(dòng)偽影,改善患者就診體驗(yàn),增加醫(yī)院吞吐量,同時(shí)也能提高服務(wù)提供者的盈利能力。目前,各知名醫(yī)療器械公司相繼投入到基于人工智能的PET圖像增強(qiáng)軟件產(chǎn)品的研發(fā)中。醫(yī)療軟件產(chǎn)品屬于醫(yī)療器械,其安全性和有效性與生命健康息息相關(guān),因此世界各地都設(shè)立了嚴(yán)格的監(jiān)管制度。國(guó)際上對(duì)醫(yī)療器械注冊(cè)認(rèn)證的主流法規(guī)有歐盟的CE認(rèn)證、美國(guó)的FDA認(rèn)證。在國(guó)內(nèi),根據(jù)中國(guó)國(guó)務(wù)院《醫(yī)療器械監(jiān)督管理?xiàng)l例》規(guī)定,任何企業(yè)希望在中國(guó)境內(nèi)生產(chǎn)、經(jīng)營(yíng)、使用醫(yī)療器械都應(yīng)向相應(yīng)的藥品監(jiān)督管理部門(mén)進(jìn)行注冊(cè)。2022年3月9日,國(guó)家藥品監(jiān)督管理局(National Medical Products Administration,NMPA)醫(yī)療器械技術(shù)審評(píng)中心發(fā)布《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》對(duì)人工智能醫(yī)療器械建立生存周期過(guò)程和規(guī)范注冊(cè)技術(shù)審評(píng)要求提供了權(quán)威指導(dǎo)。
表4列出了當(dāng)前已上市的PET圖像增強(qiáng)軟件產(chǎn)品,從技術(shù)方面來(lái)講,Hyper AiR在傳統(tǒng)迭代重建框架中加入神經(jīng)網(wǎng)絡(luò)作為正則項(xiàng),以提高重建圖像質(zhì)量。Hyper DLR、SubtlePET和AiCE-i for PET則使用的是基于深度學(xué)習(xí)的PET圖像去噪方法。圖7展示了SubtlePET對(duì)超低劑量(全劑量的2%)PET圖像的增強(qiáng)效果。
表4.已上市的PET圖像增強(qiáng)軟件產(chǎn)品
圖7.SubtlePET 的圖像增強(qiáng)效果
人工智能技術(shù)在PET圖像增強(qiáng)領(lǐng)域顯示出巨大潛力,但同樣面臨諸多局限與挑戰(zhàn)。①深度學(xué)習(xí)模型是數(shù)據(jù)驅(qū)動(dòng)的,其性能很大程度上取決于數(shù)據(jù)集的規(guī)模和質(zhì)量。現(xiàn)有數(shù)據(jù)大多收集于各大醫(yī)院和影像中心,因PET設(shè)備的成像協(xié)議、質(zhì)控水平的差異,導(dǎo)致很難構(gòu)建一個(gè)標(biāo)準(zhǔn)化的數(shù)據(jù)集,不利于模型訓(xùn)練。此外,現(xiàn)有研究使用的PET圖像多來(lái)自正常掃描,在臨床應(yīng)用中,一旦輸入圖像中包含異常結(jié)構(gòu),如骨折、漏針、金屬或運(yùn)動(dòng)偽影、創(chuàng)傷性腦損傷等,模型輸出結(jié)果將不可控,這對(duì)模型的魯棒性提出了更高要求。②深度學(xué)習(xí)是“黑盒”系統(tǒng),研究人員無(wú)法通過(guò)有理論支持的公式對(duì)它進(jìn)行描述,可解釋性較差,這可能會(huì)給診斷過(guò)程帶來(lái)未知風(fēng)險(xiǎn),因此很難被臨床醫(yī)生接受。③目前基于人工智能的醫(yī)療影像輔助診斷軟件被列入了風(fēng)險(xiǎn)較高的Ⅲ類(lèi)醫(yī)療器械,其注冊(cè)審批和市場(chǎng)準(zhǔn)入的要求較高,導(dǎo)致能通過(guò)NMPA審批的產(chǎn)品很少。④可參考的人工智能醫(yī)療軟件的標(biāo)準(zhǔn)較少,急需建立系統(tǒng)性測(cè)試方法和指標(biāo),建設(shè)統(tǒng)一的平臺(tái)推動(dòng)安全認(rèn)證。
本文總結(jié)歸納了現(xiàn)有的PET圖像增強(qiáng)方法包括傳統(tǒng)方法、基于人工智能的方法,并分析其中存在的局限與挑戰(zhàn)。PET成像技術(shù)在癌癥的早期篩查、心臟、神經(jīng)系統(tǒng)疾病等方面占據(jù)重要地位。傳統(tǒng)PET成像受技術(shù)瓶頸和物理學(xué)限制,存在掃描時(shí)間長(zhǎng)、易被噪聲干擾等問(wèn)題。人工智能技術(shù)尤其是深度學(xué)習(xí)的發(fā)展促進(jìn)了PET成像技術(shù)的創(chuàng)新與變革,推動(dòng)PET成像向低劑量、快速掃描發(fā)展。我國(guó)醫(yī)療資源有限,區(qū)域分布不平衡,且高質(zhì)量醫(yī)療資源占比較少,在此背景下,基于人工智能的新型醫(yī)療技術(shù)具有廣闊的市場(chǎng)空間。面對(duì)機(jī)遇與挑戰(zhàn),中國(guó)國(guó)產(chǎn)企業(yè)在提升PET圖像質(zhì)量層面取得了重大進(jìn)展,在國(guó)際上處于領(lǐng)先地位。針對(duì)PET圖像質(zhì)量中國(guó)的科學(xué)家們和創(chuàng)新企業(yè)開(kāi)發(fā)了多種基于人工智能算法研究和應(yīng)用,這些技術(shù)都為提高PET圖像的診斷價(jià)值提供了有力支持。
人工智能在PET圖像診斷中的應(yīng)用不僅能夠提高PET圖像的準(zhǔn)確性和可靠性,還可以減輕醫(yī)生的工作量,提高診斷效率和精度。展望未來(lái),中國(guó)的人工智能技術(shù)在影像學(xué)、核醫(yī)學(xué)等領(lǐng)域?qū)⒓铀侔l(fā)展。通過(guò)將人工智能技術(shù)應(yīng)用于PET圖像診斷和治療,可以為患者提供更加個(gè)性化和精準(zhǔn)的醫(yī)療服務(wù)。同時(shí)也為醫(yī)生提供更加全面和準(zhǔn)確的醫(yī)學(xué)信息,加強(qiáng)醫(yī)生與患者之間的交流和信任。進(jìn)一步提高醫(yī)療質(zhì)量和效率。最終,這些技術(shù)的發(fā)展將為整個(gè)社會(huì)帶來(lái)更大的價(jià)值,推動(dòng)醫(yī)療健康事業(yè)的發(fā)展。