吳倩倩,周蕾蕾,趙紫婷,蔣紅兵,2
1. 南京醫(yī)科大學(xué)附屬南京醫(yī)院(南京市第一醫(yī)院) a. 醫(yī)療設(shè)備處;b. 醫(yī)學(xué)影像科,江蘇 南京 210006;2. 南京市急救中心,江蘇 南京 210003
放射治療是利用放射線治療腫瘤的一種局部治療方法,可有效降低腫瘤細(xì)胞增殖活性并加速腫瘤細(xì)胞凋零[1]。放療技術(shù)不斷發(fā)展,逐步進(jìn)入精確放療時(shí)代,靶區(qū)劑量分布不斷改善。放療圖像的分割處理可以輔助醫(yī)師進(jìn)行靶區(qū)及危及器官(Organs at Risk,OARs)的勾畫,精確的靶區(qū)分割有助于在消滅腫瘤的同時(shí)最大程度上保護(hù)周圍正常器官。臨床上靶區(qū)勾畫多依靠醫(yī)師手工進(jìn)行,近年來,大約70%的癌癥患者在治療過程中需要進(jìn)行放射治療[2],醫(yī)學(xué)圖像數(shù)量急劇增長(zhǎng),手工勾畫費(fèi)時(shí)費(fèi)力,治療效率較低。隨著圖像處理技術(shù)及人工智能的發(fā)展,圖像自動(dòng)分割技術(shù)逐漸投入到放療圖像處理中,不僅減輕了醫(yī)師的工作負(fù)擔(dān),而且大大提高了工作效率,在制定治療計(jì)劃中產(chǎn)生了重要作用,對(duì)提高放療的準(zhǔn)確性具有深遠(yuǎn)的意義。
圖像分割是將圖像劃分為具有相似屬性(如灰度、紋理等)的區(qū)域的過程,醫(yī)學(xué)圖像分割的目的包括:① 研究解剖結(jié)構(gòu);② 定位腫瘤、病變或其他異常情況;③ 測(cè)量組織體積以檢測(cè)腫瘤的生長(zhǎng)狀況;④ 放療計(jì)劃設(shè)計(jì)過程中對(duì)器官及靶區(qū)進(jìn)行自動(dòng)勾畫。然而醫(yī)學(xué)圖像的線性特征較復(fù)雜,在其中普遍存在灰度對(duì)比度低、組織邊界模糊等問題[3],故實(shí)現(xiàn)其自動(dòng)分割是一項(xiàng)艱巨的任務(wù)。隨著越來越多地使用CT和MRI成像進(jìn)行輔助診斷、制定治療計(jì)劃和臨床研究,使用相應(yīng)的計(jì)算機(jī)技術(shù)來對(duì)進(jìn)行分割處理已經(jīng)變得不可或缺。
邊緣特征是圖像的基本特征之一,基于邊緣的分割方法通過邊緣檢測(cè)算子檢測(cè)出不同區(qū)域的邊界信息,將邊界作為圖像的基本特征來尋找灰度不連續(xù)的像素點(diǎn),從而提取出能夠反映灰度、紋理、顏色等圖像信息的目標(biāo)邊界突出情況,以達(dá)到圖像分割的目的。在分割過程中,可以用一階導(dǎo)數(shù)判斷圖中的像素是否屬于邊緣部分,二階導(dǎo)數(shù)判斷像素屬于哪一部分[4]。常見的一階導(dǎo)數(shù)邊緣檢測(cè)算子包括Sobel算子、Roberts算子、Canny算子等。以Sobel算子為例,其算法簡(jiǎn)單、計(jì)算量小、速度快,但由于其算法只采用水平和垂直2個(gè)方向模板,故對(duì)于紋理較復(fù)雜、斜向邊緣較多的圖像提取的圖像輪廓不是很理想。王云艷等[5]將Sobel算子與平滑濾波、高通濾波等相結(jié)合,克服了傳統(tǒng)算法的單一性,在提取圖像邊緣細(xì)節(jié)的同時(shí)保證了圖像信息的真實(shí)性,最終得到視覺效果非常不錯(cuò)的增強(qiáng)圖像。
該方法能夠檢測(cè)出有效邊緣[6],但在實(shí)際操作過程中,由于圖像都是含噪圖像,在檢測(cè)精度與抗噪能力間存在著相互制約的不確定原則,且對(duì)于圖像中多數(shù)存在的斜坡邊緣檢測(cè)效果并不佳[7],故該技術(shù)仍需不斷優(yōu)化和完善。
區(qū)域增長(zhǎng)和分裂合并的方法是一種典型的串行區(qū)域分割方法,其根據(jù)用戶預(yù)定義的某種相似性準(zhǔn)則,將具有相似性的圖像像素或者區(qū)域聚合成為更大的區(qū)域[8]。首先,找到種子像素作為每個(gè)要?jiǎng)澐謪^(qū)域的起點(diǎn),然后將種子像素周圍與其具有相似屬性的像素合并到種子像素所在的區(qū)域,再繼續(xù)將這些新像素視為新的種子像素,重復(fù)上述過程,直至找不到滿足條件的像素為止[9]。研究發(fā)現(xiàn),通過在算法中加入統(tǒng)計(jì)學(xué)信息和先驗(yàn)知識(shí),就可避免手動(dòng)選取種子像素,使其選擇更加可靠。Ren等[10]開發(fā)了一種可以自動(dòng)計(jì)算閾值的區(qū)域生長(zhǎng)算法用于分割肺結(jié)節(jié)圖像區(qū)域,該算法不僅可以快速的對(duì)所有肺結(jié)節(jié)圖像進(jìn)行分割,同時(shí)還保留了病變的原始特征,有效地幫助放射科醫(yī)生進(jìn)行診斷的同時(shí),為智能算法提供了可靠的培訓(xùn)數(shù)據(jù)。
該方法計(jì)算簡(jiǎn)單,對(duì)于連續(xù)均勻的目標(biāo),如血管、實(shí)質(zhì)性組織,具有較好的準(zhǔn)確性、高效性[11],但其易受噪聲的影響,且種子像素的選取具有重要意義,種子點(diǎn)位置的選擇不適以及增長(zhǎng)閾值的設(shè)定,都會(huì)影響分割結(jié)果[12]。
近年來,圖割技術(shù)提供了一個(gè)通過全局分割的方法去對(duì)圖像進(jìn)行分析的平臺(tái)在許多交互式和自動(dòng)分割領(lǐng)域獲得了廣泛的應(yīng)用[13]。該方法需要根據(jù)圖像的特征信息,建立合適的能量函數(shù),然后根據(jù)能量函數(shù)建立圖論中的網(wǎng)絡(luò)圖,通過對(duì)網(wǎng)絡(luò)圖采用最大流/最小割算法獲得分割結(jié)果[14]。Pauchard等[15]使用了交互式圖割技術(shù),用于從臨床CT圖像中分割出骨骼并達(dá)到對(duì)近端股骨強(qiáng)度的預(yù)測(cè),將其與手動(dòng)分割進(jìn)行比較發(fā)現(xiàn),二者分割結(jié)果非常相似,骨強(qiáng)度預(yù)測(cè)基本準(zhǔn)確,且交互式分割所用時(shí)間大大縮短。
該方法為很多圖像處理問題提供一個(gè)自然框架,在圖像分割中更側(cè)重于分割模型的物理學(xué)意義,可以將定義于特征場(chǎng)或標(biāo)號(hào)場(chǎng)的具有明確物理含義的約束條件引入能量函數(shù),求解更靈活[16],但如何定義能量函數(shù),使其最小化以產(chǎn)生所需結(jié)果以及如何用圖形構(gòu)造表示能量函數(shù)都是圖割中的關(guān)鍵問題[17],除此之外,能量函數(shù)在進(jìn)行優(yōu)化時(shí)通常采用梯度下降形式,計(jì)算效率較低,影響了圖像分割的速度[18]。
靶區(qū)范圍的準(zhǔn)確定義與勾畫是放射治療成功與否的第一步[19],依據(jù)圖像可以對(duì)靶區(qū)OARs進(jìn)行勾畫,制定相應(yīng)的治療計(jì)劃,從而確保治療中的劑量最大限度地集中在腫瘤區(qū)域,提高放療的精確性,減少對(duì)周圍正常組織器官的損害。目前對(duì)靶區(qū)進(jìn)行勾畫的方法主要包括手工勾畫、基于圖譜庫的自動(dòng)勾畫和基于深度學(xué)習(xí)的自動(dòng)勾畫三種方法。
通常情況下,放射腫瘤醫(yī)師需根據(jù)患者的CT或MRI圖像手動(dòng)勾畫靶區(qū)和OARs,傳統(tǒng)的手工勾畫存在以下缺點(diǎn):① 需要耗費(fèi)醫(yī)師大量時(shí)間以及精力,占用大量醫(yī)療資源,不利于診斷效率的提高;② 重復(fù)性差,醫(yī)師勾畫范圍不同,導(dǎo)致每次進(jìn)行放射治療時(shí)照射區(qū)域存在一定的偏差,不能規(guī)模化實(shí)現(xiàn),增加了腫瘤復(fù)發(fā)及惡化的風(fēng)險(xiǎn);③ 準(zhǔn)確性相對(duì)較低。同時(shí),CT、MRI技術(shù)的發(fā)展使得圖像數(shù)量井噴式增長(zhǎng),導(dǎo)致傳統(tǒng)的手工勾畫注定無法適應(yīng)社會(huì)對(duì)醫(yī)療服務(wù)的需求以及醫(yī)療行業(yè)自身的快速發(fā)展,放射治療的應(yīng)用與發(fā)展迫切的需要快速、準(zhǔn)確且容易操作實(shí)現(xiàn)的技術(shù)來對(duì)器官進(jìn)行勾畫[20]。
當(dāng)前已有多個(gè)基于圖譜庫的自動(dòng)勾畫軟件(Atlas-Based Auto-segmentation,ABAS)投入到臨床應(yīng)用中,其中關(guān)鍵一步為構(gòu)建與軟件相應(yīng)的圖譜庫。構(gòu)建圖譜庫首先需要已經(jīng)勾畫好靶區(qū)以及OARs的圖像,再由這些圖像訓(xùn)練得到一個(gè)模板數(shù)據(jù)庫才可投入到臨床應(yīng)用中[21]。
以一款商用軟件MIM Maestro(Ver 6.6.5)[22]為例,建立4套病例數(shù)不同的宮頸癌圖譜庫(30、60、90、120例),分別應(yīng)用4個(gè)圖譜庫對(duì)10例目標(biāo)圖像進(jìn)行危及器官的自動(dòng)勾畫并分別計(jì)時(shí)。實(shí)驗(yàn)結(jié)果表明,自動(dòng)勾畫軟件可以在一定程度上改善勾畫者間的差異,減少醫(yī)生的勾畫時(shí)間;對(duì)于邊界較明顯的膀胱來說,勾畫結(jié)果較好,但直腸作為形變較大的器官,由于其充盈程度無法控制,且形狀因人而異,是勾畫較為困難的組織;綜合比較發(fā)現(xiàn),對(duì)60例以上的圖譜庫而言雖然較大的圖譜庫略有優(yōu)勢(shì),但臨床中建立120例與60例圖譜庫相比,工作量增加1倍。當(dāng)前,已有多款A(yù)BAS軟件應(yīng)用于肝臟、頭頸部、乳腺等放療圖像的自動(dòng)勾畫中。Hyothaek等[23]評(píng)估了一款用于勾畫下頜骨和頸部甲狀腺CT圖像的ABAS軟件適用圖譜庫的例數(shù),結(jié)果表明,隨著例數(shù)的增加,勾畫性能通常會(huì)提高,但增加例數(shù)并不能持續(xù)提高勾畫準(zhǔn)確性,甚至還可能取得相反的效果,且因各個(gè)機(jī)構(gòu)對(duì)靶區(qū)勾畫的標(biāo)準(zhǔn)不同,所以各機(jī)構(gòu)在應(yīng)用ABAS軟件時(shí),對(duì)于不同部位所需例數(shù)的最佳大小都應(yīng)提前進(jìn)行相應(yīng)的評(píng)估方可投入使用。
基于圖譜庫的器官自動(dòng)勾畫雖然可以大大節(jié)省傳統(tǒng)的手工勾畫所需的時(shí)間,并且充分利用了計(jì)算機(jī)資源,但相對(duì)于不同解剖部位、不同結(jié)構(gòu)以及OARs來說,勾畫效果差異明顯,且所有結(jié)構(gòu)的勾畫都需要進(jìn)一步進(jìn)行人工修正、建立醫(yī)生確認(rèn)流程才可滿足臨床要求從而應(yīng)用于臨床,構(gòu)建圖譜庫所需的圖譜數(shù)量根據(jù)不同軟件、不同部位等因素均有不同要求。
人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)[24],大量研究表明人工智能在醫(yī)學(xué)領(lǐng)域具有巨大潛力,通過機(jī)器學(xué)習(xí)的方式進(jìn)行圖像分割的技術(shù)逐漸在放療中應(yīng)用開來。深度學(xué)習(xí)的方法快速且準(zhǔn)確,它可以從圖像中提取更加復(fù)雜的層次特征[25],已經(jīng)成功應(yīng)用于計(jì)算機(jī)視覺方面的任務(wù),如:影像分類、目標(biāo)檢索、圖像分割和影像檢索等[26]。目前使用較多且效果較好的網(wǎng)絡(luò)模型如下。
2.3.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在醫(yī)學(xué)圖像中應(yīng)用極為廣泛,其本質(zhì)為一個(gè)具有多隱層的神經(jīng)網(wǎng)絡(luò),每個(gè)層執(zhí)行特定的操作,如卷積、池化等,并在大量的數(shù)據(jù)訓(xùn)練過程中不斷優(yōu)化自身性能,使其能夠更準(zhǔn)確的提取圖像特征[27]。結(jié)合訓(xùn)練好的CNN模型和GPU硬件加速,以實(shí)現(xiàn)放療圖像中組織器官快速的分割[28]。近年來,研究人員們開發(fā)出了眾多醫(yī)學(xué)圖像分割新模型,廣泛應(yīng)用于醫(yī)學(xué)圖像處理的各個(gè)領(lǐng)域,并取得了較好的效果。Song等[29]構(gòu)建并驗(yàn)證了CNN模型能很好地繪制直腸癌CT圖像的目標(biāo)區(qū)域及危及器官,并且質(zhì)量較高,所需計(jì)算時(shí)間及手動(dòng)校正時(shí)間更短。胡光亮等[30]提出一種利用CNN對(duì)鼻咽腫瘤MR圖像全自動(dòng)的分割方法,對(duì)于不同的鼻咽腫瘤患者都能取得較好的分割結(jié)果,具有良好的泛化能力。曹祺煒等[31]提出了一種多模態(tài)多池化3D CNN模型用于腦腫瘤MRI圖像的分割,減少了網(wǎng)絡(luò)中的參數(shù)和計(jì)算量,解決了傳統(tǒng)分割過程中分割效率低、分割精度難以保證等問題,獲得了更高分辨率的圖像分割結(jié)果。
2.3.2 全卷積網(wǎng)絡(luò)
全卷積網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CN)在CNN基礎(chǔ)上進(jìn)行了改進(jìn),其解決的是圖像像素級(jí)別的分類,先構(gòu)建多層卷積層進(jìn)行卷積運(yùn)算,提取圖像局部特征信息和抽象特征信息,在此期間可以通過不同方式增大感受野,然后池化操作逐漸降低減小圖像尺寸,最后利用轉(zhuǎn)置卷積進(jìn)行逆運(yùn)算的上采樣操作還原圖像[32]。FCN可以接受任意尺寸的輸入圖像,對(duì)圖像進(jìn)行逐像素的分類,并保留原始輸入圖像的空間信息[33]。郭磊等[34]將FCN用于X線圖像中成像部位的自動(dòng)分割,結(jié)果顯示FCN能夠提取有代表性的多維圖像特征,避免了圖像信息下采樣丟失,實(shí)現(xiàn)X線圖像中成像部位精確自動(dòng)分割。段杰等[35]提出了一種改進(jìn)型FCN用于分割肝臟CT圖像,并與多種常見的分割網(wǎng)絡(luò)進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果表明該方法可以精準(zhǔn)分割CT圖像中各種形狀和大小的肝臟腫瘤,分割效果良好,能夠?yàn)榕R床的診斷提供可靠的依據(jù)。FCN還可用于3D圖像的多器官組織分割[36],Peijun等[37]采用由粗至細(xì)的分層方法,顯著改善了FCN網(wǎng)絡(luò)的小器官分割結(jié)果。
2.3.3 U-Net網(wǎng)絡(luò)
U-Net網(wǎng)絡(luò)最初由Ronneberger[38]等提出,引入并使用了反卷積概念。該模型建立在FCN的體系結(jié)構(gòu)上,其最重要的特性是分析通路與擴(kuò)展通路等分辨率層之間的快速連接,這些連接為反卷積層提供了不可或缺的高分辨率功能。這種新穎的結(jié)構(gòu)在醫(yī)學(xué)圖像分割中引起了廣泛的關(guān)注并展示了其優(yōu)勢(shì)性,尤其是在OARs勾畫領(lǐng)域,針對(duì)數(shù)據(jù)量很小的生物醫(yī)學(xué)數(shù)據(jù)集進(jìn)行圖像處理,獲得了較好的分割結(jié)果[39]。潘沛克等[40]提出了一種基于U-Net網(wǎng)絡(luò)模型的鼻咽腫瘤MRI圖像自動(dòng)分割算法,實(shí)驗(yàn)結(jié)果表明該算法可以實(shí)現(xiàn)較好的實(shí)際分割效果且分割精度較高,同時(shí)時(shí)間效率大幅提升。周正東等[41]提出了一種基于帶孔U-Net神經(jīng)網(wǎng)絡(luò)的肺癌危及器官并行分割方法,與傳統(tǒng)分割方法相比,該方法分割性能最優(yōu),可有效地完成肺及心臟的自動(dòng)并行分割,提高勾畫效率,分割結(jié)果與人工勾畫結(jié)果相當(dāng)。
除此之外,卷積殘差網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)以及多種網(wǎng)絡(luò)相結(jié)合等模型也在放療圖像分割中廣泛應(yīng)用,發(fā)揮了重要作用。Nemoto等[42]將基于圖譜庫和基于深度學(xué)習(xí)的方法應(yīng)用于勾畫肺部CT圖像并進(jìn)行對(duì)比評(píng)估,結(jié)果表明,基于深度學(xué)習(xí)的方法比基于圖譜庫的方法輪廓的描繪更加準(zhǔn)確,更有助于將增強(qiáng)的放射線向惡性部位照射,同時(shí)限制正常組織的暴露,從而減少放射性肺炎和其他并發(fā)癥的發(fā)生,證明了深度學(xué)習(xí)模型在放療計(jì)劃中的適用性。
醫(yī)學(xué)圖像分割是醫(yī)學(xué)領(lǐng)域的研究熱點(diǎn),在術(shù)前診斷、術(shù)中規(guī)劃和術(shù)后引導(dǎo)及預(yù)后評(píng)估管理上起著重要的作用[43],越來越多的相關(guān)研究也證實(shí)了其優(yōu)勢(shì)性與適用性,尤其是基于卷積網(wǎng)絡(luò)的深度學(xué)習(xí)模型具有很好的特征提取和自我學(xué)習(xí)能力。
目前,應(yīng)用于放療圖像方面的基于靶區(qū)自動(dòng)勾畫的算法很多,但是大多都是對(duì)單一部位的研究,而且某一算法的單獨(dú)應(yīng)用因圖像在形成過程中受到噪聲、組織運(yùn)動(dòng)等因素的影響,分割結(jié)果與理想效果總是具有一定差距,對(duì)于圖像中微小細(xì)節(jié)如組織中的血管目前也很難分辨。隨著計(jì)算機(jī)技術(shù)的發(fā)展,未來對(duì)圖像分割的研究必定更加注重結(jié)合多種分割算法,并逐漸使算法應(yīng)用于全身各部位,對(duì)需進(jìn)行放射治療部位的勾畫及放射劑量的確定將更加準(zhǔn)確。同時(shí),醫(yī)學(xué)圖像不同于自然圖像,在圖像分割中,自然圖像僅需考慮二維結(jié)構(gòu),而醫(yī)學(xué)圖像還需考慮在三維空間結(jié)構(gòu)上如何進(jìn)行分割,現(xiàn)有的分割模型大都基于自然圖像,隨著圖像分割技術(shù)的發(fā)展,勢(shì)必會(huì)開發(fā)出越來越多適用于醫(yī)學(xué)圖像并能進(jìn)行三維空間的分割算法,有助于臨床醫(yī)師更好地對(duì)患者進(jìn)行放射治療。放療圖像自動(dòng)分割技術(shù)的進(jìn)步不僅在患者腫瘤的預(yù)防、診斷、治療和預(yù)后等方面展現(xiàn)了其優(yōu)越性能,而且推動(dòng)其朝精細(xì)化、準(zhǔn)確化的方向不斷進(jìn)步。