邱越 李秋秋 王瑛 何宇騰
摘要:隨著人工智能的發(fā)展,深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分割的應(yīng)用越來(lái)越多。文章綜述了深度學(xué)習(xí)在醫(yī)學(xué)圖像分割中常用的框架和應(yīng)用,促進(jìn)智能成像和深度學(xué)習(xí)在疾病早期診斷領(lǐng)域的應(yīng)用。
關(guān)鍵詞:深度學(xué)習(xí);醫(yī)學(xué)圖像;圖像分割
中圖分類(lèi)號(hào):TP393? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2022)10-0074-02
1 背景
在過(guò)去的幾十年里,醫(yī)學(xué)成像技術(shù),如計(jì)算機(jī)斷層掃描 (CT)、超聲、X 射線(xiàn)、磁共振成像(MRI)、正電子發(fā)射斷層掃描 (PET)和乳房 X 線(xiàn)照相術(shù)已被用于疾病的早期檢測(cè)、診斷和治療[1]。在臨床上,主要由人類(lèi)專(zhuān)家如放射科醫(yī)生等進(jìn)行醫(yī)學(xué)圖像判讀。然而,鑒于醫(yī)學(xué)圖像的廣泛差異和人類(lèi)專(zhuān)家的潛在疲勞,急需計(jì)算機(jī)輔助醫(yī)學(xué)圖像的診斷。近年來(lái),隨著人工智能的發(fā)展,開(kāi)發(fā)計(jì)算機(jī)輔助方法幫助放射科醫(yī)生進(jìn)行圖像分析和診斷,成為醫(yī)學(xué)成像研究和開(kāi)發(fā)的重要方向。
醫(yī)學(xué)圖像分割,從背景醫(yī)學(xué)圖像(如 CT 或 MRI 圖像) 中識(shí)別器官或病變的像素,即提供有關(guān)這些器官的形狀和體積的關(guān)鍵信息,是醫(yī)學(xué)圖像分析中最具挑戰(zhàn)性的任務(wù)之一。 許多研究人員通過(guò)應(yīng)用現(xiàn)有技術(shù)提出了各種自動(dòng)分割系統(tǒng)[2]。
2 深度學(xué)習(xí)
深度學(xué)習(xí)是計(jì)算機(jī)人工智能的子領(lǐng)域,可以視為對(duì)傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的改進(jìn),由多個(gè)層構(gòu)建。深度神經(jīng)網(wǎng)絡(luò)可以發(fā)現(xiàn)分級(jí)特征表示,可以從較低級(jí)別的特征中導(dǎo)出更高級(jí)別的特征,尤其是卷積網(wǎng)絡(luò),已迅速成為醫(yī)學(xué)圖像分割的首選方法。
2.1 醫(yī)學(xué)圖像常用的分割框架
深度學(xué)習(xí)已經(jīng)發(fā)展成為熱門(mén)的研究領(lǐng)域,有多種算法。這些算法幾乎涵蓋了圖像處理的所有方面,本文主要集中在醫(yī)學(xué)圖像分割方面。圖像分割可以看作是將圖像的每個(gè)像素分類(lèi)為一個(gè)實(shí)例的過(guò)程,其中每個(gè)實(shí)例對(duì)應(yīng)一個(gè)類(lèi)[3]。目前流行的語(yǔ)義圖像分割架構(gòu)包括 CNN、FCN、SegNet、U-Net、PSPNet 和 Mask R-CNN 等。
2.2.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN) 是一種包含卷積計(jì)算,且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)最重要的一種算法。它可以用于目標(biāo)檢測(cè)和圖像分類(lèi)[4]。其良好的圖片處理能力源于其多卷積核和多層處理的特性,多卷積核使CNN能夠充分提取圖像特征,每個(gè)卷積核都對(duì)輸入圖像進(jìn)行卷積處理,將原始圖像轉(zhuǎn)換為特征圖像,不同卷積核生成的不同圖像可以理解為該輸入圖像的不同通道。而多層處理是指將圖片不斷卷積和池化,最后在全連接層進(jìn)行分類(lèi)。在圖像處理中,一層卷積往往只學(xué)到了局部的特征,層數(shù)越多,學(xué)到的特征越全局化,多層處理使得低級(jí)的特征組合形成更高級(jí)的特征表示,從而達(dá)到良好的分類(lèi)效果,如圖1所示。
2.2.2 全卷積網(wǎng)絡(luò)
全卷積網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CNs)[5]缺乏完全連接的層,只包含一個(gè)卷積層的層次結(jié)構(gòu)。與CNNs不同,CNNs用于在本地聚合信息以進(jìn)行全局預(yù)測(cè),F(xiàn)CNs可以用于從每個(gè)像素學(xué)習(xí)表示,因此,有可能能夠檢測(cè)到在整個(gè)圖像中可能稀疏發(fā)生的元素或特征。這個(gè)屬性使FCNs能夠做出像素級(jí)的預(yù)測(cè),與CNNs相比,F(xiàn)CNs更具有優(yōu)勢(shì):它能從整個(gè)圖像中進(jìn)行重復(fù)特征學(xué)習(xí),圖2為全卷積網(wǎng)絡(luò)模型。
2.2.3 Unet
Unet[6](圖3) 最初由 Ronneberger 等人提出, 該模型建立在 FCN 的優(yōu)雅架構(gòu)之上。除了將網(wǎng)絡(luò)深度增加到 19 層之外,Unet 還受益于網(wǎng)絡(luò)不同階段之間跳過(guò)連接的卓越設(shè)計(jì)。所提出的結(jié)構(gòu)由分析和綜合兩條路徑組成。分析路徑遵循CNN的結(jié)構(gòu)。合成路徑,通常稱(chēng)為擴(kuò)展階段,由一個(gè)上采樣層和一個(gè)反卷積層組成。 Unet 最重要的特性是分析路徑到擴(kuò)展路徑中等分辨率層間的快捷連接。這些連接為反卷積層提供了必要的高分辨率特征。
3 深度學(xué)習(xí)在醫(yī)學(xué)圖像分割上的應(yīng)用
隨著深度學(xué)習(xí)的發(fā)展,計(jì)算機(jī)視覺(jué)使用大量的深度學(xué)習(xí)對(duì)各種醫(yī)學(xué)圖像進(jìn)行分割。Hosseini-Asl等人[7]在阿爾茨海默氏病的早期診斷中,提出了一種基于增強(qiáng)AlexNet的深度學(xué)習(xí)方法。 根據(jù)阿爾茨海默氏病的特點(diǎn),研究了如何精確定位海馬體。他們將海馬體的分割與主流深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行了比較,包括 FCN、Unet、SegNet、Unet-3D 和 Mask-RCNN。 Chen等人[8]應(yīng)用深度神經(jīng)網(wǎng)絡(luò)分割左心房和心房瘢痕。作者采用了一個(gè)多視圖CNN的遞歸注意模塊融合互補(bǔ)視圖的特征,以獲得更好的分割精度。Zhang等人[9]建立了“肺癌早期計(jì)算機(jī)診斷系統(tǒng)”,對(duì)肺癌病理切片進(jìn)行檢測(cè),可以檢測(cè)出肺癌的幾種主要類(lèi)型。
4 結(jié)論
深度學(xué)習(xí)是醫(yī)學(xué)圖像分析的強(qiáng)大工具之一。它已成功應(yīng)用于目標(biāo)檢測(cè)、分割和分類(lèi)。在本文中,筆者首先綜述了應(yīng)用于醫(yī)學(xué)圖像分割最流行的網(wǎng)絡(luò)框架和應(yīng)用。深度學(xué)習(xí)不僅可以找到病灶區(qū)域,還可以對(duì)病變區(qū)域進(jìn)行分割。深度學(xué)習(xí)在體現(xiàn)自身優(yōu)勢(shì)的同時(shí),也存在一定不足,深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的發(fā)展依賴(lài)于醫(yī)學(xué)大數(shù)據(jù)的積累,每個(gè)深度學(xué)習(xí)模型都需要海量數(shù)據(jù)進(jìn)行訓(xùn)練。此外,深度學(xué)習(xí)可以量化人類(lèi)無(wú)法檢測(cè)到的圖像信息,從而輔助臨床決策,還可以將多個(gè)數(shù)據(jù)流聚集到功能強(qiáng)大的綜合診斷系統(tǒng)中,系統(tǒng)涵蓋射線(xiàn)照相圖像、基因組學(xué)、病理學(xué)、電子健康記錄等??傊疃葘W(xué)習(xí)方法在醫(yī)學(xué)領(lǐng)域中發(fā)揮的作用將越來(lái)越重要。
參考文獻(xiàn):
[1] Chan H P,Samala R K,Hadjiiski L M,et al.Deep learning in medical image analysis[J].Advances in Experimental Medicine and Biology,2020,1213:3-21.
[2] Hesamian M H,Jia W J,He X J,et al.Deep learning techniques for medical image segmentation:achievements and challenges[J].Journal of Digital Imaging,2019,32(4):582-596.
[3] Asgari Taghanaki S,Abhishek K,Cohen J P,et al.Deep semantic segmentation of natural and medical images:a review[J].Artificial Intelligence Review,2021,54(1):137-178.
[4] Litjens G,Kooi T,Bejnordi B E,et al.A survey on deep learning in medical image analysis[J].Medical Image Analysis,2017,42:60-88.
[5] Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.June 7-12,2015,Boston,MA,USA.IEEE,2015:3431-3440.
[6] Ronneberger O,F(xiàn)ischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham:Springer International Publishing,2015:234-241.
[7] Hosseini-Asl E,Ghazal M,Mahmoud A,et al.Alzheimer's disease diagnostics by a 3D deeply supervised adaptable convolutional network[J].Frontiers in Bioscience (Landmark Edition),2018,23(3):584-596.
[8] Chen J, Yang G, Gao Z, Ni H, Firmin D, others Multiview two-task recursive attention model for left atrium and atrial scars segmentation. In: Frangi AF, Schnabel JA, Davatzikos C, Alberola-López C, Fichtinger G, editors. 21st International Conference on Medical Image Computing and Computer Assisted Intervention—MICCAI 2018, Vol. 11071. Granada: Springer; (2018). p. 455–63.
[9] He K M,Zhang X Y,Ren S Q,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.
【通聯(lián)編輯:唐一東】
收稿日期:2021-12-15
作者簡(jiǎn)介:邱越(2000—) ,女,云南昆明人,本科在讀,主要研究方向?yàn)獒t(yī)工交叉;李秋秋(2000—) ,女,云南易門(mén)縣人,本科在讀,主要研究方向?yàn)獒t(yī)工交叉;王瑛(2000—) ,女,寧夏固原人,本科在讀,主要研究方向?yàn)獒t(yī)工交叉;何宇騰(2000—) ,男,云南玉溪人,本科在讀,主要研究方向?yàn)獒t(yī)工交叉。