金詩(shī)晨，孫曉鳴，蔣皆恢，左傳濤

1. 上海大學(xué)通信與信息工程學(xué)院生物醫(yī)學(xué)工程專業(yè)，上海 200444；

2. 復(fù)旦大學(xué)附屬華山醫(yī)院PET中心，上海 200235

近年來(lái)，磁共振成像（magnetic resonance imaging，MRI）、正電子發(fā)射體層成像（positron emission tomography，PET）、超聲等醫(yī)學(xué)影像學(xué)技術(shù)被廣泛應(yīng)用于腫瘤診斷和預(yù)后研究。醫(yī)學(xué)影像結(jié)合人工智能分析，可幫助醫(yī)師通過(guò)非侵入性的方式獲取腫瘤的表型特征，探究腫瘤在基因、蛋白質(zhì)、微環(huán)境等層面上表現(xiàn)出的時(shí)間和空間異質(zhì)性，從而代替有創(chuàng)組織活檢［1-3］。其中，影像組學(xué)方法逐漸成為腫瘤研究領(lǐng)域的熱點(diǎn)之一，該方法通過(guò)高通量計(jì)算，從醫(yī)學(xué)影像中快速地提取大量影像學(xué)信息，實(shí)現(xiàn)目標(biāo)特征提取與診斷模型的建立。然而，傳統(tǒng)影像組學(xué)方法在臨床實(shí)踐中仍然面臨一些挑戰(zhàn)。例如，感興趣區(qū)（region of interest，ROI）分割是傳統(tǒng)影像組學(xué)方法面臨的最大挑戰(zhàn)，無(wú)論手工分割、半手工分割或全自動(dòng)分割，均耗時(shí)、費(fèi)力且需要比較豐富的臨床先驗(yàn)知識(shí)，不利于大規(guī)模臨床推廣；如何保證不同機(jī)型/成像參數(shù)下獲取影像學(xué)特征的魯棒性則是第二個(gè)重大挑戰(zhàn)；此外，傳統(tǒng)影像組學(xué)方法還面臨著流程復(fù)雜、耗時(shí)、費(fèi)力等問(wèn)題。

為了彌補(bǔ)傳統(tǒng)影像組學(xué)方法的不足，研究人員提出了深度學(xué)習(xí)影像組學(xué)（deep learning radiomics，DLR）方法，該方法有望在不增加樣本量的情況下提高傳統(tǒng)影像組學(xué)流程的自動(dòng)化水平，提升診斷和預(yù)測(cè)結(jié)果的準(zhǔn)確性和可靠性，具有較大的潛在臨床應(yīng)用價(jià)值［4］。本文將主要針對(duì)現(xiàn)有DLR方法及研究進(jìn)展進(jìn)行綜述，并展望其未來(lái)發(fā)展前景。

1 影像組學(xué)

影像組學(xué)的概念最早由荷蘭學(xué)者Lambin等［5］在2012年提出，其思想來(lái)源于腫瘤的異質(zhì)性。由于實(shí)體腫瘤在基因、蛋白質(zhì)、微環(huán)境等層面上表現(xiàn)出時(shí)間和空間的異質(zhì)性，使得病理學(xué)和分子生物學(xué)等有創(chuàng)檢測(cè)方法的準(zhǔn)確性和代表性受到限制，影像組學(xué)假設(shè)微觀層面的基因或蛋白質(zhì)等模式的改變可在宏觀影像學(xué)特征上有所反映。2014年，Aerts等［6］完善了影像組學(xué)方法，奠定了影像組學(xué)方法的基本框架，包括數(shù)據(jù)采集、ROI定位、影像學(xué)特征提取、特征篩選、應(yīng)用模型構(gòu)建。

影像組學(xué)特征主要包括形狀、紋理及變換特征等［7］，影像組學(xué)技術(shù)可以將影像學(xué)特征與患者其他臨床特征相結(jié)合，對(duì)海量影像學(xué)數(shù)據(jù)信息進(jìn)行更深層次的挖掘、預(yù)測(cè)和分析來(lái)輔助醫(yī)師作出最準(zhǔn)確的診斷。例如，Gibbs等［8］通過(guò)提取79例患者動(dòng)態(tài)對(duì)比增強(qiáng)MRI（dynamic contrastenhanced MRI，DCE-MRI）圖像的灰度紋理特征來(lái)識(shí)別45例乳腺癌，結(jié)合邏輯回歸分析，良惡性鑒別的曲線下面積（area under curve，AUC）可達(dá)0.80。Yu等［9］在對(duì)315例口咽癌患者人乳頭狀瘤病毒的狀態(tài)預(yù)測(cè)中，AUC可達(dá)0.915。

然而，傳統(tǒng)影像組學(xué)計(jì)算框架流程中存在著一些不足，例如，自動(dòng)化和標(biāo)準(zhǔn)化程度低、特征提取步驟繁瑣及耗時(shí)費(fèi)力，傳統(tǒng)影像組學(xué)特征在預(yù)測(cè)結(jié)果的準(zhǔn)確度和魯棒性方面仍有較大的提升空間。

2 DLR

為了克服傳統(tǒng)影像組學(xué)方法的缺點(diǎn)，研究者將深度學(xué)習(xí)網(wǎng)絡(luò)輸出特征代替或補(bǔ)充傳統(tǒng)影像組學(xué)特征，并與經(jīng)典分類(lèi)器結(jié)合，該方法被稱為DLR。

相較傳統(tǒng)影像組學(xué)提取的基于病灶灰度直方圖的一階統(tǒng)計(jì)學(xué)特征或者二階紋理特征，DLR方法中深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的多層結(jié)構(gòu)能夠自動(dòng)學(xué)習(xí)層次更為豐富的影像學(xué)特征，如較淺的卷積層可學(xué)習(xí)到病灶局部區(qū)域的特征，而較深的卷積層則能夠?qū)W習(xí)到更為抽象的特征，從而有助于提高分類(lèi)識(shí)別性能。此外，與臨床參數(shù)結(jié)合或?qū)鹘y(tǒng)影像組學(xué)特征與DLR特征進(jìn)行融合，有助于進(jìn)一步提高分類(lèi)或預(yù)測(cè)結(jié)果的準(zhǔn)確性。

同時(shí)，作為端對(duì)端的方法，DLR能夠?qū)θ珗D像直接進(jìn)行操作，避免冗長(zhǎng)繁瑣的特征提取過(guò)程，提升模型的預(yù)測(cè)效率。

綜上所述，DLR方法有望在樣本量不變的前提下提高影像組學(xué)流程的智能化程度、改善特征提取結(jié)果和提升預(yù)測(cè)模型的準(zhǔn)確性［10-11］，因而具有較大的優(yōu)勢(shì)和臨床應(yīng)用價(jià)值。

3 DLR工作流程

如圖1所示，DLR方法工作流程通常包括原始數(shù)據(jù)的采集、深度網(wǎng)絡(luò)預(yù)訓(xùn)練、影像學(xué)特征提取、特征篩選/特征融合、建立應(yīng)用模型。

3.1 深度網(wǎng)絡(luò)預(yù)訓(xùn)練與特征提取

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練的目的是對(duì)原始圖像進(jìn)行病灶特征提取。網(wǎng)絡(luò)預(yù)訓(xùn)練階段通過(guò)對(duì)備選網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，并依據(jù)訓(xùn)練時(shí)間、預(yù)測(cè)準(zhǔn)確度等因素選擇最佳的網(wǎng)絡(luò)作為DLR特征編碼器。影像學(xué)特征提取一般可分為兩步：首先從上述編碼器獲取輸出的特征圖；然后用池化方法將從卷積網(wǎng)絡(luò)最后一層獲得的特征圖轉(zhuǎn)化為可供訓(xùn)練和測(cè)試的特征數(shù)據(jù)。備選深度學(xué)習(xí)網(wǎng)絡(luò)可基于先前研究。例如，F(xiàn)u等［12］在晚期直腸癌輔助放化療反應(yīng)預(yù)測(cè)研究中，使用來(lái)自ImageNet數(shù)據(jù)庫(kù)的大約120萬(wàn)張圖像分別對(duì)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）和牛津大學(xué)科學(xué)工程系視覺(jué)幾何組（visual geometry group，VGG）提出的VGG19進(jìn)行預(yù)訓(xùn)練，并將它們作為模型的特征編碼器；Zhu等［13］在腦膜瘤術(shù)前分級(jí)的研究中，將Xception網(wǎng)絡(luò)［14］作為編碼器在ImageNet數(shù)據(jù)庫(kù)中預(yù)訓(xùn)練，并從卷積網(wǎng)絡(luò)的最后一層獲得2 048個(gè)特征圖，通過(guò)最大池化的方式將每個(gè)特征圖轉(zhuǎn)換為對(duì)應(yīng)的特征值。

3.2 特征融合與篩選

特征融合通過(guò)將深度學(xué)習(xí)特征與傳統(tǒng)影像學(xué)特征（如影像組學(xué)特征、體素值特征等）或臨床量表參數(shù)相結(jié)合，以提升DLR模型在診斷中的準(zhǔn)確度。特征篩選通過(guò)篩選穩(wěn)定特征、刪除冗余特征，有助于提升診斷模型的魯棒性。例如，Lao等［15］在使用DLR方法預(yù)測(cè)多形性膠質(zhì)母細(xì)胞瘤患者生存率的研究中，先后采用4個(gè)步驟進(jìn)行特征篩選：① 首先通過(guò)“inter-rater”分析［16］，對(duì)特征進(jìn)行穩(wěn)定性篩選；② 計(jì)算每個(gè)特征的中值絕對(duì)偏差（median absolute deviations，MAD）［17］，MAD等于0的特征被刪除；③ 通過(guò)一致性指數(shù)（concordance index，C-index）［18］來(lái)選擇具有預(yù)后預(yù)測(cè)價(jià)值的特征，其中C-index≥0.580的特征被認(rèn)為是有預(yù)測(cè)價(jià)值的；④ 通過(guò)相關(guān)性分析移除高度相關(guān)的特征來(lái)進(jìn)一步刪除冗余特征。

3.3 建立應(yīng)用模型

在診斷模型構(gòu)建階段，研究者大多采用機(jī)器學(xué)習(xí)模型，如支持向量機(jī)（support vector machines，SVM）、隨機(jī)森林（random forest，RF）等。Yin等［19］在骶骨腫瘤良惡性預(yù)測(cè)的研究中用不同的分類(lèi)器［RF、SVM、邏輯回歸（logistic regression，LR）和k最鄰近法（k-nearest neighbor，KNN）］構(gòu)建多種分類(lèi)診斷模型，并在研究中比較各自的性能差異。

4 DLR在腫瘤診斷中的應(yīng)用

目前，DLR模型已成功地應(yīng)用于腫瘤的多個(gè)方面，例如診斷［11，19-27］、分期分型預(yù)測(cè)［10，13，28］、生存預(yù)后評(píng)估［12，15，29-31］等。表1列舉了DLR方法在腫瘤診斷中的多種研究和應(yīng)用。

4.1 腫瘤診斷

活體組織的病理學(xué)檢查是腫瘤良惡性診斷的金標(biāo)準(zhǔn)。但是由于活檢具有侵入性風(fēng)險(xiǎn)，因此基于醫(yī)學(xué)影像的非侵入性診斷備受關(guān)注。

現(xiàn)有的DLR研究囊括了在肺、肝臟、乳腺等不同器官中的腫瘤診斷。例如，Xie等［21］使用LIDC-IDRI公開(kāi)數(shù)據(jù)集中1 018個(gè)實(shí)例作為實(shí)驗(yàn)數(shù)據(jù)，融合紋理、形狀和深度學(xué)習(xí)特征構(gòu)建分類(lèi)器，對(duì)肺結(jié)節(jié)的良惡性進(jìn)行診斷，其操作特征AUC達(dá)到0.97；Zhang等［24］分別基于超聲圖像和彈性剪切波圖像對(duì)106例乳腺癌患者和318例健康對(duì)照人群進(jìn)行診斷分類(lèi)，DLR方法在兩種圖像中都得到最佳結(jié)果，其AUC均為0.99。DLR方法在一些相對(duì)少見(jiàn)的腫瘤的診斷研究中也展現(xiàn)出其價(jià)值。Li等［11］基于MRI建立的DLR模型用于預(yù)測(cè)151例低級(jí)別膠質(zhì)瘤患者IDH1突變狀態(tài)，使用相同的數(shù)據(jù)集，基于影像組學(xué)方法的AUC為0.86，而DLR方法的AUC為0.92。基于多模式MRI的DLR方法的AUC提升為0.95。上述研究結(jié)果表明，DLR是能夠從醫(yī)學(xué)圖像中提取深度信息的有效方法，可提升對(duì)腫瘤診斷的能力。

4.2 腫瘤分期分型預(yù)測(cè)

腫瘤的分型、分級(jí)和分期是評(píng)價(jià)腫瘤生物學(xué)行為的重要手段，對(duì)指導(dǎo)個(gè)體化治療方案的制訂和療效預(yù)測(cè)有著重要的作用［32］?，F(xiàn)有的腫瘤分期方法存在著因人眼視覺(jué)差異而導(dǎo)致分期結(jié)果不一致的主觀性缺陷，利用深度學(xué)習(xí)技術(shù)自主學(xué)習(xí)組織層面上的特征可有效地克服這一缺陷，有助于腫瘤的分期分型預(yù)測(cè)。Zheng等［10］基于超聲的DLR方法對(duì)早期乳腺癌患者腋窩淋巴結(jié)狀態(tài)進(jìn)行術(shù)前預(yù)測(cè)，AUC為0.90，這提供了一種非侵入性成像技術(shù)，可用于預(yù)測(cè)早期乳腺癌患者的腋窩淋巴結(jié)轉(zhuǎn)移程度。未來(lái)結(jié)合多參數(shù)、多模式MRI的DLR可望為頭頸部惡性腫瘤的分期作出更加準(zhǔn)確的預(yù)測(cè)和評(píng)估。

4.3 患者生存預(yù)后評(píng)估

腫瘤部位轉(zhuǎn)移性淋巴結(jié)的范圍和浸潤(rùn)程度對(duì)指導(dǎo)手術(shù)具有重要意義，也是與患者生存、局部復(fù)發(fā)等密切相關(guān)的預(yù)后指標(biāo)，因此對(duì)轉(zhuǎn)移性淋巴結(jié)的預(yù)測(cè)至關(guān)重要［33］。目前，DLR方法也被應(yīng)用于此領(lǐng)域。例如，Lao等［15］通過(guò)遷移學(xué)習(xí)提取深度學(xué)習(xí)特征結(jié)合傳統(tǒng)影像學(xué)特征預(yù)測(cè)多形性膠質(zhì)母細(xì)胞瘤患者的整體生存狀況，建立Cox模型進(jìn)行生存分析，使兩種特征組合預(yù)測(cè)C-index達(dá)0.74，表明其能夠作為膠質(zhì)母細(xì)胞瘤患者的整體生存預(yù)測(cè)和患者分層的預(yù)后成像特征。

5 總結(jié)與展望

深度學(xué)習(xí)影像組學(xué)方法將深度學(xué)習(xí)網(wǎng)絡(luò)與傳統(tǒng)分類(lèi)模型或回歸模型相結(jié)合，構(gòu)建腫瘤分類(lèi)診斷與預(yù)后預(yù)測(cè)模型，既克服了傳統(tǒng)影像組學(xué)自動(dòng)化和標(biāo)準(zhǔn)化程度低、特征提取步驟繁瑣等問(wèn)題，又進(jìn)一步提升了腫瘤分類(lèi)診斷及預(yù)后的準(zhǔn)確性和可靠性。

深度學(xué)習(xí)影像組學(xué)是醫(yī)學(xué)影像結(jié)合人工智能領(lǐng)域中的一項(xiàng)新技術(shù)，其在腫瘤早期診斷鑒別、分期分型預(yù)測(cè)、生存預(yù)后評(píng)估等領(lǐng)域具有廣闊的臨床應(yīng)用前景。但現(xiàn)有方法在臨床推廣中還存在一些局限：首先，基于DLR方法所提取的深度影像學(xué)特征缺乏可解釋性，未來(lái)對(duì)于影像學(xué)特征的可解釋性研究將有助于進(jìn)一步提升DLR方法在臨床應(yīng)用中的價(jià)值；其次，目前對(duì)于DLR方法的研究大多局限于腫瘤的診斷。該方法在其他領(lǐng)域，如神經(jīng)影像中的應(yīng)用價(jià)值有待進(jìn)一步探究。

隨著大數(shù)據(jù)、深度學(xué)習(xí)技術(shù)的不斷發(fā)展，DLR的應(yīng)用領(lǐng)域?qū)⒉粩鄶U(kuò)展，DLR在臨床實(shí)踐和研究中的價(jià)值也將進(jìn)一步凸顯。