魏 煒 劉振宇 王 碩 田 捷#*

1(西安電子科技大學生命科學技術(shù)學院，西安 710126)2(中國科學院自動化研究所，中國科學院分子影像重點實驗室，北京 100190)3(西安工程大學應用技術(shù)學院，西安 710048)

引言

影像組學(radiomics)的概念于2012年由荷蘭學者Lambin教授提出[1]，是一種新興的利用醫(yī)學影像大數(shù)據(jù)進行定量分析預測的有效方法。應用新興的大數(shù)據(jù)挖掘等技術(shù)，提取醫(yī)學影像中肉眼無法識別的深層定量特征，分析影像特征與臨床數(shù)據(jù)及基因數(shù)據(jù)間的關聯(lián)，以建立癌癥預測模型，不僅能夠自動進行疾病的分期分型，還能對患者的生存期進行預測。影像組學方法為腫瘤學的決策支持提供了強大的工具[2]，因其對醫(yī)學影像信息的深入挖掘，對腫瘤的早期診斷、預后預測和療效評估起到重要的作用[3]，基于醫(yī)學大數(shù)據(jù)影像的影像組學分析已成功地應用于腫瘤學的研究[4]，使腫瘤學家能夠在腫瘤檢測分割[5-7]、診斷[8-12]、表型亞型[8，13-16]、治療反應評估[17]和預后分析[18]中提供更加個性化的醫(yī)療。2017年Nature封面文章[19]和2018年Cell封面文章[20]均有影像組學領域的重要代表性研究成果。

結(jié)直腸癌是我國常見的惡性腫瘤之一，其發(fā)病人數(shù)排名第5位(在男性中排名第5位，在女性中排名第4位)，同時每年致死人數(shù)排名第5位(在男性和女性中均排名第5位)，且發(fā)病率和死亡率逐年上升[21]。然而在美國，雖然結(jié)直腸癌發(fā)病人數(shù)排名第3位，死亡人數(shù)排名第2位，但是其5年生存率高達65%，且其發(fā)病人數(shù)和致死人數(shù)逐年下降[22]。因此，在我國開展結(jié)直腸癌診療及預后研究至關重要，這能夠改善患者的預后。影像組學技術(shù)的發(fā)展為研究這一課題提供了新的機遇和方法，近年來，該技術(shù)在結(jié)直腸癌的術(shù)前、術(shù)中和術(shù)后各個階段均涌現(xiàn)出階段性的研究成果，覆蓋了結(jié)直腸癌診療的全過程[23-26]。因此，就影像組學技術(shù)及其在結(jié)直腸癌中的研究現(xiàn)狀作一綜述。

1 影像組學方法

影像組學定義為提取、分析和建模與預測目標相關的高維醫(yī)學圖像特征，比如臨床終點或基因特征。影像組學研究可分為5個階段：數(shù)據(jù)選擇、醫(yī)學成像和分割、特征提取和特征選擇、探索性分析和建模、評估研究質(zhì)量等[2]。

1.1 數(shù)據(jù)選擇和分析

影像組學分析始于影像的選擇、感興趣區(qū)域(region of interest，ROI)的確定和期望預測的目標事件，即確定要利用何種醫(yī)學影像解決何種臨床問題。對原發(fā)性腫瘤進行分析，并與現(xiàn)有的治療結(jié)果(如生存)聯(lián)系起來。影像組學可以對腫瘤區(qū)域、轉(zhuǎn)移性病變以及正常組織進行分析，對這些區(qū)域的分析可能影響治療策略。影像組學分析可應用于臨床上任何產(chǎn)生圖像的事件中(如CT、MR、PET、超聲等)。通過建立影像大數(shù)據(jù)庫，將數(shù)以萬計的海量影像數(shù)據(jù)存儲起來，形成龐大、快速的醫(yī)療保健網(wǎng)絡[2，27]。

1.2 醫(yī)學成像和分割

當確定了臨床問題、影像類型和ROI后，需要進行醫(yī)學成像，采用不同的機器或不同的參數(shù)均會對結(jié)果產(chǎn)生影響，因此需要對原始圖像進行歸一化處理。隨后進行的分割分為自動分割和手動分割兩種方式：自動分割依靠算法自動進行，可消除主觀錯誤，但目前在各種疾病中均無較為成熟的自動分割算法；目前常用的是由影像科醫(yī)生進行手動分割來確定ROI，分割軟件常用itk-SNAP(www.itksnap.org)，但其受主觀因素影響較大。多種方式分割(multi-segmentation)是消除分割不穩(wěn)定性的最好方法，主要有：由不同的醫(yī)生進行分割、對分割添加噪聲、利用不同的呼吸周期進行多次分割等[28]。

1.3 特征提取和選擇

影像組學的關鍵在于高通量特征的提取。目前主要的提取方法均以2014年Aerts發(fā)表在NatureCommunications[4]的方法為基礎改進而來，大致可歸納為4組：第1組，腫瘤強度特征；第2組，形狀特征；第3組，紋理特征；第4組，小波特征。第1組用一階統(tǒng)計量計算出量化的腫瘤強度特征，從腫瘤體素強度直方圖計算求得；第2組包括基于腫瘤形狀的特征，如腫瘤的體積、表面積等；第3組由紋理特征組成，在腫瘤內(nèi)的所有三維方向上計算，從而得出每個體素與周圍體素相對的空間位置；第4組從原始圖像的小波分解中計算強度和紋理特征，從而提取腫瘤內(nèi)不同頻段上的特征。影響影像組學特征的因素包括圖像的預處理(濾波或者灰度值的離散化)、圖像重建等。因為影像組學提取了高維特征，所以為防止過擬合，需要選出與目標結(jié)果緊密關聯(lián)的特征，并刪除不穩(wěn)定的特征，保留最主要的特征。其主要算法是機器學習理論中特征選擇的算法，如LASSO(least absolute shrinkage and selection operator)回歸、遞歸特征消除(recursive feature elimination，RFE)、最小冗余最大相關性(minimum redundancy maximum correlation，mRMR)、主成分分析(principal component analysis，PCA)等。此外，特征的命名、特征公式的定義、使用的編程軟件，都會對影像組學特征的不一致造成影響[29]。因此，特征的實現(xiàn)步驟、特征的命名規(guī)則、編程軟件的使用以及相應的算法，都應進行規(guī)范及標準化。

1.4 探索性分析與建模

影像組學特征分析與建模是將選出的影像組學特征建立預測模型的步驟，考慮到模型的全局性，因此臨床信息、治療信息以及生物信息或基因信息等都應被納入影像組學分析中。常用的模型有l(wèi)ogistic回歸、支持向量機(support vector machine，SVM)、隨機森林(random forest)等，生存分析模型則通常為Cox比例風險模型。不同的建模方法具有各自不同的局限性，例如：logistic回歸要考慮特征的獨立性，貝葉斯網(wǎng)絡要考慮特征的離散化，深度學習要考慮網(wǎng)絡配置的依賴性等。一個好的影像組學研究，應嘗試多種建模方法[2],并且比較不同算法的優(yōu)劣，表現(xiàn)良好的特征應在不同分類器上均能產(chǎn)生較好的結(jié)果。

1.5 研究質(zhì)量和評估

未經(jīng)驗證評估的模型其價值是有限的，驗證是完整影像組學分析不可或缺的組成部分。所有模型必須進行內(nèi)部驗證，在條件允許的情況下，應再進行外部驗證(多中心驗證)。若預測模型缺乏對其性能的標準化評估，則不可用于臨床決策[30]。質(zhì)量評估除了驗證模型外，還要保證研究的可復現(xiàn)性，而且模型的校準曲線(calibration curve)應該通過Hosmer-Lemeshow檢驗并表現(xiàn)良好(P>0.05)。

2 基于深度學習的影像組學

近年來，出現(xiàn)了基于深度學習[31-32]的影像組學算法[5,19-20]。它與傳統(tǒng)影像組學算法不同，由模型自動學習來提取和選擇特征并進行預測，因此能更加全面、更深層次地挖掘影像的信息。

深度學習是一大類算法的總稱，并不是某一種模型，只要是用比較深的神經(jīng)網(wǎng)絡結(jié)構(gòu)，都可以稱之為深度學習。它包含很多種模型，醫(yī)學影像現(xiàn)在常用的有3類，即卷積神經(jīng)網(wǎng)絡[33](convolutional neural network，CNN)、生成對抗模型[34](generative adversarial networks，GAN)和稀疏自編碼器[35](sparse auto-encoder，SAE)。卷積神經(jīng)網(wǎng)絡(CNN)是直接從學習圖像到標簽的映射，是一個端到端的模型，因此不再需要進行單獨的圖像分割，并且提取特征和選擇特性步驟都可省略，其輸入是圖像而輸出則是預測值。生成對抗模型跟CNN相比有不同之處，其包含兩個CNN，一個是生成網(wǎng)絡，另一個是判別網(wǎng)絡，這兩個網(wǎng)絡會互相博弈并一起訓練，最終達到動態(tài)平衡。稀疏自編碼器是一種無監(jiān)督學習，僅僅是學習圖像的稀疏表示，試圖找到圖像本質(zhì)的特征，這些特征都可以反映圖像，但不與任何標簽直接相關。這3種模型有共同之處：首先，它們都是包含卷積和池化的堆疊；其次，也不再需要病灶單獨分割和提取或選擇特征；最后，也不再需要單獨的分類器。3種模型也有不同之處：因為不同深度學習模型的拓撲結(jié)構(gòu)和損失函數(shù)不一樣，有的模型也會提出新的計算層，所以它們就各有優(yōu)劣和適用場景。

跟傳統(tǒng)的影像組學相比，基于深度學習的影像組學主要有以下優(yōu)勢：首先，傳統(tǒng)的影像組學特征都是通用的，缺乏對特定課題的針對性，比如形狀特征，在結(jié)直腸癌這種會有形變的病灶上就不太適用；其次，需要顯示的計算公式，明確寫出計算公式，因此只能有限地定義的特征。而深度學習則不同，主要通過卷積神經(jīng)網(wǎng)絡來提取特征，特征從數(shù)據(jù)中學習得到，因此更具有針對性；通過修改網(wǎng)絡的結(jié)構(gòu)，可以提取不同的特征，方式非常靈活。

卷積神經(jīng)網(wǎng)絡的優(yōu)勢來源于卷積運算和神經(jīng)網(wǎng)絡結(jié)構(gòu)，因為卷積運算具有很強的特征提取能力，可學習的卷積核能自適應地提取與任務相關的特征。可以通過改變卷積核來得到各種不同的特征，比如卷積和拉普拉斯核可以提取高頻特征，高斯核就可以提出低頻特征。神經(jīng)網(wǎng)絡結(jié)構(gòu)具有很強的模型表達能力，可實現(xiàn)復雜問題的分類。

一個典型深度學習模型的特征，低層級包含著強度特征，中間層級包含的是不同頻率和方向的邊緣特征，高層級包含復雜的形狀特征。這些特征對應著傳統(tǒng)影像組學方法的紋理和小波特征，因此深度學習就天然地包含了大量傳統(tǒng)影像組學特征，得益于神經(jīng)網(wǎng)絡表達能力非常強。眾多線性模型均可通過神經(jīng)網(wǎng)絡進行表示，比如常用的Logistic回歸、LASSO、SVM等，都可以通過轉(zhuǎn)換寫成神經(jīng)網(wǎng)絡的形式。

然而深度學習也存在一些問題，主要是兩大方面：第一是全連接層參數(shù)比較多，第二是網(wǎng)絡訓練時輸入端梯度容易消散。解決的方案是：通過減少網(wǎng)絡的參數(shù)來降低模型復雜度，優(yōu)化梯度流動，比如VGG、Inception、殘差網(wǎng)和Dense net。

為了深入探討影像組學原理及應用，下面以其在結(jié)直腸癌診療中的應用研究為例，分別介紹影像組學技術(shù)在結(jié)直腸癌術(shù)前、術(shù)中和術(shù)后3個不同階段的研究成果。

3 術(shù)前放化療效果預測

直腸癌患者通常會先進行新輔助放化療再進行手術(shù)[36-37]，但新輔助放化療后是否達到病理完全緩解(pathologic complete response，PCR)在術(shù)前卻不得而知，這個信息只有在術(shù)后才能獲得。有15%～27%的局部進展期患者會達到PCR[38-39]，研究表明這部分患者并不需要再進行手術(shù)[40-42]。為了在術(shù)前確定這一部分病人，避免其過度治療和實施手術(shù)帶來的巨大痛苦，北京大學腫瘤醫(yī)院孫應實教授團隊聯(lián)合中國科學院自動化研究所分子影像重點實驗室田捷教授團隊，于2017年在腫瘤學知名期刊ClinicalCancerResearch(CCR)上發(fā)表研究論文，試圖在術(shù)前應用影像組學技術(shù)，找出達到PCR局部進展期的直腸癌患者[17]。

該研究入組接受新輔助放化療的局部進展期直腸癌患者222例，其中152人作為訓練集訓練模型，另外70人作為驗證集驗證模型性能。基于新輔助放化療前后兩次的T2加權(quán)成像(T2WI)和彌散加權(quán)成像(diffusion-weighted imaging，DWI)，分別提取2 252個影像組學特征，影像組學特征提取方案參照Hugo Aerts發(fā)表在期刊NatureCommunications[4]的方法實施；特征選擇算法先使用雙樣本t檢驗降維，然后再應用LASSO回歸進行特征選擇；隨后應用SVM分類器模型建立radiomics signature，最后使用radiomics signature和新輔助治療后病灶直徑，建立多元Logistic回歸影像組學預測模型進行PCR狀態(tài)的預測。最終，有30個影像組學特征被選出用來建立radiomics signature，聯(lián)合新輔助治療后病灶直徑建立的Logistic回歸模型AUC(area under curve)在驗證集上高達0.976(95%置信區(qū)間，0.918 5～0.971 1)，預測PCR正確率高達94.3%(95%置信區(qū)間，91.9%～97.1%)，并且其校準曲線表現(xiàn)良好，決策曲線分析也說明其具有臨床應用價值。

此研究是一項標準的影像組學研究，從臨床問題的選擇、ROI勾畫、特征提取、特征選擇到建模分析，均符合影像組學研究各個環(huán)節(jié)的要求，并且取得了滿意的結(jié)果，已初步具有臨床應用價值。它不僅是一項完全意義上的影像組學研究，而且切實解決了臨床實踐中的關鍵問題，是一項源于臨床又回歸臨床的研究。

此前，Ke等已經(jīng)應用影像組學針對此課題進行了研究，共入組48名患者，并在T1WI、T2WI、DWI和動態(tài)增強成像(dynamic contrast-enhanced，DCE)提取103個影像組學特征，應用人工神經(jīng)網(wǎng)絡進行分類，最終得到0.71～0.79的AUC[43]。

今年初，Natally等又針對此問題進行研究，并將成果發(fā)表在影像學頂級期刊Radiology上。該研究共入組114名患者(其中18人PCR)，基于T2WI提取影像組學特征，并用隨機森林分類預測；最終AUC達到0.93，敏感性100%，特異性91%[26]。

4 手術(shù)期治療方案決策

4.1 CT影像預測淋巴結(jié)轉(zhuǎn)移決定淋巴結(jié)清掃

準確識別淋巴結(jié)在結(jié)直腸癌患者中的轉(zhuǎn)移程度，對治療策略的確定至關重要。若能在術(shù)前確定患者沒有淋巴結(jié)轉(zhuǎn)移，則無需在術(shù)中進行淋巴結(jié)清掃[44-46]。廣東省人民醫(yī)院劉再毅教授團隊聯(lián)合中國科學院自動化研究所分子影像重點實驗室田捷教授團隊，于2016年在腫瘤學權(quán)威期刊JournalofClinicalOncology(JCO)發(fā)表論文[47]，應用影像組學技術(shù)對此問題進行了研究。

該研究共入組結(jié)直腸癌患者526人，其中2007年1月—2010年4月入院的326人作為訓練集訓練模型，另外2010年5月—2011年12月入院的200人作為獨立驗證集?；谛g(shù)前門靜脈期CT影像提取影像組學特征，提取方法參照Aerts發(fā)表在期刊NatureCommunications[4]的方法實施，并使用LASSO回歸選擇與淋巴結(jié)轉(zhuǎn)移密切相關的影像組學特征，隨后建立radiomics signature。最后加入CT報告中的淋巴結(jié)狀態(tài)和癌胚抗原(CEA)，建立多元Logistic回歸模型并生成影像組學諾模圖，應用校準曲線和決策曲線分析(decision curve analysis，DCA)來評價模型。該研究最終經(jīng)LASSO回歸選出24個影像組學特征，建立了radiomics signature，并利用radiomics signature、CEA和CT報告中的淋巴結(jié)狀態(tài)，建立多元Logistic回歸模型，得到的C-index在訓練集上為0.736、驗證集上為0.778，校準曲線表現(xiàn)良好，Hosmer-Lemeshow檢驗P=0.916。決策曲線分析也表明，影像組學諾模圖有臨床應用價值。

這項研究成果在我國影像組學研究領域具有里程碑意義，是我國首次在國際權(quán)威期刊上發(fā)表影像組學研究的論文。該研究按照時間劃分訓練集和驗證集，用先入院治療的病例資料建立模型，后入院治療的病例作為驗證，提高了模型的泛化能力。以上兩篇論文的發(fā)表證明，影像組學技術(shù)不僅可以作為輔助工具幫助醫(yī)生進行臨床決策，還預示著其可能解決某些目前尚無有效應對方法的難題，從而改變手術(shù)方案。

4.2 CT影像預測KRAS/NRAS/BRAF突變

美國國家綜合癌癥網(wǎng)絡(National Comprehensive Cancer Network，NCCN)指南建議，結(jié)直腸癌患者都應進行KRAS/NRAS/BRAF突變檢測，因為這3種突變都預示著對西妥昔單抗和帕尼單抗缺乏反應[48-51]。因此，在治療前或治療期間，KRAS/NRAS/BRAF突變狀態(tài)的確定對預測其療效和實現(xiàn)個性化診療至關重要。中國科學院自動化研究所分子影像重點實驗室田捷教授團隊聯(lián)合中國醫(yī)學科學院腫瘤醫(yī)院趙心明主任團隊針對此問題進行了研究，并于2018年將成果發(fā)表在影像學期刊EuropeanRadiology上[23]。

該課題共入組118名患者，其中61人作為訓練集，另外56人作為驗證集?；谛g(shù)前CT影像提取346個影像組學特征，并實施RELIEFF和SVM算法降維分類；最終AUC為0.869，敏感性和特異性分別為0.757和0.833。

5 術(shù)后生存期預測分析

5.1 直腸癌無進展生存期預測

盡管近年來醫(yī)療水平不斷提高，但是局部進展期直腸癌患者的無病生存期(disease-free survival，DFS)并未得到延長[52-54]，遠處轉(zhuǎn)移是患者治療失敗的主要原因。對于高危患者，增加系統(tǒng)治療可降低轉(zhuǎn)移風險并提高生存率。因此，對患者進行術(shù)前風險分層分析，有助于選擇個性化的治療策略，改善患者的預后。為此，中國醫(yī)學科學院腫瘤醫(yī)院張紅梅教授團隊與中國科學院自動化研究所分子影像重點實驗室田捷教授團隊進行了相關研究，并于2018年在影像學期刊JournalofMagneticResonanceImaging(JMRI)共同發(fā)表研究成果[55]。

該回顧性研究共納入108名經(jīng)直腸系膜全切除手術(shù)的局部進展期的直腸癌患者，按照1∶1劃分為訓練集和驗證集，即54人作為訓練集訓練模型，另外54人作為驗證集驗證模型；隨訪則按照指南進行了標準隨訪，起點事件是直腸系膜全切除手術(shù)，終點事件是復發(fā)、轉(zhuǎn)移或死亡?；谛g(shù)前MR影像手工分割ROI后提取485個影像組學特征，期特征提取方法也是參照Aerts發(fā)表在NatureCommunications[4]的方法實施的；特征選擇先應用單特征分析中的組內(nèi)相關系數(shù)(intraclass correlation coefficient，ICC)，然后再用LASSO回歸進行特征選擇；隨后利用選出的影像組學特征，建立Cox比例風險回歸預后模型。最終，radiomics signature的一致性指數(shù)(concordance index，C-index)為0.767(95%置信區(qū)間，0.72～0.86),其3年時間依賴AUC為0.827，結(jié)合臨床特征后建立的Cox模型C-index和AUC均有所提高，分別為0.788(95%置信區(qū)間，0.72～0.86)和0.837。將radiomics signature中位數(shù)作為cut-off，將病人分為高風險組和低風險組，log-rank檢驗P<0.001。

該研究雖然與本文前兩節(jié)的研究在方法上大致相同，但是卻有一個明顯的創(chuàng)新點，即之前的研究是以診斷為目標的，不論是淋巴結(jié)是否轉(zhuǎn)移，還是在新輔助治療后是否達到PCR，均是應用影像組學技術(shù)檢測已經(jīng)發(fā)生的事，而這項研究則是預測生存期，表明影像組學技術(shù)還可以挖掘醫(yī)學影像中人眼無法識別的預后信息。

5.2 PET/CT對患者進行風險分層

確定需要更為積極治療和隨訪的患者，對其實施個性化診療，以及識別有助于預測療效和不良預后的腫瘤特征是至關重要的。2017年，Lovinfosse等在影像學知名期刊EuropeanJournalofNuclearMedicineandMolecularImaging上發(fā)表文章，探討了基于PET/CT的影像組學特征對預后的意義[25]。

該研究提取了SUVmax、SUVmean、MTV、TLG和紋理等特征，建立單因素和多因素Cox模型，分析了P<0.05的特征預后性能(特異性生存DSS、無進展生存期DFS和總生存期OS)，直接證明了基于PET/CT影像組學特征對結(jié)直腸癌預后有鑒別意義。

6 總結(jié)和展望

綜上所述，影像組學經(jīng)過近年來的發(fā)展，已形成了一套完整的理論體系和技術(shù)架構(gòu)，其通過提取高維特征全面深入挖掘醫(yī)學影像中的深層次信息，全面表征腫瘤的異質(zhì)性，并且已在許多疾病領域取得可喜的成果。在本文中，以我國常見癌種結(jié)直腸癌為例，介紹了影像組學理論及技術(shù)在結(jié)直腸癌診療的術(shù)前、術(shù)中和術(shù)后不同環(huán)節(jié)的研究成果，證明了其不僅是一種非侵入的檢查手段，而且是一種可以降低醫(yī)療成本的方法，還有可能是改善患者預后的輔助決策工具。術(shù)前通過對新輔助放化療的療效評估明確是否達到PCR可以減少部分患者的過度治療，明確淋巴結(jié)是否轉(zhuǎn)移則可以輔助醫(yī)生決定術(shù)中方案，而術(shù)后風險預測則可以通過加強治療以提升部分患者的生存期。

目前，影像組學技術(shù)在發(fā)展過程中還存在以下難點：

1)數(shù)據(jù)標準化。對于數(shù)據(jù)和特征的命名應統(tǒng)一化，以便推動整個研究領域的互用性。各個中心在獲取數(shù)據(jù)時，應考慮統(tǒng)一命名的原則，這樣才能使數(shù)據(jù)的管理更加標準化。

2)數(shù)據(jù)共享。研究人員和醫(yī)院都應有將多中心和多國家的數(shù)據(jù)被整合在一起的意識，但數(shù)據(jù)整合有以下的一些阻礙：人力資源不足，整合數(shù)據(jù)耗時耗力；多國家數(shù)據(jù)的收集有語言和文化的差異；數(shù)據(jù)存儲方式不同，不便統(tǒng)一；數(shù)據(jù)隱私性和安全性需要特殊考慮。

3)建立大數(shù)據(jù)庫。應從獲取樣本數(shù)量、樣本的多樣性、收集速度和真實性4個方面來考慮，缺一不可。

隨著人工智能技術(shù)的發(fā)展，基于海量數(shù)據(jù)樣本的影像組學技術(shù)不僅可以在結(jié)直腸癌診療的各個環(huán)節(jié)發(fā)揮其作用，而且還可能在其他癌種甚至是心腦血管等非癌癥疾病研究領域取得成績，從而在更大程度上推動個性化醫(yī)療和精準醫(yī)療的發(fā)展。