余凈純，郭明星，韓 靖，張小鷹，陳漢威，王 浩

1華南師范大學-番禺區(qū)中心醫(yī)院基礎與轉(zhuǎn)化醫(yī)學聯(lián)合實驗室，廣東 廣州 511400；2華南師范大學生命科學學院，廣東 廣州 510630；3番禺區(qū)中心醫(yī)院病理科，廣東 廣州 511400

病理診斷是一種基于圖像信息的診斷方式，被譽為疾病診斷的“金標準”，通常由病理學家在載玻片上利用顯微鏡觀察染色標本，并通過病理學知識以及自身的經(jīng)驗做出診斷結果。隨著大數(shù)據(jù)的發(fā)展，人們嘗試將載玻片上的染色圖片轉(zhuǎn)化為一整張圖片保存為數(shù)字格式圖像，即全切片圖像（WSI）。數(shù)字病理學和顯微圖像在疾病診斷決策中起著重要作用，以確保臨床能選擇更好的治療措施。

人工智能可以通過深度學習的方法實現(xiàn)，深度學習是機器學習中一種先進且類似于人類分析問題的方法，機器學習為數(shù)據(jù)分析提供了自動化方式的WSIs。機器學習的框架在過去十幾年實現(xiàn)飛速發(fā)展，從傳統(tǒng)的支持向量機算法和線性回歸、邏輯回歸、決策樹、貝葉斯模型等，逐步發(fā)展到神經(jīng)網(wǎng)絡，并出現(xiàn)了更新更復雜的深度學習算法，例如卷積神經(jīng)網(wǎng)絡（CNN）、遞歸神經(jīng)網(wǎng)絡、生成網(wǎng)絡（GAN）、轉(zhuǎn)移學習和注意力機制等，運用這些模型作為參數(shù)結構進行優(yōu)化的機器學習算法。人工智能不僅能利用現(xiàn)有數(shù)據(jù)，還可以通過不斷讀取新數(shù)據(jù)以獲得更好的特征，并利用新數(shù)據(jù)循環(huán)往復地更新迭代現(xiàn)有模型的機器學習算法。學習是為了更好地對新數(shù)據(jù)進行探索，而探索是為了獲取數(shù)據(jù)進行更好的學習。

臨床醫(yī)學中最常用的方式包括Ⅹ射線攝影、CT、MRI、超聲和數(shù)字病理。隨著圖像采集過程相關的技術發(fā)展，成像設備在速度和分辨率方面都有所提高。數(shù)字病理也稱為虛擬顯微鏡，是整個組織的數(shù)字化幻燈片的幻燈片掃描儀捕獲圖像部分的視野，高倍鏡下（通常是20或40倍）圖像按照原片縫合在一起建立一個高分辨率圖像，它可在電腦上顯示，可視化數(shù)字幻燈片更容易保存、共享和注釋，也可以用于遠程診斷或教學目的。既往研究已經(jīng)證實了用玻片進行整體玻片圖像分析在診斷性能上觀察者之間和觀察者內(nèi)部的一致［1-2］。數(shù)字病理圖像分析不僅限于視覺分析，還需要結合組學、醫(yī)囑、病史、實驗室結果等非結構化自由文本［3-4］。通過機器學習我們更能發(fā)現(xiàn)這其中微妙的聯(lián)系，并幫助病理學家為患者做出最佳的臨床決策。

近年來，數(shù)字病理方面的相關研究越來越多，目的在于解決病理學中冗雜重復的工作，提高診斷效率。2019年，有學者采用了CNN網(wǎng)絡構建了淋巴瘤診斷模型，準確率可達95%［2］。一項使用深度學習網(wǎng)絡診斷皮膚癌的研究中，研究小組使用臨床醫(yī)生認證的病理圖片成功診斷了皮膚癌關鍵的二分類問題，即角化細胞癌和良性脂溢性角化病，以及惡性黑色素瘤和良性痣，曲線下面積分別為0.96和0.94［5］。有學者結合卵巢腫瘤亞型的放射學和病理學特征，為受影響的患者開發(fā)最佳的治療范式［6］。多模態(tài)病理數(shù)據(jù)結合臨床信息以及影像學數(shù)據(jù)成為近幾年的熱點，通過深度學習提取出多維度的高維特征，豐富了特征的語義信息，這種多語義特征也使得數(shù)字病理與人工智能的結合有了更高層次的進展與飛躍。

深度學習算法中的很多網(wǎng)絡如U-NET［7-9］、CNN［2,10-13］等，以及經(jīng)典模型的算法更新［14-17］等，都已在醫(yī)學圖像中廣泛使用，并已被證明接近在人工處理的準確性，本文將對此展開詳細總結分析。

本文旨在總結近年來基于人工智能方法實現(xiàn)輔助臨床診斷的文獻：首先，介紹了數(shù)字病理的發(fā)展以及應用；其次，分析例舉近年來不同疾病類型診斷的方式和方法，解決了一些具體問題，并提出可能的解決方案；最后，總結了數(shù)字病理學發(fā)展中的挑戰(zhàn)和機遇。

1 病理到數(shù)字病理

WSI 的引入為自動識別組織病理特征提供了機會。WSIs系統(tǒng)以高分辨率將染色組織切片的全玻片數(shù)字化，幫助病理學家進行顯微檢查。圖像的質(zhì)量是最佳顯微解釋的關鍵。近年來，隨著能以高速率和出色的分辨率獲取數(shù)據(jù)的儀器不斷出現(xiàn)，數(shù)字圖像采集有了很大的改進［18］。充分利用WSIs為臨床服務，創(chuàng)造新的臨床輔助工具，隨著人工智能算法的發(fā)展，讓數(shù)字自動化病理分析成為可能。這種輔助工具在準確性、可重復性和客觀上超過目前的臨床方法，同時也為細胞病理、藥理作用、基因表達等提供了創(chuàng)新的見解。但WSIs是一些千兆字節(jié)的圖像，典型的分辨率為100 000×100 000像素，呈現(xiàn)出很高的形態(tài)差異，且常包含各種類型的偽影，這些客觀存在的問題也影響著深度學習技術的直接應用［19］。

1.1 常用組織病理實驗方法

病理切片的采集與重建病理圖像可分為組織學圖像和細胞學圖像，包括基本病理診斷H&E切片，特殊染色、免疫組化病理圖像，熒光原位雜交染色圖像等，這需要針對不同的病理切片制定規(guī)范的實驗流程及標準。本文主要總結免疫組化和H&E兩種病理診斷方法。病理學研究通常利用組織細胞制成切片，如臨床常規(guī)的H&E載玻片以及免疫組化載玻片，組織可視化通常是使用明亮長照明捕捉的。使用H&E表達組織樣本的形態(tài)學表征，而后者能夠針對特異性細胞標志物來檢測特異性細胞的改變（數(shù)量）、也可檢測細胞內(nèi)細胞因子的轉(zhuǎn)位（如active-caspase3和cleaved-caspase3的胞核和胞漿分布狀態(tài)）、組織中一些特異性蛋白的表達的量改變（通過圖像分析系統(tǒng)分析顏色深淺、分布的面積等綜合分析）。通常來說免疫組化染色對腫瘤患者的診斷（決定多種腫瘤的生物學特性）、預后以及選擇合適的全身治療均起著重要作用［20］。同一淋巴結病理切片圖示（圖1）。

1.2 和數(shù)字病理相關的研究

1.2.1 淋巴瘤診斷 淋巴瘤的診斷目前是病理學家基于對不同放大級別的組織切片進行的組織病理學檢查，主要依據(jù)基于H&E染色觀察到的形態(tài)學特征，結合淋巴細胞對免疫組化的特異性免疫染色。目前已有研究基于深度學習算法實現(xiàn)淋巴瘤的自動診斷［21］、圖像定量分析［22］和淋巴瘤特征分析［23］。淋巴瘤的診斷依賴于病理學家的專業(yè)知識，在濾泡性增生的情況下，必須清楚地區(qū)分濾泡性淋巴瘤和濾泡性增生，這兩種病變有時表現(xiàn)出非常相似的特征［24］。有研究顯示，采用CNN構建4個診斷類別的淋巴瘤診斷模型（圖2），采用H&E染色玻片的數(shù)字全片圖像，測試結果表明圖像的診斷準確率達到95%［2］。然而關于人工智能在淋巴瘤檢測中的應用研究仍局限于對特定腫瘤的陽性與陰性對比［25］。有利用深度學習算法和人工智能技術分別取彌大B細胞淋巴瘤、濾泡性淋巴瘤以及反應性淋巴樣增生的病變區(qū)H&E切片，用WISs系統(tǒng)制作全切片圖片進行剪裁，保存放大倍數(shù)為5、20、40倍的圖像塊，隨機分成測試集和訓練集，通過訓練后的交叉驗證，得到分類器的最佳準確率為97.0%；而相同情況下，病理學家使用相同處理數(shù)據(jù)集之后得到的最好結果為83.3%［21］。有研究提高了算法準確性以及提高診斷的效率，使用術前哨淋巴結活檢冰凍組織切片，使用CNN訓練分類模型的性能，由于高質(zhì)量的冰凍數(shù)據(jù)集數(shù)量有限，使用了Asan Medical Center的凍結數(shù)據(jù)集，驗證CAMELYON16遷移學習的有效性，證明了在有限數(shù)量的凍結面數(shù)據(jù)集上遷移學習增強模型性能的可行性［26］。以上利用人工智能實現(xiàn)的診斷大多數(shù)使用了H&E染色切片，通過細胞的外觀形態(tài)做出診斷。

1.2.2 免疫組化應用 通過免疫組化的檢查方式獲取數(shù)字病理圖像，為定量評估疾病的相關蛋白提供了準確的表達形式。用于診斷的免疫組化圖像往往是淋巴瘤等病理學的重要方面。在該方面的研究中，基于人工智能技術對Ki-67、CD8、CD30等抗體免疫組化因子的評分準確率越來越高。有學者利用深度學習技術對Ki-67進行評分，生成熱點圖以幫助病理學家快速進行Ki-67評分，結果提供了93%的準確率和0.91的F-score值［27］。有學者利用CD8等免疫組化圖像，在正則CNN上進行細胞計數(shù)，ConCORDe-Net網(wǎng)絡的優(yōu)點在于不需要明確標出大小不一核形狀參數(shù)，能夠自動準確進行細胞計數(shù)，并且細胞分類準確性達到96.5%［28］。單獨的免疫組化染色切片往往只能對特定的免疫細胞產(chǎn)生特異性反應，但是丟失了關于腫瘤核心或邊緣細胞的位置信息，所以通常此類研究用于病理診斷分析時會結合H&E以及多種免疫組化對組織進行組織病理學診斷。多重免疫腫瘤學的應用有助于多路分析染色切片，更快速更準確的分析多重生物標志物陣列。

1.2.3 癌癥診斷 一項關于肺癌的研究基于76例肺癌的Pap染色圖像，利用原始圖像和增強數(shù)據(jù)的兩種CNN模型進行訓練、提取特征，得到癌癥類型判斷的準確率為71.1%，同病理學家的分類準確性相當［29］。有研究利用TCGA組織病理H&E染色圖像，采用有監(jiān)督深度學習方法，訓練初期分類模型。該模型利用遷移學習，對少量圖像在模型上進行驗證和測試，測試圖像根據(jù)圖像的形態(tài)特征和免疫組化染色強度輸出正常組織、肺鱗癌或肺腺癌三種結果，曲線下面積達到0.97［30］，與病理學家診斷結果類似。

在肝腫瘤研究中，放射診斷以及病理診斷是最常用也是準確率最高的兩種方法。有學者采用基因組數(shù)據(jù)共享庫的組織病理學H&E 圖像來訓練神經(jīng)網(wǎng)絡（inception V3）進行自動分類，利用Matthews相關系數(shù)評價模型，結果證明該模型表現(xiàn)水平接近擁有5年經(jīng)驗的病理學家，對肝癌良惡性分級準確性達到96%，分化程度準確性達到89.6%［31］。利用機器學習算法，經(jīng)過大量的訓練后，自動化能力大大提高，能夠降低工作重復性并提高腫瘤識別效率。

在對于乳腺癌診斷中，有學者通過數(shù)字切片對乳腺癌的診斷進行了臨床驗證，在694例接受過短數(shù)字病理學培訓課程的乳腺?？撇±韺W家中，98.8%的病例顯示玻璃切片和數(shù)字切片讀數(shù)完全一致［32］。有學者介紹了機器學習技術，利用細針穿刺活檢樣本的數(shù)字化圖像來區(qū)分惡性和良性腫瘤［33］。此外，有研究已經(jīng)開發(fā)了算法來提供定量測量核的形狀和大小，這可以應用于不同的腫瘤亞型［34］。有學者構建了CNN，將乳腺癌WSIs圖像斑塊分為浸潤性導管癌和不浸潤性導管癌。他們對來自多個數(shù)據(jù)集的400張數(shù)字病理切片使用了手動注釋的區(qū)域標簽來訓練他們的模型，并在200張幻燈片上使用來自癌癥基因組圖譜的類似注釋以驗證其性能［35］，結果顯示像素級F1得分為75.86%。臨床背景結合影像學特征和活檢技術對建立乳腺淋巴瘤診斷至關重要［36］。乳腺淋巴瘤包括原發(fā)性乳腺淋巴瘤和繼發(fā)性乳腺淋巴瘤，二者具有非特異性的影像學特征，且彼此與其他乳腺惡性腫瘤的影像學表型重疊，單純應用臨床背景的成像結果會引起乳腺惡性腫瘤的懷疑。獲取適當?shù)幕顧z樣本進行病理學檢查評估，能夠防止診斷延誤并進行最佳亞型指導。

在癌癥診斷中，有學者在治療開始前或治療期間提供腫瘤表征的非侵入性生物標志物，使用病理組學參數(shù)作為宮頸癌患者的診斷和預后因素，結合放射組學幫助改善宮頸癌患者的診斷和預后［37］。越來越多的研究表明，病理組學作為癌癥診斷的金標準，結合放射組學無創(chuàng)且方便廣泛應用的影像方式，更加全面的提供了腫瘤特征，這種有價值的方法可以幫助改善癌癥患者的診斷、監(jiān)測和預后。

1.2.4 疾病預測和預后 在疾病預測方面，有研究發(fā)現(xiàn)通過免疫熒光法檢測OCT4、SOⅩ2和NANOG的高表達與其他癌癥（包括結腸癌、胃癌、直腸癌等）患者的OS較短有關，認為OCT4、SOⅩ2和NANOG的陽性表達與分化差和疾病晚期相關，OCT4和NANOG對HER2+BC患者的不良OS具有預測價值［38］。有研究采用了弱監(jiān)督深度學習方法，實現(xiàn)了腎細胞癌和非小細胞癌的淋巴結轉(zhuǎn)移檢測［12］。有學者通過數(shù)字圖像捕捉TILs和腫瘤細胞的密度和空間共定位，分析了發(fā)展預后評估疾病嚴重程度，得出可以預測早期非小細胞癌復發(fā)的可能性［39］。有學者利用數(shù)字病理實現(xiàn)了對神經(jīng)膠質(zhì)瘤的患者生存預測，在其中識別出與預后相關的重要結構，并且被病理學家用于分級［40］。但有關疾病預后的研究不僅局限于淋巴瘤的研究，在前列腺［41］、口咽癌［42］和腦腫瘤［43］中均有癌癥預測和預后分析。

1.2.5 其他病理研究 組織病理學中，為了區(qū)分組織學成分，可以通過H&E 觀察細胞水平和組織水平的特征。通常有腫瘤/上皮細胞（管狀形成）和有絲分裂細胞（有絲分裂計數(shù)）?，F(xiàn)階段使用機器學習決策支持評估增殖活性的一些挑戰(zhàn)已經(jīng)能夠被研究發(fā)表，例如在組織切片中檢測核分裂像有限數(shù)量的自動化方法［44-46］。2019年，有學者關注到玻片水平的核分裂評分，在有絲分裂檢測上的F1評分為0.65分［47］。有研究在兩個開放的乳腺癌組織病理數(shù)據(jù)集上使用基于人工智能的技術，提出了多階段有絲分裂細胞檢測方法，在ICPR2012數(shù)據(jù)集上準確率為0.876，F(xiàn)1評分為0.858，在ICPR2014數(shù)據(jù)集上準確率為0.848，F(xiàn)1評分為0.691，均高于既往研究［10］。無論是癌癥的分期還是有絲分裂的檢測，目的都在于根據(jù)組織病理學切片提示的信息，對患者進行診療幫助。結果預測模型根據(jù)風險對患者進行分層，有學者隨機抽取腫瘤內(nèi)圖像ROI內(nèi)帶注釋區(qū)域，訓練CNN生存模型［48］；也有人分割了9種組織類型，并所有類型訓練了生存模型［49］。

1.3 總結

由于WSIs系統(tǒng)的快速發(fā)展以及系統(tǒng)的可操作性，讓病理學家可以利用存儲的病理數(shù)據(jù)進行建模，以實現(xiàn)對不同疾?。ǚ伟?、乳腺癌、肝癌、子宮內(nèi)膜癌等）的診斷。針對免疫組化類型的研究，有望通過計算機視覺處理實現(xiàn)對多種免疫組化的分析，在一張圖像上獲得多重染色信息，還可以結合H&E綜合分析染色抗體所在位置和細胞整體形態(tài)。人工智能方法已被應用于腫瘤診斷、腫瘤亞型、腫瘤分級和預后，基于人工智能方法的數(shù)字病理學處理能做到和有類似水平病理學家的準確性，同時能滿足讀者使用時的性能，方便檢測和診斷［50］。人工智能在未來有很大機會為病理學家提供自動化的診斷工作，可以實現(xiàn)高準確率、高速度的預診斷流程，這也是人工智能研究者所期望的；并且，繼續(xù)提高模型泛化能力，通過訓練大量數(shù)據(jù)優(yōu)化模型參數(shù)，賦予可解釋性分析，以實現(xiàn)臨床應用一種模型，對多種疾病進行診斷。

2 人工智能在病理診斷領域的進展

隨著計算機軟硬件和基于數(shù)據(jù)驅(qū)動的人工智能方法的快速發(fā)展，深度學習在數(shù)字病理診斷中的應用已成為模式識別和人工智能領域的研究熱點之一［26,51］。將深度學習應用于基于數(shù)字病理圖像的輔助診斷，不僅可以提高疾病診斷的準確性和效率，還可以消除經(jīng)濟條件、地理環(huán)境和醫(yī)療基礎設施帶來的限制。數(shù)字病理學中，基于人工智能方法可以應用到ROI區(qū)域的檢測分割以及高層次的模式預測疾病診斷、反應預后等［52］。

人工智能在病理學中的診斷流程為：病理切片玻片通過計算機掃描儀被捕獲為全載玻片數(shù)字圖像，在WSIs系統(tǒng)的支持下，全幻燈片成像為用戶提供了一個擴展工具集的機會，包括數(shù)字注釋，快速導航/放大，以及計算機輔助查看和分析［53］。有學者與2017年開發(fā)了一個免費可用的開放源代碼的整張幻燈片圖像查看器QuPath［54］，它擴展了image-like功能到一個專門為整張幻燈片圖像設計的平臺。2021年，有研究意在連接病理學家、研究人員、人工智能開發(fā)人員和患者實現(xiàn)整個歐洲符合道德規(guī)范且受控的全切片成像平臺［55］。仍有大量學者正在為數(shù)字病理圖像的規(guī)范化統(tǒng)一化而努力。

2.1 數(shù)據(jù)集

基于人工智能技術的數(shù)字病理發(fā)展取得較好結果后，算法的優(yōu)化在不斷更新，也需要更多的有效數(shù)據(jù)集。通常數(shù)據(jù)集的構建也會因數(shù)據(jù)中機構特有的偏差而變得復雜，例如組織病理學中的染色和掃描［56-58］的特殊性。對于醫(yī)院和病理實驗室而言，收集有效的數(shù)據(jù)標注仍然是數(shù)字病理發(fā)展的障礙。標注常指對于特定組織和細胞的高亮表示或語義注釋，如組織區(qū)域的勾畫、圈出細胞核的位置和區(qū)分免疫組化的染色等。公開數(shù)據(jù)集的基本信息（表1）。

表1 公開的病理數(shù)據(jù)庫Tab.1 Public pathology data sets

IICBU-2008數(shù)據(jù)集包含9種類別的數(shù)據(jù)圖像，為計算機專家提供免費的生物圖像數(shù)據(jù)集［59］。Camelyon16挑戰(zhàn)賽旨在利用H&E染色的淋巴結圖像優(yōu)化自動檢測癌癥轉(zhuǎn)移的算法，它由400張SLN的全幻燈片組成，并成功舉辦；在其基礎上，第二次病理學挑戰(zhàn)Camelyon17旨在用于評估在織學淋巴結切片的全幻燈片圖像中自動檢測和分類乳腺癌轉(zhuǎn)移的新算法和現(xiàn)有算 法（https://camelyon17.grand-challenge.org/Data/）。GTEx是由美國國家癌癥研究所提供的一項服務，該數(shù)據(jù)集于2015年發(fā)布，至2017年已達到25 440套病理切片，其主頁可通過不同組織部位進行檢索，包括大腦、小腦、子宮頸、子宮內(nèi)膜等（https://brd.nci.nih.gov/brd/image-search/Searchhome）。斯坦福組織微陣列數(shù)據(jù)庫公開帶注釋的圖像組織和相關表達的數(shù)據(jù)庫，圖像處理-。TUPAC挑戰(zhàn)賽使用公布的數(shù)據(jù)集，旨在將有絲分裂檢測用于全幻燈片，實現(xiàn)為有絲分裂結果進行增值評分，推進整個幻燈片圖像自動腫瘤增殖評分的技術，該數(shù)據(jù)集提供兩個輔助數(shù)據(jù)集：帶注釋的有絲分裂數(shù)據(jù)集以及可用于訓練感興趣區(qū)域的區(qū)域注釋集檢測方法（https://tupac.grand-challenge.org/）［47］。

2.2 人工智能數(shù)字病理診斷的近況

2.2.1 監(jiān)督形式 目前為止，關于數(shù)字病理學研究使用最常見的技術是監(jiān)督學習，監(jiān)督學習是存在金標準的情況下，對于ROI區(qū)域的圖對圖注釋或是文字對圖的注釋，使計算機能夠根據(jù)目標任務對注釋和圖像多次一對一的訓練，學習二者之間的關系。與無監(jiān)督的技術相比，有監(jiān)督在訓練時更容易，但與有監(jiān)督的方法相比依賴于有經(jīng)驗的病理學家對數(shù)字圖像真實數(shù)據(jù)的輸入。

既往一個訓練模型對6張全腫瘤的免疫組化圖像中提取的板塊進行注釋，將其分成訓練驗證測試，在inception-v3基礎上更新模型網(wǎng)絡ConCORDe-Net，將其用于檢測和分類乳腺癌免疫組化的全幻燈片圖像，這種方式的準確率達到96.5%［28］。有監(jiān)督形式完全依賴于純手工的注釋，為了降低人共耗時費力的補丁級別注釋，弱監(jiān)督形式在病理領域逐步發(fā)展起來。有學者對免疫組化和H&E進行分析，利用來自組織微陣列的160×160像素塊訓練CNN，在該網(wǎng)絡中采用端到端的弱監(jiān)督方案，獨立與主觀病理學家的輸入，不使用病理學家經(jīng)驗的情況下提供預后信息，旨在找到用于預測數(shù)字圖像癌癥特異性死亡風險的新方法［61］。有研究同樣利用可解釋的弱監(jiān)督深度學習方法—聚類約束注意多實例學習（CLAM），只需要利用幻燈片級的標簽，對整個切片進行準確分類，實現(xiàn)腎細胞癌和非小細胞肺癌亞型分型以及淋巴結轉(zhuǎn)移的檢測［12］。從WSI的組織中提取圖像塊，每個批次被一個預先的CNN編碼一次，形成描述性的特征表示，在訓練和推理過程中將每個WSI中提取的批量特征作為特征向量傳遞給聚類約束注意多實例學習模型。

一項利用深度弱監(jiān)督多實例框架的分割癌癥區(qū)域的研究中，研究者開發(fā)了一個在全卷積網(wǎng)絡中的弱監(jiān)督下的多尺度學習方案，有效收集全片的弱監(jiān)督信息，并對學習過程有顯著促進的作用。該方法使同類型分割精度達到最先進的結果（F-measure：0.836）［62］。有研究結合放射組學和病理組學特征、免疫評分和臨床因素的線列圖模型實現(xiàn)直腸癌肺癌轉(zhuǎn)移的生存預測，對于免疫組化病理圖像的分析使用弱監(jiān)督方式訓練補丁級CNN，用于整張幻燈片組織病理學圖像的生存分析，最終組合線列圖在OS（曲線下面積0.860）和DFS（曲線下面積0.875）獲得最好結果［63］。有研究旨在設計一種弱監(jiān)督學習方法以最大限度的利用臨床實踐中容易獲得的可用WSIs級標簽，對整張肺癌圖像快速診斷，達到了97.3%的準確率［64］。在眾多人工智能病理診斷算法中弱監(jiān)督學習的優(yōu)勢在于充分利用少量的標注信息，提高可被使用的數(shù)據(jù)量，充分發(fā)揮深度學習的能力，以構建更加精準的模型。

2.2.2 基于全幻燈片和滑窗圖塊 數(shù)字病理圖像區(qū)別于其他醫(yī)學圖像，需要極高分辨率，圖像尺寸也很大，在使用機器學習方法對其進行處理分析時，存在很多挑戰(zhàn)。當存在貼片級標簽可用時，計算機對于貼片級的標簽挖掘程度、匹配性能遠超病理學家，但是補丁級別的有監(jiān)督學習極有可能限制深度模型的潛力，采用有限形式的補丁級別注釋得到的結果只能與提供的注釋一樣好。隨著帶標簽的數(shù)據(jù)集逐漸擴大，深度學習的模型存在的優(yōu)勢似乎更明顯。

有研究使用CNN自動評估在整個幻燈片圖片中侵襲性腫瘤的準確性和魯棒性，該方法能夠在拒絕非侵襲性組織區(qū)域方面達到非常高的準確性，模型的獨特性在于使用的來自不同地區(qū)的數(shù)百項研究來訓練模型，并且應用于大尺寸數(shù)字化的全切片圖像，文章使用了侵襲乳腺癌的概率圖，將整體切片的形態(tài)分布展示以圖的形式表現(xiàn)出來［65］。在WIS中，圖像的像素尺寸高達千兆億像素，過度占用GPU內(nèi)存，導致難以分析，現(xiàn)階段計算機普遍水平達不到全像素處理WSIs的標準，會導致識別精度顯著下降。故端到端的方法直接應用于WSIs的難度較大。

WSIs獲得的圖片分辨很大，往往可以通過將一幅圖像劃分成塊圖（補?。┚植繀^(qū)域，對每一塊的信息進行分析提取特征等，在聚合信息得到結果。用這種方式對降低了內(nèi)存的使用，提高模型效率來說是高效的。這種方法往往應用識別細胞、腺體、核或者進行圖像及預測任務。將給予計算機能力和內(nèi)存的進步，塊圖補丁的大小也在增加（如960×960）?；贑NN的滑窗檢測分類模型［66］，可實現(xiàn)細胞核分割、上皮細胞分割小管分割、淋巴細胞檢測、有絲分裂檢測、浸潤性導管癌檢測和淋巴瘤分類7項任務，使用AlexNet進行模型基準測試，使用對勾畫的特征塊圖像而不是全切片全像素圖像。有學者采用CNN算法對復雜度較高的H&E進行核分割，對于滑動窗口內(nèi)的每個像素都生成分類，提出新的指標來評估核分割結果，得到了較好的分割結果［67］。

有學者利用滑動窗口和全切片圖像分析結果聚合實現(xiàn)良好的結果，使用組織級注釋進行Barrett食管和食管腺癌模型的訓練，該模型由CNN和基于網(wǎng)格的注意力網(wǎng)絡組成，模型的平均準確率達0.83［68］。塊圖是整張切片中包含重要信息的小部分，通過多種形式對每一塊圖信息的整合在一起，能夠代表一張切片的有效信息。但有研究并未聚合塊圖的信息預測，而是聚合了切片特征，計算每個患者塊圖上每個特征的平均值，將其應用于后續(xù)的生存模型中［69］。也有學者先從同一個患者的WSIs中提取斑塊（20×），將其聚類成為不同的表型，大小固定為500×500，得到幾個不同的表型組，考慮多種輸入并考慮他們之間的聯(lián)系，完成聚類后利用連體多示例全卷積網(wǎng)絡學習特征，將FCN應用于每個表型［70］。

解決不同疾病診斷的問題使用不同像素的塊圖以讀取更加準確的信息，有研究使用低倍像素進行整體切片結構的分析［17，65］，也研究使用高倍像素研究細胞核形態(tài)和細胞質(zhì)機制［9,14，66，71］，通過這種方式充分利用數(shù)字病理有利條件，對于逐步探索計算機病理學的發(fā)展也是十分有利的。對于淋巴細胞檢測診斷，惡性腫瘤的診斷需要根據(jù)較高放大倍數(shù)的圖像對每個細胞進行分析，后者需要對細胞核的有絲分裂進行計數(shù)；對于大部分癌癥診斷來說，惡性腫瘤的形態(tài)結構與成熟組織相差很遠，且無完整包膜。若想通過組織分析整體形態(tài)可以選擇基于全幻燈片的方式，大大減少使用塊圖分析所占用的內(nèi)存以提高整體效率；相反，使用塊圖分析往往能獲得較好特征和更高的精度。對于直接使用全切片信息和使用塊圖分析再將信息整合分析兩種方式，可以根據(jù)研究內(nèi)容選擇合適的方法。

2.2.3 目前病理學診斷使用的技術方法 計算機視覺領域中，數(shù)字病理圖像分析有很多挑戰(zhàn)，病理圖像像素高，對其分析達到微米大小。很多學者想達到較好的分析結果，大多選擇在基礎網(wǎng)絡中添加注意力機制模塊。有研究采用注意力機制處理病理圖像的深度學習網(wǎng)絡。計算機視覺中不同區(qū)域的特征對最終分類的影響是有差異的，可以通過空域注意力機制給予不同的權重［68］。有研究基于注意力機制的MIL為患者表型集群分配不同權重，為了最終患者水平表示可能為生存預測提供更準確的ROI信息。通過自適應機制可以為每個特征向量學習一個權值，并計算加權和，使得基于部分塊圖的信息也可以不受整張切片的影響［70］。在子宮內(nèi)膜疾病的相關研究中，有學者采用CNN和注意力機制結合特征圖可視化技術，模型中的位置注意塊引入自我注意機制用來捕捉圖像中不同局部區(qū)域之間的關系，有效評估H&E子宮內(nèi)膜組織樣本的組織學圖像，并在每個可能的陽性樣本圖像中為病理學家提供疑似病變區(qū)域［13］?；谧⒁饬C制的方法大都寄期望于利用有限的標注資源對切片信息進行充分循環(huán)分析，其本質(zhì)作用是增強信息的權重，對感興趣之外的其他非重要特征降低敏感度。有學者提出軟注意力機制，選擇性的關注WSIs中最具鑒別性的區(qū)域并對其進行分類，在乳腺癌公開數(shù)據(jù)集上進行的評估，實現(xiàn)了96%的分類準確度［72］。有研究提出基于注意力機制的多模態(tài)深度學習框架，將千兆素直接轉(zhuǎn)換為可解釋的預測，自動生成診斷描述和組織定位注意圖，以解決缺乏可解釋的診斷問題［73］?；谧⒁饬C制的模型與傳統(tǒng)滑動窗口方式相比，加強了對感興趣區(qū)域的選擇機制，減少模型參數(shù)的數(shù)量，進而提高模型訓練速度。

對于項目中多參數(shù)的調(diào)節(jié)，如何調(diào)節(jié)到最好的參數(shù)是件棘手的事，也沒有特定的依據(jù)。從零開始訓練一個深度CNN需要大量帶注釋的數(shù)據(jù)，非常繁瑣且耗時。遷移學習這種算法形式目的在于將訓練好的參數(shù)應用于自己的研究項目。遷移學習的常常用在訓練網(wǎng)絡權值對自己網(wǎng)絡權值進行初始化，代替原先的隨機初始化，即是對參數(shù)的微調(diào)。遷移學習在面對有限的訓練數(shù)據(jù)時，可利用CNN學習已有標記好的數(shù)據(jù)預訓練系統(tǒng)，首先學習第一層網(wǎng)絡的特征結構，在第二層網(wǎng)絡中尋找相應的特點，通過前向傳播固定低層網(wǎng)絡中的權重，以提取更高層的權重，并多次進行反復的自我調(diào)整和反饋傳遞，已達到分類或診斷圖像的目的。遷移學習的使用已用來診斷眼科黃斑變性、糖尿病視網(wǎng)膜病變、病毒性肺炎等。2017年有學者基于微調(diào)的遷移學習方法，通過優(yōu)化網(wǎng)格超參數(shù)增加訓練數(shù)據(jù)，發(fā)現(xiàn)這一方法在單一數(shù)據(jù)集上的表現(xiàn)完全優(yōu)于訓練［74］。在病理領域，有文獻通過使用遷移學習方法建立高精度彌大b細胞淋巴瘤深度診斷平臺，在ImageNet上預訓練精度，利用遷移學習將其他特征應用3 家醫(yī)院的病理數(shù)據(jù)，分別得到99.71%、100%、100%的診斷率［75］，證明了深度學習模型診斷數(shù)字病理學疾病和其他人類造血惡性腫瘤在臨床上是可行的。對于數(shù)字病例中存在的諸多挑戰(zhàn)，想要實現(xiàn)模型在某類疾病應用上的泛化性，遷移學習具有極大的發(fā)展?jié)摿ΑＭǔ＿w移學習會在ImageNet預訓練模型，例如在VGGNet、Inception-Net等［76-77］網(wǎng)絡中訓練。

組織病理學對癌癥的診斷，可以通過整體結構異常判斷，但存在有高分化癌和正常組織較類似的需要觀察細節(jié)。通過語義分割技術可以實現(xiàn)對細胞核［78］、細胞基質(zhì)分割、腺體分割［79］，計算細胞核有絲分裂個數(shù)，探究細胞增值活性的程度，實現(xiàn)癌癥的精確診斷［80-81］；同樣通過分割技術，可以盡可能地在ROI提取特征，刪除掉與診斷內(nèi)容無關的圖像部分，提高模型訓練速度。有研究基于DeepLab v3分割框架直接對像素塊進行兩類語義分割，以檢測是否存在胃癌組織，該模型以ResNet50為架構取大像素塊使用隨機森林在內(nèi)的滑動級預測方法進行測試訓練［82］。有學者提出一種組織病理學全幻燈片圖像的語義分割模型，實現(xiàn)乳腺癌的多類組織分割以及肺癌中的三級淋巴組織結構核發(fā)生中心的分割。與其他模型對比，使用語義分割的多分辨率模型相比于UNET模型有較好的優(yōu)越性（F1評分為0.91）［16］。

GAN方法在特征分割和染色轉(zhuǎn)移方面呈現(xiàn)出較好的效果，其生成網(wǎng)絡的目標是生成真實的圖像以欺騙判別網(wǎng)絡，盡量將生成網(wǎng)絡生成的圖片與真實的圖片分開。病理圖像的分析難點之一是在各個醫(yī)院處理切片染色存在差異，掃描出來數(shù)字圖像的差異直接影響深度學習的精度。有學者提出一種新的GAN方法，將WSIs的H&E染色轉(zhuǎn)化為基于細胞角蛋白的虛擬免疫組化染色，極大程度避免基于免疫組化切片帶來的不確定性［83］。由騰訊AI Lab獨立完成的針對病理圖像特點優(yōu)化循環(huán)生成對抗網(wǎng)絡［84］用于癌癥分類的前處理。在乳腺處理分類任務預測的預處理步驟中，通過色彩歸一化產(chǎn)生特定色彩風格的病理圖像，該方法不依賴于模型，且能夠泛化到其他組織病理圖像上，與其他顏色歸一化方法相比獲得了最高性能，推進數(shù)字病理分析算法發(fā)展。在淋巴瘤病理診斷方面，復雜異于正常的的細節(jié)往往需要通過結合H&E 和免疫組化共同分析。通過GAN方法實現(xiàn)兩種切片的配準，有效提高淋巴診斷的效率。有學者提出了一種基于GAN的端到端的深度學習配準方法，在GAN代價函數(shù)適當?shù)募s束在不到1 s的時間內(nèi)產(chǎn)生精確的配準圖像。但是該方法只是驗證了多模態(tài)視網(wǎng)膜和心臟MR圖像配準中的準確性［85］。針對淋巴瘤診斷的困難，臨床可嘗試基于GAN的數(shù)據(jù)預處理方法，以實現(xiàn)融合多重免疫組化或H&E圖像內(nèi)容于一體，提高病理醫(yī)生的診斷效率，降低工作的重復性。

2.3 總結

疾病的診斷往往需要結合多種因素，其中最重要的是負責疾病診斷的醫(yī)生應具備豐富的經(jīng)驗和扎實的學科知識。實現(xiàn)病理人工智能診斷主要在于標準化的制片、數(shù)字化處理、足量的基礎數(shù)據(jù)對算法模型進行訓練和人工智能算法假陰性率（病變細胞誤識為正常細胞）的控制等。我國人工智能病理診斷需求巨大，人工智能輔助病理醫(yī)生讀片并對大量的切片進行初篩和預分類能夠極大提高工作效率。病理診斷覆蓋的疾病種類較多，尤其是癌癥類型繁多，要實現(xiàn)人工智能對各個病種的精確診斷，需要大量的病例數(shù)據(jù)支持。Camelyon數(shù)據(jù)集和IICUB-2008數(shù)據(jù)集是數(shù)字病理學中常用的數(shù)據(jù)集。分類檢測診斷方法中，深度學習基于CNN的方法仍是主流的方法，越來越多的研究者在嘗試選擇GANs、完全卷積神經(jīng)網(wǎng)絡和遞歸卷積神經(jīng)網(wǎng)絡，CNN和遷移學習的方法在病理數(shù)據(jù)集上的應用也越來越廣泛?？偟膩碚f，數(shù)字病理學診斷基于深度學習的方法近年的發(fā)展在于使用弱監(jiān)督的模型框架，使用端到端的數(shù)據(jù)讀取，充分利用注意力機制參數(shù)少、速度快、效果好的特點，訓練模型結合基于注意力機制以及基于遷移學習的方法來提高模型的精度。

3 數(shù)字病理在診斷上的優(yōu)勢與挑戰(zhàn)

3.1 優(yōu)勢

病理切片圖像通常含有多達百萬數(shù)量級的顯微結構，信息量極大，其大小可以達到50 GB，檢查一位患者可產(chǎn)生1 TB的數(shù)據(jù)，不利于圖像數(shù)據(jù)的存儲、傳輸和分析。數(shù)字病理學的優(yōu)勢在于使用計算機可以實現(xiàn)電子化存儲，方便病理學家標注、分析、用于臨床教學等等。對于病理的大量數(shù)據(jù)批量整理，人工智能算法模型能夠輕而易舉地完成，且減少繁瑣重復的工作量。傳統(tǒng)的病理結果是通過玻片的形式存儲，對于病理結果的查看、存儲以及調(diào)用來說都不方便，充分利用數(shù)字病理圖像能極大程度消減成本。其次，神經(jīng)網(wǎng)絡能夠提取更加全面的特征，提高數(shù)據(jù)的定量準確性，進行目標檢測，感興趣區(qū)域分割。進行目標檢測其他潛在有用的數(shù)據(jù)包括對小的或罕見的實體的檢測。組織病理學中的目標定位和檢測是一個非常適合人工智能的問題，因為算法可以高效、系統(tǒng)和詳盡地審查病理圖像，以獲得感興趣的特定發(fā)現(xiàn)［86］。人工智能的高速發(fā)展可以結合多學科發(fā)現(xiàn)新病種，提高微小病變和疑難病例的識別能力，提高疾病預測預后能力，改善患者預后。在相關深度學習技術的支持下，通過自動化加快日常任務進程，可對結果做出預判。另外，機器學習系統(tǒng)所犯的錯誤與病理學家所犯的錯誤不同，使用計算機輔助診斷可以減少解釋的可變性，計算機可以通過掃描WSIs中的所有像素來防止疏忽［87］。充分利用圖像識別技術，人工智能助力病理轉(zhuǎn)向數(shù)字化診斷，能有效提高病理診斷效率，統(tǒng)一質(zhì)控管理，解決病理行業(yè)供給嚴重不足、醫(yī)療資源分配不平衡的問題，促進分級診療落地。當然，現(xiàn)階段下數(shù)字病理的發(fā)展還在逐步深入，仍然存在很多挑戰(zhàn)。

3.2 挑戰(zhàn)

3.2.1 技術層面 在基礎臨床實踐中，受自身主觀性和接受事物視覺感知不同所影響，每位病理學家的臨床經(jīng)驗和臨床判斷都存在差異，甚至一位病理學家在不同時間處理同一張病理切片時也可能會存在不同，這就造成了僅憑人類無法達到統(tǒng)一實現(xiàn)數(shù)字病理診斷的結果［88］。而數(shù)字病理診斷對于病理數(shù)據(jù)集的需求大不相同，人工智能診斷對于切片圖像的標準化要求較高，擁有穩(wěn)定的制片、成像標準的儀器是開發(fā)人工智能病理診斷的算法的基礎。用于訓練人工智能算法的數(shù)據(jù)需要有效的人工標注，這同樣需要病理學家在前期創(chuàng)建準確性高、標準化、手工注釋的參考數(shù)據(jù)集。數(shù)據(jù)稀缺的原因之一還包括需要大量精準注釋：腫瘤需要在CT掃描或H&E圖像上定位，生存結果通常需要人工查看病例等等，對于智慧醫(yī)療的發(fā)展來說，前期的數(shù)據(jù)支持起到關鍵的作用。

3.2.2 研究規(guī)范層面 基于深度學習的人工智能方法往往有算法自身獨到的計算過程，它們被認為是“黑匣子”，缺乏可解釋性，即使算法獲得了超出病理學家的準確性，也未被廣泛使用。數(shù)字病理的發(fā)展需要有像法律法規(guī)一般的準則，讓病理學家甚至患者自身都能理解算法得出結果的原因。在獲取數(shù)據(jù)方面，克服病理切片圖像之間的異質(zhì)性為定量分析帶來的干擾，在病理分析中圖像歸一化的方法很有必要。另一個關鍵問題是，采用人工智能算法診斷疾病如何能夠獲得臨床監(jiān)管機構的批準［88］。

3.2.3 倫理道德層面 人工智能的發(fā)展逐漸影響治療和診斷，比如術中手術引導［89-91］、新冠肺炎疫情的預測以及治療［92-93］以及CT、MRI和超聲等醫(yī)學影像結果分析［94-96］等等，這些應用極大程度上幫助臨床醫(yī)生完成決策診斷。但人工智能的長期使用不能回避倫理問題。由于機器學習本身的可解釋性較差，存在不透明性，計算機做出的決策若想要完全被社會所接受，其中的倫理問題也需要更多研究者關注，提高算法的可解釋性；另外，人工智能的發(fā)展離不開基礎數(shù)據(jù)，完善數(shù)字健康管理成為必要，計算機無法通過冰冷的算術符號實現(xiàn)患者與數(shù)據(jù)的匹配，患者數(shù)據(jù)匹配的正確性也是人工智能做出診斷的倫理要求。

4 展望

人工智能中的自然語言處理能夠探索到對臨床和結果數(shù)據(jù)的微妙聯(lián)系，通過學習訓練二者的特征從而實現(xiàn)類似大腦的高維分析。在影像學人工智能的發(fā)展中，結合病理這種模態(tài)的信息內(nèi)容，與影像數(shù)據(jù)互相補充，達到的效果往往超出任何單模態(tài)的信息［97］。數(shù)字病理與影像發(fā)展相輔相成，構建完善的多模態(tài)信息系統(tǒng)，優(yōu)化單個模態(tài)信息不完整的缺點，跨膜態(tài)集成信號可以克服任何單一模態(tài)中的噪聲，更加準確地推斷感興趣的變量，從而預測復發(fā)或治療效果。人工智能的分析依賴高質(zhì)量的訓練數(shù)據(jù)集，但經(jīng)過有經(jīng)驗的病理學家標注的數(shù)據(jù)集有限，標注過程費時耗力，最重要的是也存在差異，因此最理想的情況是有研究團隊設置標注的金標準，使病理學家之間達成共識，且開發(fā)全球公開可用的病理數(shù)據(jù)標記系統(tǒng)，開發(fā)病理診斷平臺，完善整體流程，優(yōu)化深度學習結果的可解釋性，使醫(yī)生能夠有效和系統(tǒng)進行交互。在人工智能快速發(fā)展的當代，應當以解決臨床病理學家實際面臨的臨床問題，著手解決可以利用人工智能取代的重復耗時費力的任務，部署一套完整的操作軟件，讓讀片、標注、配準、分析等過程成為一體，解決病理行業(yè)供給嚴重不足、醫(yī)療資源分配不平衡的問題，促進分診治療的落地。

由病理到數(shù)字病理的發(fā)展，概述了在人工智能的發(fā)展下開發(fā)深度神經(jīng)網(wǎng)絡的可實現(xiàn)性，其次根據(jù)數(shù)字病理圖像的特點，對搭建卷積神經(jīng)模型的技術方法進行深入探究。從超過97篇論文中發(fā)現(xiàn)，分析數(shù)字病理圖像的特點—分辨率高、存在大量細節(jié)、需要有效高質(zhì)量的標注，可以通過深度學習的方法，以有監(jiān)督形式和無監(jiān)督形式等解決數(shù)字病理學的各種問題。通過U-Net極其變種結合語義分割技術能實現(xiàn)細胞或細胞核的分割，可以通過有絲分裂計數(shù)實現(xiàn)癌癥的診斷；對于組織分類，腫瘤檢測等問題，通過卷積神經(jīng)網(wǎng)絡及其變種能夠有效解決，并獲得近似病理學家的結果，還可以結合傳統(tǒng)的機器學習技術和基于注意力機制、遷移學習等新興技術手段提高分類、診斷精度。在疾病預測和預后的領域，人工智能方法也可以實現(xiàn)預測乳腺癌、腎癌、結腸癌、鼻咽癌、肺癌等疾病類型。