陳偉 黎行宙 MOOI Weijun 陳驍俊 孫夢(mèng)哲 韓文卿 陳敏剛 張艷

在過去的10年中，由于皮膚紫外線暴露增加等原因，黑色素瘤的年新增病例增長(zhǎng)了53%[1-3]，已經(jīng)成為嚴(yán)重威脅公共健康的一類惡性皮膚疾病。不斷攀升的發(fā)病率和致死率引起了對(duì)黑色素瘤預(yù)防、早期診斷和治療的重視。盡管黑色素瘤是惡性程度及致死率最高的腫瘤之一，但經(jīng)早期診斷和早期治療的患者擁有極高的術(shù)后存活率[4]。

黑色素瘤診斷的第一步是對(duì)可疑皮損區(qū)域的視診，臨床公認(rèn)的鑒別準(zhǔn)則為ABCDE法則[5]：A為非對(duì)稱(Asymmetry)，即皮損區(qū)域的形狀不能分為對(duì)稱的兩半；B是邊緣不規(guī)則(Border irregularity)，皮損的邊緣表現(xiàn)為不整齊、不光滑，可能有切跡或鋸齒狀，而不像良性和色素痣那樣有光滑的圓形、橢圓形輪廓；C為顏色改變(Color variation)，良性色素痣通常為單色，而黑色素瘤常表現(xiàn)為污濁的黑色，期間可有棕、褐、藍(lán)、粉或白色等多種不同顏色分布；D是指直徑(Diameter)，對(duì)于直徑>5～6 mm或在短期內(nèi)增長(zhǎng)明顯的色素斑要特別注意，黑色素瘤面積通常比普通色素痣要大，對(duì)于1 cm以上的色素痣在必要情況下建議行活檢評(píng)估；E即隆起(Elevation)，部分黑色素瘤在早期會(huì)有輕微隆起。依據(jù)以上標(biāo)準(zhǔn)結(jié)合是否有衛(wèi)星灶、皮損表面是否伴有潰瘍以及家族史等病史，可對(duì)色素斑作出臨床判斷。但是，黑色素瘤疾病早期進(jìn)行鑒別診斷的準(zhǔn)確度非常有限。皮膚鏡能觀察到皮損高放大倍率、高分辨率的圖像。Meta分析結(jié)果顯示，與裸眼診斷相比，皮膚鏡能夠有效提高臨床診斷的準(zhǔn)確度，但仍然嚴(yán)重依賴于醫(yī)生的臨床經(jīng)驗(yàn)。文獻(xiàn)報(bào)道，一位經(jīng)過足夠訓(xùn)練的醫(yī)生對(duì)黑色素瘤的診斷靈敏度可達(dá)到75%～84%[6]。

近幾年，隨著計(jì)算機(jī)技術(shù)的發(fā)展，出現(xiàn)了一些計(jì)算機(jī)圖像分析技術(shù)和輔助診斷算法，對(duì)黑色素瘤的鑒別及診斷具有較高的靈敏度[7]。

傳統(tǒng)的計(jì)算機(jī)圖像分析輔助診斷算法[8]有賴于人工對(duì)疾病診斷所累積的經(jīng)驗(yàn)(如多重顏色、特殊的形態(tài)學(xué)結(jié)構(gòu)，包括條紋或偽足以及不規(guī)則血管結(jié)構(gòu)等)，這類算法通過提取皮膚圖像的結(jié)構(gòu)、顏色、紋理等人工確定的語(yǔ)義特征，并利用這些特征作為淺層分類器的輸入項(xiàng)，實(shí)現(xiàn)對(duì)皮膚病變的分類。這種方法不能有效利用大規(guī)模圖像樣本的優(yōu)勢(shì)來提高分類算法的精確度，且傳統(tǒng)算法模型的分類能力比較有限[9]。

近年來，隨著數(shù)據(jù)量的快速增長(zhǎng)和計(jì)算機(jī)運(yùn)算能力的大幅提高，深度學(xué)習(xí)在圖像識(shí)別和分類方面的應(yīng)用研究取得了很大的進(jìn)展。在ImageNet數(shù)據(jù)集上，深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network, DCNN)的圖像分類精度已經(jīng)超過了人類視覺[10]?；贒CNN的皮膚疾病分類系統(tǒng)是一種端到端的學(xué)習(xí)方法，輸入端是皮膚疾病圖像和相應(yīng)的標(biāo)簽(即該皮膚病圖像的診斷類別)，輸出端是分類的結(jié)果。但由于皮膚病變外觀的細(xì)微可變性和數(shù)據(jù)集的不平衡性(良性病例遠(yuǎn)多于惡性病例)，使用DCNN對(duì)皮膚病變進(jìn)行分類仍是一項(xiàng)具有挑戰(zhàn)性的工作。

1 資料與方法

1.1 臨床資料

本研究的數(shù)據(jù)集來自國(guó)際皮膚圖像合作組織(International skin imaging collaboration，ISIC)的皮損圖像數(shù)據(jù)庫(kù)(https://www.isic-archive.com/)和5所醫(yī)院合作課題組(上海交通大學(xué)醫(yī)學(xué)院附屬第九人民醫(yī)院、上海市奉賢區(qū)奉城醫(yī)院、海南省婦女兒童醫(yī)學(xué)中心、上海交通大學(xué)附屬第六人民醫(yī)院及上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院)的皮膚病數(shù)據(jù)庫(kù)。根據(jù)臨床實(shí)際需要，我們選擇了14 239張帶有診斷標(biāo)簽的皮膚鏡圖像(均為病理診斷結(jié)果)。

1.2 數(shù)據(jù)分類

根據(jù)數(shù)據(jù)庫(kù)構(gòu)成和臨床需要，我們將所有圖像樣本分為3大類9小類：良性病變(黑色素痣、皮膚纖維瘤、脂溢性角化病、雀斑、色素性良性角化病、血管性損傷)、癌前病變(光化性角化病)和惡性病變(黑色素瘤、基底細(xì)胞癌)。在臨床實(shí)踐中，良性病變傾向于保守治療或繼續(xù)觀察其變化；癌前病變需要進(jìn)一步檢查其進(jìn)展并定期復(fù)查；而惡性病變需要更加積極有效的干預(yù)手段。

1.3 圖像預(yù)處理

原始數(shù)據(jù)集包含高分辨率的皮膚圖像，其中病變區(qū)域位于圖片的不同位置。為了減少無關(guān)背景對(duì)皮損特征學(xué)習(xí)的干擾，我們使用Otsu的分割算法自動(dòng)計(jì)算閾值，獲得皮損區(qū)域的輪廓。

雖然數(shù)據(jù)庫(kù)中有1萬多張已標(biāo)記(明確診斷)的皮膚病圖像，但在DCNN的訓(xùn)練中，這種級(jí)別的數(shù)據(jù)量依然有提升空間。因此，我們采用離線數(shù)據(jù)擴(kuò)增的方法來擴(kuò)充皮膚圖像的數(shù)量，用于DCNN的訓(xùn)練。數(shù)據(jù)擴(kuò)增是從已有的訓(xùn)練樣本中產(chǎn)生更多的訓(xùn)練數(shù)據(jù)，不僅可以減少DCNN的過擬合，還可以解決皮膚圖像數(shù)據(jù)集數(shù)據(jù)不平衡的問題。例如，在原始數(shù)據(jù)集中，惡性黑色素瘤圖像的數(shù)量遠(yuǎn)遠(yuǎn)少于良性痣的圖像，而類別間的數(shù)據(jù)不平衡會(huì)影響分類的準(zhǔn)確性。

本研究中，我們使用圖像翻轉(zhuǎn)和旋轉(zhuǎn)來增加訓(xùn)練樣本的數(shù)量，但不使用圖像隨機(jī)裁剪和顏色變換，以保留整個(gè)皮膚損傷區(qū)域及其原來的顏色特征。

1.4 分類網(wǎng)絡(luò)訓(xùn)練

本研究利用遷移學(xué)習(xí)來訓(xùn)練分類網(wǎng)絡(luò)。首先對(duì)分類網(wǎng)絡(luò)進(jìn)行大規(guī)模(128萬張，1 000個(gè)類別)的通用圖像庫(kù)ImageNet的訓(xùn)練，獲得與人類視覺相媲美的通用視覺性能，稱為預(yù)訓(xùn)練。在預(yù)訓(xùn)練過程中，DCNN從大量的圖像中學(xué)習(xí)了曲線、紋理、顏色等一般的統(tǒng)計(jì)特征。然后在微調(diào)過程中，將預(yù)訓(xùn)練網(wǎng)絡(luò)中的softmax層替換掉，將softmax層的輸出設(shè)置為9，即將皮損圖像分為9類。使用皮膚圖像的訓(xùn)練數(shù)據(jù)集對(duì)分類網(wǎng)絡(luò)中的所有卷積層和全連接層進(jìn)行微調(diào)，以更新網(wǎng)絡(luò)的參數(shù)。

本研究采用50層的ResNet(ResNet50)作為皮膚疾病分類的預(yù)訓(xùn)練模型，因?yàn)樵贗mageNet大規(guī)模視覺識(shí)別挑戰(zhàn)中ResNet取得了比GoogleNet和VGG架構(gòu)更好的性能表現(xiàn)。ResNet的核心理念是將“shortcut連接”嵌入“plain網(wǎng)絡(luò)”中，使得神經(jīng)網(wǎng)絡(luò)中的梯度能夠進(jìn)行更有效的傳播。從網(wǎng)絡(luò)集成的角度看，包含n個(gè)殘差區(qū)塊的網(wǎng)絡(luò)等價(jià)于2n個(gè)淺層網(wǎng)絡(luò)的集成。

1.5 DCNN分類結(jié)果的臨床驗(yàn)證

實(shí)驗(yàn)樣本為事先從1萬多張皮膚病圖像中預(yù)留出的139張(47例惡性黑色素瘤，92例良性黑色素痣)，分別由實(shí)驗(yàn)組(DCNN分類系統(tǒng)，構(gòu)建原理如前所述，由上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心合作開發(fā))和對(duì)照組(21名皮膚科醫(yī)師，其中9名為具有5年以上皮膚鏡診斷經(jīng)驗(yàn)的專家，12名為2～5年經(jīng)驗(yàn)的普通醫(yī)師)進(jìn)行診斷，分別計(jì)算兩組診斷結(jié)果的靈敏度、特異度；由于DCNN的圖像分類結(jié)果(單次分類任務(wù)僅1組數(shù)據(jù))無法與21名醫(yī)生的共同診斷結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，我們繪制人工智能算法的靈敏度-特異度曲線，計(jì)算曲線下面積(Area under the curve， AUC)，并與對(duì)照組進(jìn)行比較。

2 結(jié)果

實(shí)驗(yàn)組鑒別黑色素瘤與黑色素痣的靈敏度為87.23%，特異度為80.43%，AUC為0.9129；對(duì)照組靈敏度為80.45%±17.78%，特異度為70.91%±11.66%；其中，對(duì)照組中專家(9人)靈敏度、特異度分別為86.29%±11.31%和73.91%±8.86%，而普通醫(yī)師(12人)則為76.06%±20.81%和68.66%±13.30%。如圖1所示，橫坐標(biāo)為診斷靈敏度，縱坐標(biāo)為特異度，藍(lán)色曲線為實(shí)驗(yàn)組診斷結(jié)果(DCNN能夠根據(jù)需要調(diào)整分類參數(shù)，人為地提高靈敏度或特異度，即DCNN可以做出更偏向黑色素瘤或黑色素痣的判斷，但受限于分類能力，提高靈敏度的同時(shí)特異度會(huì)下降，反之亦然)；圖1A中黑色散點(diǎn)坐標(biāo)為9名專家的診斷結(jié)果(紅色三角為均值)；圖1B中綠色散點(diǎn)坐標(biāo)為12名普通醫(yī)師的診斷結(jié)果(紅色三角為均值)；圖1C為實(shí)驗(yàn)組與對(duì)照組所有21名醫(yī)生的診斷結(jié)果對(duì)比。

此外，實(shí)驗(yàn)組完成139張圖片的分類耗時(shí)約3 s；對(duì)照組每張圖片耗時(shí)(25.63±14.35) s，其中專家平均每張圖片耗時(shí)為(12.86±4.83) s，普通醫(yī)生則為(35.21±11.34) s。

圖1 實(shí)驗(yàn)組DCNN分類結(jié)果的靈敏度、特異度曲線(藍(lán)色曲線)和對(duì)照組21名醫(yī)師的診斷結(jié)果散點(diǎn)圖Fig. 1 The sensitivity and specificity curves (blue curves) of the DCNN classification results in the experimental group and the scatter plots of the diagnosis results of the 21 doctors in the control group

3 討論

本研究中，我們使用ResNet50開發(fā)了基于數(shù)據(jù)庫(kù)中上萬張已標(biāo)記皮膚病圖像的DCNN皮膚病分類系統(tǒng)，并與來自5家醫(yī)院的21名皮膚科醫(yī)生就黑色素瘤-黑色素痣二分類任務(wù)進(jìn)行臨床驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示，DCNN的診斷靈敏度和特異度均高于皮膚科醫(yī)生組，特別是DCNN的分類準(zhǔn)確度比沒有足夠皮膚鏡鑒別診斷經(jīng)驗(yàn)的低年資醫(yī)生要高很多。因此，DCNN作為一種臨床輔助診斷工具在黑色素瘤的診斷中有很大的潛力。

但是，本研究獲得的DCNN分類系統(tǒng)和診斷準(zhǔn)確度仍有一定的局限性。首先，本研究使用的訓(xùn)練樣本均為皮膚鏡圖像，未來想實(shí)現(xiàn)基于廣泛人群的皮膚病篩查，必須使DCNN分類系統(tǒng)擺脫皮膚鏡檢查的限制。已知的結(jié)果表明，DCNN在圖像識(shí)別和分類方面能夠超越人類的視覺和判斷，但目前因缺乏臨床數(shù)據(jù)，無法收集到足夠數(shù)量的、診斷結(jié)果準(zhǔn)確可靠的臨床圖像來訓(xùn)練DCNN系統(tǒng)。因此，DCNN系統(tǒng)的診斷有效性只有在清晰有效的皮膚鏡圖像中才能得到保證，而在其他常見的臨床圖像中無法進(jìn)行高效、準(zhǔn)確的檢測(cè)。

其次，在臨床試驗(yàn)中，我們關(guān)注的是臨床上最重要的黑色素瘤和黑色素痣的鑒別，受人力和試驗(yàn)復(fù)雜性所限，我們沒有對(duì)9個(gè)甚至更多類的皮膚圖像進(jìn)行分類和對(duì)比。針對(duì)潛在患者進(jìn)行大規(guī)模篩查，將是未來DCNN的重要應(yīng)用途徑。因此，提高DCNN對(duì)多種疾病的鑒別診斷能力也很重要，但這取決于皮膚病圖像數(shù)據(jù)的采集數(shù)量。

最為關(guān)鍵的是，本研究因無法在短期內(nèi)收集足夠多的黑色素瘤等惡性病例樣本，所以無法在真實(shí)的臨床環(huán)境中對(duì)未確診的新患者進(jìn)行實(shí)驗(yàn)。因此，本研究只能采用數(shù)據(jù)庫(kù)中已有的皮鏡圖像作為病例樣本進(jìn)行研究，使本研究結(jié)果具有局限性。在實(shí)際臨床工作中，診斷依據(jù)不僅局限于觀察皮膚鏡圖像，患者病史、家族史、病變?cè)诓煌嵌认鹿饩€下的視診及觸診也是重要的診斷依據(jù)。

本研究的數(shù)據(jù)資料的來源、數(shù)量有限，但DCNN仍表現(xiàn)出了很大的潛力，有望在將來成為臨床重大疾病篩查和鑒別診斷的重要方法。