楊傳德 李格璇 李海軍

摘? 要：針對人工識別乳腺癌腫瘤存在無法避免人為因素的問題，提出一種基于EfficientNetV2和遷移學(xué)習(xí)的乳腺癌病理圖像分類算法。首先，由于現(xiàn)有公開數(shù)據(jù)集BreaKHis樣本數(shù)據(jù)量過小，通過數(shù)據(jù)預(yù)處理實現(xiàn)數(shù)據(jù)增強(qiáng)，從而使模型學(xué)習(xí)到更多魯棒性的特征。然后將數(shù)據(jù)集在微調(diào)后的EfficientNetV2網(wǎng)絡(luò)模型上進(jìn)行遷移學(xué)習(xí)訓(xùn)練，同時采用Nadam進(jìn)行梯度下降優(yōu)化，進(jìn)而實現(xiàn)乳腺癌病理圖像的自動分類。實驗結(jié)果表明，相較于其他深度學(xué)習(xí)模型，該模型以更少的參數(shù)與更高的準(zhǔn)確率很好地以底層視覺特征映射了高層語義，有效提升了臨床醫(yī)學(xué)診斷的效率。

關(guān)鍵詞：EfficientNetV2模型；遷移學(xué)習(xí)；Nadam

中圖分類號：TP391.4；R737.9 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2023）10-0136-04

Abstract： Aiming at the problem that artificial recognition of breast cancer tumors cannot avoid human factors， a classification algorithm of breast cancer pathological images based on EfficientNetV2 and transfer learning is proposed. Firstly， due to the small sample size of the existing public dataset BreakKHis， data augmentation is achieved through data preprocessing， thereby enabling the model to learn more robust features. Then， transfer learning training is carried out on the database on the finely tuned EfficientNetV2 network model， and the gradient descent optimization is carried out with Nadam， so as to realize the automatic classification of breast cancer pathological images. The experimental results show that compared to other deep learning models， this model effectively maps high-level semantics with lower level visual features with fewer parameters and higher accuracy， effectively improving the efficiency of clinical medical diagnosis.

Keywords： EfficientNetV2 model; transfer learning; Nadam

0? 引? 言

據(jù)世界衛(wèi)生組織國際癌癥研究機(jī)構(gòu)（IARC）發(fā)布的全球最新癌癥負(fù)擔(dān)數(shù)據(jù)顯示，乳腺癌已取代肺癌成為全球第一大癌癥[1]。伴隨著乳腺癌患者年輕化趨勢加強(qiáng)，對于病理學(xué)專家的需求越來越大。當(dāng)前，乳腺癌疾病的檢測和診斷可以借助成像系統(tǒng)程序，例如熱圖以及超聲圖像等[2]。這些方式雖然在一定程度上幫助了病理醫(yī)師進(jìn)行乳腺癌病理圖像診斷，但診斷結(jié)果仍然受制于病理醫(yī)師個人主觀因素的影響，故準(zhǔn)確率難以保證。

近年來使用機(jī)器學(xué)習(xí)和經(jīng)典計算機(jī)視覺對乳腺癌病理圖像進(jìn)行診斷成為一個快速發(fā)展的研究領(lǐng)域。深度學(xué)習(xí)已成為乳腺癌數(shù)字組織病理學(xué)的首選方法。與人工診斷相比，深度學(xué)習(xí)的方法不需要憑借人工提取的方式對乳腺癌病理圖像進(jìn)行特征提取，從而降低了對專業(yè)病理醫(yī)師的需求，節(jié)省了人力資源。

為了減少深度學(xué)習(xí)模型訓(xùn)練參數(shù)，同時又能夠確保乳腺癌病理圖像分類模型的精度、網(wǎng)絡(luò)收斂性和訓(xùn)練速度等基本性能評價指標(biāo)，本文主要針對BreaKHis數(shù)據(jù)集7 909張4種不同放大倍數(shù)的病理圖像，利用了以EfficientNetV2為主干網(wǎng)絡(luò)的圖像分類模型進(jìn)行良性樣本與惡性樣本的分類。

1? 方法介紹

對于乳腺癌病理圖像領(lǐng)域的計算機(jī)視覺技術(shù)研究可追溯到多年之前。在基于卷積神經(jīng)網(wǎng)絡(luò)的方法這一策略上，為了將乳腺癌腫瘤細(xì)胞圖像分成良性與惡性兩大類，Spanhol等人[3]分別測試了LeNet[4]和AlexNet[5]模型，兩模型準(zhǔn)確率分別達(dá)到了接近人力平均水平的72%和80.8%～85.6%。在基于深度殘差網(wǎng)絡(luò)的方法這一策略上，Koné等人利用ResNet50模型對乳腺癌病理圖像進(jìn)行分類，這一策略在乳腺癌4種分類問題上取得了81%的分類精度；但上述方法由于神經(jīng)網(wǎng)絡(luò)大程度的加深，網(wǎng)絡(luò)也變得笨拙起來，在進(jìn)行深度學(xué)習(xí)模型訓(xùn)練時，巨大的計算機(jī)資源將被消耗，而且模型預(yù)測結(jié)果與金標(biāo)準(zhǔn)差距較大，不具有普適性。故本文以EfficientNetV2作為網(wǎng)絡(luò)權(quán)重，并在此基礎(chǔ)上對乳腺癌數(shù)據(jù)集預(yù)處理工作后進(jìn)行深度遷移學(xué)習(xí)訓(xùn)練，同時利用Nadam優(yōu)化器進(jìn)行梯度下降優(yōu)化，從而進(jìn)一步提高模型泛化能力。

1.1? 模型搭建

1.1.1? EfficientNetV2網(wǎng)絡(luò)

本文使用的主干網(wǎng)絡(luò)EfficientNetV2[6]，前身是由Tan等提出的EfficientNetV1[7]。其利用神經(jīng)網(wǎng)絡(luò)搜索（Neural Architecture Search， NAS）的方法，設(shè)置了合適的合成比例系數(shù)，很好的平衡了網(wǎng)絡(luò)的寬度、深度和分辨率，這樣不僅使得網(wǎng)絡(luò)模型學(xué)習(xí)到了更加豐富復(fù)雜的特征，而且使得網(wǎng)絡(luò)模型可以在很好的應(yīng)用到其他任務(wù)的同時還更容易訓(xùn)練。整個網(wǎng)絡(luò)的運算可以抽象為：

其中，N表示一系列復(fù)合層的操作疊加。d、w、r分別表示平衡網(wǎng)絡(luò)深度、寬度、分辨率的系數(shù)?！裪=1…s表示連乘運算，F(xiàn)i表示一個運算操作，則FiLi表示在Stagei中Fi運算被重復(fù)執(zhí)行Li次。X表示輸入Stagei的特征矩陣。表示X的高度、寬度以及Channels。與過去卷積結(jié)構(gòu)在模型寬度、深度和分辨率等方面進(jìn)行縮放以優(yōu)化運算的操作不同，EfficientNet網(wǎng)絡(luò)使用了一種更新型的混合縮放技術(shù)，其在遵循3個維度互相依賴的條件下，通過規(guī)定復(fù)合系數(shù)φ來提高縮放效率，并對各個維度的硬件資源系數(shù)進(jìn)行特定的約束，從而使得FLOPs（理論計算量）提高了2φ倍。

在EfficientNetV1中雖然Depthwise convolutions結(jié)構(gòu)相比普通卷積擁有更少的參數(shù)以及更小的FLOPs，但現(xiàn)有的加速器無法對其提供充分的支持，導(dǎo)致實際運用起來并沒有想象中快。EfficientNetV2基于此拋棄了一些MBConv模塊中的深度可分離卷積，隨之更替為普通卷積。Fused-MBConv與MBConv結(jié)構(gòu)如圖1所示。

根據(jù)混合系數(shù)φ取值的不同，EfficientNetV2的其中配置分別為EfficientNetV2-S、EfficientNetV2-m、EfficientNetV2-l，以及B0至B3共7種網(wǎng)絡(luò)模型。以規(guī)模最小的EffficientNetV2-S網(wǎng)絡(luò)為例[7]，其結(jié)構(gòu)如表1所示。

其中，O即Opereator，表示每一個Stage利用到的模塊；S即Stride，表示步長；C即Channels，表示輸出的通道數(shù)；L即Layers，表示Stage中模塊反復(fù)堆疊的數(shù)量；模塊Conv3×3表示3×3的普通卷積和常用的激活函數(shù)層及批量歸一化BN層；Fused-MBConv模塊后接數(shù)字，表示縮放因子expansion ratio；k3×3意味著kenel_size為3；SE模塊即Squeeze-and-Excitation模塊，表示這一模塊由一個全局平均池化層和兩個全連接層組成；0.25意為SE模塊中首個全連接層節(jié)點數(shù)是輸入MBConv模塊通道數(shù)的0.25倍。

EfficientNetV2通過平衡網(wǎng)絡(luò)的寬度、深度以及分辨率使得計算機(jī)資源不被過度浪費的同時，得到了更高的精度及效率。而高精度與高效率正是目前診斷乳腺癌在臨床試驗中提出的要求。因此，本文采用EfficientNetV2-B1網(wǎng)絡(luò)模型對乳腺癌病理圖像數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)訓(xùn)練，它可以以更少的參數(shù)量、更小的計算機(jī)資源訓(xùn)練出具有更強(qiáng)魯棒性的網(wǎng)絡(luò)模型。

1.1.2? Nadam優(yōu)化器

Nadam算法是由Dozat提出的[8]，其通過將Nesterov動量和Adam算法結(jié)合在一起，使得Nadam優(yōu)化器在擁有Adam算法幾乎所有優(yōu)點的同時，也更加直接的影響梯度并可以加強(qiáng)對學(xué)習(xí)率的約束。一般情況下，Nadam優(yōu)化器相較于Adam優(yōu)化器可以取得更好的效果。故采用Nadam優(yōu)化器進(jìn)行優(yōu)化。

1.2? 深度遷移學(xué)習(xí)

傳統(tǒng)深度學(xué)習(xí)側(cè)重在優(yōu)化原有結(jié)構(gòu)，偏向于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的突破。而遷移學(xué)習(xí)更趨向于在已有的網(wǎng)絡(luò)基礎(chǔ)上，研究領(lǐng)域適應(yīng)性問題[9]。通常將源域與目標(biāo)域分別表示為D和T；χ與y分別表示特征空間與標(biāo)簽空間；P（X ）表示邊際概率分布，其中X={x1， k， xn}∈ χ；f （·）表示目標(biāo)的預(yù)測函數(shù)，遷移學(xué)習(xí)即利用有標(biāo)注的D來學(xué)習(xí)T的知識，具體過程可由如下形式進(jìn)行闡釋：

深度遷移學(xué)習(xí)的基本思想是通過在一個現(xiàn)有的大型數(shù)據(jù)集上（例如ImageNet）預(yù)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)模型，然后利用這個已經(jīng)預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的權(quán)重作為整個模型的初始化權(quán)值，然后將其遷移到目標(biāo)數(shù)據(jù)集上進(jìn)行訓(xùn)練和微調(diào)。遷移學(xué)習(xí)之所以可行是因為神經(jīng)網(wǎng)絡(luò)的前面幾層學(xué)習(xí)的是樣本的泛型特征，例如點、線、輪廓等共性底層特征，后幾層學(xué)習(xí)的是目標(biāo)數(shù)據(jù)集的特有特征。

本文的實驗?zāi)Ｐ驮贗mageNet這樣一個超大型的數(shù)據(jù)集（包括約120萬自然圖像和1 000個不同類別）上進(jìn)行預(yù)訓(xùn)練，將預(yù)訓(xùn)練得到的模型參數(shù)作為網(wǎng)絡(luò)的初始化參數(shù)，之后依據(jù)經(jīng)驗定制全連接層，以此使感受野得到增大，進(jìn)而學(xué)習(xí)到乳腺癌病理圖像更高細(xì)粒度特征模板。表2是本模型的具體網(wǎng)絡(luò)結(jié)構(gòu)組成。

2? 實驗分析

2.1? 實驗環(huán)境

本實驗采用Python編程語言，GPU處理器為NVIDIA GeForce GTX 3080 Ti，內(nèi)存為16 GB，操作系統(tǒng)為Ubuntu 20.04，深度學(xué)習(xí)框架為TensorFlow。

2.2? 實驗數(shù)據(jù)

數(shù)據(jù)集BreakHis（Breast Cancer Histopathological Database）來自P&D實驗室，其包括了來自82位患者的7 909張已標(biāo)注好的乳腺組織病理圖像。其中良性腫瘤圖像有2 480幅，惡性腫瘤圖像有5 429幅。圖像采用4種不同的放大倍數(shù)（40X、100X、200X、400X）。BreakHis數(shù)據(jù)集的部分乳腺癌病理圖像樣本如圖2所示。

2.3? 數(shù)據(jù)增強(qiáng)

為在原有的圖像數(shù)據(jù)集的基礎(chǔ)上擴(kuò)大圖像的數(shù)量，進(jìn)而提高模型的泛化能力，往往會在已有的數(shù)據(jù)利用鏡像、旋轉(zhuǎn)、尺度變換、隨機(jī)扣取、色彩抖動等方式進(jìn)行數(shù)據(jù)增強(qiáng)來實現(xiàn)對圖像的預(yù)處理。

本文利用Albumentations數(shù)據(jù)增強(qiáng)庫，將以下操作按照規(guī)定概率組合完成了圖像數(shù)據(jù)增強(qiáng)工作：將輸入數(shù)據(jù)集圖像以0.5的概率水平翻轉(zhuǎn)；以0.5的概率設(shè)置隨機(jī)轉(zhuǎn)動的角度為15°；以0.5的概率設(shè)置隨機(jī)亮度與對比度分別在-0.2到0.2與-0.1到0.1這個區(qū)間內(nèi)；以0.8的概率設(shè)置隨機(jī)裁切的區(qū)間為0.9到1.1，同時設(shè)置隨機(jī)長寬比區(qū)間為0.05到1.1；對輸入圖像進(jìn)行了模糊化處理以降低噪聲[8]。

2.4? 參數(shù)設(shè)置

利用EfficientNetV2-B1網(wǎng)絡(luò)可以讓模型的誤差率和漏檢率大幅降低，同時可提升模型泛化能力。在進(jìn)行多次實驗后，成功獲得了本模型的最佳參數(shù)組合，即設(shè)置初始學(xué)習(xí)率為0.001，批量大小Batch_size為16，圖像標(biāo)準(zhǔn)化Norm_size為240，模型共迭代訓(xùn)練了20輪。

2.5? 實驗結(jié)果及分析

2.5.1? 實驗結(jié)果

根據(jù)常用性能評價指標(biāo)，準(zhǔn)確率（accuracy）越高，模型的分類效果就越理想，也就越能規(guī)避惡性乳腺腫瘤細(xì)胞無法被識別分類的現(xiàn)象；損失越低，可說明模型魯棒性的強(qiáng)大。實驗結(jié)果表明：本實驗最終驗證集準(zhǔn)確率和損失分別為0.968 4和0.084 7。訓(xùn)練過程速度快，網(wǎng)絡(luò)收斂性良好。如圖3所示。

2.5.2? 結(jié)果分析

BreakHis數(shù)據(jù)集被劃分成了訓(xùn)練集、驗證集和測試集。在進(jìn)行數(shù)據(jù)預(yù)處理之前，訓(xùn)練集、驗證集、測試集上的圖像數(shù)量分別為5 687、1 422和800。為了更直觀準(zhǔn)確地看出模型分類效果，對測試集上的圖像進(jìn)行預(yù)測，并用混淆矩陣反映預(yù)測結(jié)果情況[9]。

從圖4中可以計算出，在測試集上，對于良性和惡性乳腺癌圖像，準(zhǔn)確率均達(dá)到97%左右，AUC達(dá)到0.978，可見本模型對于乳腺癌病理圖像分類效果之理想。

在模型訓(xùn)練過程中，可以看出模型相較于輕量級神經(jīng)網(wǎng)絡(luò)模型MobileNet[10]，準(zhǔn)確率更高，相較于其他深度學(xué)習(xí)網(wǎng)絡(luò)模型如ResNet不僅準(zhǔn)確率更高，參數(shù)量更少。對比數(shù)據(jù)如表3所示。

觀察表中數(shù)據(jù)，可以明顯看出基于EfficientNetV2和遷移學(xué)習(xí)的乳腺癌病理圖像分類算法在參數(shù)量和準(zhǔn)確率上的優(yōu)越性。

3? 結(jié)? 論

借助計算機(jī)視覺技術(shù)，達(dá)到對乳腺癌病理圖像病灶的智能分類，輔助病理醫(yī)師進(jìn)行乳腺癌的臨床診斷和早期篩查的未來應(yīng)用的前景廣闊。深度學(xué)習(xí)已然成為數(shù)字組織病理學(xué)的首選方法。我們通過深度學(xué)習(xí)模型與遷移學(xué)習(xí)算法對乳腺癌病理圖像進(jìn)行識別，并利用Nadam優(yōu)化器來優(yōu)化梯度下降，將圖像分為良性、惡性的二分類，得到EfficientNetV2-B1模型效果最好，其不僅網(wǎng)絡(luò)收斂性、訓(xùn)練速度和分類精度更好，而且參數(shù)量更少。不足之處在于乳腺癌的數(shù)據(jù)量分布不均衡，今后的工作將對具體惡性乳腺癌類型進(jìn)一步細(xì)分，實現(xiàn)對病患具體情況的具體處理。

參考文獻(xiàn)：

[1] 顧玉芳，李國遠(yuǎn).乳腺觸診成像系統(tǒng)在乳腺疾病早期篩查中的應(yīng)用分析 [J].中國初級衛(wèi)生保健，2022，36（4）：77-79.

[2] TORRE L A，ISLAMI F，SIEGEL R，et al. Global Cancer in Women： Burden and Trends [J]. Cancer Epidemiology， Biomarkers &Prevention ，2017，26（4）：444-457.

[3] SPANHOL F A，OLIVEIRA L S，PETITJEAN C. Breast cancer histopathological image classification using Convolutional Neural Networks [C]//2016 International Joint Conference on Neural Networks （IJCNN）.Vancouver：IEEE，2016：2560-2567.

[4] KRIZHEVSKY A，STUSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：80-90.

[5] MAHBOD A，ELLINGER I，ECKER R，et al. Breast Cancer Histological Image Classification Using Fine-Tuned Deep Network Fusion [M].Campilho A，Karray F，Romeny B H. Image Analysis and Recognition. [S.I.]：Springer，2018.

[6] TAN M X，LE Q V. EfficientNetV2： Smaller Models and Faster Training [J/OL].arXiv：2104.00298 [cs.CV].[2022-11-28]. https：//arxiv.org/abs/2104.00298v1.

[7] TAN M X，LE Q V. EfficientNet： Rethinking Model Scaling for Convolutional Neural Networks [J/OL].arXiv：1905.11946 [cs.LG].[2022-11-28].https：//arxiv.org/abs/1905.11946v5.

[8] DOZAT T. Incorporating Nesterov Momentum into Adam [EB/OL].[2022-11-28].http：//cs229.stanford.edu/proj2015/054_report.pdf.

[9] SCH?LKOPF B，PLATT J，HOFMANN T. Analysis of Representations for Domain Adaptation [M]//SCH?LKOPF B，PLATT J，HOFMANN T. Advances in Neural Information Processing Systems 19： Proceedings of the 2006 Conference.Cambridge：MIT Press，2007.137-144.

[10] BUSLAEV A，PARINOV A，KHVEDCHENYA E，et al. Albumentations：Fast and Flexible Image Augmentations [J/OL].arXiv：1809.06839 [cs.CV].[2022-11-28].https：//arxiv.org/abs/1809.06839.

作者簡介：楊傳德（2003—），男，漢族，山東臨沂人，本科

在讀，研究方向：圖像處理、深度學(xué)習(xí)；李格璇（2003—），女，漢族，山東德州人，本科在讀，研究方向：機(jī)器學(xué)習(xí)；李海軍（1974—），男，漢族，山東聊城人，副教授，碩士，研究方向：計算機(jī)視覺。