郭笑顏，王波，張劍飛，劉明

基于改進(jìn)AlexNet和注意力機(jī)制的乳腺癌自動(dòng)檢測

郭笑顏，王波，張劍飛，劉明

（齊齊哈爾大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，黑龍江 齊齊哈爾 161006）

乳腺癌是女性中最常見的癌癥類型，如果能在乳腺癌的早期確診和治療，可以顯著提高患者生存率。組織病理學(xué)檢查是癌癥確診的黃金標(biāo)準(zhǔn)，針對醫(yī)生很難在乳腺癌病理組織切片上精確快速的描繪出患病區(qū)域，給出一種基于改進(jìn)AlexNet和注意力機(jī)制的網(wǎng)絡(luò)模型用于IDC的自動(dòng)檢測，首先將全視野數(shù)字病理切片按照坐標(biāo)信息進(jìn)行不重復(fù)切片，然后將小切片輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，預(yù)測和評估，最后將小切片的分類結(jié)果按照坐標(biāo)信息還原到全視野數(shù)字病理切片上，通過對小切片的二分類間接完成IDC的檢測任務(wù)。該方法最終取得了86.34%的準(zhǔn)確率、78.20%的1評分和84.12%的平衡準(zhǔn)確率，具有一定的實(shí)用價(jià)值和科研意義。

乳腺癌；自動(dòng)檢測；AlexNet；注意力機(jī)制

根據(jù)世界衛(wèi)生組織公布的數(shù)據(jù)顯示，乳腺癌是女性中最常見的癌癥類型，每年影響210萬女性。在2018年約有62.7萬名婦女死于乳腺癌，占女性癌癥死亡人數(shù)的15%[1]。其中70%約為浸潤性乳腺導(dǎo)管癌（Invasive Ductal Carcinoma，IDC），近20年以來IDC發(fā)病率具有明顯上升的趨勢。如果能在乳腺癌早期確診和治療，可以顯著增加成功治療的機(jī)會(huì)，98%的患者都將存活5年以上，但是如果在乳腺癌的后期才被發(fā)現(xiàn)，治療的成功率下降到25%[2-3]。

在乳腺癌的診斷過程中，病理學(xué)家首先需要對通過手術(shù)或者穿刺取得的組織切片染色，然后在顯微鏡下對組織切片進(jìn)行病理學(xué)檢查來確定是否發(fā)生癌變。目前，患者的組織切片可以被掃描形成全視野數(shù)字病理切片（Whole slide image , WSI），可以提供不同組織區(qū)域、不同分辨率的圖片供病理學(xué)家分析診斷，同時(shí)為計(jì)算機(jī)自動(dòng)分析奠定了基礎(chǔ)。Spanhol等[4]在2016年公開一個(gè)乳腺顯微圖像數(shù)據(jù)集BreaKHis，該數(shù)據(jù)集目前已經(jīng)成為乳腺顯微圖像的基準(zhǔn)數(shù)據(jù)集，大量研究人員在此基礎(chǔ)上開展科學(xué)研究[5-7]。Bhuiyan等[8]提出了一種基于遷移學(xué)習(xí)加分類器的乳腺癌分類模型。使用4個(gè)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于提取圖像特征，然后對特征向量進(jìn)行降維，最后分別使用SVM, K近鄰分類和邏輯回歸對圖像進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，在放大40倍的顯微圖像上得到了最好的結(jié)果，使用預(yù)訓(xùn)練的ResNet-50做特征提取器，SVM做分類器時(shí)準(zhǔn)確率為96.24%，召回率100%。Cruz-Roa等[9]基于WSI利用三層CNN對IDC的患病組織區(qū)域進(jìn)行自動(dòng)檢測，得到1評分為71.80%，平衡準(zhǔn)確率為84.23%。由于WSI的像素規(guī)格較大和病理組織的復(fù)雜，專業(yè)的病理學(xué)家在WSI上精確快速描繪出患病區(qū)域仍然是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)。本文首先將WSI按照坐標(biāo)信息切分為小切片，然后搭建基于改進(jìn)AlexNet和注意力機(jī)制的網(wǎng)絡(luò)模型對小切片進(jìn)行訓(xùn)練、預(yù)測和評估，最后將小切片的分類結(jié)果按照坐標(biāo)信息還原至WSI上，健康切片和患病切片分別加上綠色和紅色邊框，從而在WSI上劃分出患病區(qū)域和健康區(qū)域，通過二分類完成IDC的自動(dòng)檢測任務(wù)。

1 方法和數(shù)據(jù)

1.1 方法

本文提出一種基于改進(jìn)AlexNet[10]和通道注意力機(jī)制網(wǎng)絡(luò)模型對IDC進(jìn)行自動(dòng)檢測。首先使用全局平局池化層替代AlexNet的全連接層，使用批量歸一化（Batch Normalization，BN）[11]代替AlexNet中局部響應(yīng)歸一化，添加通道注意力機(jī)制模塊；然后對數(shù)據(jù)集進(jìn)行相關(guān)預(yù)處理，輸入至模型中進(jìn)行訓(xùn)練、預(yù)測和評估。AlexNet包含8層CNN，并以很大的優(yōu)勢獲得了ImageNet2012大規(guī)模計(jì)算機(jī)視覺挑戰(zhàn)賽的冠軍。它首次證明了CNN學(xué)習(xí)的特征超越手工提取的特征，一舉打破計(jì)算機(jī)視覺的現(xiàn)狀，從此CNN開始了飛速的發(fā)展。

注意力機(jī)制是一種資源分配的機(jī)制，根據(jù)注意力對象的重要程度重新分配資源，在深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)中，注意力機(jī)制所要分配的資源為權(quán)重。視覺注意力核心思想是基于原有的數(shù)據(jù)找到其之間的關(guān)聯(lián)性，然后突出其某些重要特征。注意力機(jī)制有通道注意力，像素注意力和多階注意力等。SENet是2018年提出的通過建模輸入特征的通道間關(guān)系，從而得到不同通道的權(quán)重，乘到輸入特征上，以獲得特征重標(biāo)定的通道特征注意力的方法[12]，如圖1所示。通過學(xué)習(xí)的方式來自動(dòng)獲取到每個(gè)特征通道的重要程度，然后依照這個(gè)重要程度去提升有用的特征并抑制對當(dāng)前任務(wù)用處較小的特征。

壓縮操作（Squeeze），在得到多個(gè)卷積特征圖之后采用全局平均池化操作對每個(gè)卷積特征圖進(jìn)行壓縮，將每個(gè)二維的特征通道變成一個(gè)實(shí)數(shù)數(shù)列（即2*h*w--1*1*2），這個(gè)實(shí)數(shù)某種程度上具有全局的感受野，并且輸出的維度和輸入的特征通道數(shù)相匹配均為2。它代表著在特征通道上響應(yīng)的全局分布，而且靠近輸入的層也可以獲得全局的感受野，使得網(wǎng)絡(luò)低層也能利用全局信息。

激勵(lì)操作（Excitation），它是一個(gè)類似于循環(huán)神經(jīng)網(wǎng)絡(luò)中門的機(jī)制。通過參數(shù)w來為每個(gè)特征通道生成權(quán)重，輸出為1*1*2的對應(yīng)不同通道的權(quán)重，其中參數(shù)w被用來顯式地建模特征通道間的相關(guān)性。

特征重標(biāo)定（Scale），將激勵(lì)操作的輸出的權(quán)重看作是經(jīng)過特征選擇后的每個(gè)特征通道的重要性，然后通過乘法逐通道加權(quán)到先前的特征上，完成在通道維度上的對原始特征的重標(biāo)定。

圖1 SE block結(jié)構(gòu)

1.2 數(shù)據(jù)集

本文數(shù)據(jù)集來自賓夕法尼亞大學(xué)和新澤西州癌癥研究所的162位被診斷出IDC女性患者的WSI以及按照坐標(biāo)對WSI進(jìn)行不重復(fù)切片，切分成50*50的WSI小切片（www.andrewjanowczyk.com/use-case-6-invasive-ductal-carcinoma-idc-segmentation）。如圖2(a)所示代表原始WSI，圖2(b)表示病理學(xué)家標(biāo)注的WSI，圖2(c)代表切片后的WSI。小切片是按照坐標(biāo)信息從病理學(xué)家手動(dòng)標(biāo)注WSI的組織區(qū)域（去掉載玻片邊緣和脂肪區(qū)域）中不重復(fù)切割而來，其中紅色部分代表患病區(qū)域，綠色部分代表健康區(qū)域。

圖2 WSI切片示例

圖3為WSI按照坐標(biāo)切片后的健康和患病切片，切片以患者編號、坐標(biāo)和類別信息作為文件名，例如8913_idx5_x101_y701_class0.png表示8913號患者WSI的軸坐標(biāo)為101，軸坐標(biāo)為701，class0表示類別為健康的小切片。通過觀察可明顯看到與健康切片相比，患病切片的紋理更加復(fù)雜，經(jīng)過蘇木精和伊紅染色后顏色更深。

圖3 健康和患病切片

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集預(yù)處理

首先將數(shù)據(jù)集劃為訓(xùn)練集和測試集，然后從測試集中分割出驗(yàn)證集，其中訓(xùn)練集、驗(yàn)證集和測試集三者之間的比例約為3∶1∶1，數(shù)量分別為98, 32, 32。按照坐標(biāo)信息切片后的訓(xùn)練集中健康切片數(shù)量為63474，患病切片數(shù)量為22620，比例約3∶1。健康切片和患病切片的數(shù)量不平衡，容易造成對少數(shù)類分類識別效果不佳的問題。本文對切片采用隨機(jī)水平和垂直平移、以閾值40度進(jìn)行隨機(jī)旋轉(zhuǎn)和水平垂直翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)操作，二者數(shù)量達(dá)到平衡。增強(qiáng)后的切片如圖4所示，數(shù)據(jù)集數(shù)量如表1所示。

圖4 數(shù)據(jù)增強(qiáng)

由于AlexNet網(wǎng)絡(luò)模型的輸入規(guī)格為227*227*3，需要將WSI的小切片處理成為標(biāo)準(zhǔn)輸入大小，本文使用OpenCV庫將圖片大小調(diào)整為標(biāo)準(zhǔn)大小。數(shù)據(jù)預(yù)處理是機(jī)器學(xué)習(xí)方法用于數(shù)據(jù)分析中重要的環(huán)節(jié)，合適的預(yù)處理方法不僅提高模型的訓(xùn)練效率并且能有效提升模型的泛化能力。本文采用歸一化預(yù)處理方法,可以在不改變圖像信息的前提下將輸入像素范圍壓縮至0～1之間，加快網(wǎng)絡(luò)模型的訓(xùn)練，如圖5所示。

表1 數(shù)據(jù)集數(shù)量

圖5 歸一化預(yù)處理

2.2 AlexNet

網(wǎng)絡(luò)模型的超參數(shù)是網(wǎng)絡(luò)初始化的值，這些數(shù)值并不能在CNN訓(xùn)練的過程中學(xué)到，每個(gè)神經(jīng)網(wǎng)絡(luò)都會(huì)有最佳超參數(shù)組合，這組參數(shù)能夠得到最大的準(zhǔn)確率。然而對每個(gè)神經(jīng)網(wǎng)絡(luò)而言，并沒有確定最佳超參數(shù)組合的直接方法，所以通常都是通過反復(fù)試驗(yàn)和經(jīng)驗(yàn)得到的，本章實(shí)驗(yàn)超參數(shù)配置如表2所示。

表2 超參數(shù)設(shè)置

本節(jié)根據(jù)上述的算法和超參數(shù)設(shè)置，使用Keras框架搭建AlexNet網(wǎng)絡(luò)模型結(jié)構(gòu)用于訓(xùn)練。將預(yù)處理后的訓(xùn)練集和驗(yàn)證集輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，訓(xùn)練完成后將測試集輸入至模型中進(jìn)行評估。經(jīng)過100次迭代訓(xùn)練，最終模型在測試集上取得了85.10%的準(zhǔn)確率、76.32%的1評分和82.79%的平衡準(zhǔn)確率，混淆矩陣如圖6所示。訓(xùn)練集和驗(yàn)證集的損失值和準(zhǔn)確率變化如圖7所示。

2.3 改進(jìn)AlexNet和注意力機(jī)制

在圖7中，訓(xùn)練集的損失值不斷下降，而驗(yàn)證集損失值在40次以后就趨于平緩，不再下降。同時(shí)訓(xùn)練集準(zhǔn)確率不斷提高，達(dá)到92%，而驗(yàn)證集的準(zhǔn)確率在86%浮動(dòng)。模型出現(xiàn)了過擬合現(xiàn)象。AlexNet網(wǎng)絡(luò)模型的總參數(shù)一共達(dá)到了60965128，模型參數(shù)過多導(dǎo)致了出現(xiàn)過擬合現(xiàn)象。6000多萬參數(shù)中，全連接層參數(shù)數(shù)量達(dá)到了58631144，占總參數(shù)量的96.2%。由于AlexNet出現(xiàn)了過擬合現(xiàn)象，為了獲取更好的分類識別結(jié)果，本節(jié)將對AlexNet模型進(jìn)行改進(jìn)，并且添加了注意力機(jī)制模塊，如圖8所示。

圖6 AlexNet混淆矩陣

圖7 AlexNet損失函數(shù)和準(zhǔn)確率曲線

圖8 改進(jìn)AlexNet結(jié)構(gòu)

（1）使用全局平局池化層（Global Average Pooling，GAP）替代AlexNet的全連接層，全局平均池化取每個(gè)卷積特征圖的平均值作為輸出，對卷積特征圖進(jìn)行降維，極大的降低了模型的參數(shù)數(shù)量。

（2）使用BN代替AlexNet中局部響應(yīng)歸一化，局部響應(yīng)歸一化用相鄰的像素進(jìn)行歸一化，這是借鑒生物學(xué)上“側(cè)抑制”的做法。BN對整個(gè)批次進(jìn)行歸一化，一定程度上隔離神經(jīng)網(wǎng)絡(luò)中層與層之間的高階交互，通過減少內(nèi)部協(xié)變量偏移有效地加速了深度網(wǎng)絡(luò)的訓(xùn)練。

（3）添加通道注意力機(jī)制模塊，讓網(wǎng)絡(luò)利用全局信息有選擇地增強(qiáng)有益卷積特征圖通道并抑制無用卷積特征圖通道，從而能實(shí)現(xiàn)卷積特征圖通道自適應(yīng)校準(zhǔn)。

使用表2相同的超參數(shù)配置，使用Keras搭建圖8所示的網(wǎng)絡(luò)模型結(jié)構(gòu)。將訓(xùn)練集和驗(yàn)證集輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，經(jīng)過100次迭代后，改進(jìn)的AlexNet和注意力機(jī)制模型結(jié)構(gòu)在測試集上取得了86.34%的準(zhǔn)確率、78.20%的1評分和84.12%的平衡準(zhǔn)確率。混淆矩陣如圖9所示。訓(xùn)練集和驗(yàn)證集的損失值和準(zhǔn)確率變化如圖10所示。

圖9 改進(jìn)AlexNet混淆矩陣

圖10 改進(jìn)AlexNet損失函數(shù)和準(zhǔn)確率曲線

基于改進(jìn)AlexNet和注意力機(jī)制的網(wǎng)絡(luò)模型在100次迭代后趨于收斂，訓(xùn)練集和驗(yàn)證集的損失值50次后在0.34左右浮動(dòng)，準(zhǔn)確率在87%左右浮動(dòng)。與AlexNet模型相比，測試集準(zhǔn)確率高出1.24%，1高出1.88%，平衡準(zhǔn)確率高出了1.33%。通過對AlexNet模型進(jìn)行改進(jìn)，很大程度上降低了模型的參數(shù)數(shù)量，避免出現(xiàn)過擬合現(xiàn)象，同時(shí)增加了通道注意力機(jī)制，使改進(jìn)后的模型在準(zhǔn)確率、1和平衡準(zhǔn)確率上都取得了提升，對IDC切片具有更好的識別效果。

3 結(jié)論

由于WSI的規(guī)格較大，在WSI上快速精確地描繪出乳腺癌患病區(qū)域?qū)τ诓±磲t(yī)生來說是一個(gè)巨大的挑戰(zhàn)。本文首先將WSI按照坐標(biāo)信息進(jìn)行不重復(fù)切片，然后搭建基于改進(jìn)AlexNet和注意力機(jī)制的網(wǎng)絡(luò)模型對WSI切片進(jìn)行訓(xùn)練、預(yù)測和分類，最后將分類后的結(jié)果按照坐標(biāo)信息還原至WSI上，從而通過二分類完成IDC的自動(dòng)檢測任務(wù)。實(shí)驗(yàn)結(jié)果表明，融合注意力機(jī)制的改進(jìn)AlexNet網(wǎng)絡(luò)模型避免了過擬合現(xiàn)象，與AlexNet模型相比，測試集準(zhǔn)確率高出1.24%，1評分高出1.88%，平衡準(zhǔn)確率高出了1.33%，具有更好的識別效果和研究價(jià)值。

[1] World Health Organization, (2020). [Onlion]. Available:www.who.int/cancer/prevention/diagnosis-screening/breast-cancer/en/.

[2] SIZILIO G R M A, LEITE C R M, GUERREIRO A M G, et al. Fuzzy method for pre-diagnosis of breast cancer from the fine needle aspirate analysis[J]. Biomedical Engineering Online, 2012, 11(1): 1-21.

[3] BRAY F, FERLAY J, SOERJOMATARAM I, et al. Global cancer statistics 2018: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA: a cancer journal for clinicians, 2018, 68(6): 394-424.

[4] SPANHOL F A, OLIVEIRA L S, PETITJEAN C, et al. A dataset for breast cancer histopathological image classification[J]. Ieee transactions on biomedical engineering, 2015, 63(7): 1455-1462.

[5] SONG Y, ZOU J J, CHANG H, et al. Adapting fisher vectors for histopathology image classification[C]//2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017). IEEE, 2017: 600-603.

[6] ZHI W, YUENG H W F, CHEN Z, et al. Using transfer learning with convolutional neural networks to diagnose breast cancer from histopathological images[C]//International Conference on Neural Information Processing. Springer, Cham, 2017: 669-676.

[7] NEJAD E M, AFFENDEY L S, LATIP R B, et al. Classification of histopathology images of breast into benign and malignant using a single-layer convolutional neural network[C]//Proceedings of the International Conference on Imaging, Signal Processing and Communication, 2017: 50-53.

[8] BHUIYAN M N Q, SHAMSUJJOHA M, RIPON S H, et al. Transfer learning and supervised classifier based prediction model for breast cancer[J]. Big Data Analytics for Intelligent Healthcare Management. Academic Press, 2019: 59-86.

[9] CRUZ-ROA A, BASAVANHALLY A, GONZáLEZ F, et al. Automatic detection of invasive ductal carcinoma in whole slide images with convolutional neural networks[C]//Medical Imaging 2014: Digital Pathology. International Society for Optics and Photonics, 2014, 9041: 904103.

[10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25: 1097-1105.

[11] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C] //International conference on machine learning. PMLR, 2015: 448-456.

[12] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 7132-7141.

Automatic detection of breast cancer based on the improved AlexNet and attention mechanism

GUO Xiao-yan，WANG Bo，ZHANG Jian-fei，LIU Ming

(College of Computer and Control Engineering, Qiqihar University, Heilongjiang Qiqihar 161006, China)

Breast cancer is the most common type of cancer among women. If breast cancer can be diagnosed and treated early, it can significantly improve the survival rate of patients. Histopathologic examination is the gold standard for cancer diagnosis. It is difficult for doctors to accurately and quickly depict the disease area on pathological sections of breast cancer. This paper presents a network model based on improved AlexNet and attention mechanism for automatic detection of IDC. First, the whole field digital pathological patches are sliced according to coordinate information. Then it is input into the network model for training, prediction and evaluation. Finally, the classification results of patches are restored to the full field digital slices according to the coordinate information. Through the two classification of small patches, the detection task of IDC is completed indirectly. This method finally achieved 86.34% accuracy, 78.20%1 score and 84.12% balanced accuracy, which has certain practical value and scientific research significance.

breast cancer；automatic detection；AlexNet；attention mechanism

2020-11-08

黑龍江省省屬高校基本科研業(yè)務(wù)費(fèi)科研項(xiàng)目（135409608）

郭笑顏（1996-），男，河南南陽人，在讀碩士，主要從事深度學(xué)習(xí)和計(jì)算機(jī)輔助診斷研究，gxyhpu@163.com。

TP391.9;R737.9

A

1007-984X(2022)03-0032-05