摘" " 要" " 超聲檢查因其無(wú)創(chuàng)性已成為診斷非酒精性脂肪性肝病（NAFLD）的首選方法，計(jì)算機(jī)輔助診斷技術(shù)的引入可以幫助醫(yī)師減少在NAFLD檢測(cè)和分類的偏差。為此，本研究提出了一種將結(jié)合注意力機(jī)制的預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)與Stacking集成學(xué)習(xí)模型相結(jié)合的混合模型，集合了基于自注意力機(jī)制的多尺度特征聚合和基于Stacking集成學(xué)習(xí)模型多分類模型（邏輯回歸、隨機(jī)森林、支持向量機(jī)）融合的特性，實(shí)現(xiàn)基于肝臟超聲圖像的正常肝臟、輕度脂肪肝、中度脂肪肝、重度脂肪肝的4分類，準(zhǔn)確度為91.34%，略優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法（≤89.41%）。結(jié)果顯示，相較于預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)，引入自注意力機(jī)制使得準(zhǔn)確度提高了3.02%，使用Stacking集成學(xué)習(xí)模型作為分類器進(jìn)一步將準(zhǔn)確度提高到 91.34%，超過了邏輯森林回歸（89.86%）、支持向量機(jī)（90.34%）、隨機(jī)森林（90.73%）等單一分類器。該方法能有效提升NAFLD超聲圖像檢測(cè)的效率和準(zhǔn)確性。

關(guān)鍵詞" " 超聲圖像；非酒精性脂肪性肝病；VGG；自注意力；集成學(xué)習(xí)

［中圖法分類號(hào)］R445.1；R575.5" " " ［文獻(xiàn)標(biāo)識(shí)碼］A

Pre-trained neural network classification algorithm based on ultrasound images of non-alcoholic fatty liver disease

GUO Lijuan，WANG Wenjuan，WANG Xiaotong，SHI Liling

Department of Ultrasound，Shanxi Children’s Hospital，Shanxi Women and Children Hospital，Taiyuan 030013，China

ABSTRACT" nbsp; Ultrasound examination has become the preferred choice for diagnosing non-alcoholic fatty liver disease（NAFLD） due to its non-invasive.Computer-aided diagnosis technology can help doctors avoiding deviations of detection and classification in NAFLD.Therefore，this study propose a hybrid model that makes the pre-trained VGG16 network combined with the attention mechanism and the Stacking ensemble learning model，which has ability of multi-scale feature aggregation based on the self-attention mechanism and multi-classification model fusion（Logistic regression，random forest，support vector machine） based on Stacking ensemble learning.The proposed hybrid method achieves four classifications of normal，mild，moderate，and severe fatty liver based on ultrasound images，and it reaches an accuracy of 91.34%，which is slightly better than traditional neural network algorithms（≤89.41%）.The results show that compared with the pre-trained VGG16 network，adding the self-attention mechanism improves the accuracy by 3.02%.Using the Stacking ensemble learning model as a classifier further increases the accuracy to 91.34%，exceeding any one single classifier such as Logistic regression（89.86%），support vector machine（90.34%） and random forest（90.73%）.The proposed hybrid method can effectively improve the efficiency and accuracy of NAFLD ultrasound image detection.

KEY WORDS" " Ultrasound image；Non-alcoholic fatty liver disease；VGG；Self-attention；Ensemble learning

近年來隨著人們生活習(xí)慣的變化，脂肪肝的發(fā)病率呈逐年上升趨勢(shì)，全球范圍內(nèi)患有非酒精性脂肪性肝?。╪on-alcoholic fatty liver disease，NAFLD）的人群比例為20%～30%，且趨于年輕化，給社會(huì)和家庭帶來了沉重的醫(yī)療和經(jīng)濟(jì)負(fù)擔(dān)。目前NAFLD的診斷和識(shí)別主要依賴于血液實(shí)驗(yàn)室檢查和活組織病理檢查等侵入性操作和超聲、CT等非侵入性成像技術(shù)［1-2］。超聲檢查因其無(wú)創(chuàng)性和操作簡(jiǎn)便已成為診斷NAFLD的首選方法。然而，超聲檢查的準(zhǔn)確性很大程度上取決于操作人員的技能和專業(yè)知識(shí)。近年計(jì)算機(jī)輔助診斷技術(shù)被引入以幫助臨床醫(yī)師準(zhǔn)確診斷NAFLD，并可以減少醫(yī)師在NAFLD檢測(cè)和分類應(yīng)用中的偏差，有利于醫(yī)院的資源優(yōu)化和調(diào)度［3-4］。在醫(yī)學(xué)影像學(xué)技術(shù)中，基于機(jī)器學(xué)習(xí)的檢測(cè)是目前研究熱點(diǎn)之一。Andrade等［4］手動(dòng)從超聲圖像中提取多個(gè)特征，并評(píng)估人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量機(jī)（SVM）和K最鄰近法（KNN）在診斷肝臟脂肪變性中的性能。Lup?or等［5］將圖像的衰減系數(shù)應(yīng)用到數(shù)理統(tǒng)計(jì)框架中以實(shí)現(xiàn)對(duì)脂肪肝的檢測(cè)。Das等［1］從不同受試者的超聲圖像中選擇代表性感興趣區(qū)（ROI）并提取紋理特征，然后評(píng)估如SVM、神經(jīng)網(wǎng)絡(luò)和XGBoost等多種分類算法。Wu等［6］使用隨機(jī)森林（RF）、樸素貝葉斯（NB）、ANN和邏輯回歸（LR）構(gòu)建模型來預(yù)測(cè)NAFLD。在上述機(jī)器學(xué)習(xí)算法中，特征選擇在算法中起著至關(guān)重要的作用，對(duì)分類性能有著顯著影響。然而，特征選擇是由人工設(shè)計(jì)完成，其完整性和有效性依賴于研究人員的經(jīng)驗(yàn)和知識(shí)。不同的特征選擇方法可能影響最終的結(jié)果分析，而且當(dāng)選擇特征有誤時(shí)可能會(huì)對(duì)結(jié)果產(chǎn)生負(fù)面影響。因此，制定更有效的策略來解決特征選擇十分必要。

卷積神經(jīng)網(wǎng)絡(luò)（convolution neural network，CNN）可以實(shí)現(xiàn)特征的自動(dòng)計(jì)算和選擇，已經(jīng)應(yīng)用于超聲圖像分析中［7-8］。Reddy等［9］應(yīng)用CNN從超聲圖像中獲取紋理特征，提高了NAFLD分類的診斷準(zhǔn)確性。Che等［10］通過融合從二維超聲圖像數(shù)據(jù)提取的特征提出了一種新的多特征CNN架構(gòu)，并提高了特征提取的性能。在基于CNN的架構(gòu)中，針對(duì)特定的任務(wù)進(jìn)行訓(xùn)練特定的CNN模型。在模型訓(xùn)練過程中，模型性能會(huì)隨著層數(shù)的深度增加而提升，但深度模型的性能依賴于大量的樣本數(shù)據(jù)、豐富計(jì)算資源，也容易出現(xiàn)過度擬合等問題。為了在使用深度神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)的同時(shí)降低上述風(fēng)險(xiǎn)，可以采用在如ImageNet大數(shù)據(jù)集上的預(yù)訓(xùn)練CNN，預(yù)訓(xùn)練的CNN僅充當(dāng)特征提取器，無(wú)需依賴大量數(shù)據(jù)樣本和計(jì)算資源進(jìn)行重新訓(xùn)練，也可以避免過度擬合。Byra等［11］使用Inception-ResNet-v2架構(gòu)進(jìn)行肝臟超聲圖像特征提取。Zamanian等［12］將組合深度學(xué)習(xí)算法，即Inception-ResNetV2、GoogleNet、AlexNet和ResNet101應(yīng)用于超聲圖像中的NAFLD分類，并結(jié)合了不同算法在性能上的優(yōu)勢(shì)。VGG神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于醫(yī)學(xué)影像分析，在網(wǎng)絡(luò)結(jié)構(gòu)中采用3×3的卷積核并結(jié)合非線性層，多層結(jié)構(gòu)增加網(wǎng)絡(luò)深度，使網(wǎng)絡(luò)具備較強(qiáng)的表征能力。Qu等［13］提出了一種基于VGG和ViT預(yù)訓(xùn)練結(jié)合模型，借助VGG實(shí)現(xiàn)了局部特征提取。呼延若曦等［14］提出了一種以VGG16網(wǎng)絡(luò)為編碼器方式，實(shí)現(xiàn)了MRI圖像中前列腺分區(qū)智能分割研究。在基于預(yù)訓(xùn)練的CNN的特征提取過程中，通常采用來自其深層特征，包含高級(jí)語(yǔ)義，缺少了諸如淺層的不同尺度信息。注意力機(jī)制作為神經(jīng)網(wǎng)絡(luò)應(yīng)用中的關(guān)鍵技術(shù)之一，使其具備在不同網(wǎng)絡(luò)層有選擇性接受和處理信息的能力，提升了神經(jīng)網(wǎng)絡(luò)表征能力和分析、理解能力［15］。Li等［16］在設(shè)計(jì)的網(wǎng)絡(luò)中引入了基于注意力機(jī)制的模塊，在數(shù)據(jù)集上的準(zhǔn)確性優(yōu)于其他算法，性能有明顯提升。宮霞等［17］提出了將注意力機(jī)制引入基于級(jí)聯(lián)結(jié)構(gòu)的UNet網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)病灶邊緣區(qū)域更加清晰的分隔。

此外，在特征提取之后，通常連接一個(gè)單一分類器實(shí)現(xiàn)對(duì)NAFLD的檢測(cè)與分類。但單一的分類模型難以適應(yīng)復(fù)雜的應(yīng)用場(chǎng)景。集成學(xué)習(xí)算法將多個(gè)模型結(jié)果集成并作為最終結(jié)果，可以得到魯棒性更強(qiáng)的結(jié)果，已被廣泛應(yīng)用于面向健康大數(shù)據(jù)診療領(lǐng)域中［18］。An等［19］提出了一個(gè)深度集成學(xué)習(xí)框架應(yīng)用于阿爾茨海默病的分類，提升了基分類器的多樣性及分類準(zhǔn)確性。熊思偉和劉玉琳［20］提出基于RF模型、XGBoost模型和AdaBoost模型等分類器的Stacking集成學(xué)習(xí)模型，實(shí)現(xiàn)對(duì)前列腺腫瘤風(fēng)險(xiǎn)預(yù)測(cè)性能的提升。因此，將預(yù)訓(xùn)練的VGG、自注意力機(jī)制、Stacking集成學(xué)習(xí)模型結(jié)合，能夠融合預(yù)訓(xùn)練模型的性能、自注意力機(jī)制的強(qiáng)表征能力和Stacking集成學(xué)習(xí)模型的強(qiáng)魯棒性，提升神經(jīng)網(wǎng)絡(luò)在NAFLD超聲圖像分類應(yīng)用中的性能。本研究提出了一種將結(jié)合注意力機(jī)制的預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)與Stacking集成學(xué)習(xí)模型相結(jié)合的混合模型，集合了基于自注意力機(jī)制的多尺度特征聚合和基于Stacking集成學(xué)習(xí)模型的多分類模型（LR、RF、SVM）融合的特性，實(shí)現(xiàn)基于肝臟超聲圖像的正常肝臟、輕度脂肪肝、中度脂肪肝、重度脂肪肝的4分類，同時(shí)使用準(zhǔn)確度（ACC）、精確度（PRE）、召回率（REC）、F1分?jǐn)?shù)（F1-score）、曲線下面積（AUC）對(duì)模型性能進(jìn)行評(píng)估。

一、方法和數(shù)據(jù)

本研究提出將結(jié)合注意力機(jī)制的預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)與Stacking集成學(xué)習(xí)模型相結(jié)合的混合模型，對(duì)圖像處理過程主要包括圖像預(yù)處理、特征提取和分類3個(gè)階段：第一階段，實(shí)施圖像預(yù)處理，具體方法包括圖像裁剪、降噪和數(shù)據(jù)增強(qiáng)，以改善圖像質(zhì)量，從而更清晰地觀察圖像特征；第二階段，使用具有自注意力的預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)從超聲圖像中提取特征，具體方法為將原始超聲圖像輸入到預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)，并從不同的卷積層輸出不同的特征圖，基于注意力的特征融合層連接并組合這些包含不同尺度信息的特征圖；第三階段，通過結(jié)合LR、SVM和RF等傳統(tǒng)機(jī)器學(xué)習(xí)分類器，使用集成學(xué)習(xí)算法構(gòu)建Stacking集成學(xué)習(xí)模型，使用基于自注意力的預(yù)訓(xùn)練CNN生成的特征，而非使用原始的超聲圖像作為原始輸入，實(shí)現(xiàn)對(duì)NAFLD的預(yù)測(cè)。見圖1。

1.超聲圖像采集

本研究數(shù)據(jù)來源于2018年1月至2023年6月山西省兒童醫(yī)院經(jīng)脂肪肝超聲診斷標(biāo)準(zhǔn)確診的1964個(gè)病例，每個(gè)病例選取肝右葉最大斜徑切面，共獲取1964張超聲圖像。由2名或以上主任醫(yī)師對(duì)數(shù)據(jù)庫(kù)中的超聲圖像進(jìn)行評(píng)估，所有評(píng)估結(jié)果均被標(biāo)記為4種類型之一，即正常肝臟、輕度脂肪肝、中度脂肪肝和重度脂肪肝；其中正常肝臟571例，輕度脂肪肝517例，中度脂肪肝482例，重度脂肪肝394例。當(dāng)所有專家對(duì)同一病例的評(píng)估彼此一致時(shí)，評(píng)估被判斷為有效且可接受。

2.圖像預(yù)處理

由于設(shè)備等原因，超聲圖像在圖像質(zhì)量和尺寸均存在偏差，將會(huì)影響CNN架構(gòu)的準(zhǔn)確性和魯棒性。為此，在算法的第一階段進(jìn)行了數(shù)據(jù)預(yù)處理，如圖像裁剪、直方圖均衡化、數(shù)據(jù)增強(qiáng)等。在超聲圖像中肝臟影像的兩側(cè)存在過多的空白或黑色空間且不傳達(dá)任何診斷信息，因此所有圖像均被統(tǒng)一裁剪。考慮到在預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)中使用卷積層的輸出，且模型中沒有應(yīng)用全連接層，故將裁剪后的圖像調(diào)整為固定尺寸500×500，保證見效圖像同一尺寸的同時(shí)也可以保留足夠空間信息。同時(shí)引入直方圖均衡化，通過對(duì)圖像強(qiáng)度值進(jìn)行變換以增強(qiáng)不同脂肪肝程度的超聲圖像對(duì)比度，有利于病灶的識(shí)別和分類。使用數(shù)據(jù)增強(qiáng)方式實(shí)現(xiàn)數(shù)據(jù)集擴(kuò)展，如相對(duì)于y軸鏡像圖像、通過添加高斯噪聲來調(diào)整圖像中的照明，以及在（?30°，+30°）范圍內(nèi)旋轉(zhuǎn)圖像隨機(jī)角度，可以避免神經(jīng)網(wǎng)絡(luò)過度擬合。數(shù)據(jù)集擴(kuò)展到4000張超聲圖像，正常肝臟、輕度脂肪肝、中度脂肪肝、重度脂肪肝每個(gè)類別有1000張超聲圖像。在算法模型學(xué)習(xí)和測(cè)試過程中，針對(duì)每一個(gè)類別隨機(jī)選取20%患者的超聲圖像作為算法模型的測(cè)試集，并使用數(shù)據(jù)增強(qiáng)方式將數(shù)據(jù)擴(kuò)充至200張超聲圖像；同樣針對(duì)每一個(gè)類別隨機(jī)選取80%患者的超聲圖像用于算法模型學(xué)習(xí)，并使用數(shù)據(jù)增強(qiáng)方式將數(shù)據(jù)擴(kuò)充至800張超聲圖像。使用k折交叉驗(yàn)證進(jìn)行訓(xùn)練驗(yàn)證，k為5，即隨機(jī)選取學(xué)習(xí)數(shù)據(jù)集中的80%（640張超聲圖像）作為訓(xùn)練集，選取20%（160張超聲圖像）作為驗(yàn)證集。各數(shù)據(jù)集數(shù)據(jù)分布見表1。

3.預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)

CNN在特征提取方面具有良好的性能，將預(yù)訓(xùn)練的CNN作為新數(shù)據(jù)集的特征提取器是一個(gè)十分有效的措施。獲得借助大數(shù)據(jù)集進(jìn)行訓(xùn)練和層數(shù)更深的神經(jīng)網(wǎng)絡(luò)模型，在小規(guī)模的數(shù)據(jù)集也會(huì)有良好的表現(xiàn)。本研究選擇的基于CNN的VGG16網(wǎng)絡(luò)是在ImageNet數(shù)據(jù)集上使用超過120萬(wàn)張圖像和1000個(gè)類別完成訓(xùn)練［21-22］?；贑NN的VGG16網(wǎng)絡(luò)結(jié)構(gòu)是由13個(gè)具有非常小的感受野3×3的卷積層、5個(gè)大小為2×2的用于執(zhí)行空間池化的最大池化層（max pooling）、3個(gè)全連接層及1個(gè)softmax層組成。ReLu激活應(yīng)用于所有隱藏層。VGG16網(wǎng)絡(luò)結(jié)構(gòu)大致可以分為5個(gè)卷積塊（C1～C5），后面連接了3個(gè)全連接層（FC6～8）和1個(gè)softmax層，如圖2所示。在每一層輸出卷積特征圖，包含不同尺度的圖像信息。在接下來的步驟中，來自C2～C5階段的特征圖被聚合并輸入到自注意力層，從而從圖像中獲得多尺度信息。

4.自注意力和特征提取層

將預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)中C2～C5階段生成的特征圖通過自注意力層聚合，生成具有更強(qiáng)表征能力的K維特征圖?；贑NN的VGG16網(wǎng)絡(luò)結(jié)構(gòu)，將C2～C5階段最后一層作為輸出的特征向量圖，用于后續(xù)自注意力機(jī)制特征融合。如圖3所示，C2～C5各個(gè)階段輸出特征向量圖存在尺寸上的差異，通過形成相同尺寸大小的融合特征向量圖，實(shí)現(xiàn)來自C2～C5不同階段特征向量圖的融合。其中，融合向量圖的尺寸選擇C4階段的特征圖大小作為目標(biāo)尺寸，介于C2～C5階段，使得層能夠更平滑地傳輸特征，從而減少特征的損失，也有利于融合特征向量圖更好地適應(yīng)不同尺度下的特征［23］。C2、C3階段的特征圖通過使用不同的步長(zhǎng)從而完成特征圖下采樣過程，C5階段的特征圖采用雙線性插值實(shí)現(xiàn)上采樣，輸出與C4階段的特征圖大小相同的融合特征向量圖。

在多尺度特征圖連接后，基于自注意力機(jī)制實(shí)現(xiàn)特征圖聚合，其過程包括空間加權(quán)和通道加權(quán)，如圖4所示。

（1）空間加權(quán)：與傳統(tǒng)的求和池化［24］不同，加權(quán)求和池化提供了一種基于特定位置重要性進(jìn)行空間加權(quán)區(qū)分的機(jī)制，增強(qiáng)了復(fù)雜場(chǎng)景的表征能力。通過學(xué)習(xí)關(guān)注顯著的病灶線索，其可以更好地發(fā)現(xiàn)NAFLD超聲圖像中的特征信息。在空間加權(quán)中，通過計(jì)算級(jí)聯(lián)特征圖中每個(gè)關(guān)鍵特征的相對(duì)比例以獲得空間權(quán)重圖S。將連接特征圖上的像素比率作為無(wú)監(jiān)督的空間權(quán)重，用于激活圖形局部的豐富信息。在模型訓(xùn)練期間，其可以學(xué)習(xí)在無(wú)監(jiān)督的情況下為特征更為明顯的局部分配更高的權(quán)重。對(duì)于給定連接的特征圖X∈RH×W×K，其中H、W和K分別表示通道的高度、寬度和通道數(shù)。多尺度特征圖M∈RH×W表示為級(jí)聯(lián)特征圖X的通道維度上的總和，如公式（1）所示：

[M=kXk]" （1）

其中，Xk表示第k個(gè)通道的特征圖。

空間權(quán)重圖S由元素Sxy組成，即對(duì)應(yīng)元素Mxy在所有元素之和中的比例；Sxy，即空間坐標(biāo)（x，y）的權(quán)重，其定義如公式（2）所示：

[sxy=αMxym，nM1am，nab]" "（2）

其中，（m，n） 表示特征圖上的位置。a、b為標(biāo)準(zhǔn)化參數(shù)，分別設(shè)定為2，0.5；α是可學(xué)習(xí)的自適應(yīng)系數(shù)，可由核大小為1×1的卷積獲得。

最后，定義為加權(quán)求和池化的輸出Φ，如公式（3）所示：

[Φ=y=1Hx=1WSxyfx，y]" " "（3）

其中f（x，y）是級(jí)聯(lián)特征圖X中相應(yīng)位置（x，y）的值?？臻g加權(quán)增強(qiáng)了顯著對(duì)象的重要性并減少了不顯著對(duì)象的影響［25-26］。

（2）通道加權(quán)：一般而言，激活特定類別的特定通道通常保持相對(duì)一致［27］。這種一致的通道稀疏模式本身提供了有關(guān)類別判斷的區(qū)分信息。為此，基于激活結(jié)構(gòu)的稀疏性和權(quán)重大小實(shí)現(xiàn)了跨通道加權(quán)。通過計(jì)算每個(gè)通道的非零元素的屬性以表征稀疏性。Ωk代表每個(gè)通道的稀疏度，如公式（4）所示：

[Ωk=1WHij1 fx，y（k）≥00 fx，y（k）lt;0] （4）

加權(quán)求和池化已經(jīng)激活了包含NAFLD超聲圖像中常見特征的通道。然而，區(qū)分能力通常在于捕捉不常見的特定類別線索的通道。因此，本研究需增加表征出稀疏激活的通道的相對(duì)貢獻(xiàn)，這些通道往往會(huì)編碼不常見但信息豐富的特征。為了實(shí)現(xiàn)這一點(diǎn)，通道注意力機(jī)制的權(quán)重以高系數(shù)性為主，降低激活權(quán)重大小的貢獻(xiàn)度。具體來說，通道k的權(quán)重ωk定義為：

[ωk=βlogK+hΩhδ+Ωk]" " "（5）

其中，ωk是通道k的權(quán)重，K是級(jí)聯(lián)特征圖X的通道數(shù)，δ是一個(gè)無(wú)限趨近于零的小數(shù)；β是訓(xùn)練過程中可學(xué)習(xí)的自適應(yīng)系數(shù)，可由核大小為1×1的卷積獲得。

計(jì)算權(quán)重后，將空間加權(quán)圖應(yīng)用于每個(gè)通道的位置并計(jì)算每個(gè)通道的總和。因此，得到一個(gè)與通道數(shù)K相同的特征向量Y，如公式（6）所示：

[Y=ωkΦ=βlogK+hΩhδ+Ωk?y=1Hx=1WSxyfx，y] （6）

計(jì)算空間和通道權(quán)重后，將空間權(quán)重應(yīng)用于每個(gè)通道的特征圖。然后對(duì)每個(gè)特征圖中的空間位置加權(quán)求和，生成長(zhǎng)度為K的通道特征向量。這將判別性空間信息聚合成為具有跨維度權(quán)重ωk的緊湊跨通道表征。實(shí)際上，通道權(quán)重增加了信息豐富但不常見的視覺特征的相對(duì)貢獻(xiàn)。通過調(diào)整模型以關(guān)注不常見的判別線索而非密集的無(wú)區(qū)別響應(yīng)，跨通道加權(quán)增強(qiáng)了類型見差異。因此，基于激活稀疏模式的統(tǒng)計(jì)數(shù)據(jù)，強(qiáng)調(diào)特定類別的通道和空間位置的加權(quán)特征向量，使得模型能夠利用多維信號(hào)來識(shí)別不同類別的NAFLD。

5.Stacking集成學(xué)習(xí)模型

Stacking集成學(xué)習(xí)模型是通過組合多個(gè)分類器從而創(chuàng)建出一個(gè)新的分類模型，其考慮了異構(gòu)的易受攻擊、易錯(cuò)的學(xué)習(xí)者，在訓(xùn)練過程中，可以并行地學(xué)習(xí)該過程。Stacking集成學(xué)習(xí)模型通過訓(xùn)練元分類器以組合優(yōu)化一組易受攻擊的基分類器，該元分類器根據(jù)易受攻擊的基分類器的結(jié)果進(jìn)行預(yù)測(cè)。相比任何其他基于個(gè)體的學(xué)習(xí)器，Stacking集成學(xué)習(xí)模型提高了整體準(zhǔn)確性［26］，其基本原理可以表示如公式（7）所示：

[ySE=m=1Mωmym，且m=1Mωm=1，且ωm≥0]" （7）

其中，ySE表示Stacking集成學(xué)習(xí)模型的最終結(jié)果，ym表示基分類器，ωm表示元分類器中對(duì)應(yīng)基分類器ym的權(quán)重。

Stacking集成學(xué)習(xí)模型的基本步驟為：①使用各個(gè)基分類器對(duì)故障樣本進(jìn)行識(shí)別和判斷，獲得多個(gè)結(jié)果；②將得到的多個(gè)結(jié)果作為訓(xùn)練樣本輸入到元分類器中訓(xùn)練和使用，獲得最終的診斷結(jié)果。具體如圖5所示。本研究中Stacking集成學(xué)習(xí)模型第一階段采用SVM、LR和RF作為基分類器，每一個(gè)基分類器會(huì)產(chǎn)生各自的不同分類結(jié)果；在第二階段采用XGboost作為元分類器，使用第一個(gè)階段中每個(gè)基分類器的分類結(jié)果作為輸入，經(jīng)過算法得出最終的分類結(jié)果。其中，SVM是一種用于回歸和分類分析的監(jiān)督學(xué)習(xí)方法。其通過在n維空間中尋找跨類間隔最大的最佳超平面對(duì)數(shù)據(jù)進(jìn)行分類，是一種用于回歸和分類分析的監(jiān)督學(xué)習(xí)方法［27-28］。LR是一種基于概率原理實(shí)現(xiàn)的有監(jiān)督機(jī)器學(xué)習(xí)算法，用于對(duì)分類或數(shù)值數(shù)據(jù)進(jìn)行分類，LR使用sigmoid函數(shù)將預(yù)測(cè)值映射到概率，其中L2正則化也稱為嶺正則化，用于LR模型的訓(xùn)練，以減少過度擬合并避免記憶。RF算法是一種監(jiān)督機(jī)器學(xué)習(xí)算法，用于處理分類和回歸問題［29］，其是由許多棵樹組成的，隨著樹的增加，RF算法增強(qiáng)了模型的隨機(jī)性。XGBoost作為一種梯度提升樹算法，其基本思想是通過不斷地添加樹擬合上次預(yù)測(cè)的殘差，以提升模型的性能。

二、實(shí)驗(yàn)結(jié)果與分析

1.評(píng)價(jià)指標(biāo)

分類性能通過多個(gè)指標(biāo)進(jìn)行評(píng)估，包括ACC、PRE、REC、F1-score和AUC。這些指標(biāo)的計(jì)算取決于混淆矩陣，該矩陣用于計(jì)算真陽(yáng)性（TP）、真陰性（TN）、假陽(yáng)性（FP）和假陰性（FN），如表2所示。其中，TP和TN分別表示正確預(yù)測(cè)的陽(yáng)性樣本和陰性樣本的數(shù)量；FP和FN分別表示錯(cuò)誤預(yù)測(cè)的陽(yáng)性樣本和陰性樣本的數(shù)量?；煜仃嚳偨Y(jié)了分類模型的性能，每行代表預(yù)測(cè)的類別，每列表示真實(shí)的類別。矩陣中的值表示以其真實(shí)標(biāo)簽為條件，分配給每個(gè)預(yù)測(cè)類別的測(cè)試樣本的百分比或原始計(jì)數(shù)。因此，對(duì)角線上的數(shù)據(jù)是預(yù)測(cè)類別與真實(shí)類別匹配的案例，顯示了模型正確分類的情況；相反，非對(duì)角線值揭示了分類器的錯(cuò)誤分類，即預(yù)測(cè)的標(biāo)簽與實(shí)際類別不一致。

ACC表示觀測(cè)值中，與所有樣本相比，真實(shí)陽(yáng)性和真實(shí)陰性的比例，其定義如公式（8）所示：

[ACC=TP+TNTP+TN+FP+FN]" " "（8）

PRE是指標(biāo)記為陽(yáng)性的示例中實(shí)際為陽(yáng)性的比例，其定義如公式（9）所示：

[PRE=TPTP+FP]" " "（9）

REC，也稱為靈敏度，表示實(shí)際陽(yáng)性結(jié)果被正確預(yù)測(cè)為陽(yáng)性的比例；與PRE相反，REC衡量了模型識(shí)別數(shù)據(jù)中所有正面實(shí)例的能力。其計(jì)算方式如公式（10）所示：

[REC=TPTP+FN]" （10）

F1-score是平衡PRE與REC的機(jī)器學(xué)習(xí)模型的性能指標(biāo)，計(jì)算方式為PRE和REC的調(diào)和平均值，對(duì)兩種度量給予相同的權(quán)重，如公式（11）所示。F1-score越高表示性能越好，因此在比較模型時(shí)，其通常用于原始ACC的替代方案。

[F1-score=2×PRE×RECPRE+REC]" "（11）

2.模型的超參數(shù)

學(xué)習(xí)率是一個(gè)超參數(shù)，決定神經(jīng)網(wǎng)絡(luò)在訓(xùn)練期間更新權(quán)重的步長(zhǎng)，其影響模型學(xué)習(xí)最小化其損失函數(shù)的速度。在微調(diào)預(yù)訓(xùn)練模型時(shí)，凍結(jié)未重新訓(xùn)練的神經(jīng)網(wǎng)絡(luò)層，不需對(duì)其參數(shù)進(jìn)行過多的更新。因此，應(yīng)使用較正常訓(xùn)練更小的學(xué)習(xí)率進(jìn)行微調(diào)，選擇較小的學(xué)習(xí)率并將其設(shè)置為0.0001。

mini-batch大小決定了模型參數(shù)更新之前需處理樣本的數(shù)量，較大的mini-batch需要更大的內(nèi)存，并導(dǎo)致相同權(quán)重的訓(xùn)練周期更長(zhǎng)，這可能會(huì)影響模型性能。因此，找到最佳mini-batch大小對(duì)于最大化模型精度非常重要。本研究中mini-batch大小設(shè)置為64。

深度學(xué)習(xí)中優(yōu)化器的目標(biāo)是更新偏差和權(quán)重參數(shù)以最小化成本或損失函數(shù)。針對(duì)給定問題選擇最佳優(yōu)化器可以通過適當(dāng)調(diào)整權(quán)重和偏差值以提高模型性能并加速訓(xùn)練。本研究選擇Adam作為優(yōu)化器，用于提高所提出算法的準(zhǔn)確性。

在訓(xùn)練期間，每個(gè)epoch均涉及使用數(shù)據(jù)集中的所有圖像以更新網(wǎng)絡(luò)權(quán)重以進(jìn)行學(xué)習(xí)迭代。最佳的epoch數(shù)量取決于數(shù)據(jù)集大小、模型深度、學(xué)習(xí)率和優(yōu)化器等因素。本研究所有數(shù)據(jù)集模型訓(xùn)練中epoc設(shè)為100。

使用Stacking集成學(xué)習(xí)模型對(duì)訓(xùn)練集上基于注意力的VGG16網(wǎng)絡(luò)的概率輸出進(jìn)行訓(xùn)練和優(yōu)化，其中，Stacking集成學(xué)習(xí)模型中的基分類器為L(zhǎng)R、SVM和RF，元分類器為XGBoost。利用網(wǎng)格搜索來優(yōu)化Stacking集成學(xué)習(xí)模型的超參數(shù)值，如下所示：

SVM：C=［0.1，1，100，1000］，gamma=［1，0.1，0.01，0.001，0.0001］，kernel=RBF

RF：bootstrap=［True，F(xiàn)alse］，max_depth=［10，20，30，40，50，60］，max_features=［'auto'，'sqrt'］，min_samples_leaf=［2，5，10］，min_samples_split=［1，2，4］

LR：C=np.logspace（-3，3，7），penalty=［\"l2\"］，solver=［'liblinear'，'newton-cg'］

XGBoost：'max_depth'：7，'learning_rate'：0.15，'min_child_ weight'：2，'n_estimators'：120，'subsample'：0.8

通過網(wǎng)格搜索調(diào)整每個(gè)元學(xué)習(xí)器分類器的超參數(shù)值，用以優(yōu)化所提出的算法在訓(xùn)練數(shù)據(jù)上的性能。

3.實(shí)驗(yàn)結(jié)果

所提出的方法在PyTorch 1.9.0中實(shí)現(xiàn)，并使用主頻為2.30 GHz的Intel Corei7-10875HCPU及包含8 GB RAM的NVIDIA GeForce GTX 1070 GPU 進(jìn)行評(píng)估。該硬件配置支持模型開發(fā)的快速迭代和數(shù)據(jù)集的高效批處理。

為了分析算法模型的性能，將SVM、XGBoost、VGG19、ResNet101、InceptionV4和DenseNet161等一些經(jīng)典機(jī)器學(xué)習(xí)方法應(yīng)用于對(duì)比實(shí)驗(yàn)，如表3所示。結(jié)果顯示，盡管進(jìn)行了廣泛的超參數(shù)優(yōu)化，但表3中的CNN在此數(shù)據(jù)集上的性能均偏中等。使用DenseNet161架構(gòu)獲得的ACC為89.41%±0.21%，其余CNN模型的ACC集中在87%～89%。本研究所提出的方法獲得的ACC為91.34%±0.16%，略高于其他算法。證實(shí)了本研究所提方法的有效性。

為了驗(yàn)證提出的模型中每個(gè)部分的作用，本研究進(jìn)行了一系列消融實(shí)驗(yàn)，結(jié)果顯示，對(duì)比僅使用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)性能，增加了本研究提出的注意力機(jī)制的VGG16網(wǎng)絡(luò)ACC提高了3.02%，證明了本研究提出的自注意力機(jī)制在該任務(wù)中對(duì)提高模型性能發(fā)揮了重要作用。在連接了帶有自注意力機(jī)制的預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)后，分別使用LR、SVM和RF進(jìn)行分類，結(jié)果顯示LR、SVM、RF的ACC分別為89.86％、90.34％、90.73％，RF的ACC略高于LR和SVM，但均低于Stacking集成學(xué)習(xí)模型在數(shù)據(jù)中實(shí)現(xiàn)的ACC（91.34％）。見表4。

在消融試驗(yàn)中，隔離了所提方法實(shí)現(xiàn)多尺度特征提取的注意力機(jī)制層和融合多分類器優(yōu)勢(shì)的Stacking集成學(xué)習(xí)模型，消除每一個(gè)關(guān)鍵部分時(shí)，ACC的變化量化了其在統(tǒng)一框架內(nèi)的重要性。

三、結(jié)論

本研究提出了一種將結(jié)合注意力機(jī)制的預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)與Stacking集成學(xué)習(xí)模式相結(jié)合的混合模型，集合了基于自注意力機(jī)制的多尺度特征聚合和基于Stacking集成學(xué)習(xí)模型的多分類模型（LR、RF、SVM）融合的特性，實(shí)現(xiàn)了基于肝臟超聲圖像的正常肝臟、輕度脂肪肝、中度脂肪肝、重度脂肪肝的4分類，可應(yīng)用于輔助NAFLD的超聲圖像檢測(cè)，降低醫(yī)師在NAFLA分類中的偏差。本研究的提出混合算法模型的ACC為91.34%，略優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法。結(jié)果表明，相較于預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)，引入自注意力機(jī)制使得ACC提高了3.02%，使用Stacking集成學(xué)習(xí)模型作為分類器進(jìn)一步將ACC由89.36%提高到91.34%。本研究所提出的算法模型為脂肪肝疾病的自動(dòng)化監(jiān)測(cè)和檢測(cè)提供了可能性。

本研究提出的算法模型仍存在一些局限性：僅關(guān)注基于超聲圖像的脂肪肝分類，并未對(duì)病變進(jìn)行定位。為了解決這些限制，今后工作將整合來自多個(gè)機(jī)構(gòu)的更大數(shù)據(jù)庫(kù)并引入?yún)^(qū)域分割算法以提高模型的實(shí)用性。隨著模型和訓(xùn)練數(shù)據(jù)的進(jìn)一步改進(jìn)，該方法最終可能轉(zhuǎn)化為檢測(cè)和監(jiān)測(cè)脂肪肝疾病的自動(dòng)化工具。

參考文獻(xiàn)

［1］ Das A，Connell M，Khetarpal S.Digital image analysis of ultrasound images using machine learning to diagnose pediatric nonalcoholic fatty liver disease［J］. Clin Imaging，2021，77（1）：62-68.

［2］ Zhang L，Zhu H，Yang T.Deep Neural Networks for fatty liver ultrasound images classification［C］//2019 Chinese Control and Decision Conference（CCDC）. IEEE，2019：4641-4646.

［3］ Cao W，An X，Cong L，et al.Application of deep learning in quantitative analysis of 2-dimensional ultrasound imaging of nonalcoholic fatty liver disease［J］.J Ultrasound Med，2020，39（1）：51-59.

［4］ Andrade A，Silva JS，Santos J，et al.Classifier approaches for liver steatosis using ultrasound images［J］.Procedia Technol，2012，5（1）：763-770.

［5］ Lup?or M，Badea R，Vica? C，et al. Non-invasive steatosis assessment in NASH through the computerized processing of ultrasound images：attenuation versus textural parameters［C］//2010 IEEE International Conference on Automation，Quality and Testing，Robotics（AQTR）. IEEE，2010：1-6.

［6］ Wu CC，Yeh WC，Hsu WD，et al.Prediction of fatty liver disease using machine learning algorithms［J］.Comput Methods Programs Biomed，2019，170（1）：23-29.

［7］ 沈筱梅，張新穎，王權(quán)泳，等.基于卷積神經(jīng)網(wǎng)絡(luò)的涎腺腫瘤超聲圖像分類研究［J］.臨床超聲醫(yī)學(xué)雜志，2023，25（10）：849-855.

［8］ 莫瑩君，劉友員，郭瑞斌.基于深度神經(jīng)網(wǎng)絡(luò)的頸動(dòng)脈斑塊超聲圖像診斷技術(shù)研究［J］.臨床超聲醫(yī)學(xué)雜志，2022，24（5）：382-385.

［9］ Reddy DS，Bharath R，Rajalakshmi P. Classification of nonalcoholic fatty liver texture using convolution neural networks［C］//2018 IEEE 20th International Conference on e-Health Networking，Applications and Services （Healthcom）. IEEE，2018：1-5.

［10］ Che H，Brown LG，F(xiàn)oran DJ，et al.Liver disease classification from ultrasound using multi-scale CNN［J］.Int J Comput Assist Radiol Surg，2021，16（9）：1537-1548.

［11］ Byra M，Styczynski G，Szmigielski C，et al.Transfer learning with deep convolutional neural network for liver steatosis assessment in ultrasound images［J］.Int J Comput Assist Radiol Surg，2018，13（12）：1895-1903.

［12］ Zamanian H，Mostaar A，Azadeh P，et al.Implementation of combinational deep learning algorithm for non-alcoholic fatty liver classification in ultrasound images［J］.J Biomed Phys Eng，2021，11（1）：73-84.

［13］ Qu X，Lu H，Tang W，et al.A VGG attention vision transformer network for benign and malignant classification of breast ultrasound images［J］.Med Phys，2022，49（9）：5787-5798.

［14］ 呼延若曦，吳哲，許杉杉，等.基于Vgg16-Unet模型的MRI圖像下前列腺分區(qū)智能分割研究［J］.陸軍軍醫(yī)大學(xué)學(xué)報(bào)，2023，45（13）：1441-1449.

［15］ 張直政.神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制研究［D］.合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2021.

［16］ Li L，Xu M，Wang X，et al. Attention based glaucoma detection：a large-scale database and CNN model［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019：10571-10580.

［17］ 宮霞，趙富強(qiáng)，吳衛(wèi)華.級(jí)聯(lián)結(jié)構(gòu)網(wǎng)絡(luò)在肺癌患者頸部淋巴結(jié)超聲圖像分割中的應(yīng)用價(jià)值［J］.臨床超聲醫(yī)學(xué)雜志，2022，24（8）：635-639.

［18］ 劉帥.健康大數(shù)據(jù)診療問題的集成學(xué)習(xí)算法研究與應(yīng)用［D］.長(zhǎng)春：吉林大學(xué)，2023.

［19］ An N，Ding H，Yang J，et al.Deep ensemble learning for Alzheimer’s disease classification［J］.J Biomed Inform，2020，105：103411.

［20］ 熊思偉，劉玉琳.基于Borderline-SMOTE算法與Stacking集成學(xué)習(xí)的前列腺腫瘤風(fēng)險(xiǎn)預(yù)測(cè)研究［J］.現(xiàn)代腫瘤醫(yī)學(xué)，2023，31（16）：3075-3081.

［21］ Fang Z，Wang Y，Peng L，et al.Integration of convolutional neural network and conventional machine learning classifiers for landslide susceptibility mapping［J］.Comput Geosci，2020，139：104470.

［22］ Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［J］. arXiv preprint arXiv：1409.1556，2014.

［23］ Zhang YM，Hsieh JW，Lee CC，et al.SFPN：Synthetic FPN for object detection［C］//2022 IEEE International Conference on Image Processing（ICIP）. IEEE，2022：1316-1320.

［24］ Babenko A，Lempitsky V. Aggregating local deep features for image retrieval［C］//Proceedings of the IEEE International Conference on Computer Vision，2015：1269-1277.

［25］ Kalantidis Y，Mellina C，Osindero S. Cross-dimensional weighting for aggregated deep convolutional features［C］//Computer Vision——ECCV 2016 Workshops：Amsterdam，the Netherlands，October 8-10 and 15-16，2016，Proceedings，Part Ⅰ 14. Springer International Publishing，2016：685-701.

［26］ Deng L，Yu D，Platt J. Scalable Stacking and learning for building deep architectures［C］//2012 IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）. IEEE，2012：2133-2136.

［27］ Fawcett T. An introduction to ROC analysis［J］. Pattern Recogn Lett，2006，27（8）：861-874.

［28］ Chidambaram S，Srinivasagan KG.Performance evaluation of support vector machine classification approaches in data mining［J］.Cluster Comput，2019，22（1）：189-196.

［29］ Shi T，Horvath S.Unsupervised learning with random forest predictors［J］.J Comput Graphical Statistics，2006，15（1）：118-138.

（收稿日期：2023-12-04）