王 彤，蘇 暢，何 萍，王心怡，崔立剛，林偉軍

(1.中國科學院聲學研究所超聲學實驗室，北京 100190；2.中國科學院大學電子電氣與通訊工程學院，北京 100049；3.北京大學第三醫(yī)院超聲診斷科，北京 100191；4.北京大學腫瘤醫(yī)院 北京市腫瘤防治研究所乳腺中心惡性腫瘤發(fā)病機制及轉化研究教育部重點實驗室，北京 100142)

乳腺癌為女性發(fā)病率較高的惡性腫瘤[1]，影像學檢查為常用早期診斷方法。乳腺超聲(breast ultrasound, BUS)安全性和實效性均較佳，是早期篩查乳腺疾病的重要影像學手段。超聲彈性成像主要通過獲取組織彈性信息進行成像，近年逐漸用于診斷乳腺疾病[2]。有學者[3]基于深度學習相關算法將超聲彈性圖像與B型圖像(即灰階圖像)模態(tài)信息相結合，據(jù)此判斷乳腺腫瘤的性質，且直接串聯(lián)融合二者的多模態(tài)特征的效果較佳[4]。本研究對提取超聲圖像的網(wǎng)絡加以改進，設計跨模態(tài)注意力機制特征融合模塊，以融合B型超聲圖像與彈性超聲圖像，并觀察其診斷乳腺良、惡性腫瘤的價值。

1 資料與方法

1.1 一般資料 收集2011年10月23日—2012年4月6日及2019年1月—9月北京大學第三醫(yī)院接受常規(guī)超聲檢查及超聲彈性成像的371例女性乳腺腫瘤患者，年齡11～85歲，平均(39.0±22.0)歲；共466處乳腺病灶，包括良性230處、惡性236處病灶。納入標準：①超聲聲像圖清晰、完整顯示腫瘤；②病理學資料完整。

1.2 儀器與方法 采用Hitachi Vision Preirus/Samsung RS80A 超聲診斷儀，頻率5.0～13.0 MHz的L5-13/L4-18探頭，均具備應變彈性成像能力[5]。囑患者仰臥，多切面掃查雙側乳腺各象限并重點觀察病灶，獲取其灰階圖像及彈性圖像。之后按3∶1∶1將466組病灶圖像分為訓練集(n=280)、驗證集(n=93)及測試集(n=93)，并盡量使每組數(shù)據(jù)集中乳腺良、惡性腫瘤占比約為1∶1。

1.3 網(wǎng)絡模型 采用卷積神經(jīng)網(wǎng)絡分支模型分別提取B型超聲圖像和彈性超聲圖像的特征，之后以基于跨模態(tài)注意力機制的多模態(tài)特征融合網(wǎng)絡進行特征融合，整體結構見圖1。

圖1 基于跨模態(tài)注意力機制的多模態(tài)特征融合網(wǎng)絡示意圖

1.3.1 特征提取網(wǎng)絡 提取特征過程中，在DenseNet模型[6]基礎上增加卷積塊注意力模塊(convolutional block attention module, CBAM，圖2)[7]，即將CBAM添加到DenseNet第一層卷積層，以突出學習灰階圖像的底層特征；見圖3。訓練過程中均采用預訓練模型參數(shù)提取網(wǎng)絡。

圖2 CBAM

圖3 基于B型圖像的改進DenseNet模型

1.3.2 多模態(tài)特征融合網(wǎng)絡 參考SE模塊(squeeze-and-excitation module)[8]，采用跨模態(tài)注意力機制的特征融合方式(圖4)，根據(jù)全局信息調整不同特征通道的權值，以實現(xiàn)特征通道的自適應校準，并突出兩模態(tài)間的重要特征。輸入B型超聲圖像和彈性超聲圖像分別經(jīng)卷積神經(jīng)網(wǎng)絡分支提取特征后，采用跨模態(tài)注意力機制特征融合方法加以融合，并以尾端兩層全連接層為分類器；見圖5。

圖4 跨模態(tài)注意力機制模塊結構圖 圖5 基于跨模態(tài)注意力特征融合的整體模型結構

1.4 訓練環(huán)境 在python3.7的Keras環(huán)境下，采用64位Ubuntu18.04操作系統(tǒng)，以TensorFlow為后端；以交叉熵(cross entropy)為目標優(yōu)化函數(shù)、Adam為優(yōu)化器，采用ReduceLROnPlateau監(jiān)控驗證集loss以調整學習率，設置初始學習率為0.000 3，batch size為32。

1.5 評價 采用Python 3.7軟件。繪制受試者工作特征(receiver operating characteristic, ROC)曲線，計算曲線下面積(area under the curve, AUC)。

2 結果

2.1 特征提取網(wǎng)絡 改進后的DenseNet用于B型超聲診斷乳腺良、惡性腫瘤的準確率為88.43%，敏感度為88.96%，特異度為87.31%，效能略優(yōu)于改進前。見圖6及表1。

表1 B型超聲基于改進與未改進DenseNet121模型診斷乳腺良、惡性腫瘤的效能

2.2 多模態(tài)特征融合網(wǎng)絡 基于跨模態(tài)注意機制特征融合的B型超聲與彈性超聲診斷乳腺良、惡性腫瘤的準確率為94.23%，敏感度為95.11%，特異度為93.28%，效能優(yōu)于決策加權融合模型、直接串聯(lián)融合模型及單模態(tài)模型。見表2。

表2 B型超聲與彈性超聲基于不同模型診斷乳腺良、惡性腫瘤的效能

3 討論

本研究主要觀察B型超聲圖像與彈性超聲圖像聯(lián)合判斷乳腺腫瘤良、惡性的效能，并對單模態(tài)特征提取網(wǎng)絡及多模態(tài)特征融合方式加以改進。既往研究[4]表明，B型超聲基于計算機診斷乳腺良、惡性腫瘤的效能低于彈性超聲。為此，本研究針對B型超聲圖像特性及相應臨床表現(xiàn)設計了改進DenseNet模型，旨在使該模型網(wǎng)絡能更準確可靠地提取圖像中的腫瘤特征信息；而彈性超聲圖像具有較高的對比度，且展現(xiàn)信息簡單、直觀，基于普通DenseNet121模型即可提取其特征，故未予以改進。

乳腺良、惡性腫瘤并非均具備典型表現(xiàn)，如本組B型超聲發(fā)現(xiàn)多例良性腫瘤形狀不規(guī)則、邊界不清晰且無完整包膜等?；趩文B(tài)B型超聲圖像診斷乳腺良、惡性腫瘤時，改進后的DenseNet121僅有助于區(qū)分典型良、惡性表現(xiàn)，故本研究將改進后的DenseNet121用于B型超聲診斷乳腺良、惡性腫瘤的效能僅略優(yōu)于改進前。

MISRA等[9]將超聲B模式與應變彈性成像融合，利用AlexNet和ResNet進行特征提取、添加分類層而形成集成模型，其對乳腺癌進行分類的準確率、敏感度及特異度分別為90.00%、88.89%及91.10%。DING等[10]開發(fā)了雙通道ResNet-GAP網(wǎng)絡，基于此將B型超聲與彈性超聲相結合，其對乳腺癌進行分類的準確率、敏感度、特異度及AUC分別為88.60%、95.30%、84.60%及0.936。LIAO等[11]利用卷積神經(jīng)網(wǎng)絡VGG19提取B型超聲圖像及彈性超聲圖像特征，并將二者結合用于判斷乳腺良、惡性腫瘤，其準確率、敏感度、特異度及AUC分別為92.95%、91.39%、94.71%及0.98。上述研究所用多模態(tài)特征融合方式多為直接串聯(lián)融合，未充分考慮不同模態(tài)的特征及其相關性，而合理、高效地融合多模態(tài)信息十分重要。本研究對特征提取及特征融合進行了有針對性的改進，提出跨模態(tài)注意力機制的特征融合模塊，以更加突出2種模態(tài)的重要特征，從而在一定程度上增強特征的表征能力；基于此，本組B型超聲與彈性超聲診斷乳腺良、惡性腫瘤的準確率為94.23%、敏感度為95.11%、特異度為93.28%、AUC為0.98，表明其效能優(yōu)于決策加權融合模型、直接串聯(lián)融合模型及單模態(tài)模型。

綜上所述，基于本研究提出的跨模態(tài)注意力機制特征融合模塊可在一定程度上提高B型超聲與彈性超聲聯(lián)合診斷乳腺良、惡性腫瘤的效能。但本研究樣本量不足，有待后續(xù)擴大樣本量后進一步加以完善。