武 寬，秦品樂，柴 銳，曾建朝

(1.山西省醫(yī)學(xué)影像與數(shù)據(jù)分析工程研究中心(中北大學(xué))，太原 030051; 2.中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051)

0 引言

甲狀腺結(jié)節(jié)是最常見的內(nèi)分泌癌之一，根據(jù)全球的流行病學(xué)資料顯示，甲狀腺惡性腫瘤的發(fā)病率呈現(xiàn)逐年遞增的趨勢(shì)。超聲檢查已經(jīng)成為檢測(cè)和診斷甲狀腺癌最廣泛的使用方式，超聲是一種安全、方便、無創(chuàng)傷、可重復(fù)的檢查技術(shù)，它能夠準(zhǔn)確定位甲狀腺腫塊，辨別甲狀腺結(jié)節(jié)內(nèi)回聲特征，發(fā)現(xiàn)腫塊內(nèi)部環(huán)狀、點(diǎn)狀的血流信號(hào)，檢測(cè)出微小病灶并評(píng)價(jià)病灶血流情況。與計(jì)算機(jī)斷層成像(Computed Tomography, CT)和磁共振成像(Magnetic Resonance Imaging, MRI)相比，超聲檢測(cè)在病理特征上區(qū)分良性和惡性結(jié)節(jié)有著更顯著的能力，為臨床的早期診斷和治療方式的選擇提供了極大的幫助[1]。隨著醫(yī)療成像技術(shù)的快速發(fā)展，計(jì)算機(jī)輔助診斷(Computer Aided Diagnosis, CAD)有助于解決當(dāng)前方法中很大程度依賴于臨床醫(yī)生個(gè)人經(jīng)驗(yàn)的主觀診斷問題。全自動(dòng)化的計(jì)算機(jī)輔助診斷(CAD)過程包括：圖像預(yù)處理，感興趣區(qū)域(Region Of Interest, ROI)提取，分類。目前，前兩個(gè)階段的工作受到了很多的關(guān)注，而使用超聲圖像進(jìn)行分類的工作仍然很少，特別是甲狀腺結(jié)節(jié)分類。在分類問題中面臨的主要挑戰(zhàn)是如何有效地選擇具有較強(qiáng)區(qū)分性的特征，因此大多數(shù)的研究都集中在各種類型的特征設(shè)計(jì)上，如形態(tài)特征與紋理特征。彭文獻(xiàn)等[2]使用灰度共生矩陣和灰度梯度矩陣的統(tǒng)計(jì)學(xué)紋理特征在CT圖像上對(duì)甲狀腺結(jié)節(jié)良惡性進(jìn)行了鑒別，實(shí)現(xiàn)了0.76的準(zhǔn)確率。Owjimehr等[3]使用局部二值(Local Binary Patterns, LBP)紋理特征實(shí)現(xiàn)了對(duì)肝臟超聲圖像進(jìn)行分割和分類；Zakeri等[4]提出了一種有效的紋理特征來區(qū)分乳腺結(jié)節(jié)；Ding等[5]結(jié)合了B-mode圖像與彈性圖像下的局部特征以及彈性圖像的全局特征去完成甲狀腺結(jié)節(jié)的分類；Raghavendra等[6]融合了空間灰度依賴與分形紋理特征來對(duì)常規(guī)超聲下的甲狀腺結(jié)節(jié)進(jìn)行判別，實(shí)現(xiàn)了0.944 5的接收者操作特征曲線下面積值(Area Under the Curve of receiver operating characteristic, AUC)，但是這些特征方法并不適用于實(shí)際的臨床應(yīng)用，主要是因?yàn)檫@些方法需要介入精細(xì)的手工標(biāo)注信息去標(biāo)注結(jié)節(jié)的輪廓，精度有限。

深度學(xué)習(xí)尤其是卷積神經(jīng)網(wǎng)絡(luò)正廣泛地應(yīng)用于圖像分類、目標(biāo)檢測(cè)等[7-8]各種視覺任務(wù)中，并取得了非常好的效果。卷積神經(jīng)網(wǎng)絡(luò)可以看作一個(gè)復(fù)雜的特征提取器，它所提取到的特征可以看作圖像的復(fù)雜分層表示，其局部連接與權(quán)值共享的性質(zhì)也決定了它可以有效地提取到圖像內(nèi)部的深層隱性信息。Wu 等[9]對(duì)比了放射科醫(yī)生人工判斷與貝葉斯、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等方法在甲狀腺結(jié)節(jié)分類上的結(jié)果，神經(jīng)網(wǎng)絡(luò)方法可以達(dá)到0.8474的準(zhǔn)確率和0.9103的AUC，接近于人工判斷的效果。Wang等[10]提出了一種使用半監(jiān)督學(xué)習(xí)的方法，設(shè)計(jì)了一種有效的期望最大化(Expectation Maximization, EM)算法來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，對(duì)弱標(biāo)注的超聲數(shù)據(jù)進(jìn)行結(jié)節(jié)分類，準(zhǔn)確率達(dá)到了0.882 5以及0.928 6的AUC；然而由于卷積神經(jīng)網(wǎng)絡(luò)上百萬的參數(shù)需要學(xué)習(xí)，意味著只有大規(guī)模的數(shù)據(jù)集才能滿足卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要求。醫(yī)學(xué)領(lǐng)域中一直存在數(shù)據(jù)獲取困難與數(shù)據(jù)標(biāo)注不精確的問題，這樣大規(guī)模的數(shù)據(jù)集是很難獲得的。缺乏足夠的圖像數(shù)據(jù)將導(dǎo)致過擬合問題的出現(xiàn)，兩種可能的解決方法是遷移學(xué)習(xí)[11]與數(shù)據(jù)增廣。如圖1所示，遷移學(xué)習(xí)采用預(yù)訓(xùn)練的深度學(xué)習(xí)模型，然后使用現(xiàn)有的特定任務(wù)的圖像進(jìn)行微調(diào)，調(diào)整預(yù)訓(xùn)練模型的參數(shù)使其適應(yīng)于當(dāng)前的分類任務(wù)[12]。葉晨等[13]基于卷積神經(jīng)網(wǎng)絡(luò)，利用遷移學(xué)習(xí)改善網(wǎng)絡(luò)性能的策略，在甲狀腺CT影像上進(jìn)行了結(jié)節(jié)良惡性的分類，實(shí)現(xiàn)了0.916 0的準(zhǔn)確率。遲劍寧等[14]融合了深度網(wǎng)絡(luò)和淺層紋理特征對(duì)甲狀腺結(jié)節(jié)癌變進(jìn)行診斷。Liu等[15]提出了將方向梯度直方圖(Histogram of Oriented Gradient, HOG)、LBP等低維紋理特征和遷移后的卷積神經(jīng)網(wǎng)絡(luò)高維語義特征進(jìn)行混合。上述結(jié)合淺層紋理特征是一種很好的彌補(bǔ)數(shù)據(jù)不足帶來的特征不足的方式，但低維紋理特征的提取需要數(shù)據(jù)進(jìn)行精細(xì)的輪廓標(biāo)注，本文的數(shù)據(jù)集并不適用。至于數(shù)據(jù)增廣，通常會(huì)采用一些經(jīng)典圖像增強(qiáng)的方法，比如裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)和縮放。同樣，生成對(duì)抗網(wǎng)絡(luò)也是一種數(shù)據(jù)增廣的方法。Zhu等[16]就提出了一種基于卷積網(wǎng)絡(luò)的圖像增廣的方法，來提高超聲影像中甲狀腺結(jié)節(jié)的分類性能，但是常規(guī)圖像的數(shù)據(jù)增廣方法并不適用于醫(yī)學(xué)領(lǐng)域，因?yàn)獒t(yī)學(xué)圖像的標(biāo)注需要有經(jīng)驗(yàn)的臨床醫(yī)生來完成，這一點(diǎn)相比常規(guī)圖像的難度要大很多。上述方法都是針對(duì)常規(guī)超聲影像進(jìn)行特征提取或者是數(shù)據(jù)增廣，并沒有使用到彈性超聲數(shù)據(jù)。

圖1 遷移學(xué)習(xí)Fig. 1 Transfer learning

隨著工藝和計(jì)算機(jī)技術(shù)的發(fā)展，彈性影像也更多地應(yīng)用在臨床上來輔助醫(yī)生進(jìn)行甲狀腺結(jié)節(jié)的診斷[17]。彈性超聲與常規(guī)超聲有著不同的成像原理，其成像效果如圖2所示，有著很大的不同。彈性影像反映的是生物力學(xué)特征，其成像原理是借助探頭向病灶施加外力，通過檢測(cè)外力作用下病灶的形變程度來間接反映組織硬度[18]：彈性系數(shù)較大的組織硬度較大，變形較??；而彈性系數(shù)較小的組織硬度較小，變形較大。另一方面，超聲彈性成像通過計(jì)算機(jī)技術(shù)對(duì)甲狀腺結(jié)節(jié)的病灶硬度進(jìn)行客觀量化，也大幅度降低了操作醫(yī)生的主觀誤差，從而提高了診斷的特異度、靈敏度和可靠性，因此，彈性超聲影像在臨床診斷上對(duì)甲狀腺結(jié)節(jié)性疾病具有重要價(jià)值，值得在臨床推廣應(yīng)用。美國(guó)臨床內(nèi)分泌醫(yī)師學(xué)會(huì)(American Association of Clinical Endocrinologists, AACE)、美國(guó)內(nèi)分泌學(xué)院(American College of Endocrinology, ACE)以及意大利臨床內(nèi)分泌協(xié)會(huì)(Associazione Medici Endocrinologi, AME)共同發(fā)布的甲狀腺結(jié)節(jié)的診斷和管理指南中，把彈性影像列為甲狀腺超聲影像學(xué)檢查的一種，當(dāng)常規(guī)超聲和細(xì)胞學(xué)檢查不能明確診斷時(shí)，可作為補(bǔ)充檢查手段，但不能完全取代常規(guī)超聲[19]。

圖2 常規(guī)超聲影像與彈性超聲影像對(duì)比Fig. 2 Comparison of conventional ultrasound image and elastic ultrasound image

因此，彈性影像對(duì)甲狀腺癌具有一定的指導(dǎo)意義。依據(jù)甲狀腺癌的病理特點(diǎn)與組織特征結(jié)合常規(guī)超聲影像能更有效地鑒別甲狀腺病灶的良惡性。本文將在ImageNet[20]上預(yù)訓(xùn)練好的VGG16模型的參數(shù)遷移到超聲影像數(shù)據(jù)集，并驗(yàn)證了選擇前6層卷積作為固定的特征提取器在超聲數(shù)據(jù)上進(jìn)行遷移學(xué)習(xí)的效果最好。在此基礎(chǔ)上，同時(shí)提取出常規(guī)超聲和超聲彈性影像兩種不同圖像的特征組成混合特征空間，實(shí)現(xiàn)了一個(gè)端到端的分類任務(wù)模型。根據(jù)現(xiàn)有研究分析，這也是第一次在卷積神經(jīng)網(wǎng)絡(luò)上同時(shí)使用常規(guī)超聲與彈性超聲進(jìn)行甲狀腺結(jié)節(jié)良惡性判別的工作，實(shí)驗(yàn)結(jié)果表明，本文提出方法的分類準(zhǔn)確性在同等條件下較單一數(shù)據(jù)源方法有明顯的提高。

1 基本理論

1.1 基于預(yù)訓(xùn)練的遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)是一類深度學(xué)習(xí)模型，它可以提取出圖像數(shù)據(jù)的高層特征。卷積神經(jīng)網(wǎng)絡(luò)采用前向傳遞的工作模式，前一層網(wǎng)絡(luò)生成的特征作為后一層網(wǎng)絡(luò)的輸入傳遞到下一層網(wǎng)絡(luò)中[21]。在分類任務(wù)中，卷積神經(jīng)網(wǎng)絡(luò)通常作為特征提取器來使用，可以通過遷移學(xué)習(xí)的方式遷移到相關(guān)的分類任務(wù)中。雖然超聲圖像與自然圖像有著很大的不同，但是二者對(duì)特征的認(rèn)知是相同的。訓(xùn)練的樣本越多，特征就會(huì)越普遍。正是因?yàn)镮mageNet為深度學(xué)習(xí)提供了一個(gè)大規(guī)模的圖像數(shù)據(jù)集，所以作為特征提取器部分的VGG16網(wǎng)絡(luò)[22]首先在ImageNet上進(jìn)行了預(yù)訓(xùn)練。VGG16是由牛津大學(xué)Visual Geometry Group提出來的一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它由13層卷積、池化層和3層全連接層組成。卷積部分進(jìn)行特征提取，全連接層部分完成分類器的工作。在這個(gè)過程中，卷積網(wǎng)絡(luò)每一層的輸出在某種程度上都可以被視為某種特征，不同層的特征有著不同的含義，其可視化結(jié)果如圖3所示。淺層卷積提取的是圖像的局部特征，在后續(xù)層通過下采樣擴(kuò)大感受野，得到更為抽象的語義特征。從第3層卷積的可視化結(jié)果可以看出，淺層卷積共享類似的低級(jí)特征，例如圖像的邊緣、方向和亮度特征等信息，作用類似于Gabor濾波，這些特征也都是通用的。高層特征更多地表示圖像的抽象語義，從第7層卷積輸出的圖像可以發(fā)現(xiàn)，各種特征復(fù)合開始出現(xiàn)，可視化圖像變得較為抽象，這些特征才和具體的分類任務(wù)相關(guān)，因此在卷積神經(jīng)網(wǎng)絡(luò)中，前幾層的特征通常可以在一個(gè)數(shù)據(jù)集上訓(xùn)練得到并應(yīng)用到另外一個(gè)相關(guān)的數(shù)據(jù)集上。本文針對(duì)預(yù)訓(xùn)練的VGG16模型該選擇前多少層卷積作為通用特征的特征提取器進(jìn)行了對(duì)比實(shí)驗(yàn)。

圖3 某個(gè)卷積層的特征圖輸出Fig. 3 Feature map output of one convolutional layer

如表1所示，從前往后依次凍結(jié)前n層卷積的權(quán)重、偏置參數(shù)，使得預(yù)訓(xùn)練網(wǎng)絡(luò)在甲狀腺超聲數(shù)據(jù)集上進(jìn)行微調(diào)時(shí)反向傳播的梯度不會(huì)對(duì)其進(jìn)行更新。這樣前n層卷積僅相當(dāng)于一個(gè)固定參數(shù)的特征提取器，反向傳播的梯度只會(huì)對(duì)后續(xù)卷積、全連接層的參數(shù)進(jìn)行更新，使其適應(yīng)到新的分類任務(wù)中。在本文的數(shù)據(jù)集上，分別對(duì)常規(guī)超聲和彈性超聲兩組不同的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)對(duì)比。每組實(shí)驗(yàn)均分為14個(gè)批次，對(duì)于每個(gè)批次，進(jìn)行了5次交叉驗(yàn)證，每次均使用十折交叉驗(yàn)證作為訓(xùn)練集驗(yàn)證集的采樣劃分，并取準(zhǔn)確率的最大值作為該次的結(jié)果，每批次中的5次結(jié)果取平均作為該組該批次下的最終結(jié)果。實(shí)驗(yàn)結(jié)果表明，在常規(guī)超聲與彈性超聲數(shù)據(jù)下，均是取前6層的卷積部分作為遷移學(xué)習(xí)中的通用特征提取器，并對(duì)后續(xù)的卷積層和全連接層在超聲影像上進(jìn)行微調(diào)的效果最好。隨著凍結(jié)的前綴卷積層數(shù)越多，數(shù)據(jù)遷移的效果也會(huì)越好，直到達(dá)到某個(gè)臨界點(diǎn)，開始逐步變差，呈現(xiàn)出類似二次曲線的軌跡。

表1 遷移學(xué)習(xí)微調(diào)結(jié)果Tab. 1 Transfer learning fine-tuning results

1.2 特征融合和分類方法

本文的數(shù)據(jù)集包含了常規(guī)超聲圖像與彈性超聲圖像兩部分，因此需要對(duì)這兩個(gè)模態(tài)的數(shù)據(jù)進(jìn)行結(jié)合來獲得更好的分類效果?；诓煌上裨淼某晹?shù)據(jù)有著不同的特征分布，并對(duì)甲狀腺結(jié)節(jié)分類的效果有不同的影響，這些特征組合會(huì)產(chǎn)生更全面的特征空間來表示結(jié)節(jié)的病理特征。針對(duì)這兩種不同的數(shù)據(jù)，本文只使用了它們?cè)诰矸e網(wǎng)絡(luò)中提取到的高層特征，并沒有使用任何低維特征。

本文使用了下面三種不同的方法。

1) 混合訓(xùn)練。

既然不同成像原理的圖像一定有著不同的特征分布，那么網(wǎng)絡(luò)是否可以學(xué)習(xí)到兩種不同特征分布的共有特征？基于此想法，直接將常規(guī)超聲圖像和彈性超聲圖像混合成一個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練。如圖4所示，首先要對(duì)原始超聲數(shù)據(jù)進(jìn)行預(yù)處理，提取出常規(guī)超聲圖像和彈性超聲圖像并完成相應(yīng)的數(shù)據(jù)增廣以保證更好的泛化能力。數(shù)據(jù)加載中，采用高斯隨機(jī)采樣的方式讀入每一個(gè)批次的數(shù)據(jù)作為預(yù)訓(xùn)練好的VGG16模型的輸入，模型輸出的特征為4 096維度，在輸出的特征上對(duì)其進(jìn)行分類。

2) 數(shù)據(jù)融合。

對(duì)于混合訓(xùn)練的方式，會(huì)使得網(wǎng)絡(luò)學(xué)習(xí)到的特征表示在兩種不同的分布下?lián)u擺不定。從臨床的角度來分析，對(duì)于同一幅原始超聲影像，其常規(guī)圖像與彈性成像必須被當(dāng)作一個(gè)樣本來看待，二者的特征信息是互補(bǔ)的關(guān)系，因此，需要對(duì)兩種不同的數(shù)據(jù)進(jìn)行融合使其作為一個(gè)整體輸入到網(wǎng)絡(luò)中。如圖4所示，在完成數(shù)據(jù)預(yù)處理后，將三通道的常規(guī)超聲圖像和三通道的彈性超聲圖像組合成一個(gè)六通道的張量。張量的前三個(gè)通道為常規(guī)超聲的數(shù)據(jù)信息，后三個(gè)通道為彈性超聲圖像的數(shù)據(jù)信息，這樣組成一個(gè)224×224×6的張量。然后使用1×1的卷積進(jìn)行通道降維，將張量轉(zhuǎn)為224×224×3作為預(yù)訓(xùn)練好的VGG16模型的輸入，輸出的特征為4 096維度，最后對(duì)其進(jìn)行分類。

3) 特征融合。

考慮到不同的超聲圖像數(shù)據(jù)有著不同的特征分布，二者信息互補(bǔ)的前提是彼此相互獨(dú)立，因此直接將兩個(gè)不同的數(shù)據(jù)混合可能會(huì)造成特征表示不明顯的效果，所以如圖4所示，獨(dú)立地對(duì)常規(guī)超聲圖像和彈性超聲圖像進(jìn)行采樣，將兩個(gè)不同的數(shù)據(jù)輸入到兩個(gè)獨(dú)立的預(yù)訓(xùn)練好的VGG16模型中進(jìn)行特征提取，在第5層池化層后將兩個(gè)獨(dú)立的特征提取器所提取出來的特征進(jìn)行級(jí)聯(lián)操作，這樣卷積神經(jīng)網(wǎng)絡(luò)輸出的特征維度是普通VGG16模型的兩倍，同樣地使用全連接層將特征降維到4 096維度，最后進(jìn)行分類。這樣可以保證不同的數(shù)據(jù)源中不同特征提取過程中的獨(dú)立性，根據(jù)鏈?zhǔn)椒▌t，最后特征混合的級(jí)聯(lián)操作，也使得反向傳播梯度傳遞時(shí)不同的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)更新對(duì)不同的數(shù)據(jù)互相獨(dú)立。

圖4 本文方法主要流程Fig. 4 Main flowchart of proposed method

設(shè)Y表示二分類的結(jié)果:

(1)

其中：X1、X2分別表示兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)提取出來的特征向量；Ω1、Ω2分別表示兩個(gè)特征向量對(duì)應(yīng)的分類貢獻(xiàn)權(quán)值。

(2)

(3)

(4)

因此：

(5)

(6)

(7)

可以看到，最后的分類結(jié)果Y對(duì)兩個(gè)相互獨(dú)立的特征、權(quán)值求偏導(dǎo)的結(jié)果也是相互獨(dú)立的，證明了在反向傳播中使用梯度更新卷積神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)的過程也是相互獨(dú)立的。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)和評(píng)估指標(biāo)

本文實(shí)驗(yàn)中使用的數(shù)據(jù)由慧影醫(yī)療科技(北京)有限公司提供，經(jīng)過臨床病理結(jié)果驗(yàn)證。本文實(shí)驗(yàn)數(shù)據(jù)來源于Aixplorer 的超聲設(shè)備，探測(cè)器的頻率是 10 MHz～14 MHz。在本文的實(shí)驗(yàn)中使用1 156 張甲狀腺結(jié)節(jié)超聲圖像，包括578 個(gè)橫切面圖像和578 縱切面圖像，總計(jì)含有520個(gè)良性圖像和636個(gè)惡性圖像，每幅超聲圖像包含常規(guī)超聲與彈性超聲兩部分，并且所有結(jié)節(jié)的類型由醫(yī)生標(biāo)注，沒有輪廓信息的標(biāo)注。

在數(shù)據(jù)預(yù)處理中，先通過顏色通道轉(zhuǎn)化的方式預(yù)先提取出了每幅結(jié)節(jié)影像的感興趣區(qū)域，并根據(jù)醫(yī)生的標(biāo)注信息在預(yù)處理中分別提取出每幅圖像中的常規(guī)超聲數(shù)據(jù)部分和彈性超聲數(shù)據(jù)部分，二者是同一個(gè)位置且標(biāo)注相同，分別組成常規(guī)超聲數(shù)據(jù)集與彈性超聲數(shù)據(jù)集。

分類性能評(píng)估的定量指標(biāo)如下：

1)Accuracy=(TP+TN) / (TP+TN+FP+FN);

2)Sensitivity=TP/ (TP+FN);

3)Specificity=TN/ (TN+FP);

4)接收者操作特征曲線下面積(Area Under the Curve of receiver operating characteristic, AUC)。

其中：TP(真陽性)和TN(真陰性)分別代表正確分類的正負(fù)樣本數(shù)；FP(假陽性)和FN(假陰性)是假分類的陰性和陽性樣本數(shù)。在甲狀腺結(jié)節(jié)中，陽性表示的是惡性結(jié)節(jié)，陰性表示的是良性結(jié)節(jié)。敏感度(Sensitivity)和特異性(Specificity)分別定義了判定惡性和良性結(jié)節(jié)的可能性。

本實(shí)驗(yàn)訓(xùn)練模型的服務(wù)器運(yùn)行64位的Ubuntu 系統(tǒng)，版本為16.04, 配置了Intel Xeon E5 2620 v4 處理器，128 GB內(nèi)存，4個(gè)Tesla V100顯卡，每個(gè)顯卡顯存32 GB。本實(shí)驗(yàn)的開發(fā)環(huán)境基于Python 3.6，深度學(xué)習(xí)框架為 PyTorch 1.0。

2.2 對(duì)比討論

首先分別在常規(guī)超聲、彈性超聲數(shù)據(jù)下完成了對(duì)預(yù)訓(xùn)練模型微調(diào)的測(cè)試。對(duì)于常規(guī)超聲和彈性超聲數(shù)據(jù)集，均是凍結(jié)前6層卷積參數(shù)作為后續(xù)層的特征提取器效果最好。

在此基礎(chǔ)上，完成了五組方法的對(duì)比，分別是:常規(guī)超聲數(shù)據(jù)遷移(Conventional ultrasound transfer)、彈性超聲數(shù)據(jù)遷移(Ultrasonic elastography transfer)、混合訓(xùn)練(Mixed training)、數(shù)據(jù)融合(Fusion re-extraction feature)、特征融合(Extraction feature re-fusion)。對(duì)于每組方法，均使用了十折交叉驗(yàn)證作為訓(xùn)練集驗(yàn)證集的劃分，所有評(píng)價(jià)指標(biāo)的細(xì)節(jié)對(duì)比如表2所示。

表2 不同方法詳細(xì)評(píng)價(jià)指標(biāo)對(duì)比Tab. 2 Comparison of detailed evaluation indicators of different methods

在單一數(shù)據(jù)源的對(duì)比上，可以發(fā)現(xiàn)在彈性超聲數(shù)據(jù)上的準(zhǔn)確率要優(yōu)于常規(guī)超聲。常規(guī)超聲的敏感性指標(biāo)較好，對(duì)惡性結(jié)節(jié)的判斷效果更好；彈性超聲的特異性指標(biāo)更好，對(duì)良性結(jié)節(jié)的判別效果優(yōu)于常規(guī)超聲。再對(duì)比三種不同的數(shù)據(jù)融合方式，混合訓(xùn)練遷移和數(shù)據(jù)融合方法在準(zhǔn)確率、AUC上均有略微的提升，但是提升效果并不顯著。本質(zhì)上還是不同的數(shù)據(jù)混合、融合后，對(duì)于不同的特征分布，關(guān)鍵特征的提取效果不好。數(shù)據(jù)混合方法中，不同成像原理的數(shù)據(jù)混合訓(xùn)練會(huì)影響到特征提取器對(duì)目標(biāo)數(shù)據(jù)的特征分布的判斷；數(shù)據(jù)融合的方法中，由于基礎(chǔ)網(wǎng)絡(luò)輸入?yún)?shù)的限制，需要對(duì)數(shù)據(jù)進(jìn)行通道降維，而1×1卷積進(jìn)行通道的降維本質(zhì)上相當(dāng)于將兩個(gè)不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行不同權(quán)重的像素級(jí)疊加，同樣對(duì)不同數(shù)據(jù)特征分布的獨(dú)立性產(chǎn)生了影響，無法從本質(zhì)上改善特征表示空間的準(zhǔn)確性以提升模型的性能。在特征融合方法中，該方法的各項(xiàng)性能指標(biāo)相比前面四種方法均有較大程度的提升，表明了在不影響各數(shù)據(jù)源數(shù)據(jù)分布的前提下，分別提取出其特征并進(jìn)行特征級(jí)聯(lián)的方法在該問題上有很好的表現(xiàn)。

更為直觀的結(jié)果對(duì)比如圖5～6所示。

圖5 三種融合方法的AUC對(duì)比Fig. 5 AUC comparison of three fusion methods

由圖5～6可以看出，特征融合方法的AUC指標(biāo)相比其他方法有著較大的優(yōu)勢(shì)。在數(shù)據(jù)集不平衡的情況下，AUC可以較好地體現(xiàn)分類器的性能。特征融合方法上較高的 AUC 表明了該方法具有更好的分類性能。

圖6 特征融合和單一數(shù)據(jù)源的AUC對(duì)比Fig. 6 AUC comparison of feature fusion and single data source

3 結(jié)語

針對(duì)甲狀腺結(jié)節(jié)的良惡性判別，本文提出了一種對(duì)常規(guī)超聲和彈性超聲影像的特征分別提取并進(jìn)行融合的方法?？紤]到彈性超聲在臨床上的實(shí)用性，同時(shí)使用常規(guī)超聲與彈性超聲兩種不同的數(shù)據(jù)源對(duì)甲狀腺結(jié)節(jié)的良惡性進(jìn)行判別，互相獨(dú)立的特征提取方式也保證了不同的特征提取器對(duì)目標(biāo)數(shù)據(jù)域數(shù)據(jù)分布判斷的獨(dú)立性，常規(guī)超聲影像具有更高的敏感性，彈性超聲影像則具有更高的特異性，融合其兩者的優(yōu)勢(shì)帶來了更好的性能提升。同時(shí)，僅使用了高層特征的端到端的實(shí)現(xiàn)方式，也在訓(xùn)練和推理階段帶來了更高的計(jì)算效率，不需要精細(xì)地標(biāo)注信息也在實(shí)際臨床上有更廣泛的利用價(jià)值。本文方法的準(zhǔn)確率為92.4%，與其他僅使用單一數(shù)據(jù)源方法的對(duì)比也體現(xiàn)出了較為明顯的優(yōu)勢(shì)。在未來的工作中，計(jì)劃對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的調(diào)整，嘗試使用其他更為高效的網(wǎng)絡(luò)結(jié)構(gòu)，并引入低層特征，繼續(xù)提高分類性能。

此外，考慮到醫(yī)學(xué)影像領(lǐng)域多數(shù)據(jù)源的情況普遍存在，將繼續(xù)嘗試將該方法拓展到其他的醫(yī)學(xué)任務(wù)中，以獲得更為廣泛的應(yīng)用。