秦品樂 李鵬波 曾建潮 朱輝 徐少偉

摘 要：針對現(xiàn)有算法自動(dòng)識(shí)別頸部淋巴結(jié)效率不高、存在大量假陽性且整體假陽性去除效果不理想的問題，提出一種基于級(jí)聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的頸部淋巴結(jié)識(shí)別算法。首先，結(jié)合醫(yī)生的先驗(yàn)知識(shí)采用級(jí)聯(lián)FCN進(jìn)行初步識(shí)別，即第一個(gè)FCN從頭頸部計(jì)算機(jī)斷層掃描圖像（CT）中提取淋巴結(jié)醫(yī)學(xué)分區(qū);然后，第二個(gè)FCN從分區(qū)內(nèi)提取候選樣本并在三維層面合并這些樣本以生成三維圖像塊;最后，將提出的特征塊平均池化引入到三維分類網(wǎng)絡(luò)中，對輸入的不同尺度三維圖像塊進(jìn)行二分類以去除假陽性。

在頸部淋巴結(jié)數(shù)據(jù)集中，采用級(jí)聯(lián)FCN識(shí)別頸部淋巴結(jié)的召回率可達(dá)97.23%;引入特征塊平均池化的三維分類網(wǎng)絡(luò)的分類準(zhǔn)確率可達(dá)到98.7%。在去除假陽性之后的準(zhǔn)確率可達(dá)93.26%。實(shí)驗(yàn)結(jié)果分析表明，所提算法能有效實(shí)現(xiàn)頸部淋巴結(jié)的自動(dòng)識(shí)別并取得較高的召回率和準(zhǔn)確率，優(yōu)于目前相關(guān)文獻(xiàn)報(bào)道的算法;且算法簡單高效，易于擴(kuò)展到其他三維醫(yī)學(xué)圖像的目標(biāo)檢測任務(wù)中。

關(guān)鍵詞： 頸部淋巴結(jié)檢測;計(jì)算機(jī)輔助診斷;全卷積神經(jīng)網(wǎng)絡(luò);假陽性去除;三維醫(yī)學(xué)影像

中圖分類號(hào)：TP391.3

文獻(xiàn)標(biāo)志碼：A

Abstract： The existing automatic recognition algorithms for cervical lymph nodes have low efficiency， and the overall false positive removal are unsatisfied， so a cervical lymph node detection algorithm using cascaded Fully Convolutional Neural Networks （FCNs） was proposed. Firstly， combined with the prior knowledge of doctors， the cascaded FCNs were used for preliminary identification， that was， the first FCN was used for extracting the cervical lymph node region from the Computed Tomography （CT） image of head and neck. Then， the second FCN was used to extract the lymph node candidate samples from the region， and merging them at the three-dimensional （3D） level to generate a 3D image block. Finally， the proposed feature block average pooling method was introduced into the 3D classification network， and the 3D input image blocks with different scales were classified into two classes to remove false positives. On the cervical lymph node dataset， the recall of cervical lymph nodes identified by cascaded FCNs is up to 97.23%， the classification accuracy of the 3D classification network with feature block average pooling can achieve 98.7%. After removing false positives， the accuracy of final result reaches 93.26%. Experimental results show that the proposed algorithm can realize the automatic recognition of cervical lymph nodes with high recall and accuracy， which is better than the current methods reported in the literatures; it is simple and efficient， easy to extend to other tasks of 3D medical images recognition.Key words： cervical lymph node detection; computer-aided diagnosis; Fully Convolutional Neural （FCN） network; false positive removal; Three-Dimensional （3D） medical imaging

0 引言

頸部淋巴結(jié)引流豐富，全身約800枚淋巴結(jié)，其中約300枚位于頭頸部。淋巴結(jié)作為人體非常重要的免疫器官，起著過濾淋巴、清除細(xì)菌和異物、產(chǎn)生淋巴細(xì)胞和抗體等作用。頭頸部腫瘤種類多，約占全身惡性腫瘤的6%，而其中頸部淋巴結(jié)轉(zhuǎn)移癌約占頭頸部惡性腫瘤總數(shù)的75%[1]。全身的癌腫一經(jīng)侵犯淋巴系統(tǒng)，均有可能轉(zhuǎn)移至頸部淋巴結(jié)，同時(shí)頭頸部區(qū)域的原發(fā)腫瘤也極易引發(fā)頸部淋巴結(jié)轉(zhuǎn)移，頸部淋巴結(jié)的異常往往表示其引流范圍內(nèi)存在感染灶。大量的手術(shù)與病理資料證實(shí)，頭頸部腫瘤的淋巴結(jié)轉(zhuǎn)移存在規(guī)律，即僅向其鄰近區(qū)域進(jìn)行轉(zhuǎn)移。就特定腫瘤而言，還存在淋巴結(jié)轉(zhuǎn)移的高危區(qū)域[2]。研究報(bào)告顯示，如果及早發(fā)現(xiàn)和治療，頸淋巴癌患者的5年存活率將提高40%左右[3]。因此，檢測和識(shí)別頸部淋巴結(jié)對于及早發(fā)現(xiàn)和治療頸部淋巴癌具有重要意義。

在頸部淋巴結(jié)診斷中，傳統(tǒng)的觸診對腫瘤是否發(fā)生轉(zhuǎn)移具有很高的假性結(jié)論，需借助醫(yī)學(xué)影像輔助檢查。計(jì)算機(jī)斷層掃描（Computed Tomography， CT）是目前檢測頸部淋巴結(jié)最可靠的方法，它較好地對軟組織或器官成像，能良好地顯示出病變的區(qū)域。在CT圖像中，頸部區(qū)域的淋巴結(jié)與周圍組織界限模糊，CT值與周圍的軟組織相近，且淋巴結(jié)的病理復(fù)雜、形態(tài)小、不規(guī)則。頸部淋巴結(jié)的生理特征和圖像的復(fù)雜性使得放射科醫(yī)師提取非常困難。醫(yī)生根據(jù)各自經(jīng)驗(yàn)進(jìn)行判斷，費(fèi)時(shí)費(fèi)力且結(jié)論會(huì)隨各自主觀經(jīng)驗(yàn)判斷而存在誤差，這導(dǎo)致結(jié)果存在大量的假陽性。對淋巴結(jié)檢測和分析的常用手段是傳統(tǒng)的機(jī)器學(xué)習(xí)算法。魏駿等[4]提出基于統(tǒng)計(jì)學(xué)的半自動(dòng)分割算法，采用遍歷閾值提取淋巴結(jié)種子點(diǎn)，加入基于統(tǒng)計(jì)學(xué)的強(qiáng)制停止條件，對種子點(diǎn)進(jìn)行區(qū)域生長，實(shí)現(xiàn)淋巴結(jié)分割及其體積的計(jì)算。Kan等[5]提出基于支持向量機(jī)的淋巴結(jié)判決算法，依據(jù)淋巴結(jié)及周圍軟組織生理特征來識(shí)別淋巴結(jié)區(qū)域。

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支，近幾年得到了迅猛發(fā)展。隨著強(qiáng)大高效的圖形處理器（Graphic Processing Unit， GPU）以及大量可用的訓(xùn)練數(shù)據(jù)出現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在視覺識(shí)別領(lǐng)域取得多項(xiàng)突破[6-7]，并且在醫(yī)療圖像上也取得了不錯(cuò)的成就[8-9]。與傳統(tǒng)的機(jī)器學(xué)習(xí)算法相比，卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于特征提取過程無需人工參與，通過端到端的形式自動(dòng)提取深層次特征。

目前深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)影像的檢測和分析通常采用兩階段：1）提取候選樣本;2）去除假陽性。針對第一階段，Lee等[10]提出CNN-GAP算法，將VGG（Visual Geometry Group）網(wǎng)絡(luò)與全局平均池化（Global Average Pooling， GAP）[11]相結(jié)合，在超聲圖像上繪制熱圖來定位轉(zhuǎn)移性淋巴結(jié)區(qū)域并區(qū)分良惡性。雖然該算法在超聲影像中識(shí)別轉(zhuǎn)移性淋巴結(jié)存在優(yōu)勢，但不同影像類型的淋巴結(jié)形態(tài)表現(xiàn)及特征差異較大，且該算法的定位結(jié)果較為粗糙，對于CT圖像中識(shí)別淋巴結(jié)的問題并不適用。目前最先進(jìn)的通用物體檢測模型Faster R-CNN（Faster Region-Based Convolutional Networks）在自然圖像上表現(xiàn)優(yōu)異，在醫(yī)學(xué)影像上也有廣泛應(yīng)用。

Ding等[12]采用改進(jìn)的Faster R-CNN，在特征提取網(wǎng)絡(luò)的最后一層加入反卷積層以恢復(fù)更多細(xì)粒度特征，能有效提高對CT圖像中較小尺寸肺結(jié)節(jié)的識(shí)別能力。該算法雖然在識(shí)別小尺寸目標(biāo)方面存在優(yōu)勢，但易受預(yù)設(shè)錨框的影響，導(dǎo)致同時(shí)識(shí)別大小目標(biāo)的效果較差，且頸部區(qū)域雜質(zhì)較多，容易導(dǎo)致大量假陽性樣本，對于CT圖像中識(shí)別淋巴結(jié)的效果并不理想。相對于目標(biāo)檢測算法，基于像素的分割算法能夠利用目標(biāo)周圍的上下文信息實(shí)現(xiàn)更精確的定位，在算法復(fù)雜度和識(shí)別結(jié)果等方面往往能取得不錯(cuò)的效果。Christ等[13]提出全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Neural network， FCN）與遷移學(xué)習(xí)相結(jié)合，對CT圖像中肝臟內(nèi)部病變區(qū)域進(jìn)行分割，并使用條件隨機(jī)場進(jìn)行后處理得到分割結(jié)果。由于頸部區(qū)域的淋巴結(jié)與周圍組織間的界限模糊、血管等雜質(zhì)較多且淋巴結(jié)目標(biāo)較小，直接分割原始CT圖像容易產(chǎn)生較多假陽性樣本。為避免這種情況，需要在前處理階段提取淋巴結(jié)感興趣區(qū)域。針對第二階段，Xie等[14]提出訓(xùn)練三個(gè)模型來分別提取樣本的三個(gè)軸切面信息，最后對分類結(jié)果進(jìn)行投票，用于去除肺部結(jié)節(jié)的假陽性。然而該算法中每個(gè)模型僅學(xué)習(xí)二維平面信息，丟失了空間信息，且多網(wǎng)絡(luò)投票機(jī)制消耗資源，造成去假陽性效果不理想。通過單一網(wǎng)絡(luò)在特征層面融合三個(gè)軸切面信息，有助于提高準(zhǔn)確率。Roth等[15]提出了新型的2.5D算法，采用樣本的三個(gè)軸切面組成三通道偽彩圖像，輸入到二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，用于去除腹部及縱膈淋巴結(jié)的假陽性。該算法雖然整合了樣本的軸切面信息，但對于樣本的整體空間信息利用不足，導(dǎo)致對難樣例的區(qū)分效果不好。將樣本輸入三維（Three Dimension， 3D）分類網(wǎng)絡(luò)，網(wǎng)絡(luò)充分利用樣本的完整空間信息學(xué)習(xí)到更具代表性的判別特征，有助于提高對難樣例的判別能力。Ding等[12]與苗光等[16]在去假陽性部分的算法較為相似，以所有候選樣本中心點(diǎn)為基準(zhǔn)裁剪為相同尺寸，輸入到3D網(wǎng)絡(luò)進(jìn)行分類，用于去除肺部結(jié)節(jié)的假陽性。該類算法雖然能保留樣本完整的空間信息，取得明顯效果，但由于網(wǎng)絡(luò)中全連接層的影響，僅限于輸入固定大小的樣本，而淋巴結(jié)尺度變化明顯，在傳統(tǒng)3D網(wǎng)絡(luò)上表現(xiàn)不佳。為避免這種情況，就要求網(wǎng)絡(luò)同時(shí)兼顧大小目標(biāo)的識(shí)別。

頸部淋巴結(jié)與周圍組織間的界限模糊，具有病理復(fù)雜、形態(tài)小、不規(guī)則、分布區(qū)域廣泛等特點(diǎn)。目前深度學(xué)習(xí)應(yīng)用于識(shí)別頸部淋巴結(jié)領(lǐng)域的研究較少，仍需解決以下兩個(gè)關(guān)鍵問題：1）由于受到血管等無關(guān)組織的干擾，利用深度學(xué)習(xí)直接從CT圖像中提取，將產(chǎn)生大量假陽性樣本;2）針對形態(tài)尺度差異較大的樣本，采用傳統(tǒng)3D分類網(wǎng)絡(luò)同時(shí)識(shí)別較大目標(biāo)與較小目標(biāo)的難度較大，整體去假陽性的效果并不理想。

針對頸部淋巴結(jié)自動(dòng)識(shí)別的關(guān)鍵問題，本文提出基于級(jí)聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別算法。針對第一個(gè)關(guān)鍵問題，本文提出級(jí)聯(lián)FCN的實(shí)現(xiàn)方式，首先提取淋巴結(jié)醫(yī)學(xué)分區(qū)，繼而從分區(qū)內(nèi)提取候選樣本。針對第二個(gè)關(guān)鍵問題，本文提出特征塊平均池化理念，替代傳統(tǒng)3D網(wǎng)絡(luò)的全連接層以便允許網(wǎng)絡(luò)輸入不同尺度樣本。與傳統(tǒng)方法相比，本文算法能有效解決深度學(xué)習(xí)應(yīng)用于識(shí)別淋巴結(jié)的兩個(gè)關(guān)鍵問題，并大幅提高識(shí)別的召回率和準(zhǔn)確率。該算法可作為頸部淋巴結(jié)的預(yù)篩查工具，對醫(yī)生的輔助診斷治療具有重要的意義。

1 頸部淋巴結(jié)識(shí)別

1.1 總體框架

整體框架如圖1所示。

本文算法主要分為兩個(gè)階段：1）提取淋巴結(jié)候選樣本;2）去除假陽性。第一階段：采用級(jí)聯(lián)FCN，首先從CT圖像中分割出肌肉等無關(guān)組織，得到淋巴結(jié)醫(yī)學(xué)分區(qū)，進(jìn)而從分區(qū)內(nèi)提取候選樣本;第二階段：將特征塊平均池化引入到3D分類網(wǎng)絡(luò)中，對輸入不同尺度的候選3D樣本進(jìn)行二分類，得到分類結(jié)果。

1.2 提取候選

提取淋巴結(jié)候選樣本作為整個(gè)模型中的關(guān)鍵步驟，其目的在于保持高靈敏度的同時(shí)限制候選樣本的數(shù)量。由于兩方面的原因，本文采用先提取淋巴結(jié)醫(yī)學(xué)分區(qū)，然后從分區(qū)內(nèi)提取候選樣本的方案：1）頸部淋巴結(jié)形態(tài)各異且與周圍組織間的界限模糊，血管、食道、肌肉等組織干擾淋巴結(jié)的識(shí)別;2）雖然頸部淋巴結(jié)分布廣泛，但是分布具有規(guī)律性，醫(yī)學(xué)上根據(jù)淋巴結(jié)相鄰的組織器官及血管，將頸部淋巴結(jié)分布區(qū)域劃分為七大分區(qū)。故本文采用先提取淋巴結(jié)醫(yī)學(xué)分區(qū)，然后從分區(qū)內(nèi)提取候選樣本的方案。

1.2.1 改進(jìn)U-Net網(wǎng)絡(luò)

本文采用級(jí)聯(lián)FCN提取淋巴結(jié)分區(qū)及候選樣本，如圖2所示，具體FCN選用改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)U-Net。由于原始的全卷積神經(jīng)網(wǎng)絡(luò)U-Net[17]在提取淋巴結(jié)問題上表現(xiàn)不佳，故采用改進(jìn)的U-Net網(wǎng)絡(luò)：首先將網(wǎng)絡(luò)輸入大小調(diào)整為CT圖像的大小;其次，網(wǎng)絡(luò)層數(shù)較深導(dǎo)致計(jì)算量過大，使得網(wǎng)絡(luò)只能接受較小批次的圖像，網(wǎng)絡(luò)訓(xùn)練速度較慢，故在網(wǎng)絡(luò)中添加批量歸一化（Batch Normalization， BN）[18]，激活函數(shù)替換為Leaky-ReLU（Leaky Rectified Liner Uints）[19]，加速網(wǎng)絡(luò)收斂，并提高網(wǎng)絡(luò)的泛化能力，減少過擬合;最后，對于分割醫(yī)學(xué)影像時(shí)面臨的類別嚴(yán)重不平衡問題，損失函數(shù)采用聯(lián)合損失，即加權(quán)交叉熵?fù)p失（Cross Entropy， CE）、Dice損失[20]、交并比損失（Intersection over Union， IOU）[21]的損失之和，將總損失減少的范圍限定在損失域的子集來加速網(wǎng)絡(luò)收斂，提升分割精度。整體損失函數(shù)定義為：

從CT圖像中提取淋巴結(jié)分區(qū)如圖3所示。由于頸部淋巴結(jié)醫(yī)學(xué)分區(qū)的形狀變化過于明顯，不易直接提取，故選擇根據(jù)醫(yī)生的先驗(yàn)知識(shí)，從CT圖像上剝離肌肉等無關(guān)組織，進(jìn)而得到淋巴結(jié)分區(qū)。具體實(shí)現(xiàn)為：1）將圖像范圍調(diào)整為-140～260HU（Hounsfield），采用改進(jìn)U-Net分割出肌肉等無關(guān)組織;2）將圖像范圍調(diào)整為20～80HU后減去無關(guān)組織部分，得到淋巴結(jié)醫(yī)學(xué)分區(qū)。經(jīng)過咨詢放射科醫(yī)師，將圖像范圍調(diào)整為-140～260HU的原因?yàn)樵摲秶录∪獾冉M織與淋巴結(jié)之間的界限相對明顯，有助于剝離無關(guān)組織的同時(shí)，盡可能保留所有真實(shí)淋巴結(jié)，保證淋巴結(jié)的高召回率。之后將調(diào)整為20～80HU的原因?yàn)樵摲秶铝馨徒Y(jié)顯示效果最為明顯且干擾因素較少，以便更精確地提取淋巴結(jié)候選樣本。

從分區(qū)內(nèi)提取淋巴結(jié)候選樣本如圖4所示。在20～80HU范圍的淋巴結(jié)分區(qū)圖像中，采用第二個(gè)改進(jìn)U-Net基于淋巴結(jié)的標(biāo)注真值進(jìn)行訓(xùn)練，從分區(qū)內(nèi)提取淋巴結(jié)候選樣本，之后將候選樣本的掩碼輪廓轉(zhuǎn)化為對應(yīng)的最小外接矩形框，達(dá)到提取淋巴結(jié)候選樣本的目的。

1.2.3 合并候選樣本

為了獲取候選樣本的空間信息，需要合并CT序列中多層切片之間的候選樣本，通過坐標(biāo)之間的歐氏距離合并相近的候選樣本，并利用3D非極大值抑制（Non Maximum Suppression，NMS）減少候選樣本數(shù)量。通過判斷候選3D樣本與真值3D樣本之間的體素交并比[22]來確定候選樣本的正

1.3 去除假陽性

提取候選階段之后，生成較多的候選3D樣本，主要由血管與淋巴結(jié)組成，兩者在二維平面上灰度值接近，形態(tài)大小相似，無法區(qū)分，而在三維空間中，血管呈現(xiàn)柱狀結(jié)構(gòu)，而淋巴結(jié)呈現(xiàn)為結(jié)狀，兩者的立體形態(tài)截然不同，故去除假陽性時(shí)必須結(jié)合樣本的空間信息。

1.3.1 網(wǎng)絡(luò)結(jié)構(gòu)

3D分類網(wǎng)絡(luò)以VGG網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，其結(jié)構(gòu)如圖5所示，由6個(gè)三維卷積層、3個(gè)三維最大池化層、特征塊平均池化層及二分類層組成。第一、二層是連續(xù)的兩個(gè)卷積層，由32個(gè)3×3×3的卷積核組成，第三、四層是連續(xù)的兩個(gè)卷積層，由64個(gè)3×3×3的卷積核組成，第五、六層是連續(xù)的兩個(gè)卷積層，由128個(gè)3×3×3的卷積核組成，其中每個(gè)三維卷積層的步長均為1、填充均為0。連續(xù)卷積之后加入空間批量歸一化、修正線性單元，以提取淋巴結(jié)內(nèi)部的空間信息。第一個(gè)三維最大池化層由32個(gè)1×2×2的最大池組成，第二個(gè)三維最大池化層由64個(gè)2×2×2的最大池組成，第三個(gè)三維最大池化層由128個(gè)2×2×2的最大池組成，其中每個(gè)三維最大池化層后均加入?yún)?shù)為0.5的Dropout層，以避免過擬合，提高模型穩(wěn)定性。之后特征塊平均池化取代傳統(tǒng)3D網(wǎng)絡(luò)的全連接層，以允許網(wǎng)絡(luò)輸入不同尺度3D樣本進(jìn)行訓(xùn)練;最后接入二分類層，采用二值交叉熵（Binary Cross Entropy， BCE）作為損失函數(shù)，輸出分類結(jié)果。

1.3.2 特征塊池化

不同尺度3D樣本x×y×z輸入網(wǎng)絡(luò)后，首先通過特征提取網(wǎng)絡(luò)，結(jié)合樣本原始空間信息提取潛在的深層特征，輸出128個(gè)m×n×k的三維特征塊。通過特征塊池化方式提取每個(gè)特征塊的一個(gè)值，代表該特征塊的深層次特征，最終計(jì)算得到128個(gè)神經(jīng)元的值，用以代表輸入的3D樣本整體的深層次特征。最后將128維深層次特征輸入到二分類層進(jìn)行判別，輸出分類結(jié)果。最終實(shí)現(xiàn)基于特征塊池化的3D網(wǎng)絡(luò)允許輸入不同尺度的3D樣本進(jìn)行訓(xùn)練的目的。

對于特征塊池化方式，本文提出兩種：特征塊最大池化（Feature Block Maximum Pooling， FBMP）和特征塊平均池化（Feature Block Average Pooling， FBAP）。前者僅提取每個(gè)特征塊內(nèi)部的最大激活值，容易導(dǎo)致過擬合，不能代表該特征塊的整體激活信息;后者通過計(jì)算每個(gè)特征塊內(nèi)部激活值的均值，匯總整體激活信息，起到正則化作用，防止過擬合，代表該特征塊的整體激活信息。

對比傳統(tǒng)3D網(wǎng)絡(luò)，基于特征塊池化的3D網(wǎng)絡(luò)優(yōu)勢在于：1）基本不改變3D樣本大小，完整保留樣本的原始空間信息;2）針對形態(tài)尺度差異較大的3D樣本，同時(shí)兼顧較大目標(biāo)與較小目標(biāo)的識(shí)別;3）在不增加計(jì)算量的前提下使得網(wǎng)絡(luò)訓(xùn)練時(shí)間更短、精度更高。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集來源于山西省腫瘤醫(yī)院CT放射科，影像類型為靜脈增強(qiáng)的頭頸部CT序列圖像，原始圖像大小為512×512pixel，切片厚度為0.625mm。參照標(biāo)準(zhǔn)由4名經(jīng)驗(yàn)豐富的專家手工注釋。為了保證注釋的完整性和準(zhǔn)確性，4名放射科醫(yī)師對每張頭頸部CT圖像標(biāo)注兩遍，結(jié)果包含兩種真值：組織區(qū)域掩碼、淋巴結(jié)掩碼。第一遍由4名專家手動(dòng)標(biāo)注組織區(qū)域掩碼，以便提取淋巴結(jié)醫(yī)學(xué)分區(qū);第二遍由4名專家獨(dú)立標(biāo)注淋巴結(jié)掩碼。圖6為數(shù)據(jù)集中不同形態(tài)及分布的頸部淋巴結(jié)樣本。最終挑選出直徑大于3mm并由3名及以上專家共同注釋的頸部淋巴結(jié)。最終獲得70例，共計(jì)2220張CT圖像，其中包含1140張頸部淋巴結(jié)圖像。

2.2 模型訓(xùn)練方法

實(shí)驗(yàn)數(shù)據(jù)分為兩部分：80%用于訓(xùn)練級(jí)聯(lián)FCN模型和訓(xùn)練3D分類模型;剩余的20%作為測試數(shù)據(jù)來測試淋巴結(jié)的召回率、準(zhǔn)確率等。針對數(shù)據(jù)增強(qiáng)，級(jí)聯(lián)FCN模型的數(shù)據(jù)集使用隨機(jī)鏡像翻轉(zhuǎn)、隨機(jī)正負(fù)30°內(nèi)旋轉(zhuǎn)、隨機(jī)裁剪及彈性形變等數(shù)據(jù)增強(qiáng)策略;3D CNN模型訓(xùn)練的數(shù)據(jù)集，由于正樣本數(shù)量較少，為保持正負(fù)樣本均衡，首先在（x， y，z）三個(gè)方向進(jìn)行[-3，3]內(nèi)的隨機(jī)平移，然后根據(jù)3D樣本的中心坐標(biāo)進(jìn)行[90°，180°，270°]三個(gè)角度的隨機(jī)旋轉(zhuǎn)進(jìn)行增廣，最后保持正負(fù)樣本的比例接近1∶1。針對模型優(yōu)化，級(jí)聯(lián)FCN模型采用隨機(jī)梯度下降（Stochastic Gradient Descent， SGD）算法，學(xué)習(xí)率初始化為0.01，衰減率設(shè)為0.1，批處理大小設(shè)置為8，動(dòng)量設(shè)置為0.9，訓(xùn)練輪次為100，并在第30、60、90輪次時(shí)衰減學(xué)習(xí)率;三維分類模型除批處理大小設(shè)置為16以外，其余訓(xùn)練參數(shù)均與FCN模型保持一致。所有訓(xùn)練的網(wǎng)絡(luò)模型均在GPU Tesla M40上使用Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)，全部模型訓(xùn)練約為12.5h，測試所有病例的總時(shí)間約為120s（15例CT序列，包含450張CT圖像）。

2.3 結(jié)果分析

2.3.1 評(píng)價(jià)指標(biāo)

針對級(jí)聯(lián)FCN模型，采用召回率來分析提取候選樣本的性能。召回率r的計(jì)算公式為：其中：Tt為所有被檢測出的真實(shí)頸部淋巴結(jié)的個(gè)數(shù);Ff為所有未檢測出的真實(shí)頸部淋巴結(jié)的個(gè)數(shù);Tt+Ff為理論上檢測到的所有真實(shí)頸部淋巴結(jié)的個(gè)數(shù)。

針對3D分類模型，由于在去除假陽性過程中需要同時(shí)保證正負(fù)類的分類精度，而準(zhǔn)確率（Accuracy， ACC）可以充分反映分類網(wǎng)絡(luò)準(zhǔn)確識(shí)別真陽性和假陰性的比率，故采用準(zhǔn)確率來分析其對候選樣本的分類性能。準(zhǔn)確率ACC的計(jì)算公式為其中：Tt為所有被正確分類的淋巴結(jié)數(shù)量;Tf為所有被正確分類的負(fù)類數(shù)量;Ft為被誤分類為淋巴結(jié)的負(fù)類數(shù)量;Ff為被誤分類的淋巴結(jié)數(shù)量。

2.3.2 候選識(shí)別結(jié)果與分析

在候選識(shí)別階段，通過對比召回率、每次掃描假陽性數(shù)、耗時(shí)等因素，分析不同提取算法對于提取候選的影響。為保證公平比較，除對比算法不同之外，采用同一批頸部淋巴結(jié)數(shù)據(jù)集并使用相同的數(shù)據(jù)增強(qiáng)策略。

該階段對提取候選的主流方法及本文方法進(jìn)行對比實(shí)驗(yàn)，包括：Ding等[12]提出的改進(jìn)Faster R-CNN算法，Ronneberger等[17]提出的U-Net算法，苗光等[16]提出的改進(jìn)U-Net算法?；€算法為對比測試，在FCN提取淋巴結(jié)醫(yī)學(xué)分區(qū)的基礎(chǔ)上形態(tài)學(xué)提取候選。本文算法為級(jí)聯(lián)FCN算法。

作為主流的醫(yī)學(xué)影像目標(biāo)檢測框架，憑借設(shè)計(jì)優(yōu)秀的區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network， RPN）及錨框設(shè)置取得相對較高的召回率，但由于CT圖中頸部區(qū)域血管、食道、肌肉等無關(guān)組織的干擾，產(chǎn)生大量假陽性樣本，對最終識(shí)別結(jié)果造成很大影響。分割模型U-Net通過分析目標(biāo)周圍上下文信息來限制假陽性樣本數(shù)量，相較Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)簡單，在假陽性樣本數(shù)量及運(yùn)行時(shí)間上優(yōu)勢明顯，但召回率相對較低。

2）第2～3行為改進(jìn)分割網(wǎng)絡(luò)的對比。U-Net雖然限制假陽性樣本數(shù)量，且相對耗時(shí)最少，但由于網(wǎng)絡(luò)過深，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度較慢，召回率較差。Improved U-Net在網(wǎng)絡(luò)結(jié)構(gòu)中加入批量歸一化、Leaky-Relu等，并采用聯(lián)合損失進(jìn)行訓(xùn)練，使得網(wǎng)絡(luò)訓(xùn)練快速收斂，并提高網(wǎng)絡(luò)的泛化能力，在其他指標(biāo)表現(xiàn)相當(dāng)?shù)那疤嵯抡倩芈氏噍^于U-Net有一定提升。

3）第3～5行為單階段與兩階段提取的對比。

Improved U-Net雖然在運(yùn)算耗時(shí)較少的前提下達(dá)到較高的召回率，但由于頸部區(qū)域眾多干擾因素影響，候選樣本數(shù)量仍然較高。而基線算法和本文算法通過兩階段的方式，先提取淋巴結(jié)感興趣區(qū)域，避免無關(guān)組織干擾，在提高召回率的同時(shí)大幅減少假陽性樣本數(shù)量，但由于多階段的影響造成耗時(shí)增加。

4）第4～5行為傳統(tǒng)形態(tài)學(xué)方法與分割網(wǎng)絡(luò)的對比。

基線算法通過FCN提取淋巴結(jié)分區(qū)來避免無關(guān)組織干擾，使得召回率及假陽性樣本數(shù)量均保持較好的水平，但在分區(qū)內(nèi)僅依據(jù)淋巴結(jié)形態(tài)特點(diǎn)篩選符合條件的輪廓來提取候選樣本，存在部分雜質(zhì)輪廓被錯(cuò)誤提取為候選樣本。本文算法在基線算法基礎(chǔ)上，采用FCN取代形態(tài)學(xué)，網(wǎng)絡(luò)能夠?qū)W習(xí)更深層次且更豐富的特征來提取候選，達(dá)到保持高召回率的同時(shí)限制候選樣本數(shù)量，但相比其他所有算法耗時(shí)最長。

2.3.3 去除假陽性結(jié)果與分析

在去除假陽性階段，通過對比準(zhǔn)確率、耗時(shí)等因素，分析不同算法對于分類識(shí)別性能的影響。訓(xùn)練時(shí)為保證公平比較，除對比算法不同之外，采用同一批淋巴結(jié)候選樣本數(shù)據(jù)并使用相同的數(shù)據(jù)增強(qiáng)策略。該階段對去假陽性的主流方法及本文方法進(jìn)行對比實(shí)驗(yàn)，包括：Xie等[14]提出的多網(wǎng)絡(luò)投票算法，Roth等[15]提出的2.5D CNN，苗光等[16]提出的3D CNN算法。

基線算法為對比測試，基于特征塊最大池化的3D CNN算法。本文算法為基于特征塊平均池化的3D CNN算法。

1）第1～2行為軸切面信息融合方式的對比。2D CNN算法訓(xùn)練三個(gè)模型分別提取三個(gè)軸切面信息，最后融合分類結(jié)果，其中每個(gè)模型僅學(xué)習(xí)單個(gè)軸切面的二維信息，導(dǎo)致其在準(zhǔn)確率和運(yùn)行時(shí)間等方面均表現(xiàn)不佳;2.5D CNN算法采用單一的二維網(wǎng)絡(luò)將三個(gè)軸切面信息在特征層面融合，使得準(zhǔn)確率和運(yùn)行時(shí)間等方面相較于2D CNN提升明顯，它相比其他所有算法耗時(shí)最少。

2）第2～3行為不同網(wǎng)絡(luò)類型的對比。2.5D CNN算法將軸切面組成三通道偽彩圖像，僅利用軸切面信息，對于樣本整體的空間信息利用不足，導(dǎo)致對難樣例的區(qū)分效果較差，準(zhǔn)確率難以繼續(xù)提升。而3D CNN算法充分利用樣本的完整空間信息學(xué)習(xí)到更具代表性的判別特征，有助于提高對難樣例的識(shí)別能力，但由于網(wǎng)絡(luò)參數(shù)及計(jì)算量增加，導(dǎo)致相較于2D CNN耗時(shí)增加。

3）第3～5行為全連接與特征塊池化的對比。3D CNN算法由于全連接層的存在，網(wǎng)絡(luò)訓(xùn)練時(shí)需輸入固定大小的樣本，導(dǎo)致?lián)p失一些對分類結(jié)果非常重要的深層次特征，相較于基于特征塊池化的網(wǎng)絡(luò)準(zhǔn)確率不佳，且全連接層導(dǎo)致耗時(shí)增加?；€算法與本文算法將3D CNN的全連接層替換為特征塊池化，允許網(wǎng)絡(luò)輸入不同尺度的樣本，兼顧較大目標(biāo)與較小目標(biāo)的識(shí)別，在網(wǎng)絡(luò)參數(shù)減少的同時(shí)起著正則化作用，使得在準(zhǔn)確率和耗時(shí)等方面相較于3D CNN有一定提升。

4）第4～5行為不同特征塊池化的對比?；€算法將3D CNN的全連接層替換為特征塊最大池化，由于最大池化僅提取每個(gè)三維特征塊內(nèi)部的最大激活值，容易導(dǎo)致過擬合。

相比基線算法，本文算法通過特征塊平均池化替換特征塊最大池化，計(jì)算每個(gè)三維特征塊內(nèi)部激活值的均值，匯總整體激活信息，起到正則化作用，防止過擬合，相比其他所有算法在運(yùn)行耗時(shí)相對較少的情況下取得最高的準(zhǔn)確率。

2.3.4 整體結(jié)果與分析

整體算法流程分為兩階段：第一階段，采用級(jí)聯(lián)FCN提取淋巴結(jié)醫(yī)學(xué)分區(qū)及分區(qū)內(nèi)提取候選樣本，然后合成對應(yīng)的候選3D樣本。第二階段，針對輸入數(shù)據(jù)，若候選3D樣本的深度過小，則插值到網(wǎng)絡(luò)輸入的最小尺度;否則不調(diào)整，最大限度保留樣本的空間信息。針對網(wǎng)絡(luò)，3D CNN_FBAP對輸入的不同尺度候選樣本進(jìn)行分類，得到分類結(jié)果。從圖8～9中可看出，在去除假陽性之后，最終準(zhǔn)確率穩(wěn)定在93.26%。

本文算法在自動(dòng)識(shí)別頸部淋巴結(jié)時(shí)，仍然存在一些局限性：

1）在提取候選階段，如圖10所示，易識(shí)別樣本分布獨(dú)立、易于識(shí)別;部分難樣例為與周圍組織存在粘連且灰度值相近，在提取分區(qū)時(shí)需要很高的識(shí)別精度。而級(jí)聯(lián)FCN的識(shí)別精度有限，可能導(dǎo)致某些淋巴結(jié)被誤認(rèn)為肌肉等多余組織而產(chǎn)生錯(cuò)誤分割的情況。針對這種情況，將探索更適合這種情況下的識(shí)別算法。

2）在生成候選3D樣本階段，依據(jù)坐標(biāo)之間歐氏距離將距離接近的樣本進(jìn)行合并，由于可能出現(xiàn)正樣本和負(fù)樣本的歐氏距離更接近的情況，導(dǎo)致合并后的候選3D樣本并非理想的3D樣本。針對這種情況，將嘗試提出更適合的距離度量算法來克服這種局限性。

3）相比其他算法，本文算法雖然在召回率及準(zhǔn)確率等方面存在優(yōu)勢，但整體識(shí)別耗時(shí)相對較長。針對這種情況，將嘗試端到端的網(wǎng)絡(luò)來保持識(shí)別優(yōu)勢的同時(shí)縮短耗時(shí)。

3 結(jié)語

針對現(xiàn)有算法識(shí)別頸部淋巴結(jié)效率不高，存在大量假陽性且整體假陽性去除效果不理想的問題， 本文提出了一種新的基于級(jí)聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別算法。實(shí)驗(yàn)結(jié)果表明，針對提取候選樣本，采用級(jí)聯(lián)FCN可以保持高靈敏度的同時(shí)限制候選樣本的數(shù)量;針對目標(biāo)形態(tài)尺度差異較為明顯的3D樣本，基于特征塊平均池化的3D分類網(wǎng)絡(luò)允許輸入不同尺度的3D樣本，充分利用3D樣本的原始空間信息去學(xué)習(xí)更深層次的判別特征，獲得最優(yōu)的分類精度。在3D醫(yī)學(xué)圖像的研究中，該算法相對簡單高效，且能夠更為精確地執(zhí)行檢測任務(wù)，對臨床的診斷和治療具有重要的意義。下一步將利用PSPNet（Pyramid Scene Parsing Network）、Mask R-CNN（Mask Region-Based Convolutional Networks）等較為復(fù)雜但精度更高的分割網(wǎng)絡(luò)來提取淋巴結(jié)樣本，并探索將多階段網(wǎng)絡(luò)融合為端到端網(wǎng)絡(luò)，以便提高精度的同時(shí)減少耗時(shí)。

參考文獻(xiàn)（References）

[1] PATEL N U， LIND K E， McKINNEY K， et al. Clinical validation of a predictive model for the presence of cervical lymph node metastasis in papillary thyroid cancer[J]. American Journal of Neuroradiology， 2018， 39（4）： 756-761.

[2] SPINELLI C， TOGNETTI F， STRAMBI S， et al. Cervical lymph node metastases of papillary thyroid carcinoma， in the central and lateral compartments， in children and adolescents： predictive factors[J]. World Journal of Surgery， 2018， 42（8）： 1-10.

[3] BEJNORDI B E， VETA M， van DIEST P J， et al. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer[J]. JAMA， 2017， 318（22）： 2199-2210.

[4] 魏駿， 何凌， 車?yán)ぃ?等. CT 圖像的頸部淋巴結(jié)半自動(dòng)分割算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2015， 36（11）： 3014-3018. （WEI J， HE L， CHE K， et al. Semi-automatic detection and segmentation of neck lymph nodes in CT image[J]. Computer Engineering and Design， 2015， 36（11）： 3014-3018.）

[5] KAN Y， DONG D， ZHANG Y， et al. Radiomic signature as a predictive factor for lymph node metastasis in early-stage cervical cancer[J]. Journal of Magnetic Resonance Imaging， 2019， 49（1）： 304-310.

[6] ESTEVES C， ALLEN-BLANCHETTE C， MAKADIA A， et al. Learning SO （3） equivariant representations with spherical CNNs[EB/OL]. [2019-01-10]. http：//openaccess.thecvf.com/content_ECCV_2018/papers/Carlos_Esteves_Learning_SO3_Equivariant_ECCV_2018_paper.pdf.

[7] ELSAYED G F， SHANKAR S， CHEUNG B， et al. Adversarial examples that fool both computer vision and time-limited humans [EB/OL]. [2019-01-10]. http：//papers.nips.cc/paper/7647-adversarial-examples-that-fool-both-computer-vision-and-time-limited-humans.pdf.

[8] RAJPURKAR P， IRVIN J， ZHU K， et al. CheXNet： radiologist-level pneumonia detection on chest X-rays with deep learning[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1711.05225.pdf.

[9] RAJPURKAR P， HANNUN A Y， HAGHPANAHI M， et al. Cardiologist-level arrhythmia detection with convolutional neural networks[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1707.01836.pdf.

[10] LEE J H， BAEK J H， KIM J H， et al. Deep learning-based computer-aided diagnosis system for localization and diagnosis of metastatic lymph nodes on ultrasound： a pilot study[J]. Thyroid， 2018， 28（10）： 1332-1338.

[11] ZHOU B， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2921-2929.

[12] DING J， LI A， HU Z， et al. Accurate pulmonary nodule detection in computed tomography images using deep convolutional neural networks[C]// Proceedings of the 2017 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 10435. Berlin： Springer， 2017： 559-567.

[13] CHRIST P F， ETTLINGER F， GRN F， et al. Automatic liver and tumor segmentation of CT and MRI volumes using cascaded fully convolutional neural networks[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1702.05970.pdf.

[14] XIE H， YANG D， SUN N， et al. Automated pulmonary nodule detection in CT Images using deep convolutional neural networks[J]. Pattern Recognition， 2018， 85： 109-119.

[15] ROTH H R， LU L， SEFF A， et al. A new 2.5D representation for lymph node detection using random sets of deep convolutional neural network observations[C]// Proceedings of the 2014 International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin： Springer， 2014： 520-527.

[16] 苗光， 李朝鋒. 二維和三維卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的CT圖像肺結(jié)節(jié)檢測方法[J]. 激光與光電子學(xué)進(jìn)展， 2018， 55（5）： 129-137. （MIAO G， LI C F. Detection of pulmonary nodules CT images combined with two-dimensional and three-dimensional convolution neural networks[J]. Laser & Optoelectronics Progress， 2018， 55（5）： 129-137.）

[17] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation[C]// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Berlin： Springer， 2015： 234-241.

[18] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1502.03167.pdf.

[19] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： Surpassing human-level performance on ImageNet classification[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1026-1034.

[20] SHEN C， ROTH H R， ODA H， et al. On the influence of dice loss function in multi-class organ segmentation of abdominal CT using 3D fully convolutional networks[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1801.05912.pdf.

[21] RISTER B， YI D， SHIVAKUMAR K， et al. CT organ segmentation using GPU data augmentation， unsupervised labels and IOU loss[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1811.11226.pdf.

[22] CHOY C B， XU D， GWAK J， et al. 3D-R2N2： a unified approach for single and multi-view 3D object reconstruction[C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9912. Berlin： Springer， 2016： 628-644.