張寧　趙希梅　鄭曙光　李富豪

文章編號： 10069798（2022）01000110; DOI： 10.13306/j.10069798.2022.01.001

摘要：? 針對超聲圖像中腎臟、腎實質(zhì)和腎竇自動分割存在的內(nèi)部和邊緣分割不準確問題，提出了一種用于腎臟超聲圖像分割的深度學習方法（GLUnet11）。通過加深Unet網(wǎng)絡，使網(wǎng)絡具有更強的表達能力，并提出一個新的通道注意力網(wǎng)絡——全局局部網(wǎng)絡（GLNet），該網(wǎng)絡綜合考慮了全局通道和局部通道對預測每個通道重要性的影響，使網(wǎng)絡更好地關注重要信息。同時，將提出的全局局部網(wǎng)絡加入到加深的Unet下采樣部分的卷積塊中，有效地增強了重要通道的特征。通過創(chuàng)建3個數(shù)據(jù)集，分別進行腎臟、腎實質(zhì)和腎竇分割實驗。實驗結果表明，本方法在分割腎臟任務中，Dice系數(shù)達到9625%，交并比（intersection over union，IOU）達到9278%;在分割腎實質(zhì)任務中，Dice系數(shù)達到9290%，IOU達到8675%;在分割腎竇任務中，Dice系數(shù)達到9018%，IOU達到8212%，分割結果均優(yōu)于其它幾種深度學習方法。該研究具有一定的創(chuàng)新性及醫(yī)學應用價值。

關鍵詞：? 全局局部網(wǎng)絡; 腎臟; 腎實質(zhì); 腎竇; 語義分割; 深度學習

中圖分類號： TP391.413文獻標識碼： A

腎臟是人體重要的器官，可以保證人體內(nèi)環(huán)境的穩(wěn)定，使新陳代謝能夠正常進行。腎臟疾病是影響整個人體系統(tǒng)最常見的疾病[1]。近年來，超聲檢測已廣泛應用于急慢性腎臟疾病的診斷中[23]，傳統(tǒng)的人工圖像識別方法，存在診斷時間長和識別錯誤等問題，容易錯過最佳治療時間。腎臟、腎實質(zhì)和腎竇的面積都可能與腎臟急慢性疾病有著密切的聯(lián)系，腎實質(zhì)和腎臟的厚度可以作為慢性腎功能衰竭的標志[4]。因此，腎臟、腎實質(zhì)和腎竇的計算機自動分割具有重要意義[56]。目前，超聲圖像中腎臟、腎實質(zhì)和腎竇的分割難點主要是分割的數(shù)據(jù)集短缺，無法找到足夠多的訓練樣本滿足深度學習的需要[79]。另外，腎臟超聲圖像中有大量的偽影和噪聲[1011]，很多超聲圖像中待分割的部位與背景區(qū)域沒有明顯的分割界線。從現(xiàn)有的分割結果可知，這3部分分割結果的內(nèi)部和邊緣都不夠準確。腎竇部分由于特征不夠明顯，所占整個腎臟超聲圖像的比例較小，因此分割結果更不理想。目前，醫(yī)學圖像的分割方法主要有傳統(tǒng)的圖像分割方法和基于深度學習的語義分割方法。傳統(tǒng)的圖像分割方法有的基于形態(tài)學，有的基于建立模型算法，其缺點是分割精度不高，且需要人工選擇特征。D.T.LIN等人[12]使用脊柱定位腎臟，并使用自適應區(qū)域生長算法在二維CT圖像中分割腎臟組織;M. FREIMEN等人[13]將腎臟分割定義為馬爾科夫隨動場中最大后驗概率估計的最小切割求解問題，通過求解模型，得到未知模型變量和分割結果;D.TURCO等人[14]使用一種全自動分割技術，根據(jù)常染色體顯性多囊腎病患者的非差異造影（computer tomography，CT）信息，計算其總分割體積。隨著卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）在醫(yī)學圖像分析領域的發(fā)展和應用，基于深度學習的方法已成為醫(yī)學圖像分割的一種可行方法[1516]，且分割性能遠遠超越了傳統(tǒng)學習方法，但目前利用一個模型分割出整個腎臟、腎實質(zhì)和腎竇的實驗方法非常少，將腎臟超聲圖像的這3部分分割出來，在很大程度便于進一步測量這3部分的面積，腎臟和腎實質(zhì)的厚度，腎臟的長短軸和腎臟各部分回聲值等，分割數(shù)據(jù)還可以存入人工智能（artificial intelligence，AI）診斷系統(tǒng)?；诖耍狙芯刻岢鲆环N基于全局局部網(wǎng)絡Unet11（globallocal unet11，GLUnet11）的腎臟超聲圖像分割方法。將Unet模型加深，增加了1個最大池化層，2個雙卷積層和1個轉(zhuǎn)置卷積層。并提出一個新的通道注意力網(wǎng)絡——全局局部網(wǎng)絡（globallocal network，GLNet），該網(wǎng)絡可以更加準確地預測每個通道的重要性。同時，將提出的全局局部網(wǎng)絡加入到加深的Unet下采樣部分的卷積塊中，提高了網(wǎng)絡的學習表達能力，增強了通道的特征，較大程度上提升了網(wǎng)絡對腎臟、腎實質(zhì)和腎竇的分割能力。另外，制作3個數(shù)據(jù)集，分別進行腎臟、腎實質(zhì)和腎竇的分割實驗，并與Unet[17]、Segnet[18]、SEUnet、ECAUnet和GLUnet方法進行對比。實驗結果表明，本研究提出的GLUnet11方法，在Dice系數(shù)、IOU、特異性和敏感性4個指標上都優(yōu)于其它方法，證明本研究所提出的方法，可以有效地分割腎臟超聲圖像中的腎臟、腎實質(zhì)和腎竇3部分，具有潛在的醫(yī)學應用價值。該研究對腎臟、腎實質(zhì)和腎竇的計算機自動分割具有重要意義。

1相關理論

1.1Unet網(wǎng)絡

本研究主要基于Unet網(wǎng)絡[17]架構，它是一個端到端的全卷積神經(jīng)網(wǎng)絡，由1個編碼器和1個解碼器的對稱結構組成。另外通過跳躍連接結構，將編碼和解碼部分對應位置的特征圖拼接，起到信息互補的作用。

Unet網(wǎng)絡的提出是為了分割醫(yī)學圖像，醫(yī)學圖像語義較為簡單，結構較為固定，待分割的區(qū)域一般在圖像中比較固定的位置，低分辨率的信息可以為物體的整體分割提供有效信息。另外，醫(yī)學超聲圖像常存在邊界模糊、梯度復雜的問題，這就需要高分辨率的信息來進行精準分割。Unet網(wǎng)絡的結構特點可以很好地將低分辨率信息和高分辨率信息相結合，適用于醫(yī)學圖像分割。

1.2通道注意力網(wǎng)絡

通道注意力的基本思想是讓神經(jīng)網(wǎng)絡能夠?qū)W會判斷每個通道的重要程度，然后給每個通道分配一個重要性權值，從而使神經(jīng)網(wǎng)絡可以關注重要信息而忽略次要信息。

1）壓縮和激勵網(wǎng)絡。壓縮和激勵網(wǎng)絡（squeezeandexcitation networks，SENet）[19]主要由壓縮和激勵兩部分組成。壓縮是將原始特征映射的維度H×W×C壓縮為1×1×C，被壓縮成的一維參數(shù)獲得了之前H×W維數(shù)的視野，可以感知的區(qū)域變寬;激勵是在上一步得到的1×1×C后，添加一個全連接層，然后預測每個通道的重要性，再將得到每個通道的權重乘以通道加權之前的特征上，得到在通道維度上重新標定的新的特征圖。

傳入一個特征圖X0，W、H、C分別為其寬度、高度和通道尺寸。通過全局池化，將每個二維特征變成一個實數(shù)，之后通過全連接層，再通過Sigmoid函數(shù)，得到每個通道的權值。SENet的基本流程圖如圖1所示。圖1中，σ即Sigmoid函數(shù)，通過乘法將各通道得到的權值通過乘法運算加權到之前的特征上，得到具有新權值的特征圖XSE。

2）有效通道注意力網(wǎng)絡。有效通道注意力網(wǎng)絡[20]（efficient channel attention for deep convolutional neural networks，ECANet）是對SENet的改進，是一種不降維的局部跨通道交互方法，預測一個通道的重要性時，只考慮當前通道和其k個鄰域通道的信息交流，此方法通過快速一維卷積來實現(xiàn)。

傳入一個特征圖X0，通過全局平均池化，再通過大小為k的快速一維卷積，預測每個通道的權值，并通過乘法將各通道得到的權值通過乘法運算加權到之前的特征上，得到具有新權值的特征圖XECA。該模塊僅涉及k個參數(shù)（k≤9），k通過函數(shù)自適應取得最優(yōu)值。ECANet的基本流程圖如圖2所示。

2本文算法

2.1全局局部網(wǎng)絡

將SENet和ECANet分別加入Unet網(wǎng)絡下采樣部分的卷積塊中進行實驗，實驗結果表明，與不加入注意力網(wǎng)絡的Unet相比，分別加入SENet和ECANet，分割結果有不同程度的提升，說明分別加入這兩種注意力機制，都能起到讓網(wǎng)絡關注重要信息的作用，可以更好地分割超聲圖像中的腎臟、腎實質(zhì)和腎竇。

本研究將兩種通道注意力網(wǎng)絡相結合，提出了GLNet網(wǎng)絡，GLNet網(wǎng)絡基本流程圖如圖3所示。傳入特征圖X0，并行通過SENet和ECANet兩種通道注意力網(wǎng)絡，分別得到特征圖XSE和XECA，最后通過加法將2個重標定的特征圖進行逐像素等權重相加，得到一個新的特征圖XGL，即XGL=XSE+XECA，得到的新特征圖充分考慮了全局通道和局部通道對預測每個通道信息的影響。

2.2全局局部Unet11

近年來，將注意力機制引入卷積塊的研究層出不窮，此方法帶來的性能提升引起了越來越多研究人員的廣泛關注[2122]。為了提高Unet網(wǎng)絡分割腎臟、腎實質(zhì)和腎竇的能力，本研究提出了全局局部Unet11方法，由于本方法使用的訓練樣本尺寸大于一般圖像，為768×1 024，圖像多偽影和噪聲，加大了網(wǎng)絡學習的難度，因此加深Unet網(wǎng)絡層數(shù)，加入卷積層引入更多的非線性，從而增強卷積神經(jīng)網(wǎng)絡的表達能力。Unet11模型基本結構如圖4所示，圖4中，增加了1個2×2最大池化，4個3×3卷積和1個上采樣層（轉(zhuǎn)置卷積）。加深后的Unet網(wǎng)絡由11個雙卷積結構構成，命名為Unet11，以區(qū)分加深之前的Unet[17]，Unet可根據(jù)具體實驗調(diào)節(jié)網(wǎng)絡深度。

為了讓網(wǎng)絡學會關注重要信息，忽略次要信息，更好地學習分割部位的特征，將全局局部網(wǎng)絡加入到Unet網(wǎng)絡下采樣部分的每個3×3卷積后面，GLNet加入Unet11網(wǎng)絡下采樣部分卷積塊，部分卷積塊位置如圖5所示。加入全局局部網(wǎng)絡后，對傳入的特征圖通過全局和局部兩方面對每個通道的重要性進行預測，更好地保留重要信息，忽略次要信息，更加準確地對腎臟、腎實質(zhì)和腎竇部位進行分割。

2.3損失函數(shù)

在訓練時，原始的Unet模型采用Softmax的輸出結果計算交叉熵，并將其作為網(wǎng)絡整體優(yōu)化函數(shù)。在本文的分割實驗中，只有待分割部分和背景區(qū)域，其中0表示背景區(qū)域，1表示待分割區(qū)域。腎臟各部分語義分割，本質(zhì)上是一個像素級別的二分類任務，一般使用二值交叉熵損失（BCELoss）函數(shù)，它是交叉熵損失函數(shù)的一種特殊情況，僅用于二分類問題。損失函數(shù)為

式中，N表示像素點總個數(shù);yi表示真實值;pi表示預測值，參數(shù)log（pi）是概率值為pi時的信息熵。當前景像素遠遠小于背景像素的數(shù)量時，即yi=0的數(shù)量遠大于yi=1的數(shù)量時，優(yōu)化過程中yi=0的部分會占據(jù)主導地位，使網(wǎng)絡偏向于學習背景區(qū)域。在腎臟、腎實質(zhì)和腎竇分割的這3個實驗中，待分割部位均占整張圖像的小塊區(qū)域，特別是腎竇部分更小，這時使用BCEloss，會使模型預測面積有更大的無意義區(qū)域。

本文選用dice損失函數(shù)作為BCEloss的補充，以減輕樣本不均衡對腎臟部位提取的影響，其中Diceloss為

式中，g為真值掩膜二值圖;q為預測掩膜二值圖;gi為真值掩膜二值圖上第i個像素實際屬于的類別;qi為預測掩膜二值圖上第i個像素實際屬于的類別;N為像素點總個數(shù)。相似性系數(shù)越接近于1，表明分割結果越好;反之，相似性系數(shù)越接近于0，表明分割結果越差。

本文采用Diceloss和BCEloss的組合損失函數(shù)Dice_BCEloss，以強化小目標和樣本不均衡場景下的分割精度，Dice_BCEloss為

使用Dice系數(shù)、IOU、特異性（specificity，Spe）和敏感性（sensitivity，Sen）4個指標評估本模型。Dice系數(shù)是一種集合相似度度量指標，通常用于計算兩個樣本的相似度;IOU即模型所預測的目標區(qū)域與所標注的真實區(qū)域的交并比;特異性是指測量被正確識別為陰性的比例;敏感性是指測量被正確識別為陽性的比例。4個評價指標分別為

其中，TP是被預測為陽性樣本和實際上是陽性樣本的特征的數(shù)量;FP是被預測為陽性樣本但實際上為陰性樣本的特征的數(shù)量;TN是預測為陰性樣本實際上是陰性樣本的特征的數(shù)量;FN是預測為陰性樣本但實際上為陽性樣本的特征的數(shù)量;A為標簽真實值;B為預測分割結果。以上4個指標取值都在[0，1]區(qū)間內(nèi)，取值越高，代表分割的結果越好。

3實驗結果及分析

3.1實驗環(huán)境與參數(shù)設置

本實驗開發(fā)環(huán)境為Windows 10（64位）操作系統(tǒng)，內(nèi)存3200 GB，顯卡為NVIDIA GeForce GTX 1080Ti。實驗在Anaconda3中的Spyder36平臺下用深度學習框架pytorch120gpu版本進行。設置各網(wǎng)絡模型采用的實驗參數(shù)：epoch的訓練輪數(shù)為100輪，每次迭代輸入樣本的batchsize為1，使用Adam作為優(yōu)化器，初始學習率為001，使用BCELoss作為損失函數(shù)，采用本文創(chuàng)建的數(shù)據(jù)集進行分割實驗。

3.2數(shù)據(jù)集及其預處理

1）數(shù)據(jù)集來源及制作。本實驗所用的數(shù)據(jù)集來源于青島大學附屬醫(yī)院影像科，實驗抽取750張腎臟超聲圖像，制作3個分別用于腎臟、腎實質(zhì)和腎竇的分割數(shù)據(jù)集，每個數(shù)據(jù)集包括700張訓練樣本和50張測試樣本。數(shù)據(jù)集的制作工具為用python語言編寫的Labelme圖像標注軟件，每個標簽的制作均在專業(yè)醫(yī)生指導下進行，數(shù)據(jù)集原圖及各分割部分標簽圖如圖6所示。圖6a為腎臟超聲圖片，圖6b為醫(yī)生采用專用工具標注腎臟、腎實質(zhì)和腎竇輪廓圖，圖6c～圖6e分別為自制的用于計算機自動分割的標簽，原圖像與標簽大小均為768×1 024。

圖6數(shù)據(jù)集原圖及各分割部分標簽2）數(shù)據(jù)預處理。醫(yī)學圖像與正常圖像主要有兩個區(qū)別：一是大多數(shù)醫(yī)學圖像非常相似，都是使用相同的標準化設備拍攝，角度和像素范圍都是固定的;二是正負樣本間存在較大的不平衡。結合醫(yī)學影像的特點，對原始數(shù)據(jù)集進行預處理。首先對圖像數(shù)據(jù)進行歸一化處理，調(diào)用transforms.ToTensor（）函數(shù)，將圖像像素的范圍從[0，255]轉(zhuǎn)換為[0，1]，目的是消除奇異樣本數(shù)據(jù)造成的不利影響;其次是通過通道對數(shù)據(jù)進行標準化處理，調(diào)用transforms.Normalize（）函數(shù)，圖像像素范圍從[0，1]轉(zhuǎn)換為[-1，1]，目的是加快模型的收斂速度。對于訓練集張數(shù)少的問題，采取對數(shù)據(jù)集進行水平翻轉(zhuǎn)、增加對比度和改變亮度等數(shù)據(jù)增強方法，分割結果未得到提升;對于數(shù)據(jù)集圖片中的偽影和噪聲，采取增加對比度和增加亮度等方法，分割結果也未得到提升。后面將繼續(xù)嘗試其它實驗方法對數(shù)據(jù)集進行預處理。

3.3對比模型設計

本文采用Unet、Segnet、SEUnet、ECAUnet、GLUnet和GLUnet11幾種基準模型進行實驗對比，這些模型均為編碼器解碼器結構。其中，Unet和Segnet模型是圖像分割方法中的經(jīng)典方法;SEUnet和ECAUnet模型是將已提出的通道注意力機制SENet和ECANet加入到Unet模型下采樣部分的卷積塊中;GLUnet方法是將本研究提出的GLNet加入到未加深網(wǎng)絡深度的Unet模型下采樣部分的卷積塊中。網(wǎng)絡模型結構對比如表1所示。

3.4實驗結果

1）不同損失函數(shù)下的腎臟分割結果。為驗證本文所提出的組合損失函數(shù)優(yōu)于單獨使用任意一種損失函數(shù)，采用以下3組實驗對比分析實驗效果，不同損失函數(shù)的腎臟超聲圖像分割結果如表2所示。由表2可以看出，兩種損失函數(shù)組在一起的效果要好于單獨使用其中一種的分割效果，說明采用Diceloss和BCEloss的組合損失函數(shù)Dice_BCEloss，可以強化小目標和樣本不均衡場景下的分割精度，適合超聲圖像腎臟分割實驗。

2）不同方法的腎臟分割結果。為了更好地評價本研究所提出的GLUnet11方法分割腎臟、腎實質(zhì)和腎竇的性能，將Unet、Segnet、SEUnet、ECAUnet和GLUnet方法進行對比，不同方法的腎臟超聲圖像分割結果如表3所示。由表3可以看出，在各方法的分割結果中，腎臟的分割結果最好，腎實質(zhì)的分割結果占中間，腎竇的分割結果最差。該結果與3部分的特點息息相關，通過人眼觀察腎臟超聲圖像，可以看出腎臟最好識別，所占腎臟超聲圖像的比例較大，腎實質(zhì)也比較好分辨，而腎竇部分人眼不好識別，邊界模糊，所占腎臟超聲圖像的面積也很小，難以分割。

由腎臟分割結果可知，本文方法在Dice系數(shù)、IOU、特異性和敏感性上都優(yōu)于其他方法。與GLUnet方法相比，分別提高了098%，181%，693%和504%。與Unet方法相比，分別提高了450%，803%，931%和567%;由腎實質(zhì)分割結果可知，本文提出的方法在各個指標上最優(yōu)，與GLUnet方法相比，分別提高了150%，258%，240%和348%，與Unet方法相比分別提高了286%，487%，539%和450%;由腎竇分割結果可知，本文提出的方法同樣優(yōu)于其它幾種方法，與GLUnet方法相比，分別提高了226%，368%，254%和179%，與Unet方法相比分別提高了603%，949%，542%和1021%。

將本文方法與GLUnet進行比較可知，擴展Unet的深度非常有效，通過與Unet進行比較可知，將本文提出的通道注意力GLNet加入Unet下采樣部分的卷積塊中，可以提高網(wǎng)絡學習能力，使網(wǎng)絡關注重要特征，忽略次要特征，從而更好地進行分割。

本文提出的模型，在各部分分割指標中優(yōu)于Segnet模型、SEUnet模型和ECAUnet模型，再一次證明本文提出的全局局部Unet11模型具有分割腎臟超聲圖像的潛力。不同方法的分割結果圖如圖7所示。由圖7可以看出，最初用Unet方法進行分割時，腎臟內(nèi)部和邊緣均分割不準確，被分割部位的內(nèi)部會有一些小黑點，沒有被正確分割出來，另外被分割部位的邊緣比較粗糙，不光滑，這些問題在其它幾種分割方法中也可看到，但在本文提出的GLUnet11中具有明顯改善，在GLUnet11方法中，分割部分的內(nèi)部已經(jīng)沒有小黑點，分割邊緣較為光滑。另外，通過對比標簽也可看出，分割準確性有了較大提升。根據(jù)定量和定性分析，證明本文提出的方法可以更加準確地分割超聲圖像中的腎臟、腎實質(zhì)和腎竇。

圖7不同方法的分割結果圖3）對全局局部Unet11方法的多角度分析。為測試訓練樣本數(shù)量對腎臟、腎實質(zhì)和腎竇分割的準確性，分別采用300，500和700張訓練樣本數(shù)量進行實驗，不同訓練樣本張數(shù)下的分割結果如表4所示。由表4可以看出，隨著樣本數(shù)量的增加，需要分割部位的各評價指標都有升高的趨勢。由于訓練樣本數(shù)量的限制，沒有對更大樣本量進行實驗，后續(xù)將繼續(xù)增大訓練樣本數(shù)量來比較實驗結果。另外，在相同樣本張數(shù)下，其余分割模型的分割效果，皆不如本研究提出的GLUnet11模型。

為測試訓練輪數(shù)對腎臟、腎實質(zhì)和腎竇的準確性，分別進行60，80，100和120輪訓練，不同訓練輪數(shù)下的分割結果如表5所示。由表5可以看出，隨著訓練輪次的增加，3個部位的分割評價指標出現(xiàn)先變好再變差的現(xiàn)象。當訓練輪次為100時，腎臟、腎實質(zhì)和腎竇部位的分割準確率最高，由于訓練樣本較少，當從100輪增加到120時，會出現(xiàn)過擬合現(xiàn)象，準確率降低。

為衡量本文提出方法的計算復雜度，對不同方法的每輪訓練時間進行記錄，不同方法訓練1輪時間比較如表6所示。由表6可以看出，本文方法加深了Unet網(wǎng)絡的深度，并且加入了注意力網(wǎng)絡，因此模型復雜度提升，計算復雜度加大。由表6還可以看出，本文方法與Unet方法相比，每輪時間分別增加了1′9″，1′16″和1′22″，與GLUnet方法相比，每輪時間分別增加了40，55和56 s，與分割性能上的提升相比，增加的訓練時間可以接受。

4結束語

通過對腎臟、腎實質(zhì)、腎竇分割的三組實驗結果進行分析，可以看出本研究提出的GLUnet11網(wǎng)絡在與之前提出的Unet、Segnet方法和本文提出的SEUnet、ECAUnet以及GLUnet方法相比，在定量和定性兩部分皆取得了很大的提升。實驗結果表明，本研究提出的方法具有腎臟超聲圖像分割的潛力和一定的醫(yī)學應用價值。但GLUnet11方法與其他實驗方法相比，訓練速度增加，在接下來的實驗中，將在提升訓練速度方面做進一步發(fā)研究。此外，還可以獲得其他部位的臨床超聲圖像，以證明該方法的廣泛適用性。

參考文獻：

[1]BELLOMO G. The relationship between uric acid， allopurinol， cardiovascular events， and kidney disease progression： a step forward[J]. American Journal of Kidney Diseases the Official Journal of the National Kidney Foundation， 2015， 65（4）： 525527.

[2]PULIDO J E， FURTH S L， ZDERIC S A， et al. Renal parenchymal area and risk of ESRD in boys with posterior urethral valves[J]. Clinical Journal of the American Society of Nephrology Cjasn， 2014， 9（3）： 499505.

[3]王勝男， 常明， 趙華. 慢性腎臟病與血壓變異[J]. 中國中西醫(yī)結合腎病雜志， 2016， 17（1）： 8689.

[4]SHARMA K， RUPPRECHT C， CAROLI A， et al. Automatic segmentation of kidneys using deep learning for total kidney volume quantification in autosomal dominant polycystic kidney disease[J]. Scientific Reports， 2017， 7（1）： 20492058.

[5]ZHANG P， LIANG Y M， CHANG S J， et al. Kidney segmentation in computed tomography sequences based on energy minimization [J]. Acta Physica Sinica， 2013， 62（20）： 208701.

[6]SHI Y， TAN J， LIU Z. Renal cortex segmentation using graph cuts and level sets[J]. Computer Science， 2016， 43（7）： 290293， 318.

[7]GAO J， PERLMAN A， KALACHE S， et al. Multiparametric quantitative ultrasound imaging in assessment of chronic kidney disease[J]. Journal of Ultrasound in Medicine Official Journal of the American Institute of Ultrasound in Medicine， 2017， 36（11）： 22452256.

[8]COST G A， MERGUERIAN P A， CHEERASARN S P， et al. Sonographic renal parenchymal and pelvicaliceal areas[J]. The Journal of Urology， 1996， 156（2）： 725729.

[9]MARCELO M， KATSOUFIS C P， MONA J， et al. Prenatal renal parenchymal area as a predictor of early endstage renal disease in children with vesicoamniotic shunting for lower urinary tract obstruction[J]. Journal of Pediatric Urology， 2018， 14（4）： 320.e1 320.e6.

[10]FU X， LIU T， XIONG Z， et al. Segmentation of histological images and fibrosis identification with a convolutional neural network[J]. Computers in Biology and Medicine， 2018， 98（1）： 147158.

[11]ZHENG Q， LI H， FAN B， et al. Integrating support vector machine and graph cuts for medical image segmentation[J]. Journal of Visual Communication and Image Representation， 2018， 55（8）： 157165.

[12]LIN D T， LEI C C， HUNG S W. Computeraided kindney segmentation on abdominal CT images[J]. Information Technology in Biomedicine， 2006， 10（1）： 5965.

[13]FREIMAN M， KRONMAN A， ESSES S J， et al. Nonparametric iterative model constraint graph mincut for automatic kidney segmentation[J]. International Conference on Medical Image Computing and ComputerAssisted Intervention， 2010， 13（3）： 7380.

[14]TURCO D， VALINOTI M， MARTIN E M， et al. Fully automated segmentation of polycystic kidneys from noncontrast computed tomography a feasibility study and preliminary results[J]. Academic Radiology， 2018， 25（7）： 850855.

[15]HAVAEI M， DAVY A， WARDEFARLEY D， et al. Brain tumor segmentation with deep neural networks[J]. Medical Image Analysis， 2017， 35： 1831.

[16]QI D， YU L Q， HAO C， et al. 3D deeply supervised network for automated segmentation of volumetric medical images[J]. Medical Image Analysis， 2017， 41： 4054.

[17]RONNEBERGER O， FISCHER P， BROX T. UNet： Convolutional networks for biomedical image segmentation[C]∥International Conference on Medical Image Computing and ComputerAssisted Intervention. Springer Internationsl Publishing. 2015： 234241.

[18]BADRINARAYANAN V， KENDALL A， CIPOLLA R. A deep convolutional encoderdecoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 1.

[19]JIE H， LI S， AIBANIE S， et al. Squeezeandexcitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 42（8）： 20112023.

[20]WANG Q L， WU B G， ZHU P F， et al. ECANet： Efficient channel attention for deep convolutional neural networks[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA， USA： IEEE， 2020： 1153111539.

[21]WOO S Y， PARK J C， LEE J Y， et al. CBAM： Convolutional block attention module[J]. Computer Science， 2018， 11211（10）： 319.

[22]ZHOU T X， RUAN S， GUO Y， et al. A multimodality fusion network based on attention mechanism for brain tumor segmentation[C]∥2020 IEEE 17th International Symposium on Biomedical Imaging （ISBI）. Iowa City， IA， USA： IEEE， 2020： 377380.

Renal Ultrasound Image Segmentation Method Based

on GlobalLocal Unet11

ZHANG Ning ZHAO Ximei ZHENG Shuguang LI Fuhao

Abstract： Aiming at the inaccuracy of internal and marginal segmentation of kidney， renal parenchyma and renal sinus in ultrasound images， a deep learning method（GLUnet11） for kidney segmentation in ultrasound images is proposed. Firstly， the Unet network is deepened. The increase of the depth of the network makes the network have stronger expression ability. Secondly， a new channel attention network， GlobalLocal Network （GLNet）， is proposed， which considers the influence of global channel and local channel on predicting the importance of each channel， so that the network can pay more attention to important information. Finally， the proposed GlobalLocal network is added to the convolution block of the deepened subsampling part of Unet， which effectively enhances the features of the important channels. At the same time， three data sets were created for renal， renal parenchyma and renal sinus segmentation experiments. Experimental results show that by using this methed in the kidney segmentation task， Dice coefficient reached 9625%， and IOU（intersection over union） coefficient reached 92.78%. In the renal parenchyma segmentation task， Dice coefficient reached 92.90% and IOU coefficient reached 86.75%. In the renal sinus segmentation task， the Dice coefficient and IOU coefficient reached 90.18% and 82.12%， respectively， and the segmentation results were significantly better than other deep learning methods. This study has certain innovation and medical application value.

Key words： GlobalLocal Net; kidney; renal parenchyma; renal sinuses; semantic segmentation; deep learning

收稿日期： 20210915; 修回日期： 20211122

基金項目：? 國家自然科學基金資助項目（62006134）

作者簡介：? 張寧（1998），女，碩士研究生，主要研究方向為計算機視覺和醫(yī)學圖像處理。

通信作者：? 趙希梅（1973），博士，副教授，主要研究方向為計算機軟件及應用、消化系統(tǒng)疾病和自動化技術。 Email： xmzhao_qdu@163.com