周 鑫，江少鋒

（1.江西醫(yī)學(xué)高等專科學(xué)校醫(yī)學(xué)影像學(xué)院，江西上饒 334100；2.南昌航空大學(xué)測(cè)試與光電工程學(xué)院，南昌 330063）

0 引言

血液主要包含白細(xì)胞、紅細(xì)胞、血小板等，在機(jī)體損傷愈合、抗御病原的入侵和疾病免疫方面起著重要作用，其中各類白細(xì)胞的數(shù)量統(tǒng)計(jì)是醫(yī)生診斷疾病的重要依據(jù)[1]。因此，白細(xì)胞的識(shí)別分類在醫(yī)學(xué)臨床檢測(cè)上有著重要的實(shí)際意義。相比紅細(xì)胞和血小板，白細(xì)胞分布稀疏、形狀不一，是血細(xì)胞檢測(cè)中的難點(diǎn)。目前，人工血涂片鏡檢方法的檢驗(yàn)工作量大、檢驗(yàn)效率低[2]，基于計(jì)算機(jī)輔助的白細(xì)胞分析方法能夠大大提高分析效率，因而成為研究主流[3]。該方法首先采用圖像分割技術(shù)將白細(xì)胞從血細(xì)胞涂片圖像中分割、提取出來，然后對(duì)白細(xì)胞進(jìn)行特征提取，最后采用模式識(shí)別方法進(jìn)行自動(dòng)分類。目前有2種基本的白細(xì)胞分析方法，包含早期基于傳統(tǒng)圖像處理的方法和近期基于深度學(xué)習(xí)的圖像處理方法。

早期方法主要采用傳統(tǒng)的圖像分割方法，如閾值法[4]、區(qū)域生長法[5]、模糊聚類法[6]、分水嶺分割法[7]、K均值聚類法[8-9]、邊緣檢測(cè)法[1]等，先將白細(xì)胞從血涂片圖像中分割出來，然后再采用支持向量機(jī)（support vector machine，SVM）[10-11]、人工神經(jīng)網(wǎng)絡(luò)[12-13]等分類方法對(duì)白細(xì)胞進(jìn)行分類和計(jì)數(shù)。Neelam等[14]的對(duì)比試驗(yàn)表明采用SVM和人工神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率分別達(dá)到94%和97%。然而血涂片圖像大多分辨力較高、紅細(xì)胞較多、白細(xì)胞較少且占圖像面積較小，采用傳統(tǒng)分割方法提取白細(xì)胞容易受到紅細(xì)胞、雜質(zhì)、噪聲及光照干擾，該過程復(fù)雜、泛化性較弱，常常出現(xiàn)提取錯(cuò)誤且難以解決細(xì)胞粘連的問題[15]。

隨著卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）研究的深入[16]，研究人員開始將CNN應(yīng)用于白細(xì)胞識(shí)別。Habibzadeh等[17]采用常規(guī)CNN獲得了85%的分類準(zhǔn)確率。Shahin等[18]采用微調(diào)的AlexNet網(wǎng)絡(luò)獲得了91.2%的分類準(zhǔn)確率。Acevedo等[19]采用微調(diào)的VGG16網(wǎng)絡(luò)獲得了96%的分類準(zhǔn)確率。以上分類結(jié)果均不涉及白細(xì)胞的提取過程，如將提取的準(zhǔn)確率考慮進(jìn)去，其分類效果有待驗(yàn)證。比如陳暢等[20]在Caffe平臺(tái)實(shí)現(xiàn)了白細(xì)胞的分類，但是白細(xì)胞是通過手工提取的。賈洪飛[21]在Caffe平臺(tái)實(shí)現(xiàn)了白細(xì)胞的分類，其準(zhǔn)確率在99%以上，但是其白細(xì)胞的提取是采用傳統(tǒng)算法來實(shí)現(xiàn)的，提取準(zhǔn)確率只有95%，大大影響了整體的識(shí)別精度?？梢娫诎准?xì)胞識(shí)別分類的應(yīng)用中，白細(xì)胞分類的準(zhǔn)確率已經(jīng)達(dá)到很高，但是白細(xì)胞的提取目前多是采用傳統(tǒng)的圖像分割方法，精度仍需提高，因此，目前白細(xì)胞的準(zhǔn)確提取更為重要。

U-Net[22]作為一種具有完全對(duì)稱結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)，在結(jié)構(gòu)兩邊使用了跳躍連接，其能夠在小樣本條件下快速收斂，準(zhǔn)確定位出目標(biāo)的位置信息，在醫(yī)學(xué)圖像分割中被廣泛應(yīng)用[23-24]。但是U-Net僅采用灰度特征進(jìn)行學(xué)習(xí)訓(xùn)練，缺乏相應(yīng)的宏觀特征作為指導(dǎo)，導(dǎo)致采用U-Net對(duì)白細(xì)胞提取時(shí)不能有效地分離粘連細(xì)胞。

2017年，Ren等[25]提出了Faster R-CNN算法，基于Faster R-CNN算法設(shè)計(jì)了一種神經(jīng)網(wǎng)絡(luò)，對(duì)每個(gè)像素點(diǎn)生成4個(gè)預(yù)測(cè)框，通過預(yù)測(cè)框?qū)崿F(xiàn)目標(biāo)提取。Faster R-CNN算法已經(jīng)被廣泛應(yīng)用于各種領(lǐng)域，是目前目標(biāo)檢測(cè)的重要算法之一[26-27]。但是在采用Faster R-CNN算法對(duì)白細(xì)胞提取的時(shí)候，由于預(yù)測(cè)框的大小是固定的，目標(biāo)大小對(duì)檢測(cè)結(jié)果的影響較大，容易遺漏過大或過小的白細(xì)胞。

針對(duì)上述問題，本研究提出基于改進(jìn)U-Net的白細(xì)胞提取方法，以解決白細(xì)胞提取準(zhǔn)確率低的問題。該方法通過在U-Net中引入邊長、面積、細(xì)胞數(shù)等信息，使得該網(wǎng)絡(luò)既能適用于不同大小的白細(xì)胞檢測(cè)，又能通過引入的各種信息實(shí)現(xiàn)粘連細(xì)胞的分離。

1 U-Net

U-Net是CNN的一種變形，因其結(jié)構(gòu)形似字母“U”，因而得名U-Net，其結(jié)構(gòu)圖如圖1所示。整個(gè)神經(jīng)網(wǎng)絡(luò)主要由2個(gè)部分組成：左邊的收縮路徑和右邊的擴(kuò)展路徑。收縮路徑主要用來捕捉圖片中的上下文信息，而與之相對(duì)稱的擴(kuò)展路徑則對(duì)圖片中所需要分割出來的部分進(jìn)行精準(zhǔn)定位。收縮路徑上每2個(gè)3×3的卷積層后跟一個(gè)2×2的最大池化層（步長為2），每個(gè)卷積層后面采用relu激活函數(shù)，每一次降采樣都會(huì)增加一倍通道數(shù)。在擴(kuò)展路徑的向上采樣中，每一步由一個(gè)2×2的卷積層（激活函數(shù)也是relu）和2個(gè)3×3的卷積層組成，同時(shí)每一步的上采樣都會(huì)加入來自相對(duì)應(yīng)收縮路徑的特征圖。在網(wǎng)絡(luò)的最后一層是一個(gè)1×1的卷積層，通過這一操作可以將64通道的特征向量轉(zhuǎn)換為所需要的分類結(jié)果的數(shù)量，最終U-Net的整個(gè)網(wǎng)絡(luò)一共有23層卷積層。

圖1 U-Net結(jié)構(gòu)圖

2 改進(jìn)U-Net

將上述常規(guī)U-Net用于白細(xì)胞的提取時(shí)，如果血涂片中的細(xì)胞沒有粘連，將能夠得到較好的提取效果。但是當(dāng)鄰近的細(xì)胞存在粘連的現(xiàn)象或者靠得很近時(shí)，常規(guī)U-Net采用簡單二值交叉熵?fù)p失函數(shù)并不具備形狀區(qū)分的能力，故解決不了血涂片存在的細(xì)胞粘連問題。顯而易見，粘連的細(xì)胞和單獨(dú)的細(xì)胞在形狀上存在顯著差異，為此，本研究在U-Net的基礎(chǔ)上增加了一個(gè)形狀特征的提取網(wǎng)絡(luò)，并將形狀信息引入到損失函數(shù)中，從而使得U-Net具備了一定的形狀區(qū)分能力，解決了血涂片中細(xì)胞粘連的問題。改進(jìn)后的U-Net（以下稱“改進(jìn)U-Net”）結(jié)構(gòu)圖如圖2所示，從圖2中可以看到，網(wǎng)絡(luò)中的下半部分就是標(biāo)準(zhǔn)的U-Net，上半部分增加了一個(gè)形狀卷積網(wǎng)絡(luò)。該網(wǎng)絡(luò)先借鑒Faster R-CNN算法對(duì)U-Net第8層進(jìn)行一個(gè)3×3的卷積，再進(jìn)行一個(gè)1×1的卷積分別得到5個(gè)形狀通道，分別是W、H、S、N和I通道，分別對(duì)應(yīng)寬度、高度、面積、細(xì)胞數(shù)量和白細(xì)胞標(biāo)記（位于標(biāo)記框中的點(diǎn)均設(shè)置I為1，表示該位置屬于某一個(gè)白細(xì)胞，反之設(shè)為0）。選擇從第8層提取形狀特征的原因是該層既不太深也不太淺，既包含了足夠的細(xì)節(jié)信息也包含了必要的高層次語言信息，同時(shí)特征維度也很低，計(jì)算量較小。由于這5個(gè)形狀通道是通過卷積得到的，本研究稱之為卷積形狀特征層，與之對(duì)應(yīng)的是標(biāo)記形狀特征層，由和輸入圖像對(duì)應(yīng)的白細(xì)胞標(biāo)記圖像通過計(jì)算得到。計(jì)算方法為：首先對(duì)血涂片中的每個(gè)白細(xì)胞通過二值圖像方法進(jìn)行標(biāo)記，在標(biāo)記形狀特征層中，對(duì)于標(biāo)記框中的點(diǎn)均設(shè)置I為1，W、H和S分別設(shè)置為標(biāo)記框的歸一化寬度、高度和面積，N設(shè)置為血涂片中所有標(biāo)記為白細(xì)胞的歸一化數(shù)目，對(duì)于不在標(biāo)記框中的點(diǎn)，所有值都設(shè)為0。計(jì)算公式如下：W=WB/WI、H=HB/HI、S=SB/SI，N=NI/NM，式中，WB、HB、SB、NI分別為標(biāo)記框的寬度、高度、面積和白細(xì)胞數(shù)目；WI、HI、SI、NM分別為圖像的寬度、高度、面積和白細(xì)胞最大數(shù)目。因此，W、H、S、N均為0到1之間的歸一化參數(shù)。

圖2 改進(jìn)后的U-Net結(jié)構(gòu)圖

訓(xùn)練時(shí)，本研究計(jì)算了2個(gè)Loss（損失）函數(shù)，分別是U-Net Loss函數(shù)（LU-Net）和Shape Loss函數(shù)（LShape）?？偟腖oss函數(shù)Total Loss（LTotal）定義為它們的和，即默認(rèn)這2個(gè)Loss函數(shù)取相同權(quán)重。U-Net Loss函數(shù)由公式（1）定義，為交叉二值熵，其范圍為0～1；Shape Loss函數(shù)由公式（2）定義，為歸一化特征距離，其范圍也為0～1。

圖3 粘連細(xì)胞分割示意圖

3 試驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本研究采用的數(shù)據(jù)集是通過電子顯微鏡人工拍攝南昌大學(xué)第四附屬醫(yī)院制備的血涂片圖像得到的，像素大小為800×640，共430張圖片，每張圖片內(nèi)含有數(shù)目不定（1～10個(gè)）的白細(xì)胞，其中330張血涂片圖像為訓(xùn)練集，100張血涂片圖像為測(cè)試集。所有圖像中的細(xì)胞由本校檢驗(yàn)專業(yè)教師進(jìn)行人工提取，作為金標(biāo)準(zhǔn)。對(duì)每張圖片進(jìn)行左、右翻轉(zhuǎn)以及旋轉(zhuǎn)90°操作，實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充，最終得到1 000多張訓(xùn)練圖像。本試驗(yàn)基于TensorFlow的Keras框架，在裝有英偉達(dá)Quadro 6000 GPU的Linux計(jì)算服務(wù)器進(jìn)行訓(xùn)練。為了保證在降采樣過程中不會(huì)丟失小面積目標(biāo)，網(wǎng)絡(luò)的輸入層設(shè)為800×640×3的矩陣，故而計(jì)算量較大。先采用常規(guī)U-Net進(jìn)行訓(xùn)練，每輪訓(xùn)練1 000次，共訓(xùn)練60輪，訓(xùn)練總時(shí)長為10 h，LU-Net降到0.001 5。再將訓(xùn)練好的U-Net導(dǎo)入改進(jìn)U-Net進(jìn)行訓(xùn)練，每輪訓(xùn)練1 000次，共訓(xùn)練60輪，訓(xùn)練時(shí)長為20 h，LTotal降到0.028。Faster R-CNN采用ResNet50模型，每輪訓(xùn)練1 000次，共訓(xùn)練60輪，訓(xùn)練時(shí)長為9 h。3種網(wǎng)絡(luò)訓(xùn)練過程的損失曲線如圖4所示，可以看到60輪后損失均達(dá)到穩(wěn)定。圖4中每個(gè)損失曲線包含2條損失軌跡，淺色的軌跡是真實(shí)的損失曲線，深色的軌跡是平滑后（平滑度數(shù)為0.6）的損失曲線?？梢钥吹礁倪M(jìn)U-Net得到的損失曲線更為平滑，訓(xùn)練過程更為穩(wěn)定。

圖4 3種網(wǎng)絡(luò)的訓(xùn)練損失曲線

3.2 白細(xì)胞提取過程

對(duì)于U-Net和改進(jìn)U-Net，將測(cè)試血涂片圖像輸入訓(xùn)練好的模型進(jìn)行白細(xì)胞分割得到二值分割結(jié)果，然后對(duì)該二值圖像進(jìn)行連通區(qū)域提取[28]，得到每個(gè)白細(xì)胞的矩形框區(qū)域，從而實(shí)現(xiàn)血涂片圖像中白細(xì)胞的提取。而對(duì)于Faster R-CNN，將測(cè)試血涂片圖像輸入訓(xùn)練好的模型可以直接得到每個(gè)白細(xì)胞的矩形框區(qū)域。

3.3 測(cè)試結(jié)果與分析

常規(guī)U-Net、Faster R-CNN和改進(jìn)U-Net 3種方法的檢測(cè)結(jié)果詳見表1。查準(zhǔn)率P是針對(duì)預(yù)測(cè)樣本而言，表示預(yù)測(cè)結(jié)果為正例中實(shí)際正例的占比；查全率R是針對(duì)原樣本而言，表示白細(xì)胞被正確預(yù)測(cè)的比例；F1是由查全率以及查準(zhǔn)率計(jì)算而得到的二分類模型精確度的衡量指標(biāo)。具體計(jì)算過程如下：

表1 3種方法的檢測(cè)結(jié)果

式中，TP、FN、FP、TN分別代表真正例、假反例、假正例、真反例。

從表1中可以看出，改進(jìn)U-Net算法的F1、R和P 3個(gè)評(píng)價(jià)指標(biāo)均最優(yōu)。改進(jìn)U-Net的綜合評(píng)價(jià)指標(biāo)F1為99.20%，較U-Net、Faster R-CNN分別提高了0.80%、2.19%。正是由于改進(jìn)U-Net比U-Net對(duì)粘連細(xì)胞有更好的處理效果，不會(huì)丟失細(xì)胞，因此改進(jìn)U-Net比U-Net獲得了更高的R和F1。相比而言，F(xiàn)aster R-CNN不僅存在檢測(cè)不到細(xì)胞的情況，還存在部分錯(cuò)檢情況，故在3個(gè)評(píng)價(jià)指標(biāo)上表現(xiàn)最差。

3種方法對(duì)粘連白細(xì)胞的檢測(cè)結(jié)果如圖5所示，從圖中可以看出，改進(jìn)U-Net和Faster R-CNN可以有效解決粘連細(xì)胞的分離問題，而U-Net對(duì)粘連細(xì)胞分離效果不好。圖6為3種方法對(duì)不同尺寸白細(xì)胞的檢測(cè)結(jié)果，可見圖6中的2個(gè)細(xì)胞尺寸相差較大，而改進(jìn)U-Net和U-Net對(duì)不同尺寸白細(xì)胞均有較好的檢測(cè)結(jié)果，但Faster R-CNN沒有檢測(cè)到圖中的小尺寸細(xì)胞。

圖5 3種方法對(duì)粘連白細(xì)胞的檢測(cè)結(jié)果

圖6 3種方法對(duì)不同尺寸的白細(xì)胞檢測(cè)結(jié)果

4 結(jié)論和展望

白細(xì)胞是機(jī)體重要的免疫細(xì)胞，血液中白細(xì)胞的數(shù)目為機(jī)體健康診斷的重要指標(biāo)之一。傳統(tǒng)分割算法容易受到紅細(xì)胞以及雜質(zhì)噪聲等干擾，無法準(zhǔn)確定位血涂片圖像中的白細(xì)胞。當(dāng)前常用的U-Net和Faster R-CNN在圖像分割和目標(biāo)檢測(cè)中得到大量應(yīng)用，但是當(dāng)將二者用于白細(xì)胞檢測(cè)時(shí)，F(xiàn)aster R-CNN能有效分離粘連細(xì)胞，但是目標(biāo)尺寸對(duì)提取結(jié)果影響較大。U-Net對(duì)目標(biāo)尺寸有較好的適應(yīng)度，但是分離粘連細(xì)胞能力差。本研究通過改進(jìn)U-Net，將卷積得到的形狀信息引入訓(xùn)練損失函數(shù)，既解決了粘連細(xì)胞分離的問題，又使網(wǎng)絡(luò)對(duì)細(xì)胞尺寸不敏感。試驗(yàn)結(jié)果顯示，改進(jìn)U-Net提取白細(xì)胞的能力較Faster R-CNN和U-Net均有明顯提升。本方法的不足之處在于需要采用連通區(qū)域分析才能得到類似于Faster R-CNN中的矩形提取框，后續(xù)研究可將本研究方法和Faster R-CNN相結(jié)合，以期不但提高提取精度，還能直接得到提取框。