国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

針對宮頸異常細胞檢測的SER-DC YOLO

2024-07-02 17:05:09李超煒楊曉娜趙司琦何勇軍
關(guān)鍵詞:注意力機制目標檢測

李超煒 楊曉娜 趙司琦 何勇軍

摘 要:由于宮頸細胞樣本的液基薄層細胞學(xué)檢測(thin prep cytologic test,TCT)圖像內(nèi)容復(fù)雜,背景顏色豐富多樣,而且不同女性的宮頸細胞具有一定程度的天然差異,這給宮頸異常細胞的檢測帶來了很大的困難。為解決這一難題,提出了一種名為基于特征壓縮與激發(fā)和可變形卷積(SE-ResNet-deformable convolution you only look once,SER-DC YOLO)的目標檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)在YOLOv5的Backbone中融合注意力機制,添加了SE-ResNet模塊,然后改進了SPP層的網(wǎng)絡(luò)結(jié)構(gòu),并且使用可變形卷積來替換普通卷積,最后修改了邊界框的損失計算函數(shù),將廣義交并比(generalized intersection over union,GIoU)改為α-IOU Loss。實驗表明,該網(wǎng)絡(luò)與YOLOv5網(wǎng)絡(luò)相比,在宮頸圖片數(shù)據(jù)集上召回率提高了1994%,精度提高了352%,平均精度均值提高了719%。相關(guān)代碼鏈接:https://githubcom/sleepLion99/SER-DC_YOLO。

關(guān)鍵詞:SER-DC YOLO;YOLOv5;目標檢測;注意力機制;可變形卷積

DOI:10.15938/j.jhust.2024.01.013

中圖分類號: TP31569? 文獻標志碼: A

文章編號: 1007-2683(2024)01-0115-09

SER-DC YOLO for the Detection of Abnormal Cervical Cells

LI Chaowei1, YANG Xiaona1, ZHAO Siqi1, HE Yongjun2

(1School of Computer Science and Technology, Harbin University of Science and Technology, Harbin 150080, China;2School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150006, China)

Abstract:Due to the complex content of Thin Prep Cytology Test (TCT) images of cervical cell samples with rich and diverse background colors and a certain degree of natural variation of cervical cells among different women, this poses a great difficulty in the detection of abnormal cervical cells To solve this challenge, a target detection network called SE-ResNet-Deformable Convolution You Only Look Once(SER-DC YOLO) is proposed The network incorporates the attention mechanism in YOLOv5s Backbone, adds the SE-ResNet module, then improves the network structure of the SPP layer and replaces the normal convolution with deformable convolution, and finally modifies the loss calculation function of the bounding box by replacing the Generalized Intersection over Union (GIoU) to α-IOU Loss Experiments show that the network improves recall by 1994%, precision by 352%, and average precision by 719% on the cervical image dataset compared with the YOLOv5 network Link to related code: https://githubcom/sleepLion99/SER-DC_YOLO

Keywords:SER-DC YOLO; YOLOv5; target detection; attention mechanism; deformable convolution

0 引 言

宮頸癌是女性最常見的癌癥之一,2018年全球有57萬病例,大約有311000女性死于該?。?]。并且根據(jù)全國癌癥報告顯示,中國女性宮頸癌發(fā)病率和死亡率逐年增長[2],因此宮頸癌的篩查非常重要。TCT方法是宮頸癌篩查的常用手段。但是該方法需要病理醫(yī)生長期作業(yè),容易引起視覺疲勞,造成診斷效率下降,增加了誤診、漏診的概率。隨著人工智能、大數(shù)據(jù)技術(shù)高速發(fā)展并逐步向各個領(lǐng)域延伸,病理診斷領(lǐng)域也迎來了技術(shù)變革?;谏疃葘W(xué)習(xí)的目標檢測算法可以實現(xiàn)宮頸異常細胞的自動化檢測,顯著提升了病理醫(yī)生的診斷效率。

主流的目標檢測算法按階段可分為兩大類:

1)兩階段目標檢測:該類算法在第一階段產(chǎn)生候選框并提取候選區(qū)域特征,在第二階段利用分類、回歸方法處理候選區(qū)域特征,對目標物體進行分類,分類精度較高。Ren等[3]提出了快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional neural network,F(xiàn)aster R-CNN),其利用卷積層和池化層處理輸入圖像產(chǎn)生特征映射,對每個ROI提取固定長度的特征向量,將結(jié)果輸入全連接(cully connected,F(xiàn)C)層,進行目標物體的分類與回歸。

2)一階段目標檢測:該類算法不需要生成候選框,直接對輸入圖像的每個像素點位置進行分類、回歸,輸出目標物體的檢測框位置、類別標簽、預(yù)測標簽概率,檢測速度較快。Liu等[4]提出了SSD(single shot multiBox detector,SSD)算法,該算法在VGG(visual geometry group,VGG)基礎(chǔ)上搭建,融入回歸思想和Anchor機制,對全圖各個位置的多尺度區(qū)域進行回歸,在維持現(xiàn)有分類精度的前提下,提升了預(yù)測速度。Lin等[5]提出了RetinaNet算法,RetinaNet的Backbone由ResNet和FPN結(jié)合而成,采用Focal Loss計算網(wǎng)絡(luò)損失用以緩解難易樣本數(shù)量不平衡帶來的影響,該網(wǎng)絡(luò)在COCO數(shù)據(jù)集進行實驗,其平均精度均值(mean average precision,mAP)達到391%,每秒傳輸幀數(shù)為5。

目標檢測是近年熱門的研究方向,其在醫(yī)學(xué)圖像分析中也取得了重大進展,有學(xué)者將其應(yīng)用于宮頸癌的輔助診斷。Elakkiya等[6]使用小目標檢測的對抗網(wǎng)絡(luò)與自動編碼器相結(jié)合的方式來檢測宮頸異常細胞,其對自動編碼器的參數(shù)進行了微調(diào),并對對抗網(wǎng)絡(luò)的超參數(shù)進行了歸一化和優(yōu)化處理。經(jīng)過實驗表明,該方法在檢測異常宮頸細胞時的效率有顯著的提升。Yao等[7]在YOLOv3上添加級聯(lián)任務(wù)分類器。此外,為了解決不可靠標注帶來的影響,采用平滑的方式處理標簽。Xia[8]提出了一種平行串聯(lián)融合的宮頸癌細胞檢測網(wǎng)絡(luò),與使用分類網(wǎng)絡(luò)作為骨干的傳統(tǒng)框架相比,其在各個模塊中使用了不同的組合策略,并且設(shè)計了五個不同的頭部組件,以找到最佳的網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)還對宮頸癌的細胞圖像進行了數(shù)據(jù)的預(yù)處理,如使用ROI滑動窗口進行裁剪。實驗結(jié)果表明該網(wǎng)絡(luò)在檢測異常宮頸細胞上的最佳性能優(yōu)于其他的傳統(tǒng)框架。Liang等[9]提出了一種有效的宮頸癌細胞檢測方法,該方法在Faster R-CNN上添加了特征金字塔,并在網(wǎng)絡(luò)中加入了學(xué)習(xí)背景信息的機制,而不是通過一些方式來手動選擇。實驗結(jié)果表明,所提出的網(wǎng)絡(luò)在小數(shù)據(jù)集上有著顯著的提升,平均精度和平均召回率分別達到了263%和357%,相比基礎(chǔ)模型提高了約20%。Wang等[10]提出了一種基于殘差神經(jīng)網(wǎng)絡(luò)的改進算法,該算法首先引入了動量參數(shù),然后改變訓(xùn)練樣本的數(shù)量,并壓縮了模型參數(shù),增強了特征表達的深度,使其在宮頸細胞數(shù)據(jù)集數(shù)量較少的情況下,模型還有著不錯的精度。Yan等[11]為了彌補現(xiàn)在的檢測方法對陰性樣本利用的不足,他們提出了一種叫對采樣的方法。此方法可以提取有代表性的負樣本并生成樣本對圖像。他們還提出了一種混合采樣方法,并設(shè)計了一種宮頸細胞檢測器。經(jīng)過實驗,該方法的平均精度達到了571%,比同等級別的R-CNN和Faster R-CNN高47%和58%。鄭欣等[12]使用ResNet50的預(yù)訓(xùn)練模型作為YOLOv2的骨干網(wǎng)絡(luò),并對宮頸細胞團簇訓(xùn)練數(shù)據(jù)進行擴增。周佳琳[13]在原有SSD的基礎(chǔ)上,結(jié)合正反向特征融合對高低分辨率的特征圖進行改進,改進后網(wǎng)絡(luò)模型的mAP值達到8153%。梁義欽等[14]提出了一種兩階段簇團宮頸異常細胞檢測方法,實驗表明,該方法在檢測異常簇團宮頸細胞召回率達到8969%,分類準確率達到8781%。Jia等[15]以SSD網(wǎng)絡(luò)為基礎(chǔ),使用中心損失函數(shù)計算損失。經(jīng)過實驗,在同一數(shù)據(jù)集上的分類準確率比YOLOv1、SSD分別高出754%、492%。Long等[16]對Mask R-CNN進行改進,添加神經(jīng)結(jié)構(gòu)搜索和特征金字塔網(wǎng)絡(luò)架構(gòu)實現(xiàn)跨層連接,使用軟NMS代替原來的NMS減少錨框的誤刪,提高模型在TCT圖像細胞數(shù)據(jù)集上的準確度、召回率和分割精度。

但是如何在數(shù)十億像素的圖片上檢測到微小且形態(tài)各異的異常細胞,結(jié)合周圍區(qū)域的信息輔助異常細胞的檢測,避免漏檢、錯檢仍然是需要解決的問題。

為了解決上述難題,本文模仿病理醫(yī)生的檢測方式,提出了一種名為SER-DC YOLO的目標檢測網(wǎng)絡(luò),該網(wǎng)絡(luò)在YOLOv5網(wǎng)絡(luò)的基礎(chǔ)上添加了注意力模塊,該模塊增強了模型對圖像內(nèi)部區(qū)域的關(guān)注,使得網(wǎng)絡(luò)在訓(xùn)練過程中能夠注意到宮頸異常細胞與正常細胞以及垃圾雜質(zhì)的區(qū)別,加強其判別能力;針對宮頸異常細胞形態(tài)各異的特點,將普通卷積替換成可變形卷積,增強網(wǎng)絡(luò)的感受野,提取更多有效的特征;針對宮頸細胞圖片背景復(fù)雜的特點,修改損失函數(shù),提高網(wǎng)絡(luò)的抗噪能力。上述方法的改進,實驗表明能有效地提升宮頸異常細胞的檢測效果。

1 模型與算法

本文方法基于YOLOv5改進而來,首先在Backbone中融合注意力機制,提高了網(wǎng)絡(luò)對于細胞圖像局部特征的關(guān)注,然后改進了SPP層的網(wǎng)絡(luò)結(jié)構(gòu),使用可變形卷積[17]替換普通卷積,提高了網(wǎng)絡(luò)的泛化能力,最后修改了邊界框的損失計算函數(shù),將廣義交并比[18]改為α-IOU Loss[19],提高了網(wǎng)絡(luò)的抗噪能力。

1.1 SE-ResNet模塊

在深度學(xué)習(xí)的圖像任務(wù)中,注意力機制能夠提取特征圖中的關(guān)鍵性可用信息,主要分為兩種:通道注意力機制和空間注意力機制。本文檢測任務(wù)對通道注意力機制尤為關(guān)注,原因如下:宮頸異常細胞檢測屬于特定任務(wù),我們希望利用深度學(xué)習(xí)過程完成任務(wù)的過程中,盡可能地模仿醫(yī)生操作的內(nèi)在邏輯。事實上,病理醫(yī)生在鏡下診斷宮頸異常細胞時,需要觀察同一視野下的所有宮頸細胞,以宮頸正常細胞作為參照,在細胞形態(tài)上將可疑細胞與之對比,做出最終診斷。換言之,醫(yī)生不但對異常細胞的本身特征感興趣,而且關(guān)注與之聯(lián)系緊密的周圍區(qū)域內(nèi)的內(nèi)容。該內(nèi)容可能是正常宮頸細胞,也可能是雜質(zhì)等其他影響因素。CNN的卷積操作對輸入圖像分批進行特征提取,提高了對不同圖像之間共通性的關(guān)注,同時忽略了對同一張圖像內(nèi)部的通道關(guān)聯(lián)性的提取。

文[20]中給出了殘差結(jié)構(gòu)和SE基礎(chǔ)單元的結(jié)合體:SE-ResNet模塊,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。SE-ResNet模塊在最大程度保留原特征矩陣的基礎(chǔ)上,學(xué)習(xí)新的通道注意力特征矩陣。故本文選取該模塊在YOLOv5網(wǎng)絡(luò)中添加通道注意力機制。YOLOv5的骨干網(wǎng)絡(luò)為CSPNet,是提取特征最為關(guān)鍵的部分。本文在CSPNet中添加3個SE-ResNet模塊,分別位于:

1)CSPNet網(wǎng)絡(luò)的第二次、第三次卷積操作前,增強對圖像內(nèi)部通道間的關(guān)注,使得網(wǎng)絡(luò)在訓(xùn)練中能夠注意到宮頸正常細胞與宮頸異常細胞之間的細微形態(tài)差別;

2)Backbone提取特征后、Neck特征融合前,Neck后的網(wǎng)絡(luò)結(jié)構(gòu)會對不同尺寸的特征圖進行統(tǒng)一的輸出預(yù)測,在這個位置添加SE-ResNet模塊,重構(gòu)通道注意力機制,起到了承上啟下的作用。

1.2 改進DC-SPP模塊層的卷積

宮頸異常細胞是由宮頸正常細胞病變而來,兩者在病變早期,相似度高,只在細胞形態(tài)特征上具有細微差別,比如細胞核面積、紋理等。本文在YOLOv5中的SPP層使用可變形卷積核,使SPP層能自動化調(diào)整視野范圍,增強網(wǎng)絡(luò)對宮頸癌異常細胞的形變、大小特征的敏感性。在YOLOv5中SPP層負責(zé)提取不同尺寸輸入張量的特征,但是常規(guī)的卷積核尺寸大小固定,工作時對宮頸異常細胞核面積、核紋理等細節(jié)特征不夠敏感。因此,在SPP層引入可變形卷積技術(shù)??勺冃尉矸e通過在輸入特征映射上添加一個額外的普通卷積層來獲得輸出偏移。輸出偏移域和輸入特征映射的空間分辨率相同,均為H×W,而輸出偏移的通道維度為2N,對應(yīng)著N個二維空間偏移量,表示輸入特征映射中每個像素點在x方向、y方向上的偏移量。將輸出偏移與輸入特征映射相結(jié)合,利用雙線性插值方法計算偏移后的采樣點坐標位置,而后進行普通卷積操作,即得到可變形卷積的輸出特征映射。

使用可變形卷積結(jié)構(gòu)能夠根據(jù)不同的宮頸細胞圖片調(diào)整卷積核大小,豐富同層感受野尺寸,提取到更多的宮頸細胞的有效特征。故而,本文將YOLOv5的SPP層中的普通卷積替換為可變形卷積,并將其命名為可變形卷積-空間金字塔池化層(deformable convolution spatial pyramid pooling,DC-SPP),具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

1.3 冪化邊界框損失函數(shù)

宮頸異常細胞檢測任務(wù)中輸出的預(yù)測邊界框?qū)⒂糜诓眉粜〖毎麍D像,在此基礎(chǔ)上進行后續(xù)流程中的細胞核質(zhì)分割、細胞綜合分類等任務(wù)。因此,預(yù)測邊界框的精確度越高越好,故本文將YOLOv5的原邊界框損失函數(shù)冪化為α-IoU Loss形式。

YOLOv5采用GIoU作為其邊界框損失函數(shù),該函數(shù)通過引入最小凸形解決了IoU非重疊樣本梯度消失的問題,GIoU和IoU的具體公式描述如下。

GIoU=1-IoU+|C\(B∪Bgt)||C|(1)

IoU=|B∩Bgt||B∪Bgt|(2)

其中:B為預(yù)測邊界框;Bgt為真實目標框;C為包含B和Bgt的最小包圍框。

但GIoU仍存在一定缺陷,如:當B和Bgt完全重合時GIoU退化為IoU,無法加快收斂速度,不能直接反映B和Bgt之間的重合距離等。

文[17]提出一種名為α-IoU Loss的損失函數(shù),該函數(shù)可以對現(xiàn)存所有的基于IoU計算的損失函數(shù)進行冪化,使它們轉(zhuǎn)為具有冪化IoU、冪化附加正則項、可調(diào)節(jié)冪化參數(shù)α的統(tǒng)一格式。作者在文中通過實驗證明,與現(xiàn)有的IoU Loss函數(shù)相比,α-IoU Loss抗噪聲能力更好,在小數(shù)據(jù)集上具有更強的魯棒性,使得目標檢測中邊界框的回歸更為精確。假設(shè)X∈Rdx是輸入空間,Y∈Rdy是標注空間,dx和dy分別表示輸入維度和標注為度。給定數(shù)據(jù)集D={(xi,yi)}ni=1的n個訓(xùn)練樣本,每個(xi,yi)∈(X×Y),任務(wù)是學(xué)習(xí)一個將輸入空間映射到標注空間的函數(shù)f∶X→Y。在目標檢測中,每個yi=(ci,k,Bi,k)mik=1,其中,mi是xi中的目標總數(shù),ci,k表示xi中第k個目標對應(yīng)的類別,Bi,k為其邊界框。在上述假設(shè)中,經(jīng)過一系列的數(shù)學(xué)簡化,α-IoU通用公式如下:

Lα-IoU=-log(IoU)=Llog(IoU),a→0

Lα-IoU=1-IoUα,α→0(3)

將式(2)與式(3)結(jié)合,使用相同的power參數(shù)α歸納可得如下公式:

LGIoU=1-IoUα+|C\(B∪Bgt)||C|α(4)

2 實驗分析

SER-DC YOLO算法由YOLOv5網(wǎng)絡(luò)改進得到,本節(jié)

針對改進部分設(shè)計了消融實驗和對比實驗,驗證SER-DC YOLO算法的有效性,展示該算法對宮頸異常細胞檢測效果。本文的實驗均在內(nèi)部宮頸細胞樣本數(shù)據(jù)集上進行,數(shù)據(jù)來源于哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院、哈爾濱醫(yī)科大學(xué)附屬第四醫(yī)院、精準元醫(yī)學(xué)檢驗所、黑龍江省醫(yī)院以及哈爾濱嘉潤醫(yī)院。

2.1?數(shù)據(jù)準備

實驗所用宮頸細胞樣本內(nèi)部數(shù)據(jù)集的準備過程如下:首先,使用數(shù)字化全景掃描儀對宮頸細胞樣本掃描,獲取宮頸細胞樣本全景圖。其次,對全景圖進行篩選,選出150例陽性樣本、150例陰性樣本。陽性樣本中有50例樣本包含異常團簇細胞;陰性樣本中包含滴蟲、放線菌、念珠菌、皰疹、細菌感染樣本各15例;余下75例陰性樣本均無微生物感染,其中包含5例萎縮細胞樣本、5例化生細胞樣本。然后,請哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院和精準元醫(yī)學(xué)檢驗所等機構(gòu)的5位病理科主任進行標注,對標注后的全景圖進行切分,得到內(nèi)部宮頸樣本數(shù)據(jù)集,該數(shù)據(jù)集的具體情況如表1和表2所示。最后,采用鏡像翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、模糊、添加噪音、HSV色彩變幻的方法對標注數(shù)據(jù)進行隨機數(shù)據(jù)增強,將數(shù)據(jù)量擴充到原數(shù)目的5倍用作實驗數(shù)據(jù)集,并且按照6∶2∶2劃分訓(xùn)練集、驗證集、測試集。

本節(jié)實驗對宮頸樣本進行檢測時,按照需求將數(shù)據(jù)集合并為5類。具體類別如下:單個正常鱗狀上皮細胞類、單個異常鱗狀上皮細胞類、異常團簇細胞類、微生物感染細胞類、其他類細胞(包括萎縮細胞、化生反應(yīng)細胞)。

2.2 評價指標

在介紹評價指標前,首選需要簡單說明一下混淆矩陣中的符號:真陽性(TP)、假陽性(FP)、假陰性(FN)、真陰性(TN)。在本文實驗中,當IoU≥05時,即認為預(yù)測框命中標注框;反之則認為預(yù)測框并未命中標注框。TP為正確命中當前統(tǒng)計類別標注框的預(yù)測框個數(shù),F(xiàn)P為錯誤命中當前統(tǒng)計類別標注框的預(yù)測框個數(shù),TN為正確命中其他類別標注框的預(yù)測框個數(shù),F(xiàn)N為沒有命中標注框的預(yù)測框個數(shù)。

目標檢測模型的常用評價指標包括召回率(Recall)、分類精度(Precision)、平均精度(Average Precision,AP)、mAP,Recall用于評估模型預(yù)測結(jié)果是否全面,Precision用于評估模型預(yù)測結(jié)果是否準確,AP使用Precision-Recall曲線下方面積評價模型對某一類目標的分類性能,mAP對多個類別的AP值取平均。此外采用每秒檢測的圖片張數(shù)作為衡量模型的檢測速度(frame per second, FPS)指標。上述評價指標的計算公式如下:

Recall=TPTP+FN(5)

Precision=TPTP+FP(6)

AP=∫10p(r)dr(7)

mAP=∑Nn=1AP(n)N(8)

FPS=CimgTimedetect(9)

其中:p(r)為Precision-Recall曲線;N為分類數(shù)據(jù)總類別數(shù);n為當前數(shù)據(jù)的類別;Cimg為該組測試數(shù)據(jù)的圖片張數(shù);Timedetect為檢測Cimg張圖片所花費的時間。

2.3 實驗設(shè)置

本文的實驗基于Ubuntu2004操作系統(tǒng),深度學(xué)習(xí)環(huán)境搭載于CUDA114、Pytorch181框架以及MMDetection框架2251,使用NIVDIA RTX2080TiGPU加速模型訓(xùn)練,訓(xùn)練模型參數(shù)設(shè)置如下:epoch設(shè)為300輪,batch_size設(shè)為8,圖像尺寸設(shè)為640×640,超參文件中的mosaic項、translate項均置為0,為方便對比實驗進行,其他項沿用YOLOv5的默認參數(shù)值。在學(xué)習(xí)率的調(diào)節(jié)上,使用warm up和余弦退火調(diào)整學(xué)習(xí)率預(yù)熱模型,即先用較小的學(xué)習(xí)率,每個step增大一點學(xué)習(xí)率,直到達到預(yù)設(shè)的相對較大的學(xué)習(xí)率,能夠加快模型收斂速度,實驗時預(yù)設(shè)學(xué)習(xí)率為1×10-2。所有的對比實驗均使用MMDetection進行訓(xùn)練和推理,除epoch、batch_size保持一致外,其余參數(shù)按框架的默認推薦值進行訓(xùn)練。

2.4 結(jié)果分析

觀察表3可得:

1)觀察A0-A3組實驗結(jié)果,A1、A2、A3組的召回率、分類精度、mAP均比基礎(chǔ)組A0高,說明本文方法的SE-ResNet、DC-SPP、α-IoU模塊對檢測效果有所助益。

2)觀察A1/A2/A4、A1/A3/A5、A2/A3/A6組實驗結(jié)果,從召回率角度來看,SE-ResNet+DC-SPP、DC-SPP+α-IoU的組合效果比單獨分開的效果要好,DC-SPP、α-IoU;從分類精度來看,SE-ResNet+α-Io、DC-SPP+α-IoU的組合效果優(yōu)于單獨分開的效果;從mAP角度來看,兩兩模塊組合比單獨模塊在檢測方面的表現(xiàn)好。

3)對比A7組和A4/A5/A6組的實驗結(jié)果可知,雖然本文所提方法SER-DC YOLO在Precision、mAP上的表現(xiàn)稍遜于A6組,但是在召回率上A6組高出245%,說明SER-DC YOLO有效降低了檢測中異常細胞漏檢的可能性。

4)觀察A0和A7的實驗結(jié)果可知,在召回率、分類精度、mAP上,SER-DC YOLO比YOLOv5s分別高出 2%、362%、72%,證明了SER-DC YOLO的有效性、可行性。

圖4展示了在訓(xùn)練過程中YOLOv5s和SER-DC YOLO模型的分類精度變化。從整體上看,隨著epoch增加,SER-DC YOLO的分類精度逐漸增加,在效果上優(yōu)于YOLOv5s。

圖5為YOLOv5s和SER-DC YOLO各檢測類別的AP對比圖,展示了mAP值的具體分布情況。觀察圖5內(nèi)容,并結(jié)合mAP情況,重點關(guān)注本文所提方法,做出如下分析:

1)在不同的檢測類別上,SER-DC YOLO模型的AP值均高于YOLOv5s模型,說明了本文方法在AP方面性能表現(xiàn)尚佳。

2)盡管SER-DC YOLO的mAP值僅有6478%,但對于個別子類的檢測效果仍然可達75%左右,如:單個正常鱗狀上皮細胞、單個異常鱗狀上皮細胞、微生物感染細胞。

3)異常類細胞、其他類細胞的AP值并不高,但對于本文方法的總?cè)蝿?wù)來說,后續(xù)會對異常類細胞進行重定性分類。因此,對于檢測階段來說,任務(wù)重心在于盡可能多地找出可疑的異常類細胞。

4)其他類細胞作為單個正常鱗狀上皮細胞的區(qū)分項存在,主要包含了各種不規(guī)則的正常類細胞,后續(xù)不再做特殊處理。

圖6對SER-DC YOLO的檢測效果進行可視化展示,圖6(a)、圖6(b)、圖6(c)分別來自不同的宮頸圖片樣本。其中,圖6(a)和圖6(b)樣本中散落的鱗狀上皮細胞較多,圖6(b)樣本中腺細胞、團簇細胞較多。觀察圖6可知,本文所提出的SER-DC YOLO網(wǎng)絡(luò)對單個異常鱗狀上皮細胞、異常團簇細胞、微生物感染細胞的檢測精度高,在識別單個正常鱗狀上皮細胞時,多選擇散落、完整的細胞,盡量避開存在細胞質(zhì)重疊細胞。

表4為本文所提出的方法和其他目標檢測方法在內(nèi)部宮頸圖片圖像數(shù)據(jù)集上的對比實驗結(jié)果。由于添加了SE-ResNet模塊,讓模型更加關(guān)注信息量較大的通道特征,所以在mAP上均高于其他模型。其次使用可變形卷積代替普通卷積,增加了感受野以及對重要信息的捕捉能力,且α-IoU提高了IOU的目標損失和預(yù)測框的回歸精度,所以在mAP和Recall上均高于其他模型。由于YOLOv5的Backbone和Neck都采用了CSP結(jié)構(gòu),在保證精度的同時大大減少了參數(shù)量,并且使用了大量的1×1卷積塊來降維,所以在FPS上優(yōu)于其他模型。因此,本文所提出的方法更適用于宮頸細胞圖片圖像檢測任務(wù)。

3 結(jié) 論

本文對宮頸異常細胞檢測的需求進行分析,決定采用一階段目標檢測算法完成該任務(wù)。針對實際檢測中面臨的漏檢、錯檢問題,本文提出了SER-DC YOLO的目標檢測網(wǎng)絡(luò),該網(wǎng)絡(luò)在YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進行改進。首先,往Backbone添加SE-ResNet模塊,通過注意力機制關(guān)注異常細胞的附近區(qū)域,模擬醫(yī)生在診斷異常細胞是以同一視野下的正常細胞作為參照對象進行對比的行為,顯著提高了模型的檢測效果。其次,使用可變形卷積替代了SPP層的普通卷積,自適應(yīng)調(diào)整卷積形狀,豐富了不同尺寸的感受野信息,提取到更多有效特征,增強了網(wǎng)絡(luò)對細胞形變、大小等特征的敏感度。最后,對邊界框回歸損失函數(shù)進行冪化,提高了網(wǎng)絡(luò)的抗噪能力和預(yù)測框的回歸精度。實驗表明,SER-DC YOLO網(wǎng)絡(luò)與YOLOv5網(wǎng)絡(luò)相比,在宮頸樣本數(shù)據(jù)集上的表現(xiàn)具有較大提升。

參 考 文 獻:

[1] ARBYN M, WEIDERPASS E, BRUNI L, et al. Estimates of Incidence and Mortality of Cervical Cancer in 2018: a Worldwide Analysis[J]. The Lancet Global Health, 2020, 8(2): 191.

[2] KOLIOPOULOS G, NYAGA V N, SANTESSO N, et al. Cytology Versus HPV Testing for Cervical Cancer Screening in the General Population[J]. Cochrane Database of Systematic Reviews, 2017 (8).

[3] REN S, HE K,GIRSHICK R, et al. Faster R-cnn: Towards Real-time Object Detection with Region Proposal Networks[J]. Advances in Neural Information Processing Systems, 2015: 28.

[4] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multibox Detector[C]// European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 21.

[5] LIN T Y, GOYAL P,GIRSHICK R, et al. Focal Loss for Dense Object Detection[C]// Proceedings of the IEEE International Conference on Computer Vision, Honolulu, HI, USA, 2017: 2980.

[6] ELAKKIYA R, TEJA K S S, JEGATHA DEBORAH L, et al. Imaging Based Cervical Cancer Diagnostics Using Small Object Detection-generative Adversarial Networks[J]. Multimedia Tools and Applications, 2022, 81(1): 191.

[7] XIANG Y, SUN W, PAN C, et al. A Novel Automation-assisted Cervical Cancer Reading Method Based on Convolutional Neural Network[J]. Biocybernetics and Biomedical Engineering, 2020, 40(2): 611.

[8] XIA M, ZHANG G, MU C, et al. Cervical Cancer Cell Detection Based on Deep Convolutional Neural Network[C]// 2020 39th Chinese Control Conference (CCC). IEEE, 2020: 6527.

[9] LIANG Y, TANG Z, YAN M, et al. Comparison Detector for Cervical Cell/clumps Detection in the Limited Data Scenario[J]. Neurocomputing, 2021, 437: 195.

[10]WANG H, JIANG C, BAO K, et al. Recognition and Clinical Diagnosis of Cervical Cancer Cells Based on Our Improved Lightweight Deep Network for Pathological Image[J]. Journal of Medical Systems, 2019, 43(9): 1.

[11]YAN X, ZHANG Z.HSDet: A Representative Sampling Based Object Detector in Cervical Cancer Cell Images[C]// International Conference on Bio-Inspired Computing: Theories and Applications. Springer, Singapore, 2020: 406.

[12]鄭欣, 田博, 李晶晶. 基于 YOLO 模型的宮頸細胞簇團智能識別方法[J]. 液晶與顯示, 2018, 33(11): 965.

ZHENG Xin, TIAN Bo, LI Jinging. Intelligent Recognition Method of Cervical Cell Cluster Based on YOLO Model[J].Chinese Journal of Liquid Crystals and Displays,2018,33(11):965.

[13]周佳琳.基于改進SSD網(wǎng)絡(luò)的宮頸細胞分類檢測系統(tǒng)[D]. 北京:北京交通大學(xué) 2019.

[14]梁義欽,趙司琦,王海濤,等.兩階段分析的異常簇團宮頸細胞檢測方法[J].哈爾濱理工大學(xué)學(xué)報,2022,27(2):76.

LIANG Yiqin, ZHAO Siqi, WANG Haitao, et al. A Two-stage Analysis of Abnormal Clustered Cervical Cells Detection Method[J]. Journal of Harbin University of Science And Technology,2022,27(2):76.

[15]JIA D, ZHOU J, ZHANG C. Detection of Cervical Cells Based on Improved SSD Network[J]. Multimedia Tools and Applications, 2021:1.

[16]LONG M, LIANG G, ZHENG Y, et al. Cervical Cell TCT Image Detection and Segmentation Based on Multi-Scale Feature Fusion[C]// 2021 IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference, Chongqing, China, 2021, 5:192.

[17]DAI J, QI H, XIONG Y, et al. Deformable Convolutional Networks[C]// Proceedings of the IEEE International Conference on Computer Vision, Online, 2017:764.

[18]REZATOFIGHI H, TSOI N, GWAK J Y, et al. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 2019:658.

[19]HE J,ERFANI S M, MA X, et al. α-IoU: A Family of Power Intersection Over Union Losses for Bounding Box Regression[J]. Advances in Neural Information Processing Systems, 2021, 34:1.

[20]HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake, UT, USA, 2018:7132.

(編輯:溫澤宇)

基金項目: 國家自然科學(xué)基金面上項目(61673142);黑龍江省自然科學(xué)基金杰出青年項目(JJ2019JQ0013);哈爾濱市杰出青年人才基金(2017RAYXJ013);哈爾濱理工大學(xué)杰出青年人才項目(20200203)

作者簡介:李超煒(1999—),男,碩士研究生;

楊曉娜(2000—),女,碩士研究生

通信作者:何勇軍(1980—),男,博士,博士研究生導(dǎo)師,E-mail:holywit@163com

猜你喜歡
注意力機制目標檢測
面向短文本的網(wǎng)絡(luò)輿情話題
基于自注意力與動態(tài)路由的文本建模方法
基于深度學(xué)習(xí)的問題回答技術(shù)研究
基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
基于注意力機制的雙向LSTM模型在中文商品評論情感分類中的研究
軟件工程(2017年11期)2018-01-05 08:06:09
InsunKBQA:一個基于知識庫的問答系統(tǒng)
視頻中目標檢測算法研究
軟件(2016年4期)2017-01-20 09:38:03
行為識別中的人體運動目標檢測方法
移動機器人圖像目標識別
基于背景建模法的運動目標檢測
九江市| 阿坝县| 胶南市| 洪江市| 上犹县| 平和县| 磐安县| 新河县| 莎车县| 丹巴县| 明水县| 喀什市| 开远市| 台山市| 新乡市| 祁连县| 永福县| 太康县| 东城区| 剑川县| 潞城市| 沈丘县| 黔江区| 富源县| 宜兰市| 苏尼特右旗| 宁南县| 武冈市| 黔江区| 晴隆县| 仪陇县| 曲水县| 宜良县| 韶山市| 高青县| 无棣县| 上杭县| 项城市| 乐平市| 遂宁市| 朝阳区|