馬彩豐

DOI：10.16660/j.cnki.1674-098x.2103-5640-4258

摘? 要：靜脈穿刺是臨床治療的重要手段之一。為實現(xiàn)人體手背靜脈血管的全自動化穿刺，首先需要實現(xiàn)自動化靜脈穿刺的穿刺點選取模塊;而要實現(xiàn)對穿刺點的選取，則需要能夠自動識別出圖像中手背靜脈區(qū)域，從而去除掉非靜脈區(qū)域?qū)o脈分割的干擾。本文對開放式環(huán)境下采集的不同大小手背以及不同放置角度下的樣本如何自適應(yīng)檢測靜脈區(qū)域進(jìn)行研究，提出了基于YOLOv4的手背靜脈區(qū)域檢測算法。與以往基于傳統(tǒng)圖形學(xué)方法檢測手背靜脈區(qū)域相比，本文提出的手背靜脈區(qū)域檢測算法對外界環(huán)境的抗干擾能力較高，不易受外界光線影響，且對不同放置方式下手背靜脈區(qū)域檢測魯棒性較好。

關(guān)鍵詞：手背靜脈區(qū)域檢測? YOLOv4? 靜脈穿刺? 自適應(yīng)靜脈區(qū)域檢測

中圖分類號：TP391.41? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：1674-098X（2021）05（a）-0158-08

Detection of Dorsal Hand Vein Region Based on YOLOv4

MA Caifeng

（School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi， Jiangsu Province， 214122? China）

Abstract： Venipuncture is one of the important means of clinical treatment. In order to realize the full automatic puncture of human dorsal hand vein， the puncture point selection module of automatic vein puncture should be realized firstly. In order to select the puncture point， it is necessary to automatically identify the dorsal hand vein area in the image， so as to remove the interference of non-vein area on vein segmentation. This paper studied how to detect the vein area adaptively from samples of different dorsal hand sizes and different placement angles collected in an open environment， and proposed a detection algorithm of the vein area of dorsal hand based on YOLOv4. Compared with the previous detection of dorsal hand vein region based on the traditional graphics method， the proposed detection algorithm of dorsal hand vein region has a higher anti-interference ability to the external environment， is not easy to be affected by the external light， and has a good robustness to the detection of dorsal hand vein region under different placement methods.

Key Words： Dorsal hand vein area detection; YOLOv4; Venipuncture; Adaptive venous area detection

以往靜脈區(qū)域檢測的研究往往應(yīng)用于身份識別認(rèn)證領(lǐng)域，采集設(shè)備為避免外界環(huán)境光干擾，通常設(shè)計為封閉式結(jié)構(gòu)，對手的放置位置和方式也較為嚴(yán)苛。但應(yīng)用到醫(yī)療領(lǐng)域時，考慮真實場景應(yīng)用中患者移動便捷性，手背靜脈裝置通常置于四周環(huán)境無遮擋的自然環(huán)境中，且拍攝高度固定。但由于不同患者手的大小不一，放置手背的方式和角度也各不相同，如果仍然采用以往傳統(tǒng)圖形學(xué)方法選取手背靜脈區(qū)域，則往往使得靜脈呈現(xiàn)不完整，進(jìn)而導(dǎo)致靜脈提取不完整。對此，本文采用基于YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)框架來訓(xùn)練手背靜脈區(qū)域檢測模型。通過使用手背靜脈區(qū)域檢測模型在各種手背樣本圖像中自動識別靜脈區(qū)域，來減少外界因素對后續(xù)靜脈處理的干擾。

1? 手背圖像采集及處理

1.1 手背圖像采集

為了能夠進(jìn)行手背靜脈區(qū)域的檢測，前提條件是能夠在影像中使得靜脈血管與周圍皮膚能夠有不同的對比。通過查閱了靜脈顯影相關(guān)文獻(xiàn)，一些應(yīng)用研究表明：在波長范圍在700～900nm的“醫(yī)學(xué)光譜窗”[1]，該范圍內(nèi)的近紅外光能夠被表皮皮膚反射，而被位于人體淺靜脈內(nèi)的血紅蛋白吸收，同時對肌肉和骨骼的穿透力比較強(qiáng)，從而使得在影像中人體淺靜脈血管與周圍皮膚有了一定的對比度呈現(xiàn)。自然光源下手背靜脈圖像呈現(xiàn)與紅外光下手背靜脈圖像呈現(xiàn)對比圖如圖1所示，自然光源下普通攝像頭拍攝的人體手背圖像如圖1（a）所示，無法通識別出靜脈血管區(qū)域，圖1（b）則是使用近紅外設(shè)備拍攝手背圖像，使得圖像中周圍皮膚與淺靜脈血管有了明顯的對比度差異。

以往靜脈區(qū)域檢測的研究往往應(yīng)用于身份識別認(rèn)證領(lǐng)域，采集圖像設(shè)備為避免外界環(huán)境光干擾，通常設(shè)計為封閉式結(jié)構(gòu)[2-4]，但應(yīng)用于本文研究應(yīng)用于實際靜脈穿刺領(lǐng)域，考慮到后續(xù)機(jī)械穿刺及病患移動活動性等實際操作的便捷性，手背圖像采集與拍攝必須在開放環(huán)境下，故采用手背正上方是含有紅外濾波片的工業(yè)攝像頭，手掌放置在下方紅外光源上，呈自然握裝置的姿態(tài)，來達(dá)到拉伸手背皮膚以及手背平面盡量與上方攝像頭平面平行的目的。手背圖像采集樣如圖2所示。

本文手背數(shù)據(jù)集中手背樣本均為成年男女的手，剔除因拍攝不當(dāng)導(dǎo)致圖像模糊和沒有靜脈呈現(xiàn)的圖像樣本，共有834張圖像組成本手背數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集由584張手背圖片組成，測試數(shù)據(jù)集由250張手背圖片組成。

1.2 手背圖像處理

本課題的研究目標(biāo)是將手背靜脈區(qū)域檢測應(yīng)用到實際靜脈穿刺領(lǐng)域，結(jié)合醫(yī)護(hù)人員穿刺靜脈選取范圍的專家經(jīng)驗，大拇指側(cè)和手腕附近以及掌指骨節(jié)處往往是常規(guī)穿刺操作中盡量避開的區(qū)域，也是靜脈檢測區(qū)域盡量避免的范圍。這3處區(qū)域范圍不做常規(guī)靜脈穿刺點選取選擇的原因有：大拇指側(cè)區(qū)域是由于患者疼痛感較強(qiáng);手腕附近區(qū)域穿刺往往影響患者手的活動性，往往會出現(xiàn)跑針鼓包等現(xiàn)象;掌指骨節(jié)處靜脈則是不易操作者固定穿刺針頭。因此，本文為實現(xiàn)根據(jù)不同人手放置自動檢測靜脈區(qū)域，制定手背數(shù)據(jù)集靜脈區(qū)域標(biāo)注規(guī)則為手背圖像掌指骨節(jié)以上、手腕以下，二拇指到小拇指范圍作為靜脈區(qū)域選取。

本文數(shù)據(jù)集靜脈區(qū)域標(biāo)注采用LabelImg軟件對手背圖像靜脈區(qū)域進(jìn)行標(biāo)注，具體操作流程如下：使用LabelImg軟件打開樣本圖片，軟件運行界面如圖3所示：根據(jù)靜脈呈現(xiàn)，和手背數(shù)據(jù)集靜脈區(qū)域標(biāo)注規(guī)則創(chuàng)建矩形框，并命名為veinarea，每張圖像生成靜脈區(qū)域的xml文件，生成的xml文件如圖4所示，手背靜脈區(qū)域標(biāo)注示例圖如圖5所示。

2? YOLOv4網(wǎng)絡(luò)模型結(jié)構(gòu)

對于近紅外手背圖像檢測靜脈區(qū)域而言，具有目標(biāo)單一、靜脈區(qū)域居主要位置、背景相對單一的特點，并且考慮到算法后期由于要用于實際產(chǎn)品中，在做靜脈區(qū)域檢測模塊時，要求目標(biāo)檢測精度要高，檢測速度快，網(wǎng)絡(luò)模型在一般的硬件設(shè)備上即可以運行，且能夠被并行優(yōu)化。而這些需求，正是YOLOv4模型提出的主要解決方向。而以往傳統(tǒng)圖形學(xué)方法[5-7]選取手背靜脈區(qū)域，則往往使得靜脈呈現(xiàn)不完整，進(jìn)而導(dǎo)致靜脈提取不完整。因此本文將YOLOv4模型應(yīng)用在手背靜脈區(qū)域檢測方向。

YOLOv4[8]是2020年AlexeyAB等人在YOLOv3[9]的基礎(chǔ)上提出的目標(biāo)檢測模型。在并行計算上對神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，加快模型的運算速度，使得模型可以在常規(guī)GPU進(jìn)行訓(xùn)練和檢測是YOLOv4模型的設(shè)計初衷，與YOLOv3相比，模型的檢測精度大幅度提高了。在YOLOv4的內(nèi)容中對目標(biāo)檢測模型的改進(jìn)方向進(jìn)行了梳理，分為Bag of freebies（BoF）和Bag of Specials（BoS）。BoS指只增加訓(xùn)練成本或者改變訓(xùn)練策略的方法，目標(biāo)檢測中常用的符合BoF定義的方法有數(shù)據(jù)增強(qiáng)。BoF則是指通過增加少量網(wǎng)絡(luò)的推理成本但能顯著提高算法精度的模塊和后處理方法。目標(biāo)檢測方法中常用的符合BoS定義的方法有引入注意力機(jī)制、擴(kuò)大感受野（SPP）、增強(qiáng)特征之間的交流（如FPN）等。YOLOv4在BoS方向上使用了Mosaic數(shù)據(jù)增強(qiáng)、cmBN、和SAT自對抗訓(xùn)練，在BoF方向上使用了SPP[10]（Spatial pyramid pooling）與PAN[11]（Path Aggregation Network）網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，來進(jìn)一步增強(qiáng)主干網(wǎng)絡(luò)提取的特征。特征提取主干網(wǎng)絡(luò)結(jié)構(gòu)上，YOLOv4利用了CSPNet[12]網(wǎng)絡(luò)結(jié)構(gòu)的思想在YOLOv3使用的主干網(wǎng)絡(luò)DarkNet-53基礎(chǔ)上進(jìn)行改造，命名網(wǎng)絡(luò)結(jié)構(gòu)為CSPDarkNet53。其優(yōu)勢在于：一方面既增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，又使得網(wǎng)絡(luò)結(jié)構(gòu)在輕量化的同時保持準(zhǔn)確性;另一方面降低了計算瓶頸，減少了內(nèi)存成本的開銷。YOLOv4模型結(jié)構(gòu)框架如如圖6所示。

2.1 主干特征提取網(wǎng)絡(luò)

YOLOv4網(wǎng)絡(luò)模型主干特征提取網(wǎng)絡(luò)使用CSPDarkNet53網(wǎng)絡(luò)，網(wǎng)絡(luò)框架結(jié)構(gòu)如圖7所示。

即聯(lián)合CSPNet[12]處理思想在DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)上做調(diào)整，具體做法是沿用DarkNet-53網(wǎng)絡(luò)的濾波器尺寸和整體結(jié)構(gòu)，在每組Residual block上加上一個Cross Stage Partial結(jié)構(gòu)，并且取消了Bottleneck的結(jié)構(gòu)，使得網(wǎng)絡(luò)參數(shù)減少，減少計算量，模型更易訓(xùn)練。

2.2 損失函數(shù)

好的目標(biāo)回歸函數(shù)應(yīng)該考慮3個重要的幾何因素：重疊面積、中心點距離、長寬比。CIOU_Loss的提出正是為了解決以上3個問題。YOLOv4網(wǎng)絡(luò)模型使用CIOU_Loss作為目標(biāo)框損失函數(shù)。如圖8所示，紅色框代表目標(biāo)真實框區(qū)域，綠色框代表預(yù)測框區(qū)域，紫色區(qū)域代表目標(biāo)預(yù)測框與目標(biāo)真實框的交集，藍(lán)色框代表目標(biāo)框與預(yù)測框的并集，則與計算如公式（1），公式（2）所示：

其中，IOU為預(yù)測框與真實目標(biāo)框的交并比，是預(yù)測框與目標(biāo)框中心點之間的歐幾里得距離，是包含預(yù)測框與目標(biāo)框的最小矩形的對角線長度，ν是衡量長寬比一致性的參數(shù)，計算公式為：

其中，、是真實目標(biāo)框的寬與長，、是預(yù)測框的寬與長。

2.3 激活函數(shù)

激活函數(shù)是為了提高網(wǎng)絡(luò)的學(xué)習(xí)能力，提升梯度的傳遞效率。CNN常用的激活函數(shù)也在不斷地發(fā)展，早期網(wǎng)絡(luò)常用的有ReLU、LeakyReLU、softplus等，后來又有了Swish、Mish等。YOLOv4在主干特征提取網(wǎng)絡(luò)部分均采用Mish激活函數(shù)，Mish激活函數(shù)作為一種自正則的非單調(diào)神經(jīng)激活函數(shù)，平滑的激活函數(shù)允許更好的信息深入神經(jīng)網(wǎng)絡(luò)，從而得到更好的準(zhǔn)確性和泛化，函數(shù)圖像如圖9所示。Mish激活函數(shù)公式為：

2.4 Mosaic數(shù)據(jù)增強(qiáng)

YOLOv4網(wǎng)絡(luò)模型中，提出了Mosaic數(shù)據(jù)增強(qiáng)。如圖10所示，Mosaic數(shù)據(jù)增強(qiáng)采用4張圖片，隨機(jī)縮放，再隨機(jī)分布然后進(jìn)行拼接成一張圖像，不僅豐富了數(shù)據(jù)集，而且隨機(jī)縮放產(chǎn)生的更多物體角度呈現(xiàn)，更提高了網(wǎng)絡(luò)模型的魯棒性。與傳統(tǒng)方法對數(shù)據(jù)集樣本進(jìn)行縮放裁剪等數(shù)據(jù)增強(qiáng)操作相比，Mosaic數(shù)據(jù)增強(qiáng)訓(xùn)練時，可以直接在批量標(biāo)準(zhǔn)化過程中計算每一層4個圖像的激活統(tǒng)計，從而減小了對mini-batch大小的要求，也就是一張圖像中計算4張圖片的目標(biāo)，即同時對幾張樣本圖像做出參數(shù)調(diào)整值，進(jìn)行網(wǎng)絡(luò)參數(shù)的調(diào)整。

3? 實驗結(jié)果及其分析

3.1 評價指標(biāo)

3.1.1 Precision & Recall & F1-score

令手背靜脈檢測區(qū)域類別名為veinarea。若檢測為veinarea類別與真實類別veinarea相符，則認(rèn)為是True Positive（TP）;若檢測為veinarea類別但真實類別不為veinarea，則認(rèn)為是False Positive（FP）;若檢測類別不是veinarea類別但真實類別為veinarea，則認(rèn)為是False Negative（FN）;若檢測類別不是veinarea類別真實類別也不是veinarea，則認(rèn)為是True Negative（TN）。

precision（精確率）和recall（召回率）以及F1-score的計算如下：

3.1.2 AP（Average Precision）

由于本文實驗數(shù)據(jù)集只有手背靜脈區(qū)域一個檢測目標(biāo)，故采用AP（Average Precision）來判斷靜脈檢測區(qū)域結(jié)果是否正確。設(shè)定固定閾值T，當(dāng)靜脈區(qū)域檢測結(jié)果的IOU值大于等于閾值T，則判定檢測結(jié)果為正確檢測區(qū)域;若手背靜脈區(qū)域檢測結(jié)果的IOU值小于閾值T，則判斷為錯誤檢測。令某張手背采集圖像中，真實手背靜脈區(qū)域框選為個，令手背靜脈區(qū)域正確檢測的次數(shù)為，手背測試集中含有N個樣本，且每張樣本均含有手背靜脈區(qū)域，則AP的計算公式為：

3.2 實驗結(jié)果及分析

利用1.2節(jié)構(gòu)建的手背靜脈區(qū)域檢測數(shù)據(jù)集，使用YOLOv4網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和檢測。設(shè)置手背靜脈區(qū)域檢測的置信度閾值為0.25，IOU非極大值抑制閾值為0.5。根據(jù)實驗室電腦Windows64位操作系統(tǒng)，8GB（CPU），GeForce GTX 1060 4GB（GPU）這些硬件條件，設(shè)置圖像長寬為320×320像素，batch size為1，學(xué)習(xí)率值為0.001，動量momentum值為0.9，訓(xùn)練次數(shù)為3000，權(quán)重衰減weight decay為0.0005。利用自行構(gòu)建的手背靜脈區(qū)域數(shù)據(jù)集和以上相關(guān)設(shè)置參數(shù)值，使用YOLOv4對手背靜脈區(qū)域檢測進(jìn)行訓(xùn)練。如圖11所示，手背靜脈區(qū)域檢測模型訓(xùn)練過程中的loss值隨著迭代次數(shù)不斷下降，并在loss值為1.5～2之間，loss曲線趨于平緩。

我們對訓(xùn)練得到的手背靜脈區(qū)域檢測模型，在測試集上進(jìn)行測試。如表1所示，我們設(shè)置不同IOU_thresh的值，來對比模型的檢測精度。由表可知，當(dāng)IOU_thresh低于0.7的時候，precision、recall、F1-score、AP的值均在95%以上，在IOU_thresh值為0.75時，precision、recall、F1-score、AP的值均在90%左右。證明了YOLOv4訓(xùn)練得到的手背靜脈區(qū)域檢測模型對不同手背樣本能夠較為準(zhǔn)確地自適應(yīng)檢測手背靜脈區(qū)域。

如圖12所示，如圖12（a）、圖12（c）為手背靜脈區(qū)域檢測模型框選的靜脈區(qū)域圖像中其，紫色框選區(qū)域代表檢測出的手背靜脈區(qū)域，左上角veinarea表示類別;圖12（b）、圖12（d）為紅色框為人工標(biāo)注手背靜脈區(qū)域圖像。由圖像可知，本文訓(xùn)練得到的手背靜脈區(qū)域檢測模型能夠較高精度地根據(jù)不同大小手以及不同擺放角度，自適應(yīng)檢測出手背靜脈區(qū)域。

4? 結(jié)語

為實現(xiàn)靜脈穿刺點自動選取任務(wù)，如何根據(jù)不同人手放置角度和不同手背大小的圖像，自適應(yīng)進(jìn)行靜脈區(qū)域檢測是其中的一個重要挑戰(zhàn)。本文提出的使用采集標(biāo)注手背靜脈區(qū)域數(shù)據(jù)集和YOLOv4網(wǎng)絡(luò)模型，訓(xùn)練手背靜脈區(qū)域檢測模型，通過模型自適應(yīng)檢測不同樣本的手背靜脈區(qū)域。在本課題組采集的手背數(shù)據(jù)集上的實驗結(jié)果顯示，本文提出的方法能夠有效地檢測手背靜脈區(qū)域，從而為下一步穿刺點選取做了重要鋪墊。

參考文獻(xiàn)

[1] Balter Max L，Chen Alvin I，Maguire Timothy J，et al.The System Design and Evaluation of a 7-DOF Image-Guided Venipuncture Robot.[J].IEEE transactions on robotics ： a publication of the IEEE Robotics and Automation Society，2015，31（4）：1044-1045.

[2] 張成浩.基于手背靜脈的身份識別技術(shù)研究[D].哈爾濱：哈爾濱理工大學(xué)，2017.

[3] 許明.基于手背靜脈血管的身份識別技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[4] 王賀.基于特征融合的手背靜脈識別算法研究[D].長春：吉林大學(xué)，2017.

[5] 桂青.多特征點融合的手背靜脈身份識別算法研究[D].杭州：浙江大學(xué)，2020.

[6] 呂佩卓，賴聲禮，陳佳陽.一種自適應(yīng)的手背靜脈區(qū)域定位算法[J].微計算機(jī)信息，2008，24（21）：209-210.

[7] Lin C L，F(xiàn)an K C.Biometric verification using thermal images of palm-dorsa vein patterns[J]. IEEE Transactions on Circuits & Systems for Video Technology，2004，14（2）：199-213.

[8] Bochkovskiy A，Wang C Y，Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J].2020：1-8.

[9] Redmon J， Farhadi A.YOLOv3： An Incremental Improvement[J].arXiv e-prints，2018.

[10] He K ， Zhang X ， Ren S ， et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.

[11] Yang J ， Fu X ， Hu Y ， et al.PanNet： A Deep Network Architecture for Pan-Sharpening[C]//2017 IEEE International Conference on Computer Vision （ICCV）. IEEE，2017.

[12] Wang C Y， Liao H Y M， Wu Y H， et al. CSPNet： A New Backbone that can Enhance Learning Capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.IEEE，2020.