楊永輝，鄢陽(yáng)，宋友，張海龍，馮運(yùn)，郭子娟

(1.南瑞集團(tuán)(國(guó)網(wǎng)電力科學(xué)研究院)有限公司，江蘇 南京 211106；2. 國(guó)網(wǎng)電力科學(xué)研究院武漢南瑞有限責(zé)任公司，湖北 武漢 430074；3. 國(guó)網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610072；4. 中國(guó)電力科學(xué)研究院有限公司，湖北 武漢 430074)

目前，我國(guó)很多電力企業(yè)引入了三維虛擬仿真培訓(xùn)系統(tǒng)[1-3]。該系統(tǒng)不僅可以提供學(xué)員漫游的功能，而且學(xué)員還能在虛擬場(chǎng)景內(nèi)實(shí)現(xiàn)電氣測(cè)試和設(shè)備校準(zhǔn)的操作，這既能有效提高培訓(xùn)的效率，又能消除因?yàn)檎`操作所造成的風(fēng)險(xiǎn)[4-5]。但是，學(xué)員在三維虛擬場(chǎng)景中對(duì)虛擬設(shè)備進(jìn)行測(cè)試操作和校準(zhǔn)控制時(shí)，需要頻繁地移動(dòng)和點(diǎn)擊鼠標(biāo)，大大影響了學(xué)員的沉浸感。為了實(shí)現(xiàn)電氣測(cè)試設(shè)備校準(zhǔn)全景仿真中的人機(jī)交互，研究基于人手的自然特征來進(jìn)行手勢(shì)的識(shí)別，不僅可以降低電氣測(cè)試設(shè)備校準(zhǔn)全景仿真培訓(xùn)系統(tǒng)中人機(jī)交互的成本，而且更加符合人類的自然習(xí)慣[6]。

基于人手的自然特征來識(shí)別手勢(shì)，首先要進(jìn)行手部的檢測(cè)，以確定手部的大小、位置和形狀。只有獲得了手部區(qū)域的信息，才可以進(jìn)一步提取出相應(yīng)的手部特征，完成后續(xù)的手勢(shì)識(shí)別任務(wù)。因此，手部檢測(cè)精度的高低會(huì)直接影響到手部特征的提取，進(jìn)而影響到最終交互操作的結(jié)果[7]。

常規(guī)的手部檢測(cè)方法往往通過提取圖像的底層特征來對(duì)圖像進(jìn)行分析，進(jìn)而獲取圖像中的手部區(qū)域，最后進(jìn)行手部的分割和識(shí)別[8]，其中，膚色是人手檢測(cè)最常用的特征。楊世強(qiáng)等[9]研究了基于膚色的人手檢測(cè)方法，提出先在YCrCb色彩空間上對(duì)膚色信息進(jìn)行多混合高斯建模，來獲得膚色信息的多混合聚類表示，再利用該高斯模型在線快速學(xué)習(xí)膚色分布，最終實(shí)現(xiàn)利用膚色信息來對(duì)人手進(jìn)行檢測(cè)。形狀也是一種常用的人手檢測(cè)特征。張國(guó)家[10]和郭文爽[11]分別提出提取圖像的圓形梯度和梯度方向直方圖來進(jìn)行手勢(shì)的檢測(cè)與分割，準(zhǔn)確率分別為90%和92.4%。Guo[12]提出基于運(yùn)動(dòng)的人手檢測(cè)方法在交通系統(tǒng)的應(yīng)用中也取得了不錯(cuò)的效果。對(duì)于復(fù)雜的圖像，提取單一的特征難以取得好的檢測(cè)效果，為此，袁敏[13]提出先通過計(jì)算三幅相鄰數(shù)據(jù)幀的幀差來得到圖像的運(yùn)動(dòng)信息，以此來得到確定人手在圖像中位置的信息，再引入橢圓模型的膚色檢測(cè)方法來對(duì)手部區(qū)域進(jìn)行分割，最終得到人手檢測(cè)結(jié)果。跟單獨(dú)使用膚色特征或運(yùn)動(dòng)特征相比，該方法的準(zhǔn)確率更高，魯棒性更強(qiáng)。張玉美[14]提出了一種改進(jìn)的聚合通道特征算法來對(duì)手部進(jìn)行檢測(cè)，該方法結(jié)合了Edge Boxes、多色彩空間膚色模型、邊緣直方圖和Xgboost等特征，在存在高斯噪聲和受人臉干擾的情況下，該方法依然可以有效地進(jìn)行手部檢測(cè)。

隨著深度學(xué)習(xí)概念的提出和發(fā)展，越來越多的研究者開始將深度學(xué)習(xí)引入到手部檢測(cè)的研究領(lǐng)域。王龍[15]和Roy[16]提出先基于膚色模型將手勢(shì)區(qū)域從背景中分割出來，然后采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型對(duì)分割出來的手勢(shì)區(qū)域進(jìn)行分類識(shí)別。劉壯[17]研究了基于Fast R-CNN的通用物體檢測(cè)方法，提出了基于雙通道Fast R-CNN的手部檢測(cè)框架，該框架有效融合了圖像的彩色和深度信息，能夠有效提高手部檢測(cè)的精度。Hoang等人[18]提出了采用多尺度Fast R-CNN進(jìn)行人手的方法，該方法利用全局和局部深度特征對(duì)圖像中的人手進(jìn)行編碼從而獲取人手的位置。跟常規(guī)的手工特征提取方法相比較，基于深度特征的人手檢測(cè)方法的檢測(cè)準(zhǔn)確性得到了很大的提升。但是，深度學(xué)習(xí)需要大數(shù)據(jù)的支持?？紤]到目前尚未整理出大規(guī)模的、適用于電氣設(shè)備測(cè)試及校準(zhǔn)的手勢(shì)圖像數(shù)據(jù)集，本文選用常規(guī)的圖像處理方法來進(jìn)行人手檢測(cè)。通過對(duì)已采集到的人手圖像進(jìn)行分析發(fā)現(xiàn)：盡管電氣測(cè)試設(shè)備及其校準(zhǔn)裝置繁多，但是這些設(shè)備和裝置的顏色比較單一，以灰色和白色為主，這跟人體膚色的差別比較明顯；人的臉部線條多為曲線，而與手部相關(guān)的部分多為直線，例如人的手指與前臂。為此，本文提出結(jié)合膚色和Hough變換來實(shí)現(xiàn)人手的檢測(cè)，為后續(xù)手部特征提取以及手勢(shì)識(shí)別提供研究基礎(chǔ)。

1 人手檢測(cè)與分割算法

本文所提的人手檢測(cè)算法包括膚色檢測(cè)、Hough變換和特征約束3個(gè)模塊。整個(gè)系統(tǒng)的輸入為實(shí)時(shí)捕獲的人手圖像，檢測(cè)的結(jié)果為標(biāo)注了人手區(qū)域的圖像。膚色檢測(cè)模塊是指根據(jù)輸入的圖像，在色相、飽和度、色調(diào)(hue，saturation，value，HSV)顏色空間采用膚色模型對(duì)圖像中的膚色區(qū)域進(jìn)行檢測(cè)，獲取膚色二值掩碼圖像；Hough變換模塊先通過Canny算子來提取人臉以及人手的邊緣輪廓信息，再利用Hough變換來排除臉部區(qū)域，保留人手區(qū)域；特征約束模塊基于手部輪廓對(duì)膚色二值掩碼圖像進(jìn)行約束，以獲取最終的手部區(qū)域。

具體的算法流程如圖1所示。

圖1 本文所提手部檢測(cè)方法的流程Fig.1 The flowchart of the proposed method

1.1 膚色檢測(cè)

膚色檢測(cè)的主要目的是將人的臉部和手部區(qū)域從圖像中區(qū)分出來，并得到二值化的掩碼圖像。本文的膚色檢測(cè)步驟如下：

步驟1：顏色空間變換。

本文以紅、綠、藍(lán)(red，green，blue，RGB)的形式表示捕獲的圖像數(shù)據(jù)?？紤]到RGB的3個(gè)顏色通道存在相關(guān)性，一個(gè)顏色通道的值發(fā)生變化會(huì)嚴(yán)重影響到最終的檢測(cè)結(jié)果，為了降低RGB的3個(gè)顏色通道的冗余，先對(duì)圖像的顏色空間進(jìn)行變換，把RGB顏色空間轉(zhuǎn)換成HSV顏色空間。變換公式如下：

(1)

(2)

(3)

步驟2：建立膚色模型。

在電氣測(cè)試設(shè)備校準(zhǔn)過程中采集了200幅人手圖像。對(duì)圖像進(jìn)行人工分割，并對(duì)膚色部分的信息進(jìn)行統(tǒng)計(jì)后發(fā)現(xiàn)，人皮膚像素的色調(diào)值的分布范圍很有規(guī)律，97.8%的膚色像素的色調(diào)值的范圍為[13，65]。為此，本文通過將色調(diào)值設(shè)置成閾值來對(duì)圖像進(jìn)行二值分割，以獲得圖像中的膚色區(qū)域。大量實(shí)驗(yàn)結(jié)果表明，當(dāng)閾值的范圍為[20,45]時(shí)，能夠獲得較好的分割效果。

步驟3：后處理。

使用色調(diào)值對(duì)圖像進(jìn)行膚色分割后，二值圖像中除了膚色區(qū)域的信息，還存在一些非膚色的噪聲區(qū)域，并且膚色區(qū)域內(nèi)還存在一些空洞。針對(duì)這些干擾區(qū)域，本文選擇數(shù)學(xué)形態(tài)學(xué)來對(duì)上一步所得到的二值圖像進(jìn)行后處理。

后處理的方法如下：先選擇尺寸較小的結(jié)構(gòu)元素對(duì)二值圖像進(jìn)行開運(yùn)算，這樣就能夠消除背景區(qū)域的噪聲信息；然后，再選用尺寸較大的結(jié)構(gòu)元素對(duì)二值圖像進(jìn)行閉運(yùn)算，這樣可以填補(bǔ)膚色區(qū)域的孔洞。

經(jīng)過開運(yùn)算和閉運(yùn)算后，可以得到背景干凈、目標(biāo)完整的主膚色區(qū)域信息。

1.2 Hough變換

Hough變換[19]是一種常用的區(qū)域邊界形狀描述法，它能有效檢測(cè)出圖像中存在的直線、圓和橢圓?？紤]到人的臉部線條多為橢圓形曲線，而與手相關(guān)線條多為直線(例如人的手指與前臂)，在第1.1節(jié)膚色檢測(cè)結(jié)果的基礎(chǔ)上，本文通過Hough變換來區(qū)分臉部與手部區(qū)域。具體過程如下：

步驟1：邊緣檢測(cè)。

使用Candy算法[20]來檢測(cè)臉部和手部區(qū)域的邊緣信息。在進(jìn)行邊緣檢測(cè)前，先用高斯濾波器對(duì)二值圖像進(jìn)行平滑處理；然后，使用一階偏導(dǎo)的有限差分來計(jì)算梯度的幅值和方向；最后，對(duì)計(jì)算所得到的梯度值進(jìn)行非極大值抑制處理，并以發(fā)生邊緣斷裂的斷點(diǎn)作為追蹤起點(diǎn)實(shí)現(xiàn)邊緣的追蹤。

步驟2：Hough變換。

在極坐標(biāo)下進(jìn)行手部直線的檢測(cè)。首先，建立一個(gè)二維累加數(shù)組A來存儲(chǔ)(ρ，θ)參數(shù)(ρ為極坐標(biāo)下直線距離原點(diǎn)的法線距離，θ為法線與x軸的夾角)，并將A清零；對(duì)臉部和手部邊緣的每個(gè)像素點(diǎn)進(jìn)行Hough變換，計(jì)算出ρ和θ值，并且對(duì)A(ρ，θ)做加1操作；最后，A(ρ，θ)中數(shù)據(jù)個(gè)數(shù)即為落在距原點(diǎn)的法線距離為ρ、法線與夾角為θ的直線上像素點(diǎn)的個(gè)數(shù)；對(duì)A(ρ，θ)作閾值處理，得到最后的手部檢測(cè)結(jié)果。

1.3 特征約束

特征約束就是根據(jù)Hough變換所提取的手部輪廓特征，對(duì)第1.1節(jié)膚色檢測(cè)所得到的二值掩碼圖進(jìn)行約束，獲取最終的人手區(qū)域，特征約束計(jì)算公式如下：

(4)

式中Ires是特征約束后的結(jié)果，即人手圖像像素。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提人手檢測(cè)方法的有效性，本文進(jìn)行了一系列的實(shí)驗(yàn)。實(shí)驗(yàn)時(shí)使用的PC機(jī)CPU為2.40 GHz Intel(R) Core(TM) i7-5500U，內(nèi)存為8 GB，操作系統(tǒng)為Windows 7，軟件編譯環(huán)境為MATLAB 2015。在實(shí)驗(yàn)過程中一共使用了100幅包含手部信息的圖像。部分圖像如圖2所示。

圖2 電氣測(cè)試設(shè)備校準(zhǔn)過程中捕獲的人手圖像Fig.2 Hand images captured during the process of electrical test equipment verification

圖3是使用本文所提方法，對(duì)圖2中的5幅圖像進(jìn)行基于HSV的膚色檢測(cè)后所得到膚色區(qū)域的二值掩碼圖像。在進(jìn)行膚色檢測(cè)時(shí)，飽和度閾值為34；在對(duì)二值圖像進(jìn)行形態(tài)濾波時(shí)，開運(yùn)算使用的是半徑為2的圓形結(jié)構(gòu)元素，閉合運(yùn)算使用的是半徑為6的圓形結(jié)構(gòu)元素。

圖3 膚色檢測(cè)后所得到的二值掩碼圖像Fig.3 Binary mask images obtained after skin detection

分析圖3可以看出，圖3(b)(c)中的膚色區(qū)域除了人手以外還有人物臉部及脖子區(qū)域。而本文的目的是將手部信息從圖像中分割出來，因此，還需要對(duì)圖3(b)(c)進(jìn)行手部檢測(cè)。圖4是使用本文所提方法對(duì)圖2(b)進(jìn)行手部輪廓檢測(cè)后，再對(duì)二值掩碼圖像進(jìn)行特征約束后的結(jié)果。從圖5可以發(fā)現(xiàn)，本文所提方法可以很有效地去除了人臉部分的膚色區(qū)域，保留了人手區(qū)域的輪廓信息。

圖4 對(duì)圖2(b)特征約束后的效果圖Fig.4 Result of Fig.2(b) obtained after feature constraint

為了進(jìn)一步驗(yàn)證本文所提方法的有效性，本文對(duì)3種人手檢測(cè)方法進(jìn)行了比較，分別為基于膚色的人手檢測(cè)方法[9](方法1)，基于聚合通道特征(aggregate channel features，ACF)的手部檢測(cè)方法[14](方法2)和本文提出的結(jié)合膚色和Hough變換的人手檢測(cè)方法(方法3)。

本文使用檢測(cè)正確率來對(duì)3種方法進(jìn)行比較，檢測(cè)正確率

η=Nr/Na.

(5)

式中：Nr為檢測(cè)正確的圖像數(shù)量；Na為所有被檢測(cè)的圖像數(shù)量。

圖5是使用上述3種方法對(duì)圖2中的人手進(jìn)行檢測(cè)后所得到的結(jié)果。

第1行到第3行圖片分別為使用方法1、方法2和方法3所得檢測(cè)結(jié)果。

從圖5可以看出，3種方法均可以將人手從圖中分割出來。但是，方法1不能解決類膚色背景對(duì)檢測(cè)結(jié)果的干擾；方法2能夠解決人臉對(duì)檢測(cè)結(jié)果的干擾，但是不能完全解決其他類膚色背景的干擾，并且方法2分割出的人手部分不完整，存在較多缺陷；跟方法1和方法2相比，方法3能夠有效解決類膚色背景的干擾，并且分割出的人手部更完整。

使用3種不同方法對(duì)100幅圖像進(jìn)行測(cè)試，所得到的正確率和時(shí)間見表1。

表1 使用3種不同方法所得結(jié)果比較Tab.1 Comparison results of three different methods

從表1可看出，本文所提方法的正確率為93%，而方法1所得到的正確率只有81%，比本文所提方法低12%。主要原因在于方法1只是基于膚色來進(jìn)行手部檢測(cè)，而本文所提方法綜合考慮了膚色和手部邊緣特征。分析表1還可以看出，方法2的檢測(cè)正確率為89%(比本文所提方法低4%)，并且在類膚色背景下，方法3的檢測(cè)正確率也要高于方法2。主要原因在于方法2不能有效解決圖像存在嚴(yán)重噪聲的問題。

從算法的執(zhí)行速度來看，本文所提方法的平均速度為0.081 s，比方法1慢0.008 s，但是遠(yuǎn)遠(yuǎn)快于方法2的0.152 s。

3 結(jié)束語(yǔ)

本文實(shí)現(xiàn)了電氣測(cè)試設(shè)備校準(zhǔn)全景仿真中的人手檢測(cè)與分割。通過對(duì)進(jìn)行膚色檢測(cè)，將圖像中包含人臉和人手在內(nèi)的膚色區(qū)域檢測(cè)出來，再對(duì)上述2個(gè)結(jié)果進(jìn)行Hough變換與特征約束，實(shí)現(xiàn)了人手的檢測(cè)與分割。實(shí)驗(yàn)結(jié)果表明，本文所提方法能夠很好地將人的手部區(qū)域從圖像中分割出來。

圖5 使用3種不同方法對(duì)圖2中的人手檢測(cè)后得結(jié)果Fig.5 Detection results of images in Fig.2 by using three different methods

后續(xù)的工作包括：在現(xiàn)有人手檢測(cè)與分割的基礎(chǔ)上，提取人手的特征，并對(duì)手勢(shì)進(jìn)行識(shí)別，以實(shí)現(xiàn)電氣測(cè)試設(shè)備校準(zhǔn)全景仿真培訓(xùn)系統(tǒng)中通過手勢(shì)與虛擬電氣設(shè)備進(jìn)行交互的目的；采集和整理大規(guī)模的電氣設(shè)備測(cè)試校準(zhǔn)人手圖像數(shù)據(jù)，將深度學(xué)習(xí)應(yīng)用于人手檢測(cè)與分割中，進(jìn)一步提高檢測(cè)的精度。