李 偉,楊 庚
(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院,江蘇 南京 210023;2.江蘇省大數(shù)據(jù)安全與智能處理重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210023)
心率即心臟每分鐘的跳數(shù)。在醫(yī)療應(yīng)用中,心率是衡量人體健康和心理狀況的重要指標(biāo)。伴隨著社會(huì)的發(fā)展,人們飲食和作息上的不規(guī)律導(dǎo)致心血管疾病的出現(xiàn)愈發(fā)頻繁[1]。作為檢驗(yàn)心血管疾病的重要參考,日常心率的測(cè)量對(duì)人體心血管疾病的預(yù)測(cè)和預(yù)防具有重要意義[2]。
從目前來(lái)看,在醫(yī)療衛(wèi)生領(lǐng)域之中,心電圖(electrocardiogram,ECG)仍然是心率測(cè)量的首要選擇。雖然心電圖測(cè)量具有很高的準(zhǔn)確性,但是它需要在人體的特定部位放置電極,測(cè)量時(shí)會(huì)給人體帶來(lái)不適,并且還需要專業(yè)醫(yī)療人士的參與才能完成測(cè)量操作。非接觸的心率測(cè)量方法不僅可以減少上述問(wèn)題,還可以應(yīng)對(duì)更加復(fù)雜的工作和生活場(chǎng)景。光電容積描記技術(shù)(photoplethysmography,PPG)是一種利用光學(xué)技術(shù)檢測(cè)血液容積變化從而實(shí)現(xiàn)非接觸測(cè)量心率的方法[3],由于血液相較于周圍組織更容易吸收光,所以可以通過(guò)光強(qiáng)的變化來(lái)檢測(cè)血液容積的變化。Verkruysse等人[4]驗(yàn)證了在環(huán)境光下可以通過(guò)數(shù)碼相機(jī)根據(jù)人臉視頻提取PPG脈搏信號(hào),Poh等人[5-6]利用普通攝像頭實(shí)現(xiàn)了PPG脈搏信號(hào)的分離,Kwon等人[7]成功將人臉視頻心率測(cè)量應(yīng)用于智能手機(jī)上,開拓了非接觸心率測(cè)量的新的可能性。
文獻(xiàn)[8-10]回顧了非接觸視頻心率測(cè)量的一般框架。首先是對(duì)視頻進(jìn)行人臉檢測(cè),其次是感興趣皮膚區(qū)域(region of interest,ROI)的選取,再通過(guò)顏色通道值形成脈搏信號(hào),最后對(duì)信號(hào)過(guò)濾和分析來(lái)提取心率。
其中感興趣區(qū)域的提取結(jié)果將直接影響脈搏信號(hào)的獲取,從而影響心率測(cè)量的準(zhǔn)確性。Li等人[11]比較了各種感興趣區(qū)域提取的方法,不過(guò)這些比較都是基于整張人臉提取ROI,而臉部區(qū)域中眼睛的眨動(dòng)和嘴巴的肌肉運(yùn)動(dòng)會(huì)對(duì)脈搏信號(hào)的提取產(chǎn)生明顯的干擾。Cai等人[12]選擇眼睛和鼻子之間的區(qū)域作為ROI,但是在光照變化明顯的情況下,鼻子會(huì)在該區(qū)域形成陰影。Verkruysse等人[4]曾指出盡管在人體的各個(gè)部位都能檢測(cè)出脈搏信號(hào),但是在人臉區(qū)域特別是額頭區(qū)域會(huì)更加明顯,這主要是由于在人臉區(qū)域中,額頭是毛細(xì)血管分布最密集的。Juan等人[13]提出了一種簡(jiǎn)化的人臉視頻測(cè)量心率的框架,選擇額頭和兩頰作為ROI,并證實(shí)比使用整張人臉作為ROI具有更高的準(zhǔn)確性和穩(wěn)定性。
不過(guò)以上對(duì)ROI的提取都是在人臉檢測(cè)之后直接根據(jù)得到的人臉框來(lái)標(biāo)注ROI,對(duì)于人臉傾斜、人臉晃動(dòng)及視頻拍攝角度傾斜等更加復(fù)雜的情況,ROI的選擇將出現(xiàn)明顯偏差,從而影響后續(xù)脈搏信號(hào)的提取,導(dǎo)致心率估計(jì)的準(zhǔn)確性和穩(wěn)定性降低。戚剛等人[14]提出了一種非合作情況下抗干擾心率檢測(cè)方法,一定程度上,能夠抵抗人臉晃動(dòng),但由于運(yùn)用了大量目標(biāo)檢測(cè)和跟蹤算法,時(shí)間復(fù)雜度較高。
針對(duì)上述問(wèn)題,該文提出了一種基于局部二值特征(local binary features,LBF)[15]穩(wěn)定提取ROI的心率測(cè)量新方法。該方法主要在人臉檢測(cè)之后,使用局部二值特征的模型進(jìn)行人臉對(duì)齊,再對(duì)矯正后的人臉進(jìn)行ROI的準(zhǔn)確選取,然后根據(jù)所選ROI的顏色信息提取脈搏信號(hào),從而實(shí)現(xiàn)非接觸的心率測(cè)量。
人體心臟的跳動(dòng)會(huì)引起血液容積的變化,心臟收縮,血液由心臟流入身體的血管,血管中的血液容積增大;心臟舒張,血液由血管流入心臟,血管中的血液容積減少。血液中的氧合血紅蛋白對(duì)光有一定的吸收作用,使得血液相較于周圍的皮膚、肌肉等組織對(duì)光的吸收量更多。而血液容積的變化會(huì)直接導(dǎo)致血液中的氧合血紅蛋白數(shù)量的變化,從而使得對(duì)光的反射量發(fā)生改變[16]。PPG技術(shù)便是利用這一點(diǎn),測(cè)量皮膚組織對(duì)光反射強(qiáng)度的變化周期,提取出血管中血液容積周期性變化的信息,從而估算出人體心率。
人臉是最經(jīng)常暴露在空氣中的皮膚區(qū)域,擁有豐富且穩(wěn)定的特征信息,并且易于被攝像頭等儀器捕捉[17]。根據(jù)人臉視頻測(cè)量心率是以PPG原理為基礎(chǔ),利用人臉特定的皮膚區(qū)域提取血液對(duì)光反射強(qiáng)度的微小變化。雖然這些微小變化人眼難以察覺(jué),但是可以通過(guò)攝像頭的色彩傳感器進(jìn)行捕捉。因此,從特定皮膚區(qū)域的顏色變化中便可分析得到人體的心率信息。
考慮到根據(jù)人臉視頻進(jìn)行人體心率特征的提取易受ROI選取的影響,該文提出了一種基于LBF的心率測(cè)量方法,主要流程如圖1所示,具體的測(cè)量過(guò)程為:利用普通攝像頭采集人臉視頻;通過(guò)人臉檢測(cè)的方法提取出視頻圖像中的人臉框,根據(jù)LBF模型檢測(cè)出人臉的68個(gè)特征關(guān)鍵點(diǎn),利用關(guān)鍵點(diǎn)進(jìn)行人臉對(duì)齊,提取ROI,以減少人體頭部運(yùn)動(dòng)和傾斜的影響;對(duì)ROI進(jìn)行皮膚分割,結(jié)合皮膚區(qū)域的紅、綠、藍(lán)通道的通道值,使用色度模型進(jìn)一步抵抗運(yùn)動(dòng)干擾,通過(guò)帶通濾波處理減少噪聲影響,計(jì)算分析形成脈搏信號(hào);對(duì)脈搏信號(hào)進(jìn)行時(shí)頻分析,實(shí)現(xiàn)對(duì)心率的估計(jì)。
圖1 心率測(cè)量流程
為了實(shí)現(xiàn)人臉對(duì)齊,該文采用LBF模型來(lái)提取人臉的68個(gè)關(guān)鍵特征點(diǎn),包括眉毛、眼睛、鼻子、嘴巴以及臉龐的輪廓點(diǎn)等,根據(jù)這些人臉特征點(diǎn)的坐標(biāo)信息,將人臉視頻圖像進(jìn)行旋轉(zhuǎn),進(jìn)而實(shí)現(xiàn)準(zhǔn)確截取用于提取脈搏信號(hào)的感興趣區(qū)域。
LBF提取人臉特征點(diǎn)采用形狀回歸的方法通過(guò)不斷級(jí)聯(lián)預(yù)測(cè)人臉形狀S。對(duì)于初始形狀S0,通過(guò)逐級(jí)估算形狀增量ΔS,逐漸修正S,預(yù)測(cè)得到第t級(jí)迭代的形狀增量ΔSt為:
ΔSt=Wtφt(I,St-1)
(1)
式中,I為輸入圖像,St-1為前一級(jí)得到的人臉形狀,φt為特征映射函數(shù),Wt為線性回歸矩陣,φt由I和St-1決定,則第t級(jí)的人臉形狀為:
St=St-1+ΔSt
(2)
每一個(gè)局部特征映射函數(shù)都可以根據(jù)特征點(diǎn)獨(dú)立學(xué)習(xí)得到,從而提取LBF,然后聯(lián)合所有的局部特征獲取全局特征映射函數(shù)φt,最后通過(guò)線性回歸學(xué)習(xí)得到Wt,實(shí)現(xiàn)對(duì)于人臉特征點(diǎn)的準(zhǔn)確定位。
1.2.1 LBF的提取
(3)
1.2.2 全局線性回歸特征模型
全局線性回歸能夠完成全局形狀約束,從而降低因模糊或遮擋引起的局部誤差。算法采用先局部后整體的思想,對(duì)于輸入圖像I,先通過(guò)訓(xùn)練好的隨機(jī)森林實(shí)現(xiàn)LBF的提取,從而得到特征映射函數(shù)φt,再利用全局線性回歸矩陣Wt回歸得到中間形狀,并不斷迭代獲得穩(wěn)定的人臉68個(gè)特征關(guān)鍵點(diǎn)的提取模型。
2.1.1 人臉對(duì)齊及感興趣區(qū)域的定位
對(duì)于人臉視頻,該文采用Viola-Jones人臉檢測(cè)器[20]檢測(cè)視頻圖像中的人臉矩形框。該算法是最為成功的可實(shí)用的人臉檢測(cè)算法之一,不僅具有較高的人臉檢測(cè)精度,還具有較快的檢測(cè)速度,能夠適用于實(shí)時(shí)檢測(cè)。2015年,賈海鵬等人[21]提出了在GPU上進(jìn)一步優(yōu)化該算法性能的方法。
在檢測(cè)出人臉矩形框之后,通過(guò)LBF模型提取人臉的68個(gè)特征關(guān)鍵點(diǎn)。該方法采用簡(jiǎn)單的線性回歸構(gòu)建層級(jí)式回歸模型,利用以像素差為核心的圖像特征進(jìn)行特征提取,由于模型和特征上追求快速高效,能夠達(dá)到每秒3 000幀的圖像處理速度,實(shí)時(shí)性好[22]。在檢測(cè)得到的68個(gè)人臉特征關(guān)鍵點(diǎn)中,第36和第45個(gè)特征點(diǎn)的位置分別對(duì)應(yīng)人臉左右眼角的位置。圖2為人臉傾斜的幾何示意圖,點(diǎn)P、Q分別為由LBF模型檢測(cè)得到的左右眼角的關(guān)鍵點(diǎn),點(diǎn)O為人臉矩形框的中心點(diǎn),可以計(jì)算得到人臉的傾斜角度θ。
θ=arctan[(yq-yp)/(xq-xp)]
(5)
式中,xp、yp分別為P點(diǎn)的橫縱坐標(biāo),xq、yq分別為Q點(diǎn)的橫縱坐標(biāo)。
圖2 人臉傾斜的幾何示意圖
將整張人臉視頻圖像的像素點(diǎn)按式(6)以點(diǎn)O為旋轉(zhuǎn)中心旋轉(zhuǎn)θ角度。
(6)
式中,xsrc,ysrc為原像素點(diǎn)的橫縱坐標(biāo),xdst,ydst為旋轉(zhuǎn)變換后像素點(diǎn)的目標(biāo)橫縱坐標(biāo),xo,yo為旋轉(zhuǎn)中心點(diǎn)O的橫縱坐標(biāo)。
重新確定人臉矩形框的尺寸,新的人臉矩形框的長(zhǎng)與寬的長(zhǎng)度都為原人臉矩形框的ε倍,ε的值由式(7)確定。經(jīng)過(guò)上述旋轉(zhuǎn)變換,得到的結(jié)果如圖3(a)所示,其中傾斜的矩形框?yàn)槿四槞z測(cè)得到的結(jié)果,豎直的矩形框?yàn)橹匦聵?biāo)注的人臉框。
ε=d/(xq-xp)
(7)
式中,d為原人臉框中左右眼角關(guān)鍵點(diǎn)P、Q的距離。
經(jīng)過(guò)人臉對(duì)齊,提取出端正的人臉區(qū)域,即可準(zhǔn)確定位用于提取脈搏信號(hào)的感興趣區(qū)域。為了實(shí)現(xiàn)感興趣區(qū)域的快速定位,該文參考文獻(xiàn)[13]的方法,選擇額頭和兩頰共計(jì)三塊區(qū)域作為提取皮膚像素的候選區(qū)域,圖3(c)為人臉對(duì)齊之后所得到的人臉區(qū)域,圖中標(biāo)注的三塊矩形區(qū)域?yàn)樘崛〉母信d趣區(qū)域。
圖3 人臉對(duì)齊
2.1.2 皮膚分割
經(jīng)過(guò)人臉對(duì)齊可以實(shí)現(xiàn)感興趣區(qū)域的精確提取,但是在現(xiàn)實(shí)生活中,不可避免地會(huì)出現(xiàn)光照不均勻、頭發(fā)和眼鏡遮擋感興趣區(qū)域等問(wèn)題,這些情況都會(huì)對(duì)后續(xù)脈搏信號(hào)的提取產(chǎn)生干擾。因此,對(duì)三塊感興趣區(qū)域進(jìn)行皮膚分割,提取膚色區(qū)域,可以有效減少以上干擾所帶來(lái)的影響,使后續(xù)脈搏信號(hào)的信噪比得到提高。
為了對(duì)感興趣區(qū)域進(jìn)行膚色區(qū)域的提取,該文將圖像顏色空間由RGB轉(zhuǎn)到HSL。在HSL顏色空間中,對(duì)于皮膚像素的檢測(cè)不易受到光源和膚色范圍之外異常值的影響,能夠使檢測(cè)結(jié)果更加可靠。該文參考文獻(xiàn)[23]的方法,對(duì)于符合式(8)的像素點(diǎn)則認(rèn)為屬于皮膚像素,感興趣區(qū)域皮膚分割結(jié)果的二值圖像如圖3(d)所示。
(8)
式中,Hue、Saturation、Lightness為在HSL顏色空間下像素點(diǎn)色相、飽和度和亮度的屬性值。
2.2.1 色度模型
經(jīng)過(guò)膚色提取,便可得到感興趣區(qū)域中的所有膚色區(qū)域。臉部的運(yùn)動(dòng)會(huì)導(dǎo)致入射光源與臉部間的角度發(fā)生改變,從而對(duì)臉部皮膚反射光產(chǎn)生影響。因此,該文采用由Haan提出的色度模型[24]提取脈搏信號(hào)以減少臉部運(yùn)動(dòng)的影響,該方法應(yīng)用了RGB圖像各通道值的線性組合,具有較低的計(jì)算復(fù)雜度。
對(duì)于每一幀人臉圖像提取的三塊膚色區(qū)域,需要對(duì)RGB三個(gè)顏色分量取平均值。
(9)
式中各顏色通道的平均值C∈{R,G,B},R,G,B分別表示紅色、綠色和藍(lán)色通道的均值,M表示膚色區(qū)域像素點(diǎn)的總數(shù),Cm表示第m個(gè)像素點(diǎn)的各顏色通道值。
圖4 一段視頻各通道的平均值
經(jīng)過(guò)對(duì)一段視頻進(jìn)行上述處理后,可得到一段時(shí)間視頻流每一幀圖像各顏色通道的平均值,結(jié)果如圖4所示。隨后對(duì)上述得到的序列進(jìn)行標(biāo)準(zhǔn)化處理,有:
(10)
最后,色度信號(hào)Xs和Ys可由標(biāo)準(zhǔn)化后信號(hào)序列經(jīng)過(guò)式(11)計(jì)算得到。
(11)
2.2.2 帶通濾波
計(jì)算得到的色度信號(hào)需要進(jìn)行濾波去噪,才能夠通過(guò)計(jì)算得到用于心率估計(jì)的信號(hào)序列。該文采用巴特沃斯帶通濾波器對(duì)色度信號(hào)進(jìn)行濾波處理,去除皮膚表面反射光中由心跳引起的頻帶之外的部分,以減小由呼吸作用或光照變化引起的低頻噪聲和由人臉劇烈晃動(dòng)引起的高頻噪聲。
通常人的心率范圍在30到200 bpm,靜息狀態(tài)下在60到130 bpm,所以所設(shè)計(jì)的濾波器對(duì)應(yīng)的通帶頻率范圍為1.00到2.16 Hz,通帶衰減為3 dB,阻帶寬度為0.50到3.33 Hz,阻帶衰減為10 dB。經(jīng)過(guò)對(duì)色度信號(hào)的濾波處理,脈搏信號(hào)U可由以下公式計(jì)算得到:
U=Xf-αYf
(12)
(13)
式中,σ( )表示信號(hào)的標(biāo)準(zhǔn)差,Xf,Yf是由色度信號(hào)Xs和Ys分別經(jīng)過(guò)帶通濾波器處理后得到的信號(hào)。
將圖4中各顏色通道值形成的序列經(jīng)過(guò)色度模型和巴特沃斯帶通濾波器的處理,得到的脈搏信號(hào)如圖5(a)所示。
圖5 信號(hào)處理
經(jīng)過(guò)上述處理,所得到的脈搏信號(hào)可近似地被看成一個(gè)周期信號(hào)。為了提取脈搏信號(hào)的周期性特征,將其進(jìn)行離散傅里葉變換轉(zhuǎn)至頻域。在頻域中,能量譜峰值所對(duì)應(yīng)的頻率作為心率頻率fh,則心率值HR為:
HR=fh×60
(14)
將圖5(a)中的脈搏信號(hào)進(jìn)行離散傅里葉變換,得到的能量譜結(jié)果如圖5(b)所示,峰值能量對(duì)應(yīng)的心率頻率fh=1.1 Hz,則心率HR=1.1×60=66 bpm。
該實(shí)驗(yàn)采用普通USB攝像頭采集人臉視頻,采集過(guò)程中,要求被測(cè)者坐在距離攝像頭約0.6 m的位置,避免大幅度運(yùn)動(dòng),同時(shí)佩戴指尖式脈搏血氧儀進(jìn)行同步心率測(cè)量,將脈搏血氧儀的測(cè)量值作為真實(shí)心率參考值。視頻的錄制時(shí)長(zhǎng)為10 s,分辨率為960×540,存儲(chǔ)的格式為MP4,幀率為15幀/秒。實(shí)驗(yàn)對(duì)12個(gè)被測(cè)者分別在人臉端正和人臉傾斜兩種情況下各采集5段視頻,以證實(shí)該方案的可行性和有效性。
為了衡量提出的心率測(cè)量方案的性能,將文中方案與Juan的方案[13]進(jìn)行對(duì)比實(shí)驗(yàn),分別將兩種方案的心率測(cè)量值和真實(shí)心率參考值進(jìn)行比較,從平均絕對(duì)誤差、均方根誤差、相關(guān)性和一致性的角度對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。采用皮爾森相關(guān)性分析法來(lái)分析心率測(cè)量值和真實(shí)參考值之間的相關(guān)性,其相關(guān)系數(shù)的值越接近于1,表明正相關(guān)性越強(qiáng);采用Bland-Altman法對(duì)心率測(cè)量值和真實(shí)參考值進(jìn)行一致性評(píng)估。
3.2.1 人臉端正情況下的心率測(cè)量
本次實(shí)驗(yàn)要求被測(cè)者在人臉視頻采集過(guò)程中盡可能地保持臉部端正,即人臉的傾斜角度小于10度,實(shí)驗(yàn)的測(cè)量結(jié)果以及真實(shí)心率參考值的折線對(duì)比圖如圖6(a)所示。對(duì)于實(shí)驗(yàn)測(cè)量數(shù)據(jù)的分析結(jié)果如表1所示,相對(duì)于Juan的測(cè)量方法,文中方案的平均絕對(duì)誤差、均方根誤差上均較小,相關(guān)性上也有所提升,說(shuō)明文中方案在人臉端正的情況下的心率測(cè)量誤差更小。
文中方案的測(cè)量值與真實(shí)心率參考值的Bland-Altman一致性分析結(jié)果如圖7(a)所示,誤差的均值為0.064 1,標(biāo)準(zhǔn)差為2.126 3,因此,95%的置信區(qū)間為-4.103 5到4.231 7。從圖中可以看出,98%以上的數(shù)據(jù)均處于95%的置信區(qū)間內(nèi),說(shuō)明在人臉端正的情況下文中方案的測(cè)量結(jié)果與真實(shí)參考值具有很好的一致性。
表1 人臉端正情況下測(cè)量結(jié)果對(duì)比
圖6 心率測(cè)量結(jié)果對(duì)比
3.2.2 人臉傾斜情況下的心率測(cè)量
本次實(shí)驗(yàn)所采集的視頻中,人臉的傾斜角度均在15度到30度之間,圖6(b)為兩種測(cè)量方法在人臉傾斜狀態(tài)下的測(cè)量值和真實(shí)心率參考值的對(duì)比圖,對(duì)測(cè)量結(jié)果的分析如表2所示。從表2可以看出,文中方案的平均絕對(duì)誤差為2.205 0 bpm,均方根誤差為2.623 1 bpm,較于Juan的方案平均絕對(duì)誤差和標(biāo)準(zhǔn)方差分別下降了64.98%和63.81%。另外,文中方案的測(cè)量結(jié)果與真實(shí)心率參考值的相關(guān)系數(shù)為0.906,而Juan方法的相關(guān)系數(shù)僅為0.567,說(shuō)明文中方案即使在人臉傾斜的情況下,仍然具有較小的心率測(cè)量誤差,與真實(shí)心率參考值具有較強(qiáng)的相關(guān)性。
表2 人臉傾斜情況下測(cè)量結(jié)果對(duì)比
人臉傾斜情況下對(duì)文中方案的測(cè)量值和真實(shí)心率參考值進(jìn)行Bland-Altman一致性分析,結(jié)果如圖7(b)所示,二者的誤差均值為-0.448 1,標(biāo)準(zhǔn)差為2.623 1,因此95%的置信區(qū)間為-5.589 4到4.693 2。從Bland-Altman散點(diǎn)圖中可以看出,大部分的實(shí)驗(yàn)數(shù)據(jù)均在95%的置信區(qū)間內(nèi),說(shuō)明在人臉傾斜的情況下,文中的心率測(cè)量方案與脈搏血氧儀的心率測(cè)量方法仍具有很好的一致性。
圖7 兩種測(cè)量方法結(jié)果的Bland-Altman一致性分析
針對(duì)接觸式心率測(cè)量給人體所帶來(lái)的不便,以及非接觸式心率測(cè)量易受到人臉傾斜的影響,無(wú)法應(yīng)對(duì)更加復(fù)雜的生活場(chǎng)景,提出了一種基于LBF的人臉視頻心率測(cè)量方法。實(shí)驗(yàn)結(jié)果證明,該方案在人臉傾斜的情況下的測(cè)量結(jié)果仍有較高的準(zhǔn)確性,與指尖脈搏血氧儀測(cè)量法具有很好的一致性,滿足了日常家庭生活中的心率測(cè)量需求,在遠(yuǎn)程醫(yī)療和家日常生活中具有廣闊的應(yīng)用前景。值得注意的是,實(shí)驗(yàn)沒(méi)有考慮光照因素所帶來(lái)的影響,環(huán)境光照條件的劇烈變化將對(duì)測(cè)量結(jié)果產(chǎn)生較大干擾,如何排除光照的影響,進(jìn)一步提高心率測(cè)量結(jié)果的準(zhǔn)確性和穩(wěn)定性,將是未來(lái)工作的關(guān)鍵。