張 祺

（杭州蕭山技師學(xué)院，浙江 杭州 311201）

0 引言

隨著人們生活質(zhì)量的提高，心腦血管疾病患者數(shù)量逐年上升，而心率作為人體最重要的生命體征之一，與心腦血管疾病有密切的關(guān)系[1]。監(jiān)測心率信號(hào)可以及時(shí)了解自身的健康狀況，對心腦血管疾病的預(yù)防有非常重要的作用[2]。目前，現(xiàn)有的監(jiān)測心率的方法主要有接觸式檢測和非接觸式檢測，接觸式心率監(jiān)測方法操作復(fù)雜且需要與皮膚接觸，不適用于皮膚燒傷、有開放式創(chuàng)口、手腳抖動(dòng)、行動(dòng)不便的老年以及不適合接觸式監(jiān)測的新生兒等患者。

隨著圖像識(shí)別技術(shù)的發(fā)展，基于光電容描記術(shù)和圖像識(shí)別技術(shù)的非接觸式心率檢測成為十分熱門的研究方向，該方法通過人臉視頻即可提取心率信號(hào)，具有成本低、與人體無接觸以及可實(shí)現(xiàn)居家實(shí)時(shí)監(jiān)測心率等優(yōu)點(diǎn)。但是現(xiàn)有的方法仍存在一些問題，例如在對人臉區(qū)域的提取過程中會(huì)受到頭發(fā)等非皮膚區(qū)域的干擾，在測量過程中易受到光照等干擾，因此，該文提出了將基于深度學(xué)習(xí)的語義分割技術(shù)應(yīng)用到人臉皮膚區(qū)域的分割，以減少頭發(fā)等其他非皮膚區(qū)域的干擾，減少不同膚色或光線過暗造成的皮膚區(qū)域提取的誤差，同時(shí)對現(xiàn)有的基于皮膚正交模型的POS 算法進(jìn)行改進(jìn)，以提高系統(tǒng)對光照變化的抗干擾能力。試驗(yàn)證明，該方法的準(zhǔn)確性和抗干擾性比傳統(tǒng)方法高，對今后通過人臉視頻提取更多的具有價(jià)值的醫(yī)學(xué)信號(hào)有非常重要的意義。

1 系統(tǒng)設(shè)計(jì)方案

該文系統(tǒng)設(shè)計(jì)方案流程如圖1所示，具體實(shí)現(xiàn)步驟如下：1） 圖像采集和預(yù)處理。利用消費(fèi)級(jí)攝像頭采集人臉視頻進(jìn)行圖像預(yù)處理，將視頻圖像轉(zhuǎn)化為RGB空間。2） 人臉檢測。采用人臉檢測精度更高的基于深度學(xué)習(xí)的MTCNN方法進(jìn)行人臉檢測，并框選出離檢測裝置最近的人臉區(qū)域。3） 區(qū)域提取。采用基于深度學(xué)習(xí)的語義分割方法去除頭發(fā)遮擋的區(qū)域和部分背景區(qū)域，分離出人臉皮膚區(qū)域，將該區(qū)域定義為系統(tǒng)感興趣區(qū)域。4） 數(shù)據(jù)處理。對系統(tǒng)感興趣區(qū)域的像素RGB三通道的值進(jìn)行均值歸一化處理，選取背景圖像中穩(wěn)定、無干擾的區(qū)域，對該背景區(qū)域的像素RGB三通道的值進(jìn)行均值歸一化處理。5） 心率信號(hào)提取。將均值歸一化后的人臉皮膚區(qū)域RGB值與選取的均值歸一化后的背景區(qū)域RGB值相除，得到去除光照影響后的RGB值，采用改進(jìn)的基于皮膚正交模型的POS算法提取心率信號(hào)。6） 心率計(jì)算。采用功率譜估算心率值，使用Welch方法對心率信號(hào)進(jìn)行離散時(shí)間傅里葉變換，采用通帶頻率為 0.75 Hz～4 Hz的Hamming窗口帶通濾波去除不在心率范圍內(nèi)的高頻和低頻噪聲，求出最大峰值處的頻率f，其所代表的心率為60f。

圖1 系統(tǒng)設(shè)計(jì)方案流程圖

2 方法

2.1 光電容積描記法原理

光電容積描記法（Photoplethysmography，PPG）是一種利用光電技術(shù)檢測人體血液容積變化的技術(shù)，可以獲取人體生理信號(hào)[3]。該技術(shù)廣泛應(yīng)用于臨床醫(yī)學(xué)領(lǐng)域，例如血壓、血氧以及心率等信號(hào)的檢測和提取。

由于皮膚是一層半透膜，皮膚對光有一定的吸收和反射作用，當(dāng)外界光源照射到皮膚表面時(shí)，經(jīng)過一系列的反射和折射，一部分光反射至相機(jī)傳感器。皮膚對光的吸收和反射是一個(gè)復(fù)雜的過程，主要由反射和散射2個(gè)部分構(gòu)成，當(dāng)光源照射到皮膚表皮時(shí)，95%的光線進(jìn)入皮膚表皮，剩余的光線直接被鏡面發(fā)射。表皮層中含有黑色素，吸收和散射了一部分的入射光線，其余的光線將透過表皮層折射到真皮層。真皮層中的血管中的血色素對入射光有吸收和反射作用，反射的光反向穿過表皮層，傳遞至相機(jī)傳感器。當(dāng)皮膚中的黑色素一定時(shí)，相機(jī)傳感器接收到的反射光與血管中的血色素具有相關(guān)性。

心臟在周期性的收縮和舒張的過程中會(huì)引起動(dòng)脈血管同周期的收縮和舒張，從而引起真皮層血管中血量的周期性變化，血量容積的周期性變化導(dǎo)致血色素?cái)?shù)量也呈同周期的變化，經(jīng)過血色素的反射光也具有周期性，雖然這種周期性變化非常微弱，人眼難以察覺，但是目前常見的消費(fèi)級(jí)彩色攝像頭可以捕捉到反射光線周期性的強(qiáng)弱變化。根據(jù)奈奎斯特采樣定律可知，在模擬信號(hào)與數(shù)字信號(hào)的轉(zhuǎn)換中，當(dāng)采樣頻率大于信號(hào)中最高頻率的2倍時(shí)，采樣后的數(shù)字信號(hào)就能完整地保留原始信號(hào)中的信息[4]。在實(shí)際情況下，考慮信號(hào)的頻譜不是銳截止的，一般選取采樣頻率為信號(hào)最高頻率的 3～4倍。而人類的心率通常為40次/min～240 次/min[5]，頻率大致為0.7 Hz～4 Hz，因此要不失真的恢復(fù)心率信號(hào)，采樣頻率應(yīng)滿足至少為信號(hào)最高頻率4 Hz的4倍，即16 Hz。而目前市面上常見的彩色攝像頭、手機(jī)和電腦端自帶的攝像頭等錄制視頻的幀率都可以達(dá)到30幀/s以上，遠(yuǎn)遠(yuǎn)滿足這一要求。因此，通過普通彩色相機(jī)傳感器分析反射光線的周期性變化可以實(shí)現(xiàn)測量生理信號(hào)的作用。

2.2 基于Linknet 的語義分割

為了降低非皮膚區(qū)域?qū)π盘?hào)提取的干擾，在人臉檢測后，需要進(jìn)一步縮小ROI區(qū)域，通常采用的方法有2種：1） 額頭區(qū)域提取和皮膚檢測的方法。由于額頭區(qū)域含有豐富的毛細(xì)血管，因此提取額頭區(qū)域?yàn)镽OI區(qū)域，但是該方法易受頭發(fā)、人臉角度等因素的干擾，使信號(hào)提取存在不確定因素。2） 皮膚檢測的方法。在光照和對比度均變化的條件下，皮膚檢測非常困難，皮膚檢測的方法需將圖片轉(zhuǎn)化為HSV顏色空間，生成圖像直方圖，應(yīng)用分類器來確定給定像素被皮膚著色的概率，從而確定圖像中的皮膚區(qū)域，但是人類膚色在顏色空間中跨度非常大，而且并不是連續(xù)的，再考慮光照、白平衡等因素，膚色的檢測非常不準(zhǔn)確，往往只能識(shí)別標(biāo)準(zhǔn)的膚色，因此心率信號(hào)的提取也有存在偏差的可能性。因此，該文提出采用基于深度學(xué)習(xí)的語義分割技術(shù)對ROI區(qū)域進(jìn)行分割，使皮膚分割既不受頭發(fā)等非皮膚區(qū)域的干擾，又不受膚色、光照以及白平衡等條件的約束。

該文采用了由Chaurasia等[6]在2018年提出的基于LinkNet的模型方法。具體過程如下：首先，對不同膚色的人臉圖像進(jìn)行語義標(biāo)注，通過程序讀取數(shù)據(jù)內(nèi)容并對數(shù)據(jù)進(jìn)行預(yù)處理，以構(gòu)建訓(xùn)練數(shù)據(jù)集。其次，搭建Linknet訓(xùn)練網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，并對訓(xùn)練好的模型進(jìn)行驗(yàn)證和保存。最后，用訓(xùn)練好的模型對輸入圖像進(jìn)行像素級(jí)語義分割，分離出皮膚區(qū)域，經(jīng)過語義分割后分離出的人臉區(qū)域如圖2所示。

圖2 語義分割分離出的人臉區(qū)域圖

2.3 基于皮膚正交模型的POS算法

基于皮膚正交模型的POS（Plane-Orthogonal-to-Skin）算法最早由Wang等人在2017年提出，該方法將相機(jī)采集到RGB圖像中每個(gè)皮膚的像素的數(shù)學(xué)模型定義為一個(gè)與時(shí)間相關(guān)的時(shí)變函數(shù)，如公式（1）所示。

式中：t為時(shí)間序列；C（t）為檢測區(qū)域RGB信號(hào)的平均值，包括RGB三通道像素值，即C（t）=[R（t），G（t），B（t）]T；I（t）為光源的光照強(qiáng)度；uc·c0為鏡面反射和漫反射中的不隨時(shí)間變化的固定部分；uc為皮膚反射的單位顏色矢量；c0為反射強(qiáng)度；us為光譜的單位顏色矢量；s（t）為由于運(yùn)動(dòng)隨時(shí)間而引起鏡面反射的變化量；up為 RGB 通道中的相對心率信號(hào)強(qiáng)度；p（t）為隨時(shí)間變化的心率信號(hào)。

該模型假定光源的光照強(qiáng)度I（t）恒定，為了消除I（t）的影響，將信號(hào)采集一段時(shí)間內(nèi)的RGB信號(hào)進(jìn)行標(biāo)準(zhǔn)化處理，如公式（2）所示。式中：T為信號(hào)采集周期。

由于鏡面反射不包括任何生理信息，且在皮膚隨時(shí)間變化而產(chǎn)生的顏色變化中占主要部分，因此先去除鏡面反射。在白光的照射下，鏡面反射對各個(gè)通道的影響是相同的，可等效為1個(gè)加性因子的影響，通過構(gòu)建膚色正交平面去除鏡面反射，由于在RGB三通道中，皮膚心率信號(hào)通常在G通道中最大，其次是B通道和R通道，因此投影軸如公式（3）所示。

投影到皮膚正交平面后的信號(hào)如公式（4）所示。

最后一步是在前一步定義的有界區(qū)域內(nèi)調(diào)整精確的投影方向提取心率信號(hào)h，如公式（5）所示。

2.4 改進(jìn)的基于皮膚正交模型的POS算法

將RGB投影到膚色正交平面能最大限度地提取心率信號(hào)，因此該文采用的基本算法為基于膚色正交模型的 POS算法，但是在實(shí)際應(yīng)用場景中，自然光源往往并不穩(wěn)定，會(huì)影響心率信號(hào)的提取，因此在此基礎(chǔ)上改進(jìn)POS算法，以提高對光源變化的抗干擾性。

在POS算法中，對光源光照變化的處理為假定在采集信號(hào)的一段范圍內(nèi)光源是穩(wěn)定的，通過將信號(hào)采集一段時(shí)間內(nèi)的RGB信號(hào)進(jìn)行標(biāo)準(zhǔn)化處理，以減小光照變化的影響，為了更好地解決光源變化對系統(tǒng)造成的影響，以皮膚反射模型為基礎(chǔ)，該文提出建立非皮膚區(qū)域反射模型，通過非皮膚區(qū)域的模型與皮膚區(qū)域模型相結(jié)合，減少光照強(qiáng)度變化對心率信號(hào)的干擾，具體過程如下。

由于選取的背景區(qū)域?yàn)楣潭▍^(qū)域，不含由運(yùn)動(dòng)引起的鏡面反射部分的變化和由心臟跳動(dòng)引起的漫反射部分的變化，因此背景區(qū)域的數(shù)學(xué)模型如公式（6）所示。

式中：Cback（t）為選擇的背景區(qū)域RGB信號(hào)的平均值，包括RGB三通道像素值；uc，back為背景區(qū)域反射的單位顏色矢量；c0為反射強(qiáng)度。

由于在人臉區(qū)域和背景區(qū)域的光照強(qiáng)度I（t）變化相同，因此可以將C（t）與Cback（t）相除，以消除光照強(qiáng)度變化造成的信號(hào)干擾，因此改進(jìn)后的模型Ch（t）如公式（7）所示。

其中，uc，back·c為常系數(shù)，設(shè)則公式（7）可改寫為公式（8）。

去除了隨時(shí)間變化的光照強(qiáng)度的變化量I（t），將Ch（t）投影到投影軸為公式（3）的皮膚正交平面，去除鏡面反射的影響后，再代入公式（4）中提取心率信號(hào)。

3 試驗(yàn)與結(jié)果

為了驗(yàn)證該文提出方法的有效性，共設(shè)計(jì)了以下3組試驗(yàn)，分別驗(yàn)證該文提出的方法在一段連續(xù)的人臉視頻上的心率測量表現(xiàn)情況、語義分割與額頭區(qū)域分割和皮膚檢測的方法對比以及改進(jìn)的基于皮膚正交模型的POS算法在不同光源和是否運(yùn)動(dòng)的條件下與其他方法的效果對比。為了了解該文采用的非接觸式心率測量方法預(yù)測出的心率與接觸式心率測量方法測量出的真實(shí)心率之間的誤差值，采用平均誤差（ME）、平均絕對誤差（MAE）、標(biāo)準(zhǔn)差（STDE）、均方根誤差（RMSE）、平均誤差百分比（MER）和皮爾遜相關(guān)系數(shù)（PCC）6種評(píng)判標(biāo)準(zhǔn)，每組試驗(yàn)的具體過程和結(jié)果分析如下。

3.1 試驗(yàn)一

該試驗(yàn)采用的人臉視頻圖像為UBFC-RPPG數(shù)據(jù)集中一位測試者在室內(nèi)穩(wěn)定光源、頭部保持不動(dòng)條件下時(shí)長為68 s的視頻，該視頻的幀率為 30 幀/s，同時(shí)該測試者的數(shù)據(jù)集中包括采用接觸式心率測量儀檢測的脈搏血容量，每秒真實(shí)心率與預(yù)測心率的折線圖如圖3所示。試驗(yàn)一表明，該方法測得的心率值與接觸式心率測量的心率值呈相同的變化趨勢，與此同時(shí)，使用散點(diǎn)圖來可視化預(yù)測心率與真實(shí)心率之間的差異（圖4）。由圖4可知，預(yù)測心率數(shù)值與真實(shí)心率數(shù)值在全部心率范圍分布內(nèi)均可以保持良好的一致性，因此該文提出的非接觸式心率測量的方法可以有效達(dá)到心率測量的目的。

圖4 一段連續(xù)的人臉視頻上的心率測量散點(diǎn)圖

3.2 試驗(yàn)二

該試驗(yàn)選用測試者頭發(fā)遮擋額頭的人臉視頻，該視頻在室內(nèi)穩(wěn)定光源下、測試者頭部保持靜止?fàn)顟B(tài)時(shí)拍攝，額頭頭發(fā)遮擋下額頭區(qū)域提取、皮膚檢測提取和語義分割提取3種方法的試驗(yàn)結(jié)果見表1。由于額頭區(qū)域被頭發(fā)遮擋，當(dāng)采用框選額頭區(qū)域進(jìn)行非接觸式心率檢測時(shí)，在該檢測區(qū)域沒有皮膚組織，因此該方法的各項(xiàng)評(píng)價(jià)指標(biāo)表現(xiàn)很差，皮膚檢測和語義分割出人臉區(qū)域的方法表現(xiàn)良好。

表1 額頭頭發(fā)遮擋下3種方法的試驗(yàn)結(jié)果

因此在試驗(yàn)二中，當(dāng)測試者額頭區(qū)域有頭發(fā)遮擋時(shí)，額頭區(qū)域提取的方法不適用于非接觸式人臉檢測，該文提出的采用基于深度學(xué)習(xí)的語義分割的方法分離出人臉皮膚區(qū)域表現(xiàn)穩(wěn)定。

3.3 試驗(yàn)三

該試驗(yàn)為改進(jìn)的基于皮膚正交模型的POS算法在不同光源和是否運(yùn)動(dòng)的條件下與其他方法的效果對比，對比分析了該文提出的方法與PCA算法、ICA算法以及基于皮膚正交模型的POS算法在各項(xiàng)指標(biāo)上的表現(xiàn)。試驗(yàn)三中共有4個(gè)試驗(yàn)任務(wù)，采用控制變量法分別對比了在室內(nèi)穩(wěn)定光源、室外變化光源下各方法對光照變化和輕微晃動(dòng)的抗干擾能力。

測試者在室內(nèi)穩(wěn)定光源下各方法的試驗(yàn)結(jié)果見表2，測試者在室外變化光源下各方法的試驗(yàn)結(jié)果見表3。對比試驗(yàn)結(jié)果可知，在相同光源的情況下，基于皮膚正交模型的POS算法優(yōu)于傳統(tǒng)的PCA算法和ICA算法，因此基于皮膚正交模型的POS 算法對運(yùn)動(dòng)有較好的魯棒性。

表2 室內(nèi)穩(wěn)定光源下各方法的試驗(yàn)結(jié)果

表3 室外變化光源下各方法的試驗(yàn)結(jié)果

4 結(jié)語

該文針對現(xiàn)有的基于人臉視頻的非接觸式心率檢測在對人臉區(qū)域的提取過程中會(huì)受頭發(fā)等非皮膚區(qū)域的干擾以及在測量過程中存在易受光照干擾等缺點(diǎn)，提出結(jié)合基于深度學(xué)習(xí)的語義分割技術(shù)提高了人臉圖像ROI區(qū)域提取的準(zhǔn)確性，避免頭發(fā)等其他非皮膚區(qū)域的干擾，減少不同膚色或光線過暗造成的皮膚區(qū)域提取的誤差。該文提出了一種改進(jìn)基于皮膚正交模型的POS算法，提高了系統(tǒng)對光照變化的抗干擾性和心率信號(hào)提取的準(zhǔn)確性。試驗(yàn)證明，該方法的準(zhǔn)確性和抗干擾性比傳統(tǒng)方法高，對今后通過人臉視頻提取更多的具有價(jià)值的醫(yī)學(xué)信號(hào)有非常重要的意義。