王 楠，王 霞，付曉靜，王蒙軍

（河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津300401）

視頻中提取光電容積脈搏波的盲信號(hào)估計(jì)方法

王 楠，王 霞，付曉靜，王蒙軍

（河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津300401）

從人臉彩色視頻圖像序列中能夠分離出光電容積脈搏波（PPG）信號(hào)，進(jìn)而提取人體的心率值，為了保證提取心率值的實(shí)時(shí)性和準(zhǔn)確性，降低對(duì)外界光照環(huán)境的依賴性，研究使用對(duì)角累積量算法和Robust ICA算法用于彩色視頻提取PPG信號(hào)，并轉(zhuǎn)化成人體心率。通過對(duì)角累積量算法、Robust ICA算法與傳統(tǒng)視頻提取心率算法，即聯(lián)合近似特征對(duì)角化（JADE）算法的彩色視頻提取心率結(jié)果的對(duì)比分析實(shí)驗(yàn)，得出對(duì)角累積量算法提取的心率結(jié)果與實(shí)際心率的誤差更小，準(zhǔn)確率更高，Robust ICA算法提取心率的運(yùn)行時(shí)間達(dá)到0.2 s以內(nèi)，實(shí)時(shí)性更強(qiáng)。

光電容積脈搏波；心率檢測(cè)；對(duì)角累積量算法；聯(lián)合近似特征對(duì)角化；Robust ICA

無創(chuàng)、長(zhǎng)時(shí)間監(jiān)測(cè)人體生理信號(hào)是家庭健康醫(yī)療的重要方向之一。傳統(tǒng)的心率測(cè)量?jī)x器，往往要使用探針和傳感器，長(zhǎng)期的佩戴會(huì)引起身體上的不適，也會(huì)增加傳播感染的風(fēng)險(xiǎn)[1]，利用普通攝像頭采集人臉視頻提取心率是一種無接觸，低成本的方法，它通過檢測(cè)人臉的膚色變化提取光電容積脈搏波信號(hào)，再通過快速傅里葉變換轉(zhuǎn)換成人體心率。這種基于視頻的心率提取方法有著重要的研究?jī)r(jià)值。

通過面部視頻檢測(cè)PPG信號(hào)最早是由Pavlidis[2]等人假設(shè)提出的，并通過面部熱視頻分析后證實(shí)。2010年，Poh[3-4]等人利用網(wǎng)絡(luò)攝像頭和獨(dú)立成分分析(ICA)算法成功提取出血液脈搏波，并轉(zhuǎn)換成心率值。ICA從某種程度上可以減少運(yùn)動(dòng)所帶來的噪聲影響。2012年，Kwon[5]等人利用智能手機(jī)的攝像頭非接觸的實(shí)現(xiàn)了心率的檢測(cè)。Lan Wei[6]等人提出了基于非線性混合假設(shè)的拉普拉斯特征值的方法從視頻中提取光電容積脈搏波，并通過計(jì)算心搏間期（IBIs）來提取心率，實(shí)驗(yàn)證明該方法優(yōu)于ICA、主成分分析（PCA）等方法，對(duì)IBIs的過濾和預(yù)處理可以提高心率結(jié)果的準(zhǔn)確性。2013年，法國(guó)的Bousefsaf[7]實(shí)現(xiàn)了從網(wǎng)絡(luò)攝像頭獲取人臉視頻通過小波變換實(shí)時(shí)的檢測(cè)人體心跳。

文中使用3種盲信號(hào)估計(jì)算法，即JADE、對(duì)角累積量和Robust ICA算法，從彩色視頻中提取PPG信號(hào)。JADE[8-10]算法是通過四階累積量矩陣的聯(lián)合對(duì)角化來最大化概率密度函數(shù)的峭度。對(duì)角累積量[11]算法是一種自適應(yīng)盲源分離算法，通過監(jiān)控分離矩陣的變化，明確的控制分離是否成功的執(zhí)行。Robust ICA[12]是一種基于最優(yōu)步長(zhǎng)的算法，該算法在求解最優(yōu)步長(zhǎng)過程中利用數(shù)學(xué)方法直接求出方程的根，避免了復(fù)雜的迭代求解過程，運(yùn)算效率明顯提高，分離特性好。文中使用這3種方法對(duì)視頻中提取的心率結(jié)果作了詳細(xì)的對(duì)比分析，討論了實(shí)驗(yàn)結(jié)果的準(zhǔn)確性和時(shí)間復(fù)雜度。

1 PPG信號(hào)的提取實(shí)驗(yàn)

人臉彩色視頻中膚色隨時(shí)間變化的信號(hào)即為觀察信號(hào)，提取觀察信號(hào)的步驟如圖1所示。

圖1 提取膚色觀察信號(hào)框圖

假設(shè)觀測(cè)信號(hào)是原始PPG信號(hào)的線性組合，可恢復(fù)的源信號(hào)的數(shù)量等于觀測(cè)信號(hào)的數(shù)量，盲源分離的目的是找到解混矩陣，最大化每個(gè)源信號(hào)的非高斯性，分解出獨(dú)立分量。對(duì)觀察信號(hào)分別使用JADE、對(duì)角累積量和Robust ICA算法進(jìn)行盲源分離，得到估計(jì)的PPG信號(hào)。提取PPG信號(hào)的過程如圖2所示。

圖2 采用盲信號(hào)估計(jì)方法盲源分離過程

對(duì)三組估計(jì)的PPG信號(hào)成分進(jìn)行FFT變換得到其功率譜，在心率范圍（正常心率范圍在[0.75，4] Hz，即[45，240]次/分鐘）內(nèi)最大功率譜所對(duì)應(yīng)的頻率即為估計(jì)的心率。

2 心率結(jié)果的對(duì)比分析

針對(duì)同一段長(zhǎng)為30s的視頻，分別使用JADE、對(duì)角累積量和Robust ICA算法估計(jì)PPG信號(hào)，采用長(zhǎng)為15 s的滑動(dòng)窗口，以1秒的增量對(duì)估計(jì)信號(hào)進(jìn)行FFT變換，求取心率。同時(shí)使用脈搏血氧儀記錄下人體的心率作為參考心率值。

在不同波長(zhǎng)的光照下，血液吸收的光和反射光會(huì)有細(xì)微的變化，表現(xiàn)為PPG信號(hào)振幅的變化[13]。血液對(duì)波長(zhǎng)為550 nm的光的吸收能力最強(qiáng)，對(duì)應(yīng)綠光或黃光，對(duì)紅色、藍(lán)色的光吸收能力相對(duì)較弱，其中，血液對(duì)紅色光的吸收能力最弱，因此R、G、B傳感器采集到的觀察信號(hào)中，紅色通道的信號(hào)信噪比較小，由于盲源分離之后得到的估計(jì)脈搏波信號(hào)是無序的，且信號(hào)振幅發(fā)生變化，為篩選出最佳的PPG信號(hào)將盲源分離后的估計(jì)信號(hào)分別與觀察信號(hào)中的紅色分量混合信號(hào)進(jìn)行相關(guān)性分析，判斷各個(gè)估計(jì)信號(hào)分量與紅色分量觀察信號(hào)的相似性，篩選出與其相似性最小的估計(jì)信號(hào)分量，作為后續(xù)提取心率的信號(hào)。計(jì)算信號(hào)之間的相關(guān)性系數(shù)。以一組數(shù)據(jù)為例做相關(guān)性分析，得到的相關(guān)性系數(shù)的絕對(duì)值分別為0.758 2，0.517 8，0.396 2，由此可見，與紅色通道的觀察信號(hào)相似性最低的是估計(jì)信號(hào)的第三個(gè)分量。采用JADE、對(duì)角累積量和Robust ICA 3種方法提取的人體心率與參考心率值的對(duì)比結(jié)果如圖3所示。采用盲源分離方法提取出的心率值在圖中用符號(hào)‘+’標(biāo)出，脈搏血氧儀記錄的參考心率值用‘o’標(biāo)出。

圖3 采用3種盲源分離方法提取的人體心率與參考心率值的對(duì)比

從圖3中，可以看出使用JADE算法恢復(fù)出的心率值與參考心率值重合的點(diǎn)是9個(gè)，與參考心率誤差在±2范圍內(nèi)的點(diǎn)有4個(gè)；使用對(duì)角累積量算法恢復(fù)出的心率值與參考心率值重合的點(diǎn)是9個(gè)，與參考心率誤差在±2范圍內(nèi)的點(diǎn)有6個(gè)；使用Robust ICA算法恢復(fù)出的心率值與參考心率值重合的點(diǎn)是9個(gè)，與參考心率誤差在±2范圍內(nèi)的點(diǎn)有4個(gè)。由此可見，對(duì)角累積量篩選出來的估計(jì)PPG信號(hào)恢復(fù)出的心率值與實(shí)際心率更接近。

采用統(tǒng)計(jì)的方法，分析使用3種盲源分離算法得到心率值的統(tǒng)計(jì)特征，根據(jù)心率值與脈搏血氧儀測(cè)得的參考心率值差的絕對(duì)值，計(jì)算出均值（M），標(biāo)準(zhǔn)方差（SD）和均方根誤差（RMSE）。為了對(duì)比3種方法恢復(fù)心率的平均性能，統(tǒng)計(jì)數(shù)據(jù)包括估計(jì)出的全部信號(hào)分量，不做篩選。分別在上午、中午、下午時(shí)段，針對(duì)3個(gè)人錄制4段視頻，表1到表4為4段視頻提取心率結(jié)果的統(tǒng)計(jì)特征。

表1 視頻1估計(jì)心率值的統(tǒng)計(jì)參數(shù)結(jié)果

表2 視頻1估計(jì)心率值的統(tǒng)計(jì)參數(shù)結(jié)果

利用Bland-Altman圖的差值法[14]分析4段視頻的提取心率結(jié)果，每段視頻測(cè)量出3組數(shù)據(jù)，每組數(shù)據(jù)包含16個(gè)心率值，4段視頻一共有192對(duì)結(jié)果，如圖4所示。圖4中表示采用盲源分離算法提取的心率值與參考心率值的差值，Sd是差值的標(biāo)準(zhǔn)差用來表示的變異情況，假設(shè)差值的分布服從正態(tài)分布，則95%的差值應(yīng)該位于dm-1.96Sd和dm+1.96Sd之間，這個(gè)區(qū)間稱為95%的一致性界限，大多數(shù)的差值應(yīng)該位于該區(qū)間。

從圖4中可以看出在95%的置信區(qū)間內(nèi)，JADE算法恢復(fù)出的心率值與參考心率值的差值浮動(dòng)范圍是從-50到50 bpm，對(duì)角累積量算法對(duì)應(yīng)差值的浮動(dòng)范圍是從-20到20 bpm，浮動(dòng)范圍明顯減小。Robust ICA算法對(duì)應(yīng)差值的浮動(dòng)范圍是從-40到50 bpm。由此可以看出，對(duì)角累積量算法恢復(fù)出的心率值與參考心率值表現(xiàn)出更好的一致性。3種方法的估計(jì)運(yùn)行時(shí)間如表5所示。

表3 視頻3估計(jì)心率值的統(tǒng)計(jì)參數(shù)結(jié)果

表4 視頻4估計(jì)心率值的統(tǒng)計(jì)參數(shù)結(jié)果

圖4 采用3種盲源分離方法提取視頻心率結(jié)果的Bland-Altman一致性分析

表5 3種盲源分離算法方法的運(yùn)行時(shí)間

從表5中可以看出，Robust ICA算法的時(shí)間復(fù)雜度最低，對(duì)角累積量的運(yùn)行時(shí)間相對(duì)較長(zhǎng)，但是通過調(diào)整參數(shù)值，可以使對(duì)角累積量算法迭代快速收斂，收斂的迭代次數(shù)可從幾千次下降到幾百次，而結(jié)果的準(zhǔn)確性變化不大，通過選擇合適的參數(shù)，可使對(duì)角累積量算法的時(shí)間復(fù)雜度控制在1 s之內(nèi)，基本滿足快速實(shí)時(shí)提取心率的要求[15]。

3 結(jié)束語

研究從可見光譜視頻中用盲源分離方法提取光電容積脈搏波，再通過FFT變換轉(zhuǎn)化成人體心率。本文從心率準(zhǔn)確性和時(shí)間復(fù)雜性上對(duì)比了JADE、對(duì)角累積量和Robust ICA算法。得出以下結(jié)論：提取心率的精度從高到低排序所使用的算法依次是對(duì)角累積量算法，Robust ICA算法，JADE算法。而計(jì)算速率從高到低排序依次是Robust ICA算法，JADE算法，對(duì)角累積量算法。由此可見，3種方法在視頻提取心率問題上表現(xiàn)出不同的優(yōu)點(diǎn)，實(shí)際應(yīng)用中，可以根據(jù)具體情況，具體要求，選擇3種算法其中之一。

[1]Haan G de，Jeanne V，Robust pulse-rate from chrominance-based rPPG[J],IEEE Transaction on Biomedical Engineering,2013，60（10）:2878-2886.

[2]Pavlidis I，Dowdall J，Sun N，et al.Interacting with human physiology[J].Computer Vision and Image Understanding,2007，108（1）:150-170.

[3]Poh M Z，McDuff D J，Picard R W.Non-contact, automated cardiac pulse measurements using video imaging and blind source separation[J].Optics Express,2010，18（10）:10762-10774.

[4]Poh M Z，McDuff D J，Picard R W.Advancements in noncontact,multiparameter physiological measurements using a webcam[J].Biomedical Engineering，IEEE Transactions on,2011，58（1）:7-11.

[5]Kwon S，Kim H，Park K S.Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone[C].The 2012 IEEE Annual International Conference of Engineering in Medicine and Biology Society（EMBC），2012: 2174-2177.

[6]Wei L，Tian Y，Wang Y，et al.Automatic webcambased human heartrate measurements using laplacianeigenmap[M].Computer Vision-ACCV 2012.Springer Berlin Heidelberg,2013:281-292.

[7]Kwon S，Kim H，Park K S.Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone[C].The 2012 IEEE Annual International Conference of Engineering in Medicine and Biology Society（EMBC），2012: 2174-2177.

[8]Peng F，Zhang Z，Gou X，et al.Motion artifact removal from photoplethysmographic signals by combining temporally constrained independent component analysis and adaptive filter[J]. Biomedical engineering online，2014，13（1）:50.

[9]BousefsafF，MaaouiC，PruskiA.Continuous wavelet filtering on webcam photoplethysmographic signals to remotely assess the instantaneous heart rate[J].Biomedical Signal Processing and Control, 2013，8（6）:568-574.

[10]Cardoso J F.High-order contrasts for independent component analysis[J].Neural computation,1999，11（1）:157-192.

[11]劉琚，孫建德，許宏吉.盲信號(hào)處理理論與應(yīng)用[M].北京:科學(xué)出版社，2013.

[12]Zarzoso V，Comon P.Robust independent component analysis by iterative maximization of the kurtosis contrast with algebraic optimal step size[J].IEEE Transactions on Neural Networks,2010，21（2）: 248-261.

[13]Humphreys K，Ward T，Markham C.Noncontact simultaneousdualwavelength photoplethy-smography:a further step toward noncontact pulse oximetry[J].Reviewofscientificinstruments，2007，78（4）:044-304.

[14]Bland J M，Altman D G.Statistical methods for assessing agreementbetween two methodsof clinical measurement[J].International Journal of Nursing Studies，2010，47（8）:931-936.

[15]王蒙軍，王楠，王霞，等.由可見光譜視頻中提取心率的對(duì)角累積量法[J].光學(xué)精密工程，2015，23（9）:2698-2707.

Extracting Photoplethysmography from video based on blind signal estimation algorithm

WANG Nan，WANG Xia，F(xiàn)U Xiao-jing，WANG Meng-jun
（School of Information Engineering，Hebei University of Technology，Tianjin 300401，China）

Photoplethysmography（PPG）signal can be extracted from an image sequence of human face in color video，and then human's heart rate is extracted.In order to ensure real-time and accuracy，make less dependence on external light conditions，research on using diagonal cumulant algorithm and robust ICA algorithm for extracting PPG from color video，and transformed into human heart rate.By comparative analysis experiment of the heart rate results using diagonal cumulant algorithm，robust ICA algorithm and the traditional algorithm，i.e.the joint approximate diagonalization algorithm for extracting PPG from color video，the error between heart rate results using diagonal cumulant algorithm and the actual heart rate is smaller，thus higher accuracy，the running time of robust ICA algorithms to extract heart rate less than 0.2s，thus more real-time.

Photoplethysmography；heart rate detection；diagonal cumulant algorithm；JADE；Robust ICA

TN929.1

：A

：1674－6236（2017）03-0176-05

2016-01-19稿件編號(hào)：201601162

國(guó)家自然科學(xué)基金（ZD20131043）

王 楠（1988—），女，天津人，碩士研究生。研究方向：數(shù)字圖像處理。