高级搜索

头部旋转运动下自适应非接触鲁棒性心率检测方法

,  ,  ,  ,  , 

downloadPDF

上一篇

下一篇

巴图巴雅尔·欧赟, 赵跃进, 孔令琴, 董立泉, 刘明, 惠梅. 头部旋转运动下自适应非接触鲁棒性心率检测方法[J]. 物理学报, 2022, 71(5): 058704-1. doi: 10.7498/aps.71.20211634
引用本文: 巴图巴雅尔·欧赟, 赵跃进, 孔令琴, 董立泉, 刘明, 惠梅. 头部旋转运动下自适应非接触鲁棒性心率检测方法[J]. 物理学报, 2022, 71(5): 058704-1. doi: 10.7498/aps.71.20211634
shu
Ou-Yun Batubayaer, Yue-Jin Zhao, Ling-Qin Kong, Li-Quan Dong, Ming Liu, Mei Hui. Adaptive non-contact robust heart rate detection method under head rotation motion[J]. Acta Physica Sinica, 2022, 71(5): 058704-1. doi: 10.7498/aps.71.20211634
Citation: Ou-Yun Batubayaer, Yue-Jin Zhao, Ling-Qin Kong, Li-Quan Dong, Ming Liu, Mei Hui. Adaptive non-contact robust heart rate detection method under head rotation motion[J]. Acta Physica Sinica, 2022, 71(5): 058704-1. doi: 10.7498/aps.71.20211634
shu

头部旋转运动下自适应非接触鲁棒性心率检测方法

  • 1.

    北京理工大学光电学院, 北京　100081

  • 2.

    北京理工大学, 精密光电测试仪器及技术北京市重点实验室, 北京　100081

  • 3.

    北京理工大学长三角研究院(嘉兴), 嘉兴　314019

    • 通讯作者: E-mail: yjzhao@bit.edu.cn;  E-mail: konglingqin3025@bit.edu.cn; 

  • 中图分类号: 87.85.-d, 87.19.Hh, 42.30.-d, 87.57.cp

Adaptive non-contact robust heart rate detection method under head rotation motion

  • 1.

    School of Optics and Photonics, Beijing Institute of Technology, Beijing 100081, China

  • 2.

    Beijing Key Laboratory for Precision Optoelectronic Measurement Instrument and Technology, Beijing Institute of Technology, Beijing 100081, China

  • 3.

    Yangtze Delta Region Academy, Beijing Institute of Technology, Jiaxing 314019, China

    • Corresponding authors: E-mail: yjzhao@bit.edu.cn;  E-mail: konglingqin3025@bit.edu.cn; 

  • MSC: 87.85.-d, 87.19.Hh, 42.30.-d, 87.57.cp

  • 摘要: 基于人脸视频的生理信号检测面临的主要挑战是运动伪影噪声. 针对受试者头部刚性旋转运动引起的伪影噪声, 本文提出利用头部运动信息构建自适应滤波器的非接触式心率检测方法. 该方法利用人脸二维和三维的特征点计算受试者运动中头部的偏航和俯仰欧拉角度, 并将其作为调控过程噪声协方差的信号质量指数, 进而构建了自适应Kalman滤波器, 实现了稳健的心率估计. 实验结果表明: 本文提出的方法可有效抑制头部刚性旋转运动引起的噪声, 平均绝对误差为2.22 beat/min, 均方根误差为2.76 beat/min, 与现有方法相比准确度分别提升9%与24.6%, 具有统计显著性. 本文提出的头部旋转角度自适应非接触鲁棒性心率检测方法在自发运动的真实场景下能有效提升检测的准确性, 扩大了成像式光电容积描记技术在视频健康监测领域的使用场景.
    Abstract: The dominant challenge of vital signal monitoring based on facial video is to eliminate the interference of motion artifacts. In this paper, we propose a non-contact heart rate detection method based on an adaptive filter constructed by head movement information to tackle the noise of motion artifacts caused by the rigid rotation of the subject's head. The two-dimensional and three-dimensional feature points of the subject’s face are used to calculate the yaw and pitch Euler angles of the head movement, then the yaw and pitch Euler angles are used as a novel signal quality index (SQI) for modulating process noise covariance to construct an adaptive Kalman filter, and finally robust heart rate is estimated by this method. The experimental results show that the proposed method can effectively suppress the noise caused by the head rigid rotation with an average absolute error of 2.22 beat/min and a root mean square error of 2.76 beat/min, which are statistically significant with an accuracy improvement of 9% and 24.6%, respectively, compared with the existing methods. The adaptive non-contact robust heart rate detection technique based on head rigid rotation may effectively enhance the accuracy in real-world motion situations, as well as broaden the range of applications for IPPG in the field of the video-based monitoring of health conditions.
  • 加载中

  • 图 1  人脸的3个旋转运动自由度

    Figure 1.  Three rotational freedom degrees of human head.

    下载: 全尺寸图片 幻灯片

    图 2  头部旋转角度信息作为自适应滤波器质量控制的流程图

    Figure 2.  Flow chart of head rotation angles as a quality control of our proposed adaptive filter.

    下载: 全尺寸图片 幻灯片

    图 3  实验方案图　(a) 实验装置示意图; (b) 采集到的视频片段((i)头部姿势的欧拉角为0°; (ii) 头部俯仰运动; (iii) 头部偏航)

    Figure 3.  Experimental plan diagram: (a) Experiment set-up; (b) video clips ((i) the Euler angle of the head pose is 0°; (ii) the head pitch segment; (iii) the head yaw segment).

    下载: 全尺寸图片 幻灯片

    图 4  矩形ROI区域选取示意图　(a)面部68个关键点检测; (b)脸颊矩形ROI区域; (c)偏航运动时ROI区域

    Figure 4.  Flow chart of rectangular ROI area selection: (a) 68 feature points detection; (b) rectangular ROI area; (c) ROI area during yaw motion.

    下载: 全尺寸图片 幻灯片

    图 5  本文提出方法的流程图

    Figure 5.  Flow chart of method proposed in this paper.

    下载: 全尺寸图片 幻灯片

    图 6  本文提出的滤波器与CHROM结合的对比结果

    Figure 6.  Comparison results of the filter proposed in this paper combined with CHROM.

    下载: 全尺寸图片 幻灯片

    图 7  21组实验结果相关性图(图中红线表示y=x的线性关系)　(a) CHROM方法的相关性图; (b)本文提出的滤波器与CHROM结合的相关性图

    Figure 7.  Correlation plots of 21 groups of experimental results (the red lines in the plots indicate linear relationship of y = x): (a) Correlation plot of CHROM method; (b) correlation plot of combining CHROM with our proposed adaptive filter.

    下载: 全尺寸图片 幻灯片

    表 1  本文提出的自适应滤波器与不同的传统方法结合前后实验结果对比

    Table 1.  Comparison of experimental results before and after combining the filter proposed in this paper with different traditional methods.

    方法类型 传统的方法传统方法结合本文的滤波器
    MAE/(beat·min–1)RMSE/(beat·min–1)$ {\mathit{R}}^{2} $MAE/(beat·min–1)RMSE/(beat·min–1)$ {\mathit{R}}^{2} $
    GREEN5.988.650.5471 3.884.950.7217
    CDF5.469.220.59933.184.160.8402
    POS3.224.850.76442.863.610.8181
    POS+CDF6.6911.590.47743.254.420.8517
    CHROM2.443.660.81422.222.740.8401
    CHROM+CDF4.718.900.75142.623.460.8901
    下载: 导出CSV
  • [1] Franco M, Cooper R S, Bilal U, Fuster V 2011 Am. J. Med. 124 95 doi: 10.1016/j.amjmed.2010.08.015
    [2] Allen J 2007 Physiol. Meas. 28 R1 doi: 10.1088/0967-3334/28/3/R01
    [3] Shelley K H 2007 Anesth. Analg. 105 S31 doi: 10.1213/01.ane.0000269512.82836.c9
    [4] Sun Y, Thakor N 2016 IEEE Trans. Biomed. Eng. 63 463 doi: 10.1109/TBME.2015.2476337
    [5] Hulsbusch M, Blazek V 2002 Medical Imaging San Diego, California, USA, April 24, 2002 110
    [6] Verkruysse W, Svaasand L O, Nelson J S 2008 Opt. Express 16 21434
    [7] Wieringa F P, Mastik F, Steen A 2005 Ann. Biomed. Eng. 33 1034 doi: 10.1007/s10439-005-5763-2
    [8] Shao D, Yang Y, Liu C, Tsow F, Yu H, Tao N 2014 IEEE Trans. Biomed. Eng. 61 2760 doi: 10.1109/TBME.2014.2327024
    [9] Hülsbusch M 2008 Ph. D. Dissertation (Aachen: RWTH Aachen University) (in German)
    [10] Poh M Z, McDuff D J, Picard R W 2010 Opt. Express 18 10762 doi: 10.1364/OE.18.010762
    [11] Poh M Z, McDuff D J, Picard R W 2010 IEEE Trans. Biomed. Eng. 58 7 doi: 10.1109/TBME.2010.2086456
    [12] Lewandowska M, Ruminski J, Kocejko T, Nowak J 2011 Federated Conference on Computer Science and Information Systems-FedCSIS 2011 Szczecin, Poland, September 18–21, 2011 p405
    [13] Haan G D, Jeanne V 2013 IEEE Trans. Biomed. Eng. 60 2878 doi: 10.1109/TBME.2013.2266196
    [14] Wang W, Brinker A C D, Stuijk S, Haan G D 2017 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017) Washington, USA, May 30–June 3, 2017 p71
    [15] Wang W, Brinker A C D, Stuijk S, Haan G D 2016 IEEE Trans. Biomed. Eng. 64 1479 doi: 10.1109/TBME.2016.2609282
    [16] Wang W, Brinker A C D, Stuijk S, Haan G D 2017 Physiol. Meas. 38 1023 doi: 10.1088/1361-6579/aa6d02
    [17] Sun Y, Hu S, Azorin-Peris V, Greenwald S, Chambers J, Zhu Y 2011 J. Biomed. Opt. 16 077010 doi: 10.1117/1.3602852
    [18] Wang W, Stuijk S, Haan G D 2014 IEEE Trans. Biomed. Eng. 62 415 doi: 10.1109/TBME.2014.2356291
    [19] Wu B F, Huang P W, Lin C H, Chung M L, Tsou T Y, Wu Y L 2018 IEEE Access 6 21621 doi: 10.1109/ACCESS.2018.2828133
    [20] Kong L, Wu Y, Zhao Y, Dong L, Hui M, Liu M, Liu X 2020 IEEE Photonics J. 12 1 doi: 10.1109/JPHOT.2020.2995397
    [21] Viola P A, Jones M J 2001 Computer Vision and Pattern Recognition Kauai, Hawaii, USA, December 8–14, 2001 p511
    [22] Kwon S, Kim J, Lee D, Park K 2015 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) Milan, Italy, August 25–29, 2015 p4938
    [23] 杨萍, 侯威, 封国林 2008 物理学报 57 5333 doi: 10.7498/aps.57.5333 Yang P, Hou W, Feng G L 2008 Acta Phys. Sin. 57 5333 doi: 10.7498/aps.57.5333
    [24] Bousefsaf F, Maaoui C, Pruski A 2013 Biomed. Signal Process. Control 8 568 doi: 10.1016/j.bspc.2013.05.010
    [25] Haan G D, Leest A V 2014 Physiol. Meas. 35 1913 doi: 10.1088/0967-3334/35/9/1913
    [26] 孔令琴 2014 博士学位论文 (北京: 北京理工大学) Kong L 2014 Ph. D. Dissertation (Beijing: Beijing Institute of Technology) (in Chinese)
    [27] Wang W 2017 Ph. D. Dissertation (Eindhoven, The Netherlands: Eindhoven University of Technology)
    [28] Smith W J 2008 Modern Optical Engineering: The Design of Optical Systems (4th Ed.) (New York: The McGraw-Hill Companies, Inc) p253
    [29] Asthana A, Zafeiriou S, Cheng S, Pantic M 2013 Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on Portland, Oregon, USA, June 23–28, 2013 p3444
    [30] Baltrusaitis T, Robinson P, Morency L 2012 IEEE Conference on Computer Vision & Pattern Recognition Providence, Rhode island, USA, June 16–21, 2012 p2610
    [31] Baltrusaitis T, Robinson P, Morency L 2016 IEEE Winter Conference on Applications of Computer Vision Lake Placid, New York, USA, March 7–10, 2016 p1
    [32] Baltrusaitis T, Zadeh A, Lim Y C, Morency L 2018 IEEE International Conference on Automatic Face & Gesture Recognition Xi’an, China, May 15–19, 2018 p59
    [33] Andreotti F, Trumpp A, Malberg H, Zaunseder S 2015 2015 IEEE 35th International Conference on Electronics and Nanotechnology (ELNANO) Kyiv, Ukraine, April 21–24, 2015 p428
    [34] 张玉燕, 殷东哲, 温银堂, 罗小元 2021 物理学报 70 118102 doi: 10.7498/aps.70.20210442 Zhang Y Y, Yin D Z, Wen Y T, Luo S Y 2021 Acta Phys. Sin. 70 118102 doi: 10.7498/aps.70.20210442
    [35] Nemati S, Malhotra A, Clifford G 2010 EURASIP J. Adv. Signal Process. 2010 926305 doi: 10.1155/2010/926305
    [36] Tarvainen M P, Ranta-Aho P O, Karjalainen P A 2002 IEEE Trans. Biomed. Eng. 49 172 doi: 10.1109/10.979357
    [37] Fallet S, Moser V, Braun F, Vesin J M 2017 Computing in Cardiology Conference Vancouver, BC, Canada, September 11–14, 2016 p341
  • 加载中
图( 7) 表( 1)
计量
  • 文章访问数:  323
  • HTML全文浏览数:  323
  • PDF下载数:  2
  • 施引文献:  0
出版历程
  • 收稿日期:  2021-09-02
  • 刊出日期:  2022-03-05

头部旋转运动下自适应非接触鲁棒性心率检测方法

    通讯作者: E-mail: yjzhao@bit.edu.cn; 
    通讯作者: E-mail: konglingqin3025@bit.edu.cn; 
  • 1. 北京理工大学光电学院, 北京　100081
  • 2. 北京理工大学, 精密光电测试仪器及技术北京市重点实验室, 北京　100081
  • 3. 北京理工大学长三角研究院(嘉兴), 嘉兴　314019
  • 收稿日期:  2021-09-02

摘要: 基于人脸视频的生理信号检测面临的主要挑战是运动伪影噪声. 针对受试者头部刚性旋转运动引起的伪影噪声, 本文提出利用头部运动信息构建自适应滤波器的非接触式心率检测方法. 该方法利用人脸二维和三维的特征点计算受试者运动中头部的偏航和俯仰欧拉角度, 并将其作为调控过程噪声协方差的信号质量指数, 进而构建了自适应Kalman滤波器, 实现了稳健的心率估计. 实验结果表明: 本文提出的方法可有效抑制头部刚性旋转运动引起的噪声, 平均绝对误差为2.22 beat/min, 均方根误差为2.76 beat/min, 与现有方法相比准确度分别提升9%与24.6%, 具有统计显著性. 本文提出的头部旋转角度自适应非接触鲁棒性心率检测方法在自发运动的真实场景下能有效提升检测的准确性, 扩大了成像式光电容积描记技术在视频健康监测领域的使用场景.

English Abstract

    全文HTML

    1.   引 言

    • 心脑血管疾病已经成为人类健康的主要威胁, 根据心脑血管疾病早发现、早治疗, 积极干预的防治需求[1], 寻求一种操作简单、结果准确、可重复性好、并可应用于大规模人群日常检测的测量技术具有重要意义. 成像式光电容积描记(imaging photoplethysmography, IPPG)技术是在光电容积描记(photoplethysmography, PPG)技术基础上发展的一种基于成像设备的非接触生理参数检测技术[2,3], 克服了传统PPG技术存在的缺陷, 正逐渐应用于远程医疗监控等领域, 成为近年来研究的热点[4,5].

      基于IPPG的心率测量技术研究已经取得了重要进展, 可以在受试者静止及轻微非刚性运动状态下实现心率测量[6,7], 运动伪影是目前限制该技术的主要瓶颈. 解决运动伪影的常用方法主要包括基于数据的颜色通道线性组合法、基于先验知识的颜色通道组合法及基于图像预处理的方法. 基于数据的颜色通道线性组合法是依据血红蛋白的光吸收在整个光谱范围内的相对强度差异性, 利用数据统计线性组合人体皮肤在三色通道的信号实现运动鲁棒性的方法, 通常绿色通道具有较强的脉搏信号强度[8]. 2008年, Hülsbusch[9]构建了双色通道线性组合法, 首次利用该强度的差异性将PPG信号和运动伪影分成两个独立的信号; 2010年, Poh等[10,11]扩展了这项工作, 提出了通过独立分量分析(independent component analysis, ICA)方法, 并将非高斯性作为独立标准线性组合三通道信号; Lewandowska等[12]在2011年提出主成分分析(principal component analysis, PCA)法重新定义了三通道的独立线性组合, 使用盲源分离技术(blind source separation, BSS)分离了PPG信号及噪声. 基于数据的颜色通道线性组合法认为携带脉搏信号的成分是先验未知的, 同时显示出最强的周期性, 但由于运动伪影同样具有强周期性使其不适用于真实运动场景. 由于基于数据的线性组合法需要较长观测时间, 有研究提出了基于先验知识的颜色通道组合法, 根据不同的经验推理加权组合三色通道信号克服运动伪影. 其中具有代表性的研究如下: 2013年Haan和Jeanne[13]提出的基于皮肤反射物理模型组合三通道信号获得色度(chrominance, CHROM)信号的方法, 首次实现利用IPPG技术测量单人受试者在健身器材上运动时的心率; 2017年, Wang等[14]提出了颜色失真滤波算法(color-distortion filtering, CDF), 选取不同的颜色特征变化作为噪声和信号的分离依据, 从而实现对RGB信号滤波; 2017年, Wang等[15,16]提出的基于正交肤色平面(plane orthogonal to skin, POS)的方法, 在RGB空间中寻找一个与皮肤正交的平面以提取脉冲信号. 上述研究均是针对信号处理部分, 实际上对图像进行跟踪配准等预处理也可以实现在一定程度减小运动伪差影响, 如图像配准法[17]、感兴趣区域(region of interest, ROI)空间平均法[6]、ROI跟踪法[18]、依据时频分析法的抗运动频谱峰值跟踪[19], 及适用于长距离移动的基于自适应变焦系统心率检测法[20]等.

      然而, 现有方法均只适用于呼吸、头部轻微移动等非刚性运动场景, 当受试者进行旋转头部和行走等自发性运动时无法准确估计心率. 针对上述问题, 本文提出了一种利用角度信息构造自适应滤波器抑制头部刚性旋转运动伪差的方法, 提供单一稳健的心率估计. 该方法在目前基于IPPG心率测量研究的基础上扩大了在自发运动状况下的使用场景, 满足了在头部刚性旋转运动场景下非接触的实时准确测量心率, 从而有效监控运动中受试者的健康状态, 进一步推动了IPPG在生理信号检测和视频健康监测领域的发展.

      基于人脸视频[21]的IPPG心率测量技术, 利用成像设备对包含被测部位的信息进行视频采集[22], 将脉搏信号即由血液容积变化引起的光强变化用视频图像的方式记录下来, 再通过对视频图像处理提取出脉搏波信号[23-25], 最后通过脉搏波特征量的分析实现心率信号的提取[4,26,27]. 事实上, 在普通的生活场景中, 如在健身、长期远程连接医疗监控技术时, 难以避免受试者相对于相机的运动. 下面将针对受试部位(脸部)刚性旋转运动引起的运动伪差, 分析其产生原因, 并对本文提出的噪声抑制方法进行阐述.

    2.   方　法

    • 基于人脸视频的IPPG心率测量技术, 利用成像设备对包含被测部位的信息进行视频采集, 将脉搏信号即由血液容积变化引起的光强变化用视频图像的方式记录下来, 再通过对视频图像处理提取出脉搏波信号, 最后通过脉搏波特征量的分析实现心率信号的提取.

      • 2.1.   刚性运动伪差

    • 在运动的场景中, 将人脸视作一个刚体, 即其在三维空间中的旋转运动可以分为3种类型: 俯仰(pitch)、偏航(yaw)、翻转(roll), 如图1所示.

      当生物皮肤组织在各个方向具有均匀照度的理想环境(积分球)中, 且观察角度小于60°时, 可近似视作扩展的朗伯辐射源[28]. 假设人脸在理想光照环境中运动, 即将人脸视作扩展朗伯辐射源, 其辐亮度与方向无关.

      当人脸保持静止时, 成像系统像平面的辐照度$E$可表示为

      其中, $\tau $表示成像系统透过率; $L$表示ROI辐亮度; $ {D}/{{f}'}$表示光学系统数值孔径.

      CCD相机接收到的总功率$ P $可表示为

      其中, $ {A_{{\text{EP}}}} $表示入射光瞳面积.

      原始IPPG信号正比于CCD接受总功率与ROI的像面积之比

      人脸作为扩展朗伯辐射源, 所以当人脸以角度$ \alpha $旋转时辐亮度$L$不随角度$ \alpha $变化, 只有ROI的像面积随角度$ \alpha $变化, 因此(3)式应改写为

      由于当人脸做翻转运动时CCD相机获取的像面大小实际上没有改变, 并且在真实场景中头部的上下、左右方向的旋转运动更频繁, 故在本文中仅考虑俯仰和偏航运动对心率信号的影响.

      人脸做俯仰和偏航运动会引起$ {\cos ^2}\alpha $的变化, 从而对IPPG信号引入误差. 然而真实场景中的环境与均匀照度的积分球的差异较大, 人脸ROI作为接收面, 入射光强会随着接收面法线和辐射方向的夹角改变而变化, 导致CCD相机采集视频时人脸ROI作为辐射面的辐亮度$L$也会随着之改变.

      综上所述, 当人脸做俯仰或偏航运动时, 原始IPPG信号会受旋转角度$ \alpha $变化及ROI入射光强变化的调制, 继而引入了运动伪影.

      • 2.2.   旋转运动自适应滤波器

    • 依据贝叶斯算法, 在测量心率前对真值的预测为该时刻的先验概率, 在得到测量值后对真实值的估计为后验概率. 由于后验概率中包含测量过程中产生的噪声, 例如运动伪影等, 故利用先验概率修正信号实现对错误心率估计的滤波. 本文仅考虑测量过程中旋转头部运动的影响, 如无特别说明下文中提到的测量噪声均指旋转头部运动引入的伪影.

      依据2.1节的分析, 本文利用贝叶斯框架, 设计了一种头部旋转运动自适应滤波器, 其实质是根据人脸旋转的角度信息自适应地改变过程噪声协方差估计, 在新数据到达时准确估计心率动态变化.

      • 2.2.1.   自适应过程噪声协方差

    • 为从人脸视频中获取头部旋转角度信息, 即头部姿态欧拉角, 首先利用 CLNF 算法定位面部特征点坐标, 并将二维点反向投影到三维人脸模型, 得到三维点坐标, 再通过标定获得相机标定参数, 最后利用最小二乘法求解透视位姿得出头部姿态欧拉角[29-32]. 本文仅考虑俯仰角度(pitch)和偏航角度(yaw):

      对所获角度的绝对值进行归一化并取反操作, 使数值范围在0—1之间. 并满足旋转角度较大时数值趋近于0, 角度较小时数值趋近于1:

      令信号质量指数为

      利用信号质量指数$ {\theta _{{\text{SQI}}}} $调节测量噪声协方差估计, 构成头部旋转自适应协方差$ {R_{{\text{SQI}}}} $:

      其中, $ {R_0} $取经验值0.1[33]. 由此将获得的自适应测量噪声协方差与Kalman滤波器结合, 使得滤波器在头部旋转欧拉角较大即数据置信度较低时, 测量噪声协方差较大.

      • 2.2.2.   基于$ {R_{{\text{SQI}}}} $调控Kalman增益构造自适应滤波器

    • 本文提出的贝叶斯决策是基于张玉燕等[34]和Nemati等[35]提出的Kalman滤波器基础上实现的. Kalman滤波器提供了一种有效的递归解决方案, 它通过组合之前状态值和当前观测值, 推断或重构最符合系统状态真实值的最优估计.

      假设第$ {k} $个的心率真实状态值为$ {{\boldsymbol{x}}_k} $, 观测值为$ {{\boldsymbol{y}}_k} $, 分别满足如下的离散时间差分方程:

      其中, ${\boldsymbol{A}}$为状态转移矩阵; ${{\boldsymbol{x}}_{k - 1}}$为前一时刻的心率状态值; ${{\boldsymbol{u}}_k}$为该时刻系统的控制输入变量; $ H $为系统的测量参数; ${{\boldsymbol{w}}_{k - 1}}$为过程激励噪声, ${{\boldsymbol{v}}_k}$为测量噪声, 二者均为高斯噪声且相互独立, 他们的正态分布均值为0, 协方差分别为${Q_k} = E\left\{ {{{\boldsymbol{w}}_k}{\boldsymbol{w}}_k^{\text{T}}} \right\}$, ${R_k} = $$ E\left\{ {{{\boldsymbol{v}}_k}{\boldsymbol{v}}_k^{\text{T}}} \right\}$. 由于人体在稳定状态下心率不会突变, 因此假定$ A $为单位矩阵; 忽略控制输入变量、将测量参数$ H $设为1; 忽略过程激励噪声的影响, 将$ Q $设置为经验值1. (10)式和(11)式改写为

      假设第$ k - 1 $个心率为均值为$ \mu _{k - 1}^ + $、协方差为$ \sigma _{k - 1}^ + $的正态分布$ {x_{k - 1}} \sim N(\mu _{k - 1}^ + , \sigma _{k - 1}^ + ) $, 即第$ k - 1 $个时刻的后验估计的协方差为$ \sigma _{k - 1}^ + $.

      预测步骤

      根据贝叶斯规则, 第$ {k} $个时刻的先验估计及协方差为

      即预测步骤为: 当前时刻的先验概率由上一时刻的后验概率决定.

      更新步骤

      可以由预测步骤得到第$ {k} $个时刻的状态更新, 即后验估计及协方差为

      (16)式和(17)式中, Kalman增益是Kalman滤波过程中的核心步骤. 利用(9)式得到的自适应测量噪声协方差来调节Kalman增益系数, 定义如下:

      当出现伪影时, 估计测量噪声协方差$ {R_{{\text{SQI}}}} $会增大, 显著降低Kalman增益, 此时降低测量数据的置信度, 更信任该时刻的先验概率分布.

      图2为本文提出自适应滤波器的算法流程图. 首先, 使用头部姿势欧拉角信息构建心率信号质量指数, 用于估计自适应测量噪声协方差$ {R_{{\text{SQI}}}} $. 然后, 利用$ {R_{{\text{SQI}}}} $计算Kalman增益系数; 根据头部姿势角度值的动态变化, 结合Kalman增益系数、心率测量值和当前时刻的先验概率, 实现对新到达数据的自适应滤波. 最终, 将当前状态的后验概率更新为后续状态的先验概率. 当某一时刻后不再有新的心率测量值传入时, 退出该更新迭代循环.

    3.   实验系统

      3.1.   实验方案

    • 实验方案如图3所示. 实验中采集的视频帧率为30 frame/s, 分辨率为1024×768, 并保存为AVI格式. 所有测量均采用环境光稳定的房间, 避免了环境光强突变对实验结果的干扰. 在所有实验中, CCD相机采集人脸视频, 然后通过数据线传输到电脑端进行存储和分析. 同时, 利用指夹式血氧仪(德州仪器公司, AFE4400SPO2EVM)进行心率检测, 并将其测量结果作为参考真值.

      参加实验的志愿者为21名年龄在23—28周岁之间的在校研究生, 志愿者在参加实验前被告知了实验目的且均是自愿参加实验, 所有参加实验的志愿者均身体健康无心脏病等疾病. 实验中, 要求受试者距离CCD相机0.5 m保持静止, 并正向面对相机(视线与相机法线平行)随机做出头部俯仰及偏航的动作.

      • 3.2.   感兴趣区域提取

    • 本文设计了如下由面部关键点构建的动态脸颊与鼻翼ROI区域提取方法: 选取面部68个关键点中第1, 17, 42和47个关键点构建人脸ROI区域, 如图4(a)所示. 由$ {p_1} $和$ {p_2} $关键点决定的矩形区域作为ROI区域, 如图4(b)所示.

      图4中, $ {p_1} $和$ {p_2} $关键点的坐标由下式确定:

      式中$ {p_{xn}} $和$ {p}_{{y}n}(n=1, 16, 41, 46) $代表点$ n $的$ x $坐标和$ y $坐标; 加(减)50代表向右(左)偏移50个像素值, 如图4(b)中蓝色圆点所示; $ h $代表当前帧的人脸检测高度. 采用两侧关键点分别向内偏移50个像素值决定矩形框左右边界, 保证ROI区域内不会随着头部的旋转运动(如图4(c))而采集到环境背景, 从而很好地避免了引入唇色噪声和背景噪声.

      • 3.3.   数据处理

    • 本文提出的心率检测方法算法流程如图5所示. 首先采用开源工具OpenFace2.0对采集到的视频进行人脸检测, 基于特定人脸关键点选取毛细血管分布丰富的脸颊和鼻翼区域作为ROI, 对每一帧的人脸图像提取ROI区域可以有效克服因受试者头部移动等运动引入的噪声伪影. 然后将每一帧ROI的像素均值按视频时间序列连接生成原始IPPG信号. 然后将每一帧ROI的像素均值按视频时间序列连接生成原始IPPG信号. 再采用先验平滑滤波(prior smoothing filter, PSF) [36]对IPPG信号进行去趋势处理, 去除信号的低频漂移趋势噪声. 通过小波滤波算法消除高频噪声, 具体为首先选择db12小波基对原始信号进行6层分解, 由于人体脉搏信号频率一般在0.7—4.0 Hz之间, 因此选择第4, 5, 6层的细节信号重构脉搏波信号(对应的频率范围为0.469—3.75 Hz). 最后对去噪后的信号建立10 s的滑动窗口进行快速傅里叶变换[37], 设置滑动步长为0.2 s, 并对窗口内的有效数据进行补零操作避免频谱泄漏, 获得其对应功率谱, 并利用功率谱峰峰值所在频率估算心率. 并对指夹式血氧仪获取的一维时域脉搏信号同样以10 s的窗口大小及0.2 s的滑动步长进行快速傅里叶变换, 通过其功率谱计算得到参考真实心率值.

      在上述基础上, 结合人脸二维及三维特征点计算头部姿势欧拉角度, 进而根据角度绝对值获得信号质量指数$ {\theta _{{\text{SQI}}}} $, 利用$ {\theta _{{\text{SQI}}}} $估计测量噪声协方差$ {R_{{\text{SQI}}}} $从而调控Kalman增益, 以此构建一个头部旋转运动的自适应滤波器. 该滤波器能够依据头部旋转角度的变化动态滤除旋转运动引入的噪声, 进而实现单一稳健的心率检测.

    4.   结果与讨论

    • 为验证本文提出算法的可行性, 将所提出的滤波器与目前性能较佳的CHROM方法[13]结合并进行对比实验.

      图6 为某一受试者的测试结果. 图中浅灰色和深灰色虚线分别为头部偏航和俯仰角度变化曲线, 蓝线为参考设备指夹式血氧仪测得的心率值. 绿线为仅采用CHROM算法测得的心率值, 红线为加入本文提出的自适应滤波器算法后测得的心率值. 从图6可以看出, 当局部出现运动伪影时, CHROM不能有效抑制运动伪差, 而结合本文提出的算法后, 能稳健地抑制运动伪差, 实现心率准确测量.

      为定量描述上述两种方法的21组实验结果与真实心率值之间的一致性, 用相关性图进行了结果分析, 结果如图7所示.

      图7给出了CHROM方法和本文提出的滤波器与CHROM结合的21组实验结果相关性图. 图中任意一点的横轴表示实验的心率估计值, 纵轴表示指夹式血氧仪获得的心率参考真值. 从图7的相关性结果中可以看出, 与传统的CHROM方法相比, 利用本文所提方法获得的心率估计值与心率真实值更趋于一致, 表明头部旋转自适应滤波器显著提高了心率估计结果与真实心率结果的一致性.

      为了进一步证实这一结论说法, 将本文设计的滤波器与不同的传统方法(GREEN, CDF, POS, CHROM)结合前后的性能(误差)进行定量分析, 结果如表1所列.

      表1为本文设计的滤波器与不同的传统方法(GREEN, CDF, POS, CHROM)结合前后测得心率值的MAE和RMSE误差结果, 从表1可以看出, 4种方法增加了本文的自适应滤波器后MAE及RMSE均有明显提升效果; 其中在CHROM的基础上组合本文的自适应滤波器后的效果最优, 其MEA及RMSE值分别为2.22 beat/min和2.74 beat/min, 较CHROM的结果提升了9%和25%, $ {R^2} $相关系数提升了3%. 尤其应注意, CHROM叠加CDF再与本文的自适应滤波器结合后, $ {R^2} $相关系数最优, 高达0.8901, 说明CDF方法与本文的滤波器结合能有效提升心率信号与真实值的相关性. 上述结果分析表明, 本文提出的头部刚性旋转自适应滤波器能有效抑制旋转运动引入的伪影并且显著提升估计心率值的准确性.

      需要说明的是, 本文在处理头部姿态欧拉角度时应用的归一化操作使用了视频片段中的最大欧拉角度用于确定信号质量指数, 在实时监控受试者的心率值时, 会有一定的处理时间延迟, 因此我们会在未来的工作中继续进行相关的实验研究. Kalman滤波器参数的初始化值是影响该技术性能的重要因素, 本文并没有确定心率检测的最优滤波器参数, 相关工作将在日后的研究中进行探讨. 此外, 本文提出的由头部姿态信息估计自适应测量噪声协方差, 并以此构建自适应Kalman滤波器抑制运动伪差的方法, 适用于任何由运动伪影引入噪声的时间序列信号, 可以扩展到其他非接触式生理参数检测及跟踪技术领域.

    5.   结　论

    • 本文针对非接触式心率检测时受试者刚性运动引入伪影的问题, 提出了一种根据头部姿态角度作为主要失真指标提高心率测量准确率的方法. 该方法利用人脸检测技术获得受试者头部姿态欧拉角度并以此计算信号质量指数$ {\theta _{{\text{SQI}}}} $, 根据$ {\theta _{{\text{SQI}}}} $估计测量噪声协方差来调控Kalman增益, 从而构建一个头部刚性旋转运动的自适应滤波器, 利用该滤波器有效提高了心率检测准确性. 与传统的适应于运动场景的心率检测算法的对比分析表明, 本文提出并设计的自适应滤波器有效解决了头部刚性旋转运动引起伪差的问题. 该方法使基于人脸视频的心率检测技术在现实场景中有效监控受试者自发运动时的健康状态成为可能, 进一步推动了IPPG技术在生理信号检测和视频健康监测领域的发展.

    参考文献 (37)

目录

/

返回文章
返回