基于智能手机摄像的脉搏波重建及心率变异性监测论文

2020年10月12日14:00:43基于智能手机摄像的脉搏波重建及心率变异性监测论文已关闭评论

基于智能手机摄像的脉搏波重建及心率变异性监测论文

摘要

心血管疾病(如脑中风、冠心病、心律失常等)对人类生命健康危害极 大,早发现早治疗对心血管疾病的预防和治疗很重要。研究表明,心率变异性 分析是自主神经调节功能评估的重要临床指标,其对心血管疾病的突发风险具 有直接的预见性。传统的心率变异性参数是利用心电图波形分析计算得到的, 但是心电图检查受价格昂贵,操作繁琐等因素限制,不利于心血管病高危人群 的日常监测使用。随着我国老龄化进程的推进,心血管疾病患病人数逐年升 高,因此,研究一款使用便捷的心血管监测设备对提高我国心血管疾病防治水 平具有重要意义。

脉搏波是由心脏搏动引起的动脉内压力发生周期性波动的信号,其节律性 与心脏搏动节律具有极强的一致性。因此,脉搏波信号被广泛应用于心率计 算、心率变异性分析及心血管疾病诊断,如市面上成熟产品:智能手表与手 环。随着技术的发展,基于图像的光电容积脉搏波描记法得到广泛关注,该技 术可以从摄像头拍摄的视频图像信号中重建出脉搏波信号。

本文提出一种基于智能手机摄像的脉搏波重建及心率变异性监测方法和系 统,可以实现仅仅使用智能手机摄像头拍摄指尖视频信息即可重建人体脉搏 波,进而计算得到多种指标,有效代替心电图进行心率变异性分析,并且可以 全天候的感知、收集人体生理数据,进一步发掘用户需求,本文的研究内容包 括以下几个方面:

  • 本文提出了一种新型的兴趣区选择算法。利用智能手机采集的指尖视 频信息提取脉搏波的过程中,往往存在计算量大、耗时长的问题,严重影响用 户体验。本文为了提高获取脉搏波的计算效率,通过选择兴趣区的方式来提取 视频中信息最丰富的区域,进而提高重建脉搏波的效率和质量。在兴趣区选择 的问题上,本文提出了帧间差分和间隔像素米点相结合的算法,首先利用帧间 差分法获得原始兴趣区,然后对兴趣区中像素进行间隔采样,最后用采样像素 重建脉搏波信号。本算法在保证采样信息足够丰富的同时,极大地减小了计算 量和噪声干扰,非常适合智能手机的实时应用,有利于推广普及智能手机检测 生理参数的功能,促进生理参数采集的多样化及实用化。
  • 本文提出了一种切比雪夫滤波器和notch自适应陷波滤波器相结合的 脉搏波滤波算法。由于智能手机重建的原始脉搏波波形受随机噪声、基线漂移 等因素的影响,不利于进一步的脉搏波特征点的选取。本算法首先将原始数据 进行FFT变换,通过频域查找的方式,自适应的去除和保留原始脉搏波的特定 频域,从而较好地去除噪声干扰。此外本算法还有波形相位损失小的特点。
  • 本文建立了一个平均年龄为40±26岁的34人次的指尖视频信号,脉 搏波信号,心电图信号数据集。由于利用智能手机拍摄指尖视频信号重建脉搏 波计算心率变异性尚无大的公开数据集,因此,本文分别招募了 17名男性和 17名女性受试者进行数据采集实验,分别利用智能手机和Biopac多功能生理参 数测量仪,对每位受试者同时进行了 5分钟的数据采集。

本文研究结果表明,利用本文所提算法重建的脉搏波与心电图计算得到的 心率变异性时域参数(NNVGR、SDNN、RMSSD、SDSD)的皮尔逊系数,在 0.36-0.6之间,属于强相关范围;和方差SSE小于0.1,模型拟合度较好;而且 本文提出的帧间差分间隔像素法不仅提高了脉搏波重建质量,而且相较于选择 视频中间区域的方法用时从33.25秒减少到了&475秒;同时,本文所提notch 自适应陷波滤波算法可较好地去除噪声干扰。本文所述脉搏波检测方法具有广 阔的应用前景。

关键词:智能手机,自适应滤波器,图像光电容积脉搏波描记法,心率变异性

Abstract

Cardiovascular diseases (such as stroke, coronary heart disease, arrhythmia) are great harmful to human life and health. It is very important to early detection and early treatment of cardiovascular diseases. The research show that heart rate variability analysis is an important clinical indicator for the evaluation of autonomic nerve regulation function, it can directly predict the sudden risk of cardiovascular disease. Traditional heart rate variability parameters are calculated by Electrocardiogram (ECG) waveform, but ECG examination is limited by factors such as expensive price and cumbersome operation, which is not conducive to daily cardiovascular monitoring. With the advancement of China's aging process, the number of patients with cardiovascular disease has increased year by year, it is of great significance to find a convenient cardiovascular monitoring device for improving the level of cardiovascular disease prevention and treatment.

The pulse waves are periodic fluctuations in arterial pressure caused by the heart beating, and its rhythm has a strong consistency with the heart beat rhythm. Therefore, pulse wave signals are widely used in heart rate calculation, heart rate variability analysis and cardiovascular disease diagnosis, such as mature products on the market: smart watches and bracelets. With the development of technology, image Photoplethysmography(iPPG) has attracted wide attention, it can reconstruct pulse wave signals from video images captured by cameras, and calculate multiple physiological parameters.

In this thesis, a kind of pulse wave based on the smartphone camera reconstruction and physiological parameters monitoring method and system. It can be achieved only using fingertips smartphone camera video information reconstruct the pulse of human body. In turn, a variety of physiological parameters is calculated, instead of ECG for heart rate variability analysis. The way also can be all-weather awareness, human physiological data collection, further the user demand exploration, the concreteresearch main content includes the following aspects:

  • In this thesis, we raise a new algorithm to select region of interest (ROI). In the process of extracting pulse wave from video information collected by smartphone, there are many questions, such as much calculation and time consuming, which seriously affect users experience. In order to improve the efficiency of acquiring pulse wave, we select the most informative region as the ROI in the video, for improving the efficiency and quality of reconstructed pulse wave. In the selection of ROI, this paper proposes an algorithm combining frame difference and interval pixel sampling. Firstly, the original ROI is obtained by frame difference method. Then, the pixels in the ROI are interval sampled. Finally, the pulse wave signal is reconstructed by sampling pixels. This algorithm not only can ensure abundant sampling information, but also greatly reduce the amount of calculation and noise interference. It is very suitable for the real-time applications. It is conducive to popularizing the function of smart phone to detect physiological parameters, and promoting the diversification and practicality of physiological parameter collection.
  • In our research, we propose a pulse wave filtering algorithm based on Chebyshev filter and notch adaptive filter. Due to the influence of random noise, baseline drift and other factors. The original pulse waveforms reconstructed by smartphones. The question isn't conducive to further selection of pulse wave feature points. Firstly, the original data is transformed by FFT, and the specific frequency domain of the original pulse wave is adaptively removed and retained by the way of frequency domain search, so as to better remove the noise interference. In addition, the filtering algorithm has the characteristics of strong adaptability and small phase loss.
  • In our research, we establish a datasets containing fingertip video signals, pulse wave signals and ECG signals of 34 people. There is no large public datasets about smartphones video signals to reconstruct physiological parameters. Therefore, we recruited 34 subjects, including 17 males and 17 females, and collected fingertip video signals, pulse wave signals and ECG signals for 5 minutes at the same time.

The research result shows that the person coefficient r2 of the time-domain parameters (NNVGR, SDNN, RMSSD, SDSD) of the heart rate variability calculated by the pulse wave and ECG reconstructed by the algorithm proposed in this paper is between 0.36-0.6, which is a strong relevant scope; The total variance SSE is less than 0.1, and the model fits well; The inter-frame difference interval pixel method proposed in this paper not only improves the quality of pulse wave reconstruction, but also reduces the time from 33.25s to 8.475s compared with selecting the video middle region; At the same time, the notch adaptive notch filter algorithm proposed in this paper can better eliminate noise interference. The pulse wave detection method described in this thesis have broad application prospects in the field of telemedicine and smart wear.

Key Words: smartphone, notch filter, image photoplethysmography(iPPG), heart rate variability(HRV)

图目录

1.1 1990-2016年中国人口心血管病死亡率变化趋势图 2

1.2 1990-2016年中国农村人口主要疾病死亡率变化趋势图 2

图1.3 1990-2016年中国城市人口主要疾病死亡率变化趋势图 3

2.1光电容积脉搏波探测仪系统示意图 11

2.2光电脉容积搏波的成像原理图 12

2.3心电图信号及RR间期 14

2.4 帧间差分法示意图 16

3.1 实验流程图 19

3.2 载入彩色视频区图像 20

图3.3 R、G、B三通道原始波形信号 21

3.4 R、G、B三通道原始波形信号fft变换 22

3.5 载入相邻的视频帧 22

3.6 RGB三通道和红色通道获取的兴趣区 24

3.7对所选兴趣区中像素间隔采样 25

3.8 PPG原始数据经低通滤波前后时域与频域数据对比 26

3.9 PPG低通数据经高通滤波前后时域与频域数据对比 27

3.10 PPG高通数据经notch滤波前后时域与频域数据对比 27

3.11 PPG notch数据经低通滤波前后时域与频域数据对比 28

3.12 三次样条插值后的PPG波形 28

图3.13 5分钟重建PPG波形及取反后的PPG波形 29

4.1数据集受试人员各年龄段人员分布图 33

4.2采集实验数据操作 35

4.3 5分钟重建脉搏波和心电信号时间间隔序列分布图 36

4.4脉搏波波形和心电图得到的心率变异性参数NNVGR的Bland-

Altman分析图 37

图4.5脉搏波波形和心电图得到的心率变异性参数SDNN的Bland-

Altman 分析图 38

图4.6脉搏波波形和心电图得到的心率变异性参数RMSSD的Bland-

Altman 分析图 38

图4.7脉搏波波形和心电图得到的心率变异性参数SDSD的Bland-Altman

分析图 39

图4.8脉搏波波形和心电图得到的心率变异性参数NN50的Bland-Altman

分析图 39

图4.9脉搏波波形和心电图得到的心率变异性参数pNN50的Bland-

Altman 分析图 40

图4.10脉搏波波形和心电图得到的心率变异性参数cv的Bland-Altman

分析图 40

1章绪论

1.1研究背景及意义

心血管疾病(Cardiovascular diseases , CVD),泛指一系列的心脑血管疾 病⑴,在四个非传染性疾病中致死率最高,其中脑血管病堪称全球第一大死 因。随着全球老龄化的加剧和生活水平显著提高,世界心血管疾病却愈发的严 重,估计未来可能成为一个巨大的问题。据世界卫生组织统计得知,1990年全 世界死于心血管疾病的人数仅仅1230万人。但是在2016年,在全球范围内有 大约1790万人死于心血管疾病,占全球死亡人数的31%o

在我国,心血管疾病的发展形势也不容乐观。近20年来,随着国民经济发 展和人口老龄化的加剧,心血管患病率和死亡率连续上升,对我国人民的生命 健康是个巨大的隐患。从2005年开始,国务院卫生部开始委托国家心血管病 中心定期发布《中国心血管病报告》。根据2004至2010年的统计数据统计分析 得出,自2004年开始,全国因心血管疾病导致死亡的人数呈逐年上升趋势, 2010年全国因心血管疾病死亡的人数在总死亡人数中的占比高达40.73%[2'3]o 自2004年到2010年全国平均每年增加5.50人,2019年《中国循环杂志》发布 T《中国心血管病报告2018》(以下简称报告)显示⑷心血管病仍是国民健康的 “头号杀手”,心血管病现患人数2.9亿,全国每年约有300多万人死于心血管 疾病,而且死亡率有不断上升的趋势,自2009年起,中国城乡人口心血管病死 亡率变化趋势如图1.1所示。根据2016年中国城乡口致死疾病构成分析,心血 管类疾病致死率远高于其他疾病的致死率,在各类致死类疾病中高居首位。心 血管疾病致死占城市居民死因的43.16% (见图1.2),在农村居民死因中占到了 45.5% (见图1.3),每10万人中,城市心血管病导致的平均死亡人数为 265.11,农村心血管病导致的平均死亡人数为309.33 o

■心血管病肿瘤

  • 呼吸疾病 •损伤/中毒

1.1 1990-2016年中国城市人口主要疾病死亡率变化趋势图

心血管疾病的治疗花费高昂。单纯2016年,心肌梗塞、颅内出血和脑梗死 患者的住院总费用就达到了千亿级别。不仅如此,患者及病患家属需要在看病 就医上花费大量的精力与时间,给患者和家属带来了沉重的负担。心血管疾病 给社会造成巨大的损失,心血管疾病的预防和诊疗已成为关系国计民生的重大 社会问题。

传统的医疗模式往往都是靠医院的医生进行诊断治疗,人们通常只在生病 之后才会到医院去接受治疗,而且面临医疗资源紧张的局面,定期进行全面的 身体检查并没有得到普及。而心血管健康状况的恶化并不是一个一朝一夕的事 情,大家如果日常生活中不能足够的重视疾病的预防和监测,一旦心血管疾病 发作,将会造成严重的后果。虽然医院的医疗技术在不断地进步,却仍有很多 心血管病人因为得不到及时的救治死于院外⑸。心血管疾病往往发病急剧且征 兆不明显,大部分心血管病人在疾病发作前表现基本正常,突然的运动或者剧 烈的情绪波动也有可能导致疾病发作。因此,传统的以症状治疗为中心的医疗 模式面临很大的挑战,急需把医疗模式向以预防为主、早诊断早治疗转变⑹。 目前心脑血管慢性疾病并没有彻底根治的办法,主要依靠医院专业的生理参数 测量设备进行早期的发现,进行预防或者药物控制,并配合按时的监护观察。 医院的生理检测设备有其专业性,但是也有一些弊端,如心电图机、水银血压 计等设备体积较大,价格昂贵,而且操作较为麻烦,需要医生、护士及其他专 业人员进行操作,不便于居家和日常的生理参数监测,而且随着患病人群的年 轻化,需要考虑诸多监护观察的时间成本,医院的专业设备不能随时的对患者 进行监护。医疗仪器的发展也需要从适用于医院的复杂的专业大型医疗设备, 向精简方便,适用于家庭的小型便携式设备转变⑺。尽管市场上已经出现一些 便携式生理参数测量设备,体积轻巧,价格也可以接受,但对用户使用来说随 身携带使用还是多有不便。如何实现准确而又低成本的实时监护患者生理信号 进行,成为一个非常热门的问题。

近年来,科技在不断的发展进步,智能手机的发展十分迅速,预计2020年 全球将达到60亿部。新型的智能手机拥有更好的硬件设备,运算快速的处理 器、友好的用户交互性能。各种功能的传感器也被广泛的应用到智能手机硬件 设备中,比如:内置的光学传感器、声学传感器等,移动平台开发技术也日趋 完善,不借助额外硬件设备而直接利用智能手机来测量生理参数已经不再仅仅 是想象。

基于诸多方面,本文提出“基于智能手机摄像的脉搏波重建及心率变异性 监测”的研究课题,主要探索方向是使用智能手机摄像头采集人体指尖视频信 号,仅仅利用智能手机自身的数据处理能力就可以实现的生理检测算法,从指 尖视频信号中重建人体脉搏波波形,并依次获取心率及心率变异性等生理参 数,有利于实时监测用户的生理健康状况,实现心血管疾病的早期诊断治疗, 还可以方便在移动医疗过程中积累数据资源,充分发掘用户深层次需求,了解 用户心理和行为模式,增强用户粘性。

此课题的研究意义在于:

  • 探索测量心率变异性的新方法与设备。人体内部生理病理过程常常伴 随着外在表现,比如人在生病的过程中,通常伴随着各种物理现象,比如:发 烧、颤抖等。本文通过观察人体的这些外在表现,加以量化分析,就可以深入 认识人体内部各种生理病理的发展过程,本文的研究致力于像温度计心电图仪 等设备一样,可以量化人体生理病理的外在表现,用来评估人体疾病与健康状 态。本文使用智能手机自带的摄像头,通过光学的方法测量人体指尖视频信 号,重建人体脉搏波波形,计算心率变异性,从中分析出人体内在的生理病理 信息,为定量了解人体生理参数与物理量之间的关系提供了新的研究途径。
  • 方便用户对自己的生理情况进行基本判断,为缓解医疗资源短缺助 力。本文提出利用智能手机摄像监测生理信号更多的是方便用户对自己的身体 情况做出预判,而不是说要取代医院和医生。因为,随着患病率的年轻化,患 病人群扩大,对我国医疗资源消耗严重,而且考虑到诸多监护观察的时间成 本,医院的专业设备不能随时的对患者进行监护,这样可能导致诊断过晚,耽 误治疗。同时,目前尚无完全治愈心脑血管慢性疾病的办法,而早期的预防监 测主要依靠医院的特定环境设备和专业的医生完成。如果本文提出一种方法和 设备方便用户可以用来做前期的自查自筛,无论对用户还是社会资源都是一种 福音。
  • 基于智能手机的心率变异性监测系统,用户不需要单独购买设备,也 不需要经过专门培训就可以上手使用,便于普及。随着社会的发展,智能手机 几乎人手一部,其平台开发技术也日趋成熟,种种技术的发展推动着移动医疗 的飞速发展,用户只需下载相关的心率变异性测量软件就可以自行测量心率变 异性,不需要专门购买任何硬件设备,非常实用而且方便,为基于智能手机的 健康医疗研究提供了空前的机遇。有些医疗欠发达地区的医疗资源十分匮乏, 人们如果可以用智能手机监测自己的身体健康状况,然后将生理数据通过智能 手机的通信网络发送给诊断身体疾病和健康状态的医生或医院,极大的方便了 远程医疗。另外,在医疗领域,用户数据是重要的资源,在移动医疗过程中积 累数据资源,充分发掘用户深层次需求。

1.2研究现状

研究表明,心率变异性参数异常与心律失常,心肌缺血,心肌梗塞和心功 能不全等多种心血管疾病有关,因此临床上常用心电图仪来测量心电图信号, 进行心率变异性分析来评估心血管疾病。传统的心电图监测时,心电图机通常 需要将电极片贴在人体的躯干部位,电极片可能会刺激受试者皮肤,导联线会 限制受试者身体的自由活动。此外,心电图仪的价格较为昂贵,占地较大,而 且通常需要经过专业培训的医生护士来操作,不适合于日常家庭使用。

随着研究的深入,近年来研究人员不断尝试使用一些新的技术来测量心率 变异性,前面本文提到,体表脉搏波是心跳周期性搏动在身体皮层引起的波 动,因此,可以使用脉搏波信号来近似心电图信号对心率变异性进行分析。马 俊领⑻和GILE⑼的研究团队采用反射式脉搏血氧仪采集人体指尖或者橈动脉处 脉搏波信号,进行快速傅里叶变换后得到人体心率和呼吸率,计算心率变异性 参数。SHIN J H等人利用压力传感器采集心脏搏动的信息以此来获取算心率变 异性口役SUHRBIER A"】等使用连续血压测量仪采集的血压波形代替心电信号, 从而计算心率变异性,但是普通的血压测量仪很难实现完全的连续血压测量。

随后,基于图像的光电容积脉搏波描记法的研究盛行,网络摄像头和红外摄 像头都可以用来采集视频信号,雷恒波等血利用网络摄像头分别采集人脸和指尖 视频,进而重建脉搏波波形,提出独立成分分析的方法来解决运动干扰、肤色变 化等问题,但是存在一些问题,比如,因为距离问题,导致网络摄像头采集人 脸视频受环境光照影响比较大等。Fav订la R等人^使用红外摄像头来捕捉人 体的面部图像,研究了独立分量分析预处理在基于图像的光电容积脉搏波描记法 中的应用,这可以有效地获取人体的心率,并且评估心率变异性。

智能手机价格的降低和功能的强大导致智能手机的迅速普及,智能手机在 医疗领域的应用是非常热门的研究方向,当前基于智能手机的医疗设备就有血 糖测量、血压测量、心率测量等功能,但是这些基于手机的设备多数都需要配 合另外的传感器测量设备,手机只是单纯的作为记录和显示设备,额外的花费 会对普及推广造成巨大的阻碍。基于智能手机的心电监护设备口3仅仅只是将 智能手机用作数据处理及存储器,仍然需要附加额外的传感器用来采集心电信 号。此外,大多数基于智能手机的应用程序单纯用于个人信息管理,很少直接 测量人体的生理参数。O'BRIEN E.提出的血压管理软件口引本身不具备血压测量 功能,仅仅根据用户每天记录的血压信息,绘制血压变化趋势图,针对用户血 压控制提出诊断意见。

而利用手机摄像头检测指尖视频信号,进而重建脉搏波原理是基于图像的 光电容积脉搏波描记法,只是单纯把普通摄像头换成了智能手机自带的摄像 头,不用外加硬件设备。近十年来,基于智能手机测量人体生理信号或者表情 识别的研究在不断展开。2009年11月英国布鲁奈尔大学的K. Banitsas和 P. Pelegris等人取"提出无需增加外部装置,单纯利用智能手机的内置传感器 来测量生理参数,他们提出利用手机摄像头采集指尖的血液容积脉搏波信号, 并通过峰值检测获得波峰点的位置,进而可以计算出人体的心率。利用脉搏血 氧仪测出的心率作为对照,发现在外界环境光照良好的条件下,得到结果的准 确率高达85%以上。2019年2月,Konstantin Tyapochkin等人将基于摄像头 重建脉搏波,得到心率与传统的脉搏血氧仪测得的心率进行对照丽。为了验证 利用智能手机的摄像采集图像脉搏波方法的可行性,有研究人员用Bland- Altman 分析方法对比了利用视频信号重建脉搏波和利用心电图分析心率变异性 的结果,利用智能手机获取心率变异性能满足国家金标准要求,验证了其可靠 性阴。

但是随着智能手机像素分辨率越来越高,利用智能手机摄像监测生理信号 计算量大大增加,内存消耗严重,不能满足实时性的需求,研究人员从各个方 向出发,解决这一问题。赵黎的研究团队血提出,默认视频图像中间区域的亮 度变化最明显,单纯选取视频图像的中间区域作为兴趣区,并利用兴趣区像素 重建脉搏波,但是由于每个用户手指放置姿势不同,视频图像的中间区域并不 一定是亮度变化最明显的区域,不加判断的选择中间区域作为兴趣区可能导致 实验结果不符合预期。还有一些研究为了减少计算量,并且获得较为准确的脉 搏波,选择彩色视频图像中的单一通道来重建脉搏波。同时有研究提出,最强 的容积描记信号包含在绿色通道中如,因为血液中,血红蛋白对绿光的吸收效 果比吸收红光效果更好,而且绿光穿透皮肤的效果相对于蓝光来说也更好,所 以选择绿色通道的像素信息来提取脉搏波信号。Poh等人旳通过独立分量分析 (ICA)对RGB视频分量进行处理,消除运动伪影和外界环境光照的影响,增强 血液容积脉搏波。此外还有一些研究利用视频RGB图像中各个通道的比值对脉 搏波信号提取效果的影响恣,分析得出血氧饱和度和脉搏波图像的红、蓝两种 颜色的强度比值相关度的大小。Kennedy等人皿提出了一系列的滤波算法,为 了更好的消除环境噪声,重建脉搏波波形。

智能手机自带的摄像头、声音测量传感器等是常用的几类传感器,这是一 种比较方便的测量方法,只需直接把手指按在摄像头和闪光灯上,再配合可以 处理运算视频信号的智能手机模块,就可以实现测量生理参数,同时可以利用 手机存储模块存储数据信息,而且在LED闪光灯开启的情况下外界光线的干扰 几乎可以忽略不计。现有的研究在测量的生理参数方面,大部分研究的是人的 心率,对脉搏波的重建和心率变异性分析的研究还很不充分,需要提出新的方 法改善研究性能,提高准确度和实时性。

因此,本课题的研究目标是提出一种单纯使用智能手机就可以快速准确测 量人体脉搏波信号并进行心率变异性分析的方法。

1.3论文主要研究工作及结构

本文从智能手机摄像头采集的指尖视频数据中重建脉搏波,并根据脉搏波 信号代替心电信号进行心率变异性分析,研究提出了一种结合帧间差分法和间 隔像素法的实时脉搏波获取方法。首先,利用帧间差分法准确、快速的获取亮 度变化最大的区域做为兴趣区,利于准确的获得脉搏波波形,相对于其他研究 中选择整个视频区域或者随机选择区域作为兴趣区来说,既减少了计算量,又 避免了选择信号不好的区域影响实验结果。其次,采样像素可以进一步提取感 兴趣区域的信息,进一步的减少重建脉搏波波形的计算量。帧间差分间隔像素 采样方法能够根据视频图像中脉搏波信号的分布情况选择感兴趣区域,极大的 减小了视频中噪声的影响,同时提高了实时性。此外,本文提出了结合切比雪 夫滤波和自适应陷波滤波(notch)的滤波器,有很多研究采用巴特沃斯滤波器 用来滤除原始波形的噪声,但是巴特沃斯滤波器可能造成极其严重的相位损 失,本文米用的自适应滤波方法,可以很好地规避相位损失,较好的重建脉搏 波波形。接下来,本文将从以下几个部分来展开说明“基于智能手机摄像的脉 搏波重建及心率变异性监测”的研究方法、实验过程以及实验结果分析。

第一章介绍了课题的研究背景与意义,对比分析了现有方法的优缺点,最 后总结本文的主要研究工作和文章结构。

第二章介绍了本课题研究需要的相关理论方法及实验原理,包括光电容积 脉搏波描记法的基本定义、从视频获取脉搏波的原理、心率变异性分析、时域 内心率变异性参数的计算公式,帧间差分法的应用原理,切比雪夫滤波和自适 应陷波滤波的实现原理等等。

第三章介绍了从智能手机采集指尖视频重建脉搏波,利用重建的脉搏波及 采集的心电信号分别进行心率变异性分析并进行对比的具体操作流程,在此过 程中,本文设计了对照试验,介绍了两种方法计算得到的心率变异性相关性以 此验证实验设计的可行性等等。

第四章介绍了实验用到的设备,具体实验操作以及采集的数据集,并着重 进行了实验结果的分析及对比,利用帧间差分间隔像素法得到原始波形并经过 自适应滤波器重建的脉搏波和心电图信号计算得到的心率变异性参数拟合度满 足金标准要求,而且相对于单纯利用整个图像区域的方法,计算速度有了极大 的提升,提高计算心率变异性的实时性。

第五章介绍总结了本文研究的结论,并对今后需要努力的方向进行了展 望。

1.4本章小结

本章主要介绍了本课题基于智能手机摄像头拍摄指尖视频信号重建脉搏波 并进行心率变异性参数分析的背景与意义,对现有的国内外研究成果进行了总 结,介绍了本文的主要研究内容及文章结构。

2章 相关理论介绍

2.1光电容积脉搏波描记法(PPG)简介

脉搏是由心脏搏动引起的动脉血管内压周期性波动,进而引起的动脉血管搏 动可。把脉诊病在古代就被用来诊断各种疾病,但是这种方法不能进行精确的定 量分析。随着医疗技术的发展,本文可以用仪器记录脉搏波信号的变化。按照检 测脉搏波所用的传感器和测量原理的差别,可以把脉搏波信号分为以下几种:流 速波、压力波、容积波盟等。

最常用脉搏波检测方法是压力脉搏波法和容积脉搏波法,压力脉搏波的原理 是基于动脉血管壁压力随时间变化产生波形,利用应变式、压电式等压力传感器 采集压力脉搏波,这也是中医科学化的重要技术手段,传统中医“把脉”把的就 是大拇指根部橈动脉处的脉搏。随着现代西医的发展,人们对血流动力学进行了 深入的研究,探究发现脉搏波中蕴含血流动力信息,其与脉搏压力有很大关联, 通过分析研究压力脉搏波信号的形成机理,并且利用脉搏波信号进行数学建模、 计算机仿真,以此来估算心血管系统的各项血流动力学参数西,为疾病的诊疗 开发了新的有效技术方法。

容积脉搏波是指:当血液在血管中流动时,心脏泵血会改变血管中的血液容 积,血液容积随时间周期性变化形成的波形。心脏会不停的做收缩与舒张运动, 当心脏突然收缩,血管血液容积会变大;心脏舒张时,血液就会重新流回心脏, 血管血液容积随之变小。随着科技的进步和研究的深入,光电容积描记法 (Photoplethysmography, PPG)因为其优点被用作临床上检测容积脉搏波的方 法,光电容积脉搏波探测仪的系统示意图如下图(图2. 1),采用一个发光二极管 和光电探测仪,发光二极管会发射特定波长的光线穿过人体组织,光电检测器检 测光线穿过人体组织后的衰减强度,传感器采集的信息通过放大器放大后,微处 理器处理信息,以此来获得容积脉搏波信号泗。

光电容积描记法的原理中血管血容量和光强的关系基于朗伯-比尔定律:当 光穿过吸光物质组成的混合物时,光的强度根据以下公式下降:

I = Ioe~EWcL ・・・(2. 1)

其中/是指入射光的强度,W是指对特定光线波长久的消光系数,c是指物 质浓度,厶是指光路长度他。当血管中的血液容积增加时,光路长度随之增加, 透射光强度降低;当血管中血液容积减少时,光路长度缩短,透射光强度增加。 也就是说,理想情况下,实验过程中可以假设血液浓度保持不变,光线穿过人体 组织后的衰减程度可以用来反应血液容积的变化。下图2. 2中是光电容积脉搏波 的成像原理图。光电容积描记法由于使用起来非常的简单方便,而且这类硬件设 备价格不高,因此被广泛应用在临床上,可以用来提取心率、呼吸率、血压的相 对变化量等多种生理信息。

基于图像的光电容积描记法(iPPG)和光电容积描记法(PPG)提取脉搏波 的原理相似,两者都是通过检测血容量变化引起的光强度变化而获得的。心脏收 缩时,体表血管充血,此时体表血管对光线的吸收能力较强,得到的图像的亮度 较暗;心脏舒张时,血液流回心脏,体表血管对光线的吸收能力变弱,图像的亮 度较亮,图像的明暗变化反映心脏搏动时血液容积的变化情况,而且血容容积变 化的周期和心跳同步,基于此可以重建时序脉搏波信号。基于图像的光电容积描 记法(iPPG)主要是利用摄像头拍摄视频信号进而获得其他生理学参数,分为非 接触式和接触式。基于图像的光电容积描记法(iPPG)属于非接触式,主要应用 于不适合接触的情况,比如用户皮肤有创伤,检测用户人脸部位,用户距离稍远 的情况,但是非接触式常常受到环境噪音的影响,影响提取的波形效果和实验结

组织静脉血非搏动动 脉血成分搏动动脉血液成分

2.2光电脉容积搏波的成像原理图时间

果;接触式基于图像的光电容积描记法(iPPG)主要用于摄像头可以紧贴人体组 织的情况,比如利用手机摄像头检测人体脉搏波的情况,人体组织完全覆盖在摄 像头上,外界光线和运动伪影的影响基本可以忽略不计。

一般来说,利用基于图像的光电容积描记法(iPPG)重建脉搏波信号,进而 进行心率变异性分析是可行的,重建的脉搏波信号可以得到准确的心率,但是并 不是在所有的情况下都可以满足心率变异性评估的金标准要求。N.Pinheiro国】的 研究表明,受试人员在平静状态下,利用基于图像的光电容积描记法(iPPG)重 建脉搏波信号能够比较好的替代心电信号,但是,如果受试人员处于运动中,或 者患有比较严重的疾病,实验结果可能就不能满足预期。数据采集的过程通常是 在高度理想的条件下,真正实际过程中可能要更多的考虑这些干扰。

在进行心率变异性分析时,标准上是利用24小时心电信号进行长时心率变 异性分析和5分钟心电信号进行短时心率变异性,这两种情况也比较常见,由于 短时、长时心率变异性分析能严格控制实验条件,所以这两种心率变异性分析经 常在临床上被采用。如果需要证明重建的脉搏波能够替代心电信号进行心率变异 性分析,本文同样也需要采集5分钟或者24小时的视频信号,连续采集24小时 的体表视频信号显然是不可行的,为了方便与标准信号进行对照,本文多选用5 分钟的视频信号重建脉搏波,提取波峰间期进行心率变异性分析。但是,有些研 究人员认为,短期分析的视频记录持续时间不应该超过60秒,因为通常受试对 象很难保持长时间静止,这样可能造成实验失败,但是采集信号时间过短也有可 能导致本文的实验结果太过片面,并不能真正反映用户实际情况。因此,本文需 要采取一些措施防止不利情况的出现,例如,采取一个舒服的姿势采集视频信号 可以减少用户应激反应的影响,选择适当的感兴趣区域重建脉搏波可以减少周围 噪声的影响,维持稳定的环境光可以减少周围光照变化的影响。

2.2心率变异性(HRV)简介

心率指心脏每分钟平均跳动次数,用来衡量心脏跳动快慢,是心血管稳态 的基本指标。健康成年人正常心率一般在60-100次/分之间阴,心率存在个体 差异,同一个人在不同的状态下心率也可能不同。心率会随着人体各种情况的 改变而改变,体育锻炼、睡眠、焦虑、压力、疾病或者服用药物都有可能影响 心率。心率与心力衰竭之间存在着关联,心率基线过高是评估心血管疾病的重 要因素,因此心率监测对预防技术和疾病有重要意义。

心率变异性(Heartratevariability , HRV)是指逐次心跳周期差异的变 化情况,心脏的跳动是由自主神经系统控制窦房结起搏从而驱动整个心脏收缩 舒张完成的,因此,心率变异性被认为可以反映自主神经系统的活动状态及其 对心血管系统的影响。在医学中心率变异性被认为反映了心脏中交感神经和迷 走神经的协调性,交感神经活动减少或者迷走神经活动增加,会导致心率变异 性降低。因此,HRV被认为和许多生理现象有关,可以判断多种心血管疾病的 康复情况悶,并且可以作为心源性猝死的一个独立预测因子等。

心率变异性(HRV)是自主神经调节功能的无创检测工具泗,心率变异性可 以用来衡量普通人群健康状况,运动员适应压力的能力,驾驶员是否疲劳驾驶 等岚。此外,心率变异性对测量精神压力很重要,与心率相结合,可用于研究 个人在做某些行为时的幸福感⑼。而且,大量的临床实验表明,心率变异性异 常与多种疾病相关,例如:心梗、肢体麻痹、糖尿病、帕金森综合征等阖。心 率变异性的研究不仅取得了很多理论成果,而且可以对多种人体疾病进行临床 实践辅助分析。

心脏跳动的的每个周期都伴随着生物电的变化,这种生物电可以传导至身 体各个部位。这种生物电电位的变化可以通过心电图仪显示并记录下来,得到 随时间变化的心电信号波形。心电波形如下图(图2. 3)所示,包含一组波 群,包括QRS波、P波和T波。

对于心电图来说,两个相邻心电信号波形的时间间隔表示一个心搏周期, 由于心电信号的P波幅度较小,不便检测,因此往往采用心电波形的R波来计 算心搏周期。把相邻R波波峰间期作为一个心搏的时间,也就是RR间期,窦性 心律下RR间期也被称为NN间期。

2.3心电图信号及RR间期

心率变异性分析通常是通过分析心电图信号得到的,首先通过峰值点检测 算法检测出心电图中R波的峰值点位置,然后计算一段时间内,心电图相邻两 个R波间的时间间隔,得到RR间期的时间序列(见图2.3)o对RR间期处理包 括时域分析、频域分析和非线性分析等嗣。时域分析包括统计学分析和图解法 分析,频域分析是将RR时间间隔序列通过傅里叶变换等,把RR间期从时域变 换到频域,然后计算频域内高频能量、低频能量、高低频比等各项参数,非线 性分析包括散点图法(又叫庞加莱图)、非线性预测方法、功率谱指数、近似 癇、复杂性测度等多种方法嗣。在时域分析中,可以利用5分钟短时心电图信

号分析计算心率变异性,心率变异性的时域参数如表2. 1所示:
  表2.1心率变异性时域参数
参数 描述
NNVGR RR间期平均值
SDNN RR间期标准差
RMSSD RR间期之差的均方根
SDSD RR间期之差的标准差
NN50 RR间期的差〉50ms的数目
pNN50 RR间期的差>50ms的数目的百分比
CV SDNN与NNVGR之间的比值,变异系数

计算公式如公式2. 2-公式2. 7所示:

NNVGR =^i=1RRi -(2.2)
SDNN =」范角(RR -(2.3)
RMSSD =」化治的+】-RR02 -(2.4)
SDSD =搖曲(RR - RR7)2 -(2.5)
pNN50 =x 100% -(2.6)
CV = SDNN

NNVGR

-(2.7)

2.3帧间差分法

摄像头米集的视频序列是离散的,当视频米集的目标在运动时,目标在场 景中所处位置会不同,导致帧和帧之间会有明显变化。帧间差分法可以用于分 割视频图像中背景和目标对象,通过对视频图像序列相邻帧作差分运算,累加 做差后像素点的绝对值,如果目标静止,差分后图像素点全为0,如果目标移 差分后图像素点不全为0,当累加的像素点绝对值超过一定阈值T时,即可判 断为运动目标,再进行后续处理,以此来获得运动目标轮廓。

帧间差分法的数学描述为,记采样视频序列中第i-1帧为竹“,第i帧图像 为兔,两帧图像像素点的灰度值分别是S和Fjgy),按照公式(2.8)将 两帧图像进行作差运算,并取绝对值获得差分后的图像口,其公式如下:

6(3)= 10小)一 Fi(s)|255, Di(x,y) > T0, others

T代表差分图像二值化的阈值大小,按照公式2. 8对视频帧中的像素点进 行二值化处理,可以获得二值化图像6。把灰度值大于T的像素区域作为运动 目标区域,灰度值小于T的区域作为静止区域;接着对二值化后的6进行连通 性分析,6含有完整运动目标的图像,其算法运算过程如上图2. 4所示。

帧间差分算法描述如下:

  • 、选择两帧在视频图像序列中,当前帧图像Fj(^y),和前一帧图像 y);
  • 、计算当前帧与前一帧的像素差值0(&y),从图像中提取出完整的目 标;
  • 、计算像素差值的绝对值得|必(粗y)|,既目标的变化量的绝对值;
  • 、设定固定阈值T,判别差分像素绝对值与阈值大小;
  • 、图像二值化处理后,进行后续操作。

帧间差分法方法是对两幅背景相同而运动目标位置不同的图像进行操作, 适用于实时运动检测的情况,运算快速,实现简单,稳定性好,能够很好的提 取出对象的完整边界。

2.4滤波算法

2.4.1切比雪夫滤波器

切比雪夫滤波器宙]相较于巴特沃斯等滤波器在通频的相位损失上有明显优 势,其能保证在阻频上以等波形式对噪声进行滤波。本文使用的II型切比雪夫 滤波器在通带内是单调的,既可以保证通带数据不受影响,又可保证阻带数据 被滤除。相对于其他同阶滤波器而言,II型切比雪夫滤波器具有通频单调,阻 频下降较快的优点,此外还可以很好的解决相位损失问题。

根据频率响应时曲线波动位置的差别,切比雪夫滤波器分为I型切比雪夫 滤波器和II型切比雪夫滤波器。

II型切比雪夫滤波器相对于I型切比雪夫滤波器截至速度更慢,但是相位 损失比较小,转移函数关系如下:

|H(w)F = —-(2.9)

不同分贝衰减度对应的e也不同,3。为截至频率,几(说)表示n阶段切比雪夫 多项式。

2.4.2自适应Notch陷波滤波器

自适应陷波滤波器是可以将某一频率快速衰减的滤波器,可以用来消除特定 频率的噪声干扰,最大程度减小对伺服控制的影响。理想的自适应陷波滤波器往 往有较大的陷波深度,宽度较窄等特点,这种滤波器对相位偏移影响相对其他滤 波器比较小。一个理想notch滤波器的频率响应是要在消除的信号频率点,其值 等于零;而在其他频率处,其值不为零,且要等于1,理想notch滤波器的频率 响应式为:

自适应notch陷波滤波器的基本原理是,首先将原始数据进行FFT变换, 然后在预先设置的频域段内,查找FFT中超过阈值的频率分布,最后配置
notch个数与滤波中心频率点,然后通过每一步产生的残差连续调整线性组合的 权重系数,本文算法使用迭代三次的方式滤波。通过权重系数将输入信号的线 性相关部分与参考信号分开,从而实现窄带滤波的效果。自适应陷波滤波器具 有两个滤波器输出:(Y输出)和陷波输出(E输出)。自适应陷波滤波器对于

处理单频信号时,具有很好的滤波效果。north滤波器设计原理公式如下:

本章主要介绍了研究中用到的相关理论方法及算法原理,包括光电容积脉 搏波描记法的基本原理、脉搏波波形特征点的选取,帧间差分法的应用场景和 原理、心率变异性时域参数的计算公式,切比雪夫滤波和自适应陷波滤波的实 现原理等等。

3章 指尖视频重建脉搏波及心率变异性分析

利用智能手机摄像头采集指尖视频信号,进而提取图像信息重建脉搏波, 与利用传统光电容积仪采集脉搏波的方法十分相似,两种方法都是利用血液对 光线的吸收与血液容积具有相关性的原理重建脉搏波,不同的是,用智能手机 的摄像头代替了光电容积仪中的光敏传感器。传统脉搏波信号是一维的时间序 列,而手机采集的指尖视频信号是三维的,是在一维时间轴上的二维图像信 号,其重构脉搏波及进行心率变异性分析的流程如下流程图所示:结束

3.1实验流程图

3.1采集指尖视频信号

为便于后期数据对比分析,在利用智能手机摄像头录制指尖视频的同时, 还将使用Biopac多功能生理信号检测仪采集受试者的心电信号,其流程为:首 先,实验前受试者平躺于实验床上,并将右手食指同时覆盖在手机摄像头和闪 光灯上,然后智能手机摄像头打开“视频”模式,智能手机摄像头保持常亮状 态,这是因为基于图像重建脉搏波信号时,拍摄视频的亮度强度变化与血液吸 收光的变化有关,因此需要尽量将环境光对信号采集的影响降到最低。于此同 时按照标准的心电信号采集操作在受试者身上贴置电极片,当一切就绪后,点 击智能手机“录制视频”按钮,同时采集5分钟指尖视频信号和心电信号。为 了保证良好的信号质量,在采集数据期间,受试者应尽可能保持静止不动,这 样有利于获得质量更好的信号。手机采集的指尖视频信息如下图:

3.2载入彩色视频区图像

3.2选择视频通道

由于彩色视频图像的每一帧都以三维矩阵的形式存储,矩阵的三个维度分 别代表RGB三个通道的视频图像信息,如果直接使用彩色视频重建脉搏波不但 增加时间,还会引入较多噪声,因此在重建脉搏波之前需要先选择视频通道。 在选择颜色通道时,主要考虑所选波段的光对人体皮肤的穿透能力、血液对相 应波段光的吸收率以及各个颜色通道信号的强弱等因素。相对于红光和蓝光, 绿光能够更好的穿透人体皮肤,血红蛋白也能够很好的吸收绿光,所以在很多 研究中,会选择绿色通道作为目标通道。但是在本文接下来对RGB进行三通道 基色分离的实验中却发现,对于指尖视频选择兴趣区来讲,红色和绿色通道原

始波形信号相对包含更多的脉搏波波形信息卩7】,而且红色通道原始波形信号的 能量强度明显大于绿色通道原始波形信号,蓝色通道原始波形信号相对较为杂 乱,所重建原始脉搏波波形如下图3.3所示:

此外,结合正常人体的心跳频率,对重建脉搏波有用的视频信息,应该集 中在0.5-3HZ以内,因此可以通过原始数据的傅里叶变换中该频段的信息占比 来选择视频通道。首先,分别对原始视频信号的RGB三通道信号去均值后进行 傅里叶变换,如图3.4所示。在同一尺度下,红色通道原始波形信号的傅里叶 变换信息能量幅值在20附近,且0.5-3HZ占比相对集中;绿色通道原始波形信 号的傅里叶变换信息在0.5-3HZ占比也相对集中,但能量幅值只有5左右;蓝 色通道原始波形信号的傅里叶变换能量幅值只在5附近,且0.5-3HZ的能量占 比也不集中。综合以上原因,本文最终选择了 RGB三通道中的R通道,既红 色通道作为脉搏波重建的目标通道来进行后续研究。
3.3利用帧间差分法获取兴趣区
3.4 RGB三通道原始波形信号fft变换

利用摄像头采集视频信号重建脉搏波需要计算每帧视频图像的像素值,现 有的研究往往选择整个视频区域作为兴趣区(region of interest, ROI),或者不 加筛选的把中间区域作为ROI,不仅计算时间长,而且可能选择信号质量不好 的区域。对手机的运算能力和内存都有较大的考验,不利于实时性运算。此 外,选择较好的兴趣区可以减少噪声的引入,尽可能的避免了噪声影响。因 此,为了减少计算量,提高实时性,减少噪声干扰,本文提出了帧间差分的方 法获取兴趣区,如图3.5所示。

3・5载入相邻的视频帧

虽然光在空间中的传播特性决定了兴趣区的选择最好是圆形的,但是相较 于圆形区域,由于计算机处理矩形区域耗时更少,因此本文选择把视频区域分 成等大的矩形区域来进行兴趣区的选择。在兴趣区大小的选择上,如果选择的 兴趣区过大,兴趣区内对重建脉搏波波形有用的像素占比较低,而且重建脉搏 波波形需要更多的计算时间;如果选择的兴趣区过小,虽然减少了计算时间, 但是兴趣区中的像素可能未包含较充分的有用信息,容易受实验过程中数据偏 移的影响。通过多次实验发现,选择适当的ROI (兴趣区):50x50-150x150像 素的R0I大小,即可以避免数据偏移的影响,又可以充分利用视频信息,提高 重建脉搏波的信号质量,因此权衡了抗噪能力和计算量以后,本文选择160x90 像素大小的区域作为兴趣区。利用帧间差分法选择兴趣区不仅能够更好的重建 脉搏波波形,而且大幅度的减少了计算量,兴趣区选择的好坏将严重影响脉搏 波波形质量和心率变异性测量的准确性。

本文所述实验中,从视频中获取兴趣区按公式3.1-3.8所示:

3.1帧间差分法变量说明

变量 描述
t 视频时长,本文方=300秒
fs 视频帧率,本文厶=30
I, m, n, p f

1 = = f x t,m = 64,p = 1: Z: n

2 s

i,j,k n n

i = 1: n,j = 1: y, fc = 1: y — 1

Vfv U为原始视频,矽为视频帧
VitVj 下标分别为的视频帧
Fj‘ Fsj 巧•为可中红色通道数据,Fs丿•为巧•分成TH个区间的数据
Fsjk Fs从为Fs丿•的差分数据
S ^max S为Fs孙视频帧之和,S肌血为S的最大值
ROI RO/为兴趣区,即為与区域的下标值
= readFrame(K) ...(3.1)
Vj v(p),p = 1: l\n ...(3.2)
Fj =巧(: …(3.3)
Fsj = subarea(Fj,m) ...(3.4)
Fsjk = F$j+\ — Fsj …(3.5)
S sum(Fsjk) …(3.6)
Smax = max (S) …(3.7)
ROI = subscript (Smax) …(3.8)

载入视频的像素值是1280x720,帧率是30帧/秒,载入视频帧后,把视频 帧划分成8X8的小区域,每块区域是包含160X90像素的小区域。利用帧间差 分算法,每隔15帧计算前后两个视频帧之间每个像素的绝对强度差,也就是每 个像素的强度变化。利用帧间差分法获得差分图后,计算每个小区域的平均差 分值,从所有的小区域中选择平均差分值最大的区域作为兴趣区(Region of interest, ROI),如图3.6所示。为了防止噪声干扰,也可以取多帧作差分后求 和,以此获得每块目标区域中明暗变化最大的区域(包含NXN像素的区域) 作为视频的兴趣区。图3.6中,颜色越偏向于黄色,表明包含的数值越大,佐 证了本文所述兴趣区选择的有效性。

在选择兴趣区的视频采样频率上,由香农采样定理可知,

该大于或等于脉搏波频率的2倍,才能使脉搏波信号不失真。考虑到正常人心 率大约是60次/分钟,理论上手机摄像头检测心率的帧率需要大于2Hz。为了 更光滑的重建脉搏波波形,结合大多数商用智能手机的视频帧率在30Hz-120Hz 之间这一客观条件,本文最终采用30Hz采样率来进行脉搏波的重建工作。

3.4对兴趣区内像素间隔取样

为了进一步降低计算量,提高手机重建脉搏波的实时性,对兴趣区内的像 素点进行均匀采样处理,本文在兴趣区中的所有像素点每隔20个采样一个像素 点,如图3. 7所示,此时得到的像素点的值以数值的形式存放,采样得到的像 素点灰度值的变化可以反映血液容积的变化,以此得到时序曲线,重建出脉搏 波波形,对原始脉搏波波形进行归一化,接着进行下一步的滤波操作。对兴趣 区内像素间隔取样的方法不仅可以重建脉搏波信号,而且进一步减少了计算 量,更适合智能手机和可穿戴应用。

确认计算区域与兴越区相同

计算区域抽样取点

0 200 400 600 000 1 000 1200

3・7对所选兴趣区中像素间隔采样

3.5对重建的脉搏波滤波处理

从原始波形图中可以看出重建的原始脉搏波波形信号可能受诸多因素的影 响,比如:随机噪声、基线漂移、高频噪声和突变等等,这些因素都会对从脉 搏波波形中进一步获取人体心率变异性的精度有影响。因此,需要进行进一步 的滤波处理来消除这些噪声的干扰。本文考虑到相位损失,最终选择将原始脉 搏波波形信号先经过切比雪夫II型滤波器进行高低通滤波,然后使用自适应 notch滤波器针对不同的受试者合理配置滤波参数。各个滤波器的滤波效果如 下列图形所示。

PPG波形 PPG波形FFT变换

图3.8中,蓝色表示原始波形、红色表示经低通滤波器滤波后的脉搏波波 形,左图是时域数据,右图是频域数据,从时域数据可见,原始脉搏波数据整 体上虽然有各个波形,但是每个波形上有较多毛刺。从频域数据可知,低通滤 波器滤除了 2.8Hz以上的噪声信号,然后从时域数据可见红色曲线在保留较为 完整的脉搏波信号的同时,滤除了高频噪声,便于从脉搏波信号中提取生理信 号。
3・8 PPG原始数据经低通滤波前后时域与频域数据对比

噪声信号,然后从时域数据可见红色曲线在保留较为完整的脉搏波信号的同
图3.9中,蓝色表示低通滤波后波形、红色表示高通滤波器滤波后的脉搏 波波形,左图是时域数据,右图是频域数据,从时域数据可见,低通脉搏波数 据整体上存在较大的摆动。从频域数据可知,高通滤波器滤除了 0.1Hz以下的

3.9 PPG低通数据经高通滤波前后时域与频域数据对比

图3.10中,蓝色曲线是经切比雪夫II型高通滤波后的脉搏波波形、红色曲 线是在蓝色曲线的基础上使用自适应notch滤波器滤波后的波形,左图是时域 数据,右图是频域数据,从时域数据可见,高通脉搏波数据整体上依然存在一 些摆动。从频域数据可知,自适应notch滤波器滤除了 0.05Hz以下的噪声信 号,然后从时域数据可见红色曲线在保留较为完整的脉搏波信号的同时,进一 步滤除了低频噪声,便于从脉搏波信号中提取生理信号。3.10 PPG高通数据经notch滤波前后时域与频域数据对比

3.11 PPG notch数据经低通滤波前后时域与频域数据对比

图3.11中,蓝色曲线是经notch自适应滤波器滤波后的脉搏波波形、红色 曲线是在蓝色曲线的基础上再次使用低通滤波器滤波后的波形,左图是时域数 据,右图是频域数据,从时域数据可见,notch自适应滤波后的波形,回波上依 然存在较多毛刺。从频域数据可知,低通滤波器再次滤除5Hz以上的噪声信 号,然后从时域数据可见红色曲线在保留较为完整的脉搏波信号的同时,进一 步滤除回波上的高频噪声,便于从脉搏波信号中提取生理信号。

3.12三次样条插值后的PPG波形

图3.12中,蓝色表示滤波后的脉搏波波形、红色表示在蓝色曲线的基础上 使用3次样条插值后的波形,从图中可见,3次样条差值后的曲线,在保留较 好的脉搏波的同时,使信号更光滑,便于从中提取生理信号。

3.6脉搏波特征点提取
图3. 12将原始脉搏波和最终滤波后的脉搏波画在一起,左图是从视频中恢 复的波形,由于摄像存在镜像问题,因此右图给出了取反后的波形(相位差180 度),可见,相较于原始脉搏波,滤波后的波形得到了明显的改善。

脉搏波波形滤波后,需要提取脉搏波波形特征点,并计算5分钟内特征点 之间的时间间隔序列。现有检测脉搏波特征点的方法各有优缺点,其中小波变 换法存在精度较高的优点,但是存在运算量较大,实时性差的缺点;基于神经 网络的训练方法同样存在时间消耗大的问题,因此不适合在对时间要求高的场 景下使用;差分阈值法在满足检测精度相对较高的同时,还具有计算量小、实 时性高的优点,而本文经滤波后重建的脉搏波波形质量较好,同时考虑到本文 实际的应用场景,因此选择利用差分阈值的方法来提取脉搏波的特征点。具体 步骤如下:

  • ,因为正常心率范围是60-100次/分,所以本文选择把脉搏波分成每段 5秒的脉搏波波形片段,每个波形片段保证有一个脉搏波周期;
  • 脉搏波特征点波峰点作为本文待提取特征点,因为脉搏波的形态存在 个体性差异,所以选择不同的特征点对心率变异性的计算会有一定的影响。在 对比了计算复杂度及特征点选取效果好坏之后,本文选择波峰点作为脉搏波信 号的特征点。
  • 对脉搏波的波形信号求一阶差分,得到脉搏波波形上导数为0的点, 同时可以获得脉搏波信号中的高频成分。同时,为了排除波谷点的干扰,排除 差分值先减后增的极值点。
  • 对每一段脉搏波波形进行阈值检测,找出此段脉搏波波形中的最大幅 值点,再在此段脉搏波波形中找出所有大于5倍最大幅值点的数据点,对这 些数据点进行排序后,如果出现相邻点的位置大于0.2秒的数据点,则这两个 数据点应该不在一个脉搏波段中,之后在同一脉搏波段中找到最大幅值点就是 脉搏波波形峰值点。

3.7心率变异性分析

心率变异性分析方法中,非线性分析的研究现在十分不成熟,没有被用于 临床应用。现在常用的心电信号分析主要是基于时域波形的,为了验证本文算 法的有效性,本文以心电信号计算出的心率变异性作为对标数据,设计了对照 实验。使用从视频数据中恢复出的5分钟的脉搏波信号和心电信号计算得到心 率变异性参数进行一致性验证。

选择脉搏波波峰点作为特征点,计算脉搏波特征点的时间间隔,得到PPI 序列,利用脉搏波时间间隔序列PPI代替心电信号时间间隔序列RRI。由于心 率变异性分析只考虑正常的窦性心律,所以对于异位搏动点需要进行矫正,方 法是:如果一个PPI值远大于周围正常PPIs的平均值,则删除PPG波形,并且 用三次样条插值代替,然后对PPI序列进行心率变异性分析。在时域范围内, 本文选取了 NNVGR、SDNN、RMSSD、SDSD、NN50、pNN50、CV 这 7 个时 域参数进行分析。这些参数的计算公式在第2章节中有讲到。

对于对照组,使用与视频信号同时采集的心电信号计算心率变异性,首先 将心电ECG信号直接通过Pan-Tompkins的算法进行R波峰峰值检测,并计算 5分钟内的波峰点R-R间隔(RRI)的时间间隔序列,最后利用时间间隔序列 RRIs计算心率变异性参数。实验过程中,本文的心电信号的采样频率是 1000Hz,满足时间分辨率要求。在时频分析之前也可以使用零相位的0.02 Hz 高通巴特沃思滤波器对进行去趋势处理,但是这种方法存在较大的相位损失。 在去除心电信号的异位搏动时,也可以仿照脉搏波信号的处理,利用三次样条

插值的方法解决异位搏动问题,在得到时间间隔序列后,对于时间间隔序列

RRIs进行心率变异性分析时,同样计算时域中的七个参数NNVGRSDNN、

RMSSD、SDSD、NN50、pNN50、CV。

3.8心率变异性参数相关性分析介绍

为了验证实验的可行性,本文设计了对比实验,利用智能手机采集图像脉 搏波信号计算得到的心率变异性参数与作为金标准的心电图计算得到的心率变 异性参数进行统计分析。Bland-Altman方法是医学上用来评估两种设备或方法 一致性强弱的统计方法,可以避免相关系数不变的情况,使用Bland-Altman方 法计算分别利用智能手机重建脉搏波和心电图信号计算得到的心率变异性的7 个时域参数(NNVGR、SDNN、RMSSD、SDSD、NN50、pNN50、CV)的一 致性。

Bland-Altman方法通常用Bland-Altman图表示,在本实验中,Bland- Altman 图横轴是通过智能手机和ECG测量的心率变异性各个参数的平均值, 纵轴是通过智能手机和ECG测量的心率变异性各个参数的差值。Bland-Altman 方法评估两种方法一致性时,会综合全部数据的偏移和标准差。一致性界限

(limit of agreement, LOA)表示:偏倚量+ 1.96X标准差”(公式3.1),其中 偏倚(Bias)表示所有差值的平均值(公式3.2),标准差(SD)表示所有差值 的标准差,数学描述如公式3.3所示。皮尔逊相关系数广泛用于度量两个变量 之间的相关程度,其值介于・1与1之间,两个变量之间的皮尔逊相关系数定义 为两个变量之间的协方差和标准差的商,常用英文小写字母r表示(公式 3.4)o

04 = Bias ± 1.96SD …(3.1)
Bias =半器© -竝) ...(3.2)
SD = J右器© 一 & 一 Bias)2 ...(3.3)
._ cov(X,Y) _ y (禺-戈)(£-?) ...(3.4)

其中尤和y分别是从心电信号和智能手机重建的脉搏波计算得到的心率变异 性参数,而71代表被试对象的数量。

3.9本章小结

本章首先基于特定频域内视频亮度选择红色通道作为脉搏波重建目标通 道,然后利用帧间差分法选择兴趣区,并对兴趣区内像素间隔采样重建原始脉 搏波波形,相较于传统方法时间效率提高30%;本章采用切比雪夫滤波器和 notch自适应滤波器对原始波形进行自适应滤波,在较小损耗原始脉搏波波形 相位的同时,获取光滑的脉搏波信号;本章使用差分阈值方法检测脉搏波波峰 点,并将其作为特征点计算脉搏波时间间隔序列,然后介绍了心率变异性分析 和心率变异性相关性分析的理论知识,为下一章实验验证提供理论支撑。

4草实验数据采集及分析

4.1实验设备与数据集

实验设备方面,本实验使用了华为Mate20智能手机及Biopac多功能生理 信号采集设备。本文使用华为Mate20智能手机摄像头采集指尖视频信号,视频 保存为.MP4格式,使用帧率为每秒30帧,使用分辨率为1280x720;使用 Biopac多功能生理信号采集设备采集ECG信号,采样频率设为1000 Hz。

获取到指尖视频信号后,使用Matlab对视频信号进行处理运算,所使用的 数据处理实验设备为惠普ENVY13笔记本电脑,其配置参数如下:Intel 17- 7500u处理器,8GB内存,340GB PCIe SSD,数据以原始格式实时保存。获取 到ECG信号后,首先通过软件将数据转换为matlab使用的.mat文件格式,然 后统一处理,方便进行下一步实验操作。

本实验经深圳市先进技术研究院评审委员会批准(批准号:SIAT-IRB- 181215-H0274)o获得批准后,本实验招募34位受试者,采集生理数据,所有 受试者的基本信息如下:34名受试者包括男性17例,女性17例,平均年龄为 40±26岁,身高168.5±17.5厘米,体重65±25公斤之间,受试人员各年龄段分 布如下图4.1所示。所有受试者均身体健康。

实验受试人员分布

4.1数据集受试人员各年龄段人员分布图

为验证本文所提算法的有效性,本章利用采集的数据集设计了如下对照实 验,通过对比重建脉搏波计算得到的心率变异性及ECG信号计算得到的心率变 异性的一致性,来证明本文所提算法的有效性。为尽可能保证对照组的准确 性,实验开始前受试者躺在体检床上,用智能手机摄像头采集受试者右手食指 指尖视频信号,同时用Biopac设备采集ECG信号,ECG导线及电极片的连接 按照标准ECG信号检测操作指导完成,连接完毕后,对每位受试者采集5分钟 的指尖视频信号、ECG信号和脉搏波信号等。最终所得数据集包括318 MB视 频信号和8.1 MB ECG信号。

4.2实验数据采集

利用智能手机摄像头采集受试者指尖视频信号时,受试者可以采用平直的 坐姿或者平躺的姿势,因为本文在实验中设计了对比验证实验,需要同时检测 指尖视频信号、脉搏波信号及心电信号,为尽量减少外部干扰,本文选择平躺 的姿势采集信息。

实验前,受试者躺在体检床上。首先打开智能手机“视频”模式,考虑到 利用智能手机采集指尖视频信号重建脉搏波信号的原理是基于视频帧光照强度 变化的,这些变化与血液吸收的光强度变化有关,打开智能手机的闪光灯可以 最大程度地减少环境光对视频信号采集的影响,因此实验过程中保证手机闪光 灯处于常亮状态,这也是本文选择用帧间差分法选择兴趣区的原因。受试者的 右手食指需要覆盖在智能手机的相摄像头和闪光灯上,以收集指尖视频信号, 按照标准ECG信号的米集方法贴电极片,利用Biopac米集受试者的ECG信 号。实验操作如下图4.2所示。

利用Biopac获取ECG时,需要分别在四肢上还有胸腔等不同身体部位放 置10个电极片,其中三个电极片用于体表电压差的测量,一个与右腿相连的电 极的主要功能是降低噪音。另外六个电极片连接在胸部,用于采集胸部导联电 信号。因为心电图信号比较微弱,通常在0.1至5毫伏之间,所以呼吸的幅 度、测量时的身体状态、电源噪声等都会对实验产生干扰。心电图仪的电流和 电压的仪表放大器对于接收的微弱信号,通过较高的共模抑制比进行处理,因 此可以较准确的采集微弱信号。

智能手机录指尖视频,智能手机和Biopac同时采集五分钟的视频信号和

4.2采集实验数据操作

ECG信号。为了确保米集的信号质量良好,在数据米集时,受试者尽量保持静 止,实验前尽量不要做剧烈运动。实验后,根据第2节中提到的方法,将采集 的指尖视频数据发送到Matlab进行重建脉搏波信号、提取脉搏波特征点、获取 脉搏波波峰时间间隔序列等一系列后续操作,利用5分钟波峰时间间隔序列进 行短时心率变异性分析,同时利用ECG信号得到ECG的时间间隔序列进行短 时心率变异性分析,对比两种方法得到的心率变异性参数的拟合度,从而验证 本文所提算法的有效性。

4.3实验结果对比及分析

为了评估实验所用算法的准确性,本文对利用指尖视频信号重建的脉搏波 波形和心电图信号进行了心率变异性的一系列的统计分析。因为要进行5分钟 短时心率变异性分析,首先,本文利用视频重建的5分钟脉搏波和心电图信号 以波峰点作为特征点来得到时间间隔序列PPI和RRI,并画出PPI和RRI的分 布散点图如图4,3所示进行观察分析,从图中可见,所得PPI和RRI具有较高
的相似度,其数据走势具有较高的一致性,从而从一方面验证了本文所提算法的有效性。

为了充分说明本文所提算法的有效性,在进行心率变异性的相关指标参数 对比时,将心电图信号计算得到的心率变异性参数作为实验对照的金标准,用 来考量从重建脉搏波中计算得到的心率变异性的7个时域参数的准确性。具体 为,NNVGR、SDNN、RMSSD、SDSD、NN50、pNN50、CV 与标准心电图计 算得到的结果进行相关性强弱分析。同时本文将两种方法得到的7个时域心率 变异性参数进行医学界常用的Bland-Altman图分析,方便定量分析一致性,其 具体指标为:
4.3 5分钟重建脉搏波和心电信号时间间隔序列分布图

(1) 皮尔逊系数(r)o r用于衡量相关程度,r越大,相关性越强,r在 (0.8-1.0)内极强相关,(0.6-0.8)内强相关,(040.6)范围内中等程度相关。

(2) 和方差(SSE), SSE用来按照顺序计算两种数据之间的和方差,SSE 越小,说明模型拟合程度越好

(3) 线性相关方程(y=kx+b)。y=kx+b是线性相关方程用来表示两种方法 的相关程度。

本文将从视频图像重建的脉搏波中计算得到的NNVGR、SDNN、RMSSD、 SDSD、NN50、pNN50、CV,和从标准心电图计算得到的相关结果,分别计算, 皮尔逊系数、SSE、线性相关方程、假设机率,并绘出Bland-Altman图进行统计 分析。如图4.4-图4.10所示,横轴是通过ECG计算得到的心率变异性指标,

轴是通过智能手机重建的脉搏波计算的心率变异性指标,右图表示两种方法的差 异位于Bland-Altman图的哪个置信区间内。

口 NNVGR-PPG NNVGR-ECG 

4・4脉搏波波形和心电图得到的心率变异性参数NNVGR的Bland-Altman分析

图4.4■图4.10是34个受试者分别使用视频信息和ECG信息计算得到的心 率变异性参数的相关性分析:

(1) 从皮尔逊系数r的角度分析,SDNN、RMSSD、SDSD的相关系数 严都在0.4以上,属于强相关范围;NNVGR和CV都属于极强相关范围, NN50属于中度相关。

(2) 从和方差SSE的角度分析,除NN50外,所有参数的和方差SSE均 小于0.1,拟合度较强,考虑到NN50是大于RR间期之差大于50ms的数目, 而本文使用的是5分钟视频,NN50数值较大,并未经归一化处理,所以SSE 较大。

(3) 从线性相关方程角度分析,两种方法得到的心率变异性NNVGR、 SDNN、RMSSD、SDSD、NN50、pNN50、CV参数基本满足线性相关要求。

因此本文验证了智能手机摄像头测量的心率变异性的7个时域参数 (SNNVGR、SDNN、RMSSD、SDSD、NN50、pNN50、CV)与心电图计算的 结果具有较好的一致性卩刃。

图4.5脉搏波波形和心电图得到的心率变异性参数SDNN的Bland-Altman分析图

图4.6脉搏波波形和心电图得到的心率变异性参数RMSSD的Bland-Altman分析图

I

n r

-点 rm 口 口     1

1 □口

E申即□匸 1 □盯 □匚  
     

0.12 0.14 0.16 0.18

Mean SDSD-ECG & SDSD-PPG

SDSD-ECG ]

4.7脉搏波波形和心电图得到的心率变异性参数SDSD的Bland-Altman分析图

4.8脉搏波波形和心电图得到的心率变异性参数NN50的Bland-Altman分析图

口 pNN50-PPG pNN50-ECG |

4.9脉搏波波形和心电图得到的心率变异性参数pNN50的Bland-Altman分析图

口 cv-PPG cv-ECG |
cv-ECG Mean cv-ECG & cv-PPG

4.10脉搏波波形和心电图得到的心率变异性参数cv的Bland-Altman分析图

4.4本章小结

在第四章中,首先实验用到的设备以及构建数据集的具体信息,简要介绍 了实验操作,并着重进行了实验结果的分析及对比,利用Bland-Altman方法比 较利用智能手机采集的指尖视频信号重建的脉搏波和心电图信号计算得到的心 率变异性参数的一致性,而且比较了利用帧间差分间隔像素法和单纯利用整个 图像区域重建脉搏波的时间,本文的方法用时明显的减少,证明了本实验计算 心率变异性的准确性和实时性。最后利用重建的脉搏波及采集的心电信号进行 了心率变异性相关性分析,其中SDNN、RMSSD、SDSD皮尔逊系数r2>0.4, 属于强相关范围;NNVGR和CV的r2>0.64都属于极强相关范围,NN50属于 中度相关;除NN50外,所有参数的和方差SSE均小于0.1,拟合度较强。

5章结论与展望

5.1工作总结

医疗健康问题越来越成为人们关心的大问题,医疗资源短缺,看病贵,看 病难是亟待解决的难题,移动医疗因为其简捷方便、有利于慢性病监控的特点 而受到学术界长期的关注。但如何能不额外花费金钱,又能够便捷的实现对人 体生理参数日常的监测仍然是一个具有挑战性的课题。本文提出基于智能手机 的心率变异性监测方法,结合新的脉搏波重建算法,能够单纯使用手机就可以 实现多种生理参数的监测。本文主要工作如下:

  • 本文提出利用脉搏波代替心电信号进行心率变异性分析,并且提出来 一种基于智能手机采集的指尖视频重建脉搏波的方法。在重建脉搏波的过程 中,提出利用帧间差分间隔像素的方法获取亮度变化最大的区域,信息最丰富 的区域作为兴趣区,不仅可以减少周围噪声的干扰,有利于获得质量较好的脉 搏波波形,而且最大程度的减少了计算量。此外,智能手机易于操作,相关技 术在远程医学和家庭保健服务中具有巨大的潜力。
  • 本文提出了一种结合切比雪夫滤波器和notch自适应陷波滤波器的脉 搏波滤波算法,本方法可以自适应的保留原始脉搏波的特定频域,从而较好地 去除噪声干扰,滤波前后相位损失较小,重建出的脉搏波波形能够代替心电信 号进行心率变异性分析,且相关性较好。利用本文所提算法重建的脉搏波与心 电图计算得到的心率变异性时域参数(NNVGR、SDNN、RMSSD、SDSD)的 皮尔逊系数,在36-0.6之间,属于强相关范围;和方差SSE小于0.1,模型拟 合度较好;而且本文提出的帧间差分间隔像素法不仅提高了脉搏波重建质量, 而且用时相较于传统方法减少了 30%以上。
  • 本文建立了一个包含34人的指尖视频信号,脉搏波信号,心电图信 号的数据集。关于利用智能手机拍摄指尖视频信号,利用指尖视频信号重建脉 搏波及心率变异性等生理参数尚无大的公开数据集。因此,本文招募了 34名受 试者进行实验包括17名男性,17名女性,利用智能手机和Blopac多功能生理 参数测量仪对每个受试者同时采集5分钟的指尖视频信号、脉搏波信号和心电 图信号。

5.2研究展望

基于智能手机的脉搏波重建及心率变异性监测仍然有进一步的研究与提升 空间,未来的工作可以从以下方面进行:

  • 可以结合其它手机传感器获得的特征,监测更多生理参数。
  • 在重建脉搏波的过程中,考虑结合一些其他的算法,在保证计算量和 用时的情况下,重建质量更好的脉搏波。
  • 可以根据脉搏波波形进一步得到脉搏波传导时间,获得血压的相对变 化,配合校准血压值进而用来测量血压。
  • 可以结合人脸识别技术,通过检测人脸来提取脉搏波等生理参数信 息。

参考文献

  • Thomas H, Diamond J, Vieco A, Chaudhuri S, Shinnar E. Global Atlas of Cardiovascular Disease

2000-2016: The Path to Prevention and Control[M]. Glob Heart 2018,13:143-163

  • 刘明波,王文,周脉耕.2004-2010年中国心血管病死亡流行趋势分析[J].中华高血压杂

志,2014, 02:196-200.

  • 葛均波.《中国心血管健康指数(2017)》带来的提示[J].家庭用药,2017, (10): 7-7.
  • 中国心血管病报告编写组,中国心血管病报告2018[J]. 2019, 62(1):213-224.
  • M, G. AM, S. M, et al. The atlas of heart disease and stroke [M]. Geneva, Switzerland: World

Health Organization, 2004.

  • 蔺利峰,胡志刚,雷万军.中国老龄化背景与生物医学工程教育调整[M].中华医学会医学

工程分会第十二次学术年会暨2011中华临床工程及医疗信息化大会论文 集.2011, 16:1-3.

  • BOTHELL W. Trends in medical device design and manufacturing [J]. 2004,17(3)19-24.
  • 马俊领,王成,李章俊,等.基于PPG的心率和呼吸频率的测量研究[J].光学技术, 2011, 37(3) : 309-312.
  • GIL E, ORINIM, BAILON R, et al. Photoplethysmography pulse rate variability as a surrogate measurement of heart rate variability during non-stationary conditions [J]. Physiol Meas, 2010, 31(9): 1271-90.
  • SHIN J H, HWANG S H, CHANG M H, et al. Heart rate variability analysis using a ballistocardiogram during Valsalva manoeuvre and post exercise [J]. Physiol Meas, 2011, 32(8): 1239-64.
  • SUHRBIER A, HERINGER R, WALTHER T, et al. Comparison of three methods for beat-to- beat-interval extraction from continuous blood pressure and electrocardiogram with respect to heart rate variability analysis [J]. Biomed Tech (Berl), 2006, 51(2): 70-6.
  • 雷恒波,莫镜清,郭友达,等。基于手指视频的光电容积脉搏波信号获取[J].中国医疗 设备,2016, 31(11) : 42-45.
  • Favilla R, Zuccala VC, Coppini G. "Heart Rate and Heart Rate Variability From SingleChannel Video and ICA Integration of Multiple Signals ” IEEE J Biomed Health Inform. 2019 , 23(6):2398-2408.
  • Pelegris P,BanitsasK,OrbachT,etal.AnovelmethodtodetectHeartBeatRateusingamobile phone. Proceedings of Proc, of EMBC-10, 32nd Ann. Int. Conf, of the IEEE Engineering in Medicine and Biology Society, Buenos Aires, Argentina,2010. 5488-5491.
  • Lakens D. Using a Smartphone to measure heart rate changes during relived happiness and anger[J]. IEEE Transactions of Affective Computing. 2013, 4(3): 238-241.
  • Balakrishnan G, Durand F, Guttag J. Detecting Pulse from Head Motions in Video. Proceedings of Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on. IEEE,2013. 3430-3437.
  • PELEGRIS P, BANITSAS K, ORBACH T, et al. A novel method to detect heart beat rate using a mobile phone[C]; Conf Proc IEEE Eng Med Biol Soc.2010, 2010:324-33 &
  • Xiaomao Fan, Runge Chen, Chenguang He, et al. Toward automated analysis of electrocardiogram big data by graphics processing unit for mobile health application [J]. IEEE Access, 2017,5: 17136-17148.
  • Konstantin lyapochkin ; Evgeniya Smorodnikova ; Pavel Pravdin . Smartphone PPG: signal processing, quality assessment, and impact on HRV parameters [C]; Conf Proc IEEE Eng Med Biol Soc. 2019, 2019:4237-4240.
  • MATSUMURA K, YAMAKOSHI T. iPhysioMeter: A new approach for measuring heart rate and normalized pulse volume using only a smartphone [J]. Behav Res Methods, 2013, 45(4): 1272-8.
  • Jiang WJ, Wittek P, Zhao L, Gao SC. Adaptive Thresholding with Inverted Triangular Area for Real-Time Detection of the Heart Rate from Photoplethysmogram Traces on a Smartphone [C]. Conf Proc IEEE Eng Med Biol Soc. 2014,2014:3212-5.
  • Cui, L. E. Ostrander, and B. Y. Lee, "In vivo reflectance ofblood and tissue as a function of light wavelength,” IEEE Trans. Biomed. Eng., vol. 37, 1990, 1990:632 - 639.
  • 乙 Poh, D. J. Mcdu览 and R. W. Picard, 4'Advancements in noncontact, multiparameter physiological measurements using a webcam," IEEE Trans. Biomed. Eng., vol.58,

2011,2011:7-11.

  • BOLKHOVSKY J B, SCULLY C G, CHON K H. Statistical analysis of heart rate and heart rate variability monitoring through the use of smart phone cameras [J]. Conference proceedings : Annual International Conference of the IEEE Engineering in Medicine and Biology Society IEEE Engineering in Medicine and Biology Society Conference, 2012, 1610- 3.
  • KENNEDY H L. Digital filter designs for recursive frequency analysis [J]. Journal of Circuits, Systems, and Computers, 2016, 25(02): 1630001.
  • ALICKOVIC E, SUBASI A. Effect of multiscale pea de-noising in ecg beat classification for diagnosis of cardiovascular diseases[J]. Circuits, Systems, and Signal Processing, 2015,34(2): 513-533.
  • MARTIS R J, ACHARYAUR, MIN L C. Ecg beat classification using pea, Ida, ica and discrete wavelet transform[J]. Biomedical Signal Processing and Control, 2013,8 (5): 437748.
  • POUNGPONSRI S, YU X H. An adaptive filtering approach for electrocardiogram signal noise reduction using neural network s[J]. Neurocomputing, 2013,117: 206-213.
  • 王庭槐.生理学[M].北京:高等教育出版社,
  • PENG R-C, ZHOU X-L, LIN W-H, et al. Extraction of heart rate variability from smartphone photoplethysmograms [J]. Compute Math Methods Med, 2015, 15(1): 11-21.
  • 罗志昌,张松,杨益民.脉搏波的工程分析与临床应用[M].北京:科学出版社,
  • ALLEN J. Photoplethysmography and its application in clinical physiological measurement [J]. Physiol Meas, 2007, 28(3): R1-R39.
  • Verkruysse W, Svaasand L O, Nelson J S. Remote plethysmographic imaging using ambient light. Opticsexpress, 2008, 16(26):21434-21445.
  • Pinheiro, R. Couceiro, J. Henriques, J. MuehlstefF, I. Quintal, L. Goncalves, and P. Carvalho, "Can PPG be used for HRV analysis?,in Proc. Annu. Int. Conf. IEEE Eng. Med. Biol. Soc., 2016, pp. 2945-2949.
  • Jiapu Pan ; Willis J. Tompkins. A Real-Time QRS Detection Algorithm [M]. IEEE Transactions on Biomedical Engineering, 1985,pp. 230 -
  • Malik M, Bigger JT, Camm AJ, et al. Heart rate variability standards of measurement, physiological interpretation, and clinical use. European heart journal, 1996,17(3):354-381.
  • POMERANZ B, MACAULAY R JB, CAUDILL M A, et al. Assessment of autonomic function in humans by heart rate spectral analysis [J]. Am J Physiol, 1985, 248(1): H151-H3
  • S. Tegegne, T. Man, A. M. van Roon, H. Riese, and H. Snieder, "Determinants of heart rate variability in the general population: The lifelines cohort study," Heart Rhythm, vol. 15, 2018, pp. 1552-1558.
  • S.Quintanaand J. A. J. Heathers, ''Considerations in the assessment of heart rate variability in biobehavioral research,^FrontiersPsychol.,vol.5, 2014,pp. 1-10.
  • CAMM A J, MALIK M, BIGGER J T, et al. Heart rate variability: Standards of measurement, physiological interpretation, and clinical use [J]. Circulation, 1996, 93(5): 1043-65.
  • Goldberger AL, Amaral LA, Glass L, et al. PhysioBank, Physiokit, and PhysioNet: components of a new research resource for complex physiologic signals [J]. Circulation, 2000, 101(23): E215-20.
  • C. Kunz, E.N. Borges, R.C. Coelho et al. Nonlinear Analysis of Heart Rate Variability[C]. Engineering in Medicine and Biology Society, 2001. Proceedings of the 23rd Annual International Conference of the IEEE, Volume: 2. 2001, 26-31.
  • Elliott D F, et al. Handbook of Digital Signal Processing[M]. Academic Press, 1987.
  • PENG R-C, ZHOU X-L, ZHANG Y-T. Automatic selection of region of interest for the detection of heart rate using a mobile phone [M]. MDBS-BHE 2013. Hong Kong. 2013.
  • Sch'aferand J. Vagedes, "How accurate is pulse rate variability as an estimate of heart rate variability? A review on studies comparing photoplethysmographic technology with an electrocardiogram, ^International Journal of Cardiology,vol. 166, 2013, pp. 15-29.

致谢

即将毕业,感谢这一路走来帮助我的师长朋友们。首先,我要衷心感谢我 的第一导师李悴研究员和第二导师吴红艳工程师对我学术路上的指导、生活上 的关心和孜孜不倦的帮助。我的第一导师李老师他不仅在学术上有深厚的造 诣,而且对前沿动态的洞察十分敏锐,治学严谨求实、一丝不苟的科研作风时 刻鼓舞着我,他为我的科研方向还有人生道路都提供了宝贵的意见及建议,是 我一生值得感谢和尊敬的人。同时,我要感谢我的另外一位导师吴红艳工程师 对我的悉心指导和帮助。吴老师在如何做科研非常有自己的见解,她提出的意 见使我开阔了眼界,受益匪浅。

感谢生物医学信息中心的全体老师和同学,在我读研期间给予我热情帮助 和支持鼓励,让我感激不尽,这一路走来,并不是我一个人在奋斗,我的身边 充满了同学老师的帮助和关心。另外,我还要感谢我的直系师兄刘记奎博士, 他对我的科研工作、专利和论文工作都给予了大量的帮助,在各种科研可行性 问题和科研的具体实施方法上都给了我很多意见和建议,他谦虚谨慎的态度和 渊博的学识是我学习的榜样。

我还要衷心感谢家人的支持和理解,让我在学术道路上有了更多前进的动 力,感谢你们在我二十多年的生命里给我的无私的爱,希望你们能够身体健 康,万事如意。我的硕士生活即将结束,再次感谢所有关心、帮助过我的人。