Peripheral blood oxygen saturation (SpO2), an indicator of oxygen levels in the blood, is one of the most important physiological parameters. Although SpO2 is usually measured using a pulse oximeter, non-contact SpO2 estimation methods from facial or hand videos have been attracting attention in recent years. In this paper, we propose an SpO2 estimation method from facial videos based on convolutional neural networks (CNN). Our method constructs CNN models that consider the direct current (DC) and alternating current (AC) components extracted from the RGB signals of facial videos, which are important in the principle of SpO2 estimation. Specifically, we extract the DC and AC components from the spatio-temporal map using filtering processes and train CNN models to predict SpO2 from these components. We also propose an end-to-end model that predicts SpO2 directly from the spatio-temporal map by extracting the DC and AC components via convolutional layers. Experiments using facial videos and SpO2 data from 50 subjects demonstrate that the proposed method achieves a better estimation performance than current state-of-the-art SpO2 estimation methods.

With the increase in health consciousness, noninvasive body monitoring has aroused interest among researchers. As one of the most important pieces of physiological information, researchers have remotely estimated the heart rate (HR) from facial videos in recent years. Although progress has been made over the past few years, there are still some limitations, like the processing time increasing with accuracy and the lack of comprehensive and challenging datasets for use and comparison. Recently, it was shown that HR information can be extracted from facial videos by spatial decomposition and temporal filtering. Inspired by this, a new framework is introduced in this paper to remotely estimate the HR under realistic conditions by combining spatial and temporal filtering and a convolutional neural network. Our proposed approach shows better performance compared with the benchmark on the MMSE-HR dataset in terms of both the average HR estimation and short-time HR estimation. High consistency in short-time HR estimation is observed between our method and the ground truth.

自动疼痛识别对于医学诊断和治疗至关重要。现有工程分为三类：评估面部外观变化，利用生理线索，或以多模态的方式融合它们。然而，（1）外观变化很容易受到阻碍客观疼痛识别的主观因素的影响。此外，基于外观的方法忽略了对于随时间建模表达的远程空间依赖性。 （2）通过在人体上附着传感器来获得生理学提示，这不方便和不舒服。在本文中，我们提出了一种新的多任务学习框架，其以非接触方式编码外观变化和生理线索以进行疼痛识别。该框架能够通过所学习的外观表示的提出的注意机制来捕获局部和远程依赖性，这是通过在辅助任务中从视频中恢复的恢复的时间上富集的富集。该框架被称为RPPG的时空关注网络（RSTAN），并允许我们在公开的止痛数据库上建立非接触疼痛识别的最先进的性能。它展示了RPPG预测可以用作辅助任务，以便于非接触自动疼痛识别。

Edema is a common symptom of kidney disease, and quantitative measurement of edema is desired. This paper presents a method to estimate the degree of edema from facial images taken before and after dialysis of renal failure patients. As tasks to estimate the degree of edema, we perform pre- and post-dialysis classification and body weight prediction. We develop a multi-patient pre-training framework for acquiring knowledge of edema and transfer the pre-trained model to a model for each patient. For effective pre-training, we propose a novel contrastive representation learning, called weight-aware supervised momentum contrast (WeightSupMoCo). WeightSupMoCo aims to make feature representations of facial images closer in similarity of patient weight when the pre- and post-dialysis labels are the same. Experimental results show that our pre-training approach improves the accuracy of pre- and post-dialysis classification by 15.1% and reduces the mean absolute error of weight prediction by 0.243 kg compared with training from scratch. The proposed method accurately estimate the degree of edema from facial images; our edema estimation system could thus be beneficial to dialysis patients.

血压（BP）监测对于日常医疗保健至关重要，尤其是对于心血管疾病。但是，BP值主要是通过接触传感方法获得的，这是不方便且不友好的BP测量。因此，我们提出了一个有效的端到端网络，以估算面部视频中的BP值，以实现日常生活中的远程BP测量。在这项研究中，我们首先得出了短期（〜15s）面部视频的时空图。根据时空图，我们随后通过设计的血压分类器回归了BP范围，并同时通过每个BP范围内的血压计算器来计算特定值。此外，我们还制定了一种创新的过采样培训策略，以解决不平衡的数据分配问题。最后，我们在私有数据集ASPD上培训了拟议的网络，并在流行的数据集MMSE-HR上对其进行了测试。结果，拟议的网络实现了收缩压和舒张压测量的最先进的MAE，为12.35 mmHg和9.5 mmHg，这比最近的工作要好。它得出的结论是，在现实世界中，提出的方法对于基于摄像头的BP监测具有巨大潜力。

远程光插图学（RPPG）是一种快速，有效，廉价和方便的方法，用于收集生物识别数据，因为它可以使用面部视频来估算生命体征。事实证明，远程非接触式医疗服务供应在COVID-19大流行期间是可怕的必要性。我们提出了一个端到端框架，以根据用户的视频中的RPPG方法来衡量人们的生命体征，包括心率（HR），心率变异性（HRV），氧饱和度（SPO2）和血压（BP）（BP）（BP）用智能手机相机捕获的脸。我们以实时的基于深度学习的神经网络模型来提取面部标志。通过使用预测的面部标志来提取多个称为利益区域（ROI）的面部斑块（ROI）。应用了几个过滤器，以减少称为血量脉冲（BVP）信号的提取的心脏信号中ROI的噪声。我们使用两个公共RPPG数据集培训和验证了机器学习模型，即Tokyotech RPPG和脉搏率检测（PURE）数据集，我们的模型在其上实现了以下平均绝对错误（MAE）：a），HR，1.73和3.95 BEATS- beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-s-s-s-s-s-y-peats-beats-beats-beats-ship-s-s-s-in-chin-p-in-in-in-in-in-c--in-in-c-le-in-in- -t一下制。每分钟（bpm），b）分别为HRV，分别为18.55和25.03 ms，c）对于SPO2，纯数据集上的MAE为1.64。我们在现实生活环境中验证了端到端的RPPG框架，修订，从而创建了视频HR数据集。我们的人力资源估计模型在此数据集上达到了2.49 bpm的MAE。由于没有面对视频的BP测量不存在公开可用的RPPG数据集，因此我们使用了带有指标传感器信号的数据集来训练我们的模型，还创建了我们自己的视频数据集Video-BP。在我们的视频BP数据集中，我们的BP估计模型的收缩压（SBP）达到6.7 mmHg，舒张压（DBP）的MAE为9.6 mmHg。

远程光学电瓶描绘（RPPG），其目的在没有任何接触的情况下从面部视频测量心脏活动和生理信号，在许多应用中具有很大的潜力（例如，远程医疗保健和情感计算）。最近的深度学习方法专注于利用具有有限时空接收领域的卷积神经网络进行微妙的RPPG线索，这忽略了RPPG建模的远程时空感知和相互作用。在本文中，我们提出了Physformer，基于端到端的视频变换器的架构，以自适应地聚合用于RPPG表示增强的本地和全局时空特征。作为Physformer中的关键模块，时间差异变压器首先提高了具有时间差异引导的全局关注的准周期性RPPG特征，然后优化了局部时空表示免于干扰。此外，我们还提出了标签分配学习和课程学习激发了频域中的动态约束，这为Phyformer和缓解过度装备提供了精心制造的监控。在四个基准数据集上执行综合实验，以显示我们在内部和交叉数据集测试中的卓越性能。一个突出显示的是，与大多数变压器网络不同于大规模数据集预先预订，所提出的Physformer可以从RPPG数据集上从头开始培训，这使得它作为RPPG社区的新型变压器基线。该代码将在https://github.com/zitongyu/physformer释放。

基于远程光摄氏学的心率估计在几种特定情况下（例如健康监测和疲劳检测）起着重要作用。现有良好的方法致力于将多个重叠视频剪辑的预测HR平均作为30秒面部视频的最终结果。尽管这些具有数百层和数千个渠道的方法是高度准确且健壮的，但它们需要巨大的计算预算和30秒的等待时间，这极大地限制了算法的应用来扩展。在这些CicumStacnces下，我们提出了一个轻巧的快速脉冲模拟网络（LFPS-NET），在非常有限的计算和时间预算中追求最佳准确性，重点关注通用的移动平台，例如智能手机。为了抑制噪声组件并在短时间内获得稳定的脉冲，我们设计了多频模态信号融合机制，该机制利用了时频域分析理论，以将多模式信息与复杂信号分开。它有助于继续进行网络，而无需添加任何参数，可以更轻松地学习有效的热门。此外，我们设计了一个过采样培训策略，以解决由数据集的分布不平衡引起的问题。对于30秒的面部视频，我们提出的方法在大多数评估指标上取得了最佳结果，以估计心率或心率变异性与最佳论文相比。提出的方法仍然可以使用短时（〜15秒）的主体视频获得非常具竞争力的结果。

Nowadays, due to the widespread use of smartphones in everyday life and the improvement of computational capabilities of these devices, many complex tasks can now be deployed on them. Concerning the need for continuous monitoring of vital signs, especially for the elderly or those with certain types of diseases, the development of algorithms that can estimate vital signs using smartphones has attracted researchers worldwide. Such algorithms estimate vital signs (heart rate and oxygen saturation level) by processing an input PPG signal. These methods often apply multiple pre-processing steps to the input signal before the prediction step. This can increase the computational complexity of these methods, meaning only a limited number of mobile devices can run them. Furthermore, multiple pre-processing steps also require the design of a couple of hand-crafted stages to obtain an optimal result. This research proposes a novel end-to-end solution to mobile-based vital sign estimation by deep learning. The proposed method does not require any pre-processing. Due to the use of fully convolutional architecture, the parameter count of our proposed model is, on average, a quarter of the ordinary architectures that use fully-connected layers as the prediction heads. As a result, the proposed model has less over-fitting chance and computational complexity. A public dataset for vital sign estimation, including 62 videos collected from 35 men and 27 women, is also provided. The experimental results demonstrate state-of-the-art estimation accuracy.

能够可靠地估计来自视频的生理信号是低成本，临床前健康监测的强大工具。在这项工作中，我们提出了一种新的远程光学仪器描绘（RPPG）的新方法 - 从人脸或皮肤的观察结果测量血液体积的变化。类似于RPPG的当前最先进的方法，我们应用神经网络，以便在滋扰图像变异的不变性中学习深度表示。与此类方法相比，我们采用了一个完全自我监督的培训方法，这毫无依赖于昂贵的地面真理生理培训数据。我们所提出的方法在频率和时间光滑的频率和兴趣信号的时间平滑之前使用对比学习。我们在四个RPPG数据集中评估我们的方法，显示与最近监督的深度学习方法相比，可以实现可比或更好的结果，但不使用任何注释。此外，我们还将学习的显着重采样模块纳入了我们无监督的方法和监督基线。我们表明，通过允许模型来了解输入图像的位置，我们可以减少手工工程功能的需要，同时为模型的行为和可能的故障模式提供一些可解释性。我们释放守则以获得我们完整的培训和评估管道，以鼓励在这种激动人心的新方向上的可重复进展。

基于远程的光摄影学（RPPG）的生理测量值在情感计算，非接触式健康监测，远程医疗监测等方面具有良好的应用值，这已经变得越来越重要，尤其是在Covid-19-19-19大流行期间。现有方法通常分为两组。第一个重点是从面部视频中挖掘微妙的血量脉冲（BVP）信号，但很少明确地模拟主导面部视频内容的声音。它们容易受到噪音的影响，在看不见的情况下可能会遭受泛滥能力。第二个重点是直接建模嘈杂的数据，由于缺乏这些严重的随机噪声的规律性，导致了次优性能。在本文中，我们提出了一个分解和重建网络（DRNET），重点是生理特征而不是嘈杂数据的建模。提出了新的周期损失来限制生理信息的周期性。此外，提出了插件空间注意块（SAB），以增强功能以​​及空间位置信息。此外，提出了有效的斑块种植（PC）增强策略，以合成具有不同噪声和特征的增强样品。在不同的公共数据集以及跨数据库测试上进行了广泛的实验证明了我们方法的有效性。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

本文提出了一种评估RGB视频文件中可见人体组织灌注的方法。我们提出了源自远程光摄影（RPPG）信号的指标，以检测组织是否充分供应血液。灌注分析以三种不同的尺度进行，为不同的应用提供了灵活的方法。我们在每个尺度上独立地对局部定义的感兴趣区域独立执行平面正交到皮肤的RPPG。从提取的信号中，我们得出了信噪比，频域中的大小，心率，灌注指数以及特定RPPG信号之间的相关性，以便在局部评估人类组织特定区域的灌注。我们表明，本地解决的RPPG具有广泛的应用。作为示例性应用，我们介绍了术中术中灌注分析和可视化皮肤和器官移植期间的可视化，以及用于谋生评估以检测表现攻击到身份验证系统中的应用。

从视频中估算心率可以通过患者护理，人类互动和运动中的应用进行非接触健康监测。现有的工作可以通过面部跟踪在一定程度的运动下稳健地测量心率。但是，在不受约束的设置中，这并不总是可以的，因为脸部可能会被遮住甚至在相机外面。在这里，我们介绍Intensephysio：具有挑战性的视频心率估计数据集，具有逼真的面部阻塞，严重的主题运动和充足的心率变化。为了确保在现实环境中的心率变化，我们记录每个主题约1-2小时。该受试者正在用附着的摄像机进行骑自行车计（以中等强度）锻炼（中度至高强度），没有关于定位或运动的指示。我们有11个主题，大约有20个小时的视频。我们表明，现有的远程照相拍摄方法在这种情况下估计心率很难。此外，我们提出了IBIS-CNN，这是一种使用时空超级像素的新基线，它通过消除了对可见面/面部跟踪的需求来改善现有模型。我们将尽快公开提供代码和数据。

目的：我们提出了一种从面部视频中检测到房颤（AF）检测的非接触式方法。方法：记录了100名健康受试者和100名AF患者的面部视频，心电图（ECG）和接触光摄影（PPG）。来自健康受试者的数据记录都被标记为健康。两名心脏病专家评估了患者的心电图记录，并将每种记录标记为AF，窦性心律（SR）或心房颤动（AFL）。我们使用3D卷积神经网络进行远程PPG监测，并提出了新的损耗函数（Wasserstein距离），以使用接触PPG的收缩峰的时间作为我们的模型训练的标签。然后，根据beat间隔计算一组心率变异性（HRV）功能，并使用HRV功能训练支持向量机（SVM）分类器。结果：我们提出的方法可以准确地从面部视频中提取收缩峰以进行AF检测。提出的方法通过与30s视频剪辑的10倍交叉验证进行了训练，并在两个任务上进行了测试。 1）健康与AF的分类：准确性，灵敏度和特异性为96.00％，95.36％和96.12％。 2）SR与AF的分类：准确性，灵敏度和特异性为95.23％，98.53％和91.12％。此外，我们还证明了非接触式AFL检测的可行性。结论：我们通过学习收缩峰来实现非接触AF检测的良好性能。显着性：非接触性AF检测可用于自我筛查，可疑在家中可疑人群或治疗慢性患者治疗后自我监控。

基于相机的非接触式光电子溶血性描绘是指一组流行的非接触生理测量技术。目前的最先进的神经模型通常以伴随金标准生理测量的视频以监督方式培训。但是，它们通常概括域名差别示例（即，与培训集中的视频不同）。个性化模型可以帮助提高型号的概括性，但许多个性化技术仍然需要一些金标准数据。为了帮助缓解这一依赖性，在本文中，我们展示了一种名为Mobilememon的新型移动感应系统，该系统是第一个移动个性化远程生理传感系统，它利用智能手机上的前后相机，为培训产生高质量的自我监督标签个性化非接触式相机的PPG模型。为了评估MobilemeLephys的稳健性，我们使用39名参与者进行了一个用户学习，他们在不同的移动设备下完成了一组任务，照明条件/强度，运动任务和皮肤类型。我们的研究结果表明，Mobilephys显着优于最先进的设备监督培训和几次拍摄适应方法。通过广泛的用户研究，我们进一步检查了Mobilephys如何在复杂的真实环境中执行。我们设想，从我们所提出的双摄像机移动传感系统产生的校准或基于相机的非接触式PPG模型将为智能镜，健身和移动健康应用等许多未来应用打开门。

新生儿重症监护病房（NICU）中的早产婴儿必须不断监测其心脏健康。常规的监测方法是基于接触的，使新生儿容易受到各种医院感染。基于视频的监视方法为非接触式测量开辟了潜在的途径。这项工作提供了一条管道，用于远程对NICU设置视频的心肺信号进行远程估算。我们提出了一个端到端深度学习（DL）模型，该模型集成了一种基于基于学习的方法来生成替代地面真理（SGT）标签以进行监督，从而避免了直接依赖对真实地面真相标签的依赖。我们进行了扩展的定性和定量分析，以检查我们提出的基于DL的管道的功效，并在估计的心率中达到了总平均平均绝对误差为4.6 BEATS（BPM）（BPM）和均方根均方根误差为6.2 bpm。

监督深度学习方法的最新进展是使用面部视频实现基于光电觉描绘的生理信号的远程测量。然而，这些监督方法的性能取决于大标记数据的可用性。作为自我监督方法的对比学习，最近通过最大化不同增强视图之间的互信息来实现学习代表数据特征的最先进的性能。然而，用于对比学学习的现有数据增强技术不是设计用于从视频中学习来自视频的生理信号，并且当存在复杂的噪声和微妙和微妙和周期性的颜色或视频帧之间的形状变化时，通常会失败。为了解决这些问题，我们为远程生理信号表示学习提供了一种新的自我监督的时空学习框架，其中缺乏标记的培训数据。首先，我们提出了一种基于地标的空间增强，其基于Shafer Dichromatic反射模型将面部分成几个信息部件，以表征微妙的肤色波动。我们还制定了一种基于稀疏的时间增强，利用奈奎斯特 - 香农采样定理来通过建模生理信号特征有效地捕获周期性的时间变化。此外，我们介绍了一个受限制的时空损失，为增强视频剪辑产生伪标签。它用于调节训练过程并处理复杂的噪声。我们在3个公共数据集中评估了我们的框架，并展示了比其他自我监督方法的卓越表现，并与最先进的监督方法相比实现了竞争精度。

睡眠是一种基本的生理过程，对于维持健康的身心至关重要。临床睡眠监测的黄金标准是多核桃摄影（PSG），基于哪个睡眠可以分为五个阶段，包括尾脉冲睡眠（REM睡眠）/非REM睡眠1（N1）/非REM睡眠2 （n2）/非REM睡眠3（n3）。然而，PSG昂贵，繁重，不适合日常使用。对于长期睡眠监测，无处不在的感测可以是解决方案。最近，心脏和运动感测在分类三阶段睡眠方面变得流行，因为两种方式都可以从研究级或消费者级设备中获得（例如，Apple Watch）。但是，为最大准确性融合数据的最佳仍然是一个打开的问题。在这项工作中，我们综合地研究了深度学习（DL）的高级融合技术，包括三种融合策略，三个融合方法以及三级睡眠分类，基于两个公共数据集。实验结果表明，通过融合心脏/运动传感方式可以可靠地分类三阶段睡眠，这可能成为在睡眠中进行大规模睡眠阶段评估研究或长期自动跟踪的实用工具。为了加快普遍存在/可穿戴计算社区的睡眠研究的进展，我们制作了该项目开源，可以在：https://github.com/bzhai/ubi-sleepnet找到代码。

基于视频的远程生理测量利用面部视频来测量血量变化信号，这也称为远程光摄影学（RPPG）。 RPPG测量的监督方法达到了最新的性能。但是，有监督的RPPG方法需要面部视频和地面真理生理信号进行模型培训。在本文中，我们提出了一种无监督的RPPG测量方法，该方法不需要地面真相信号进行培训。我们使用3DCNN模型在不同的时空位置中从每个视频中生成多个RPPG信号，并以对比度损失训练模型，其中将来自同一视频的RPPG信号汇总在一起，而来自不同视频的那些视频则被推开。我们在五个公共数据集上测试，包括RGB视频和NIR视频。结果表明，我们的方法优于先前的无监督基线，并在所有五个数据集上实现了非常接近当前最佳监督RPPG方法的精度。此外，我们还证明了我们的方法可以以更快的速度运行，并且比以前的无监督基线更强大。我们的代码可在https://github.com/zhaodongsun/contrast-phys上找到。