基于相机的非接触式光电子溶血性描绘是指一组流行的非接触生理测量技术。目前的最先进的神经模型通常以伴随金标准生理测量的视频以监督方式培训。但是,它们通常概括域名差别示例(即,与培训集中的视频不同)。个性化模型可以帮助提高型号的概括性,但许多个性化技术仍然需要一些金标准数据。为了帮助缓解这一依赖性,在本文中,我们展示了一种名为Mobilememon的新型移动感应系统,该系统是第一个移动个性化远程生理传感系统,它利用智能手机上的前后相机,为培训产生高质量的自我监督标签个性化非接触式相机的PPG模型。为了评估MobilemeLephys的稳健性,我们使用39名参与者进行了一个用户学习,他们在不同的移动设备下完成了一组任务,照明条件/强度,运动任务和皮肤类型。我们的研究结果表明,Mobilephys显着优于最先进的设备监督培训和几次拍摄适应方法。通过广泛的用户研究,我们进一步检查了Mobilephys如何在复杂的真实环境中执行。我们设想,从我们所提出的双摄像机移动传感系统产生的校准或基于相机的非接触式PPG模型将为智能镜,健身和移动健康应用等许多未来应用打开门。
translated by 谷歌翻译
对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学,机器学习,计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查,描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战,以便从概念上推进。最后,我描述了对研究社区可用的当前资源(数据集和代码),并提供了一个全面的网页(https://cameravitals.github.io/),其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。
translated by 谷歌翻译
远程光插图学(RPPG)是一种快速,有效,廉价和方便的方法,用于收集生物识别数据,因为它可以使用面部视频来估算生命体征。事实证明,远程非接触式医疗服务供应在COVID-19大流行期间是可怕的必要性。我们提出了一个端到端框架,以根据用户的视频中的RPPG方法来衡量人们的生命体征,包括心率(HR),心率变异性(HRV),氧饱和度(SPO2)和血压(BP)(BP)(BP)用智能手机相机捕获的脸。我们以实时的基于深度学习的神经网络模型来提取面部标志。通过使用预测的面部标志来提取多个称为利益区域(ROI)的面部斑块(ROI)。应用了几个过滤器,以减少称为血量脉冲(BVP)信号的提取的心脏信号中ROI的噪声。我们使用两个公共RPPG数据集培训和验证了机器学习模型,即Tokyotech RPPG和脉搏率检测(PURE)数据集,我们的模型在其上实现了以下平均绝对错误(MAE):a),HR,1.73和3.95 BEATS- beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-s-s-s-s-s-y-peats-beats-beats-beats-ship-s-s-s-in-chin-p-in-in-in-in-in-c--in-in-c-le-in-in- -t一下制。每分钟(bpm),b)分别为HRV,分别为18.55和25.03 ms,c)对于SPO2,纯数据集上的MAE为1.64。我们在现实生活环境中验证了端到端的RPPG框架,修订,从而创建了视频HR数据集。我们的人力资源估计模型在此数据集上达到了2.49 bpm的MAE。由于没有面对视频的BP测量不存在公开可用的RPPG数据集,因此我们使用了带有指标传感器信号的数据集来训练我们的模型,还创建了我们自己的视频数据集Video-BP。在我们的视频BP数据集中,我们的BP估计模型的收缩压(SBP)达到6.7 mmHg,舒张压(DBP)的MAE为9.6 mmHg。
translated by 谷歌翻译
Camera-based physiological measurement is a growing field with neural models providing state-the-art-performance. Prior research have explored various "end-to-end" models; however these methods still require several preprocessing steps. These additional operations are often non-trivial to implement making replication and deployment difficult and can even have a higher computational budget than the "core" network itself. In this paper, we propose two novel and efficient neural models for camera-based physiological measurement called EfficientPhys that remove the need for face detection, segmentation, normalization, color space transformation or any other preprocessing steps. Using an input of raw video frames, our models achieve strong performance on three public datasets. We show that this is the case whether using a transformer or convolutional backbone. We further evaluate the latency of the proposed networks and show that our most light weight network also achieves a 33% improvement in efficiency.
translated by 谷歌翻译
能够可靠地估计来自视频的生理信号是低成本,临床前健康监测的强大工具。在这项工作中,我们提出了一种新的远程光学仪器描绘(RPPG)的新方法 - 从人脸或皮肤的观察结果测量血液体积的变化。类似于RPPG的当前最先进的方法,我们应用神经网络,以便在滋扰图像变异的不变性中学习深度表示。与此类方法相比,我们采用了一个完全自我监督的培训方法,这毫无依赖于昂贵的地面真理生理培训数据。我们所提出的方法在频率和时间光滑的频率和兴趣信号的时间平滑之前使用对比学习。我们在四个RPPG数据集中评估我们的方法,显示与最近监督的深度学习方法相比,可以实现可比或更好的结果,但不使用任何注释。此外,我们还将学习的显着重采样模块纳入了我们无监督的方法和监督基线。我们表明,通过允许模型来了解输入图像的位置,我们可以减少手工工程功能的需要,同时为模型的行为和可能的故障模式提供一些可解释性。我们释放守则以获得我们完整的培训和评估管道,以鼓励在这种激动人心的新方向上的可重复进展。
translated by 谷歌翻译
随着在线医疗的激增,需要对患者生命力进行远程监测。这可以通过从面部视频中计算生命体征的远程照相学(RPPG)技术来促进。它涉及处理视频帧以获取皮肤像素,从中提取心脏数据并应用信号处理过滤器以提取血量脉冲(BVP)信号。将不同的算法应用于BVP信号以估计各种生命体征。我们实施了一个Web应用程序框架,以测量一个人的心率(HR),心率变异性(HRV),氧饱和度(SPO2),呼吸率(RR),血压(BP)和面部视频的压力。RPPG技术对照明和运动变化高度敏感。Web应用程序指导用户减少由于这些变化而减少噪音,从而产生清洁器的BVP信号。框架的准确性和鲁棒性在志愿者的帮助下得到了验证。
translated by 谷歌翻译
使用摄像机和计算算法的生理学(例如心脏和肺)生理学的非侵入性,低成本和可扩展性测量的生命体征非常有吸引力。但是,代表各种环境,身体运动,照明条件和生理状态的各种数据是费力的,耗时且昂贵的。合成数据已被证明是机器学习的几个领域的有价值工具,但并未广泛用于摄像机测量生理状态。合成数据提供“完美”标签(例如,没有噪声且具有精确的同步),可能无法获得其他标签(例如,精确的像素级分段图),并提供了对数据集中变化和多样性的高度控制。我们提供Scamps,这是一个合成学数据集,其中包含2,800个视频(168万帧),并带有对齐的心脏和呼吸信号以及面部动作强度。 RGB框架与分割图一起提供。我们提供有关潜在波形的精确描述性统计数据,包括beat间间隔,心率变异性和脉搏到达时间。最后,我们介绍了这些合成数据和对现实世界数据集测试的基线结果培训,以说明可推广性。
translated by 谷歌翻译
本文提出了一种评估RGB视频文件中可见人体组织灌注的方法。我们提出了源自远程光摄影(RPPG)信号的指标,以检测组织是否充分供应血液。灌注分析以三种不同的尺度进行,为不同的应用提供了灵活的方法。我们在每个尺度上独立地对局部定义的感兴趣区域独立执行平面正交到皮肤的RPPG。从提取的信号中,我们得出了信噪比,频域中的大小,心率,灌注指数以及特定RPPG信号之间的相关性,以便在局部评估人类组织特定区域的灌注。我们表明,本地解决的RPPG具有广泛的应用。作为示例性应用,我们介绍了术中术中灌注分析和可视化皮肤和器官移植期间的可视化,以及用于谋生评估以检测表现攻击到身份验证系统中的应用。
translated by 谷歌翻译
基于远程的光摄影学(RPPG)的生理测量值在情感计算,非接触式健康监测,远程医疗监测等方面具有良好的应用值,这已经变得越来越重要,尤其是在Covid-19-19-19大流行期间。现有方法通常分为两组。第一个重点是从面部视频中挖掘微妙的血量脉冲(BVP)信号,但很少明确地模拟主导面部视频内容的声音。它们容易受到噪音的影响,在看不见的情况下可能会遭受泛滥能力。第二个重点是直接建模嘈杂的数据,由于缺乏这些严重的随机噪声的规律性,导致了次优性能。在本文中,我们提出了一个分解和重建网络(DRNET),重点是生理特征而不是嘈杂数据的建模。提出了新的周期损失来限制生理信息的周期性。此外,提出了插件空间注意块(SAB),以增强功能以​​及空间位置信息。此外,提出了有效的斑块种植(PC)增强策略,以合成具有不同噪声和特征的增强样品。在不同的公共数据集以及跨数据库测试上进行了广泛的实验证明了我们方法的有效性。
translated by 谷歌翻译
该研究使用数学建模和人类对象实验,探讨了新兴网络摄像头可能在多大程度上泄漏了可识别的文本和图形信息,从网络摄像头捕获的眼镜反射中闪闪发光。我们工作的主要目标是衡量,计算和预测随着网络摄像头技术在未来发展的可识别性因素,限制和阈值。我们的工作探索并表征了基于光学攻击的可行威胁模型,该模型使用视频帧序列上的多帧超级分辨率技术。我们在受控实验室设置中的模型和实验结果表明,可以重建和识别超过75%的屏幕文本,其高度高达10毫米,并使用720p网络摄像头进行重建和识别。我们进一步将此威胁模型应用于具有不同攻击者功能的Web文本内容,以找到可以识别文本的阈值。我们与20名参与者的用户研究表明,当今的720p网络摄像头足以让对手在大芬特网站上重建文本内容。我们的模型进一步表明,向4K摄像机的演变将使文本泄漏的阈值倾斜到流行网站上大多数标题文本的重建。除文本目标外,还针对具有720p网络摄像头的Alexa前100个网站的封闭世界数据集的案例研究显示,即使没有使用机器学习模型,也没有10个参与者的最高识别精度为94%。我们的研究提出了近期缓解,包括用户可以用来模糊视频流的眼镜区域的软件原型。对于可能的长期防御,我们主张采用个人反思测试程序来评估各种环境下的威胁,并证明遵循最少特权原则对隐私敏感的情况的重要性。
translated by 谷歌翻译
最近,面部生物识别是对传统认证系统的方便替代的巨大关注。因此,检测恶意尝试已经发现具有重要意义,导致面部抗欺骗〜(FAS),即面部呈现攻击检测。与手工制作的功能相反,深度特色学习和技术已经承诺急剧增加FAS系统的准确性,解决了实现这种系统的真实应用的关键挑战。因此,处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中,我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明,基于各种特征和学习方法的语义分类。此外,我们以时间顺序排列,其进化进展和评估标准(数据集内集和数据集互联集合中集)覆盖了FAS的主要公共数据集。最后,我们讨论了开放的研究挑战和未来方向。
translated by 谷歌翻译
折射率是最常见的眼睛障碍,是可更正视觉障碍的关键原因,造成了美国近80%的视觉障碍。可以使用多种方法诊断折射误差,包括主观折射,视网膜镜检查和自动磨蚀器。尽管主观折射是黄金标准,但它需要患者的合作,因此不适合婴儿,幼儿和发育迟缓的成年人。视网膜镜检查是一种客观折射方法,不需要患者的任何输入。但是,视网膜镜检查需要镜头套件和训练有素的检查员,这限制了其用于大规模筛查的使用。在这项工作中,我们通过将智能手机连接到视网膜镜和录制视网膜镜视频与患者戴着定制的纸框架来自动化自动化。我们开发了一个视频处理管道,该管道将视网膜视频视为输入,并根据我们提出的视网膜镜检查数学模型的扩展来估算净屈光度错误。我们的系统减轻了对镜头套件的需求,可以由未经培训的检查员进行。在一项185只眼睛的临床试验中,我们的灵敏度为91.0%,特异性为74.0%。此外,与主观折射测量相比,我们方法的平均绝对误差为0.75 $ \ pm $ 0.67D。我们的结果表明,我们的方法有可能用作现实世界中医疗设置中的基于视网膜镜检查的折射率筛选工具。
translated by 谷歌翻译
最近,基于生理信号的生物识别系统已受到广泛关注。与传统的生物特征特征不同,生理信号不容易被妥协(通常对人眼无法观察)。光杀解物学(PPG)信号易于测量,使其比许多其他用于生物特征验证的生理信号更具吸引力。但是,随着远程PPG(RPPG)的出现,当攻击者可以通过监视受害者的脸部远程窃取RPPG信号时,挑战不可观察,随后对基于PPG的生物识别构成威胁。在基于PPG的生物识别身份验证中,当前的攻击方法要求受害者的PPG信号,从而忽略了基于RPPG的攻击。在本文中,我们首先分析基于PPG的生物识别技术的安全性,包括用户身份验证和通信协议。我们评估了通过五种RPPG方法提取的信号波形,心率和脉冲间间隔信息,包括四种传统的光学计算方法(Chrom,POS,LGI,PCA)和一种深度学习方法(CL_RPPG)。我们在五个数据集(Pure,UBFC_RPPG,UBFC_PHYS,LGI_PPGI和COHFACE)上进行了实验,以收集一系列全面的结果集。我们的实证研究表明,RPPG对身份验证系统构成了严重威胁。用户身份验证系统中RPPG信号欺骗攻击的成功率达到0.35。基于脉冲间间隔的安全协议中的位命中率为0.6。此外,我们提出了一种积极的防御策略,以隐藏面部的生理信号以抵抗攻击。它将用户身份验证中RPPG欺骗攻击的成功率降低到0.05。位命中率降低到0.5,这是一个随机猜测的水平。我们的策略有效地阻止了PPG信号的暴露,以保护用户的敏感生理数据。
translated by 谷歌翻译
With the increase in health consciousness, noninvasive body monitoring has aroused interest among researchers. As one of the most important pieces of physiological information, researchers have remotely estimated the heart rate (HR) from facial videos in recent years. Although progress has been made over the past few years, there are still some limitations, like the processing time increasing with accuracy and the lack of comprehensive and challenging datasets for use and comparison. Recently, it was shown that HR information can be extracted from facial videos by spatial decomposition and temporal filtering. Inspired by this, a new framework is introduced in this paper to remotely estimate the HR under realistic conditions by combining spatial and temporal filtering and a convolutional neural network. Our proposed approach shows better performance compared with the benchmark on the MMSE-HR dataset in terms of both the average HR estimation and short-time HR estimation. High consistency in short-time HR estimation is observed between our method and the ground truth.
translated by 谷歌翻译
信号处理是几乎任何传感器系统的基本组件,具有不同科学学科的广泛应用。时间序列数据,图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能,数据驱动,信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述,旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题,从基础到工业研究,以简明的主题部分组织,反映了每个研究领域的当前和未来发展的趋势和影响。此外,它为研究人员和资助机构提供了识别新前景的指导。
translated by 谷歌翻译
监督深度学习方法的最新进展是使用面部视频实现基于光电觉描绘的生理信号的远程测量。然而,这些监督方法的性能取决于大标记数据的可用性。作为自我监督方法的对比学习,最近通过最大化不同增强视图之间的互信息来实现学习代表数据特征的最先进的性能。然而,用于对比学学习的现有数据增强技术不是设计用于从视频中学习来自视频的生理信号,并且当存在复杂的噪声和微妙和微妙和周期性的颜色或视频帧之间的形状变化时,通常会失败。为了解决这些问题,我们为远程生理信号表示学习提供了一种新的自我监督的时空学习框架,其中缺乏标记的培训数据。首先,我们提出了一种基于地标的空间增强,其基于Shafer Dichromatic反射模型将面部分成几个信息部件,以表征微妙的肤色波动。我们还制定了一种基于稀疏的时间增强,利用奈奎斯特 - 香农采样定理来通过建模生理信号特征有效地捕获周期性的时间变化。此外,我们介绍了一个受限制的时空损失,为增强视频剪辑产生伪标签。它用于调节训练过程并处理复杂的噪声。我们在3个公共数据集中评估了我们的框架,并展示了比其他自我监督方法的卓越表现,并与最先进的监督方法相比实现了竞争精度。
translated by 谷歌翻译
监测呼吸率对于帮助我们识别呼吸系统疾病至关重要。常规呼吸监测的设备不方便且几乎无法使用。最近的研究表明,非接触式技术(例如光摄影学和红外热成像)从面部收集呼吸信号并监测呼吸的能力。但是,当前的非接触式呼吸监测技术的精度较差,因为它们对照明和运动伪影等环境影响很敏感。此外,在现实世界中医疗应用程序设置中,用户与云之间的频繁联系可能会导致服务请求延迟,并可能导致个人数据的丢失。我们提出了一种具有合作三层设计的非接触式呼吸速率监测系统,以提高呼吸监测的精度并减少数据传输延迟。为了减少数据传输和网络延迟,我们的三层体系结构逐层分解了呼吸监视的计算任务。此外,我们通过设计目标跟踪算法和消除假峰以提取高质量呼吸信号的算法来提高呼吸监测的准确性。通过收集数据并在面部选择几个感兴趣的区域,我们能够提取呼吸信号并研究不同区域如何影响呼吸监测。实验的结果表明,当使用鼻部区域提取呼吸信号时,它在实验上表现最好。我们的方法的表现比竞争对手的方法更好,同时传输较少的数据。
translated by 谷歌翻译
新生儿重症监护病房(NICU)中的早产婴儿必须不断监测其心脏健康。常规的监测方法是基于接触的,使新生儿容易受到各种医院感染。基于视频的监视方法为非接触式测量开辟了潜在的途径。这项工作提供了一条管道,用于远程对NICU设置视频的心肺信号进行远程估算。我们提出了一个端到端深度学习(DL)模型,该模型集成了一种基于基于学习的方法来生成替代地面真理(SGT)标签以进行监督,从而避免了直接依赖对真实地面真相标签的依赖。我们进行了扩展的定性和定量分析,以检查我们提出的基于DL的管道的功效,并在估计的心率中达到了总平均平均绝对误差为4.6 BEATS(BPM)(BPM)和均方根均方根误差为6.2 bpm。
translated by 谷歌翻译
从视频中估算心率可以通过患者护理,人类互动和运动中的应用进行非接触健康监测。现有的工作可以通过面部跟踪在一定程度的运动下稳健地测量心率。但是,在不受约束的设置中,这并不总是可以的,因为脸部可能会被遮住甚至在相机外面。在这里,我们介绍Intensephysio:具有挑战性的视频心率估计数据集,具有逼真的面部阻塞,严重的主题运动和充足的心率变化。为了确保在现实环境中的心率变化,我们记录每个主题约1-2小时。该受试者正在用附着的摄像机进行骑自行车计(以中等强度)锻炼(中度至高强度),没有关于定位或运动的指示。我们有11个主题,大约有20个小时的视频。我们表明,现有的远程照相拍摄方法在这种情况下估计心率很难。此外,我们提出了IBIS-CNN,这是一种使用时空超级像素的新基线,它通过消除了对可见面/面部跟踪的需求来改善现有模型。我们将尽快公开提供代码和数据。
translated by 谷歌翻译
眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展,由于眼睛外观,眼头相互作用,遮挡,图像质量和照明条件的独特性,自动凝视分析仍然具有挑战性。有几个开放的问题,包括在没有先验知识的情况下,在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展,以阐明这些基本问题,确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法,尤其是在无监督和弱监督的领域中。我们的分析表明,强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战,例如不受限制的设置和学习,并减少了监督。最后,我们讨论了设计现实的目光分析系统的未来研究方向,该系统可以传播到其他领域,包括计算机视觉,增强现实(AR),虚拟现实(VR)和人类计算机交互(HCI)。项目页面:https://github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey
translated by 谷歌翻译