随着在线医疗的激增，需要对患者生命力进行远程监测。这可以通过从面部视频中计算生命体征的远程照相学（RPPG）技术来促进。它涉及处理视频帧以获取皮肤像素，从中提取心脏数据并应用信号处理过滤器以提取血量脉冲（BVP）信号。将不同的算法应用于BVP信号以估计各种生命体征。我们实施了一个Web应用程序框架，以测量一个人的心率（HR），心率变异性（HRV），氧饱和度（SPO2），呼吸率（RR），血压（BP）和面部视频的压力。RPPG技术对照明和运动变化高度敏感。Web应用程序指导用户减少由于这些变化而减少噪音，从而产生清洁器的BVP信号。框架的准确性和鲁棒性在志愿者的帮助下得到了验证。

远程光插图学（RPPG）是一种快速，有效，廉价和方便的方法，用于收集生物识别数据，因为它可以使用面部视频来估算生命体征。事实证明，远程非接触式医疗服务供应在COVID-19大流行期间是可怕的必要性。我们提出了一个端到端框架，以根据用户的视频中的RPPG方法来衡量人们的生命体征，包括心率（HR），心率变异性（HRV），氧饱和度（SPO2）和血压（BP）（BP）（BP）用智能手机相机捕获的脸。我们以实时的基于深度学习的神经网络模型来提取面部标志。通过使用预测的面部标志来提取多个称为利益区域（ROI）的面部斑块（ROI）。应用了几个过滤器，以减少称为血量脉冲（BVP）信号的提取的心脏信号中ROI的噪声。我们使用两个公共RPPG数据集培训和验证了机器学习模型，即Tokyotech RPPG和脉搏率检测（PURE）数据集，我们的模型在其上实现了以下平均绝对错误（MAE）：a），HR，1.73和3.95 BEATS- beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-s-s-s-s-s-y-peats-beats-beats-beats-ship-s-s-s-in-chin-p-in-in-in-in-in-c--in-in-c-le-in-in- -t一下制。每分钟（bpm），b）分别为HRV，分别为18.55和25.03 ms，c）对于SPO2，纯数据集上的MAE为1.64。我们在现实生活环境中验证了端到端的RPPG框架，修订，从而创建了视频HR数据集。我们的人力资源估计模型在此数据集上达到了2.49 bpm的MAE。由于没有面对视频的BP测量不存在公开可用的RPPG数据集，因此我们使用了带有指标传感器信号的数据集来训练我们的模型，还创建了我们自己的视频数据集Video-BP。在我们的视频BP数据集中，我们的BP估计模型的收缩压（SBP）达到6.7 mmHg，舒张压（DBP）的MAE为9.6 mmHg。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

基于相机的非接触式光电子溶血性描绘是指一组流行的非接触生理测量技术。目前的最先进的神经模型通常以伴随金标准生理测量的视频以监督方式培训。但是，它们通常概括域名差别示例（即，与培训集中的视频不同）。个性化模型可以帮助提高型号的概括性，但许多个性化技术仍然需要一些金标准数据。为了帮助缓解这一依赖性，在本文中，我们展示了一种名为Mobilememon的新型移动感应系统，该系统是第一个移动个性化远程生理传感系统，它利用智能手机上的前后相机，为培训产生高质量的自我监督标签个性化非接触式相机的PPG模型。为了评估MobilemeLephys的稳健性，我们使用39名参与者进行了一个用户学习，他们在不同的移动设备下完成了一组任务，照明条件/强度，运动任务和皮肤类型。我们的研究结果表明，Mobilephys显着优于最先进的设备监督培训和几次拍摄适应方法。通过广泛的用户研究，我们进一步检查了Mobilephys如何在复杂的真实环境中执行。我们设想，从我们所提出的双摄像机移动传感系统产生的校准或基于相机的非接触式PPG模型将为智能镜，健身和移动健康应用等许多未来应用打开门。

监测呼吸率对于帮助我们识别呼吸系统疾病至关重要。常规呼吸监测的设备不方便且几乎无法使用。最近的研究表明，非接触式技术（例如光摄影学和红外热成像）从面部收集呼吸信号并监测呼吸的能力。但是，当前的非接触式呼吸监测技术的精度较差，因为它们对照明和运动伪影等环境影响很敏感。此外，在现实世界中医疗应用程序设置中，用户与云之间的频繁联系可能会导致服务请求延迟，并可能导致个人数据的丢失。我们提出了一种具有合作三层设计的非接触式呼吸速率监测系统，以提高呼吸监测的精度并减少数据传输延迟。为了减少数据传输和网络延迟，我们的三层体系结构逐层分解了呼吸监视的计算任务。此外，我们通过设计目标跟踪算法和消除假峰以提取高质量呼吸信号的算法来提高呼吸监测的准确性。通过收集数据并在面部选择几个感兴趣的区域，我们能够提取呼吸信号并研究不同区域如何影响呼吸监测。实验的结果表明，当使用鼻部区域提取呼吸信号时，它在实验上表现最好。我们的方法的表现比竞争对手的方法更好，同时传输较少的数据。

With the increase in health consciousness, noninvasive body monitoring has aroused interest among researchers. As one of the most important pieces of physiological information, researchers have remotely estimated the heart rate (HR) from facial videos in recent years. Although progress has been made over the past few years, there are still some limitations, like the processing time increasing with accuracy and the lack of comprehensive and challenging datasets for use and comparison. Recently, it was shown that HR information can be extracted from facial videos by spatial decomposition and temporal filtering. Inspired by this, a new framework is introduced in this paper to remotely estimate the HR under realistic conditions by combining spatial and temporal filtering and a convolutional neural network. Our proposed approach shows better performance compared with the benchmark on the MMSE-HR dataset in terms of both the average HR estimation and short-time HR estimation. High consistency in short-time HR estimation is observed between our method and the ground truth.

本文提出了一种评估RGB视频文件中可见人体组织灌注的方法。我们提出了源自远程光摄影（RPPG）信号的指标，以检测组织是否充分供应血液。灌注分析以三种不同的尺度进行，为不同的应用提供了灵活的方法。我们在每个尺度上独立地对局部定义的感兴趣区域独立执行平面正交到皮肤的RPPG。从提取的信号中，我们得出了信噪比，频域中的大小，心率，灌注指数以及特定RPPG信号之间的相关性，以便在局部评估人类组织特定区域的灌注。我们表明，本地解决的RPPG具有广泛的应用。作为示例性应用，我们介绍了术中术中灌注分析和可视化皮肤和器官移植期间的可视化，以及用于谋生评估以检测表现攻击到身份验证系统中的应用。

这项工作代表了沉浸式数字学习平台的系统面部表达识别和面部压力分析算法的实验和开发过程。该系统从用户网络摄像头检索，并使用人工神经网络（ANN）算法对其进行评估。 ANN输出信号可用于评分和改进学习过程。将ANN适应新系统可能需要大量的实施工作或重复ANN培训。还存在与运行ANN所需的最小硬件有关的局限性。为了使这些限制超过这些约束，提出了一些可能的面部表达识别和面部压力分析算法的实现。新解决方案的实施使得提高识别面部表情的准确性并提高其响应速度成为可能。实验结果表明，与社交设备相比，使用开发的算法可以以更高的速度检测心率。

折射率是最常见的眼睛障碍，是可更正视觉障碍的关键原因，造成了美国近80％的视觉障碍。可以使用多种方法诊断折射误差，包括主观折射，视网膜镜检查和自动磨蚀器。尽管主观折射是黄金标准，但它需要患者的合作，因此不适合婴儿，幼儿和发育迟缓的成年人。视网膜镜检查是一种客观折射方法，不需要患者的任何输入。但是，视网膜镜检查需要镜头套件和训练有素的检查员，这限制了其用于大规模筛查的使用。在这项工作中，我们通过将智能手机连接到视网膜镜和录制视网膜镜视频与患者戴着定制的纸框架来自动化自动化。我们开发了一个视频处理管道，该管道将视网膜视频视为输入，并根据我们提出的视网膜镜检查数学模型的扩展来估算净屈光度错误。我们的系统减轻了对镜头套件的需求，可以由未经培训的检查员进行。在一项185只眼睛的临床试验中，我们的灵敏度为91.0％，特异性为74.0％。此外，与主观折射测量相比，我们方法的平均绝对误差为0.75 $ \ pm $ 0.67D。我们的结果表明，我们的方法有可能用作现实世界中医疗设置中的基于视网膜镜检查的折射率筛选工具。

血压（BP）监测对于日常医疗保健至关重要，尤其是对于心血管疾病。但是，BP值主要是通过接触传感方法获得的，这是不方便且不友好的BP测量。因此，我们提出了一个有效的端到端网络，以估算面部视频中的BP值，以实现日常生活中的远程BP测量。在这项研究中，我们首先得出了短期（〜15s）面部视频的时空图。根据时空图，我们随后通过设计的血压分类器回归了BP范围，并同时通过每个BP范围内的血压计算器来计算特定值。此外，我们还制定了一种创新的过采样培训策略，以解决不平衡的数据分配问题。最后，我们在私有数据集ASPD上培训了拟议的网络，并在流行的数据集MMSE-HR上对其进行了测试。结果，拟议的网络实现了收缩压和舒张压测量的最先进的MAE，为12.35 mmHg和9.5 mmHg，这比最近的工作要好。它得出的结论是，在现实世界中，提出的方法对于基于摄像头的BP监测具有巨大潜力。

早期发现焦虑症对于减少精神障碍患者的苦难并改善治疗结果至关重要。基于MHealth平台的焦虑筛查在提高筛选效率和降低筛查成本方面具有特殊实用价值。实际上，受试者的身体和心理评估中移动设备的差异以及数据质量不均匀的问题和现实世界中数据的少量数据量使现有方法无效。因此，我们提出了一个基于时空特征融合的框架，用于非触发焦虑。为了降低数据质量不平衡的影响，我们构建了一个基于“ 3DCNN+LSTM”的特征提取网络，并融合了面部行为和非接触式生理学的时空特征。此外，我们设计了一种相似性评估策略，以解决较小的数据样本量导致模型准确性下降的问题。我们的框架已通过现实世界中的机组数据集进行了验证，并且两个公共数据集UBFC-Phys和Swell-KW。实验结果表明，我们框架的总体性能要比最新的比较方法更好。

长期或慢性病的人管理是国家卫生系统面临的最大挑战之一。实际上，这些疾病是住院的主要原因之一，尤其是对于老年人，监测它们所需的大量资源导致医疗保健系统可持续性问题。便携式设备和新连接技术的扩散越来越大，可以实施能够为医疗保健提供者提供支持并减轻医院和诊所的负担。在本文中，我们介绍了用于医疗保健的远程监控平台的实现，该平台旨在从不同的消费者移动设备和自定义设备中捕获几种类型的生理健康参数。可以通过Google Fit生态系统将消​​费者医疗设备集成到平台中，该生态系统支持数百个设备，而自定义设备可以通过标准通信协议直接与平台进行交互。该平台旨在使用机器学习算法处理获得的数据，并为患者和医生提供生理健康参数，并提供用户友好，全面且易于理解的仪表板，该仪表板通过时间来监视参数。初步可用性测试在功能和实用性方面表现出良好的用户满意度。

新生儿重症监护病房（NICU）中的早产婴儿必须不断监测其心脏健康。常规的监测方法是基于接触的，使新生儿容易受到各种医院感染。基于视频的监视方法为非接触式测量开辟了潜在的途径。这项工作提供了一条管道，用于远程对NICU设置视频的心肺信号进行远程估算。我们提出了一个端到端深度学习（DL）模型，该模型集成了一种基于基于学习的方法来生成替代地面真理（SGT）标签以进行监督，从而避免了直接依赖对真实地面真相标签的依赖。我们进行了扩展的定性和定量分析，以检查我们提出的基于DL的管道的功效，并在估计的心率中达到了总平均平均绝对误差为4.6 BEATS（BPM）（BPM）和均方根均方根误差为6.2 bpm。

Camera-based physiological measurement is a growing field with neural models providing state-the-art-performance. Prior research have explored various "end-to-end" models; however these methods still require several preprocessing steps. These additional operations are often non-trivial to implement making replication and deployment difficult and can even have a higher computational budget than the "core" network itself. In this paper, we propose two novel and efficient neural models for camera-based physiological measurement called EfficientPhys that remove the need for face detection, segmentation, normalization, color space transformation or any other preprocessing steps. Using an input of raw video frames, our models achieve strong performance on three public datasets. We show that this is the case whether using a transformer or convolutional backbone. We further evaluate the latency of the proposed networks and show that our most light weight network also achieves a 33% improvement in efficiency.

Drowsiness on the road is a widespread problem with fatal consequences; thus, a multitude of systems and techniques have been proposed. Among existing methods, Ghoddoosian et al. utilized temporal blinking patterns to detect early signs of drowsiness, but their algorithm was tested only on a powerful desktop computer, which is not practical to apply in a moving vehicle setting. In this paper, we propose an efficient platform to run Ghoddosian's algorithm, detail the performance tests we ran to determine this platform, and explain our threshold optimization logic. After considering the Jetson Nano and Beelink (Mini PC), we concluded that the Mini PC is the most efficient and practical to run our embedded system in a vehicle. To determine this, we ran communication speed tests and evaluated total processing times for inference operations. Based on our experiments, the average total processing time to run the drowsiness detection model was 94.27 ms for Jetson Nano and 22.73 ms for the Beelink (Mini PC). Considering the portability and power efficiency of each device, along with the processing time results, the Beelink (Mini PC) was determined to be most suitable. Also, we propose a threshold optimization algorithm, which determines whether the driver is drowsy or alert based on the trade-off between the sensitivity and specificity of the drowsiness detection model. Our study will serve as a crucial next step for drowsiness detection research and its application in vehicles. Through our experiment, we have determinend a favorable platform that can run drowsiness detection algorithms in real-time and can be used as a foundation to further advance drowsiness detection research. In doing so, we have bridged the gap between an existing embedded system and its actual implementation in vehicles to bring drowsiness technology a step closer to prevalent real-life implementation.

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

最近，基于生理信号的生物识别系统已受到广泛关注。与传统的生物特征特征不同，生理信号不容易被妥协（通常对人眼无法观察）。光杀解物学（PPG）信号易于测量，使其比许多其他用于生物特征验证的生理信号更具吸引力。但是，随着远程PPG（RPPG）的出现，当攻击者可以通过监视受害者的脸部远程窃取RPPG信号时，挑战不可观察，随后对基于PPG的生物识别构成威胁。在基于PPG的生物识别身份验证中，当前的攻击方法要求受害者的PPG信号，从而忽略了基于RPPG的攻击。在本文中，我们首先分析基于PPG的生物识别技术的安全性，包括用户身份验证和通信协议。我们评估了通过五种RPPG方法提取的信号波形，心率和脉冲间间隔信息，包括四种传统的光学计算方法（Chrom，POS，LGI，PCA）和一种深度学习方法（CL_RPPG）。我们在五个数据集（Pure，UBFC_RPPG，UBFC_PHYS，LGI_PPGI和COHFACE）上进行了实验，以收集一系列全面的结果集。我们的实证研究表明，RPPG对身份验证系统构成了严重威胁。用户身份验证系统中RPPG信号欺骗攻击的成功率达到0.35。基于脉冲间间隔的安全协议中的位命中率为0.6。此外，我们提出了一种积极的防御策略，以隐藏面部的生理信号以抵抗攻击。它将用户身份验证中RPPG欺骗攻击的成功率降低到0.05。位命中率降低到0.5，这是一个随机猜测的水平。我们的策略有效地阻止了PPG信号的暴露，以保护用户的敏感生理数据。

在此演示论文中，我们设计和原型Rhythmedge是一种低成本，基于深度学习的无接触系统，用于常规的HR监控应用。通过促进无接触性质，实时/离线操作，廉价和可用的传感组件以及计算设备，节奏对现有方法的好处。我们的Rhythmedge系统是可移植的，可以轻松部署，以在中等控制的室内或室外环境中可靠的人力资源估计。 Rhythmedge通过检测面部视频（远程光摄影学； RPPG）的血量变化来测量人力资源，并使用现成的市售资源可限制的边缘平台和摄像机进行即时评估。我们通过将Rhythmedge的可伸缩性，灵活性和兼容性部署到不同的体系结构的三个资源约束平台上（Nvidia Jetson Nano，Google Coral Development Board，Raspberry Pi）和三个异质摄像机，可与不同的体系结构进行部署，并证明了Rhythmedge的可伸缩性和兼容性。摄像头，动作摄像头和DSLR）。 Rhythmedge进一步存储纵向心血管信息，并为用户提供即时通知。我们通过分析其运行时，内存和功率使用情况来彻底测试三个边缘计算平台的原型稳定性，延迟和可行性。

由于照顾不断增长的老年人口的医疗和财务需求，对跌倒的及时可靠发现是一个大型且快速增长的研究领域。在过去的20年中，高质量硬件（高质量传感器和AI微芯片）和软件（机器学习算法）技术的可用性通过为开发人员提供开发此类系统的功能，从而成为这项研究的催化剂。这项研究开发了多个应用组件，以研究秋季检测系统的发展挑战和选择，并为未来的研究提供材料。使用此方法开发的智能应用程序通过秋季检测模型实验和模型移动部署的结果验证。总体上表现最好的模型是标准化的RESNET152，并带有2S窗口尺寸的调整数据集，可实现92.8％的AUC，7.28％的灵敏度和98.33％的特异性。鉴于这些结果很明显，加速度计和心电图传感器对秋季检测有益，并允许跌倒和其他活动之间的歧视。由于所得数据集中确定的弱点，这项研究为改进的空间留下了很大的改进空间。这些改进包括在跌落的临界阶段使用标签协议，增加数据集样品的数量，改善测试主题表示形式，并通过频域预处理进行实验。

Identity authentication is the process of verifying one's identity. There are several identity authentication methods, among which biometric authentication is of utmost importance. Facial recognition is a sort of biometric authentication with various applications, such as unlocking mobile phones and accessing bank accounts. However, presentation attacks pose the greatest threat to facial recognition. A presentation attack is an attempt to present a non-live face, such as a photo, video, mask, and makeup, to the camera. Presentation attack detection is a countermeasure that attempts to identify between a genuine user and a presentation attack. Several industries, such as financial services, healthcare, and education, use biometric authentication services on various devices. This illustrates the significance of presentation attack detection as the verification step. In this paper, we study state-of-the-art to cover the challenges and solutions related to presentation attack detection in a single place. We identify and classify different presentation attack types and identify the state-of-the-art methods that could be used to detect each of them. We compare the state-of-the-art literature regarding attack types, evaluation metrics, accuracy, and datasets and discuss research and industry challenges of presentation attack detection. Most presentation attack detection approaches rely on extensive data training and quality, making them difficult to implement. We introduce an efficient active presentation attack detection approach that overcomes weaknesses in the existing literature. The proposed approach does not require training data, is CPU-light, can process low-quality images, has been tested with users of various ages and is shown to be user-friendly and highly robust to 2-dimensional presentation attacks.