呼吸障碍（例如睡眠呼吸暂停）是一种严重的疾病，由于肺部含有/交换氧气和二氧化碳的能力不足，以确保身体处于稳定的稳态状态，因此会影响大量个体。呼吸测量（例如微小通风）可以与其他生理测量相关，例如远程监测健康和检测此类呼吸相关疾病的症状，例如心率和心率变异性。在这项工作中，我们制定了一种基于深度学习的方法来衡量私人数据集上的远程通风。接受这项工作后，数据集将公开。我们使用两个深度神经网络的两个版本来估计通过可穿戴心率和呼吸设备获得的数据流的微小通风。我们证明，我们的管道的简单设计（包括轻型深神经网络）可以轻松地纳入实时健康监测系统中。

在过去的几年中，从面部视频中对心脏脉搏的测量已成为对研究的有趣追求。这主要是由于以非侵入性方式获得个人心率的重要性越来越重要，这对于游戏和医疗行业的应用可能非常有用。在过去的几年中，研究的另一个工具领域是深度学习的出现，并使用深度神经网络来增强任务绩效。在这项工作中，我们建议使用有效的卷积网络来准确测量低分辨率面部视频的用户心率。此外，为了确保我们能够实时获得心律，我们通过修剪深度学习模型来压缩深度学习模型，从而减少其内存足迹。我们在MAHNOB数据集上基准了方法的性能，并在多种方法中比较了其性能。

面部视频中心率的估计在医疗和健身行业中有许多应用。此外，它在游戏领域也变得有用。已经提出了几种方法，可以从面部视频中无缝获得心率，但是这些方法在处理运动和照明工件方面存在问题。在这项工作中，我们使用用户的光谱反射率提出了一个可靠的人力资源估计框架，这使运动和照明干扰变得强大。我们采用基于学习的深度框架，例如更快的RCNNS来执行面部检测，而不是先前方法使用的中提琴琼斯算法。我们在Mahnob HCI数据集上评估了我们的方法，发现所提出的方法能够超越先前的方法。从面部视频中估计心率在医疗和健身行业中有许多应用。此外，它在游戏领域也变得有用。已经提出了几种方法，可以从面部视频中无缝获得心率，但是这些方法在处理运动和照明工件方面存在问题。在这项工作中，我们使用用户的光谱反射率提出了一个可靠的人力资源估计框架，这使运动和照明干扰变得强大。我们采用基于学习的深度框架，例如更快的RCNNS来执行面部检测，而不是先前方法使用的中提琴算法。我们在MAHNOB HCI数据集上评估了我们的方法，发现所提出的方法能够超过以前的方法。

深度神经网络已用于多种成功的应用中。但是，由于包含数百万个参数，它们的高度复杂性质导致在延迟需求低的管道中部署期间有问题。结果，更希望获得在推理期间具有相同性能的轻型神经网络。在这项工作中，我们提出了一种基于重量的修剪方法，其中权重根据以前的迭代势头逐渐修剪。神经网络的每个层都根据其相对稀疏性分配了一个重要性值，然后在先前迭代中的重量幅度分配。我们在Alexnet，VGG16和Resnet50等网络上评估了我们的方法，其中包括图像分类数据集，例如CIFAR-10和CIFAR-100。我们发现，在准确性和压缩比方面，结果优于先前的方法。我们的方法能够在两个数据集上获得同一降解的相同降解的15％压缩。

基于远程光摄氏学的心率估计在几种特定情况下（例如健康监测和疲劳检测）起着重要作用。现有良好的方法致力于将多个重叠视频剪辑的预测HR平均作为30秒面部视频的最终结果。尽管这些具有数百层和数千个渠道的方法是高度准确且健壮的，但它们需要巨大的计算预算和30秒的等待时间，这极大地限制了算法的应用来扩展。在这些CicumStacnces下，我们提出了一个轻巧的快速脉冲模拟网络（LFPS-NET），在非常有限的计算和时间预算中追求最佳准确性，重点关注通用的移动平台，例如智能手机。为了抑制噪声组件并在短时间内获得稳定的脉冲，我们设计了多频模态信号融合机制，该机制利用了时频域分析理论，以将多模式信息与复杂信号分开。它有助于继续进行网络，而无需添加任何参数，可以更轻松地学习有效的热门。此外，我们设计了一个过采样培训策略，以解决由数据集的分布不平衡引起的问题。对于30秒的面部视频，我们提出的方法在大多数评估指标上取得了最佳结果，以估计心率或心率变异性与最佳论文相比。提出的方法仍然可以使用短时（〜15秒）的主体视频获得非常具竞争力的结果。

能够可靠地估计来自视频的生理信号是低成本，临床前健康监测的强大工具。在这项工作中，我们提出了一种新的远程光学仪器描绘（RPPG）的新方法 - 从人脸或皮肤的观察结果测量血液体积的变化。类似于RPPG的当前最先进的方法，我们应用神经网络，以便在滋扰图像变异的不变性中学习深度表示。与此类方法相比，我们采用了一个完全自我监督的培训方法，这毫无依赖于昂贵的地面真理生理培训数据。我们所提出的方法在频率和时间光滑的频率和兴趣信号的时间平滑之前使用对比学习。我们在四个RPPG数据集中评估我们的方法，显示与最近监督的深度学习方法相比，可以实现可比或更好的结果，但不使用任何注释。此外，我们还将学习的显着重采样模块纳入了我们无监督的方法和监督基线。我们表明，通过允许模型来了解输入图像的位置，我们可以减少手工工程功能的需要，同时为模型的行为和可能的故障模式提供一些可解释性。我们释放守则以获得我们完整的培训和评估管道，以鼓励在这种激动人心的新方向上的可重复进展。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

基于相机的非接触式光电子溶血性描绘是指一组流行的非接触生理测量技术。目前的最先进的神经模型通常以伴随金标准生理测量的视频以监督方式培训。但是，它们通常概括域名差别示例（即，与培训集中的视频不同）。个性化模型可以帮助提高型号的概括性，但许多个性化技术仍然需要一些金标准数据。为了帮助缓解这一依赖性，在本文中，我们展示了一种名为Mobilememon的新型移动感应系统，该系统是第一个移动个性化远程生理传感系统，它利用智能手机上的前后相机，为培训产生高质量的自我监督标签个性化非接触式相机的PPG模型。为了评估MobilemeLephys的稳健性，我们使用39名参与者进行了一个用户学习，他们在不同的移动设备下完成了一组任务，照明条件/强度，运动任务和皮肤类型。我们的研究结果表明，Mobilephys显着优于最先进的设备监督培训和几次拍摄适应方法。通过广泛的用户研究，我们进一步检查了Mobilephys如何在复杂的真实环境中执行。我们设想，从我们所提出的双摄像机移动传感系统产生的校准或基于相机的非接触式PPG模型将为智能镜，健身和移动健康应用等许多未来应用打开门。

目的：我们提出了一种从面部视频中检测到房颤（AF）检测的非接触式方法。方法：记录了100名健康受试者和100名AF患者的面部视频，心电图（ECG）和接触光摄影（PPG）。来自健康受试者的数据记录都被标记为健康。两名心脏病专家评估了患者的心电图记录，并将每种记录标记为AF，窦性心律（SR）或心房颤动（AFL）。我们使用3D卷积神经网络进行远程PPG监测，并提出了新的损耗函数（Wasserstein距离），以使用接触PPG的收缩峰的时间作为我们的模型训练的标签。然后，根据beat间隔计算一组心率变异性（HRV）功能，并使用HRV功能训练支持向量机（SVM）分类器。结果：我们提出的方法可以准确地从面部视频中提取收缩峰以进行AF检测。提出的方法通过与30s视频剪辑的10倍交叉验证进行了训练，并在两个任务上进行了测试。 1）健康与AF的分类：准确性，灵敏度和特异性为96.00％，95.36％和96.12％。 2）SR与AF的分类：准确性，灵敏度和特异性为95.23％，98.53％和91.12％。此外，我们还证明了非接触式AFL检测的可行性。结论：我们通过学习收缩峰来实现非接触AF检测的良好性能。显着性：非接触性AF检测可用于自我筛查，可疑在家中可疑人群或治疗慢性患者治疗后自我监控。

深度神经网络的过度参数性质导致在低端设备上的部署过程中有很大的障碍，并具有时间和空间限制。使用迭代修剪培训方案稀疏DNN的网络修剪策略通常在计算上很昂贵。结果，在训练之前，在初始化时修剪修剪的技术变得越来越流行。在这项工作中，我们提出了神经元到神经元的跳过连接，这些连接是稀疏的加权跳过连接，以增强修剪的DNN的整体连通性。遵循初步修剪步骤，在修剪网络的单个神经元/通道之间随机添加N2NSKIP连接，同时保持网络的整体稀疏性。我们证明，与没有N2NSKIP连接的修剪的网络相比，在修剪网络中引入N2NSKIP连接可以显着卓越的性能，尤其是在高稀疏度水平上。此外，我们提出了基于热扩散的连接分析，以定量确定修剪网络相对于参考网络的连通性。我们评估方法对两种不同初步修剪方法的疗效，这些方法在初始化时修剪，并通过利用N2NSKIP连接引起的增强连接性来始终获得卓越的性能。

基于远程的光摄影学（RPPG）的生理测量值在情感计算，非接触式健康监测，远程医疗监测等方面具有良好的应用值，这已经变得越来越重要，尤其是在Covid-19-19-19大流行期间。现有方法通常分为两组。第一个重点是从面部视频中挖掘微妙的血量脉冲（BVP）信号，但很少明确地模拟主导面部视频内容的声音。它们容易受到噪音的影响，在看不见的情况下可能会遭受泛滥能力。第二个重点是直接建模嘈杂的数据，由于缺乏这些严重的随机噪声的规律性，导致了次优性能。在本文中，我们提出了一个分解和重建网络（DRNET），重点是生理特征而不是嘈杂数据的建模。提出了新的周期损失来限制生理信息的周期性。此外，提出了插件空间注意块（SAB），以增强功能以​​及空间位置信息。此外，提出了有效的斑块种植（PC）增强策略，以合成具有不同噪声和特征的增强样品。在不同的公共数据集以及跨数据库测试上进行了广泛的实验证明了我们方法的有效性。

远程光插图学（RPPG）是一种快速，有效，廉价和方便的方法，用于收集生物识别数据，因为它可以使用面部视频来估算生命体征。事实证明，远程非接触式医疗服务供应在COVID-19大流行期间是可怕的必要性。我们提出了一个端到端框架，以根据用户的视频中的RPPG方法来衡量人们的生命体征，包括心率（HR），心率变异性（HRV），氧饱和度（SPO2）和血压（BP）（BP）（BP）用智能手机相机捕获的脸。我们以实时的基于深度学习的神经网络模型来提取面部标志。通过使用预测的面部标志来提取多个称为利益区域（ROI）的面部斑块（ROI）。应用了几个过滤器，以减少称为血量脉冲（BVP）信号的提取的心脏信号中ROI的噪声。我们使用两个公共RPPG数据集培训和验证了机器学习模型，即Tokyotech RPPG和脉搏率检测（PURE）数据集，我们的模型在其上实现了以下平均绝对错误（MAE）：a），HR，1.73和3.95 BEATS- beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-s-s-s-s-s-y-peats-beats-beats-beats-ship-s-s-s-in-chin-p-in-in-in-in-in-c--in-in-c-le-in-in- -t一下制。每分钟（bpm），b）分别为HRV，分别为18.55和25.03 ms，c）对于SPO2，纯数据集上的MAE为1.64。我们在现实生活环境中验证了端到端的RPPG框架，修订，从而创建了视频HR数据集。我们的人力资源估计模型在此数据集上达到了2.49 bpm的MAE。由于没有面对视频的BP测量不存在公开可用的RPPG数据集，因此我们使用了带有指标传感器信号的数据集来训练我们的模型，还创建了我们自己的视频数据集Video-BP。在我们的视频BP数据集中，我们的BP估计模型的收缩压（SBP）达到6.7 mmHg，舒张压（DBP）的MAE为9.6 mmHg。

血压（BP）监测对于日常医疗保健至关重要，尤其是对于心血管疾病。但是，BP值主要是通过接触传感方法获得的，这是不方便且不友好的BP测量。因此，我们提出了一个有效的端到端网络，以估算面部视频中的BP值，以实现日常生活中的远程BP测量。在这项研究中，我们首先得出了短期（〜15s）面部视频的时空图。根据时空图，我们随后通过设计的血压分类器回归了BP范围，并同时通过每个BP范围内的血压计算器来计算特定值。此外，我们还制定了一种创新的过采样培训策略，以解决不平衡的数据分配问题。最后，我们在私有数据集ASPD上培训了拟议的网络，并在流行的数据集MMSE-HR上对其进行了测试。结果，拟议的网络实现了收缩压和舒张压测量的最先进的MAE，为12.35 mmHg和9.5 mmHg，这比最近的工作要好。它得出的结论是，在现实世界中，提出的方法对于基于摄像头的BP监测具有巨大潜力。

从视频中估算心率可以通过患者护理，人类互动和运动中的应用进行非接触健康监测。现有的工作可以通过面部跟踪在一定程度的运动下稳健地测量心率。但是，在不受约束的设置中，这并不总是可以的，因为脸部可能会被遮住甚至在相机外面。在这里，我们介绍Intensephysio：具有挑战性的视频心率估计数据集，具有逼真的面部阻塞，严重的主题运动和充足的心率变化。为了确保在现实环境中的心率变化，我们记录每个主题约1-2小时。该受试者正在用附着的摄像机进行骑自行车计（以中等强度）锻炼（中度至高强度），没有关于定位或运动的指示。我们有11个主题，大约有20个小时的视频。我们表明，现有的远程照相拍摄方法在这种情况下估计心率很难。此外，我们提出了IBIS-CNN，这是一种使用时空超级像素的新基线，它通过消除了对可见面/面部跟踪的需求来改善现有模型。我们将尽快公开提供代码和数据。

目的：本文侧重于开发鲁棒和准确的加工解决方案，用于连续和较低的血压（BP）监测。在这方面，提出了一种基于深入的基于深度学习的框架，用于计算收缩和舒张BP上的低延迟，连续和无校准的上限和下界。方法：称为BP-Net，所提出的框架是一种新型卷积架构，可提供更长的有效内存，同时实现偶然拨号卷积和残留连接的卓越性能。利用深度学习的实际潜力在提取内在特征（深度特征）并增强长期稳健性，BP-Net使用原始的心电图（ECG）和光电觉体图（PPG）信号而无需提取任何形式的手工制作功能在现有解决方案中很常见。结果：通过利用最近文献中使用的数据集未统一和正确定义的事实，基准数据集由来自PhysoioNet获得的模拟I和MIMIC-III数据库构建。所提出的BP-Net是基于该基准数据集进行评估，展示了有希望的性能并显示出优异的普遍能力。结论：提出的BP-NET架构比规范复发网络更准确，增强了BP估计任务的长期鲁棒性。意义：建议的BP-NET架构解决了现有的BP估计解决方案的关键缺点，即，严重依赖于提取手工制作的特征，例如脉冲到达时间（PAT），以及;缺乏稳健性。最后，构造的BP-Net DataSet提供了一个统一的基础，用于评估和比较基于深度学习的BP估计算法。

深度学习的出现导致了许多应用程序，这些应用改变了已应用的研究领域的景观。但是，随着流行的增加，多年来，经典深层神经网络的复杂性有所增加。结果，这导致在具有空间和时间限制的设备上部署期间有很大的问题。在这项工作中，我们对非易失性记忆中目前的进步进行了综述，以及使用电阻RAM记忆，尤其是回忆录的使用如何帮助进步深度学习的研究状态。换句话说，我们希望提出一种意识形态，即记忆技术领域的进步可以极大地影响和影响对边缘设备的深度学习推断。

抑郁症是一种可能对个人健康有害的精神疾病。在早期阶段的心理健康障碍和精确诊断对避免社交，生理或心理副作用至关重要。这项工作分析了生理信号，以观察不同的抑郁状态是否对血液体积脉冲（BVP）和心率变异性（HRV）反应产生明显影响。尽管通常，HRV功能是根据使用基于接触的传感器（例如可穿戴设备）获得的生物信号计算的，但我们提出了一种新型方案，该方案直接从面部视频中提取，只是基于视觉信息，从而消除了对任何基于接触的设备的需求。我们的解决方案基于能够以完全无监督的方式提取完整的远程光摄影信号（RPPG）的管道。我们使用这些RPPG信号来计算60多个统计，几何和生理特征，这些特征将进一步用于训练多个机器学习回归器以识别不同水平的抑郁症。两个基准数据集的实验表明，这种方法可根据语音或面部表达方式提供与其他视听模态的可比结果，并有可能补充它们。此外，提出的方法获得的结果显示出了有希望和扎实的性能，表现优于手工设计的方法，并且与基于深度学习的方法相媲美。

监测呼吸率对于帮助我们识别呼吸系统疾病至关重要。常规呼吸监测的设备不方便且几乎无法使用。最近的研究表明，非接触式技术（例如光摄影学和红外热成像）从面部收集呼吸信号并监测呼吸的能力。但是，当前的非接触式呼吸监测技术的精度较差，因为它们对照明和运动伪影等环境影响很敏感。此外，在现实世界中医疗应用程序设置中，用户与云之间的频繁联系可能会导致服务请求延迟，并可能导致个人数据的丢失。我们提出了一种具有合作三层设计的非接触式呼吸速率监测系统，以提高呼吸监测的精度并减少数据传输延迟。为了减少数据传输和网络延迟，我们的三层体系结构逐层分解了呼吸监视的计算任务。此外，我们通过设计目标跟踪算法和消除假峰以提取高质量呼吸信号的算法来提高呼吸监测的准确性。通过收集数据并在面部选择几个感兴趣的区域，我们能够提取呼吸信号并研究不同区域如何影响呼吸监测。实验的结果表明，当使用鼻部区域提取呼吸信号时，它在实验上表现最好。我们的方法的表现比竞争对手的方法更好，同时传输较少的数据。

With the increasing popularity of telehealth, it becomes critical to ensure that basic physiological signals can be monitored accurately at home, with minimal patient overhead. In this paper, we propose a contactless approach for monitoring patients' blood oxygen at home, simply by analyzing the radio signals in the room, without any wearable devices. We extract the patients' respiration from the radio signals that bounce off their bodies and devise a novel neural network that infers a patient's oxygen estimates from their breathing signal. Our model, called \emph{Gated BERT-UNet}, is designed to adapt to the patient's medical indices (e.g., gender, sleep stages). It has multiple predictive heads and selects the most suitable head via a gate controlled by the person's physiological indices. Extensive empirical results show that our model achieves high accuracy on both medical and radio datasets.

本文的重点是概念证明，机器学习（ML）管道，该管道从低功率边缘设备上获取的压力传感器数据中提取心率。 ML管道包括一个UPS采样器神经网络，信号质量分类器以及优化的1D横向扭转神经网络，以高效且准确的心率估计。这些型号的设计使管道小于40 kb。此外，开发了由UPS采样器和分类器组成的杂种管道，然后开发了峰值检测算法。管道部署在ESP32边缘设备上，并针对信号处理进行基准测试，以确定能量使用和推理时间。结果表明，与传统算法相比，提出的ML和杂种管道将能量和时间减少82％和28％。 ML管道的主要权衡是准确性，平均绝对误差（MAE）为3.28，而混合动力车和信号处理管道为2.39和1.17。因此，ML模型显示出在能源和计算约束设备中部署的希望。此外，ML管道的较低采样率和计算要求可以使自定义硬件解决方案降低可穿戴设备的成本和能源需求。