使用脚压力/力量测量硬件和运动捕获（MOCAP）技术对人类稳定的定量评估昂贵，耗时，并且仅限于实验室（基于实验室）。我们提出了一种基于图像的新方法来估计稳定计算的三个关键组件：质量中心（COM），支持基础（BOS）和压力中心（COP）。此外，我们通过使用公共可用的多模式（MOCAP，脚压力，2视频视频），定量验证基于图像的方法来计算两种经典稳定度量，以直接从基于实验室的感觉输出（地面真相）产生的方法来计算两种经典稳定性措施。十个受试者人类运动数据集。我们的实验结果表明：1）我们的COM估计方法（COMNET）始终优于最先进的基于惯性传感器的COM估计技术； 2）我们基于图像的方法与单独的鞋垫脚压结合，与地面真相稳定性度量产生一致且具有统计学意义的相关性（comtocop r = 0.79 p <0.001，comtobos r = 0.75 p <0.001）; 3）我们完全基于图像的稳定性度量估计在两个稳定性指标上产生一致，正且具有统计学意义的相关性（ComtoCop r = 0.31 P <0.001，comtobos r = 0.22 P <0.001）。我们的研究为自然环境中的稳定性计算和监测提供了有希望的定量证据。
translated by 谷歌翻译
在本文中，我们介绍一种方法来自动重建与来自单个RGB视频相互作用的人的3D运动。我们的方法估计人的3D与物体姿势，接触位置和施加在人体上的接触力的姿势。这项工作的主要贡献是三倍。首先，我们介绍一种通过建模触点和相互作用的动态来联合估计人与人的运动和致动力的方法。这是一个大规模的轨迹优化问题。其次，我们开发一种方法来从输入视频自动识别，从输入视频中识别人和物体或地面之间的2D位置和时序，从而显着简化了优化的复杂性。第三，我们在最近的视频+ Mocap数据集上验证了捕获典型的Parkour行动的方法，并在互联网视频的新数据集上展示其表现，显示人们在不受约束的环境中操纵各种工具。
translated by 谷歌翻译
视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。
translated by 谷歌翻译
跌倒是致命和非致命伤害的主要原因，尤其是对于老年人。身体内部原因（例如疾病）或外部原因（例如主动或被动扰动）可能导致不平衡。主动扰动是将外力施加到人的结果，而被动扰动是由于人类运动与静态障碍相互作用而导致的。这项工作提出了一个指标，该指标允许监视躯干及其与主动和被动扰动的相关性。我们表明，躯干摇摆的巨大变化可以与主动扰动密切相关。我们还表明，通过调节过去的轨迹，躯干运动和周围场景的预期路径和躯干摇摆，我们可以合理地预测躯干摇摆的未来路径和预期变化。这将有直接的预防应用程序。结果表明，躯干摇摆与扰动密切相关。而且我们的模型能够利用全景图中介绍的视觉提示并相应地调节预测。
translated by 谷歌翻译
人们经常通过双手施加压力来与周围环境互动。虽然可以通过在手和环境之间放置压力传感器来测量手动压力，但这样做可以改变接触力学，干扰人类触觉感知，需要昂贵的传感器，并且对大型环境的扩展很差。我们探索使用常规的RGB摄像头推断手动压力的可能性，从而使机器对无爆炸的手和表面的手动压力感知。中心洞察力是，通过手的施加压力会导致内容丰富的外观变化。手共有生物力学特性，从而产生相似的可观察现象，例如软组织变形，血液分布，手姿势和铸造阴影。我们收集了36位参与者的视频，这些参与者具有不同的肤色，向仪器的平面表面施加压力。然后，我们训练了一个深层模型（压力visionnet），以从单个RGB图像中推断出压力图像。我们的模型会在培训数据外降低给参与者的压力，并且表现优于基准。我们还表明，我们的模型的输出取决于手的外观，并在接触区域附近投射阴影。总体而言，我们的结果表明，可以使用以前未观察到的人手的出现来准确推断施加压力。数据，代码和模型可在线提供。
translated by 谷歌翻译
内部的姿势估计显示出在医院患者监测，睡眠研究和智能家居等领域的价值。在本文中，我们探讨了借助现有的姿势估计器，从高度模棱两可的压力数据中检测身体姿势的不同策略。我们通过直接使用或通过在两个压力数据集上对其进行重新训练来检查预训练的姿势估计器的性能。我们还利用可学习的预处理域适应步骤探索了其他策略，该步骤将模糊的压力图转换为更接近共同目的姿势估计模块的预期输入空间的表示。因此，我们使用了具有多个尺度的完全卷积网络，以向预训练的姿势估计模块提供压力图的姿势特异性特征。我们对不同方法的完整分析表明，在压力数据上，可学习的预处理模块的组合以及重新训练基于图像的姿势估计器能够克服诸如高度模糊的压力点之类的问题，以实现很高的姿势估计准确性。
translated by 谷歌翻译
对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。
translated by 谷歌翻译
尽管最近的进步，但是，尽管最近的进展，但是从单个图像中的人类姿势的全3D估计仍然是一个具有挑战性的任务。在本文中，我们探讨了关于场景几何体的强先前信息的假设可用于提高姿态估计精度。为了主弱地解决这个问题，我们已经组装了一种新的$ \ textbf {几何姿势提供} $ DataSet，包括与各种丰富的3D环境交互的人员的多视图图像。我们利用商业运动捕获系统来收集场景本身的姿势和构造精确的几何3D CAD模型的金标估计。要将对现有框架的现有框架注入图像的现有框架，我们介绍了一种新颖的，基于视图的场景几何形状，一个$ \ textbf {多层深度图} $，它采用了多次射线跟踪到简明地编码沿着每种相机视图光线方向的多个表面入口和退出点。我们提出了两种不同的机制，用于集成多层深度信息姿势估计：输入作为升降2D姿势的编码光线特征，其次是促进学习模型以支持几何一致姿态估计的可差异损失。我们通过实验展示这些技术可以提高3D姿势估计的准确性，特别是在遮挡和复杂场景几何形状的存在中。
translated by 谷歌翻译
远程光插图学（RPPG）是一种快速，有效，廉价和方便的方法，用于收集生物识别数据，因为它可以使用面部视频来估算生命体征。事实证明，远程非接触式医疗服务供应在COVID-19大流行期间是可怕的必要性。我们提出了一个端到端框架，以根据用户的视频中的RPPG方法来衡量人们的生命体征，包括心率（HR），心率变异性（HRV），氧饱和度（SPO2）和血压（BP）（BP）（BP）用智能手机相机捕获的脸。我们以实时的基于深度学习的神经网络模型来提取面部标志。通过使用预测的面部标志来提取多个称为利益区域（ROI）的面部斑块（ROI）。应用了几个过滤器，以减少称为血量脉冲（BVP）信号的提取的心脏信号中ROI的噪声。我们使用两个公共RPPG数据集培训和验证了机器学习模型，即Tokyotech RPPG和脉搏率检测（PURE）数据集，我们的模型在其上实现了以下平均绝对错误（MAE）：a），HR，1.73和3.95 BEATS- beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-s-s-s-s-s-y-peats-beats-beats-beats-ship-s-s-s-in-chin-p-in-in-in-in-in-c--in-in-c-le-in-in- -t一下制。每分钟（bpm），b）分别为HRV，分别为18.55和25.03 ms，c）对于SPO2，纯数据集上的MAE为1.64。我们在现实生活环境中验证了端到端的RPPG框架，修订，从而创建了视频HR数据集。我们的人力资源估计模型在此数据集上达到了2.49 bpm的MAE。由于没有面对视频的BP测量不存在公开可用的RPPG数据集，因此我们使用了带有指标传感器信号的数据集来训练我们的模型，还创建了我们自己的视频数据集Video-BP。在我们的视频BP数据集中，我们的BP估计模型的收缩压（SBP）达到6.7 mmHg，舒张压（DBP）的MAE为9.6 mmHg。
translated by 谷歌翻译
人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。
translated by 谷歌翻译
从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。
translated by 谷歌翻译
在各种条件下行走期间关节阻抗的知识与临床决策以及机器人步态培训师，腿部假体，腿矫形器和可穿戴外骨骼的发展相关。虽然步行过程中的脚踝阻抗已经通过实验评估，但尚未识别步行期间的膝盖和髋关节阻抗。在这里，我们开发并评估了下肢扰动器，以识别跑步机行走期间髋关节，膝关节和踝关节阻抗。下肢扰动器（Loper）由致动器组成，致动器通过杆连接到大腿。 Loper允许将力扰动施加到自由悬挂的腿上，同时站立在对侧腿上，带宽高达39Hz。在以最小的阻抗模式下行走时，Loper和大腿之间的相互作用力低（<5N），并且对行走图案的效果小于正常行走期间的对象内变异性。使用摆动腿动力学的非线性多体动力学模型，在摆动阶段在速度为0.5米/秒的速度的九个受试者期间估计臀部，膝关节和踝关节阻抗。所识别的模型能够预测实验反应，因为分别占髋部，膝关节和踝部的平均方差为99％，96％和77％。对受试者刚度的平均分别在34-66nm / rad，0-3.5nm / rad，0-3.5nm / rad和2.5-24nm / rad的三个时间点之间变化，分别用于臀部，膝部和踝关节。阻尼分别在1.9-4.6 nms / rad，0.02-0.14 nms / rad和0.2-2.4 nms / rad的0.02-0.14 nms / rad供应到0.2-2.4nms / rad。发达的洛普勒对不受干扰的行走模式具有可忽略的影响，并且允许在摆动阶段识别臀部，膝关节和踝关节阻抗。
translated by 谷歌翻译
与工作有关的肌肉骨骼障碍（WMSDS）仍然是欧盟的主要职业安全和健康问题。因此，持续追踪工人对可能导致其发展有贡献的因素的暴露是至关重要的。本文介绍了一种在线方法来监控工人上的运动和动态数量，提供当天在日常工作中所需的物理负荷的估计。定义了一套符合人体工程学的指标，以考虑对WMSD的多个潜在贡献者，也重视工人的主题特定要求。为了评估拟议的框架，考虑到在制造业中代表典型工作活动的任务，对十二人受试者进行了彻底的实验分析。对于每个任务，在统计分析之后，识别更好地解释底层物理负荷的符合人体工程学指标，并通过表面肌电图（SEMG）分析的结果支持。还通过公认的和标准工具进行了比较，以评估工作场所的人体工程学，突出所提出的框架引入的益处。结果证明了拟议框架在识别物理危险因素方面的高潜力，从而采取预防措施。该研究的另一个同样重要的贡献是在人类血管动力学测量中创建一个综合数据库，该测量涉及执行典型工业任务的健康受试者的多个感官数据。
translated by 谷歌翻译
由于它们过去证明的准确性较低，因此对3D摄像机进行步态分析的使用受到了高度质疑。本文介绍的研究的目的是提高机器人安装在人体步态分析中的估计的准确性，通过应用监督的学习阶段。 3D摄像头安装在移动机器人中，以获得更长的步行距离。这项研究表明，通过使用从认证的Vicon系统获得的数据训练的人工神经网络对相机的原始估计进行后处理，从而改善了运动步态信号和步态描述符的检测。为此，招募了37名健康参与者，并使用ORBBEC ASTRA 3D摄像头收集了207个步态序列的数据。有两种基本的训练方法：使用运动学步态信号并使用步态描述符。前者试图通过减少误差并增加相对于Vicon系统的相关性来改善运动步态信号的波形。第二个是一种更直接的方法，专注于直接使用步态描述符训练人工神经网络。在训练之前和之后测量了3D摄像头的精度。在两种训练方法中，都观察到了改进。运动步态信号显示出较低的错误和相对于地面真理的较高相关性。检测步态描述符的系统的准确性也显示出很大的改进，主要是运动学描述符，而不是时空。在比较两种训练方法时，不可能定义哪个是绝对最好的。因此，我们认为，培训方法的选择将取决于要进行的研究的目的。这项研究揭示了3D摄像机的巨大潜力，并鼓励研究界继续探索他们在步态分析中的使用。
translated by 谷歌翻译
受数字孪生系统的启发，开发了一个新型的实时数字双框架，以增强机器人对地形条件的感知。基于相同的物理模型和运动控制，这项工作利用了与真实机器人同步的模拟数字双重同步，以捕获和提取两个系统之间的差异信息，这两个系统提供了多个物理数量的高维线索，以表示代表差异建模和现实世界。柔软的，非刚性的地形会导致腿部运动中常见的失败，因此，视觉感知完全不足以估计地形的这种物理特性。我们使用了数字双重来开发可折叠性的估计，这通过动态步行过程中的物理互动来解决此问题。真实机器人及其数字双重双重测量之间的感觉测量的差异用作用于地形可折叠性分析的基于学习的算法的输入。尽管仅在模拟中受过培训，但学习的模型可以在模拟和现实世界中成功执行可折叠性估计。我们对结果的评估表明，对不同方案和数字双重的优势的概括，可在地面条件下可靠地检测到细微差别。
translated by 谷歌翻译
基于标记的光运动捕获（OMC）系统和相关的肌肉骨骼（MSK）建模预测提供了能够洞悉体内关节和肌肉载荷的能力，并有助于临床决策。但是，OMC系统基于实验室，昂贵，需要视线。一种广泛使用的替代方案是惯性运动捕获（IMC）系统，该系统具有便携式，用户友好且相对较低的成本，尽管它不如OMC系统准确。不管选择运动捕获技术的选择，都需要使用MSK模型来获取运动学和动力学输出，这是一种计算昂贵的工具，越来越多地通过机器学习（ML）方法近似。在这里，我们提出了一种ML方法，将IMC数据映射到从OMC输入数据计算出的人类上限MSK输出。从本质上讲，我们试图从相对易于获取的IMC数据中预测高质量的MSK输出。我们使用同一受试者同时收集的OMC和IMC数据来训练ML（前馈多层感知器）模型，该模型可预测IMC测量值的基于OMC的MSK输出。我们证明我们的ML预测与所需的基于OMC的MSK估计值具有很高的一致性。因此，这种方法将有助于将基于OMC的系统不可行的“实验室到现场”的技术发挥作用。
translated by 谷歌翻译
基于光学传感器的运动跟踪系统通常遭受问题，例如差的照明条件，遮挡，有限的覆盖，并且可以提高隐私问题。最近，已经出现了使用商业WiFi设备的基于射频（RF）的方法，这些方法提供了低成本的普遍感感知，同时保留隐私。然而，RF感测系统的输出，例如范围多普勒谱图，不能直观地代表人类运动，并且通常需要进一步处理。在本研究中，提出了基于WiFi微多普勒签名的人类骨骼运动重建的新颖框架。它提供了一种有效的解决方案，通过重建具有17个关键点的骨架模型来跟踪人类活动，这可以帮助以更易于理解的方式解释传统的RF感测输出。具体地，MDPose具有各种增量阶段来逐渐地解决一系列挑战：首先，实现去噪算法以去除可能影响特征提取的任何不需要的噪声，并增强弱多普勒签名。其次，应用卷积神经网络（CNN）-Recurrent神经网络（RNN）架构用于从清洁微多普勒签名和恢复关键点的速度信息学习时间空间依赖性。最后，采用姿势优化机制来估计骨架的初始状态并限制误差的增加。我们在各种环境中使用了许多受试者进行了全面的测试，其中许多受试者具有单个接收器雷达系统，以展示MDPOST的性能，并在所有关键点位置报告29.4mm的绝对误差，这优于最先进的RF-基于姿势估计系统。
translated by 谷歌翻译
我们引入了一个球形指尖传感器进行动态操作。它基于气压压力和飞行时间接近传感器，并且是低延迟，紧凑且身体健壮的。传感器使用训练有素的神经网络根据压力传感器的数据来估计接触位置和三轴接触力，这些数据嵌入了传感器的聚氨酯橡胶范围内。飞行器传感器朝三个不同的外向方向面对，并且一个集成的微控制器样品以200 Hz的速度每个单个传感器。为了量化系统潜伏期对动态操作性能的影响，我们开发和分析了一个称为碰撞脉冲比率的度量，并表征了我们新传感器的端到端潜伏期。我们还向传感器提出了实验演示，包括测量接触过渡，进行粗大映射，与移动物体保持接触力以及避免碰撞的反应。
translated by 谷歌翻译
人类运动合成是机器人技术的图形，游戏和仿真环境中应用的重要问题。现有方法需要准确的运动捕获数据进行培训，这是昂贵的。取而代之的是，我们为直接从单眼RGB视频中训练物理上合理的人类运动的生成模型提出了一个框架，该模型更广泛地可用。我们方法的核心是一种新颖的优化公式，该公式通过以可区分的方式执行物理限制和有关接触的原因来纠正不完美的基于图像的姿势估计。该优化得出校正后的3D姿势和运动及其相应的接触力。结果表明，我们的物理校正运动在姿势估计上显着优于先前的工作。然后，我们可以使用它们来训练生成模型来综合未来的运动。与先前的基于运动学和物理学的方法相比，我们在人类36m数据集中〜\ cite {H36M_PAMI}实现了定性和定量改进的运动估计，合成质量和物理合理性。通过从视频中学习运动合成，我们的方法为大规模，现实和多样化的运动合成铺平了道路。项目页面：\ url {https://nv-tlabs.github.io/publication/iccv_2021_physics/}
translated by 谷歌翻译
分析运动表现或预防伤害需要捕获人体在某些运动中施加的地面反作用力（GRF）。标准实践在受控环境中使用与力板配对的物理标记，但这是由于高成本，冗长的实现时间和重复实验中的差异所破坏。因此，我们提出了视频中的GRF推论。尽管最近的工作使用LSTM从2D观点估算GRF，但它们的建模和表示能力可能受到限制。首先，我们建议使用变压器体系结构从视频任务中解决GRF，这是第一个这样做的。然后，我们引入了新的损失，以最大程度地减少回归曲线中的高影响峰。我们还表明，对2D到3D人类姿势估计的训练和多任务学习可以提高对看不见动作的概括。在此不同的任务上进行预训练时，在较小（稀有）GRF数据集上进行填充时，可以提供良好的初始权重。我们评估了Laas Parkour和新收集的钳子数据集；与先前的方法相比，我们出现的误差降低了19％。
translated by 谷歌翻译