人类运动预测旨在预测未来的姿势给出了一系列过去的3D骷髅。虽然这个问题最近受到了不断的关注，但它主要是为单身人类而被隔离解决。在本文中，我们在处理执行合作任务时探讨了这个问题，我们寻求预测两个互动者的未来运动给出了他们过去骷髅的两个序列。我们提出了一种新颖的交叉互动注意力，用于利用两个人的历史信息，并学会预测两个姿势序列之间的交叉依赖性。由于没有培训此类交互式情况的数据集，我们收集了Expi（极端姿态互动），这是一个新的基于实验室的人交互数据集，其专业舞者的数据集执行了Lindy-Hop舞蹈动作，其中包含115个序列，其中3D身体带有30k帧的序列。和形状。我们在Expi上彻底评估了我们的交叉交互网络，并表明这两者都在短期和长期预测中，它一直以最优异的方式为单人运动预测的最先进的方法。
translated by 谷歌翻译
在人类运动预测上的事后大多专注于预测单一受试者的未来动作与过去的姿势序列隔离。然而，在密切互动的人面前，这种策略未能考虑不同主题运动之间的依赖关系。在本文中，我们引入了运动预测框架，其明确原因是关于两个观察到的对象的相互作用。具体而言，我们通过引入一对对应的对准机制来实现这一目标，该机制模拟了两个受试者的运动历史中的相互依赖性。这使我们能够以更现实的方式保留长期运动动态，并且更加强大地预测不寻常和快节奏的运动，例如在舞蹈场景中发生的运动。为了评估这一点，因为没有现有的运动预测数据集描述了两个紧密互动的主体，我们介绍了Lindyhop600K舞蹈数据集。我们的结果证明我们的方法优于最先进的单人运动预测技术。
translated by 谷歌翻译
多人运动预测仍然是一个具有挑战性的问题，尤其是在个人运动和社会互动的共同表示中。大多数先前的方法仅涉及学习局部姿势动态以进行单个运动（没有全球身体轨迹），并难以捕获社交互动的复杂互动依赖性。在本文中，我们提出了一种新颖的社会意识运动变压器（SOM形态），以共同的方式有效地模拟个人运动和社会互动。具体而言，Somoformer提取了位移轨迹空间中子序列的运动特征，以有效地学习每个人的局部和全局姿势动力学。此外，我们设计了一种新型的SOM机制中新型的社交运动注意机制，以通过跨时间和社会维度的运动相似性计算同时优化动态表示并捕获相互作用依赖性。在短期和长期视野上，我们在多人运动数据集上进行了经验评估我们的框架，并证明我们的方法极大地优于单人和多人运动预测的最先进方法。接受后将公开提供代码。
translated by 谷歌翻译
本文解决了人类运动预测的问题，包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能，但当前的最新方法依赖于任意复杂性的深度学习体系结构，例如经常性神经网络〜（RNN），变压器或图形卷积网络〜（GCN），通常需要多个培训阶段，等等。超过300万参数。在本文中，我们表明，这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越，并且与几种标准实践（例如用离散的余弦变换代表身体姿势（DCT））相结合时，只有0.14亿个参数，预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估，Amass和3DPW数据集表明，我们的方法（我们将其配置为Simlpe）始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准，并允许重新考虑人类运动预测的问题，以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。
translated by 谷歌翻译
在互动过程中了解人类的意图一直是一个持久的主题，它在人类机器人互动，虚拟现实和监视中都有应用。在这项研究中，我们专注于与大型每日物体的全身相互作用，并旨在预测对人类对象相互作用的顺序观察，以预测对象和人类的未来状态。由于没有这样的数据集专用于与大型每日物体的全身相互作用，因此我们收集了一个大规模的数据集，其中包含数千种用于培训和评估目的的交互。我们还观察到，对象的固有物理属性对于对象运动预测很有用，因此设计一组对象动态描述符以编码此类内部属性。我们将对象动态描述符视为一种新模式，并提出图形神经网络HO-GCN，以将运动数据和动态描述符为预测任务。我们显示了所提出的网络，消耗动态描述符可以实现最先进的预测结果，并帮助网络更好地推广到看不见的对象。我们还证明了预测结果对人类机器人的合作有用。
translated by 谷歌翻译
人类姿势预测是一个充满挑战的问题，涉及复杂的人体运动和姿势动态。在环境中有多个人的情况下，一个人的运动也可能受到他人的运动和动态运动的影响。尽管以前有一些针对多人动态姿势预测问题的作品，但它们通常将整个姿势序列作为时间序列（忽略关节之间的基本关系）建模，或者仅一次输出一个人的未来姿势序列。在本文中，我们提出了一种新方法，称为社会运动变压器（SOM形态），用于多人3D姿势预测。我们的变压器架构独特地将人类运动输入作为关节序列而不是时间序列建模，从而使我们能够对关节进行注意，同时预测并联每个关节的整个未来运动序列。我们表明，通过这种问题重新进行，Somoformer自然会通过使用场景中所有人的关节作为输入查询来扩展到多人场景。我们的模型使用学识渊博的嵌入来表示关节，人身份和全球地位的类型，了解关节之间和人之间的关系，更强烈地参加了来自同一或附近的人的关节。 Somoformer的表现优于SOMOF基准以及CMU-MOCAP和MUPOTS-3D数据集的长期运动预测的最先进方法。出版后将提供代码。
translated by 谷歌翻译
本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。
translated by 谷歌翻译
在这项工作中，我们提出了MotionMixer，这是一个有效的3D人体姿势预测模型，仅基于多层感知器（MLP）。MotionMixer通过顺序混合这两种方式来学习时空3D身体姿势依赖性。给定3D身体姿势的堆叠序列，空间MLP提取物是身体关节的细粒空间依赖性。然后，随着时间的推移，身体关节的相互作用由时间MLP建模。最终将时空混合特征汇总并解码以获得未来的运动。为了校准姿势序列中每个时间步的影响，我们利用挤压和兴奋（SE）块。我们使用标准评估协议评估了36M，Amass和3DPW数据集的方法。对于所有评估，我们展示了最先进的性能，同时具有具有较少参数的模型。我们的代码可在以下网址找到：https：//github.com/motionmlp/motionmixer
translated by 谷歌翻译
我们解决了人类反应生成的挑战性任务，该任务旨在基于输入动作产生相应的反应。大多数现有作品并不集中于产生和预测反应，并且在仅给出动作作为输入时就无法产生运动。为了解决这一限制，我们提出了一种新型的相互作用变压器（Interformer），该变压器由具有时间和空间浓度的变压器网络组成。具体而言，时间的注意力捕获了字符及其相互作用的运动的时间依赖性，而空间注意力则了解每个字符的不同身体部位与相互作用的一部分之间的依赖关系。此外，我们建议使用图形通过相互作用距离模块提高空间注意力的性能，以帮助关注两个字符的附近关节。关于SBU相互作用，K3HI和Duetdance数据集的广泛实验证明了Interformer的有效性。我们的方法是一般的，可用于产生更复杂和长期的相互作用。
translated by 谷歌翻译
运动预测是计算机视觉中的经典问题，其旨在预测观察到的姿势序列的未来运动。已经提出了各种深度学习模型，在运动预测上实现了最先进的性能。然而，现有方法通常专注于在姿势空间中建模时间动态。不幸的是，人类运动的复杂和高度的性质带来了动态背景捕获的固有挑战。因此，我们远离传统的基于姿势的表示，并提出采用各个关节的相空间轨迹表示的新方法。此外，目前的方法倾向于仅考虑物理连接的关节之间的依赖性。在本文中，我们介绍了一种小说卷积神经模型，以有效利用明确的运动解剖学知识，并同时捕获关节轨迹动态的空间和时间信息。然后，我们提出了一个全局优化模块，了解各个联合功能之间的隐式关系。经验上，我们的方法在大规模3D人体运动基准数据集（即，Human3.6m，CMU Mocap）上进行评估。这些结果表明，我们的方法在基准数据集中设置了新的最先进状态。我们的代码将在https://github.com/post-group/teid中提供。
translated by 谷歌翻译
我们向多人3D运动轨迹预测提出了一种新颖的框架。我们的主要观察是，人类的行动和行为可能高度依赖于其他人。因此，不是以隔离预测每个人类姿势轨迹，我们引入了一种多范围变压器模型，该模型包含用于各个运动的局部运动和用于社交交互的全局范围编码器。然后，通过将相应的姿势作为查询来参加本地和全球范围编码器特征，对变压器解码器对每个人进行预测。我们的模型不仅优于长期3D运动预测的最先进的方法，而且还产生了不同的社交互动。更有趣的是，我们的模型甚至可以通过自动将人分为不同的交互组来同时预测15人运动。具有代码的项目页面可在https://jiahunwang.github.io/mrt/处获得。
translated by 谷歌翻译
预测历史姿势序列的人类运动对于机器具有成功与人类智能相互作用的关键。到目前为止已经避免的一个方面是，我们代表骨骼姿势的事实是对预测结果的关键影响。然而，没有努力调查不同的姿势代表方案。我们对各种姿势表示进行了深入研究，重点关注它们对运动预测任务的影响。此外，最近的方法在现成的RNN单位上构建，用于运动预测。这些方法在捕获长期依赖性方面，顺序地并固有地具有困难。在本文中，我们提出了一种新颖的RNN架构，用于运动预测的AHMR（殷勤分层运动复发网络），其同时模拟局部运动上下文和全局上下文。我们进一步探索了运动预测任务的测地损失和前向运动学损失，其具有比广泛采用的L2损耗更多的几何意义。有趣的是，我们将我们的方法应用于一系列铰接物对象，包括人类，鱼类和鼠标。经验结果表明，我们的方法在短期预测中占据了最先进的方法，实现了大量增强的长期预测熟练程度，例如在50秒的预测中保留自然人样的运动。我们的代码已发布。
translated by 谷歌翻译
由于自我批判性和歧义，了解动态的手动运动和动态动作是一项基本而又具有挑战性的任务。为了解决遮挡和歧义，我们开发了一个基于变压器的框架来利用时间信息以进行稳健的估计。注意到手部姿势估计和动作识别之间的不同时间粒度和语义相关性，我们建立了一个网络层次结构，其中有两个级联变压器编码器，其中第一个利用了短期的时间cue进行手姿势估算，而后者则每次聚集物，后者每次聚集体 - 帧姿势和对象信息在更长的时间范围内识别动作。我们的方法在两个第一人称手动作基准（即FPHA和H2O）上取得了竞争成果。广泛的消融研究验证了我们的设计选择。我们将开放源代码和数据以促进未来的研究。
translated by 谷歌翻译
在本文中，我们开发了一个神经网络模型，以从观察到的人类运动历史中预测未来的人类运动。我们提出了一种非自动回归的变压器体系结构，以利用其平行性质，以便在测试时更容易训练和快速，准确的预测。所提出的结构将人类运动预测分为两个部分：1）人类轨迹，即随着时间的推移，髋关节3D位置和2）人类姿势，这是所有其他关节3D位置，相对于固定的髋关节。我们建议同时做出两个预测，因为共享表示可以改善模型性能。因此，该模型由两组编码器和解码器组成。首先，应用于编码器输出的多头注意模块改善了人类轨迹。其次，应用于与解码器输出相连的编码器输出的另一个多头自发项模块有助于学习时间依赖性。我们的模型非常适合于测试准确性和速度方面的机器人应用，并且相对于最新方法比较。我们通过机器人跟踪任务证明了我们作品的现实适用性，这是我们提议的模型充满挑战而实用的案例研究。
translated by 谷歌翻译
预测人类运动对于辅助机器人和AR/VR应用至关重要，在这种机器人和AR/VR应用中，与人类的互动需要安全舒适。同时，准确的预测取决于理解场景上下文和人类意图。尽管许多作品研究场景 - 意识到人类的运动预测，但由于缺乏以自我为中心的观点，这些观点揭示了人类意图以及运动和场景的多样性有限，因此后者在很大程度上并没有得到充实的影响。为了减少差距，我们提出了一个大规模的人类运动数据集，该数据集可提供高质量的身体姿势序列，场景扫描以及以自我为中心的视图，目光注视，这是推断人类意图的代孕。通过使用惯性传感器进行运动捕获，我们的数据收集与特定场景无关，这进一步增强了从主题中观察到的运动动力学。我们对利用眼睛目光进行以自我为中心的人类运动预测的优势进行了广泛的研究，并进行了各种最新的架构。此外，为了实现目光的全部潜力，我们提出了一种新型的网络体系结构，该架构可以在目光和运动分支之间进行双向交流。我们的网络在拟议的数据集上实现了人类运动预测的最高性能，这要归功于眼睛凝视的意图信息以及动作调制的DeNocied Ceaze特征。代码和数据可以在https://github.com/y-zheng18/gimo上找到。
translated by 谷歌翻译
3D手姿势估计（HPE）是从任何视觉输入中将手关节定位在3D中的过程。由于HPE在各种人类计算机相互作用应用中的关键作用，HPE最近受到了更多的关注。最近的HPE方法证明了使用视频或多视图图像的优势，从而允许更强大的HPE系统。因此，在这项研究中，我们提出了一种新方法，用变压器进行手工姿势（sethpose）估计进行顺序学习。我们的sethpose管道首先是从单个手图像中提取视觉嵌入。然后，我们使用变压器编码器沿时间或查看角度学习顺序上下文，并生成准确的2D手关节位置。然后，使用具有U-NET配置的图形卷积神经网络将2D手关节位置转换为3D姿势。我们的实验表明，sethpose在颞叶和角度的两个手动序列品种上表现良好。此外，SETHPOSE优于该领域的其他方法，以实现两个公共可用的顺序数据集STB和Muvihand的最新结果。
translated by 谷歌翻译
最近在随机运动预测中的进展，即预测单一过去的姿势序列的多个可能的未来人类动作，导致产生真正不同的未来动作，甚至可以控制一些身体部位的运动。然而，为了实现这一点，最先进的方法需要学习用于多样性的多个映射和用于可控运动预测的专用模型。在本文中，我们向统一的深度生成网络介绍了多种和可控的运动预测。为此，我们利用了现实人类动作的直觉由有效姿势的平滑序列组成，并且给定的有限数据，学习姿势比动作更具易行。因此，我们设计了一种发电机，其顺序地预测不同车身部件的运动，并引入基于流动的基于流动的姿势，以及接合角度损失，以实现运动现实主义。在两个标准基准数据集，人类3.6m和人文集上进行实验。我展示了我们的方法在样本多样性和准确性方面优于最先进的基线。该代码可在https://github.com/wei-mao-2019/gsps获得
translated by 谷歌翻译
Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.
translated by 谷歌翻译
视频中的人类对象相互作用（HOI）识别对于分析人类活动很重要。在现实世界中，大多数关注视觉特征的工作通常都会受到阻塞。当HOI中有多个人和物体涉及时，这种问题将更加复杂。考虑到诸如人类姿势和物体位置之类的几何特征提供有意义的信息来了解HOI，我们认为将视觉和几何特征的好处结合在HOI识别中，并提出了一个新颖的两级几何形状特征信息信息图形卷积（2G） -GCN）。几何级图模拟了人类和对象的几何特征之间的相互依赖性，而融合级别的图将它们与人类和对象的视觉特征融合在一起。为了证明我们方法在挑战性场景中的新颖性和有效性，我们提出了一个新的多人HOI数据集（Mphoi-72）。关于Mphoi-72（多人HOI），CAD-1220（单人HOI）和双人动作（双手HOI）数据集的广泛实验证明了我们的表现与最先进的表现相比。
translated by 谷歌翻译
在本文中，我们提出了一种新的方法来增强从单个可佩戴相机捕获的视频计算的人的3D身体姿势估计。关键的想法是利用在联合嵌入空间中链接第一和第三次视图的高级功能。为了了解这样的嵌入空间，我们介绍了First2第三姿势，这是一个近2,000个视频的新配对同步数据集，描绘了从第一和第三视角捕获的人类活动。我们明确地考虑了空间和运动域功能，同时使用以自我监督的方式培训的半暹罗架构。实验结果表明，使用我们的数据集学习的联合多视图嵌入式空间可用于从任意单视图的自拍视频中提取歧视特征，而无需需要域适应，也不知道相机参数。在三种监督最先进的方法中，我们在两个无约束数据集中实现了重大改善了两个无约束的数据集。我们的数据集和代码将可用于研究目的。
translated by 谷歌翻译