人类运动预测是许多计算机视觉应用领域中的重要且挑战性的任务。最近的工作专注于利用经常性神经网络（RNN）的定时处理能力，实现短期预测的光滑且可靠的结果。但是，正如以前的工作所证明的那样，RNNS遭受错误累积，导致结果不可靠。在本文中，我们提出了一种简单的前馈深神经网络，用于运动预测，这考虑了人体关节之间的时间平滑度和空间依赖性。我们设计了一个多尺度的时空图卷积网络（GCNS），以隐式地建立人类运动过程中的时空依赖，其中在训练期间动态融合的不同尺度。整个模型适用于所有操作，然后遵循编码器解码器的框架。编码器由时间GCN组成，用于捕获帧和半自主学习空间GCN之间的运动特征，以提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN）来维持其广泛的能力。广泛的实验表明，我们的方法优于人类3.6M和CMU Mocap的数据集上的SOTA方法，同时只需要更大的参数。代码将在https://github.com/yzg9353/dmsgcn上获得。
translated by 谷歌翻译
根据历史运动序列预测未来的运动是计算机视觉中的一个基本问题，并且在自主驾驶和机器人技术中具有广泛的应用。最近的一些作品表明，图形卷积网络（GCN）有助于对不同关节之间的关系进行建模。但是，考虑到人类运动数据中的变体和各种作用类型，由于解耦的建模策略，很难描绘时空关系的交叉依赖性，这也可能加剧了不足的概括问题。因此，我们提出时空门控速度ADJACENCY GCN（GAGCN）学习对各种作用类型的复杂时空依赖性。具体而言，我们采用门控网络来通过混合候选时空邻接矩阵获得的可训练的自适应邻接矩阵来增强GCN的概括。此外，GAGCN通过平衡时空建模的重量并融合了脱钩时空特征来解决空间和时间的交叉依赖性。对人类360万，积聚和3DPW的广泛实验表明，GAGCN在短期和长期预测中都能达到最先进的表现。
translated by 谷歌翻译
先前关于人类运动预测的工作遵循观察到的序列与要预测的序列之间建立映射关系的模式。但是，由于多元时间序列数据的固有复杂性，找到运动序列之间的外推关系仍然是一个挑战。在本文中，我们提出了一种新的预测模式，该模式介绍了以前被忽视的人类姿势，以从插值的角度实施预测任务。这些姿势在预测序列后存在，并形成特权序列。要具体而言，我们首先提出了一个插值学习网络（ITP-NETWORK），该网络既编码观察到的序列和特权序列，以插入预测的序列之间，其中嵌入式的特权序列 - 编码器（Priv-incoder）学习了这些序列特权知识（PK）同时。然后，我们提出了一个最终的预测网络（FP-NETWORK），该网络无法观察到特权序列，但配备了一种新型的PK模拟器，该序列可以提取从先前的网络中学到的PK。该模拟器作为输入观察到的序列，但近似私有编码器的行为，从而使fp-network模仿插值过程。广泛的实验结果表明，在短期和长期预测中，我们的预测模式在基准的H.36M，CMU-MOCAP和3DPW数据集上实现了最先进的性能。
translated by 谷歌翻译
图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。
translated by 谷歌翻译
本文解决了人类运动预测的问题，包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能，但当前的最新方法依赖于任意复杂性的深度学习体系结构，例如经常性神经网络〜（RNN），变压器或图形卷积网络〜（GCN），通常需要多个培训阶段，等等。超过300万参数。在本文中，我们表明，这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越，并且与几种标准实践（例如用离散的余弦变换代表身体姿势（DCT））相结合时，只有0.14亿个参数，预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估，Amass和3DPW数据集表明，我们的方法（我们将其配置为Simlpe）始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准，并允许重新考虑人类运动预测的问题，以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。
translated by 谷歌翻译
基于图形卷积网络的方法对车身连接关系进行建模，最近在基于3D骨架的人体运动预测中显示出巨大的希望。但是，这些方法有两个关键问题：首先，仅在有限的图形频谱中过滤特征，在整个频段中丢失了足够的信息；其次，使用单个图对整个身体进行建模，低估了各个身体部门的各种模式。为了解决第一个问题，我们提出了自适应图散射，该散射利用了多个可训练的带通滤波器将姿势特征分解为较丰富的图形频谱频段。为了解决第二个问题，分别对身体零件进行建模以学习多种动力学，从而沿空间维度提取更精细的特征提取。整合了上述两种设计，我们提出了一个新型的骨架派对图散射网络（SPGSN）。该模型的核心是级联的多部分图形散射块（MPGSB），在不同的身体部门建立自适应图散射，并基于推断的频谱重要性和身体零件相互作用融合分解的特征。广泛的实验表明，SPGSN的表现优于最先进的方法，其优于13.8％，9.3％和2.7％的SPGSN在每个联合位置误差（MPJPE）上，在36m，CMU MOCAP和3DPW Dataset，3D平均位置误差（MPJPE）方面，SPGSN优于最先进的方法。分别。
translated by 谷歌翻译
运动预测是计算机视觉中的经典问题，其旨在预测观察到的姿势序列的未来运动。已经提出了各种深度学习模型，在运动预测上实现了最先进的性能。然而，现有方法通常专注于在姿势空间中建模时间动态。不幸的是，人类运动的复杂和高度的性质带来了动态背景捕获的固有挑战。因此，我们远离传统的基于姿势的表示，并提出采用各个关节的相空间轨迹表示的新方法。此外，目前的方法倾向于仅考虑物理连接的关节之间的依赖性。在本文中，我们介绍了一种小说卷积神经模型，以有效利用明确的运动解剖学知识，并同时捕获关节轨迹动态的空间和时间信息。然后，我们提出了一个全局优化模块，了解各个联合功能之间的隐式关系。经验上，我们的方法在大规模3D人体运动基准数据集（即，Human3.6m，CMU Mocap）上进行评估。这些结果表明，我们的方法在基准数据集中设置了新的最先进状态。我们的代码将在https://github.com/post-group/teid中提供。
translated by 谷歌翻译
在这项工作中，我们提出了MotionMixer，这是一个有效的3D人体姿势预测模型，仅基于多层感知器（MLP）。MotionMixer通过顺序混合这两种方式来学习时空3D身体姿势依赖性。给定3D身体姿势的堆叠序列，空间MLP提取物是身体关节的细粒空间依赖性。然后，随着时间的推移，身体关节的相互作用由时间MLP建模。最终将时空混合特征汇总并解码以获得未来的运动。为了校准姿势序列中每个时间步的影响，我们利用挤压和兴奋（SE）块。我们使用标准评估协议评估了36M，Amass和3DPW数据集的方法。对于所有评估，我们展示了最先进的性能，同时具有具有较少参数的模型。我们的代码可在以下网址找到：https：//github.com/motionmlp/motionmixer
translated by 谷歌翻译
建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。
translated by 谷歌翻译
骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。
translated by 谷歌翻译
步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。
translated by 谷歌翻译
在基于骨架的动作识别中，图形卷积网络将人类骨骼关节模拟为顶点，并通过邻接矩阵将其连接起来，可以将其视为局部注意力掩码。但是，在大多数现有的图形卷积网络中，局部注意力面膜是根据人类骨架关节的自然连接来定义的，而忽略了例如头部，手和脚关节之间的动态关系。此外，注意机制已被证明在自然语言处理和图像描述中有效，在现有方法中很少研究。在这项工作中，我们提出了一个新的自适应空间注意层，该层将局部注意力图扩展到基于相对距离和相对角度信息的全局。此外，我们设计了一个连接头部，手脚的新初始图邻接矩阵，该矩阵在动作识别精度方面显示出可见的改进。在日常生活中人类活动领域的两个大规模且挑战性的数据集上，评估了该模型：NTU-RGB+D和动力学骨架。结果表明，我们的模型在两个数据集上都有很强的性能。
translated by 谷歌翻译
人类骨骼数据由于其背景鲁棒性和高效率而受到行动识别的越来越多。在基于骨架的动作识别中，图形卷积网络（GCN）已成为主流方法。本文分析了基于GCN的模型的基本因素 - 邻接矩阵。我们注意到，大多数基于GCN的方法基于人类天然骨架结构进行其邻接矩阵。根据我们以前的工作和分析，我们建议人类的自然骨骼结构邻接矩阵不适合基于骨架的动作识别。我们提出了一个新的邻接矩阵，该矩阵放弃了所有刚性邻居的连接，但使该模型可以适应地学习关节的关系。我们对两个基于骨架的动作识别数据集（NTURGBD60和FINEGYM）进行了验证模型进行广泛的实验和分析。全面的实验结果和分析表明，1）最广泛使用的人类天然骨骼结构邻接矩阵在基于骨架的动作识别中不适合； 2）所提出的邻接矩阵在模型性能，噪声稳健性和可传递性方面表现出色。
translated by 谷歌翻译
基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。
translated by 谷歌翻译
我们提出了一种新颖的基于变压器的架构，用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型，考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明，频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述，从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入，以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息，并明确捕获结构和时间依赖项。我们凭经验显示，这有效地了解潜在的运动动态，并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。
translated by 谷歌翻译
预测历史姿势序列的人类运动对于机器具有成功与人类智能相互作用的关键。到目前为止已经避免的一个方面是，我们代表骨骼姿势的事实是对预测结果的关键影响。然而，没有努力调查不同的姿势代表方案。我们对各种姿势表示进行了深入研究，重点关注它们对运动预测任务的影响。此外，最近的方法在现成的RNN单位上构建，用于运动预测。这些方法在捕获长期依赖性方面，顺序地并固有地具有困难。在本文中，我们提出了一种新颖的RNN架构，用于运动预测的AHMR（殷勤分层运动复发网络），其同时模拟局部运动上下文和全局上下文。我们进一步探索了运动预测任务的测地损失和前向运动学损失，其具有比广泛采用的L2损耗更多的几何意义。有趣的是，我们将我们的方法应用于一系列铰接物对象，包括人类，鱼类和鼠标。经验结果表明，我们的方法在短期预测中占据了最先进的方法，实现了大量增强的长期预测熟练程度，例如在50秒的预测中保留自然人样的运动。我们的代码已发布。
translated by 谷歌翻译
本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。
translated by 谷歌翻译
图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。
translated by 谷歌翻译
捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。
translated by 谷歌翻译
长期人体运动预测对于安全关键应用是必不可少的，例如人机互动和自主驾驶。在本文中，我们展示了实现长期预测，预测每次瞬间的人类姿势是不必要的。相反，通过线性地插入键盘来预测几个小折叠和近似中间组更有效。我们将证明我们的方法使我们能够在未来预测最多5秒的现实运动，远远大于文献中遇到的典型1秒。此外，由于我们模拟了未来的重叠概率，因此我们可以通过在推理时间采样来产生多种合理的未来动作。在这个延长的时间内，我们的预测更加现实，更多样化，更好地保护运动动力学而不是那些最先进的方法产量。
translated by 谷歌翻译