根据历史运动序列预测未来的运动是计算机视觉中的一个基本问题，并且在自主驾驶和机器人技术中具有广泛的应用。最近的一些作品表明，图形卷积网络（GCN）有助于对不同关节之间的关系进行建模。但是，考虑到人类运动数据中的变体和各种作用类型，由于解耦的建模策略，很难描绘时空关系的交叉依赖性，这也可能加剧了不足的概括问题。因此，我们提出时空门控速度ADJACENCY GCN（GAGCN）学习对各种作用类型的复杂时空依赖性。具体而言，我们采用门控网络来通过混合候选时空邻接矩阵获得的可训练的自适应邻接矩阵来增强GCN的概括。此外，GAGCN通过平衡时空建模的重量并融合了脱钩时空特征来解决空间和时间的交叉依赖性。对人类360万，积聚和3DPW的广泛实验表明，GAGCN在短期和长期预测中都能达到最先进的表现。

运动预测是计算机视觉中的经典问题，其旨在预测观察到的姿势序列的未来运动。已经提出了各种深度学习模型，在运动预测上实现了最先进的性能。然而，现有方法通常专注于在姿势空间中建模时间动态。不幸的是，人类运动的复杂和高度的性质带来了动态背景捕获的固有挑战。因此，我们远离传统的基于姿势的表示，并提出采用各个关节的相空间轨迹表示的新方法。此外，目前的方法倾向于仅考虑物理连接的关节之间的依赖性。在本文中，我们介绍了一种小说卷积神经模型，以有效利用明确的运动解剖学知识，并同时捕获关节轨迹动态的空间和时间信息。然后，我们提出了一个全局优化模块，了解各个联合功能之间的隐式关系。经验上，我们的方法在大规模3D人体运动基准数据集（即，Human3.6m，CMU Mocap）上进行评估。这些结果表明，我们的方法在基准数据集中设置了新的最先进状态。我们的代码将在https://github.com/post-group/teid中提供。

人类运动预测是许多计算机视觉应用领域中的重要且挑战性的任务。最近的工作专注于利用经常性神经网络（RNN）的定时处理能力，实现短期预测的光滑且可靠的结果。但是，正如以前的工作所证明的那样，RNNS遭受错误累积，导致结果不可靠。在本文中，我们提出了一种简单的前馈深神经网络，用于运动预测，这考虑了人体关节之间的时间平滑度和空间依赖性。我们设计了一个多尺度的时空图卷积网络（GCNS），以隐式地建立人类运动过程中的时空依赖，其中在训练期间动态融合的不同尺度。整个模型适用于所有操作，然后遵循编码器解码器的框架。编码器由时间GCN组成，用于捕获帧和半自主学习空间GCN之间的运动特征，以提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN）来维持其广泛的能力。广泛的实验表明，我们的方法优于人类3.6M和CMU Mocap的数据集上的SOTA方法，同时只需要更大的参数。代码将在https://github.com/yzg9353/dmsgcn上获得。

在这项工作中，我们提出了MotionMixer，这是一个有效的3D人体姿势预测模型，仅基于多层感知器（MLP）。MotionMixer通过顺序混合这两种方式来学习时空3D身体姿势依赖性。给定3D身体姿势的堆叠序列，空间MLP提取物是身体关节的细粒空间依赖性。然后，随着时间的推移，身体关节的相互作用由时间MLP建模。最终将时空混合特征汇总并解码以获得未来的运动。为了校准姿势序列中每个时间步的影响，我们利用挤压和兴奋（SE）块。我们使用标准评估协议评估了36M，Amass和3DPW数据集的方法。对于所有评估，我们展示了最先进的性能，同时具有具有较少参数的模型。我们的代码可在以下网址找到：https：//github.com/motionmlp/motionmixer

先前关于人类运动预测的工作遵循观察到的序列与要预测的序列之间建立映射关系的模式。但是，由于多元时间序列数据的固有复杂性，找到运动序列之间的外推关系仍然是一个挑战。在本文中，我们提出了一种新的预测模式，该模式介绍了以前被忽视的人类姿势，以从插值的角度实施预测任务。这些姿势在预测序列后存在，并形成特权序列。要具体而言，我们首先提出了一个插值学习网络（ITP-NETWORK），该网络既编码观察到的序列和特权序列，以插入预测的序列之间，其中嵌入式的特权序列 - 编码器（Priv-incoder）学习了这些序列特权知识（PK）同时。然后，我们提出了一个最终的预测网络（FP-NETWORK），该网络无法观察到特权序列，但配备了一种新型的PK模拟器，该序列可以提取从先前的网络中学到的PK。该模拟器作为输入观察到的序列，但近似私有编码器的行为，从而使fp-network模仿插值过程。广泛的实验结果表明，在短期和长期预测中，我们的预测模式在基准的H.36M，CMU-MOCAP和3DPW数据集上实现了最先进的性能。

基于图形卷积网络的方法对车身连接关系进行建模，最近在基于3D骨架的人体运动预测中显示出巨大的希望。但是，这些方法有两个关键问题：首先，仅在有限的图形频谱中过滤特征，在整个频段中丢失了足够的信息；其次，使用单个图对整个身体进行建模，低估了各个身体部门的各种模式。为了解决第一个问题，我们提出了自适应图散射，该散射利用了多个可训练的带通滤波器将姿势特征分解为较丰富的图形频谱频段。为了解决第二个问题，分别对身体零件进行建模以学习多种动力学，从而沿空间维度提取更精细的特征提取。整合了上述两种设计，我们提出了一个新型的骨架派对图散射网络（SPGSN）。该模型的核心是级联的多部分图形散射块（MPGSB），在不同的身体部门建立自适应图散射，并基于推断的频谱重要性和身体零件相互作用融合分解的特征。广泛的实验表明，SPGSN的表现优于最先进的方法，其优于13.8％，9.3％和2.7％的SPGSN在每个联合位置误差（MPJPE）上，在36m，CMU MOCAP和3DPW Dataset，3D平均位置误差（MPJPE）方面，SPGSN优于最先进的方法。分别。

基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。

建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。

交通流量预测是智能运输系统的重要组成部分，从而受到了研究人员的关注。但是，交通道路之间的复杂空间和时间依赖性使交通流量的预测具有挑战性。现有方法通常是基于图形神经网络，使用交通网络的预定义空间邻接图来建模空间依赖性，而忽略了道路节点之间关系的动态相关性。此外，他们通常使用独立的时空组件来捕获时空依赖性，并且不会有效地对全局时空依赖性进行建模。本文提出了一个新的时空因果图形注意网络（STCGAT），以解决上述挑战。在STCGAT中，我们使用一种节点嵌入方法，可以在每个时间步骤中自适应生成空间邻接子图，而无需先验地理知识和对不同时间步骤动态生成图的拓扑的精细颗粒建模。同时，我们提出了一个有效的因果时间相关成分，其中包含节点自适应学习，图形卷积以及局部和全局因果关系卷积模块，以共同学习局部和全局时空依赖性。在四个真正的大型流量数据集上进行的广泛实验表明，我们的模型始终优于所有基线模型。

捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。

预测历史姿势序列的人类运动对于机器具有成功与人类智能相互作用的关键。到目前为止已经避免的一个方面是，我们代表骨骼姿势的事实是对预测结果的关键影响。然而，没有努力调查不同的姿势代表方案。我们对各种姿势表示进行了深入研究，重点关注它们对运动预测任务的影响。此外，最近的方法在现成的RNN单位上构建，用于运动预测。这些方法在捕获长期依赖性方面，顺序地并固有地具有困难。在本文中，我们提出了一种新颖的RNN架构，用于运动预测的AHMR（殷勤分层运动复发网络），其同时模拟局部运动上下文和全局上下文。我们进一步探索了运动预测任务的测地损失和前向运动学损失，其具有比广泛采用的L2损耗更多的几何意义。有趣的是，我们将我们的方法应用于一系列铰接物对象，包括人类，鱼类和鼠标。经验结果表明，我们的方法在短期预测中占据了最先进的方法，实现了大量增强的长期预测熟练程度，例如在50秒的预测中保留自然人样的运动。我们的代码已发布。

本文解决了人类运动预测的问题，包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能，但当前的最新方法依赖于任意复杂性的深度学习体系结构，例如经常性神经网络〜（RNN），变压器或图形卷积网络〜（GCN），通常需要多个培训阶段，等等。超过300万参数。在本文中，我们表明，这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越，并且与几种标准实践（例如用离散的余弦变换代表身体姿势（DCT））相结合时，只有0.14亿个参数，预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估，Amass和3DPW数据集表明，我们的方法（我们将其配置为Simlpe）始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准，并允许重新考虑人类运动预测的问题，以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。

最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图，然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中，不同时间步骤的不同节点之间的相关性未明确地反映，这可以限制图形神经网络的学习能力。同时，这些模型在不同时间步骤中使用相同的邻接矩阵时，忽略节点之间的动态时空相关性。为了克服这些限制，我们提出了一种时空关节图卷积网络（StJGCN），用于交通预测在公路网络上的几个时间上限。具体地，我们在任何两个时间步长之间构造预定的和自适应时空关节图（STJG），这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层，以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明，STJGCN是计算的高效和优于11个最先进的基线方法。

交通预测对于新时代智能城市的交通建设至关重要。但是，流量数据的复杂空间和时间依赖性使流量预测极具挑战性。大多数现有的流量预测方法都依赖于预定义的邻接矩阵来对时空依赖性建模。但是，道路交通状态是高度实时的，因此邻接矩阵应随着时间的推移而动态变化。本文介绍了一个新的多空间融合图复发网络（MSTFGRN），以解决上述问题。该网络提出了一种数据驱动的加权邻接矩阵生成方法，以补偿预定义的邻接矩阵未反映的实时空间依赖性。它还通过在不同矩的平行时空关系上执行新的双向时空融合操作来有效地学习隐藏的时空依赖性。最后，通过将全局注意机制集成到时空融合模块中，同时捕获了全局时空依赖性。对四个大型现实世界流量数据集进行的广泛试验表明，与替代基线相比，我们的方法实现了最先进的性能。

由于运输网络中复杂的时空依赖性，准确的交通预测是智能运输系统中一项艰巨的任务。许多现有的作品利用复杂的时间建模方法与图形卷积网络（GCN）合并，以捕获短期和长期时空依赖性。但是，这些具有复杂设计的分离模块可以限制时空表示学习的有效性和效率。此外，大多数以前的作品都采用固定的图形构造方法来表征全局时空关系，这限制了模型在不同时间段甚至不同的数据方案中的学习能力。为了克服这些局限性，我们提出了一个自动扩张的时空同步图网络，称为Auto-DSTSGN用于流量预测。具体而言，我们设计了自动扩张的时空同步图（自动-DSTSG）模块，以捕获短期和长期时空相关性，通过在增加顺序的扩张因子中堆叠更深的层。此外，我们提出了一种图形结构搜索方法，以自动构建可以适应不同数据方案的时空同步图。在四个现实世界数据集上进行的广泛实验表明，与最先进的方法相比，我们的模型可以取得约10％的改善。源代码可在https://github.com/jinguangyin/auto-dstsgn上找到。

我们提出了一种新颖的基于变压器的架构，用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型，考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明，频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述，从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入，以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息，并明确捕获结构和时间依赖项。我们凭经验显示，这有效地了解潜在的运动动态，并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。

我们解决了人类反应生成的挑战性任务，该任务旨在基于输入动作产生相应的反应。大多数现有作品并不集中于产生和预测反应，并且在仅给出动作作为输入时就无法产生运动。为了解决这一限制，我们提出了一种新型的相互作用变压器（Interformer），该变压器由具有时间和空间浓度的变压器网络组成。具体而言，时间的注意力捕获了字符及其相互作用的运动的时间依赖性，而空间注意力则了解每个字符的不同身体部位与相互作用的一部分之间的依赖关系。此外，我们建议使用图形通过相互作用距离模块提高空间注意力的性能，以帮助关注两个字符的附近关节。关于SBU相互作用，K3HI和Duetdance数据集的广泛实验证明了Interformer的有效性。我们的方法是一般的，可用于产生更复杂和长期的相互作用。

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

Action recognition with skeleton data has recently attracted much attention in computer vision. Previous studies are mostly based on fixed skeleton graphs, only capturing local physical dependencies among joints, which may miss implicit joint correlations. To capture richer dependencies, we introduce an encoder-decoder structure, called A-link inference module, to capture action-specific latent dependencies, i.e. actional links, directly from actions. We also extend the existing skeleton graphs to represent higherorder dependencies, i.e. structural links. Combing the two types of links into a generalized skeleton graph, we further propose the actional-structural graph convolution network (AS-GCN), which stacks actional-structural graph convolution and temporal convolution as a basic building block, to learn both spatial and temporal features for action recognition. A future pose prediction head is added in parallel to the recognition head to help capture more detailed action patterns through self-supervision. We validate AS-GCN in action recognition using two skeleton data sets, NTU-RGB+D and Kinetics. The proposed AS-GCN achieves consistently large improvement compared to the state-of-the-art methods. As a side product, AS-GCN also shows promising results for future pose prediction. Our code is available at https://github.com/limaosen0/AS-GCN . 1