虽然对配对关系的建模在多代理交互系统中得到了广泛的研究，但其捕获更高级别和较大规模的小组活动的能力受到限制。在本文中，我们提出了一种群体感知的关系推理方法（命名为EvolveHyhyPergraph），并明确推断了基本的动态发展的关系结构，并且我们证明了其对多机构轨迹预测的有效性。除了一对节点之间的边缘（即代理）之间的边缘外，我们还建议推断出适应性地连接多个节点的超核，以在不固定Hyperedges的数量的情况下以无聊的方式启用群体感知的关系推理。所提出的方法随着时间的推移而动态发展的关系图和超图表，以捕获关系的演变，而轨迹预测指标将其用于获得未来的状态。此外，我们建议将关系演化的平稳性和推断图或超图的稀疏性正规化，从而有效地提高了训练稳定性并增强了推断关系的解释性。在综合人群模拟和多个现实世界基准数据集上都验证了所提出的方法。我们的方法不理会在长期预测中解释，合理的团体感知关系并取得最先进的表现。

揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是，以前的作品主要考虑与有限的关系推理的静态，成对的相互作用。为了促进更全面的互动建模和关系推理，我们提出了Dyngroupnet，这是一个动态群体感知的网络，i）可以在高度动态的场景中建模时间变化的交互； ii）捕获配对和小组互动； iii）理由互动强度和类别没有直接监督。基于Dyngroupnet，我们进一步设计了一个预测系统，以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型，多个抽样和预测细化，分别促进预测多样性，训练稳定性和轨迹平滑度。广泛的实验表明：1）dyngroupnet可以捕获随时间变化的群体行为，在轨迹预测过程中推断时间变化的交互类别和相互作用强度，而无需在物理模拟数据集上进行任何关系监督； 2）dyngroupnet优于最先进的轨迹预测方法，其显着改善22.6％/28.0％，26.9％/34.9％，5.1％/13.0％的ADE/FDE在NBA，NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。

建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模，因为它们可以涉及各种类型的相互作用，以促进丰富的社会行为动态。在这里，我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意（IMMA）的相互作用建模，这是一种前向预测模型，该模型使用多重潜在图代表多种独立类型的相互作用，并注意对不同优势的关系。我们还介绍了渐进层培训，这是该体系结构的培训策略。我们表明，我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型，涵盖了三个多代理方案：社交导航，合作任务成就和团队运动。我们进一步证明，我们的方法可以改善零拍的概括，并使我们能够探究不同的相互作用如何影响代理行为。

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

有效理解动态发展的多种互动对于捕获社会系统中代理的潜在行为至关重要。通常要直接观察这些相互作用是一项挑战，因此对潜在相互作用进行建模对于实现复杂行为至关重要。动态神经关系推断（DNRI）的最新工作在每个步骤中都捕获了明确的互动相互作用。但是，在每个步骤中的预测都会导致嘈杂的相互作用，并且没有事后检查就缺乏内在的解释性。此外，它需要访问地面真理注释来分析难以获得的预测相互作用。本文介绍了Dider，发现了可解释的动态发展关系，这是一种具有内在解释性的通用端到端交互建模框架。 Dider通过将潜在相互作用预测的任务分解为亚相互作用预测和持续时间估计，发现了一个可解释的代理相互作用序列。通过在延长的时间持续时间内强加亚相互作用类型的一致性，提出的框架可以实现内在的解释性，而无需进行任何事后检查。我们在合成数据集和现实世界数据集上评估了Dider。实验结果表明，建模解剖和可解释的动态关系可改善轨迹预测任务的性能。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder（VAE）已广泛应用于多代理交互建模以产生各种行为，并学习用于交互系统的低维表示。然而，如果基于VAE的模型可以正确编码相互作用，现有文献没有正式讨论。在这项工作中，我们认为，多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题，即，在预测代理人的未来轨迹时，该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因，并提出了几项解决方案的措施。之后，我们在实际数据集上实施了拟议的框架和实验，用于多代理轨迹预测。特别是，我们提出了一种新颖的稀疏图表关注消息传递（稀疏垃圾）层，这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中，我们确认确实发生了社会后塌崩溃。此外，拟议的措施有助于减轻这个问题。结果，当历史社会上下文是信息性的预测信息时，该模型达到了更好的泛化性能。

实体彼此交互的系统很常见。在许多交互系统中，难以观察实体之间的关系，这是用于分析系统的关键信息。近年来，在使用图形神经网络中发现实体之间的关系越来越兴趣。然而，如果关系的数量未知或者关系复杂，则难以申请现有方法。我们提出了发现潜在关系（DSLR）模型，即使关系数目未知或存在许多类型的关系，也是灵活适用的。我们的DSLR模型的灵活性来自我们的编码器的设计概念，它代表了潜在空间中的实体之间的关系，而不是可以处理许多类型的关系的离散变量和解码器。我们对实体之间的各种关系进行了关于合成和实际图数据的实验，并将定性和定量结果与其他方法进行了比较。实验表明，该方法适用于分析具有未知数量的复杂关系的动态图。

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

预测行人运动对于人类行为分析以及安全有效的人类代理相互作用至关重要。但是，尽管取得了重大进展，但对于捕捉人类导航决策的不确定性和多模式的现有方法仍然具有挑战性。在本文中，我们提出了SocialVae，这是一种新颖的人类轨迹预测方法。社会节的核心是一种时间上的变性自动编码器体系结构，它利用随机反复的神经网络进行预测，结合社会注意力机制和向后的后近似值，以更好地提取行人导航策略。我们表明，社交活动改善了几个步行轨迹预测基准的最新性能，包括ETH/UCY基准，Stanford Drone DataSet和Sportvu NBA运动数据集。代码可在以下网址获得：https：//github.com/xupei0610/socialvae。

We propose JFP, a Joint Future Prediction model that can learn to generate accurate and consistent multi-agent future trajectories. For this task, many different methods have been proposed to capture social interactions in the encoding part of the model, however, considerably less focus has been placed on representing interactions in the decoder and output stages. As a result, the predicted trajectories are not necessarily consistent with each other, and often result in unrealistic trajectory overlaps. In contrast, we propose an end-to-end trainable model that learns directly the interaction between pairs of agents in a structured, graphical model formulation in order to generate consistent future trajectories. It sets new state-of-the-art results on Waymo Open Motion Dataset (WOMD) for the interactive setting. We also investigate a more complex multi-agent setting for both WOMD and a larger internal dataset, where our approach improves significantly on the trajectory overlap metrics while obtaining on-par or better performance on single-agent trajectory metrics.

Adequate strategizing of agents behaviors is essential to solving cooperative MARL problems. One intuitively beneficial yet uncommon method in this domain is predicting agents future behaviors and planning accordingly. Leveraging this point, we propose a two-level hierarchical architecture that combines a novel information-theoretic objective with a trajectory prediction model to learn a strategy. To this end, we introduce a latent policy that learns two types of latent strategies: individual $z_A$, and relational $z_R$ using a modified Graph Attention Network module to extract interaction features. We encourage each agent to behave according to the strategy by conditioning its local $Q$ functions on $z_A$, and we further equip agents with a shared $Q$ function that conditions on $z_R$. Additionally, we introduce two regularizers to allow predicted trajectories to be accurate and rewarding. Empirical results on Google Research Football (GRF) and StarCraft (SC) II micromanagement tasks show that our method establishes a new state of the art being, to the best of our knowledge, the first MARL algorithm to solve all super hard SC II scenarios as well as the GRF full game with a win rate higher than $95\%$, thus outperforming all existing methods. Videos and brief overview of the methods and results are available at: https://sites.google.com/view/hier-strats-marl/home.

行人轨迹预测是自动驾驶的重要技术，近年来已成为研究热点。以前的方法主要依靠行人的位置关系来模型社交互动，这显然不足以代表实际情况中的复杂病例。此外，大多数现有工作通常通常将场景交互模块作为独立分支介绍，并在轨迹生成过程中嵌入社交交互功能，而不是同时执行社交交互和场景交互，这可能破坏轨迹预测的合理性。在本文中，我们提出了一个名为社会软关注图卷积网络（SSAGCN）的一个新的预测模型，旨在同时处理行人和环境之间的行人和场景相互作用之间的社交互动。详细说明，在建模社交互动时，我们提出了一种新的\ EMPH {社会软关注功能}，其充分考虑了行人之间的各种交互因素。并且它可以基于各种情况下的不同因素来区分行人周围的人行力的影响。对于物理互动，我们提出了一个新的\ emph {顺序场景共享机制}。每个时刻在每个时刻对一个代理的影响可以通过社会柔和关注与其他邻居共享，因此场景的影响在空间和时间尺寸中都是扩展。在这些改进的帮助下，我们成功地获得了社会和身体上可接受的预测轨迹。公共可用数据集的实验证明了SSAGCN的有效性，并取得了最先进的结果。

建模人行走的动力是对计算机视觉的长期兴趣的问题。许多涉及行人轨迹预测的以前的作品将一组特定的单个动作定义为隐式模型组动作。在本文中，我们介绍了一个名为GP-GRAPH的新颖架构，该架构具有集体的小组表示，用于在拥挤的环境中有效的人行道轨迹预测，并且与所有类型的现有方法兼容。 GP-GRAPH的一个关键思想是将个人和小组关系的关系作为图表表示。为此，GP-Graph首先学会将每个行人分配给最可能的行为组。然后，使用此分配信息，GP编写是图形的组内和组间相互作用，分别考虑了组和群体关系中的人类关系。要具体，对于小组内相互作用，我们掩盖了相关组中的行人图边缘。我们还建议小组合并和不致密操作，以代表一个具有多个行人作为一个图节点的小组。最后，GP-GRAPH从两个组相互作用的综合特征中渗透了一个可获得社会上可接受的未来轨迹的概率图。此外，我们介绍了一个小组潜在的矢量抽样，以确保对一系列可能的未来轨迹的集体推断。进行了广泛的实验来验证我们的体系结构的有效性，该实验证明了通过公开可用的基准测试的绩效一致。代码可在https://github.com/inhwanbae/gpgraph上公开获取。

Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.

随着跨领域的机器人在共享环境中开始与人类合作，使他们能够推理人类意图的算法对于实现安全的相互作用很重要。在我们的工作中，我们通过预测动态环境中的轨迹的问题来研究人类的意图。我们探索导航准则相对严格定义但在其物理环境中没有明确标记的域。我们假设在这些领域内，代理人倾向于表现出短期运动模式，这些模式揭示了与代理人的一般方向，中间目标和运动规则相关的上下文信息，例如社会行为。从这种直觉中，我们提出了社交模式，这是一种复发，多模式轨迹预测的算法，该预测利用运动模式来编码上述上下文。我们的方法通过学习预测短期运动模式来指导长期的轨迹预测。然后，它从模式中提取次目标信息，并将其汇总为社会环境。我们评估了跨三个领域的方法：人类人群，体育中的人类和码头领空中的载人飞机，以实现最先进的表现。

预测附近代理商的合理的未来轨迹是自治车辆安全的核心挑战，主要取决于两个外部线索：动态邻居代理和静态场景上下文。最近的方法在分别表征两个线索方面取得了很大进展。然而，它们忽略了两个线索之间的相关性，并且大多数很难实现地图自适应预测。在本文中，我们使用Lane作为场景数据，并提出一个分阶段网络，即共同学习代理和车道信息，用于多模式轨迹预测（JAL-MTP）。 JAL-MTP使用社交到LANE（S2L）模块来共同代表静态道和相邻代理的动态运动作为实例级车道，一种用于利用实例级车道来预测的反复出的车道注意力（RLA）机制来预测Map-Adaptive Future Trajections和两个选择器，可识别典型和合理的轨迹。在公共协议数据集上进行的实验表明JAL-MTP在定量和定性中显着优于现有模型。

轨迹预测在智能车辆或社会机器人领域发挥着关键作用。最近的作品侧重于建模空间社会影响或时间运动注意，但忽视了运动的固有特征，即移动趋势和驾驶意图。本文提出了一种用于车辆轨迹预测的无背景的分层运动编码器 - 解码器网络（HMNET）。 HMNET首先揭示了运动的分层差异，以编码具有高富有动态趋势和驾驶意图的高效力的物理兼容模式。然后，根据位置 - 速度 - 加速相关模式分层地分层地构建多模式预测的目标（端点）。此外，我们介绍了一个修改的社交池模块，它考虑了某些运动属性来代表社交交互。 HMNET可以实现准确，单峰/多模式和物理上兼容的预测。三个公共轨迹预测数据集的实验，即NGSIM，高达和交互表明，我们的模型定量和定性地实现了最先进的性能。我们将在此处发布我们的代码：https：//github.com/xuedashuai/hmnet。

在智能系统（例如自动驾驶和机器人导航）中，轨迹预测一直是一个长期存在的问题。最近在大规模基准测试的最新模型一直在迅速推动性能的极限，主要集中于提高预测准确性。但是，这些模型对效率的强调较少，这对于实时应用至关重要。本文提出了一个名为Gatraj的基于注意力的图形模型，其预测速度要高得多。代理的时空动力学，例如行人或车辆，是通过注意机制建模的。代理之间的相互作用是通过图卷积网络建模的。我们还实施了拉普拉斯混合物解码器，以减轻模式崩溃，并为每个代理生成多种模式预测。我们的模型以在多个开放数据集上测试的更高预测速度与最先进的模型相同的性能。

具有相互作用剂的动力系统本质上是普遍的，通常由其成分之间的关​​系图建模。最近，已经提出了各种工作，以解决通过深层神经网络从系统轨迹中推断这些关系的问题，但是大多数研究都假设二进制或离散类型的相互作用类型为简单。在现实世界中，相互作用内核通常涉及连续的相互作用强度，而离散关系不能准确地近似。在这项工作中，我们提出了关系专注的推理网络（RAIN），以推断出无需任何地面相互作用强度的连续加权相互作用图。我们的模型采用新颖的成对注意（PA）机制来完善轨迹表示和图形变压器，以为每对药物提取异质相互作用权重。我们表明，使用PA机制的雨模型准确地以无监督的方式为模拟物理系统的连续相互作用强度。此外，带有PA的降雨成功地通过可解释的交互图预测了运动捕获数据的轨迹，证明了用连续权重对未知动力学进行建模的优点。