有效理解动态发展的多种互动对于捕获社会系统中代理的潜在行为至关重要。通常要直接观察这些相互作用是一项挑战，因此对潜在相互作用进行建模对于实现复杂行为至关重要。动态神经关系推断（DNRI）的最新工作在每个步骤中都捕获了明确的互动相互作用。但是，在每个步骤中的预测都会导致嘈杂的相互作用，并且没有事后检查就缺乏内在的解释性。此外，它需要访问地面真理注释来分析难以获得的预测相互作用。本文介绍了Dider，发现了可解释的动态发展关系，这是一种具有内在解释性的通用端到端交互建模框架。 Dider通过将潜在相互作用预测的任务分解为亚相互作用预测和持续时间估计，发现了一个可解释的代理相互作用序列。通过在延长的时间持续时间内强加亚相互作用类型的一致性，提出的框架可以实现内在的解释性，而无需进行任何事后检查。我们在合成数据集和现实世界数据集上评估了Dider。实验结果表明，建模解剖和可解释的动态关系可改善轨迹预测任务的性能。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模，因为它们可以涉及各种类型的相互作用，以促进丰富的社会行为动态。在这里，我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意（IMMA）的相互作用建模，这是一种前向预测模型，该模型使用多重潜在图代表多种独立类型的相互作用，并注意对不同优势的关系。我们还介绍了渐进层培训，这是该体系结构的培训策略。我们表明，我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型，涵盖了三个多代理方案：社交导航，合作任务成就和团队运动。我们进一步证明，我们的方法可以改善零拍的概括，并使我们能够探究不同的相互作用如何影响代理行为。

在高度互动的场景中进行运动预测是自主驾驶中的一个挑战性问题。在这种情况下，我们需要准确预测相互作用的代理的共同行为，以确保自动驾驶汽车的安全有效导航。最近，由于其在性能方面的优势和捕获轨迹分布中多模态的能力，目标条件方法引起了人们的关注。在这项工作中，我们研究了目标条件框架的联合轨迹预测问题。特别是，我们引入了一个有条件的基于AutoEncoder（CVAE）模型，以将不同的相互作用模式明确地编码到潜在空间中。但是，我们发现香草模型遭受后塌陷，无法根据需要诱导信息的潜在空间。为了解决这些问题，我们提出了一种新颖的方法，以避免KL消失并诱导具有伪标签的可解释的互动潜在空间。提出的伪标签使我们能够以灵活的方式将域知识纳入有关相互作用的知识。我们使用说明性玩具示例激励提出的方法。此外，我们通过定量和定性评估验证Waymo Open Motion数据集上的框架。

揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是，以前的作品主要考虑与有限的关系推理的静态，成对的相互作用。为了促进更全面的互动建模和关系推理，我们提出了Dyngroupnet，这是一个动态群体感知的网络，i）可以在高度动态的场景中建模时间变化的交互； ii）捕获配对和小组互动； iii）理由互动强度和类别没有直接监督。基于Dyngroupnet，我们进一步设计了一个预测系统，以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型，多个抽样和预测细化，分别促进预测多样性，训练稳定性和轨迹平滑度。广泛的实验表明：1）dyngroupnet可以捕获随时间变化的群体行为，在轨迹预测过程中推断时间变化的交互类别和相互作用强度，而无需在物理模拟数据集上进行任何关系监督； 2）dyngroupnet优于最先进的轨迹预测方法，其显着改善22.6％/28.0％，26.9％/34.9％，5.1％/13.0％的ADE/FDE在NBA，NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。

多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder（VAE）已广泛应用于多代理交互建模以产生各种行为，并学习用于交互系统的低维表示。然而，如果基于VAE的模型可以正确编码相互作用，现有文献没有正式讨论。在这项工作中，我们认为，多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题，即，在预测代理人的未来轨迹时，该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因，并提出了几项解决方案的措施。之后，我们在实际数据集上实施了拟议的框架和实验，用于多代理轨迹预测。特别是，我们提出了一种新颖的稀疏图表关注消息传递（稀疏垃圾）层，这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中，我们确认确实发生了社会后塌崩溃。此外，拟议的措施有助于减轻这个问题。结果，当历史社会上下文是信息性的预测信息时，该模型达到了更好的泛化性能。

虽然对配对关系的建模在多代理交互系统中得到了广泛的研究，但其捕获更高级别和较大规模的小组活动的能力受到限制。在本文中，我们提出了一种群体感知的关系推理方法（命名为EvolveHyhyPergraph），并明确推断了基本的动态发展的关系结构，并且我们证明了其对多机构轨迹预测的有效性。除了一对节点之间的边缘（即代理）之间的边缘外，我们还建议推断出适应性地连接多个节点的超核，以在不固定Hyperedges的数量的情况下以无聊的方式启用群体感知的关系推理。所提出的方法随着时间的推移而动态发展的关系图和超图表，以捕获关系的演变，而轨迹预测指标将其用于获得未来的状态。此外，我们建议将关系演化的平稳性和推断图或超图的稀疏性正规化，从而有效地提高了训练稳定性并增强了推断关系的解释性。在综合人群模拟和多个现实世界基准数据集上都验证了所提出的方法。我们的方法不理会在长期预测中解释，合理的团体感知关系并取得最先进的表现。

为了计划安全的演习并采取远见卓识，自动驾驶汽车必须能够准确预测不确定的未来。在自主驾驶的背景下，深层神经网络已成功地应用于从数据中学习人类驾驶行为的预测模型。但是，这些预测遭受了级联错误的影响，导致长时间的不准确性。此外，学识渊博的模型是黑匣子，因此通常不清楚它们如何得出预测。相比之下，由人类专家告知的基于规则的模型在其预测中保持长期连贯性，并且是可解释的。但是，这样的模型通常缺乏捕获复杂的现实世界动态所需的足够表现力。在这项工作中，我们开始通过将智能驱动程序模型（一种流行的手工制作的驱动程序模型）嵌入深度神经网络来缩小这一差距。我们的模型的透明度可以提供可观的优势，例如在调试模型并更容易解释其预测时。我们在模拟合并方案中评估我们的方法，表明它产生了可端到端训练的强大模型，并无需为模型的预测准确性提供更大的透明度。

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

We propose JFP, a Joint Future Prediction model that can learn to generate accurate and consistent multi-agent future trajectories. For this task, many different methods have been proposed to capture social interactions in the encoding part of the model, however, considerably less focus has been placed on representing interactions in the decoder and output stages. As a result, the predicted trajectories are not necessarily consistent with each other, and often result in unrealistic trajectory overlaps. In contrast, we propose an end-to-end trainable model that learns directly the interaction between pairs of agents in a structured, graphical model formulation in order to generate consistent future trajectories. It sets new state-of-the-art results on Waymo Open Motion Dataset (WOMD) for the interactive setting. We also investigate a more complex multi-agent setting for both WOMD and a larger internal dataset, where our approach improves significantly on the trajectory overlap metrics while obtaining on-par or better performance on single-agent trajectory metrics.

Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

预测附近代理商的合理的未来轨迹是自治车辆安全的核心挑战，主要取决于两个外部线索：动态邻居代理和静态场景上下文。最近的方法在分别表征两个线索方面取得了很大进展。然而，它们忽略了两个线索之间的相关性，并且大多数很难实现地图自适应预测。在本文中，我们使用Lane作为场景数据，并提出一个分阶段网络，即共同学习代理和车道信息，用于多模式轨迹预测（JAL-MTP）。 JAL-MTP使用社交到LANE（S2L）模块来共同代表静态道和相邻代理的动态运动作为实例级车道，一种用于利用实例级车道来预测的反复出的车道注意力（RLA）机制来预测Map-Adaptive Future Trajections和两个选择器，可识别典型和合理的轨迹。在公共协议数据集上进行的实验表明JAL-MTP在定量和定性中显着优于现有模型。

Modelling interactions is critical in learning complex dynamical systems, namely systems of interacting objects with highly non-linear and time-dependent behaviour. A large class of such systems can be formalized as $\textit{geometric graphs}$, $\textit{i.e.}$, graphs with nodes positioned in the Euclidean space given an $\textit{arbitrarily}$ chosen global coordinate system, for instance vehicles in a traffic scene. Notwithstanding the arbitrary global coordinate system, the governing dynamics of the respective dynamical systems are invariant to rotations and translations, also known as $\textit{Galilean invariance}$. As ignoring these invariances leads to worse generalization, in this work we propose local coordinate frames per node-object to induce roto-translation invariance to the geometric graph of the interacting dynamical system. Further, the local coordinate frames allow for a natural definition of anisotropic filtering in graph neural networks. Experiments in traffic scenes, 3D motion capture, and colliding particles demonstrate that the proposed approach comfortably outperforms the recent state-of-the-art.

We introduce a Deep Stochastic IOC 1 RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

作为自主驱动系统的核心技术，行人轨迹预测可以显着提高主动车辆安全性的功能，减少道路交通损伤。在交通场景中，当遇到迎面而来的人时，行人可能会立即转动或停止，这通常会导致复杂的轨迹。为了预测这种不可预测的轨迹，我们可以深入了解行人之间的互动。在本文中，我们提出了一种名为Spatial Interaction Transformer（SIT）的新型生成方法，其通过注意机制学习行人轨迹的时空相关性。此外，我们介绍了条件变形Autiachoder（CVAE）框架来模拟未来行人的潜在行动状态。特别是，基于大规模的TRAFC数据集NUSCENES [2]的实验显示，坐下的性能优于最先进的（SOTA）方法。对挑战性的Eth和UCY数据集的实验评估概述了我们提出的模型的稳健性

实体彼此交互的系统很常见。在许多交互系统中，难以观察实体之间的关系，这是用于分析系统的关键信息。近年来，在使用图形神经网络中发现实体之间的关系越来越兴趣。然而，如果关系的数量未知或者关系复杂，则难以申请现有方法。我们提出了发现潜在关系（DSLR）模型，即使关系数目未知或存在许多类型的关系，也是灵活适用的。我们的DSLR模型的灵活性来自我们的编码器的设计概念，它代表了潜在空间中的实体之间的关系，而不是可以处理许多类型的关系的离散变量和解码器。我们对实体之间的各种关系进行了关于合成和实际图数据的实验，并将定性和定量结果与其他方法进行了比较。实验表明，该方法适用于分析具有未知数量的复杂关系的动态图。