变量自动编码器（VAE）已广泛用于建模数据分布，因为它在理论上优雅，易于训练并且具有不错的多种形式表示。但是，当应用于图像重建和合成任务时，VAE显示了生成样品往往模糊的局限性。我们观察到一个类似的问题，其中生成的轨迹位于相邻的车道之间，通常是在基于VAE的轨迹预测模型中出现的。为了减轻此问题，我们将层次潜在结构引入基于VAE的预测模型。基于以下假设，即可以将轨迹分布近似为简单分布（或模式）的混合物，因此使用低级潜在变量来对混合物的每种模式进行建模，并采用了高级潜在变量来表示权重代表权重对于模式。为了准确地对每个模式进行建模，我们使用以新颖方式计算的两个车道级别上下文向量来调节低级潜在变量，一种对应于车道相互作用，另一个对应于车辆车辆的相互作用。上下文向量还用于通过建议的模式选择网络对权重进行建模。为了评估我们的预测模型，我们使用两个大型现实世界数据集。实验结果表明，我们的模型不仅能够生成清晰的多模式轨迹分布，而且还可以优于最新模型（SOTA）模型。我们的代码可在https://github.com/d1024choi/hlstrajforecast上找到。

预测附近代理商的合理的未来轨迹是自治车辆安全的核心挑战，主要取决于两个外部线索：动态邻居代理和静态场景上下文。最近的方法在分别表征两个线索方面取得了很大进展。然而，它们忽略了两个线索之间的相关性，并且大多数很难实现地图自适应预测。在本文中，我们使用Lane作为场景数据，并提出一个分阶段网络，即共同学习代理和车道信息，用于多模式轨迹预测（JAL-MTP）。 JAL-MTP使用社交到LANE（S2L）模块来共同代表静态道和相邻代理的动态运动作为实例级车道，一种用于利用实例级车道来预测的反复出的车道注意力（RLA）机制来预测Map-Adaptive Future Trajections和两个选择器，可识别典型和合理的轨迹。在公共协议数据集上进行的实验表明JAL-MTP在定量和定性中显着优于现有模型。

多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder（VAE）已广泛应用于多代理交互建模以产生各种行为，并学习用于交互系统的低维表示。然而，如果基于VAE的模型可以正确编码相互作用，现有文献没有正式讨论。在这项工作中，我们认为，多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题，即，在预测代理人的未来轨迹时，该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因，并提出了几项解决方案的措施。之后，我们在实际数据集上实施了拟议的框架和实验，用于多代理轨迹预测。特别是，我们提出了一种新颖的稀疏图表关注消息传递（稀疏垃圾）层，这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中，我们确认确实发生了社会后塌崩溃。此外，拟议的措施有助于减轻这个问题。结果，当历史社会上下文是信息性的预测信息时，该模型达到了更好的泛化性能。

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

自主驾驶的运动预测领域的先前艺术倾向于寻找接近地面真理轨迹的轨迹。但是，这种问题的表述和方法经常导致多样性和偏见轨迹预测的丧失。因此，它们不适合现实世界的自主驾驶，在这种驾驶中，多样化和依赖道路的多模式轨迹预测对安全至关重要。为此，本研究提出了一种新颖的损失函数\ textit {lane损失}，可确保地图自适应多样性并适应几何约束。对带有新型轨迹候选建议模块的两阶段轨迹预测架构，\ textit {轨迹预测注意（TPA）}经过训练，通过车道损失训练，鼓励多个轨迹分布多样，以涵盖可行的方式以图像意识的方式涵盖可行的操作。此外，考虑到现有的轨迹性能指标正在重点是基于地面真理未来轨迹评估准确性，因此还建议定量评估指标来评估预测的多个轨迹的多样性。在Argoverse数据集上进行的实验表明，所提出的方法显着提高了预测轨迹的多样性，而无需牺牲预测准确性。

预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

轨迹预测在智能车辆或社会机器人领域发挥着关键作用。最近的作品侧重于建模空间社会影响或时间运动注意，但忽视了运动的固有特征，即移动趋势和驾驶意图。本文提出了一种用于车辆轨迹预测的无背景的分层运动编码器 - 解码器网络（HMNET）。 HMNET首先揭示了运动的分层差异，以编码具有高富有动态趋势和驾驶意图的高效力的物理兼容模式。然后，根据位置 - 速度 - 加速相关模式分层地分层地构建多模式预测的目标（端点）。此外，我们介绍了一个修改的社交池模块，它考虑了某些运动属性来代表社交交互。 HMNET可以实现准确，单峰/多模式和物理上兼容的预测。三个公共轨迹预测数据集的实验，即NGSIM，高达和交互表明，我们的模型定量和定性地实现了最先进的性能。我们将在此处发布我们的代码：https：//github.com/xuedashuai/hmnet。

Predicting the future motion of dynamic agents is of paramount importance to ensure safety or assess risks in motion planning for autonomous robots. In this paper, we propose a two-stage motion prediction method, referred to as R-Pred, that effectively utilizes both the scene and interaction context using a cascade of the initial trajectory proposal network and the trajectory refinement network. The initial trajectory proposal network produces M trajectory proposals corresponding to M modes of a future trajectory distribution. The trajectory refinement network enhances each of M proposals using 1) the tube-query scene attention (TQSA) and 2) the proposal-level interaction attention (PIA). TQSA uses tube-queries to aggregate the local scene context features pooled from proximity around the trajectory proposals of interest. PIA further enhances the trajectory proposals by modeling inter-agent interactions using a group of trajectory proposals selected based on their distances from neighboring agents. Our experiments conducted on the Argoverse and nuScenes datasets demonstrate that the proposed refinement network provides significant performance improvements compared to the single-stage baseline and that R-Pred achieves state-of-the-art performance in some categories of the benchmark.

Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.

The task of motion forecasting is critical for self-driving vehicles (SDVs) to be able to plan a safe maneuver. Towards this goal, modern approaches reason about the map, the agents' past trajectories and their interactions in order to produce accurate forecasts. The predominant approach has been to encode the map and other agents in the reference frame of each target agent. However, this approach is computationally expensive for multi-agent prediction as inference needs to be run for each agent. To tackle the scaling challenge, the solution thus far has been to encode all agents and the map in a shared coordinate frame (e.g., the SDV frame). However, this is sample inefficient and vulnerable to domain shift (e.g., when the SDV visits uncommon states). In contrast, in this paper, we propose an efficient shared encoding for all agents and the map without sacrificing accuracy or generalization. Towards this goal, we leverage pair-wise relative positional encodings to represent geometric relationships between the agents and the map elements in a heterogeneous spatial graph. This parameterization allows us to be invariant to scene viewpoint, and save online computation by re-using map embeddings computed offline. Our decoder is also viewpoint agnostic, predicting agent goals on the lane graph to enable diverse and context-aware multimodal prediction. We demonstrate the effectiveness of our approach on the urban Argoverse 2 benchmark as well as a novel highway dataset.

在高度互动的场景中进行运动预测是自主驾驶中的一个挑战性问题。在这种情况下，我们需要准确预测相互作用的代理的共同行为，以确保自动驾驶汽车的安全有效导航。最近，由于其在性能方面的优势和捕获轨迹分布中多模态的能力，目标条件方法引起了人们的关注。在这项工作中，我们研究了目标条件框架的联合轨迹预测问题。特别是，我们引入了一个有条件的基于AutoEncoder（CVAE）模型，以将不同的相互作用模式明确地编码到潜在空间中。但是，我们发现香草模型遭受后塌陷，无法根据需要诱导信息的潜在空间。为了解决这些问题，我们提出了一种新颖的方法，以避免KL消失并诱导具有伪标签的可解释的互动潜在空间。提出的伪标签使我们能够以灵活的方式将域知识纳入有关相互作用的知识。我们使用说明性玩具示例激励提出的方法。此外，我们通过定量和定性评估验证Waymo Open Motion数据集上的框架。

在智能系统（例如自动驾驶和机器人导航）中，轨迹预测一直是一个长期存在的问题。最近在大规模基准测试的最新模型一直在迅速推动性能的极限，主要集中于提高预测准确性。但是，这些模型对效率的强调较少，这对于实时应用至关重要。本文提出了一个名为Gatraj的基于注意力的图形模型，其预测速度要高得多。代理的时空动力学，例如行人或车辆，是通过注意机制建模的。代理之间的相互作用是通过图卷积网络建模的。我们还实施了拉普拉斯混合物解码器，以减轻模式崩溃，并为每个代理生成多种模式预测。我们的模型以在多个开放数据集上测试的更高预测速度与最先进的模型相同的性能。

仿真是对机器人系统（例如自动驾驶汽车）进行扩展验证和验证的关键。尽管高保真物理和传感器模拟取得了进步，但在模拟道路使用者的现实行为方面仍然存在一个危险的差距。这是因为，与模拟物理和图形不同，设计人类行为的第一个原理模型通常是不可行的。在这项工作中，我们采用了一种数据驱动的方法，并提出了一种可以学会从现实世界驱动日志中产生流量行为的方法。该方法通过将交通仿真问题分解为高级意图推理和低级驾驶行为模仿，通过利用驾驶行为的双层层次结构来实现高样本效率和行为多样性。该方法还结合了一个计划模块，以获得稳定的长马行为。我们从经验上验证了我们的方法，即交通模拟（位）的双层模仿，并具有来自两个大规模驾驶数据集的场景，并表明位表明，在现实主义，多样性和长途稳定性方面可以达到平衡的交通模拟性能。我们还探索了评估行为现实主义的方法，并引入了一套评估指标以进行交通模拟。最后，作为我们的核心贡献的一部分，我们开发和开源一个软件工具，该工具将跨不同驱动数据集的数据格式统一，并将现有数据集将场景转换为交互式仿真环境。有关其他信息和视频，请参见https://sites.google.com/view/nvr-bits2022/home

从社交机器人到自动驾驶汽车，多种代理的运动预测（MP）是任意复杂环境中的至关重要任务。当前方法使用端到端网络解决了此问题，其中输入数据通常是场景的最高视图和所有代理的过去轨迹；利用此信息是获得最佳性能的必不可少的。从这个意义上讲，可靠的自动驾驶（AD）系统必须按时产生合理的预测，但是，尽管其中许多方法使用了简单的Convnets和LSTM，但在使用两个信息源时，模型对于实时应用程序可能不够有效（地图和轨迹历史）。此外，这些模型的性能在很大程度上取决于训练数据的数量，这可能很昂贵（尤其是带注释的HD地图）。在这项工作中，我们探讨了如何使用有效的基于注意力的模型在Argoverse 1.0基准上实现竞争性能，该模型将其作为最小地图信息的过去轨迹和基于地图的功能的输入，以确保有效且可靠的MP。这些功能代表可解释的信息作为可驱动区域和合理的目标点，与基于黑框CNN的地图处理方法相反。

预测动态场景中的行人轨迹仍然是各种应用中的关键问题，例如自主驾驶和社会意识的机器人。由于人类和人类对象的相互作用和人类随机性引起的未来不确定性，这种预测是挑战。基于生成式模型的方法通过采样潜在变量来处理未来的不确定性。然而，很少有研究探索了潜在变量的产生。在这项工作中，我们提出了具有伪Oracle（TPPO）的轨迹预测器，这是一种基于模型的基于模型的轨迹预测因子。第一个伪甲骨文是行人的移动方向，第二个是从地面真理轨迹估计的潜在变量。社会注意力模块用于基于行人移动方向与未来轨迹之间的相关性聚集邻居的交互。这种相关性受到行人的未来轨迹往往受到前方行人的影响。提出了一种潜在的变量预测器来估计观察和地面轨迹的潜在可变分布。此外，在训练期间，这两个分布之间的间隙最小化。因此，潜在的变量预测器可以估计观察到的轨迹的潜变量，以近似从地面真理轨迹估计。我们将TPPO与在几个公共数据集上的相关方法进行比较。结果表明，TPPO优于最先进的方法，具有低平均和最终位移误差。作为测试期间的采样时间下降，消融研究表明预测性能不会显着降低。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

Behavior prediction in dynamic, multi-agent systems is an important problem in the context of self-driving cars, due to the complex representations and interactions of road components, including moving agents (e.g. pedestrians and vehicles) and road context information (e.g. lanes, traffic lights). This paper introduces VectorNet, a hierarchical graph neural network that first exploits the spatial locality of individual road components represented by vectors and then models the high-order interactions among all components. In contrast to most recent approaches, which render trajectories of moving agents and road context information as bird-eye images and encode them with convolutional neural networks (ConvNets), our approach operates on a vector representation. By operating on the vectorized high definition (HD) maps and agent trajectories, we avoid lossy rendering and computationally intensive ConvNet encoding steps. To further boost VectorNet's capability in learning context features, we propose a novel auxiliary task to recover the randomly masked out map entities and agent trajectories based on their context. We evaluate VectorNet on our in-house behavior prediction benchmark and the recently released Argoverse forecasting dataset. Our method achieves on par or better performance than the competitive rendering approach on both benchmarks while saving over 70% of the model parameters with an order of magnitude reduction in FLOPs. It also outperforms the state of the art on the Argoverse dataset.

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

预测周围动态剂的未来轨迹是自动驾驶中的必要要求。这些轨迹主要取决于周围的静态环境以及这些动态剂的过去运动。此外，代理意图的多模式性质使轨迹预测问题更具挑战性。所有现有模型都同样考虑目标剂以及周围的剂，而无需考虑物理特性的变化。在本文中，我们为自动驾驶中的多模式轨迹预测提供了一个新颖的基于深度学习的框架，该框架考虑了目标及周围车辆的物理特性，例如对象类及其物理尺寸通过加权注意模块，从而改善预测的准确性。我们的模型在Nuscenes轨迹预测基准测试中取得了最高的结果，这些模型是使用栅格图来输入环境信息的模型。此外，我们的模型能够实时运行，达到300 fps的高推理率。