自主驾驶包括多个交互模块，其中每个模块必须与其他模块相反。通常，运动预测模块取决于稳健的跟踪系统以捕获每个代理的过去的移动。在这项工作中，我们系统地探讨了运动预测任务的跟踪模块的重要性，并且最终得出结论，整体运动预测性能对跟踪模块的缺陷非常敏感。我们明确比较了使用跟踪信息的模型，该模型不会跨越多种方案和条件。我们发现跟踪信息发挥着重要作用，并在无噪声条件下提高运动预测性能。然而，在跟踪噪声的情况下，如果没有彻底研究，它可能会影响整体性能。因此，我们应该在开发和测试运动/跟踪模块时注意到噪音，或者他们应该考虑跟踪自由替代品。

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

从社交机器人到自动驾驶汽车，多种代理的运动预测（MP）是任意复杂环境中的至关重要任务。当前方法使用端到端网络解决了此问题，其中输入数据通常是场景的最高视图和所有代理的过去轨迹；利用此信息是获得最佳性能的必不可少的。从这个意义上讲，可靠的自动驾驶（AD）系统必须按时产生合理的预测，但是，尽管其中许多方法使用了简单的Convnets和LSTM，但在使用两个信息源时，模型对于实时应用程序可能不够有效（地图和轨迹历史）。此外，这些模型的性能在很大程度上取决于训练数据的数量，这可能很昂贵（尤其是带注释的HD地图）。在这项工作中，我们探讨了如何使用有效的基于注意力的模型在Argoverse 1.0基准上实现竞争性能，该模型将其作为最小地图信息的过去轨迹和基于地图的功能的输入，以确保有效且可靠的MP。这些功能代表可解释的信息作为可驱动区域和合理的目标点，与基于黑框CNN的地图处理方法相反。

预测行人运动对于开发在拥挤的环境中相互作用的社会意识的机器人至关重要。虽然社交互动环境的自然视觉观点是一种自然的观点，但轨迹预测中的大多数现有作品纯粹是在自上而下的轨迹空间中进行的。为了支持第一人称视图轨迹预测研究，我们提出了T2FPV，这是一种构建高保真的第一人称视图数据集的方法，给定真实的，自上而下的轨迹数据集；我们在ETH/UCY行人数据集上展示了我们的方法，以生成所有互动行人的以自我为中心的视觉数据。我们报告说，原始的ETH/UCY数据集中使用的鸟眼视图假设，即代理可以用完美的信息观察场景中的每个人，而不会在第一人称视图中保持；在现有作品中通常使用的每个20个磁场场景中，只有一小部分的代理都可以完全看到。我们评估现有的轨迹预测方法在不同的现实感知水平下 - 与自上而下的完美信息设置相比，位移错误增加了356％。为了促进第一人称视图轨迹预测的研究，我们发布了T2FPV-ETH数据集和软件工具。

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

本文提出了一个新型的深度学习框架，用于多模式运动预测。该框架由三个部分组成：经常性神经网络，以处理目标代理的运动过程，卷积神经网络处理栅格化环境表示以及一种基于距离的注意机制，以处理不同代理之间的相互作用。我们在大规模的真实驾驶数据集，Waymo Open Motion数据集上验证了所提出的框架，并将其性能与标准测试基准上的其他方法进行比较。定性结果表明，我们的模型给出的预测轨迹是准确，多样的，并且根据道路结构。标准基准测试的定量结果表明，我们的模型在预测准确性和其他评估指标方面优于其他基线方法。拟议的框架是2021 Waymo Open DataSet运动预测挑战的第二名。

这项工作提出了一种新的方法，可以使用有效的鸟类视图表示和卷积神经网络在高速公路场景中预测车辆轨迹。使用基本的视觉表示，很容易将车辆位置，运动历史，道路配置和车辆相互作用轻松包含在预测模型中。 U-NET模型已被选为预测内核，以使用图像到图像回归方法生成场景的未来视觉表示。已经实施了一种方法来从生成的图形表示中提取车辆位置以实现子像素分辨率。该方法已通过预防数据集（一个板载传感器数据集）进行了培训和评估。已经评估了不同的网络配置和场景表示。这项研究发现，使用线性终端层和车辆的高斯表示，具有6个深度水平的U-NET是最佳性能配置。发现使用车道标记不会改善预测性能。平均预测误差为0.47和0.38米，对于纵向和横向坐标的最终预测误差分别为0.76和0.53米，预测轨迹长度为2.0秒。与基线方法相比，预测误差低至50％。

预测场景中代理的未来位置是自动驾驶中的一个重要问题。近年来，在代表现场及其代理商方面取得了重大进展。代理与场景和彼此之间的相互作用通常由图神经网络建模。但是，图形结构主要是静态的，无法表示高度动态场景中的时间变化。在这项工作中，我们提出了一个时间图表示，以更好地捕获流量场景中的动态。我们用两种类型的内存模块补充表示形式。一个专注于感兴趣的代理，另一个专注于整个场景。这使我们能够学习暂时意识的表示，即使对多个未来进行简单回归，也可以取得良好的结果。当与目标条件预测结合使用时，我们会显示出更好的结果，可以在Argoverse基准中达到最先进的性能。

预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。

Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.

在人群情景中，根据许多外部因素，预测行人的轨迹是一个复杂和具有挑战性的任务。场景的拓扑和行人之间的相互作用只是其中一些。由于数据 - 科学和数据收集技术的进步，深入学习方法最近成为众多域中的研究热点。因此，越来越多的研究人员对预测行人的轨迹应用这些方法并不令人惊讶。本文将这些相对较新的深度学习算法与基于经典知识的模型进行了比较，这些算法被广泛用于模拟行人动态。它为两种方法提供了全面的文献综述，探索了技术和应用面向差异，并解决了未来的问题以及未来的发展方向。我们的调查指出，由于深度学习算法的高准确性，现在，基于知识的模型来预测局部轨迹的内容是可疑的。然而，深度学习算法用于大规模模拟的能力和集体动态的描述仍有待证明。此外，比较表明，两种方法（混合方法）的组合似乎很有希望克服像深度学习方法的缺失解释性等缺点。

为了安全和合理地参与密集和异质的交通，自动驾驶汽车需要充分分析周围交通代理的运动模式，并准确预测其未来的轨迹。这是具有挑战性的，因为交通代理的轨迹不仅受交通代理本身的影响，而且还受到彼此的空间互动的影响。以前的方法通常依赖于长期短期存储网络（LSTMS）的顺序逐步处理，并仅提取单型交通代理之间的空间邻居之间的相互作用。我们提出了时空变压器网络（S2TNET），该网络通过时空变压器对时空相互作用进行建模，并通过时间变压器处理颞序序列。我们将其他类别，形状和标题信息输入到我们的网络中，以处理交通代理的异质性。在Apolloscape轨迹数据集上，所提出的方法在平均值和最终位移误差的加权总和上优于Apolloscape轨迹数据集的最先进方法。我们的代码可在https://github.com/chenghuang66/s2tnet上找到。

轨迹预测在智能车辆或社会机器人领域发挥着关键作用。最近的作品侧重于建模空间社会影响或时间运动注意，但忽视了运动的固有特征，即移动趋势和驾驶意图。本文提出了一种用于车辆轨迹预测的无背景的分层运动编码器 - 解码器网络（HMNET）。 HMNET首先揭示了运动的分层差异，以编码具有高富有动态趋势和驾驶意图的高效力的物理兼容模式。然后，根据位置 - 速度 - 加速相关模式分层地分层地构建多模式预测的目标（端点）。此外，我们介绍了一个修改的社交池模块，它考虑了某些运动属性来代表社交交互。 HMNET可以实现准确，单峰/多模式和物理上兼容的预测。三个公共轨迹预测数据集的实验，即NGSIM，高达和交互表明，我们的模型定量和定性地实现了最先进的性能。我们将在此处发布我们的代码：https：//github.com/xuedashuai/hmnet。

预测道路用户的未来行为是自主驾驶中最具挑战性和最重要的问题之一。应用深度学习对此问题需要以丰富的感知信号和地图信息的形式融合异构世界状态，并在可能的期货上推断出高度多模态分布。在本文中，我们呈现MultiPath ++，这是一个未来的预测模型，实现了在流行的基准上实现最先进的性能。 MultiPath ++通过重新访问许多设计选择来改善多径架构。第一关键设计差异是偏离基于图像的基于输入世界状态的偏离，有利于异构场景元素的稀疏编码：多径++消耗紧凑且有效的折线，直接描述道路特征和原始代理状态信息（例如，位置，速度，加速）。我们提出了一种背景感知这些元素的融合，并开发可重用的多上下文选通融合组件。其次，我们重新考虑了预定义，静态锚点的选择，并开发了一种学习模型端到端的潜在锚嵌入的方法。最后，我们在其他ML域中探索合奏和输出聚合技术 - 常见的常见域 - 并为我们的概率多模式输出表示找到有效的变体。我们对这些设计选择进行了广泛的消融，并表明我们所提出的模型在协会运动预测竞争和Waymo开放数据集运动预测挑战上实现了最先进的性能。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

安全可靠的自主驾驶堆栈（AD）的设计是我们时代最具挑战性的任务之一。预计这些广告将在具有完全自主权的高度动态环境中驱动，并且比人类更大的可靠性。从这个意义上讲，要高效，安全地浏览任意复杂的流量情景，广告必须具有预测周围参与者的未来轨迹的能力。当前的最新模型通常基于复发，图形和卷积网络，在车辆预测的背景下取得了明显的结果。在本文中，我们探讨了在生成模型进行运动预测中注意力的影响，考虑到物理和社会环境以计算最合理的轨迹。我们首先使用LSTM网络对过去的轨迹进行编码，该网络是计算社会背景的多头自我发言模块的输入。另一方面，我们制定了一个加权插值来计算最后一个观测框中的速度和方向，以便计算可接受的目标点，从HDMAP信息的可驱动的HDMAP信息中提取，这代表了我们的物理环境。最后，我们的发电机的输入是从多元正态分布采样的白噪声矢量，而社会和物理环境则是其条件，以预测可行的轨迹。我们使用Argoverse运动预测基准1.1验证我们的方法，从而实现竞争性的单峰结果。