在多模式的多代理轨迹预测中，尚未完全解决两个主要挑战：1）如何测量相互作用模块引起的不确定性，从而导致多个试剂的预测轨迹之间引起相关性； 2）如何对多个预测进行排名并选择最佳预测轨迹。为了应对这些挑战，这项工作首先提出了一个新颖的概念，协作不确定性（CU），该概念模拟了互动模块引起的不确定性。然后，我们使用原始置换量等不确定性估计器来构建一般的CU感知回归框架，以完成回归和不确定性估计任务。此外，我们将提出的框架应用于当前的SOTA多代理多模式预测系统作为插件模块，该模块使SOTA系统能够达到1）估计多代理多模式轨迹预测任务的不确定性； 2）对多个预测进行排名，并根据估计的不确定性选择最佳预测。我们对合成数据集和两个公共大规模多代理轨迹预测基准进行了广泛的实验。实验表明：1）在合成数据集上，Cu-Aware回归框架允许模型适当地近似地面真相拉普拉斯分布； 2）在多代理轨迹预测基准上，Cu-Aware回归框架稳步帮助SOTA系统改善了其性能。特别是，提出的框架帮助Vectornet在Nuscenes数据集中所选最佳预测的最终位移误差方面提高了262 cm； 3）对于多机构多模式轨迹预测系统，预测不确定性与未来随机性呈正相关； 4）估计的CU值与代理之间的交互式信息高度相关。

Learning multi-agent dynamics is a core AI problem with broad applications in robotics and autonomous driving. While most existing works focus on deterministic prediction, producing probabilistic forecasts to quantify uncertainty and assess risks is critical for downstream decision-making tasks such as motion planning and collision avoidance. Multi-agent dynamics often contains internal symmetry. By leveraging symmetry, specifically rotation equivariance, we can improve not only the prediction accuracy but also uncertainty calibration. We introduce Energy Score, a proper scoring rule, to evaluate probabilistic predictions. We propose a novel deep dynamics model, Probabilistic Equivariant Continuous COnvolution (PECCO) for probabilistic prediction of multi-agent trajectories. PECCO extends equivariant continuous convolution to model the joint velocity distribution of multiple agents. It uses dynamics integration to propagate the uncertainty from velocity to position. On both synthetic and real-world datasets, PECCO shows significant improvements in accuracy and calibration compared to non-equivariant baselines.

以前通过一个位置的历史轨迹可能有助于推断该位置当前代理的未来轨迹。尽管在高清图的指导下进行了轨迹预测的大大改善，但只有少数作品探讨了这种当地历史信息。在这项工作中，我们将这些信息重新引入了轨迹预测系统的新类型的输入数据：本地行为数据，我们将其概念化为特定于位置的历史轨迹的集合。局部行为数据有助于系统强调预测区域，并更好地了解静态地图对象对移动代理的影响。我们提出了一个新型的本地行为感知（LBA）预测框架，该框架通过从观察到的轨迹，高清图和局部行为数据中融合信息来提高预测准确性。同样，如果这种历史数据不足或不可用，我们采用了本地行为（LBF）预测框架，该框架采用了基于知识依据的架构来推断缺失数据的影响。广泛的实验表明，通过这两个框架升级现有方法可显着提高其性能。特别是，LBA框架将SOTA方法在Nuscenes数据集上的性能提高了至少14％的K = 1度量。

We propose JFP, a Joint Future Prediction model that can learn to generate accurate and consistent multi-agent future trajectories. For this task, many different methods have been proposed to capture social interactions in the encoding part of the model, however, considerably less focus has been placed on representing interactions in the decoder and output stages. As a result, the predicted trajectories are not necessarily consistent with each other, and often result in unrealistic trajectory overlaps. In contrast, we propose an end-to-end trainable model that learns directly the interaction between pairs of agents in a structured, graphical model formulation in order to generate consistent future trajectories. It sets new state-of-the-art results on Waymo Open Motion Dataset (WOMD) for the interactive setting. We also investigate a more complex multi-agent setting for both WOMD and a larger internal dataset, where our approach improves significantly on the trajectory overlap metrics while obtaining on-par or better performance on single-agent trajectory metrics.

揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是，以前的作品主要考虑与有限的关系推理的静态，成对的相互作用。为了促进更全面的互动建模和关系推理，我们提出了Dyngroupnet，这是一个动态群体感知的网络，i）可以在高度动态的场景中建模时间变化的交互； ii）捕获配对和小组互动； iii）理由互动强度和类别没有直接监督。基于Dyngroupnet，我们进一步设计了一个预测系统，以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型，多个抽样和预测细化，分别促进预测多样性，训练稳定性和轨迹平滑度。广泛的实验表明：1）dyngroupnet可以捕获随时间变化的群体行为，在轨迹预测过程中推断时间变化的交互类别和相互作用强度，而无需在物理模拟数据集上进行任何关系监督； 2）dyngroupnet优于最先进的轨迹预测方法，其显着改善22.6％/28.0％，26.9％/34.9％，5.1％/13.0％的ADE/FDE在NBA，NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。

行为预测在集成自主驾驶软件解决方案中起着重要作用。在行为预测研究中，与单一代理行为预测相比，交互行为预测是一个较小的领域。预测互动剂的运动需要启动新的机制来捕获交互式对的关节行为。在这项工作中，我们将端到端的关节预测问题作为边际学习和车辆行为联合学习的顺序学习过程。我们提出了ProspectNet，这是一个采用加权注意分数的联合学习块，以模拟交互式剂对之间的相互影响。联合学习块首先权衡多模式预测的候选轨迹，然后通过交叉注意更新自我代理的嵌入。此外，我们将每个交互式代理的个人未来预测播放到一个智慧评分模块中，以选择顶部的$ K $预测对。我们表明，ProspectNet优于两个边际预测的笛卡尔产品，并在Waymo交互式运动预测基准上实现了可比的性能。

多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder（VAE）已广泛应用于多代理交互建模以产生各种行为，并学习用于交互系统的低维表示。然而，如果基于VAE的模型可以正确编码相互作用，现有文献没有正式讨论。在这项工作中，我们认为，多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题，即，在预测代理人的未来轨迹时，该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因，并提出了几项解决方案的措施。之后，我们在实际数据集上实施了拟议的框架和实验，用于多代理轨迹预测。特别是，我们提出了一种新颖的稀疏图表关注消息传递（稀疏垃圾）层，这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中，我们确认确实发生了社会后塌崩溃。此外，拟议的措施有助于减轻这个问题。结果，当历史社会上下文是信息性的预测信息时，该模型达到了更好的泛化性能。

轨迹预测和行为决策是自动驾驶汽车的两项重要任务，他们需要对环境环境有良好的了解；通过参考轨迹预测的输出，可以更好地做出行为决策。但是，大多数当前解决方案分别执行这两个任务。因此，提出了结合多个线索的联合神经网络，并将其命名为整体变压器，以预测轨迹并同时做出行为决策。为了更好地探索线索之间的内在关系，网络使用现有知识并采用三种注意力机制：稀疏的多头类型用于减少噪声影响，特征选择稀疏类型，可最佳地使用部分先验知识，并与Sigmoid多头激活类型，用于最佳使用后验知识。与其他轨迹预测模型相比，所提出的模型具有更好的综合性能和良好的解释性。感知噪声稳健性实验表明，所提出的模型具有良好的噪声稳健性。因此，结合多个提示的同时轨迹预测和行为决策可以降低计算成本并增强场景与代理之间的语义关系。

预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。

建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模，因为它们可以涉及各种类型的相互作用，以促进丰富的社会行为动态。在这里，我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意（IMMA）的相互作用建模，这是一种前向预测模型，该模型使用多重潜在图代表多种独立类型的相互作用，并注意对不同优势的关系。我们还介绍了渐进层培训，这是该体系结构的培训策略。我们表明，我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型，涵盖了三个多代理方案：社交导航，合作任务成就和团队运动。我们进一步证明，我们的方法可以改善零拍的概括，并使我们能够探究不同的相互作用如何影响代理行为。

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

交通参与者的运动预测对于安全和强大的自动化驾驶系统至关重要，特别是在杂乱的城市环境中。然而，由于复杂的道路拓扑以及其他代理的不确定意图，这是强大的挑战。在本文中，我们介绍了一种基于图形的轨迹预测网络，其命名为双级预测器（DSP），其以分层方式编码静态和动态驾驶环境。与基于光栅状地图或稀疏车道图的方法不同，我们将驾驶环境视为具有两层的图形，专注于几何和拓扑功能。图形神经网络（GNNS）应用于提取具有不同粒度级别的特征，随后通过基于关注的层间网络聚合，实现更好的本地全局特征融合。在最近的目标驱动的轨迹预测管道之后，提取了目标代理的高可能性的目标候选者，并在这些目标上产生预测的轨迹。由于提出的双尺度上下文融合网络，我们的DSP能够产生准确和人类的多模态轨迹。我们评估了大规模协会运动预测基准测试的提出方法，实现了有希望的结果，优于最近的最先进的方法。

预测动态场景中的行人轨迹仍然是各种应用中的关键问题，例如自主驾驶和社会意识的机器人。由于人类和人类对象的相互作用和人类随机性引起的未来不确定性，这种预测是挑战。基于生成式模型的方法通过采样潜在变量来处理未来的不确定性。然而，很少有研究探索了潜在变量的产生。在这项工作中，我们提出了具有伪Oracle（TPPO）的轨迹预测器，这是一种基于模型的基于模型的轨迹预测因子。第一个伪甲骨文是行人的移动方向，第二个是从地面真理轨迹估计的潜在变量。社会注意力模块用于基于行人移动方向与未来轨迹之间的相关性聚集邻居的交互。这种相关性受到行人的未来轨迹往往受到前方行人的影响。提出了一种潜在的变量预测器来估计观察和地面轨迹的潜在可变分布。此外，在训练期间，这两个分布之间的间隙最小化。因此，潜在的变量预测器可以估计观察到的轨迹的潜变量，以近似从地面真理轨迹估计。我们将TPPO与在几个公共数据集上的相关方法进行比较。结果表明，TPPO优于最先进的方法，具有低平均和最终位移误差。作为测试期间的采样时间下降，消融研究表明预测性能不会显着降低。

本文提出了一个新型的深度学习框架，用于多模式运动预测。该框架由三个部分组成：经常性神经网络，以处理目标代理的运动过程，卷积神经网络处理栅格化环境表示以及一种基于距离的注意机制，以处理不同代理之间的相互作用。我们在大规模的真实驾驶数据集，Waymo Open Motion数据集上验证了所提出的框架，并将其性能与标准测试基准上的其他方法进行比较。定性结果表明，我们的模型给出的预测轨迹是准确，多样的，并且根据道路结构。标准基准测试的定量结果表明，我们的模型在预测准确性和其他评估指标方面优于其他基线方法。拟议的框架是2021 Waymo Open DataSet运动预测挑战的第二名。

在高度互动的场景中进行运动预测是自主驾驶中的一个挑战性问题。在这种情况下，我们需要准确预测相互作用的代理的共同行为，以确保自动驾驶汽车的安全有效导航。最近，由于其在性能方面的优势和捕获轨迹分布中多模态的能力，目标条件方法引起了人们的关注。在这项工作中，我们研究了目标条件框架的联合轨迹预测问题。特别是，我们引入了一个有条件的基于AutoEncoder（CVAE）模型，以将不同的相互作用模式明确地编码到潜在空间中。但是，我们发现香草模型遭受后塌陷，无法根据需要诱导信息的潜在空间。为了解决这些问题，我们提出了一种新颖的方法，以避免KL消失并诱导具有伪标签的可解释的互动潜在空间。提出的伪标签使我们能够以灵活的方式将域知识纳入有关相互作用的知识。我们使用说明性玩具示例激励提出的方法。此外，我们通过定量和定性评估验证Waymo Open Motion数据集上的框架。

轨迹预测面临着困难，以捕获具有多样性和准确性的未来动力学的多模式性质。在本文中，我们提出了一种分布歧视（DISDIS）方法，可以通过区分潜在分布来预测个性化运动模式。由于每个人的习惯，每个人的运动模式都被个性化，我们的disdis学会了潜在分布来代表不同的运动模式，并通过对比度歧视来优化它。这种分布歧视鼓励潜在分布更具歧视性。我们的方法可以与现有的多模式随机预测模型集成为插件模块，以了解更具歧视性的潜在分布。为了评估潜在分布，我们进一步提出了一个新的度量标准，概率累积最小距离（PCMD）曲线，该曲线累计计算了分类概率的最小距离。对ETH和UCY数据集的实验结果显示了我们方法的有效性。

We introduce a Deep Stochastic IOC 1 RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

从社交机器人到自动驾驶汽车，多种代理的运动预测（MP）是任意复杂环境中的至关重要任务。当前方法使用端到端网络解决了此问题，其中输入数据通常是场景的最高视图和所有代理的过去轨迹；利用此信息是获得最佳性能的必不可少的。从这个意义上讲，可靠的自动驾驶（AD）系统必须按时产生合理的预测，但是，尽管其中许多方法使用了简单的Convnets和LSTM，但在使用两个信息源时，模型对于实时应用程序可能不够有效（地图和轨迹历史）。此外，这些模型的性能在很大程度上取决于训练数据的数量，这可能很昂贵（尤其是带注释的HD地图）。在这项工作中，我们探讨了如何使用有效的基于注意力的模型在Argoverse 1.0基准上实现竞争性能，该模型将其作为最小地图信息的过去轨迹和基于地图的功能的输入，以确保有效且可靠的MP。这些功能代表可解释的信息作为可驱动区域和合理的目标点，与基于黑框CNN的地图处理方法相反。

自主驾驶的运动预测领域的先前艺术倾向于寻找接近地面真理轨迹的轨迹。但是，这种问题的表述和方法经常导致多样性和偏见轨迹预测的丧失。因此，它们不适合现实世界的自主驾驶，在这种驾驶中，多样化和依赖道路的多模式轨迹预测对安全至关重要。为此，本研究提出了一种新颖的损失函数\ textit {lane损失}，可确保地图自适应多样性并适应几何约束。对带有新型轨迹候选建议模块的两阶段轨迹预测架构，\ textit {轨迹预测注意（TPA）}经过训练，通过车道损失训练，鼓励多个轨迹分布多样，以涵盖可行的方式以图像意识的方式涵盖可行的操作。此外，考虑到现有的轨迹性能指标正在重点是基于地面真理未来轨迹评估准确性，因此还建议定量评估指标来评估预测的多个轨迹的多样性。在Argoverse数据集上进行的实验表明，所提出的方法显着提高了预测轨迹的多样性，而无需牺牲预测准确性。