尽管加强学习进展（RL）进展，但自主驾驶（广告）的开发算法仍然具有挑战性：缺乏能够培训的开源平台和有效地验证RL政策的关键问题之一。我们提出了一个用于开发自动驾驶的RL算法的开源Openai健身房兼容环境，用于开发RL算法。DriverGym提供访问超过1000小时的专家记录数据，并支持反应和数据驱动的代理行为。使用我们广泛灵活的闭环评估协议，可以在真实数据上轻松验证RL策略的性能。在这项工作中，我们还提供了使用监督学习和RL的行为克隆基线，驾驶员培训。我们制作驱动程序代码，以及公开的所有基线，以进一步刺激社区的发展。

强化学习（RL）已证明可以在各种任务中达到超级人类水平的表现。但是，与受监督的机器学习不同，将其推广到各种情况的学习策略仍然是现实世界中最具挑战性的问题之一。自主驾驶（AD）提供了一个多方面的实验领域，因为有必要在许多变化的道路布局和可能的交通情况大量分布中学习正确的行为，包括个人驾驶员个性和难以预测的交通事件。在本文中，我们根据可配置，灵活和性能的代码库为AD提出了一个具有挑战性的基准。我们的基准测试使用了随机场景生成器的目录，包括用于道路布局和交通变化的多种机制，不同的数值和视觉观察类型，不同的动作空间，不同的车辆模型，并允许在静态场景定义下使用。除了纯粹的算法见解外，我们面向应用程序的基准还可以更好地理解设计决策的影响，例如行动和观察空间对政策的普遍性。我们的基准旨在鼓励研究人员提出能够在各种情况下成功概括的解决方案，这是当前RL方法失败的任务。基准的代码可在https://github.com/seawee1/driver-dojo上获得。

High-quality traffic flow generation is the core module in building simulators for autonomous driving. However, the majority of available simulators are incapable of replicating traffic patterns that accurately reflect the various features of real-world data while also simulating human-like reactive responses to the tested autopilot driving strategies. Taking one step forward to addressing such a problem, we propose Realistic Interactive TrAffic flow (RITA) as an integrated component of existing driving simulators to provide high-quality traffic flow for the evaluation and optimization of the tested driving strategies. RITA is developed with fidelity, diversity, and controllability in consideration, and consists of two core modules called RITABackend and RITAKit. RITABackend is built to support vehicle-wise control and provide traffic generation models from real-world datasets, while RITAKit is developed with easy-to-use interfaces for controllable traffic generation via RITABackend. We demonstrate RITA's capacity to create diversified and high-fidelity traffic simulations in several highly interactive highway scenarios. The experimental findings demonstrate that our produced RITA traffic flows meet all three design goals, hence enhancing the completeness of driving strategy evaluation. Moreover, we showcase the possibility for further improvement of baseline strategies through online fine-tuning with RITA traffic flows.

对自动驾驶车辆性能的定量评估，交通模拟引起了很多兴趣。为了使模拟器成为有价值的测试工作台，要求对现场每个交通代理的驾驶策略动画，就像人类在保持最小安全保证的同时一样。从记录的人类驾驶数据或通过强化学习中学习交通代理的驾驶政策似乎是在不受控制的交叉路口或回旋处中产生现实且高度互动的交通状况的有吸引力的解决方案。在这项工作中，我们表明，在学习驾驶政策时模仿人类驾驶与保持安全性之间存在权衡。我们通过比较应用于驾驶任务时的各种模仿学习和强化学习算法的性能来做到这一点。我们还提出了一种多物镜学习算法（MOPPO），可以共同提高两个目标。我们在从交互数据集中提取的高度互动驾驶方案上测试驾驶政策，以评估它们的表现如何。

对于自动驾驶汽车而言，遍历交叉点是一个具有挑战性的问题，尤其是当交叉路口没有交通控制时。最近，由于其成功处理自动驾驶任务，深厚的强化学习受到了广泛的关注。在这项工作中，我们解决了使用新颖的课程进行深入增强学习的问题的问题。拟议的课程导致：1）与未经课程训练的代理人相比，增强剂学习代理的更快的训练过程和2）表现更好。我们的主要贡献是两个方面：1）提供一个独特的课程，用于训练深入的强化学习者，2）显示了所提出的课程在未信号的交叉遍历任务中的应用。该框架期望自动驾驶汽车的感知系统对周围环境进行了处理。我们在Comonroad运动计划模拟器中测试我们的TTTERTIONS和四向交集的方法。

安全驾驶需要人类和智能代理的多种功能，例如无法看到环境的普遍性，对周围交通的安全意识以及复杂的多代理设置中的决策。尽管强化学习取得了巨大的成功（RL），但由于缺乏集成的环境，大多数RL研究工作分别研究了每个能力。在这项工作中，我们开发了一个名为MetAdrive的新驾驶模拟平台，以支持对机器自治的可概括增强学习算法的研究。 Metadrive具有高度的组成性，可以从程序生成和实际数据导入的实际数据中产生无限数量的不同驾驶场景。基于Metadrive，我们在单一代理和多代理设置中构建了各种RL任务和基线，包括在看不见的场景，安全探索和学习多机构流量的情况下进行基准标记。对程序生成的场景和现实世界情景进行的概括实验表明，增加训练集的多样性和大小会导致RL代理的推广性提高。我们进一步评估了元数据环境中各种安全的增强学习和多代理增强学习算法，并提供基准。源代码，文档和演示视频可在\ url {https://metadriverse.github.io/metadrive}上获得。

我们介绍了\ textit {nocturne}，这是一种新的2D驾驶模拟器，用于调查部分可观察性下的多代理协调。夜曲的重点是在不具有计算机视觉的计算开销并从图像中提取特征的情况下，在现实世界中的推理和心理理论方面进行研究。该模拟器中的代理只会观察到场景的障碍，模仿人类的视觉传感限制。 Unlike existing benchmarks that are bottlenecked by rendering human-like observations directly using a camera input, Nocturne uses efficient intersection methods to compute a vectorized set of visible features in a C++ back-end, allowing the simulator to run at $2000+$ steps-per -第二。使用开源轨迹和映射数据，我们构建了一个模拟器，以加载和重播来自现实世界驾驶数据的任意轨迹和场景。使用这种环境，我们基准了加强学习和模仿学习剂，并证明这些代理远离人类水平的协调能力，并显着偏离专家轨迹。

数据驱动的模拟器承诺高数据效率进行驾驶策略学习。当用于建模相互作用时，这种数据效率变为瓶颈：小型基础数据集通常缺乏用于学习交互式驾驶的有趣和具有挑战性的边缘案例。我们通过提出使用绘制的ADO车辆学习强大的驾驶策略的仿真方法来解决这一挑战。因此，我们的方法可用于学习涉及多代理交互的策略，并允许通过最先进的策略学习方法进行培训。我们评估了驾驶中学习标准交互情景的方法。在广泛的实验中，我们的工作表明，由此产生的政策可以直接转移到全规模的自治车辆，而无需使用任何传统的SIM-to-Real传输技术，例如域随机化。

仿真是对机器人系统（例如自动驾驶汽车）进行扩展验证和验证的关键。尽管高保真物理和传感器模拟取得了进步，但在模拟道路使用者的现实行为方面仍然存在一个危险的差距。这是因为，与模拟物理和图形不同，设计人类行为的第一个原理模型通常是不可行的。在这项工作中，我们采用了一种数据驱动的方法，并提出了一种可以学会从现实世界驱动日志中产生流量行为的方法。该方法通过将交通仿真问题分解为高级意图推理和低级驾驶行为模仿，通过利用驾驶行为的双层层次结构来实现高样本效率和行为多样性。该方法还结合了一个计划模块，以获得稳定的长马行为。我们从经验上验证了我们的方法，即交通模拟（位）的双层模仿，并具有来自两个大规模驾驶数据集的场景，并表明位表明，在现实主义，多样性和长途稳定性方面可以达到平衡的交通模拟性能。我们还探索了评估行为现实主义的方法，并引入了一套评估指标以进行交通模拟。最后，作为我们的核心贡献的一部分，我们开发和开源一个软件工具，该工具将跨不同驱动数据集的数据格式统一，并将现有数据集将场景转换为交互式仿真环境。有关其他信息和视频，请参见https://sites.google.com/view/nvr-bits2022/home

Imitation learning (IL) is a simple and powerful way to use high-quality human driving data, which can be collected at scale, to identify driving preferences and produce human-like behavior. However, policies based on imitation learning alone often fail to sufficiently account for safety and reliability concerns. In this paper, we show how imitation learning combined with reinforcement learning using simple rewards can substantially improve the safety and reliability of driving policies over those learned from imitation alone. In particular, we use a combination of imitation and reinforcement learning to train a policy on over 100k miles of urban driving data, and measure its effectiveness in test scenarios grouped by different levels of collision risk. To our knowledge, this is the first application of a combined imitation and reinforcement learning approach in autonomous driving that utilizes large amounts of real-world human driving data.

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

Designing a safe and human-like decision-making system for an autonomous vehicle is a challenging task. Generative imitation learning is one possible approach for automating policy-building by leveraging both real-world and simulated decisions. Previous work that applies generative imitation learning to autonomous driving policies focuses on learning a low-level controller for simple settings. However, to scale to complex settings, many autonomous driving systems combine fixed, safe, optimization-based low-level controllers with high-level decision-making logic that selects the appropriate task and associated controller. In this paper, we attempt to bridge this gap in complexity by employing Safety-Aware Hierarchical Adversarial Imitation Learning (SHAIL), a method for learning a high-level policy that selects from a set of low-level controller instances in a way that imitates low-level driving data on-policy. We introduce an urban roundabout simulator that controls non-ego vehicles using real data from the Interaction dataset. We then demonstrate empirically that even with simple controller options, our approach can produce better behavior than previous approaches in driver imitation that have difficulty scaling to complex environments. Our implementation is available at https://github.com/sisl/InteractionImitation.

模拟在有效评估自动驾驶汽车方面发挥了重要作用。现有方法主要依赖于基于启发式的模拟，在该模拟中，交通参与者遵循某些无法产生复杂人类行为的人类编码的规则。因此，提出了反应性仿真概念，以通过利用现实世界数据来弥合模拟和现实世界交通情况之间的人类行为差距。但是，这些反应性模型可以在模拟几个步骤后轻松地产生不合理的行为，我们将模型视为失去其稳定性。据我们所知，没有任何工作明确讨论并分析了反应性仿真框架的稳定性。在本文中，我们旨在对反应性模拟进行彻底的稳定性分析，并提出一种增强稳定性的解决方案。具体而言，我们首先提出了一个新的反应模拟框架，在其中我们发现模拟状态序列的平滑度和一致性是稳定性的关键因素。然后，我们将运动学媒介物模型纳入框架中，以提高反应性模拟的闭环稳定性。此外，在本文中提出了一些新颖的指标，以更好地分析模拟性能。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

如最近的研究所示，支持机器智能的系统容易受到对抗性操纵或自然分配变化产生的测试案例的影响。这引起了人们对现实应用程序部署机器学习算法的极大关注，尤其是在自动驾驶（AD）等安全性领域中。另一方面，由于自然主义场景的传统广告测试需要数亿英里，这是由于现实世界中安全关键方案的高度和稀有性。结果，已经探索了几种自动驾驶评估方法，但是，这些方法通常是基于不同的仿真平台，安全性 - 关键的情况的类型，场景生成算法和驾驶路线变化的方法。因此，尽管在自动驾驶测试方面进行了大量努力，但在相似条件下，比较和了解不同测试场景产生算法和测试机制的有效性和效率仍然是一项挑战。在本文中，我们旨在提供第一个统一的平台Safebench，以整合不同类型的安全性测试方案，场景生成算法以及其他变体，例如驾驶路线和环境。同时，我们实施了4种基于深入学习的AD算法，具有4种类型的输入（例如，鸟类视图，相机，相机），以对SafeBench进行公平的比较。我们发现，我们的生成的测试场景确实更具挑战性，并观察到在良性和关键安全测试方案下的广告代理的性能之间的权衡。我们认为，我们的统一平台安全基地用于大规模和有效的自动驾驶测试，将激发新的测试场景生成和安全AD算法的开发。 SafeBench可从https://safebench.github.io获得。

The goal of autonomous vehicles is to navigate public roads safely and comfortably. To enforce safety, traditional planning approaches rely on handcrafted rules to generate trajectories. Machine learning-based systems, on the other hand, scale with data and are able to learn more complex behaviors. However, they often ignore that agents and self-driving vehicle trajectory distributions can be leveraged to improve safety. In this paper, we propose modeling a distribution over multiple future trajectories for both the self-driving vehicle and other road agents, using a unified neural network architecture for prediction and planning. During inference, we select the planning trajectory that minimizes a cost taking into account safety and the predicted probabilities. Our approach does not depend on any rule-based planners for trajectory generation or optimization, improves with more training data and is simple to implement. We extensively evaluate our method through a realistic simulator and show that the predicted trajectory distribution corresponds to different driving profiles. We also successfully deploy it on a self-driving vehicle on urban public roads, confirming that it drives safely without compromising comfort. The code for training and testing our model on a public prediction dataset and the video of the road test are available at https://woven.mobi/safepathnet

Autonomous vehicle (AV) stacks are typically built in a modular fashion, with explicit components performing detection, tracking, prediction, planning, control, etc. While modularity improves reusability, interpretability, and generalizability, it also suffers from compounding errors, information bottlenecks, and integration challenges. To overcome these challenges, a prominent approach is to convert the AV stack into an end-to-end neural network and train it with data. While such approaches have achieved impressive results, they typically lack interpretability and reusability, and they eschew principled analytical components, such as planning and control, in favor of deep neural networks. To enable the joint optimization of AV stacks while retaining modularity, we present DiffStack, a differentiable and modular stack for prediction, planning, and control. Crucially, our model-based planning and control algorithms leverage recent advancements in differentiable optimization to produce gradients, enabling optimization of upstream components, such as prediction, via backpropagation through planning and control. Our results on the nuScenes dataset indicate that end-to-end training with DiffStack yields substantial improvements in open-loop and closed-loop planning metrics by, e.g., learning to make fewer prediction errors that would affect planning. Beyond these immediate benefits, DiffStack opens up new opportunities for fully data-driven yet modular and interpretable AV architectures. Project website: https://sites.google.com/view/diffstack

人类行为的不确定性对拥挤的城市环境中的自动驾驶构成了重大挑战。部分可观察到的马尔可夫决策过程（POMDP）为不确定性下的计划提供了一个原则的框架，通常利用蒙特卡洛抽样来实现在线绩效进行复杂的任务。但是，抽样还通过潜在缺失关键事件引起了安全问题。为了解决这个问题，我们提出了一种新的算法，学习对驾驶行为（领导者）的关注，这些算法在计划过程中学习了批判性人类行为。领导者学习了一个神经网络生成器，以实时情况下对人类行为的关注。它将注意力集成到信仰空间计划者中，使用重要性抽样来偏向关键事件。为了训练该算法，我们让注意力生成器和计划者组成了最小游戏。通过解决Min-Max游戏，领导者学会了无需人类标签即可执行风险意识的计划。

在自主驾驶场中，人类知识融合到深增强学习（DRL）通常基于在模拟环境中记录的人类示范。这限制了在现实世界交通中的概率和可行性。我们提出了一种两级DRL方法，从真实的人类驾驶中学习，实现优于纯DRL代理的性能。培训DRL代理商是在Carla的框架内完成了机器人操作系统（ROS）。对于评估，我们设计了不同的真实驾驶场景，可以将提出的两级DRL代理与纯DRL代理进行比较。在从人驾驶员中提取“良好”行为之后，例如在信号交叉口中的预期，该代理变得更有效，并且驱动更安全，这使得这种自主代理更适应人体机器人交互（HRI）流量。

在这项工作中，我们提出了世界上第一个基于闭环ML的自动驾驶计划基准。虽然存在基于ML的ML的越来越多的ML的议员，但缺乏已建立的数据集和指标限制了该领域的进展。自主车辆运动预测的现有基准专注于短期运动预测，而不是长期规划。这导致了以前的作品来使用基于L2的度量标准的开放循环评估，这不适合公平地评估长期规划。我们的基准通过引入大规模驾驶数据集，轻量级闭环模拟器和特定于运动规划的指标来克服这些限制。我们提供高质量的数据集，在美国和亚洲的4个城市提供1500h的人类驾驶数据，具有广泛不同的交通模式（波士顿，匹兹堡，拉斯维加斯和新加坡）。我们将提供具有无功代理的闭环仿真框架，并提供一系列一般和方案特定的规划指标。我们计划在Neurips 2021上发布数据集，并在2022年初开始组织基准挑战。