在www.aicrowd.com平台上托管的学习竞赛自主赛车虚拟挑战由两个曲目组成：单摄像头和多相机。我们的Uniteam团队是单个相机轨道中的最终获胜者之一。该代理必须在最短时间内通过以前未知的F1风格轨道，而越野驾驶量最少。在我们的方法中，我们将U-NET体系结构用于道路细分，各种自动编码器编码道路二进制面具以及最近的邻居搜索策略，该策略选择给定状态的最佳动作。我们的经纪人在第1阶段（已知赛道）的平均速度为105 km/h，在第2阶段（未知轨道）上达到了73 km/h，而没有任何越野驾驶。在这里，我们提出解决方案和结果。代码实施可在此处提供：https：//gitlab.aicrowd.com/shivansh beohar/l2r

学习剂的实际应用需要样本有效且可解释的算法。向行为先验学习是一种有前途的方法，可以使工具探索政策更好或对早期学习的陷阱进行安全保护。现有的模仿学习解决方案需要大量的专家演示，并依靠难以解释的学习方法，例如深Q学习。在这项工作中，我们提出了一种基于计划的方法，该方法可以在强化学习环境中使用这些行为先验进行有效的探索和学习，我们证明以行为先验的形式进行了精心挑战的探索政策可以帮助代理商更快地学习。

当任何安全违规可能导致灾难性失败时，赛车要求每个车辆都能在其物质范围内驾驶。在这项工作中，我们研究了自主赛车的安全强化学习（RL）的问题，使用车辆的自我摄像机视图和速度作为输入。鉴于任务的性质，自主代理需要能够1）识别并避免复杂的车辆动态下的不安全场景，而2）在快速变化的环境中使子第二决定。为了满足这些标准，我们建议纳入汉密尔顿 - 雅各（HJ）可达性理论，是一般非线性系统的安全验证方法，进入受约束的马尔可夫决策过程（CMDP）框架。 HJ可达性不仅提供了一种了解安全的控制理论方法，还可以实现低延迟安全验证。尽管HJ可达性传统上不可扩展到高维系统，但我们证明了具有神经逼近的，可以直接在视觉上下文中学习HJ安全值 - 迄今为止通过该方法研究的最高尺寸问题。我们在最近发布的高保真自主赛车环境中评估了我们在几个基准任务中的方法，包括安全健身房和学习（L2R）。与安全健身房的其他受约束的RL基线相比，我们的方法非常少的限制性违规，并在L2R基准任务上实现了新的最先进结果。我们在以下匿名纸质网站提供额外可视化代理行为：https://sites.google.com/view/safeautomouracing/home

本文探讨了强化学习（RL）模型用于自动赛车的使用。与安全车是头等大事的乘用车相反，赛车的目的是最大程度地减少单圈时间。我们将问题视为一项强化学习任务，其中包括由车辆遥测组成的多维输入和连续的动作空间。为了找出哪种RL方法更好地解决了问题，以及获得的模型是否推广到未知轨道上，我们将10种深层确定性策略梯度（DDPG）变体进行了两个实验：i）〜研究RL方法如何学习驱动驱动赛车和ii）研究学习方案如何影响模型的推广能力。我们的研究表明，接受RL训练的模型不仅能够比基线开源手工机器人更快地驾驶，而且还可以推广到未知轨道。

在自主驾驶场中，人类知识融合到深增强学习（DRL）通常基于在模拟环境中记录的人类示范。这限制了在现实世界交通中的概率和可行性。我们提出了一种两级DRL方法，从真实的人类驾驶中学习，实现优于纯DRL代理的性能。培训DRL代理商是在Carla的框架内完成了机器人操作系统（ROS）。对于评估，我们设计了不同的真实驾驶场景，可以将提出的两级DRL代理与纯DRL代理进行比较。在从人驾驶员中提取“良好”行为之后，例如在信号交叉口中的预期，该代理变得更有效，并且驱动更安全，这使得这种自主代理更适应人体机器人交互（HRI）流量。

深度强化学习（DRL）是一种仅从演示和经验中学习机器人控制政策的有前途的方法。为了涵盖机器人的整个动态行为，DRL训练是通常在仿真环境中得出的主动探索过程。尽管这种模拟培训廉价且快速，但将DRL算法应用于现实世界的设置很困难。如果对代理进行训练直到它们在模拟中安全执行，则由于模拟动力学和物理机器人之间的差异引起的SIM到真实差距，将其传输到物理系统很困难。在本文中，我们提出了一种在线培训DRL代理的方法，可以使用基于模型的安全主管在实体车辆上自动驾驶。我们的解决方案使用监督系统检查代理选择的操作是安全还是不安全，并确保在车辆上始终采取安全措施。这样，我们可以在安全，快速，有效地训练DRL算法的同时绕过SIM到现实的问题。我们提供各种现实世界实验，在线培训一辆小型实体车辆，可以自动驾驶，没有事先模拟培训。评估结果表明，我们的方法在未崩溃的同时提高了样品效率的训练代理，并且受过训练的代理比在模拟中训练的代理表现出更好的驾驶性能。

在动态，多助手和复杂的城市环境中驾驶是一个需要复杂的决策政策的艰巨任务。这种策略的学习需要可以编码整个环境的状态表示。作为图像编码车辆环境的中级表示已成为一种受欢迎的选择。仍然，它们是非常高的，限制了他们在诸如加固学习等数据饥饿的方法的使用。在本文中，我们建议通过利用相关语义因素的知识来学习环境的低维度和丰富的潜在表示。为此，我们训练编码器解码器深神经网络，以预测多种应用相关因素，例如其他代理和自助车的轨迹。此外，我们提出了一种基于其他车辆的未来轨迹的危险信号和计划的路由，这些路线与学习的潜在表示作为输入到下游策略的输入。我们演示了使用多头编码器解码器神经网络导致比标准单头模型更具信息的表示。特别是，所提出的代表学习和危险信号有助于加强学习以更快地学习，而性能提高，数据比基线方法更快。

由于交通环境的复杂性和波动性，自主驾驶中的决策是一个显着难的问题。在这个项目中，我们使用深度Q-network，以及基于规则的限制来使车道变化的决定。可以通过将高级横向决策与基于低级规则的轨迹监视相结合来获得安全高效的车道改变行为。预计该代理商在培训中，在实际的UDAcity模拟器中进行了适当的车道更换操作，总共100次发作。结果表明，基于规则的DQN比DQN方法更好地执行。基于规则的DQN达到0.8的安全速率和47英里/小时的平均速度

在未来几年和几十年中，自动驾驶汽车（AV）将变得越来越普遍，为更安全，更方便的旅行提供了新的机会，并可能利用自动化和连接性的更智能的交通控制方法。跟随汽车是自动驾驶中的主要功能。近年来，基于强化学习的汽车已受到关注，目的是学习和达到与人类相当的绩效水平。但是，大多数现有的RL方法将汽车模拟为单方面问题，仅感知前方的车辆。然而，最近的文献，王和霍恩[16]表明，遵循的双边汽车考虑了前方的车辆，而后面的车辆表现出更好的系统稳定性。在本文中，我们假设可以使用RL学习这款双边汽车，同时学习其他目标，例如效率最大化，混蛋最小化和安全奖励，从而导致学识渊博的模型超过了人类驾驶。我们通过将双边信息集成到基于双边控制模型（BCM）的CAR遵循控制的状态和奖励功能的情况下，提出并引入了遵循控制遵循的汽车的深钢筋学习（DRL）框架。此外，我们使用分散的多代理增强学习框架来为每个代理生成相​​应的控制动作。我们的仿真结果表明，我们学到的政策比（a）汽车间的前进方向，（b）平均速度，（c）混蛋，（d）碰撞时间（TTC）和（e）的速度更好。字符串稳定性。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

End-to-end autonomous driving provides a feasible way to automatically maximize overall driving system performance by directly mapping the raw pixels from a front-facing camera to control signals. Recent advanced methods construct a latent world model to map the high dimensional observations into compact latent space. However, the latent states embedded by the world model proposed in previous works may contain a large amount of task-irrelevant information, resulting in low sampling efficiency and poor robustness to input perturbations. Meanwhile, the training data distribution is usually unbalanced, and the learned policy is hard to cope with the corner cases during the driving process. To solve the above challenges, we present a semantic masked recurrent world model (SEM2), which introduces a latent filter to extract key task-relevant features and reconstruct a semantic mask via the filtered features, and is trained with a multi-source data sampler, which aggregates common data and multiple corner case data in a single batch, to balance the data distribution. Extensive experiments on CARLA show that our method outperforms the state-of-the-art approaches in terms of sample efficiency and robustness to input permutations.

许多现实世界的应用程序都可以作为多机构合作问题进行配置，例如网络数据包路由和自动驾驶汽车的协调。深入增强学习（DRL）的出现为通过代理和环境的相互作用提供了一种有前途的多代理合作方法。但是，在政策搜索过程中，传统的DRL解决方案遭受了多个代理具有连续动作空间的高维度。此外，代理商政策的动态性使训练非平稳。为了解决这些问题，我们建议采用高级决策和低水平的个人控制，以进行有效的政策搜索，提出一种分层增强学习方法。特别是，可以在高级离散的动作空间中有效地学习多个代理的合作。同时，低水平的个人控制可以减少为单格强化学习。除了分层增强学习外，我们还建议对手建模网络在学习过程中对其他代理的政策进行建模。与端到端的DRL方法相反，我们的方法通过以层次结构将整体任务分解为子任务来降低学习的复杂性。为了评估我们的方法的效率，我们在合作车道变更方案中进行了现实世界中的案例研究。模拟和现实世界实验都表明我们的方法在碰撞速度和收敛速度中的优越性。

安全驾驶需要人类和智能代理的多种功能，例如无法看到环境的普遍性，对周围交通的安全意识以及复杂的多代理设置中的决策。尽管强化学习取得了巨大的成功（RL），但由于缺乏集成的环境，大多数RL研究工作分别研究了每个能力。在这项工作中，我们开发了一个名为MetAdrive的新驾驶模拟平台，以支持对机器自治的可概括增强学习算法的研究。 Metadrive具有高度的组成性，可以从程序生成和实际数据导入的实际数据中产生无限数量的不同驾驶场景。基于Metadrive，我们在单一代理和多代理设置中构建了各种RL任务和基线，包括在看不见的场景，安全探索和学习多机构流量的情况下进行基准标记。对程序生成的场景和现实世界情景进行的概括实验表明，增加训练集的多样性和大小会导致RL代理的推广性提高。我们进一步评估了元数据环境中各种安全的增强学习和多代理增强学习算法，并提供基准。源代码，文档和演示视频可在\ url {https://metadriverse.github.io/metadrive}上获得。

在包装交付，交通监控，搜索和救援操作以及军事战斗订婚等不同应用中，对使用无人驾驶汽车（UAV）（无人机）的需求越来越不断增加。在所有这些应用程序中，无人机用于自动导航环境 - 没有人类互动，执行特定任务并避免障碍。自主无人机导航通常是使用强化学习（RL）来完成的，在该学习中，代理在域中充当专家在避免障碍的同时导航环境。了解导航环境和算法限制在选择适当的RL算法以有效解决导航问题方面起着至关重要的作用。因此，本研究首先确定了无人机导航任务，并讨论导航框架和仿真软件。接下来，根据环境，算法特征，能力和不同无人机导航问题的应用程序对RL算法进行分类和讨论，这将帮助从业人员和研究人员为其无人机导航使用情况选择适当的RL算法。此外，确定的差距和机会将推动无人机导航研究。

由于交通的固有复杂性和不确定性，自主驾驶决策是一项具有挑战性的任务。例如，相邻的车辆可能随时改变其车道或超越，以通过慢速车辆或帮助交通流量。预期周围车辆的意图，估算其未来状态并将其整合到自动化车辆的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习（PDRL）决策模型，该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的，并通过模拟平台在各种交通条件下进行了测试。结果表明，与深入的增强学习（DRL）模型相比，提出的PDRL模型通过减少碰撞数量来改善决策绩效，从而导致更安全的驾驶。

自主驾驶有可能彻底改变流动性，因此是一个积极的研究领域。实际上，自动驾驶汽车的行为必须是可以接受的，即高效，安全和可解释的。尽管香草钢筋学习（RL）找到了表现的行为策略，但它们通常是不安全且无法解释的。安全性是通过安全的RL方法引入的，但是它们仍然无法解释，因为学习的行为在没有分别进行建模的情况下共同优化了安全性和性能。可解释的机器学习很少应用于RL。本文提出了SAFEDQN，它允许在仍然有效的同时使自动驾驶汽车的行为安全可解释。 SAFEDQN在算法上透明的同时，在预期风险和效用的效用之间提供了可以理解的语义权衡。我们表明，SAFEDQN为各种场景找到了可解释且安全的驾驶政策，并展示了最先进的显着性技术如何帮助评估风险和实用性。

Reinforcement learning (RL) is a promising solution for autonomous vehicles to deal with complex and uncertain traffic environments. The RL training process is however expensive, unsafe, and time consuming. Algorithms are often developed first in simulation and then transferred to the real world, leading to a common sim2real challenge that performance decreases when the domain changes. In this paper, we propose a transfer learning process to minimize the gap by exploiting digital twin technology, relying on a systematic and simultaneous combination of virtual and real world data coming from vehicle dynamics and traffic scenarios. The model and testing environment are evolved from model, hardware to vehicle in the loop and proving ground testing stages, similar to standard development cycle in automotive industry. In particular, we also integrate other transfer learning techniques such as domain randomization and adaptation in each stage. The simulation and real data are gradually incorporated to accelerate and make the transfer learning process more robust. The proposed RL methodology is applied to develop a path following steering controller for an autonomous electric vehicle. After learning and deploying the real-time RL control policy on the vehicle, we obtained satisfactory and safe control performance already from the first deployment, demonstrating the advantages of the proposed digital twin based learning process.

在典型的自主驾驶堆栈中，计划和控制系统代表了两个最关键的组件，其中传感器检索并通过感知算法处理的数据用于实施安全舒适的自动驾驶行为。特别是，计划模块可以预测自动驾驶汽车应遵循正确的高级操作的路径，而控制系统则执行一系列低级动作，控制转向角度，油门和制动器。在这项工作中，我们提出了一个无模型的深钢筋学习计划者培训一个可以预测加速度和转向角度的神经网络，从而获得了一个单个模块，可以使用自我自我的本地化和感知算法处理的数据来驱动车辆-驾车。特别是，在模拟中进行了全面训练的系统能够在模拟和帕尔马市现实世界中的无障碍环境中平稳驱动，证明该系统具有良好的概括能力，也可以驱动驱动在培训方案之外的那些部分。此外，为了将系统部署在真正的自动驾驶汽车上，并减少模拟和现实世界中的差距，我们还开发了一个由微小的神经网络表示的模块，能够在期间重现真正的车辆动态行为模拟的培训。

本文提出了一种新颖的方法，该方法支持自然语言语音说明，以指导训练自动驾驶汽车时进行深度强化学习（DRL）算法。DRL方法是自动驾驶汽车（AV）代理的流行方法。但是，大多数现有的方法都是样本和时间的，并且缺乏与人类专家的自然通信渠道。在本文中，新的人类驾驶员如何从人类教练那里学习，激励我们研究人类在循环学习的新方法，并为代理商学习更自然和平易近人的培训界面。我们建议将自然语言语音说明（NLI）纳入基于模型的深度强化学习以训练自动驾驶汽车。我们与Carla模拟器中的一些最先进的DRL方法一起评估了所提出的方法。结果表明，NLI可以帮助缓解训练过程，并大大提高代理商的学习速度。

使用强化学习解决复杂的问题必须将问题分解为可管理的任务，无论是明确或隐式的任务，并学习解决这些任务的政策。反过来，这些政策必须由采取高级决策的总体政策来控制。这需要培训算法在学习这些政策时考虑这种等级决策结构。但是，实践中的培训可能会导致泛化不良，要么在很少的时间步骤执行动作，要么将其全部转变为单个政策。在我们的工作中，我们介绍了一种替代方法来依次学习此类技能，而无需使用总体层次的政策。我们在环境的背景下提出了这种方法，在这种环境的背景下，学习代理目标的主要组成部分是尽可能长时间延长情节。我们将我们提出的方法称为顺序选择评论家。我们在我们开发的灵活的模拟3D导航环境中演示了我们在导航和基于目标任务的方法的实用性。我们还表明，我们的方法优于先前的方法，例如在我们的环境中，柔软的演员和软选择评论家，以及健身房自动驾驶汽车模拟器和Atari River RAID RAID环境。