应用强化学习来自动驾驶需要某些挑战，这主要是由于大规模的交通流动，这种挑战是动态变化的。为了应对此类挑战，有必要快速确定对周围车辆不断变化的意图的响应策略。因此，我们提出了一种新的政策优化方法，用于使用基于图的互动感知约束来安全驾驶。在此框架中，运动预测和控制模块是同时训练的，同时共享包含社会环境的潜在表示。此外，为了反映社交互动，我们以图形形式表达了代理的运动并过滤特征。这有助于保留相邻节点的时空位置。此外，我们创建反馈循环以有效地组合这两个模块。结果，这种方法鼓励博学的控制器免受动态风险的侵害，并在各种情况下使运动预测强大。在实验中，我们与城市驾驶模拟器Carla建立了一个包括各种情况的导航场景。该实验表明，与基线相比，导航策略和运动预测的两侧的最新性能。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

由于互动交通参与者的随机性质和道路结构的复杂性，城市自动驾驶的决策是具有挑战性的。尽管基于强化的学习（RL）决策计划有望处理城市驾驶方案，但它的样本效率低和适应性差。在本文中，我们提出了Scene-Rep Transformer，以通过更好的场景表示编码和顺序预测潜在蒸馏来提高RL决策能力。具体而言，构建了多阶段变压器（MST）编码器，不仅对自我车辆及其邻居之间的相互作用意识进行建模，而且对代理商及其候选路线之间的意图意识。具有自我监督学习目标的连续潜伏变压器（SLT）用于将未来的预测信息提炼成潜在的场景表示，以减少勘探空间并加快训练的速度。基于软演员批评的最终决策模块（SAC）将来自场景rep变压器的精制潜在场景表示输入，并输出驾驶动作。该框架在五个挑战性的模拟城市场景中得到了验证，其性能通过成功率，安全性和效率方面的数据效率和性能的大幅度提高来定量表现出来。定性结果表明，我们的框架能够提取邻居代理人的意图，以帮助做出决策并提供更多多元化的驾驶行为。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

在多机构动态交通情况下的自主驾驶具有挑战性：道路使用者的行为不确定，很难明确建模，并且自我车辆应与他们应用复杂的谈判技巧，例如屈服，合并和交付，以实现，以实现在各种环境中都有安全有效的驾驶。在这些复杂的动态场景中，传统的计划方法主要基于规则，并且通常会导致反应性甚至过于保守的行为。因此，他们需要乏味的人类努力来维持可行性。最近，基于深度学习的方法显示出令人鼓舞的结果，具有更好的概括能力，但手工工程的工作较少。但是，它们要么是通过有监督的模仿学习（IL）来实施的，该学习遭受了数据集偏见和分配不匹配问题，要么接受了深入强化学习（DRL）的培训，但专注于一种特定的交通情况。在这项工作中，我们建议DQ-GAT实现可扩展和主动的自主驾驶，在这些驾驶中，基于图形注意力的网络用于隐式建模相互作用，并采用了深层Q学习来以无聊的方式训练网络端到端的网络。 。在高保真驾驶模拟器中进行的广泛实验表明，我们的方法比以前的基于学习的方法和传统的基于规则的方法获得了更高的成功率，并且在可见和看不见的情况下都可以更好地摆脱安全性和效率。此外，轨迹数据集的定性结果表明，我们所学的政策可以通过实时速度转移到现实世界中。演示视频可在https://caipeide.github.io/dq-gat/上找到。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

人类行为的不确定性对拥挤的城市环境中的自动驾驶构成了重大挑战。部分可观察到的马尔可夫决策过程（POMDP）为不确定性下的计划提供了一个原则的框架，通常利用蒙特卡洛抽样来实现在线绩效进行复杂的任务。但是，抽样还通过潜在缺失关键事件引起了安全问题。为了解决这个问题，我们提出了一种新的算法，学习对驾驶行为（领导者）的关注，这些算法在计划过程中学习了批判性人类行为。领导者学习了一个神经网络生成器，以实时情况下对人类行为的关注。它将注意力集成到信仰空间计划者中，使用重要性抽样来偏向关键事件。为了训练该算法，我们让注意力生成器和计划者组成了最小游戏。通过解决Min-Max游戏，领导者学会了无需人类标签即可执行风险意识的计划。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

自动驾驶在过去二十年中吸引了重要的研究兴趣，因为它提供了许多潜在的好处，包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途，但车道变化仍然是自治车辆（AV）的巨大挑战，特别是在混合和动态的交通方案中。最近，强化学习（RL）是一种强大的数据驱动控制方法，已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而，这些研究的大多数研究专注于单车展，并且在多个AVS与人类驱动车辆（HDV）共存的情况下，道路变化已经受到稀缺的关注。在本文中，我们在混合交通公路环境中制定了多个AVS的车道改变决策，作为多功能增强学习（Marl）问题，其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地，使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络（MA2C）。特别是，提出了一种多目标奖励功能来纳入燃油效率，驾驶舒适度和自主驾驶的安全性。综合实验结果，在三种不同的交通密度和各级人类司机侵略性下进行，表明我们所提出的Marl框架在效率，安全和驾驶员舒适方面始终如一地优于几个最先进的基准。

研究表明，自治车辆（AVS）在由人类驱动因素组成的交通环境中保守，不适应当地条件和社会文化规范。众所周知，如果存在理解人类驱动程序的行为，则可以设计社会意识的AVS。我们提出了一种利用机器学习来预测人类驱动程序的行为的方法。这类似于人类如何隐含地解释道路上司机的行为，只能观察其车辆的轨迹。我们使用图形理论工具从轨迹和机器学习中提取驾驶员行为特征，以在流量和驾驶员行为中获得车辆的提取轨迹之间的计算映射。与此域中的现有方法相比，我们证明我们的方法是强大的，一般的，并且可扩展到广泛的应用程序，如自主导航。我们评估我们在美国，印度，中国和新加坡捕获的现实世界交通数据集以及模拟中的方法。

Robot navigation in dynamic environments shared with humans is an important but challenging task, which suffers from performance deterioration as the crowd grows. In this paper, multi-subgoal robot navigation approach based on deep reinforcement learning is proposed, which can reason about more comprehensive relationships among all agents (robot and humans). Specifically, the next position point is planned for the robot by introducing history information and interactions in our work. Firstly, based on subgraph network, the history information of all agents is aggregated before encoding interactions through a graph neural network, so as to improve the ability of the robot to anticipate the future scenarios implicitly. Further consideration, in order to reduce the probability of unreliable next position points, the selection module is designed after policy network in the reinforcement learning framework. In addition, the next position point generated from the selection module satisfied the task requirements better than that obtained directly from the policy network. The experiments demonstrate that our approach outperforms state-of-the-art approaches in terms of both success rate and collision rate, especially in crowded human environments.

连续空间中有效有效的探索是将加固学习（RL）应用于自主驾驶的核心问题。从专家演示或为特定任务设计的技能可以使探索受益，但是它们通常是昂贵的，不平衡/次优的，或者未能转移到各种任务中。但是，人类驾驶员可以通过在整个技能空间中进行高效和结构性探索而不是具有特定于任务的技能的有限空间来适应各种驾驶任务。受上述事实的启发，我们提出了一种RL算法，以探索所有可行的运动技能，而不是一组有限的特定于任务和以对象为中心的技能。没有演示，我们的方法仍然可以在各种任务中表现出色。首先，我们以纯粹的运动角度构建了一个任务不合时宜的和以自我为中心的（TAEC）运动技能库，该运动技能库是足够多样化的，可以在不同的复杂任务中重复使用。然后，将运动技能编码为低维的潜在技能空间，其中RL可以有效地进行探索。在各种具有挑战性的驾驶场景中的验证表明，我们提出的方法TAEC-RL在学习效率和任务绩效方面的表现显着优于其同行。

不确定性下的实时计划对于在复杂的动态环境中运行的机器人至关重要。例如，考虑一下，汽车，摩托车，公共汽车等不受监管的城市交通不受监管的自动机器人车辆驾驶。机器人车辆必须在短期和长时间内计划，以便与许多具有不确定意图和不确定意图的交通参与者互动有效驾驶。然而，在很长一段时间内明确规划会产生过度的计算成本，并且在实时限制下是不切实际的。为了实现大规模计划的实时性能，这项工作从树木搜索驾驶（Lets-Drive）中引入了一种新的算法学习，该算法将计划和学习集成到封闭的循环中，并将其应用于拥挤的城市交通中的自动驾驶在模拟中。具体而言，让我们驱动器从在线规划者提供的数据中学习策略及其价值函数，该数据搜索了稀疏采样的信念树；在线规划师依次使用学习的策略和价值功能作为启发式方法来扩展其运行时性能，以实现实时机器人控制。重复这两个步骤以形成一个封闭的循环，以便计划者和学习者相互通知并同步改进。该算法以自我监督的方式自行学习，而无需人工努力明确的数据标记。实验结果表明，让驱动器的表现优于计划或学习，以及计划和学习的开环集成。

End-to-end autonomous driving provides a feasible way to automatically maximize overall driving system performance by directly mapping the raw pixels from a front-facing camera to control signals. Recent advanced methods construct a latent world model to map the high dimensional observations into compact latent space. However, the latent states embedded by the world model proposed in previous works may contain a large amount of task-irrelevant information, resulting in low sampling efficiency and poor robustness to input perturbations. Meanwhile, the training data distribution is usually unbalanced, and the learned policy is hard to cope with the corner cases during the driving process. To solve the above challenges, we present a semantic masked recurrent world model (SEM2), which introduces a latent filter to extract key task-relevant features and reconstruct a semantic mask via the filtered features, and is trained with a multi-source data sampler, which aggregates common data and multiple corner case data in a single batch, to balance the data distribution. Extensive experiments on CARLA show that our method outperforms the state-of-the-art approaches in terms of sample efficiency and robustness to input permutations.

本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

安全驾驶需要人类和智能代理的多种功能，例如无法看到环境的普遍性，对周围交通的安全意识以及复杂的多代理设置中的决策。尽管强化学习取得了巨大的成功（RL），但由于缺乏集成的环境，大多数RL研究工作分别研究了每个能力。在这项工作中，我们开发了一个名为MetAdrive的新驾驶模拟平台，以支持对机器自治的可概括增强学习算法的研究。 Metadrive具有高度的组成性，可以从程序生成和实际数据导入的实际数据中产生无限数量的不同驾驶场景。基于Metadrive，我们在单一代理和多代理设置中构建了各种RL任务和基线，包括在看不见的场景，安全探索和学习多机构流量的情况下进行基准标记。对程序生成的场景和现实世界情景进行的概括实验表明，增加训练集的多样性和大小会导致RL代理的推广性提高。我们进一步评估了元数据环境中各种安全的增强学习和多代理增强学习算法，并提供基准。源代码，文档和演示视频可在\ url {https://metadriverse.github.io/metadrive}上获得。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

在强化学习（RL）的试验和错误机制中，我们期望学习安全的政策时出现臭名昭着的矛盾：如何学习没有足够数据和关于危险区域的先前模型的安全政策？现有方法主要使用危险行动的后期惩罚，这意味着代理人不会受到惩罚，直到体验危险。这一事实导致代理商也无法在收敛之后学习零违规政策。否则，它不会收到任何惩罚并失去有关危险的知识。在本文中，我们提出了安全设置的演员 - 评论家（SSAC）算法，它使用面向安全的能量函数或安全索引限制了策略更新。安全索引旨在迅速增加，以便潜在的危险行动，这使我们能够在动作空间上找到安全设置，或控制安全集。因此，我们可以在服用它们之前识别危险行为，并在收敛后进一步获得零限制违规政策。我们声称我们可以以类似于学习价值函数的无模型方式学习能量函数。通过使用作为约束目标的能量函数转变，我们制定了受约束的RL问题。我们证明我们基于拉格朗日的解决方案确保学习的政策将收敛到某些假设下的约束优化。在复杂的模拟环境和硬件循环（HIL）实验中评估了所提出的算法，具有来自自动车辆的真实控制器。实验结果表明，所有环境中的融合政策达到了零限制违规和基于模型的基线的相当性能。

交叉点是自主行驶中最复杂和事故的城市场景之一，其中制造安全和计算有效的决策是非微不足道的。目前的研究主要关注简化的交通状况，同时忽略了混合交通流量的存在，即车辆，骑自行车者和行人。对于城市道路而言，不同的参与者导致了一个非常动态和复杂的互动，从而冒着学习智能政策的困难。本文在集成决策和控制框架中开发动态置换状态表示，以处理与混合业务流的信号化交集。特别地，该表示引入了编码功能和总和运算符，以构建来自环境观察的驱动状态，能够处理不同类型和变体的交通参与者。构建了受约束的最佳控制问题，其中目标涉及跟踪性能，并且不同参与者和信号灯的约束分别设计以确保安全性。我们通过离线优化编码函数，值函数和策略函数来解决这个问题，其中编码函数给出合理的状态表示，然后用作策略和值函数的输入。禁止策略培训旨在重用从驾驶环境中的观察，并且使用时间通过时间来利用策略函数和编码功能联合。验证结果表明，动态置换状态表示可以增强IDC的驱动性能，包括具有大边距的舒适性，决策合规性和安全性。训练有素的驾驶政策可以实现复杂交叉口的高效和平滑通过，同时保证驾驶智能和安全性。