通过改善安全性，效率和移动性，自动车辆（AVS）的快速发展持有运输系统的巨大潜力。然而，通过AVS被采用的这些影响的进展尚不清楚。众多技术挑战是出于分析自治的部分采用：部分控制和观察，多车辆互动以及现实世界网络代表的纯粹场景的目标。本文研究了近期AV影响，研究了深度加强学习（RL）在低AV采用政权中克服了这些挑战的适用性。提出了一个模块化学习框架，它利用深rl来解决复杂的交通动态。模块组成用于捕获常见的交通现象（停止和转运交通拥堵，车道更改，交叉点）。在系统级速度方面，发现了学习的控制法则改善人类驾驶绩效，高达57％，只有4-7％的AVS。此外，在单线交通中，发现只有局部观察的小型神经网络控制规律消除了停止和转移的流量 - 超过所有已知的基于模型的控制器，以实现近乎最佳性能 - 并概括为OUT-分销交通密度。

随着自动组件比例越来越多的新兴车辆系统提供了最佳控制的机会，以减轻交通拥堵和提高效率。最近有兴趣将深入增强学习（DRL）应用于这些非线性动力学系统，以自动设计有效的控制策略。尽管DRL是无模型的概念优势，但研究通常仍依赖于对特定车辆系统的艰苦训练设置。这是对各种车辆和机动性系统有效分析的关键挑战。为此，本文贡献了一种简化的用于车辆微仿真的方法，并以最少的手动设计发现了高性能控制策略。提出了一种可变的代理，多任务方法，以优化车辆部分观察到的马尔可夫决策过程。该方法在混合自治交通系统上进行了实验验证，该系统是自动化的。在六种不同的开放或封闭交通系统的所有配置中都可以观察到经验改进，通常比人类驾驶基线的15-60％。该研究揭示了许多紧急行为类似于缓解波浪，交通信号传导和坡道计量。最后，对新兴行为进行了分析，以产生可解释的控制策略，这些控制策略已通过学习的控制策略进行了验证。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

交通拥堵是现代城市环境中的主要挑战。自动驾驶汽车和自动化车辆（AV）的行业范围内开发激发了AVS如何促进拥塞减少的问题。过去的研究表明，在小规模的混合交通情况下，AVS和人类驱动的车辆，执行受控多种驾驶政策的AVS的一小部分可以减轻拥堵。在本文中，我们扩展了现有方法，并在更复杂的情况下为AVS制定新的多种驾驶政策。首先，我们表明过去研究使用的拥堵指标是​​可以在开放的道路网络场景中操纵的，在该场景中，车辆动态加入并离开道路。然后，我们建议使用一个不同的指标来操纵并反映开放的网络流量效率。接下来，我们提出一种模块化转移增强学习方法，并使用它来扩展多种驾驶政策，以超越类似人类的流量和模拟现实情况下的现有方法，这是一个比过去的场景大的数量级（数百次而不是过去的情况（而不是）数十个车辆）。此外，我们的模块化转移学习方法通​​过将其数据收集集中在网络中的关键位置上，从而节省了我们实验中80％的培训时间。最后，我们首次展示了一项分布式的多重政策，从而改善了人类驱动流量的拥堵。分布式方法更现实和实用，因为它仅依赖于现有的感应和驱动功能，并且不需要添加新的通信基础架构。

自主的改进提供了许多域中积极成果的潜力，但保证了他们的安全部署是困难的。这项工作调查了人们如何智能地监督代理商，即使在表现担保是难以捉摸的情况下，即使性能保证也是如此达到一些安全性。激励研究问题是：在安全关键环境中，我们可以避免有必要始终有一台机器吗？本文正式化了这一“缩放监督”问题，并调查其在融入交通的自治车辆（AVS）的安全关键背景下。它提出了一种保守的，可达性的方法，以减少AVS人类主管的负担，这允许在此环境中建立高信任上限。通过深度加强学习学习序列和流量模拟分析，在数字上，AVS的组合可以在AV采用中进行监督时间。一个关键的外卖是，尽管存在AVS的不完美，但由于AVS部署了EN Masse，监督变得更具易行。虽然这项工作侧重于AVS，但可扩展的监督框架与更广泛的自主控制挑战阵列相关。

本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

我们提出了一种无模型加强学习方法，用于控制模拟交通网络中的混合自主流量，通过交通的双向和四路交叉口。我们的方法利用多代理政策分解，其允许基于本地观测的分散控制进行任意数量的受控车辆。我们证明，即使没有奖励塑造，加强学习也会学会协调车辆以表现出交通信号的行为，实现近乎最佳的受控车辆的最佳吞吐量。在多任务学习和转移学习的帮助下，我们表明这种行为横跨流量率和交通网络的大小推广。我们的代码，型号和视频的结果可在https://github.com/zhongxiayan/mixed_autonomy_intersection获得。

在未来几年和几十年中，自动驾驶汽车（AV）将变得越来越普遍，为更安全，更方便的旅行提供了新的机会，并可能利用自动化和连接性的更智能的交通控制方法。跟随汽车是自动驾驶中的主要功能。近年来，基于强化学习的汽车已受到关注，目的是学习和达到与人类相当的绩效水平。但是，大多数现有的RL方法将汽车模拟为单方面问题，仅感知前方的车辆。然而，最近的文献，王和霍恩[16]表明，遵循的双边汽车考虑了前方的车辆，而后面的车辆表现出更好的系统稳定性。在本文中，我们假设可以使用RL学习这款双边汽车，同时学习其他目标，例如效率最大化，混蛋最小化和安全奖励，从而导致学识渊博的模型超过了人类驾驶。我们通过将双边信息集成到基于双边控制模型（BCM）的CAR遵循控制的状态和奖励功能的情况下，提出并引入了遵循控制遵循的汽车的深钢筋学习（DRL）框架。此外，我们使用分散的多代理增强学习框架来为每个代理生成相​​应的控制动作。我们的仿真结果表明，我们学到的政策比（a）汽车间的前进方向，（b）平均速度，（c）混蛋，（d）碰撞时间（TTC）和（e）的速度更好。字符串稳定性。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

自动化和自主车辆（AVS）的出现会创造使用多个AV的系统级别目标，例如交通拥堵。过去的研究表明，可以在各种模拟场景中学习多层挤压驾驶策略。虽然概念的初始证明是具有集中控制器的小型，封闭式交通网络，但最近成功的结果已经在更现实的环境中进行了演示，其中具有在车辆进入和离开的开放式道路网络中运行的分布式控制策略。然而，这些驾驶政策主要在他们接受培训的同样条件下进行测试，并且尚未对不同的交通状况进行彻底测试，这是现实世界方案的关键要求。本文介绍了学习的多层驾驶策略，对各种开放网络流量条件，包括车辆流量，交通，AV放置和不同的合并道路几何形状的各个型号。彻底的实证分析调查了这种政策对简单合并网络中的AV的敏感性，以及两个合并坡道的更复杂的道路。它表明，即使使用AV渗透率低至2％，学习政策也会实现对模拟人类驱动的政策的显着改善。同样的政策也被证明能够减少在更复杂的道路上减少交通拥堵，具有两个合并坡道。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

强化学习（RL）已证明可以在各种任务中达到超级人类水平的表现。但是，与受监督的机器学习不同，将其推广到各种情况的学习策略仍然是现实世界中最具挑战性的问题之一。自主驾驶（AD）提供了一个多方面的实验领域，因为有必要在许多变化的道路布局和可能的交通情况大量分布中学习正确的行为，包括个人驾驶员个性和难以预测的交通事件。在本文中，我们根据可配置，灵活和性能的代码库为AD提出了一个具有挑战性的基准。我们的基准测试使用了随机场景生成器的目录，包括用于道路布局和交通变化的多种机制，不同的数值和视觉观察类型，不同的动作空间，不同的车辆模型，并允许在静态场景定义下使用。除了纯粹的算法见解外，我们面向应用程序的基准还可以更好地理解设计决策的影响，例如行动和观察空间对政策的普遍性。我们的基准旨在鼓励研究人员提出能够在各种情况下成功概括的解决方案，这是当前RL方法失败的任务。基准的代码可在https://github.com/seawee1/driver-dojo上获得。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

预计自动驾驶技术不仅可以提高移动性和道路安全性，还可以提高能源效率的益处。在可预见的未来，自动车辆（AVS）将在与人机车辆共享的道路上运行。为了保持安全性和活力，同时尽量减少能耗，AV规划和决策过程应考虑自动自动驾驶车辆与周围的人机车辆之间的相互作用。在本章中，我们描述了一种通过基于认知层次理论和强化学习开发人的驾驶员行为建模来开发共用道路上的节能自主驾驶政策的框架。

本文重点介绍了大型城市网络的几个属性，这些属性可能会影响应用于交通信号控制的机器学习方法。特别是，我们表明，随着密度的增加，平均网络流往往独立于信号控制策略。到目前为止，这种属性一直存在于雷达之下，这意味着在拥挤的条件下训练时，深厚的增强学习（DRL）方法变得无效，并且可能解释了DRL在交通信号控制方面的成功有限。我们的结果适用于所有可能的网格网络，这要归功于基于两个网络参数的参数化：连续交通信号灯与预期绿色时间之间的预期距离和交叉点的转弯概率的比率。具有不同参数的网络对流量信号控制的响应非常不同。值得注意的是，我们发现没有控制（即随机政策）可以成为一个令人惊讶的大型网络家庭的有效控制策略。对于基线和DRL政策而言，转向概率的影响都非常重要。它还解释了这些策略观察到的对称性的丧失，这并不能由依赖走廊近似没有转弯的现有理论捕获。我们的发现还表明，监督的学习方法具有巨大的潜力，因为它们几乎不需要实例来制定出色的政策。

最近，自主驾驶社会上有许多进展，吸引了学术界和工业的很多关注。然而，现有的作品主要专注于汽车，自动驾驶卡车算法和模型仍然需要额外的开发。在本文中，我们介绍了智能自动驾驶卡车系统。我们所呈现的系统由三个主要组成部分组成，1）一个现实的交通仿真模块，用于在测试场景中产生现实的交通流量，2）设计和评估了在现实世界部署中模仿实际卡车响应的高保真卡车模型，3 ）具有基于学习的决策算法和多模轨迹策划仪的智能计划模块，考虑到卡车的约束，道路斜率变化和周围的交通流量。我们为每个组分单独提供定量评估，以证明每个部件的保真度和性能。我们还将我们的建议系统部署在真正的卡车上，并进行真实的世界实验，表明我们的系统能力缓解了SIM-TO-REAL差距。我们的代码可以在https://github.com/inceptioresearch/iits提供

在过去的几十年中，车辆的升级和更新加速了。出于对环境友好和情报的需求，电动汽车（EV）以及连接和自动化的车辆（CAVS）已成为运输系统的新组成部分。本文开发了一个增强学习框架，以在信号交叉点上对由骑士和人类驱动车辆（HDV）组成的电力排实施自适应控制。首先，提出了马尔可夫决策过程（MDP）模型来描述混合排的决策过程。新颖的状态表示和奖励功能是为模型设计的，以考虑整个排的行为。其次，为了处理延迟的奖励，提出了增强的随机搜索（ARS）算法。代理商所学到的控制政策可以指导骑士的纵向运动，后者是排的领导者。最后，在模拟套件相扑中进行了一系列模拟。与几种最先进的（SOTA）强化学习方法相比，提出的方法可以获得更高的奖励。同时，仿真结果证明了延迟奖励的有效性，延迟奖励的有效性均优于分布式奖励机制}与正常的汽车跟随行为相比，灵敏度分析表明，可以将能量保存到不同的扩展（39.27％-82.51％））通过调整优化目标的相对重要性。在没有牺牲行进延迟的前提下，建议的控制方法可以节省多达53.64％的电能。

培训可以在各种城市和公路情景中自主推动的智能代理在过去几十年中是机器人学会的热门话题。然而，在道路拓扑和邻近车辆定位方面的驾驶环境的多样性使得这个问题非常具有挑战性。不言而喻，虽然自动驾驶的场景特定的驾驶政策是有前途的，并且可以提高运输安全性和效率，但它们显然不是一个通用的可扩展解决方案。相反，我们寻求决策计划和驾驶策略，可以概括为新颖和看不见的环境。在这项工作中，我们利用了人类司机学习其周围环境的抽象表达的关键思想，这在各种驾驶场景和环境中相当类似。通过这些陈述，人类司机能够快速适应新颖的环境和在看不见的条件下驱动。正式地，通过强制信息瓶颈，我们提取一个潜在的表示，最小化\ extentit {距离} - 我们介绍的量化，以便在驱动场景之间介绍不同驾驶配置之间的相似性。然后采用这种潜在的空间作为Q学习模块的输入，以学习更广泛的驾驶策略。我们的实验表明，使用这种潜在的表示可以将崩溃的数量减少到大约一半。

自动驾驶汽车的一个主要挑战是安全，平稳地与其他交通参与者进行互动。处理此类交通交互的一种有希望的方法是为自动驾驶汽车配备与感知的控制器（IACS）。这些控制器预测，周围人类驾驶员将如何根据驾驶员模型对自动驾驶汽车的行为做出响应。但是，很少验证IACS中使用的驱动程序模型的预测有效性，这可能会限制IACS在简单的模拟环境之外的交互功能。在本文中，我们认为，除了评估IAC的互动能力外，还应在自然的人类驾驶行为上验证其潜在的驱动器模型。我们为此验证提出了一个工作流程，其中包括基于方案的数据提取和基于人为因素文献的两阶段（战术/操作）评估程序。我们在一项案例研究中证明了该工作流程，该案例研究对现有IAC复制的基于反向的基于学习的驱动程序模型。该模型仅在40％的预测中显示出正确的战术行为。该模型的操作行为与观察到的人类行为不一致。案例研究表明，有原则的评估工作流程是有用和需要的。我们认为，我们的工作流将支持为将来的自动化车辆开发适当的驾驶员模型。