本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

在过去的几十年中，车辆的升级和更新加速了。出于对环境友好和情报的需求，电动汽车（EV）以及连接和自动化的车辆（CAVS）已成为运输系统的新组成部分。本文开发了一个增强学习框架，以在信号交叉点上对由骑士和人类驱动车辆（HDV）组成的电力排实施自适应控制。首先，提出了马尔可夫决策过程（MDP）模型来描述混合排的决策过程。新颖的状态表示和奖励功能是为模型设计的，以考虑整个排的行为。其次，为了处理延迟的奖励，提出了增强的随机搜索（ARS）算法。代理商所学到的控制政策可以指导骑士的纵向运动，后者是排的领导者。最后，在模拟套件相扑中进行了一系列模拟。与几种最先进的（SOTA）强化学习方法相比，提出的方法可以获得更高的奖励。同时，仿真结果证明了延迟奖励的有效性，延迟奖励的有效性均优于分布式奖励机制}与正常的汽车跟随行为相比，灵敏度分析表明，可以将能量保存到不同的扩展（39.27％-82.51％））通过调整优化目标的相对重要性。在没有牺牲行进延迟的前提下，建议的控制方法可以节省多达53.64％的电能。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

然而，由于各种交通/道路结构方案以及人类驾驶员行为的长时间分布，自动驾驶的感应，感知和本地化取得了重大进展，因此，对于智能车辆来说，这仍然是一个持开放态度的挑战始终知道如何在有可用的传感 /感知 /本地化信息的道路上做出和执行最佳决定。在本章中，我们讨论了人工智能，更具体地说，强化学习如何利用运营知识和安全反射来做出战略性和战术决策。我们讨论了一些与强化学习解决方案的鲁棒性及其对自动驾驶驾驶策略的实践设计有关的具有挑战性的问题。我们专注于在高速公路上自动驾驶以及增强学习，车辆运动控制和控制屏障功能的整合，从而实现了可靠的AI驾驶策略，可以安全地学习和适应。

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

由于交通的固有复杂性和不确定性，自主驾驶决策是一项具有挑战性的任务。例如，相邻的车辆可能随时改变其车道或超越，以通过慢速车辆或帮助交通流量。预期周围车辆的意图，估算其未来状态并将其整合到自动化车辆的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习（PDRL）决策模型，该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的，并通过模拟平台在各种交通条件下进行了测试。结果表明，与深入的增强学习（DRL）模型相比，提出的PDRL模型通过减少碰撞数量来改善决策绩效，从而导致更安全的驾驶。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

自动驾驶在过去二十年中吸引了重要的研究兴趣，因为它提供了许多潜在的好处，包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途，但车道变化仍然是自治车辆（AV）的巨大挑战，特别是在混合和动态的交通方案中。最近，强化学习（RL）是一种强大的数据驱动控制方法，已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而，这些研究的大多数研究专注于单车展，并且在多个AVS与人类驱动车辆（HDV）共存的情况下，道路变化已经受到稀缺的关注。在本文中，我们在混合交通公路环境中制定了多个AVS的车道改变决策，作为多功能增强学习（Marl）问题，其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地，使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络（MA2C）。特别是，提出了一种多目标奖励功能来纳入燃油效率，驾驶舒适度和自主驾驶的安全性。综合实验结果，在三种不同的交通密度和各级人类司机侵略性下进行，表明我们所提出的Marl框架在效率，安全和驾驶员舒适方面始终如一地优于几个最先进的基准。

本文通过像素保留算法和深度增强学习（DRL）决策逻辑的结合，为CAV提供了无信号的交叉控制系统，然后是对拟议模型的走廊级影响评估。像素保留算法检测到潜在的碰撞操作，DRL逻辑优化了车辆的运动，以避免碰撞并最大程度地减少交叉路口的整体延迟。拟议的控制系统称为分散的稀疏协调系统（DSCLS），因为每辆车都有自己的控制逻辑，并且仅在协调状态下与其他车辆互动。由于在DRL的培训课程中采取随机行动的链条影响，训练有素的模型可以应对前所未有的体积条件，这在交叉管理中构成了主要挑战。将开发模型的性能与传统和基于CAV的控制系统进行了比较，包括固定的交通信号灯，驱动的交通信号灯以及最长的队列第一（LQF）控制系统，在Vissim软件中四个交叉路口的走廊中，在三个卷机制下进行了比较。模拟结果表明，与其他基于CAV的控制系统相比，提出的模型在中等，高和极端体积方案中将延迟减少了50％，29％和23％。旅行时间，燃油消耗，排放和替代安全措施（SSM）的改善也很明显。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

在自主驾驶场中，人类知识融合到深增强学习（DRL）通常基于在模拟环境中记录的人类示范。这限制了在现实世界交通中的概率和可行性。我们提出了一种两级DRL方法，从真实的人类驾驶中学习，实现优于纯DRL代理的性能。培训DRL代理商是在Carla的框架内完成了机器人操作系统（ROS）。对于评估，我们设计了不同的真实驾驶场景，可以将提出的两级DRL代理与纯DRL代理进行比较。在从人驾驶员中提取“良好”行为之后，例如在信号交叉口中的预期，该代理变得更有效，并且驱动更安全，这使得这种自主代理更适应人体机器人交互（HRI）流量。

随着自动组件比例越来越多的新兴车辆系统提供了最佳控制的机会，以减轻交通拥堵和提高效率。最近有兴趣将深入增强学习（DRL）应用于这些非线性动力学系统，以自动设计有效的控制策略。尽管DRL是无模型的概念优势，但研究通常仍依赖于对特定车辆系统的艰苦训练设置。这是对各种车辆和机动性系统有效分析的关键挑战。为此，本文贡献了一种简化的用于车辆微仿真的方法，并以最少的手动设计发现了高性能控制策略。提出了一种可变的代理，多任务方法，以优化车辆部分观察到的马尔可夫决策过程。该方法在混合自治交通系统上进行了实验验证，该系统是自动化的。在六种不同的开放或封闭交通系统的所有配置中都可以观察到经验改进，通常比人类驾驶基线的15-60％。该研究揭示了许多紧急行为类似于缓解波浪，交通信号传导和坡道计量。最后，对新兴行为进行了分析，以产生可解释的控制策略，这些控制策略已通过学习的控制策略进行了验证。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

许多现实世界的应用程序都可以作为多机构合作问题进行配置，例如网络数据包路由和自动驾驶汽车的协调。深入增强学习（DRL）的出现为通过代理和环境的相互作用提供了一种有前途的多代理合作方法。但是，在政策搜索过程中，传统的DRL解决方案遭受了多个代理具有连续动作空间的高维度。此外，代理商政策的动态性使训练非平稳。为了解决这些问题，我们建议采用高级决策和低水平的个人控制，以进行有效的政策搜索，提出一种分层增强学习方法。特别是，可以在高级离散的动作空间中有效地学习多个代理的合作。同时，低水平的个人控制可以减少为单格强化学习。除了分层增强学习外，我们还建议对手建模网络在学习过程中对其他代理的政策进行建模。与端到端的DRL方法相反，我们的方法通过以层次结构将整体任务分解为子任务来降低学习的复杂性。为了评估我们的方法的效率，我们在合作车道变更方案中进行了现实世界中的案例研究。模拟和现实世界实验都表明我们的方法在碰撞速度和收敛速度中的优越性。

决策对于自动驾驶的车道变化至关重要。强化学习（RL）算法旨在确定各种情况下的行为价值，因此它们成为解决决策问题的有前途的途径。但是，运行时安全性较差，阻碍了基于RL的决策策略，从实践中进行了复杂的驾驶任务。为了解决这个问题，本文将人类的示范纳入了基于RL的决策策略中。人类受试者在驾驶模拟器中做出的决定被视为安全的示范，将其存储到重播缓冲液中，然后用来增强RL的训练过程。建立了一个复杂的车道变更任务，以检查开发策略的性能。仿真结果表明，人类的演示可以有效地提高RL决策的安全性。而拟议的策略超过了其他基于学习的决策策略，就多种驾驶表演而言。

在未来几年和几十年中，自动驾驶汽车（AV）将变得越来越普遍，为更安全，更方便的旅行提供了新的机会，并可能利用自动化和连接性的更智能的交通控制方法。跟随汽车是自动驾驶中的主要功能。近年来，基于强化学习的汽车已受到关注，目的是学习和达到与人类相当的绩效水平。但是，大多数现有的RL方法将汽车模拟为单方面问题，仅感知前方的车辆。然而，最近的文献，王和霍恩[16]表明，遵循的双边汽车考虑了前方的车辆，而后面的车辆表现出更好的系统稳定性。在本文中，我们假设可以使用RL学习这款双边汽车，同时学习其他目标，例如效率最大化，混蛋最小化和安全奖励，从而导致学识渊博的模型超过了人类驾驶。我们通过将双边信息集成到基于双边控制模型（BCM）的CAR遵循控制的状态和奖励功能的情况下，提出并引入了遵循控制遵循的汽车的深钢筋学习（DRL）框架。此外，我们使用分散的多代理增强学习框架来为每个代理生成相​​应的控制动作。我们的仿真结果表明，我们学到的政策比（a）汽车间的前进方向，（b）平均速度，（c）混蛋，（d）碰撞时间（TTC）和（e）的速度更好。字符串稳定性。

本文开发了用于多交叉路口自适应交通信号控制（TSC）的分散增强学习（RL）方案，称为“CVlight”，其利用从连接的车辆（CVS）收集的数据。国家和奖励设计促进了代理商之间的协调，并考虑由CVS收集的旅行延误。提出了一种新颖的算法，非对称优势演员 - 评论家（EB-A2C），其中CV和非CV信息都用于培训批评网络，而仅使用CV信息来执行最佳信号定时。综合实验表明，CVlight的优越性在一个2×2合成道路网络下的最先进的算法，各种交通需求模式和穿透速率。然后，学习的政策被可视化以进一步展示ASYM-A2C的优点。采用火车前技术来提高CVlight的可扩展性，这显着缩短了培训时间，并在5×5路网络下表现出性能的优势。在美国宾夕法尼亚州宾夕法尼亚州州学院的2×2路网络上进行了一个案例研究，以进一步展示了在现实世界方案下所提出的算法的有效性。与其他基线模型相比，训练有素的CVlight代理可以仅基于CV数据有效地控制多个交叉点，达到最佳性能，特别是在低CV渗透率下。

交叉点是自主行驶中最复杂和事故的城市场景之一，其中制造安全和计算有效的决策是非微不足道的。目前的研究主要关注简化的交通状况，同时忽略了混合交通流量的存在，即车辆，骑自行车者和行人。对于城市道路而言，不同的参与者导致了一个非常动态和复杂的互动，从而冒着学习智能政策的困难。本文在集成决策和控制框架中开发动态置换状态表示，以处理与混合业务流的信号化交集。特别地，该表示引入了编码功能和总和运算符，以构建来自环境观察的驱动状态，能够处理不同类型和变体的交通参与者。构建了受约束的最佳控制问题，其中目标涉及跟踪性能，并且不同参与者和信号灯的约束分别设计以确保安全性。我们通过离线优化编码函数，值函数和策略函数来解决这个问题，其中编码函数给出合理的状态表示，然后用作策略和值函数的输入。禁止策略培训旨在重用从驾驶环境中的观察，并且使用时间通过时间来利用策略函数和编码功能联合。验证结果表明，动态置换状态表示可以增强IDC的驱动性能，包括具有大边距的舒适性，决策合规性和安全性。训练有素的驾驶政策可以实现复杂交叉口的高效和平滑通过，同时保证驾驶智能和安全性。

作为一项新兴技术，据信，连接的自动驾驶汽车能够以更高的效率通过交叉点，并且与基于预先设计的基于模型或基于优化的计划通过计划相比，已经进行了数十年的相关研究，这是相比的。在过去两年中，自主交叉管理（AIM）领域（AIM）领域的分布强化学习才开始出现，并面临许多挑战。我们的研究设计了一个多级学习框架，具有各种观察范围，动作步骤和奖励期，以充分利用车辆周围的信息，并帮助找出所有车辆的最佳交互策略。我们的实验已证明，与没有它的RL相比，与RL相比，该框架可以显着提高安全性，并提高效率与基线相比。

由于交通环境的复杂性和波动性，自主驾驶中的决策是一个显着难的问题。在这个项目中，我们使用深度Q-network，以及基于规则的限制来使车道变化的决定。可以通过将高级横向决策与基于低级规则的轨迹监视相结合来获得安全高效的车道改变行为。预计该代理商在培训中，在实际的UDAcity模拟器中进行了适当的车道更换操作，总共100次发作。结果表明，基于规则的DQN比DQN方法更好地执行。基于规则的DQN达到0.8的安全速率和47英里/小时的平均速度