基于勘探环境的探索能力,深度确定性政策梯度(DDPG)基于差分方程模型的限制可能会突破微分方程模型。然而,DDPG的汽车跟随性能通常因不合理的奖励功能设计而降低,培训不足和低采样效率。为了解决这种问题,提出了一种基于DDPG和协作自适应巡航控制(CACC)的混合车辆跟踪战略。首先,汽车跟踪过程被建模为Markov决策过程,以在每个帧同时计算CACC和DDPG。给定当前状态,分别从CACC和DDPG获得了两种操作。然后,选择对应于提供更大奖励的最佳动作作为混合策略的输出。同时,规则旨在确保加速度的变化率小于所需值。因此,拟议的策略不仅保证了通过CACC的汽车之后的基本性能,还可以通过DDPG充分利用探索复杂环境的优势。最后,仿真结果表明,与DDPG和CACC相比,提高了拟议策略的跟踪性能。
translated by 谷歌翻译
自动驾驶在过去二十年中吸引了重要的研究兴趣,因为它提供了许多潜在的好处,包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途,但车道变化仍然是自治车辆(AV)的巨大挑战,特别是在混合和动态的交通方案中。最近,强化学习(RL)是一种强大的数据驱动控制方法,已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而,这些研究的大多数研究专注于单车展,并且在多个AVS与人类驱动车辆(HDV)共存的情况下,道路变化已经受到稀缺的关注。在本文中,我们在混合交通公路环境中制定了多个AVS的车道改变决策,作为多功能增强学习(Marl)问题,其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地,使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络(MA2C)。特别是,提出了一种多目标奖励功能来纳入燃油效率,驾驶舒适度和自主驾驶的安全性。综合实验结果,在三种不同的交通密度和各级人类司机侵略性下进行,表明我们所提出的Marl框架在效率,安全和驾驶员舒适方面始终如一地优于几个最先进的基准。
translated by 谷歌翻译
在过去的几十年中,车辆的升级和更新加速了。出于对环境友好和情报的需求,电动汽车(EV)以及连接和自动化的车辆(CAVS)已成为运输系统的新组成部分。本文开发了一个增强学习框架,以在信号交叉点上对由骑士和人类驱动车辆(HDV)组成的电力排实施自适应控制。首先,提出了马尔可夫决策过程(MDP)模型来描述混合排的决策过程。新颖的状态表示和奖励功能是为模型设计的,以考虑整个排的行为。其次,为了处理延迟的奖励,提出了增强的随机搜索(ARS)算法。代理商所学到的控制政策可以指导骑士的纵向运动,后者是排的领导者。最后,在模拟套件相扑中进行了一系列模拟。与几种最先进的(SOTA)强化学习方法相比,提出的方法可以获得更高的奖励。同时,仿真结果证明了延迟奖励的有效性,延迟奖励的有效性均优于分布式奖励机制}与正常的汽车跟随行为相比,灵敏度分析表明,可以将能量保存到不同的扩展(39.27%-82.51%))通过调整优化目标的相对重要性。在没有牺牲行进延迟的前提下,建议的控制方法可以节省多达53.64%的电能。
translated by 谷歌翻译
本文提出了一个基于加固学习(RL)的电动连接车辆(CV)的生态驾驶框架,以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略,改变车道的政策和RL政策来确保车辆代理的安全操作。随后,制定了马尔可夫决策过程(MDP),该过程使车辆能够执行纵向控制和横向决策,从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后,将混合动作空间参数化为层次结构,从而在动态交通环境中使用二维运动模式训练代理。最后,我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明,我们的策略可以通过学习适当的动作方案来大大减少能源消耗,而不会中断其他人类驱动的车辆(HDVS)。
translated by 谷歌翻译
在未来几年和几十年中,自动驾驶汽车(AV)将变得越来越普遍,为更安全,更方便的旅行提供了新的机会,并可能利用自动化和连接性的更智能的交通控制方法。跟随汽车是自动驾驶中的主要功能。近年来,基于强化学习的汽车已受到关注,目的是学习和达到与人类相当的绩效水平。但是,大多数现有的RL方法将汽车模拟为单方面问题,仅感知前方的车辆。然而,最近的文献,王和霍恩[16]表明,遵循的双边汽车考虑了前方的车辆,而后面的车辆表现出更好的系统稳定性。在本文中,我们假设可以使用RL学习这款双边汽车,同时学习其他目标,例如效率最大化,混蛋最小化和安全奖励,从而导致学识渊博的模型超过了人类驾驶。我们通过将双边信息集成到基于双边控制模型(BCM)的CAR遵循控制的状态和奖励功能的情况下,提出并引入了遵循控制遵循的汽车的深钢筋学习(DRL)框架。此外,我们使用分散的多代理增强学习框架来为每个代理生成相​​应的控制动作。我们的仿真结果表明,我们学到的政策比(a)汽车间的前进方向,(b)平均速度,(c)混蛋,(d)碰撞时间(TTC)和(e)的速度更好。字符串稳定性。
translated by 谷歌翻译
Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.
translated by 谷歌翻译
由于交通环境的复杂性和波动性,自主驾驶中的决策是一个显着难的问题。在这个项目中,我们使用深度Q-network,以及基于规则的限制来使车道变化的决定。可以通过将高级横向决策与基于低级规则的轨迹监视相结合来获得安全高效的车道改变行为。预计该代理商在培训中,在实际的UDAcity模拟器中进行了适当的车道更换操作,总共100次发作。结果表明,基于规则的DQN比DQN方法更好地执行。基于规则的DQN达到0.8的安全速率和47英里/小时的平均速度
translated by 谷歌翻译
无线技术的最新进步使连接的自动驾驶汽车(CAV)能够通过车辆到车辆(V2V)通信收集有关其环境的信息。在这项工作中,我们为CAVS设计了基于信息共享的多代理增援学习(MARL)框架,以在做出决定以提高交通效率和安全性时利用额外的信息。我们提出的安全参与者批评算法有两种新技术:截断的Q功能和安全动作映射。截断的Q功能利用了来自相邻骑士的共享信息,以使Q-功能的联合状态和动作空间在我们的算法中不会在大型CAV系统中生长。我们证明了截短Q和全局Q函数之间近似误差的结合。安全的操作映射为基于控制屏障功能的培训和执行提供了可证明的安全保证。我们使用CARLA模拟器进行实验,我们表明我们的方法可以在不同的CAV比和不同的交通密度下的平均速度和舒适性方面提高CAV系统的效率。我们还表明,我们的方法避免执行不安全的动作,并始终保持与其他车辆的安全距离。我们构建了一个障碍物的场景,以表明共同的愿景可以帮助骑士早些时候观察障碍,并采取行动避免交通拥堵。
translated by 谷歌翻译
Decision-making strategy for autonomous vehicles de-scribes a sequence of driving maneuvers to achieve a certain navigational mission. This paper utilizes the deep reinforcement learning (DRL) method to address the continuous-horizon decision-making problem on the highway. First, the vehicle kinematics and driving scenario on the freeway are introduced. The running objective of the ego automated vehicle is to execute an efficient and smooth policy without collision. Then, the particular algorithm named proximal policy optimization (PPO)-enhanced DRL is illustrated. To overcome the challenges in tardy training efficiency and sample inefficiency, this applied algorithm could realize high learning efficiency and excellent control performance. Finally, the PPO-DRL-based decision-making strategy is estimated from multiple perspectives, including the optimality, learning efficiency, and adaptability. Its potential for online application is discussed by applying it to similar driving scenarios.
translated by 谷歌翻译
决策对于自动驾驶的车道变化至关重要。强化学习(RL)算法旨在确定各种情况下的行为价值,因此它们成为解决决策问题的有前途的途径。但是,运行时安全性较差,阻碍了基于RL的决策策略,从实践中进行了复杂的驾驶任务。为了解决这个问题,本文将人类的示范纳入了基于RL的决策策略中。人类受试者在驾驶模拟器中做出的决定被视为安全的示范,将其存储到重播缓冲液中,然后用来增强RL的训练过程。建立了一个复杂的车道变更任务,以检查开发策略的性能。仿真结果表明,人类的演示可以有效地提高RL决策的安全性。而拟议的策略超过了其他基于学习的决策策略,就多种驾驶表演而言。
translated by 谷歌翻译
深钢筋学习(DRL)被视为一种潜在的方法来控制汽车控制,并主要研究以支持一辆接下来的车辆。但是,在排中有多个以下车辆,尤其是在不可预测的领先车辆行为中,学习稳定,高效的汽车跟随政策是更具挑战性的。在这种情况下,我们采用集成的DRL和动态编程(DP)方法来学习自主排控制策略,该政策将深层确定性策略梯度(DDPG)算法嵌入到有限的 - Horizo​​n值迭代框架中。尽管DP框架可以提高DDPG的稳定性和性能,但它具有较低的采样和训练效率的局限性。在本文中,我们提出了一种算法,即有限的horizo​​n-ddpg,使用固定近似(FH-DDPG-SS)通过减少状态空间(FH-DDPG-SS)进行扫描,该算法使用三个关键思想来克服上述限制,即,即将网络权重转移到向后转移的网络权重。时间,较早的时间步骤的固定政策近似,并通过减少的状态空间进行扫描。为了验证FH-DDPG-SS的有效性,使用实际驾驶数据进行了模拟,其中将FH-DDPG-SS的性能与基准算法的性能进行了比较。最后,展示了FH-DDPG-SS的排安全性和弦稳定性。
translated by 谷歌翻译
Traditional planning and control methods could fail to find a feasible trajectory for an autonomous vehicle to execute amongst dense traffic on roads. This is because the obstacle-free volume in spacetime is very small in these scenarios for the vehicle to drive through. However, that does not mean the task is infeasible since human drivers are known to be able to drive amongst dense traffic by leveraging the cooperativeness of other drivers to open a gap. The traditional methods fail to take into account the fact that the actions taken by an agent affect the behaviour of other vehicles on the road. In this work, we rely on the ability of deep reinforcement learning to implicitly model such interactions and learn a continuous control policy over the action space of an autonomous vehicle. The application we consider requires our agent to negotiate and open a gap in the road in order to successfully merge or change lanes. Our policy learns to repeatedly probe into the target road lane while trying to find a safe spot to move in to. We compare against two model-predictive control-based algorithms and show that our policy outperforms them in simulation.
translated by 谷歌翻译
由于交通的固有复杂性和不确定性,自主驾驶决策是一项具有挑战性的任务。例如,相邻的车辆可能随时改变其车道或超越,以通过慢速车辆或帮助交通流量。预期周围车辆的意图,估算其未来状态并将其整合到自动化车辆的决策过程中,可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习(PDRL)决策模型,该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的,并通过模拟平台在各种交通条件下进行了测试。结果表明,与深入的增强学习(DRL)模型相比,提出的PDRL模型通过减少碰撞数量来改善决策绩效,从而导致更安全的驾驶。
translated by 谷歌翻译
With the growing need to reduce energy consumption and greenhouse gas emissions, Eco-driving strategies provide a significant opportunity for additional fuel savings on top of other technological solutions being pursued in the transportation sector. In this paper, a model-free deep reinforcement learning (RL) control agent is proposed for active Eco-driving assistance that trades-off fuel consumption against other driver-accommodation objectives, and learns optimal traction torque and transmission shifting policies from experience. The training scheme for the proposed RL agent uses an off-policy actor-critic architecture that iteratively does policy evaluation with a multi-step return and policy improvement with the maximum posteriori policy optimization algorithm for hybrid action spaces. The proposed Eco-driving RL agent is implemented on a commercial vehicle in car following traffic. It shows superior performance in minimizing fuel consumption compared to a baseline controller that has full knowledge of fuel-efficiency tables.
translated by 谷歌翻译
决策模块使自动车辆能够在复杂的城市环境中达到适当的演习,尤其是交叉路口情况。这项工作提出了一种深度加强学习(DRL)基于无罪的自动车辆的无罪化交叉口的左转决策框架。所研究的自动化车辆的目的是在四向无信号化交叉路口中进行高效和安全的左转操纵。已漏洞的DRL方法包括深Q学习(DQL)和双DQL。仿真结果表明,所提出的决策策略可以有效地降低碰撞率并提高运输效率。这项工作还揭示了构造的左转控制结构具有实时应用的巨大潜力。
translated by 谷歌翻译
With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.
translated by 谷歌翻译
这项工作研究了以下假设:与人类驾驶状态的部分可观察到的马尔可夫决策过程(POMDP)计划可以显着提高自动高速公路驾驶的安全性和效率。我们在模拟场景中评估了这一假设,即自动驾驶汽车必须在快速连续中安全执行三个车道变化。通过观测扩大(POMCPOW)算法,通过部分可观察到的蒙特卡洛计划获得了近似POMDP溶液。这种方法的表现优于过度自信和保守的MDP基准,匹配或匹配效果优于QMDP。相对于MDP基准,POMCPOW通常将不安全情况的速率降低了一半或将成功率提高50%。
translated by 谷歌翻译
我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性,这种环境中的导航是挑战。我们提出了一种新的仿真技术,包括丰富现有的交通模拟器,其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后,我们使用丰富的模拟器培训深度加强学习(DRL)策略,包括一组高级车辆控制命令,并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互,并计算了自助式驾驶员机动,例如超速,超速,编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集,我们的行为的导航方案可以与最先进的导航算法相结合。
translated by 谷歌翻译
在强化学习(RL)的试验和错误机制中,我们期望学习安全的政策时出现臭名昭着的矛盾:如何学习没有足够数据和关于危险区域的先前模型的安全政策?现有方法主要使用危险行动的后期惩罚,这意味着代理人不会受到惩罚,直到体验危险。这一事实导致代理商也无法在收敛之后学习零违规政策。否则,它不会收到任何惩罚并失去有关危险的知识。在本文中,我们提出了安全设置的演员 - 评论家(SSAC)算法,它使用面向安全的能量函数或安全索引限制了策略更新。安全索引旨在迅速增加,以便潜在的危险行动,这使我们能够在动作空间上找到安全设置,或控制安全集。因此,我们可以在服用它们之前识别危险行为,并在收敛后进一步获得零限制违规政策。我们声称我们可以以类似于学习价值函数的无模型方式学习能量函数。通过使用作为约束目标的能量函数转变,我们制定了受约束的RL问题。我们证明我们基于拉格朗日的解决方案确保学习的政策将收敛到某些假设下的约束优化。在复杂的模拟环境和硬件循环(HIL)实验中评估了所提出的算法,具有来自自动车辆的真实控制器。实验结果表明,所有环境中的融合政策达到了零限制违规和基于模型的基线的相当性能。
translated by 谷歌翻译
交叉点是自主行驶中最复杂和事故的城市场景之一,其中制造安全和计算有效的决策是非微不足道的。目前的研究主要关注简化的交通状况,同时忽略了混合交通流量的存在,即车辆,骑自行车者和行人。对于城市道路而言,不同的参与者导致了一个非常动态和复杂的互动,从而冒着学习智能政策的困难。本文在集成决策和控制框架中开发动态置换状态表示,以处理与混合业务流的信号化交集。特别地,该表示引入了编码功能和总和运算符,以构建来自环境观察的驱动状态,能够处理不同类型和变体的交通参与者。构建了受约束的最佳控制问题,其中目标涉及跟踪性能,并且不同参与者和信号灯的约束分别设计以确保安全性。我们通过离线优化编码函数,值函数和策略函数来解决这个问题,其中编码函数给出合理的状态表示,然后用作策略和值函数的输入。禁止策略培训旨在重用从驾驶环境中的观察,并且使用时间通过时间来利用策略函数和编码功能联合。验证结果表明,动态置换状态表示可以增强IDC的驱动性能,包括具有大边距的舒适性,决策合规性和安全性。训练有素的驾驶政策可以实现复杂交叉口的高效和平滑通过,同时保证驾驶智能和安全性。
translated by 谷歌翻译