紧急车辆（EMV）在城市对诸如医疗紧急情况和消防疫情等时间关键事件的回应中发挥着关键作用。现有的降低EMV旅行时间的方法采用路由优化和流量信号在不占路由这两个子问题之间的耦合的情况下。结果，计划的路线通常变得次优。此外，这些方法也不关注最大限度地减少对整体交通流量的干扰。为了解决这些问题，我们在本文中介绍了EMVlight。这是一个分散的加强学习（RL）框架，用于同时动态路由和流量信号控制。 EMVlight扩展了Dijkstra的算法，以便在运行流量网络时实时更新EMV的最佳路由。因此，分散的RL代理学习网络级协同业务信号相位策略，从而减少了网络中非EMV的平均旅行时间和平均旅行时间。我们对综合性和现实世界地图进行了全面的实验，以证明这种好处。我们的研究结果表明，EMVlight优于基准运输工程技术以及现有的基于RL的流量信号控制方法。

紧急车辆（EMV）在应对诸如市区的医疗紧急情况和火灾爆发等时间关键事件方面起着至关重要的作用。 EMV花费在交通中旅行的时间越多，越有助于挽救人们的生命并减少财产损失的可能性就越大。为了减少EMV的旅行时间，先前的工作已根据历史流量流数据和基于最佳路线的流量信号进行优化。但是，流量信号的预先避免动态更改流量，从而改变了EMV的最佳路线。此外，交通信号的先发制人通常会导致交通流量的重大干扰，并随后增加非EMV的旅行时间。在本文中，我们提出了EMVLIGHT，这是一个分散的增强学习（RL）框架，用于同时动态路由和交通信号控制。 EMVLIGHT扩展了Dijkstra的算法，以实时更新EMV的最佳路由，因为它通过流量网络传播。分散的RL代理学习网络级的合作交通信号阶段策略，这些策略不仅减少EMV旅行时间，而且还减少了网络中非EMV的平均旅行时间。通过合成和现实世界地图的全面实验证明了这一好处。这些实验表明，EMVLIGHT优于基准运输工程技术和现有的基于RL的信号控制方法。

紧急车辆（EMV）在应对城市地区的医疗紧急情况和火灾爆发等时间关键电话方面起着至关重要的作用。现有的EMV调度方法通常会根据历史流量数据数据和设计流量信号相应地优化路线；但是，我们仍然缺乏一种系统的方法来解决EMV路由和流量信号控制之间的耦合。在本文中，我们提出了EMVLIGHT，这是一个分散的加固学习（RL）框架，用于联合动态EMV路由和交通信号的先发制人。我们采用具有政策共享和空间折现因子的多代理优势行为者 - 批评方法。该框架通过多级RL代理的创新设计和新型的基于压力的奖励功能来解决EMV导航和交通信号控制之间的耦合。拟议的方法使EMVLIGHT能够学习网络级的合作交通信号相阶段阶段策略，这些策略不仅减少EMV旅行时间，而且还缩短了非EMV的旅行时间。基于仿真的实验表明，EMVLIGHT可使EMV旅行时间减少$ 42.6 \％$，以及与现有方法相比，$ 23.5 \％$短的平均旅行时间。

本文开发了用于多交叉路口自适应交通信号控制（TSC）的分散增强学习（RL）方案，称为“CVlight”，其利用从连接的车辆（CVS）收集的数据。国家和奖励设计促进了代理商之间的协调，并考虑由CVS收集的旅行延误。提出了一种新颖的算法，非对称优势演员 - 评论家（EB-A2C），其中CV和非CV信息都用于培训批评网络，而仅使用CV信息来执行最佳信号定时。综合实验表明，CVlight的优越性在一个2×2合成道路网络下的最先进的算法，各种交通需求模式和穿透速率。然后，学习的政策被可视化以进一步展示ASYM-A2C的优点。采用火车前技术来提高CVlight的可扩展性，这显着缩短了培训时间，并在5×5路网络下表现出性能的优势。在美国宾夕法尼亚州宾夕法尼亚州州学院的2×2路网络上进行了一个案例研究，以进一步展示了在现实世界方案下所提出的算法的有效性。与其他基线模型相比，训练有素的CVlight代理可以仅基于CV数据有效地控制多个交叉点，达到最佳性能，特别是在低CV渗透率下。

交通信号控制是一个具有挑战性的现实问题，旨在通过协调道路交叉路口的车辆移动来最大程度地减少整体旅行时间。现有使用中的流量信号控制系统仍然很大程度上依赖于过度简化的信息和基于规则的方法。具体而言，可以将绿色/红灯交替的周期性视为在策略优化中对每个代理进行更好计划的先验。为了更好地学习这种适应性和预测性先验，传统的基于RL的方法只能从只有本地代理的预定义动作池返回固定的长度。如果这些代理之间没有合作，则某些代理商通常会对其他代理产生冲突，从而减少整个吞吐量。本文提出了一个合作，多目标体系结构，具有年龄段的权重，以更好地估算流量信号控制优化的多重奖励条款，该奖励术语称为合作的多目标多代理多代理深度确定性策略梯度（Comma-ddpg）。运行的两种类型的代理可以最大程度地提高不同目标的奖励 - 一种用于每个交叉路口的本地流量优化，另一种用于全球流量等待时间优化。全球代理用于指导本地代理作为帮助更快学习的手段，但在推理阶段不使用。我们还提供了解决溶液存在的分析，并为提出的RL优化提供了融合证明。使用亚洲国家的交通摄像机收集的现实世界流量数据进行评估。我们的方法可以有效地将总延迟时间减少60 \％。结果表明，与SOTA方法相比，其优越性。

自动驾驶在过去二十年中吸引了重要的研究兴趣，因为它提供了许多潜在的好处，包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途，但车道变化仍然是自治车辆（AV）的巨大挑战，特别是在混合和动态的交通方案中。最近，强化学习（RL）是一种强大的数据驱动控制方法，已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而，这些研究的大多数研究专注于单车展，并且在多个AVS与人类驱动车辆（HDV）共存的情况下，道路变化已经受到稀缺的关注。在本文中，我们在混合交通公路环境中制定了多个AVS的车道改变决策，作为多功能增强学习（Marl）问题，其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地，使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络（MA2C）。特别是，提出了一种多目标奖励功能来纳入燃油效率，驾驶舒适度和自主驾驶的安全性。综合实验结果，在三种不同的交通密度和各级人类司机侵略性下进行，表明我们所提出的Marl框架在效率，安全和驾驶员舒适方面始终如一地优于几个最先进的基准。

应用用于交通信号控制（TSC）的增强学习（RL）技术的一般趋势。最近，大多数研究都注意神经网络设计，很少集中在国家代表上。国家代表的设计是否对TSC产生了良好的影响？在本文中，我们（1）提出了一种有效的国家代表，作为具有密集知识的车辆的队列长度; （2）提出了一种基于我们的国家表示方法的TSC方法，称为Maxqueue; （3）通过基于传统和最新RL模型的QL-Xlight模板，开发一个名为QL-Xlight的基于QL-Xlight的TSC模板，以及QL-FRAP，QL-Colight和QL-DQN。通过对多个现实世界数据集的全面实验，我们证明：（1）我们的Maxqueue方法优于最新的基于RL的方法; （2）QL-FRAP和QL-COLIGHT实现了一种新的最先进（SOTA）。通常，具有密集知识的状态表示对于TSC方法也是必不可少的。我们的代码在github上发布。

本文重点介绍了大型城市网络的几个属性，这些属性可能会影响应用于交通信号控制的机器学习方法。特别是，我们表明，随着密度的增加，平均网络流往往独立于信号控制策略。到目前为止，这种属性一直存在于雷达之下，这意味着在拥挤的条件下训练时，深厚的增强学习（DRL）方法变得无效，并且可能解释了DRL在交通信号控制方面的成功有限。我们的结果适用于所有可能的网格网络，这要归功于基于两个网络参数的参数化：连续交通信号灯与预期绿色时间之间的预期距离和交叉点的转弯概率的比率。具有不同参数的网络对流量信号控制的响应非常不同。值得注意的是，我们发现没有控制（即随机政策）可以成为一个令人惊讶的大型网络家庭的有效控制策略。对于基线和DRL政策而言，转向概率的影响都非常重要。它还解释了这些策略观察到的对称性的丧失，这并不能由依赖走廊近似没有转弯的现有理论捕获。我们的发现还表明，监督的学习方法具有巨大的潜力，因为它们几乎不需要实例来制定出色的政策。

最近，寻找交通状态表示的基本属性比交通信号控制（TSC）的复杂算法更为重要。跑步和排队的车辆考虑到决定是否改变当前阶段;（2）新颖的设计交通运输表示与高级MP的有效压力和有效运行的车辆，即高级交通状态（ATS）;（3）通过与当前RL方法的ats组合并生成两个RL算法，“Advanced-Mplight”和“Advanced-Colight”，开发基于RL的算法模板Advanced-Xlight。多个现实世界数据集的综合实验表明：（1）高级MP优于基线方法，可为部署有效可靠;（2）先进的热门和高级雕塑可以实现新的最先进。我们的代码在github上发布。

由于传统方法无法适应动态交通条件，因此增强学习（RL）吸引了更多地关注，帮助解决交通信号控制（TSC）问题。然而，考虑到它们在计算资源方面既不具有比传统方法更具成本效益，都不会部署基于RL的方法，这提出了一个关键的研究问题：如何用较少的训练构建自适应控制器，减少TSC基于RL的方法的复杂性？为了解决这个问题，在本文中，我们（1）创新地将交通流量表示指定为交通网络中的车辆队列的简单但有效的压力，即有效的压力（EP）; （2）构建流量信号设置协议，包括TSC的阶段，信号相位数和EP; （3）设计基于传统最大压力（MP）方法的TSC方法，即使用EP捕获交通状态的高效最大压力（高效-MP）; （4）开发一般的基于RL的TSC算法模板：EP下有效的Xlight（效率Xlight）。通过对TSC的交通信号设置的多个实际数据集的全面实验，我们证明了与基于传统和RL的建模互补的压力，以设计更好的TSC方法。我们的代码在github上发布。

事物互联网（物联网）和人工智能（AI）的快速进步催化了智能城市的自适应交通信号控制系统（ATCS）的开发。特别是，深度增强学习（DRL）方法产生最先进的性能，并且具有很大的实际应用潜力。在现有的基于DRL的ATC中，受控信号从附近车辆收集交通状态信息，然后可以基于收集的信息确定最佳动作（例如，切换阶段）。 DRL模型完全“信任”该车辆正在向信号发送真实信息，使ATC易受伪造信息的对抗攻击。鉴于此，本文首次制定了一种新颖的任务，其中一组车辆可以协同地发送伪造的信息，以“欺骗”基于DRL的ATC，以节省他们的总旅行时间。为了解决拟议的任务，我们开发了由道路状语编码器，车辆解释器和通信机制组成的通用和有效的车辆斗争框架。我们采用我们的方法来攻击建立的基于DRL的ATC，并证明拼拼载的总行程时间可以通过合理数量的学习剧集显着减少，并且如果拼的车辆的数量增加，勾结效果将减小。此外，还提供了对基于DRL的ATC的实际部署的见解和建议。研究结果可以帮助提高ATC的可靠性和鲁棒性，并更好地保护智能移动系统。

深度强化学习（DRL）使用多样化的非结构化数据，并使RL能够在高维环境中学习复杂的策略。基于自动驾驶汽车（AVS）的智能运输系统（ITS）为基于政策的DRL提供了绝佳的操场。深度学习体系结构解决了传统算法的计算挑战，同时帮助实现了AV的现实采用和部署。 AVS实施的主要挑战之一是，即使不是可靠和有效地管理的道路上的交通拥堵可能会加剧交通拥堵。考虑到每辆车的整体效果并使用高效和可靠的技术可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能的交通管制系统，该系统处理在交叉路口和交叉点后面的复杂交通拥堵场景。我们提出了一个基于DRL的信号控制系统，该系统根据当前交叉点的当前拥塞状况动态调整交通信号。为了应对交叉路口后面的道路上的拥堵，我们使用重新穿线技术来加载道路网络上的车辆。为了实现拟议方法的实际好处，我们分解了数据筒仓，并将所有来自传感器，探测器，车辆和道路结合使用的数据结合起来，以实现可持续的结果。我们使用Sumo微型模拟器进行模拟。我们提出的方法的重要性从结果中体现出来。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

交通信号控制对于有效使用运输基础设施是至关重要的。车辆交通的快速增长和交通模式的变化使交通信号控制越来越具有挑战性。基于加强学习（RL）的算法已经证明了它们在处理交通信号控制方面的潜力。然而，大多数现有解决方案需要大量的培训数据，这对于许多真实的情景来说是不可接受的。本文提出了一种用于交通信号控制的新型模型的元增强学习框架（型号）。在Modelight中，用于道路交叉路口模型的集合和基于优化的元学习方法，用于提高基于RL的流量光控制方法的数据效率。现实世界数据集的实验表明，制造智慧可以倾向于最先进的交通光控制算法，同时大大减少了与现实世界环境的所需交互的数量。

Reinforcement Learning (RL) is currently one of the most commonly used techniques for traffic signal control (TSC), which can adaptively adjusted traffic signal phase and duration according to real-time traffic data. However, a fully centralized RL approach is beset with difficulties in a multi-network scenario because of exponential growth in state-action space with increasing intersections. Multi-agent reinforcement learning (MARL) can overcome the high-dimension problem by employing the global control of each local RL agent, but it also brings new challenges, such as the failure of convergence caused by the non-stationary Markov Decision Process (MDP). In this paper, we introduce an off-policy nash deep Q-Network (OPNDQN) algorithm, which mitigates the weakness of both fully centralized and MARL approaches. The OPNDQN algorithm solves the problem that traditional algorithms cannot be used in large state-action space traffic models by utilizing a fictitious game approach at each iteration to find the nash equilibrium among neighboring intersections, from which no intersection has incentive to unilaterally deviate. One of main advantages of OPNDQN is to mitigate the non-stationarity of multi-agent Markov process because it considers the mutual influence among neighboring intersections by sharing their actions. On the other hand, for training a large traffic network, the convergence rate of OPNDQN is higher than that of existing MARL approaches because it does not incorporate all state information of each agent. We conduct an extensive experiments by using Simulation of Urban MObility simulator (SUMO), and show the dominant superiority of OPNDQN over several existing MARL approaches in terms of average queue length, episode training reward and average waiting time.

在本文中，我们重新审视了钢筋学习（RL）途径的一些基本场所，以自学习红绿灯。我们提出了一种选择的选择，提供强大的性能和良好的通知来看不见的交通流量。特别是，我们的主要贡献是三倍：我们的轻量级和聚类感知状态表示导致性能提高;我们重新格式化马尔可夫决策过程（MDP），使得它跳过冗余的黄灯时间，加快学习30％;我们调查了行动空间，并提供了对非循环和循环转换之间的性能差异的洞察。此外，我们提供了对未经证明交通的方法的概念性的见解。使用现实世界杭州交通数据集的评估表明，绘图优于最先进的规则和深度增强学习算法，展示了基于RL的方法来改善城市交通流量的潜力。

随着自动组件比例越来越多的新兴车辆系统提供了最佳控制的机会，以减轻交通拥堵和提高效率。最近有兴趣将深入增强学习（DRL）应用于这些非线性动力学系统，以自动设计有效的控制策略。尽管DRL是无模型的概念优势，但研究通常仍依赖于对特定车辆系统的艰苦训练设置。这是对各种车辆和机动性系统有效分析的关键挑战。为此，本文贡献了一种简化的用于车辆微仿真的方法，并以最少的手动设计发现了高性能控制策略。提出了一种可变的代理，多任务方法，以优化车辆部分观察到的马尔可夫决策过程。该方法在混合自治交通系统上进行了实验验证，该系统是自动化的。在六种不同的开放或封闭交通系统的所有配置中都可以观察到经验改进，通常比人类驾驶基线的15-60％。该研究揭示了许多紧急行为类似于缓解波浪，交通信号传导和坡道计量。最后，对新兴行为进行了分析，以产生可解释的控制策略，这些控制策略已通过学习的控制策略进行了验证。

增强学习算法需要大量样品；这通常会限制他们的现实应用程序在简单的任务上。在多代理任务中，这种挑战更为出色，因为操作的每个步骤都需要进行沟通，转移或资源。这项工作旨在通过基于模型的学习来提高多代理控制的数据效率。我们考虑了代理商合作并仅与邻居进行当地交流的网络系统，并提出了基于模型的政策优化框架（DMPO）。在我们的方法中，每个代理都会学习一个动态模型，以预测未来的状态并通过通信广播其预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏见，我们限制了用于产生近视推出的模型使用量，从而减少了模型生成的复合误差。为了使策略更新的独立性有关，我们引入了扩展的价值函数，理论上证明了由此产生的策略梯度是与真实策略梯度的紧密近似。我们在几个智能运输系统的基准上评估了我们的算法，这些智能运输系统是连接的自动驾驶汽车控制任务（FLOW和CACC）和自适应交通信号控制（ATSC）。经验结果表明，我们的方法可以实现卓越的数据效率，并使用真实模型匹配无模型方法的性能。

交通信号控制（TSC）是一个高风险域，随着交通量在全球的增长而增长。越来越多的作品将加固学习（RL）应用于TSC；RL可以利用大量的流量数据来提高信号效率。但是，从未部署基于RL的信号控制器。在这项工作中，我们提供了对TSC进行RL之前必须解决的挑战的首次审查。我们专注于四个涉及（1）检测不确定性的挑战，（2）通信的可靠性，（3）合规性和解释性以及（4）异构道路使用者。我们表明，基于RL的TSC的文献在应对每个挑战方面取得了一些进展。但是，更多的工作应采用系统思维方法，以考虑其他管道组件对RL的影响。

许多现实世界的应用程序都可以作为多机构合作问题进行配置，例如网络数据包路由和自动驾驶汽车的协调。深入增强学习（DRL）的出现为通过代理和环境的相互作用提供了一种有前途的多代理合作方法。但是，在政策搜索过程中，传统的DRL解决方案遭受了多个代理具有连续动作空间的高维度。此外，代理商政策的动态性使训练非平稳。为了解决这些问题，我们建议采用高级决策和低水平的个人控制，以进行有效的政策搜索，提出一种分层增强学习方法。特别是，可以在高级离散的动作空间中有效地学习多个代理的合作。同时，低水平的个人控制可以减少为单格强化学习。除了分层增强学习外，我们还建议对手建模网络在学习过程中对其他代理的政策进行建模。与端到端的DRL方法相反，我们的方法通过以层次结构将整体任务分解为子任务来降低学习的复杂性。为了评估我们的方法的效率，我们在合作车道变更方案中进行了现实世界中的案例研究。模拟和现实世界实验都表明我们的方法在碰撞速度和收敛速度中的优越性。