应用用于交通信号控制（TSC）的增强学习（RL）技术的一般趋势。最近，大多数研究都注意神经网络设计，很少集中在国家代表上。国家代表的设计是否对TSC产生了良好的影响？在本文中，我们（1）提出了一种有效的国家代表，作为具有密集知识的车辆的队列长度; （2）提出了一种基于我们的国家表示方法的TSC方法，称为Maxqueue; （3）通过基于传统和最新RL模型的QL-Xlight模板，开发一个名为QL-Xlight的基于QL-Xlight的TSC模板，以及QL-FRAP，QL-Colight和QL-DQN。通过对多个现实世界数据集的全面实验，我们证明：（1）我们的Maxqueue方法优于最新的基于RL的方法; （2）QL-FRAP和QL-COLIGHT实现了一种新的最先进（SOTA）。通常，具有密集知识的状态表示对于TSC方法也是必不可少的。我们的代码在github上发布。

最近，寻找交通状态表示的基本属性比交通信号控制（TSC）的复杂算法更为重要。跑步和排队的车辆考虑到决定是否改变当前阶段;（2）新颖的设计交通运输表示与高级MP的有效压力和有效运行的车辆，即高级交通状态（ATS）;（3）通过与当前RL方法的ats组合并生成两个RL算法，“Advanced-Mplight”和“Advanced-Colight”，开发基于RL的算法模板Advanced-Xlight。多个现实世界数据集的综合实验表明：（1）高级MP优于基线方法，可为部署有效可靠;（2）先进的热门和高级雕塑可以实现新的最先进。我们的代码在github上发布。

由于传统方法无法适应动态交通条件，因此增强学习（RL）吸引了更多地关注，帮助解决交通信号控制（TSC）问题。然而，考虑到它们在计算资源方面既不具有比传统方法更具成本效益，都不会部署基于RL的方法，这提出了一个关键的研究问题：如何用较少的训练构建自适应控制器，减少TSC基于RL的方法的复杂性？为了解决这个问题，在本文中，我们（1）创新地将交通流量表示指定为交通网络中的车辆队列的简单但有效的压力，即有效的压力（EP）; （2）构建流量信号设置协议，包括TSC的阶段，信号相位数和EP; （3）设计基于传统最大压力（MP）方法的TSC方法，即使用EP捕获交通状态的高效最大压力（高效-MP）; （4）开发一般的基于RL的TSC算法模板：EP下有效的Xlight（效率Xlight）。通过对TSC的交通信号设置的多个实际数据集的全面实验，我们证明了与基于传统和RL的建模互补的压力，以设计更好的TSC方法。我们的代码在github上发布。

本文开发了用于多交叉路口自适应交通信号控制（TSC）的分散增强学习（RL）方案，称为“CVlight”，其利用从连接的车辆（CVS）收集的数据。国家和奖励设计促进了代理商之间的协调，并考虑由CVS收集的旅行延误。提出了一种新颖的算法，非对称优势演员 - 评论家（EB-A2C），其中CV和非CV信息都用于培训批评网络，而仅使用CV信息来执行最佳信号定时。综合实验表明，CVlight的优越性在一个2×2合成道路网络下的最先进的算法，各种交通需求模式和穿透速率。然后，学习的政策被可视化以进一步展示ASYM-A2C的优点。采用火车前技术来提高CVlight的可扩展性，这显着缩短了培训时间，并在5×5路网络下表现出性能的优势。在美国宾夕法尼亚州宾夕法尼亚州州学院的2×2路网络上进行了一个案例研究，以进一步展示了在现实世界方案下所提出的算法的有效性。与其他基线模型相比，训练有素的CVlight代理可以仅基于CV数据有效地控制多个交叉点，达到最佳性能，特别是在低CV渗透率下。

紧急车辆（EMV）在应对城市地区的医疗紧急情况和火灾爆发等时间关键电话方面起着至关重要的作用。现有的EMV调度方法通常会根据历史流量数据数据和设计流量信号相应地优化路线；但是，我们仍然缺乏一种系统的方法来解决EMV路由和流量信号控制之间的耦合。在本文中，我们提出了EMVLIGHT，这是一个分散的加固学习（RL）框架，用于联合动态EMV路由和交通信号的先发制人。我们采用具有政策共享和空间折现因子的多代理优势行为者 - 批评方法。该框架通过多级RL代理的创新设计和新型的基于压力的奖励功能来解决EMV导航和交通信号控制之间的耦合。拟议的方法使EMVLIGHT能够学习网络级的合作交通信号相阶段阶段策略，这些策略不仅减少EMV旅行时间，而且还缩短了非EMV的旅行时间。基于仿真的实验表明，EMVLIGHT可使EMV旅行时间减少$ 42.6 \％$，以及与现有方法相比，$ 23.5 \％$短的平均旅行时间。

紧急车辆（EMV）在应对诸如市区的医疗紧急情况和火灾爆发等时间关键事件方面起着至关重要的作用。 EMV花费在交通中旅行的时间越多，越有助于挽救人们的生命并减少财产损失的可能性就越大。为了减少EMV的旅行时间，先前的工作已根据历史流量流数据和基于最佳路线的流量信号进行优化。但是，流量信号的预先避免动态更改流量，从而改变了EMV的最佳路线。此外，交通信号的先发制人通常会导致交通流量的重大干扰，并随后增加非EMV的旅行时间。在本文中，我们提出了EMVLIGHT，这是一个分散的增强学习（RL）框架，用于同时动态路由和交通信号控制。 EMVLIGHT扩展了Dijkstra的算法，以实时更新EMV的最佳路由，因为它通过流量网络传播。分散的RL代理学习网络级的合作交通信号阶段策略，这些策略不仅减少EMV旅行时间，而且还减少了网络中非EMV的平均旅行时间。通过合成和现实世界地图的全面实验证明了这一好处。这些实验表明，EMVLIGHT优于基准运输工程技术和现有的基于RL的信号控制方法。

紧急车辆（EMV）在城市对诸如医疗紧急情况和消防疫情等时间关键事件的回应中发挥着关键作用。现有的降低EMV旅行时间的方法采用路由优化和流量信号在不占路由这两个子问题之间的耦合的情况下。结果，计划的路线通常变得次优。此外，这些方法也不关注最大限度地减少对整体交通流量的干扰。为了解决这些问题，我们在本文中介绍了EMVlight。这是一个分散的加强学习（RL）框架，用于同时动态路由和流量信号控制。 EMVlight扩展了Dijkstra的算法，以便在运行流量网络时实时更新EMV的最佳路由。因此，分散的RL代理学习网络级协同业务信号相位策略，从而减少了网络中非EMV的平均旅行时间和平均旅行时间。我们对综合性和现实世界地图进行了全面的实验，以证明这种好处。我们的研究结果表明，EMVlight优于基准运输工程技术以及现有的基于RL的流量信号控制方法。

交通信号控制是一个具有挑战性的现实问题，旨在通过协调道路交叉路口的车辆移动来最大程度地减少整体旅行时间。现有使用中的流量信号控制系统仍然很大程度上依赖于过度简化的信息和基于规则的方法。具体而言，可以将绿色/红灯交替的周期性视为在策略优化中对每个代理进行更好计划的先验。为了更好地学习这种适应性和预测性先验，传统的基于RL的方法只能从只有本地代理的预定义动作池返回固定的长度。如果这些代理之间没有合作，则某些代理商通常会对其他代理产生冲突，从而减少整个吞吐量。本文提出了一个合作，多目标体系结构，具有年龄段的权重，以更好地估算流量信号控制优化的多重奖励条款，该奖励术语称为合作的多目标多代理多代理深度确定性策略梯度（Comma-ddpg）。运行的两种类型的代理可以最大程度地提高不同目标的奖励 - 一种用于每个交叉路口的本地流量优化，另一种用于全球流量等待时间优化。全球代理用于指导本地代理作为帮助更快学习的手段，但在推理阶段不使用。我们还提供了解决溶液存在的分析，并为提出的RL优化提供了融合证明。使用亚洲国家的交通摄像机收集的现实世界流量数据进行评估。我们的方法可以有效地将总延迟时间减少60 \％。结果表明，与SOTA方法相比，其优越性。

交通信号控制对于有效使用运输基础设施是至关重要的。车辆交通的快速增长和交通模式的变化使交通信号控制越来越具有挑战性。基于加强学习（RL）的算法已经证明了它们在处理交通信号控制方面的潜力。然而，大多数现有解决方案需要大量的培训数据，这对于许多真实的情景来说是不可接受的。本文提出了一种用于交通信号控制的新型模型的元增强学习框架（型号）。在Modelight中，用于道路交叉路口模型的集合和基于优化的元学习方法，用于提高基于RL的流量光控制方法的数据效率。现实世界数据集的实验表明，制造智慧可以倾向于最先进的交通光控制算法，同时大大减少了与现实世界环境的所需交互的数量。

在本文中，我们重新审视了钢筋学习（RL）途径的一些基本场所，以自学习红绿灯。我们提出了一种选择的选择，提供强大的性能和良好的通知来看不见的交通流量。特别是，我们的主要贡献是三倍：我们的轻量级和聚类感知状态表示导致性能提高;我们重新格式化马尔可夫决策过程（MDP），使得它跳过冗余的黄灯时间，加快学习30％;我们调查了行动空间，并提供了对非循环和循环转换之间的性能差异的洞察。此外，我们提供了对未经证明交通的方法的概念性的见解。使用现实世界杭州交通数据集的评估表明，绘图优于最先进的规则和深度增强学习算法，展示了基于RL的方法来改善城市交通流量的潜力。

深度强化学习（DRL）使用多样化的非结构化数据，并使RL能够在高维环境中学习复杂的策略。基于自动驾驶汽车（AVS）的智能运输系统（ITS）为基于政策的DRL提供了绝佳的操场。深度学习体系结构解决了传统算法的计算挑战，同时帮助实现了AV的现实采用和部署。 AVS实施的主要挑战之一是，即使不是可靠和有效地管理的道路上的交通拥堵可能会加剧交通拥堵。考虑到每辆车的整体效果并使用高效和可靠的技术可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能的交通管制系统，该系统处理在交叉路口和交叉点后面的复杂交通拥堵场景。我们提出了一个基于DRL的信号控制系统，该系统根据当前交叉点的当前拥塞状况动态调整交通信号。为了应对交叉路口后面的道路上的拥堵，我们使用重新穿线技术来加载道路网络上的车辆。为了实现拟议方法的实际好处，我们分解了数据筒仓，并将所有来自传感器，探测器，车辆和道路结合使用的数据结合起来，以实现可持续的结果。我们使用Sumo微型模拟器进行模拟。我们提出的方法的重要性从结果中体现出来。

为了减少旅行延迟并提高能源效率的策略，在非信号交叉点上连接和自动驾驶汽车（CAV）的排在学术界越来越流行。但是，很少有研究试图建模最佳排大小与交叉路口周围的交通状况之间的关系。为此，这项研究提出了一个基于自动排的基于自主的交叉控制模型，该模型由深钢筋学习（DRL）技术提供动力。该模型框架具有以下两个级别：第一级采用了第一次发球（FCFS）基于预订的策略，该政策与非冲突的车道选择机制集成在一起，以确定车辆的通过优先级；第二级应用深度Q-Network算法来根据交叉路口的实时交通状况识别最佳排尺寸。在交通微模拟器进行测试时，我们提出的模型与最先进的方法相比，在旅行效率和燃料保护方面表现出卓越的性能。

Reinforcement Learning (RL) is currently one of the most commonly used techniques for traffic signal control (TSC), which can adaptively adjusted traffic signal phase and duration according to real-time traffic data. However, a fully centralized RL approach is beset with difficulties in a multi-network scenario because of exponential growth in state-action space with increasing intersections. Multi-agent reinforcement learning (MARL) can overcome the high-dimension problem by employing the global control of each local RL agent, but it also brings new challenges, such as the failure of convergence caused by the non-stationary Markov Decision Process (MDP). In this paper, we introduce an off-policy nash deep Q-Network (OPNDQN) algorithm, which mitigates the weakness of both fully centralized and MARL approaches. The OPNDQN algorithm solves the problem that traditional algorithms cannot be used in large state-action space traffic models by utilizing a fictitious game approach at each iteration to find the nash equilibrium among neighboring intersections, from which no intersection has incentive to unilaterally deviate. One of main advantages of OPNDQN is to mitigate the non-stationarity of multi-agent Markov process because it considers the mutual influence among neighboring intersections by sharing their actions. On the other hand, for training a large traffic network, the convergence rate of OPNDQN is higher than that of existing MARL approaches because it does not incorporate all state information of each agent. We conduct an extensive experiments by using Simulation of Urban MObility simulator (SUMO), and show the dominant superiority of OPNDQN over several existing MARL approaches in terms of average queue length, episode training reward and average waiting time.

交叉路口交通信号控制器（TSC）中的次优化控制策略有助于拥堵，导致对人类健康和环境的负面影响。交通信号控制的强化学习（RL）是设计更好控制政策的有希望的方法，并近年来吸引了相当大的研究兴趣。但是，在该区域中完成的大多数工作使用了交通方案的简化仿真环境，以培训基于RL的TSC。要在现实世界流量系统中部署RL，必须关闭简化的仿真环境和现实应用程序之间的差距。因此，我们提出了一个基准工具，将RL代理作为TSC的基准工具，在Lemgo的德国中型镇的逼真模拟环境中。除了现实的仿真模型之外，LEMGORL还包括交通信号逻辑单元，可确保符合所有监管和安全要求。 LEMGORL提供与Killknown Openai健身房工具包相同的界面，以便在现有的研究工作中轻松进行部署。为了演示LemGorl的功能和适用性，我们利用分布式和并行RL的框架训练CPU群集的最先进的深rl算法，并将其性能与其他方法进行比较。我们的基准工具推动了RL算法对现实世界的应用。

智能城市的智能交通灯可以最佳地减少交通拥堵。在这项研究中，我们采用了加强学习，培训了城市移动模拟器的红绿灯的控制代理。由于现有工程的差异，除了基于价值的方法之外，利用基于策略的深度加强学习方法，近端策略优化（PPO），例如Deep Q网络（DQN）和双DQN（DDQN）。首先，将获得PPO的最佳政策与来自DQN和DDQN的PPO相比。发现PPO的政策比其他政策更好。接下来，而不是固定间隔的流量光阶段，我们采用具有可变时间间隔的光相位，这导致更好的策略来传递流量流。然后，研究了环境和行动干扰的影响，以展示基于学习的控制器是强大的。最后，我们考虑不平衡的交通流量，并发现智能流量可以适度地对不平衡的流量方案执行，尽管它仅从平衡流量方案中了解最佳策略。

本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

本文通过像素保留算法和深度增强学习（DRL）决策逻辑的结合，为CAV提供了无信号的交叉控制系统，然后是对拟议模型的走廊级影响评估。像素保留算法检测到潜在的碰撞操作，DRL逻辑优化了车辆的运动，以避免碰撞并最大程度地减少交叉路口的整体延迟。拟议的控制系统称为分散的稀疏协调系统（DSCLS），因为每辆车都有自己的控制逻辑，并且仅在协调状态下与其他车辆互动。由于在DRL的培训课程中采取随机行动的链条影响，训练有素的模型可以应对前所未有的体积条件，这在交叉管理中构成了主要挑战。将开发模型的性能与传统和基于CAV的控制系统进行了比较，包括固定的交通信号灯，驱动的交通信号灯以及最长的队列第一（LQF）控制系统，在Vissim软件中四个交叉路口的走廊中，在三个卷机制下进行了比较。模拟结果表明，与其他基于CAV的控制系统相比，提出的模型在中等，高和极端体积方案中将延迟减少了50％，29％和23％。旅行时间，燃油消耗，排放和替代安全措施（SSM）的改善也很明显。

交通信号控制（TSC）是一个高风险域，随着交通量在全球的增长而增长。越来越多的作品将加固学习（RL）应用于TSC；RL可以利用大量的流量数据来提高信号效率。但是，从未部署基于RL的信号控制器。在这项工作中，我们提供了对TSC进行RL之前必须解决的挑战的首次审查。我们专注于四个涉及（1）检测不确定性的挑战，（2）通信的可靠性，（3）合规性和解释性以及（4）异构道路使用者。我们表明，基于RL的TSC的文献在应对每个挑战方面取得了一些进展。但是，更多的工作应采用系统思维方法，以考虑其他管道组件对RL的影响。

建模城市环境中的网络级交通流量如何变化对于运输，公共安全和城市规划中的决策有用。交通流量系统可以视为一个动态过程，随着时间的推移，状态之间（例如，每个道路段的交通量）之间过渡。在现实世界中的流量系统中，诸如交通信号控制或可逆车道更改之类的交通操作动作，该系统的状态受历史状态和交通操作的行动的影响。在本文中，我们考虑了在现实世界中建模网络级交通流量的问题，在现实世界中，可用数据稀疏（即仅观察到交通系统的一部分）。我们提出了Dtignn，该方法可以预测稀疏数据的网络级流量流。 Dtignn将交通系统建模为受交通信号影响的动态图，学习以运输的基本过渡方程为基础的过渡模型，并预测未来的交通状态在此过程中归类。通过全面的实验，我们证明了我们的方法优于最先进的方法，并且可以更好地支持运输中的决策。

交通信号控制（TSC）的增强学习（RL）在模拟中显示出比常规方法更好的控制交通流量的性能。但是，由于几个挑战，该领域尚未部署基于RL的TSC。实际部署的一个主要挑战是确保在操作过程中始终满足所有安全要求。我们提出了一种方法，可以通过使用设计安全的动作空间来确保现实世界中的安全性。动作空间包括交通阶段，代表交叉路口的非冲突信号颜色的组合。此外，动作掩盖机制可确保仅进行适当的相变。现实世界部署的另一个挑战是确保控制行为避免道路使用者压力。我们通过扩展动作掩盖机制来结合域知识来演示如何实现这一目标。我们在现实的模拟方案中测试和验证我们的方法。通过确保安全性和心理愉悦的控制行为，我们的方法推动了RL为TSC的现实部署的发展。