许多智能交通系统是多种代理系统，即交​​通参与者和运输基础设施内的子系统都可以被建模为互动代理。使用基于AI的方法在不同的代理系统之间实现协调可以提供更好的安全系统，这些运输系统仅包含人类操作车辆的运输系统，并在交通吞吐量，传感范围和启用协作任务方面提高系统效率。然而，增加的自主权使运输基础设施容易受到损害的车辆代理或基础设施。本文通过将信托权限嵌入运输基础设施来系统地量化称为主观逻辑的认知逻辑来系统地量化代理商的可信度来提出新的框架。在本文中，我们提出了以下新的贡献：（i）我们提出了一个框架，以利用代理商的量化可靠性来实现信任感知的协调和控制。 （ii）我们展示如何使用基于强化学习的方法来综合信任感知控制器。 （iii）我们全面分析了自主交叉口管理（AIM）案例研究，并制定了一个名为AIM-Trust的信任知识版本，导致在由可信和不受信任的代理商的混合中的情景中导致事故率降低。

在未来几年和几十年中，自动驾驶汽车（AV）将变得越来越普遍，为更安全，更方便的旅行提供了新的机会，并可能利用自动化和连接性的更智能的交通控制方法。跟随汽车是自动驾驶中的主要功能。近年来，基于强化学习的汽车已受到关注，目的是学习和达到与人类相当的绩效水平。但是，大多数现有的RL方法将汽车模拟为单方面问题，仅感知前方的车辆。然而，最近的文献，王和霍恩[16]表明，遵循的双边汽车考虑了前方的车辆，而后面的车辆表现出更好的系统稳定性。在本文中，我们假设可以使用RL学习这款双边汽车，同时学习其他目标，例如效率最大化，混蛋最小化和安全奖励，从而导致学识渊博的模型超过了人类驾驶。我们通过将双边信息集成到基于双边控制模型（BCM）的CAR遵循控制的状态和奖励功能的情况下，提出并引入了遵循控制遵循的汽车的深钢筋学习（DRL）框架。此外，我们使用分散的多代理增强学习框架来为每个代理生成相​​应的控制动作。我们的仿真结果表明，我们学到的政策比（a）汽车间的前进方向，（b）平均速度，（c）混蛋，（d）碰撞时间（TTC）和（e）的速度更好。字符串稳定性。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

作为一项新兴技术，据信，连接的自动驾驶汽车能够以更高的效率通过交叉点，并且与基于预先设计的基于模型或基于优化的计划通过计划相比，已经进行了数十年的相关研究，这是相比的。在过去两年中，自主交叉管理（AIM）领域（AIM）领域的分布强化学习才开始出现，并面临许多挑战。我们的研究设计了一个多级学习框架，具有各种观察范围，动作步骤和奖励期，以充分利用车辆周围的信息，并帮助找出所有车辆的最佳交互策略。我们的实验已证明，与没有它的RL相比，与RL相比，该框架可以显着提高安全性，并提高效率与基线相比。

许多现实世界的应用程序都可以作为多机构合作问题进行配置，例如网络数据包路由和自动驾驶汽车的协调。深入增强学习（DRL）的出现为通过代理和环境的相互作用提供了一种有前途的多代理合作方法。但是，在政策搜索过程中，传统的DRL解决方案遭受了多个代理具有连续动作空间的高维度。此外，代理商政策的动态性使训练非平稳。为了解决这些问题，我们建议采用高级决策和低水平的个人控制，以进行有效的政策搜索，提出一种分层增强学习方法。特别是，可以在高级离散的动作空间中有效地学习多个代理的合作。同时，低水平的个人控制可以减少为单格强化学习。除了分层增强学习外，我们还建议对手建模网络在学习过程中对其他代理的政策进行建模。与端到端的DRL方法相反，我们的方法通过以层次结构将整体任务分解为子任务来降低学习的复杂性。为了评估我们的方法的效率，我们在合作车道变更方案中进行了现实世界中的案例研究。模拟和现实世界实验都表明我们的方法在碰撞速度和收敛速度中的优越性。

本文通过像素保留算法和深度增强学习（DRL）决策逻辑的结合，为CAV提供了无信号的交叉控制系统，然后是对拟议模型的走廊级影响评估。像素保留算法检测到潜在的碰撞操作，DRL逻辑优化了车辆的运动，以避免碰撞并最大程度地减少交叉路口的整体延迟。拟议的控制系统称为分散的稀疏协调系统（DSCLS），因为每辆车都有自己的控制逻辑，并且仅在协调状态下与其他车辆互动。由于在DRL的培训课程中采取随机行动的链条影响，训练有素的模型可以应对前所未有的体积条件，这在交叉管理中构成了主要挑战。将开发模型的性能与传统和基于CAV的控制系统进行了比较，包括固定的交通信号灯，驱动的交通信号灯以及最长的队列第一（LQF）控制系统，在Vissim软件中四个交叉路口的走廊中，在三个卷机制下进行了比较。模拟结果表明，与其他基于CAV的控制系统相比，提出的模型在中等，高和极端体积方案中将延迟减少了50％，29％和23％。旅行时间，燃油消耗，排放和替代安全措施（SSM）的改善也很明显。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

自动驾驶在过去二十年中吸引了重要的研究兴趣，因为它提供了许多潜在的好处，包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途，但车道变化仍然是自治车辆（AV）的巨大挑战，特别是在混合和动态的交通方案中。最近，强化学习（RL）是一种强大的数据驱动控制方法，已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而，这些研究的大多数研究专注于单车展，并且在多个AVS与人类驱动车辆（HDV）共存的情况下，道路变化已经受到稀缺的关注。在本文中，我们在混合交通公路环境中制定了多个AVS的车道改变决策，作为多功能增强学习（Marl）问题，其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地，使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络（MA2C）。特别是，提出了一种多目标奖励功能来纳入燃油效率，驾驶舒适度和自主驾驶的安全性。综合实验结果，在三种不同的交通密度和各级人类司机侵略性下进行，表明我们所提出的Marl框架在效率，安全和驾驶员舒适方面始终如一地优于几个最先进的基准。

城市交叉点的交通效率提高在自动交叉管理领域具有强大的研究兴趣。到目前为止，提出了大多数非学习算法（例如预订或基于优化的算法）来解决基本的多代理计划问题。同时，使用机器学习方法越来越多地实施了单个自我车辆的自动驾驶功能。在这项工作中，我们基于先前呈现的基于图的场景表示和图形神经网络，以使用强化学习来解决问题。除了车辆的现有节点功能外，通过使用边缘功能，通过使用边缘功能改进了场景表示。这会导致更高的表示网络体系结构利用的表示质量提高。本文对针对自动交叉路口管理通常使用的基线的建议方法进行了深入的评估。与传统的信号交叉路口和增强的第一届第一方案相比，在变化的交通密度下，观察到诱导延迟的显着减少。最后，通过测试训练过程中未见的交叉路口布局的策略来评估基于图的表示的概括能力。该模型实际上将较小的相交布局概括，并且在某些范围内对较大的交叉路口进行了概括。

交通拥堵是现代城市环境中的主要挑战。自动驾驶汽车和自动化车辆（AV）的行业范围内开发激发了AVS如何促进拥塞减少的问题。过去的研究表明，在小规模的混合交通情况下，AVS和人类驱动的车辆，执行受控多种驾驶政策的AVS的一小部分可以减轻拥堵。在本文中，我们扩展了现有方法，并在更复杂的情况下为AVS制定新的多种驾驶政策。首先，我们表明过去研究使用的拥堵指标是​​可以在开放的道路网络场景中操纵的，在该场景中，车辆动态加入并离开道路。然后，我们建议使用一个不同的指标来操纵并反映开放的网络流量效率。接下来，我们提出一种模块化转移增强学习方法，并使用它来扩展多种驾驶政策，以超越类似人类的流量和模拟现实情况下的现有方法，这是一个比过去的场景大的数量级（数百次而不是过去的情况（而不是）数十个车辆）。此外，我们的模块化转移学习方法通​​过将其数据收集集中在网络中的关键位置上，从而节省了我们实验中80％的培训时间。最后，我们首次展示了一项分布式的多重政策，从而改善了人类驱动流量的拥堵。分布式方法更现实和实用，因为它仅依赖于现有的感应和驱动功能，并且不需要添加新的通信基础架构。

由于静态优先规则和遮挡限制了对优先流量的观点，城市交叉口容易延迟和效率低下。改善交通流量的现有方法（广泛称为自动交叉管理系统）主要基于非学习预订方案或优化算法。基于机器学习的技术在计划单个自我车辆方面显示出令人鼓舞的结果。这项工作建议通过共同计划多辆车来利用机器学习算法来优化城市交叉点的交通流量。基于学习的行为计划提出了几个挑战，要求适合的输入和输出表示以及大量的基础数据。我们通过使用基于图形的柔性输入表示并伴随图神经网络来解决以前的问题。这允许有效地编码场景，并固有地为所有相关车辆提供单独的输出。为了学习明智的政策，而不依赖于专家示范的模仿，合作计划任务被视为强化学习问题。我们在开源模拟环境中训练并评估提出的方法，以进行自动驾驶的决策。与静态优先规则管理的第一届第一局和流量相比，学识渊博的计划者表现出显着的流速增长，同时减少了诱导停止的数量。除合成模拟外，还基于从公开可用的IND数据集中获取的现实世界流量数据进行评估。

在自主驾驶场中，人类知识融合到深增强学习（DRL）通常基于在模拟环境中记录的人类示范。这限制了在现实世界交通中的概率和可行性。我们提出了一种两级DRL方法，从真实的人类驾驶中学习，实现优于纯DRL代理的性能。培训DRL代理商是在Carla的框架内完成了机器人操作系统（ROS）。对于评估，我们设计了不同的真实驾驶场景，可以将提出的两级DRL代理与纯DRL代理进行比较。在从人驾驶员中提取“良好”行为之后，例如在信号交叉口中的预期，该代理变得更有效，并且驱动更安全，这使得这种自主代理更适应人体机器人交互（HRI）流量。

我们提出了一种无模型加强学习方法，用于控制模拟交通网络中的混合自主流量，通过交通的双向和四路交叉口。我们的方法利用多代理政策分解，其允许基于本地观测的分散控制进行任意数量的受控车辆。我们证明，即使没有奖励塑造，加强学习也会学会协调车辆以表现出交通信号的行为，实现近乎最佳的受控车辆的最佳吞吐量。在多任务学习和转移学习的帮助下，我们表明这种行为横跨流量率和交通网络的大小推广。我们的代码，型号和视频的结果可在https://github.com/zhongxiayan/mixed_autonomy_intersection获得。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

随着自动组件比例越来越多的新兴车辆系统提供了最佳控制的机会，以减轻交通拥堵和提高效率。最近有兴趣将深入增强学习（DRL）应用于这些非线性动力学系统，以自动设计有效的控制策略。尽管DRL是无模型的概念优势，但研究通常仍依赖于对特定车辆系统的艰苦训练设置。这是对各种车辆和机动性系统有效分析的关键挑战。为此，本文贡献了一种简化的用于车辆微仿真的方法，并以最少的手动设计发现了高性能控制策略。提出了一种可变的代理，多任务方法，以优化车辆部分观察到的马尔可夫决策过程。该方法在混合自治交通系统上进行了实验验证，该系统是自动化的。在六种不同的开放或封闭交通系统的所有配置中都可以观察到经验改进，通常比人类驾驶基线的15-60％。该研究揭示了许多紧急行为类似于缓解波浪，交通信号传导和坡道计量。最后，对新兴行为进行了分析，以产生可解释的控制策略，这些控制策略已通过学习的控制策略进行了验证。

然而，由于各种交通/道路结构方案以及人类驾驶员行为的长时间分布，自动驾驶的感应，感知和本地化取得了重大进展，因此，对于智能车辆来说，这仍然是一个持开放态度的挑战始终知道如何在有可用的传感 /感知 /本地化信息的道路上做出和执行最佳决定。在本章中，我们讨论了人工智能，更具体地说，强化学习如何利用运营知识和安全反射来做出战略性和战术决策。我们讨论了一些与强化学习解决方案的鲁棒性及其对自动驾驶驾驶策略的实践设计有关的具有挑战性的问题。我们专注于在高速公路上自动驾驶以及增强学习，车辆运动控制和控制屏障功能的整合，从而实现了可靠的AI驾驶策略，可以安全地学习和适应。

本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

安全驾驶需要人类和智能代理的多种功能，例如无法看到环境的普遍性，对周围交通的安全意识以及复杂的多代理设置中的决策。尽管强化学习取得了巨大的成功（RL），但由于缺乏集成的环境，大多数RL研究工作分别研究了每个能力。在这项工作中，我们开发了一个名为MetAdrive的新驾驶模拟平台，以支持对机器自治的可概括增强学习算法的研究。 Metadrive具有高度的组成性，可以从程序生成和实际数据导入的实际数据中产生无限数量的不同驾驶场景。基于Metadrive，我们在单一代理和多代理设置中构建了各种RL任务和基线，包括在看不见的场景，安全探索和学习多机构流量的情况下进行基准标记。对程序生成的场景和现实世界情景进行的概括实验表明，增加训练集的多样性和大小会导致RL代理的推广性提高。我们进一步评估了元数据环境中各种安全的增强学习和多代理增强学习算法，并提供基准。源代码，文档和演示视频可在\ url {https://metadriverse.github.io/metadrive}上获得。

深度强化学习（DRL）使用多样化的非结构化数据，并使RL能够在高维环境中学习复杂的策略。基于自动驾驶汽车（AVS）的智能运输系统（ITS）为基于政策的DRL提供了绝佳的操场。深度学习体系结构解决了传统算法的计算挑战，同时帮助实现了AV的现实采用和部署。 AVS实施的主要挑战之一是，即使不是可靠和有效地管理的道路上的交通拥堵可能会加剧交通拥堵。考虑到每辆车的整体效果并使用高效和可靠的技术可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能的交通管制系统，该系统处理在交叉路口和交叉点后面的复杂交通拥堵场景。我们提出了一个基于DRL的信号控制系统，该系统根据当前交叉点的当前拥塞状况动态调整交通信号。为了应对交叉路口后面的道路上的拥堵，我们使用重新穿线技术来加载道路网络上的车辆。为了实现拟议方法的实际好处，我们分解了数据筒仓，并将所有来自传感器，探测器，车辆和道路结合使用的数据结合起来，以实现可持续的结果。我们使用Sumo微型模拟器进行模拟。我们提出的方法的重要性从结果中体现出来。