车辆到基础设施（V2I）通信对于增强自动驾驶汽车（AV）的可靠性至关重要。但是，道路交通和AVS无线连接的不确定性会严重损害及时的决策。因此，至关重要的是，同时优化AVS的网络选择和驱动政策，以最大程度地减少道路碰撞，同时最大化通信数据速率。在本文中，我们开发了一个增强学习（RL）框架，以表征有效的网络选择和自主驾驶策略在传统的Sub-6GHz Spectrum和Terahertz（THZ）频率上运行的多波段车辆网络（VNET）中。所提出的框架旨在（i）通过自动驾驶的角度控制车辆的运动动力学（即速度和加速度）来最大化交通流量，并最大程度地减少冲突，以及（ii）通过共同控制车辆的交接，并最大程度地减少数据速率从电信的角度来看运动动力学和网络选择。我们将这个问题作为马尔可夫决策过程（MDP）提出，并开发了基于Q的深度学习解决方案，以优化给定AV状态的加速度，减速，车道变速器和AV基准站分配等动作。 AV的状态是根据AV的速度和通信渠道状态定义的。数值结果表明了与车辆运动动力学，交接和通信数据速率相互依赖性有关的有趣见解。拟议的政策使AVS能够采用具有改善连接性的安全驾驶行为。

自动驾驶汽车（AV）必须在动态环境中安全有效地操作。为此，配备联合雷达通信（JRC）功能的AVS可以通过使用雷达检测和数据通信功能来增强驾驶安全性。但是，在不确定性和周围环境的动态下，通过两种不同功能优化AV系统的性能非常具有挑战性。在这项工作中，我们首先提出一个基于马尔可夫决策过程（MDP）的智能优化框架，以帮助AV在周围环境的动态和不确定性下选择JRC操作功能时做出最佳决策。然后，我们开发了一种有效的学习算法，利用了深度强化学习技术的最新进展，以找到AV的最佳政策，而无需任何有关周围环境的先前信息。此外，为了使我们提出的框架更加可扩展，我们开发了一种转移学习（TL）机制，该机制使AV能够利用有价值的体验来加速培训过程，以加速培训过程。广泛的模拟表明，与其他常规的深钢筋学习方法相比，提议的可转移深钢筋学习框架可将AV的障碍检测概率降低到67％。

我们考虑了在透明的蜂窝车辆到所有物品（C-V2X）系统中的联合渠道分配和电力分配的问题，其中多个车辆到网络（V2N）上行链路共享与多个车辆到车辆的时频资源（ v2v）排，使连接和自动驾驶汽车的团体可以紧密地一起旅行。由于在车辆环境中使用高用户移动性的性质，依赖全球渠道信息的传统集中优化方法在具有大量用户的C-V2X系统中可能不可行。利用多机构增强学习（RL）方法，我们提出了分布式资源分配（RA）算法来克服这一挑战。具体而言，我们将RA问题建模为多代理系统。仅基于本地渠道信息，每个排领导者充当代理，共同相互交互，因此选择了子频段和功率水平的最佳组合来传输其信号。为此，我们利用双重Q学习算法在同时最大化V2N链接的总和率的目标下共同训练代理，并满足所需延迟限制的每个V2V链接的数据包输送概率。仿真结果表明，与众所周知的详尽搜索算法相比，我们提出的基于RL的算法提供了紧密的性能。

然而，由于各种交通/道路结构方案以及人类驾驶员行为的长时间分布，自动驾驶的感应，感知和本地化取得了重大进展，因此，对于智能车辆来说，这仍然是一个持开放态度的挑战始终知道如何在有可用的传感 /感知 /本地化信息的道路上做出和执行最佳决定。在本章中，我们讨论了人工智能，更具体地说，强化学习如何利用运营知识和安全反射来做出战略性和战术决策。我们讨论了一些与强化学习解决方案的鲁棒性及其对自动驾驶驾驶策略的实践设计有关的具有挑战性的问题。我们专注于在高速公路上自动驾驶以及增强学习，车辆运动控制和控制屏障功能的整合，从而实现了可靠的AI驾驶策略，可以安全地学习和适应。

决策模块使自动车辆能够在复杂的城市环境中达到适当的演习，尤其是交叉路口情况。这项工作提出了一种深度加强学习（DRL）基于无罪的自动车辆的无罪化交叉口的左转决策框架。所研究的自动化车辆的目的是在四向无信号化交叉路口中进行高效和安全的左转操纵。已漏洞的DRL方法包括深Q学习（DQL）和双DQL。仿真结果表明，所提出的决策策略可以有效地降低碰撞率并提高运输效率。这项工作还揭示了构造的左转控制结构具有实时应用的巨大潜力。

本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

合作的感知在将车辆的感知范围扩展到超出其视线之外至关重要。然而，在有限的通信资源下交换原始感官数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感官数据？，在哪个分辨率？，以及哪个车辆？为了回答这个问题，在本文中，提出了一种新颖的框架来允许加强学习（RL）基于车辆关联，资源块（RB）分配和通过利用基于四叉的点的协作感知消息（CPM）的内容选择云压缩机制。此外，引入了联合的RL方法，以便在跨车辆上加速训练过程。仿真结果表明，RL代理能够有效地学习车辆关联，RB分配和消息内容选择，同时在接收的感官信息方面最大化车辆的满足。结果还表明，与非联邦方法相比，联邦RL改善了培训过程，可以在与非联邦方法相同的时间内实现更好的政策。

由于交通的固有复杂性和不确定性，自主驾驶决策是一项具有挑战性的任务。例如，相邻的车辆可能随时改变其车道或超越，以通过慢速车辆或帮助交通流量。预期周围车辆的意图，估算其未来状态并将其整合到自动化车辆的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习（PDRL）决策模型，该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的，并通过模拟平台在各种交通条件下进行了测试。结果表明，与深入的增强学习（DRL）模型相比，提出的PDRL模型通过减少碰撞数量来改善决策绩效，从而导致更安全的驾驶。

Decision-making strategy for autonomous vehicles de-scribes a sequence of driving maneuvers to achieve a certain navigational mission. This paper utilizes the deep reinforcement learning (DRL) method to address the continuous-horizon decision-making problem on the highway. First, the vehicle kinematics and driving scenario on the freeway are introduced. The running objective of the ego automated vehicle is to execute an efficient and smooth policy without collision. Then, the particular algorithm named proximal policy optimization (PPO)-enhanced DRL is illustrated. To overcome the challenges in tardy training efficiency and sample inefficiency, this applied algorithm could realize high learning efficiency and excellent control performance. Finally, the PPO-DRL-based decision-making strategy is estimated from multiple perspectives, including the optimality, learning efficiency, and adaptability. Its potential for online application is discussed by applying it to similar driving scenarios.

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

自动驾驶在过去二十年中吸引了重要的研究兴趣，因为它提供了许多潜在的好处，包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途，但车道变化仍然是自治车辆（AV）的巨大挑战，特别是在混合和动态的交通方案中。最近，强化学习（RL）是一种强大的数据驱动控制方法，已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而，这些研究的大多数研究专注于单车展，并且在多个AVS与人类驱动车辆（HDV）共存的情况下，道路变化已经受到稀缺的关注。在本文中，我们在混合交通公路环境中制定了多个AVS的车道改变决策，作为多功能增强学习（Marl）问题，其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地，使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络（MA2C）。特别是，提出了一种多目标奖励功能来纳入燃油效率，驾驶舒适度和自主驾驶的安全性。综合实验结果，在三种不同的交通密度和各级人类司机侵略性下进行，表明我们所提出的Marl框架在效率，安全和驾驶员舒适方面始终如一地优于几个最先进的基准。

预计下一代（NEVERG）网络将支持苛刻的触觉互联网应用，例如增强现实和连接的自动车辆。虽然最近的创新带来了更大的联系能力的承诺，它们对环境的敏感性以及不稳定的性能无视基于传统的基于模型的控制理由。零触摸数据驱动的方法可以提高网络适应当前操作条件的能力。诸如强化学习（RL）算法等工具可以仅基于观察历史来构建最佳控制策略。具体而言，使用深神经网络（DNN）作为预测器的深RL（DRL）已经被示出，即使在复杂的环境和高维输入中也能够实现良好的性能。但是，DRL模型的培训需要大量数据，这可能会限制其对潜在环境的不断发展统计数据的适应性。此外，无线网络是固有的分布式系统，其中集中式DRL方法需要过多的数据交换，而完全分布的方法可能导致较慢的收敛速率和性能下降。在本文中，为了解决这些挑战，我们向DRL提出了联合学习（FL）方法，我们指的是联邦DRL（F-DRL），其中基站（BS）通过仅共享模型的重量协作培训嵌入式DNN而不是训练数据。我们评估了两个不同版本的F-DRL，价值和策略，并显示出与分布式和集中式DRL相比实现的卓越性能。

预计自动驾驶技术不仅可以提高移动性和道路安全性，还可以提高能源效率的益处。在可预见的未来，自动车辆（AVS）将在与人机车辆共享的道路上运行。为了保持安全性和活力，同时尽量减少能耗，AV规划和决策过程应考虑自动自动驾驶车辆与周围的人机车辆之间的相互作用。在本章中，我们描述了一种通过基于认知层次理论和强化学习开发人的驾驶员行为建模来开发共用道路上的节能自主驾驶政策的框架。

Hybrid FSO/RF system requires an efficient FSO and RF link switching mechanism to improve the system capacity by realizing the complementary benefits of both the links. The dynamics of network conditions, such as fog, dust, and sand storms compound the link switching problem and control complexity. To address this problem, we initiate the study of deep reinforcement learning (DRL) for link switching of hybrid FSO/RF systems. Specifically, in this work, we focus on actor-critic called Actor/Critic-FSO/RF and Deep-Q network (DQN) called DQN-FSO/RF for FSO/RF link switching under atmospheric turbulences. To formulate the problem, we define the state, action, and reward function of a hybrid FSO/RF system. DQN-FSO/RF frequently updates the deployed policy that interacts with the environment in a hybrid FSO/RF system, resulting in high switching costs. To overcome this, we lift this problem to ensemble consensus-based representation learning for deep reinforcement called DQNEnsemble-FSO/RF. The proposed novel DQNEnsemble-FSO/RF DRL approach uses consensus learned features representations based on an ensemble of asynchronous threads to update the deployed policy. Experimental results corroborate that the proposed DQNEnsemble-FSO/RF's consensus-learned features switching achieves better performance than Actor/Critic-FSO/RF, DQN-FSO/RF, and MyOpic for FSO/RF link switching while keeping the switching cost significantly low.

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

在自主驾驶场中，人类知识融合到深增强学习（DRL）通常基于在模拟环境中记录的人类示范。这限制了在现实世界交通中的概率和可行性。我们提出了一种两级DRL方法，从真实的人类驾驶中学习，实现优于纯DRL代理的性能。培训DRL代理商是在Carla的框架内完成了机器人操作系统（ROS）。对于评估，我们设计了不同的真实驾驶场景，可以将提出的两级DRL代理与纯DRL代理进行比较。在从人驾驶员中提取“良好”行为之后，例如在信号交叉口中的预期，该代理变得更有效，并且驱动更安全，这使得这种自主代理更适应人体机器人交互（HRI）流量。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

The connectivity-aware path design is crucial in the effective deployment of autonomous Unmanned Aerial Vehicles (UAVs). Recently, Reinforcement Learning (RL) algorithms have become the popular approach to solving this type of complex problem, but RL algorithms suffer slow convergence. In this paper, we propose a Transfer Learning (TL) approach, where we use a teacher policy previously trained in an old domain to boost the path learning of the agent in the new domain. As the exploration processes and the training continue, the agent refines the path design in the new domain based on the subsequent interactions with the environment. We evaluate our approach considering an old domain at sub-6 GHz and a new domain at millimeter Wave (mmWave). The teacher path policy, previously trained at sub-6 GHz path, is the solution to a connectivity-aware path problem that we formulate as a constrained Markov Decision Process (CMDP). We employ a Lyapunov-based model-free Deep Q-Network (DQN) to solve the path design at sub-6 GHz that guarantees connectivity constraint satisfaction. We empirically demonstrate the effectiveness of our approach for different urban environment scenarios. The results demonstrate that our proposed approach is capable of reducing the training time considerably at mmWave.

许多现实世界的应用程序都可以作为多机构合作问题进行配置，例如网络数据包路由和自动驾驶汽车的协调。深入增强学习（DRL）的出现为通过代理和环境的相互作用提供了一种有前途的多代理合作方法。但是，在政策搜索过程中，传统的DRL解决方案遭受了多个代理具有连续动作空间的高维度。此外，代理商政策的动态性使训练非平稳。为了解决这些问题，我们建议采用高级决策和低水平的个人控制，以进行有效的政策搜索，提出一种分层增强学习方法。特别是，可以在高级离散的动作空间中有效地学习多个代理的合作。同时，低水平的个人控制可以减少为单格强化学习。除了分层增强学习外，我们还建议对手建模网络在学习过程中对其他代理的政策进行建模。与端到端的DRL方法相反，我们的方法通过以层次结构将整体任务分解为子任务来降低学习的复杂性。为了评估我们的方法的效率，我们在合作车道变更方案中进行了现实世界中的案例研究。模拟和现实世界实验都表明我们的方法在碰撞速度和收敛速度中的优越性。

Recent technological advancements in space, air and ground components have made possible a new network paradigm called "space-air-ground integrated network" (SAGIN). Unmanned aerial vehicles (UAVs) play a key role in SAGINs. However, due to UAVs' high dynamics and complexity, the real-world deployment of a SAGIN becomes a major barrier for realizing such SAGINs. Compared to the space and terrestrial components, UAVs are expected to meet performance requirements with high flexibility and dynamics using limited resources. Therefore, employing UAVs in various usage scenarios requires well-designed planning in algorithmic approaches. In this paper, we provide a comprehensive review of recent learning-based algorithmic approaches. We consider possible reward functions and discuss the state-of-the-art algorithms for optimizing the reward functions, including Q-learning, deep Q-learning, multi-armed bandit (MAB), particle swarm optimization (PSO) and satisfaction-based learning algorithms. Unlike other survey papers, we focus on the methodological perspective of the optimization problem, which can be applicable to various UAV-assisted missions on a SAGIN using these algorithms. We simulate users and environments according to real-world scenarios and compare the learning-based and PSO-based methods in terms of throughput, load, fairness, computation time, etc. We also implement and evaluate the 2-dimensional (2D) and 3-dimensional (3D) variations of these algorithms to reflect different deployment cases. Our simulation suggests that the $3$D satisfaction-based learning algorithm outperforms the other approaches for various metrics in most cases. We discuss some open challenges at the end and our findings aim to provide design guidelines for algorithm selections while optimizing the deployment of UAV-assisted SAGINs.