我们考虑了自主渠道访问（AutoCA）的问题，其中一组终端试图以分布式方式通过常见的无线通道发现具有访问点（AP）的通信策略。由于拓扑不规则和终端的通信范围有限，因此对AutoCA的实用挑战是隐藏的终端问题，在无线网络中臭名昭著，可以使吞吐量和延迟性能恶化。为了应对挑战，本文提出了一种新的多代理深钢筋学习范式，该学习范式被称为Madrl-HT，在存在隐藏码头的情况下为Autoca量身定制。 MADRL-HT利用拓扑见解，并将每个终端的观察空间转变为独立于终端数量的可扩展形式。为了补偿部分可观察性，我们提出了一种外观机制，以便终端可以从载体感知的通道状态以及AP的反馈中推断出其隐藏终端的行为。提出了基于窗口的全球奖励功能，从而指示终端在学习过程中平衡终端的传输机会，以最大程度地提高系统吞吐量。广泛的数值实验验证了我们的解决方案基准测试的优越性能，并通过避免碰撞（CSMA/CA）方案对旧的载体 - 义值访问。

设想了一座低空地球轨道（LEO）卫星（SAT）的Mega-Constulation，以提供超出第五代（5G）蜂窝系统的全球覆盖网网络。 Leo SAT网络在时代的SAT网络拓扑中展示了许多用户的极长链接距离。这使得现有的多个访问协议，例如基于随机接入信道（RACH）的蜂窝协议，专为固定地面网络拓扑而设计，不适用于。为了克服这个问题，在本文中，我们提出了一种新颖的LEO SAT网络无随机访问解决方案，被称为随机接入信道协议（ERACH）。在与现有的基于模型和标准化协议的鲜明对比中，ERACH是一种无模型方法，通过使用多档次深度加强学习（Madrl），通过与非静止网络环境的互动出现。此外，通过利用已知的SAT轨道模式，ERACH不需要跨越用户的中心协调或额外的通信，而训练会聚通过规则的轨道模式稳定。与RACH相比，我们从各种模拟中展示了我们所提出的ERACH的平均网络吞吐量增加了54.6％，平均访问延迟较低的两倍，同时实现了0.989的jain的公平指数。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

多用户延迟约束调度在许多现实世界应用中都很重要，包括无线通信，实时流和云计算。然而，它提出了一个关键的挑战，因为调度程序需要做出实时决策，以确保没有系统动力学的先前信息，这可能是时间变化且难以估算的。此外，许多实际情况都遭受了部分可观察性问题的影响，例如，由于感应噪声或隐藏的相关性。为了应对这些挑战，我们提出了一种深入的强化学习（DRL）算法，称为Recurrent Softmax延迟深层双重确定性策略梯度（$ \ Mathtt {RSD4} $），这是一种基于数据驱动的方法，基于部分观察到的Markov决策过程（POMDP）配方。 $ \ mathtt {rsd4} $分别通过拉格朗日双重和延迟敏感的队列保证资源和延迟约束。它还可以通过复发性神经网络（RNN）启用的记忆机制有效地解决部分可观察性，并引入用户级分解和节点级别的合并以确保可扩展性。对模拟/现实世界数据集的广泛实验表明，$ \ mathtt {rsd4} $对系统动力学和部分可观察到的环境是可靠的，并且在现有的DRL和非基于DRL的方法上实现了卓越的性能。

In heterogeneous networks (HetNets), the overlap of small cells and the macro cell causes severe cross-tier interference. Although there exist some approaches to address this problem, they usually require global channel state information, which is hard to obtain in practice, and get the sub-optimal power allocation policy with high computational complexity. To overcome these limitations, we propose a multi-agent deep reinforcement learning (MADRL) based power control scheme for the HetNet, where each access point makes power control decisions independently based on local information. To promote cooperation among agents, we develop a penalty-based Q learning (PQL) algorithm for MADRL systems. By introducing regularization terms in the loss function, each agent tends to choose an experienced action with high reward when revisiting a state, and thus the policy updating speed slows down. In this way, an agent's policy can be learned by other agents more easily, resulting in a more efficient collaboration process. We then implement the proposed PQL in the considered HetNet and compare it with other distributed-training-and-execution (DTE) algorithms. Simulation results show that our proposed PQL can learn the desired power control policy from a dynamic environment where the locations of users change episodically and outperform existing DTE MADRL algorithms.

互联网连接系统的指数增长产生了许多挑战，例如频谱短缺问题，需要有效的频谱共享（SS）解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题，需要保护机制是自适应，可靠和可扩展的。基于机器学习（ML）的方法经常提议解决这些问题。在本文中，我们对最近的基于ML的SS方法，最关键的安全问题和相应的防御机制提供了全面的调查。特别是，我们详细说明了用于提高SS通信系统的性能的最先进的方法，包括基于ML基于ML的基于的数据库辅助SS网络，ML基于基于的数据库辅助SS网络，包括基于ML的数据库辅助的SS网络，基于ML的LTE-U网络，基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题，包括主要用户仿真（PUE）攻击，频谱感测数据伪造（SSDF）攻击，干扰攻击，窃听攻击和隐私问题。最后，还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题，提供基础和促进未来的研究。

高度动态的移动ad-hoc网络（MANET）仍然是开发和部署强大，高效和可扩展的路由协议的最具挑战性环境之一。在本文中，我们提出了DeepCQ +路由协议，以一种新颖的方式将新兴的多代理深度增强学习（Madrl）技术集成到现有的基于Q学习的路由协议及其变体中，并在各种拓扑结构中实现了持续更高的性能和移动配置。在保持基于Q学习的路由协议的整体协议结构的同时，DeepCQ +通过精心设计的Madrl代理替换静态配置的参数化阈值和手写规则，使得不需要这些参数的配置。广泛的模拟表明，与其基于Q学习的对应物相比，DeptCQ +产生的端到端吞吐量显着增加了端到端延迟（跳数）的明显劣化。在定性方面，也许更重要的是，Deepcq +在许多情况下维持了非常相似的性能提升，即在网络尺寸，移动条件和交通动态方面没有接受过培训。据我们所知，这是Madrl框架的第一次成功应用MANET路由问题，即使在训练有素的场景范围之外的环境中，即使在训练范围之外的环境中也能够高度的可扩展性和鲁棒性。这意味着我们的基于Marl的DeepCQ +设计解决方案显着提高了基于Q学习的CQ +基线方法的性能，以进行比较，并提高其实用性和解释性，因为现实世界的MANET环境可能会在训练范围的MANET场景之外变化。讨论了进一步提高性能和可扩展性的增益的额外技术。

The explosive growth of dynamic and heterogeneous data traffic brings great challenges for 5G and beyond mobile networks. To enhance the network capacity and reliability, we propose a learning-based dynamic time-frequency division duplexing (D-TFDD) scheme that adaptively allocates the uplink and downlink time-frequency resources of base stations (BSs) to meet the asymmetric and heterogeneous traffic demands while alleviating the inter-cell interference. We formulate the problem as a decentralized partially observable Markov decision process (Dec-POMDP) that maximizes the long-term expected sum rate under the users' packet dropping ratio constraints. In order to jointly optimize the global resources in a decentralized manner, we propose a federated reinforcement learning (RL) algorithm named federated Wolpertinger deep deterministic policy gradient (FWDDPG) algorithm. The BSs decide their local time-frequency configurations through RL algorithms and achieve global training via exchanging local RL models with their neighbors under a decentralized federated learning framework. Specifically, to deal with the large-scale discrete action space of each BS, we adopt a DDPG-based algorithm to generate actions in a continuous space, and then utilize Wolpertinger policy to reduce the mapping errors from continuous action space back to discrete action space. Simulation results demonstrate the superiority of our proposed algorithm to benchmark algorithms with respect to system sum rate.

在多机构强化学习中，沟通对于鼓励代理商之间的合作至关重要。由于网络条件随代理的移动性而变化，并且在传输过程中的随机性变化，因此现实无线网络中的通信可能非常不可靠。我们提出一个框架来通过解决三个基本问题来学习实用的沟通策略：（1）何时：代理商不仅基于消息重要性，而且是无线渠道条件来学习沟通时间。 （2）什么：代理增强了带有无线网络测量结果的消息内容，以更好地选择游戏和通信操作。 （3）如何：代理使用新颖的神经信息编码器来保存从接收到的消息中保留所有信息，而不管消息的数量和顺序如何。与最新的ART相比，在逼真的无线网络设置下模拟标准基准测试，我们在游戏性能，收敛速度和沟通效率方面取得了重大改进。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

交通优化挑战，如负载平衡，流量调度和提高数据包交付时间，是广域网（WAN）中困难的在线决策问题。例如，需要复杂的启发式方法，以找到改善分组输送时间并最小化可能由链接故障或拥塞引起的中断的最佳路径。最近的加强学习（RL）算法的成功可以提供有用的解决方案，以建立更好的鲁棒系统，这些系统从无模式设置中学习。在这项工作中，我们考虑了一条路径优化问题，专门针对数据包路由，在大型复杂网络中。我们开发和评估一种无模型方法，应用多代理元增强学习（MAMRL），可以确定每个数据包的下一跳，以便将其传递到其目的地，最短的时间整体。具体地，我们建议利用和比较深度策略优化RL算法，以便在通信网络中启用分布式无模型控制，并呈现基于新的Meta学习的框架Mamrl，以便快速适应拓扑变化。为了评估所提出的框架，我们用各种WAN拓扑模拟。我们广泛的数据包级仿真结果表明，与古典最短路径和传统的加强学习方法相比，Mamrl即使网络需求增加也显着降低了平均分组交付时间;与非元深策略优化算法相比，我们的结果显示在连杆故障发生的同时出现相当的平均数据包交付时间时减少较少的剧集中的数据包丢失。

FOG无线电访问网络（F-RAN）是一项有前途的技术，用户移动设备（MDS）可以将计算任务卸载到附近的FOG接入点（F-APS）。由于F-APS的资源有限，因此设计有效的任务卸载方案很重要。在本文中，通过考虑随时间变化的网络环境，制定了F-RAN中的动态计算卸载和资源分配问题，以最大程度地减少MD的任务执行延迟和能源消耗。为了解决该问题，提出了基于联合的深入强化学习（DRL）算法，其中深层确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。利用联合学习来培训DDPG代理，以降低培训过程的计算复杂性并保护用户隐私。仿真结果表明，与其他现有策略相比，提议的联合DDPG算法可以更快地实现MDS更快的任务执行延迟和能源消耗。

无人驾驶飞机（UAV）用作空中基础站，可将时间敏感的包装从物联网设备传递到附近的陆地底站（TBS）。在此类无人产用的物联网网络中安排数据包，以确保TBS在TBS上确保新鲜（或最新的）物联网设备的数据包是一个挑战性的问题，因为它涉及两个同时的步骤（i）（i）在IOT设备上生成的数据包的同时进行样本由UAVS [HOP-1]和（ii）将采样数据包从UAVS更新到TBS [Hop-2]。为了解决这个问题，我们建议针对两跳UAV相关的IoT网络的信息年龄（AOI）调度算法。首先，我们提出了一个低复杂的AOI调度程序，称为MAF-MAD，该计划使用UAV（HOP-1）和最大AOI差异（MAD）策略采样最大AOI（MAF）策略，以更新从无人机到TBS（Hop-2）。我们证明，MAF-MAD是理想条件下的最佳AOI调度程序（无线无线通道和在物联网设备上产生交通生成）。相反，对于一般条件（物联网设备的损失渠道条件和不同的周期性交通生成），提出了深厚的增强学习算法，即近端政策优化（PPO）基于调度程序。仿真结果表明，在所有考虑的一般情况下，建议的基于PPO的调度程序优于MAF-MAD，MAF和Round-Robin等其他调度程序。

多访问边缘计算（MEC）是一个新兴的计算范式，将云计算扩展到网络边缘，以支持移动设备上的资源密集型应用程序。作为MEC的关键问题，服务迁移需要决定如何迁移用户服务，以维持用户在覆盖范围和容量有限的MEC服务器之间漫游的服务质量。但是，由于动态的MEC环境和用户移动性，找到最佳的迁移策略是棘手的。许多现有研究根据完整的系统级信息做出集中式迁移决策，这是耗时的，并且缺乏理想的可扩展性。为了应对这些挑战，我们提出了一种新颖的学习驱动方法，该方法以用户为中心，可以通过使用不完整的系统级信息来做出有效的在线迁移决策。具体而言，服务迁移问题被建模为可观察到的马尔可夫决策过程（POMDP）。为了解决POMDP，我们设计了一个新的编码网络，该网络结合了长期记忆（LSTM）和一个嵌入式矩阵，以有效提取隐藏信息，并进一步提出了一种定制的非政策型演员 - 批判性算法，以进行有效的训练。基于现实世界的移动性痕迹的广泛实验结果表明，这种新方法始终优于启发式和最先进的学习驱动算法，并且可以在各种MEC场景上取得近乎最佳的结果。

Technology advancements in wireless communications and high-performance Extended Reality (XR) have empowered the developments of the Metaverse. The demand for Metaverse applications and hence, real-time digital twinning of real-world scenes is increasing. Nevertheless, the replication of 2D physical world images into 3D virtual world scenes is computationally intensive and requires computation offloading. The disparity in transmitted scene dimension (2D as opposed to 3D) leads to asymmetric data sizes in uplink (UL) and downlink (DL). To ensure the reliability and low latency of the system, we consider an asynchronous joint UL-DL scenario where in the UL stage, the smaller data size of the physical world scenes captured by multiple extended reality users (XUs) will be uploaded to the Metaverse Console (MC) to be construed and rendered. In the DL stage, the larger-size 3D virtual world scenes need to be transmitted back to the XUs. The decisions pertaining to computation offloading and channel assignment are optimized in the UL stage, and the MC will optimize power allocation for users assigned with a channel in the UL transmission stage. Some problems arise therefrom: (i) interactive multi-process chain, specifically Asynchronous Markov Decision Process (AMDP), (ii) joint optimization in multiple processes, and (iii) high-dimensional objective functions, or hybrid reward scenarios. To ensure the reliability and low latency of the system, we design a novel multi-agent reinforcement learning algorithm structure, namely Asynchronous Actors Hybrid Critic (AAHC). Extensive experiments demonstrate that compared to proposed baselines, AAHC obtains better solutions with preferable training time.

在这项工作中，我们优化了基于无人机（UAV）的便携式接入点（PAP）的3D轨迹，该轨迹为一组接地节点（GNS）提供无线服务。此外，根据Peukert效果，我们考虑无人机电池的实用非线性电池放电。因此，我们以一种新颖的方式提出问题，代表了基于公平的能源效率度量的最大化，并被称为公平能源效率（费用）。费用指标定义了一个系统，该系统对每用户服务的公平性和PAP的能源效率都非常重要。该法式问题采用非凸面问题的形式，并具有不可扣除的约束。为了获得解决方案，我们将问题表示为具有连续状态和动作空间的马尔可夫决策过程（MDP）。考虑到解决方案空间的复杂性，我们使用双胞胎延迟的深层确定性政策梯度（TD3）参与者 - 批判性深入强化学习（DRL）框架来学习最大化系统费用的政策。我们进行两种类型的RL培训来展示我们方法的有效性：第一种（离线）方法在整个训练阶段保持GN的位置相同；第二种方法将学习的政策概括为GN的任何安排，通过更改GN的位置，每次培训情节后。数值评估表明，忽视Peukert效应高估了PAP的播放时间，可以通过最佳选择PAP的飞行速度来解决。此外，用户公平，能源效率，因此可以通过有效地将PAP移动到GN上方，从而提高系统的费用价值。因此，我们注意到郊区，城市和茂密的城市环境的基线情景高达88.31％，272.34％和318.13％。

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

本文使用多代理增强学习（MARL）框架来研究数据中心（DC）中的网络负载平衡问题，其中部署了多个负载平衡器（LBS）。该问题的挑战包括异质的处理架构和动态环境，以及分布式网络系统中每个LB代理的有限和部分可观察性，这可能会大大降低实际设置中的生产负载平衡算法的性能。已经提出了中央化训练 - 分类 - 切除（CTDE）RL方案来提高MARL性能，但它会产生 - 尤其是在分布式网络系统中，这些网络系统更喜欢分布式和插入式设计方案 - 额外的通信和管理代理商。我们将多代理负载平衡问题作为马尔可夫潜在游戏，并精心设计的工作负载分配公平作为潜在功能。提出了完全分布的MARL算法，以近似游戏的NASH平衡。实验评估既涉及事件驱动的模拟器和现实世界系统，在该系统中，所提出的MARL负载平衡算法在模拟中显示出接近最佳的性能，而在现实世界系统中的生产lbs效果优于较高的结果。

Recent advances in distributed artificial intelligence (AI) have led to tremendous breakthroughs in various communication services, from fault-tolerant factory automation to smart cities. When distributed learning is run over a set of wirelessly connected devices, random channel fluctuations and the incumbent services running on the same network impact the performance of both distributed learning and the coexisting service. In this paper, we investigate a mixed service scenario where distributed AI workflow and ultra-reliable low latency communication (URLLC) services run concurrently over a network. Consequently, we propose a risk sensitivity-based formulation for device selection to minimize the AI training delays during its convergence period while ensuring that the operational requirements of the URLLC service are met. To address this challenging coexistence problem, we transform it into a deep reinforcement learning problem and address it via a framework based on soft actor-critic algorithm. We evaluate our solution with a realistic and 3GPP-compliant simulator for factory automation use cases. Our simulation results confirm that our solution can significantly decrease the training delay of the distributed AI service while keeping the URLLC availability above its required threshold and close to the scenario where URLLC solely consumes all network resources.

为移动无线网络设计有效的路由策略是具有挑战性的，因为需要无缝将路由行为调整为空间多样化和时间变化的网络条件。在这项工作中，我们使用深层增强学习（DEEPRL）来学习此类网络的可扩展和可概括的单复制路由策略。我们做出以下贡献：i）我们设计了一个奖励功能，使DeepRL代理能够明确权衡竞争的网络目标，例如最大程度地减少延迟与每个数据包的传输数量； ii）我们提出了一组新型的关系邻域，路径和上下文功能，以独立于特定的网络拓扑表征移动无线网络和模型设备移动性； iii）我们使用一种灵活的培训方法，使我们可以将所有数据包和设备的数据组合到单个离线集中式培训设置中，以训练单个DEEPRL代理。为了评估通用性和可扩展性，我们在一个移动网络方案上训练我们的DEEPRL代理，然后在其他移动方案上进行测试，从而改变了设备和变速箱范围的数量。我们的结果表明，我们学到的单拷贝路由策略在延迟方面优于所有其他策略，即使在未经培训的情况下，即使在DeepRL代理的情况下也是如此。