最近，由于许多用例的性能要求严格的性能要求，基于意图的管理正在受到电信网络的良好关注。文献上的几种方法采用电信域中的传统方法来满足KPI的意图，可以将其定义为封闭环。但是，这些方法考虑了每个闭环相互独立的环路，从而降低了组合的闭环性能。同样，当需要许多闭环时，这些方法不容易扩展。在许多领域，多机构增强学习（MARL）技术在许多领域都表现出了巨大的希望，在许多领域中，传统的闭环控制效果不足，通常用于循环之间的复杂协调和冲突管理。在这项工作中，我们提出了一种基于MARL的方法，以实现基于意图的管理，而无需基础系统模型。此外，当存在相互矛盾的意图时，MARL代理可以通过优先考虑重要的KPI来暗中激励循环，而无需人工互动。已经在网络模拟器上进行了实验，以优化三种服务的KPI，我们观察到拟议的系统的性能良好，并且在资源不足或资源稀缺时能够实现所有现有的意图。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

流动性和流量的许多方案都涉及多种不同的代理，需要合作以找到共同解决方案。行为计划的最新进展使用强化学习以寻找有效和绩效行为策略。但是，随着自动驾驶汽车和车辆对X通信变得越来越成熟，只有使用单身独立代理的解决方案在道路上留下了潜在的性能增长。多代理增强学习（MARL）是一个研究领域，旨在为彼此相互作用的多种代理找到最佳解决方案。这项工作旨在将该领域的概述介绍给研究人员的自主行动能力。我们首先解释Marl并介绍重要的概念。然后，我们讨论基于Marl算法的主要范式，并概述每个范式中最先进的方法和思想。在这种背景下，我们调查了MAL在自动移动性场景中的应用程序，并概述了现有的场景和实现。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

Technology advancements in wireless communications and high-performance Extended Reality (XR) have empowered the developments of the Metaverse. The demand for Metaverse applications and hence, real-time digital twinning of real-world scenes is increasing. Nevertheless, the replication of 2D physical world images into 3D virtual world scenes is computationally intensive and requires computation offloading. The disparity in transmitted scene dimension (2D as opposed to 3D) leads to asymmetric data sizes in uplink (UL) and downlink (DL). To ensure the reliability and low latency of the system, we consider an asynchronous joint UL-DL scenario where in the UL stage, the smaller data size of the physical world scenes captured by multiple extended reality users (XUs) will be uploaded to the Metaverse Console (MC) to be construed and rendered. In the DL stage, the larger-size 3D virtual world scenes need to be transmitted back to the XUs. The decisions pertaining to computation offloading and channel assignment are optimized in the UL stage, and the MC will optimize power allocation for users assigned with a channel in the UL transmission stage. Some problems arise therefrom: (i) interactive multi-process chain, specifically Asynchronous Markov Decision Process (AMDP), (ii) joint optimization in multiple processes, and (iii) high-dimensional objective functions, or hybrid reward scenarios. To ensure the reliability and low latency of the system, we design a novel multi-agent reinforcement learning algorithm structure, namely Asynchronous Actors Hybrid Critic (AAHC). Extensive experiments demonstrate that compared to proposed baselines, AAHC obtains better solutions with preferable training time.

近年来，随着空间航天器实体的大规模部署以及卫星在板载功能的增加，在过度网络动态的情况下，与TCP/IP相比，出现了比TCP/IP更强大的通信协议。 DTN节点缓冲区管理仍然是一个活跃的研究领域，因为DTN核心协议的当前实现仍然依赖于以下假设：在不同的网络节点中始终有足够的内存来存储和正向捆绑包。此外，经典排队理论不适用于DTN节点缓冲区的动态管理。因此，本文提出了一种集中式方法，以基于高级强化学习（RL）策略优势行动者 - 批评者（A2C）自动管理低地球（LEO）卫星星座中的认知DTN节点。该方法旨在探索培训地球同步地球轨道智能代理，以管理Leo卫星星座中的所有DTN节点。 A2C代理的目的是在考虑节点内存利用率的同时最大化交付成功率并最大程度地减少网络资源消耗成本。智能代理可以根据束优先级动态调整无线电数据速率并执行下降操作。为了衡量在LEO卫星星座场景中将A2C技术应用于DTN节点管理问题的有效性，本文将受过训练的智能代理策略与其他两种非RL政策进行了比较，包括随机和标准政策。实验表明，A2C策略平衡了交付成功率和成本，并提供了最高的奖励和最低的节点存储器利用率。

交通优化挑战，如负载平衡，流量调度和提高数据包交付时间，是广域网（WAN）中困难的在线决策问题。例如，需要复杂的启发式方法，以找到改善分组输送时间并最小化可能由链接故障或拥塞引起的中断的最佳路径。最近的加强学习（RL）算法的成功可以提供有用的解决方案，以建立更好的鲁棒系统，这些系统从无模式设置中学习。在这项工作中，我们考虑了一条路径优化问题，专门针对数据包路由，在大型复杂网络中。我们开发和评估一种无模型方法，应用多代理元增强学习（MAMRL），可以确定每个数据包的下一跳，以便将其传递到其目的地，最短的时间整体。具体地，我们建议利用和比较深度策略优化RL算法，以便在通信网络中启用分布式无模型控制，并呈现基于新的Meta学习的框架Mamrl，以便快速适应拓扑变化。为了评估所提出的框架，我们用各种WAN拓扑模拟。我们广泛的数据包级仿真结果表明，与古典最短路径和传统的加强学习方法相比，Mamrl即使网络需求增加也显着降低了平均分组交付时间;与非元深策略优化算法相比，我们的结果显示在连杆故障发生的同时出现相当的平均数据包交付时间时减少较少的剧集中的数据包丢失。

高度动态的移动ad-hoc网络（MANET）仍然是开发和部署强大，高效和可扩展的路由协议的最具挑战性环境之一。在本文中，我们提出了DeepCQ +路由协议，以一种新颖的方式将新兴的多代理深度增强学习（Madrl）技术集成到现有的基于Q学习的路由协议及其变体中，并在各种拓扑结构中实现了持续更高的性能和移动配置。在保持基于Q学习的路由协议的整体协议结构的同时，DeepCQ +通过精心设计的Madrl代理替换静态配置的参数化阈值和手写规则，使得不需要这些参数的配置。广泛的模拟表明，与其基于Q学习的对应物相比，DeptCQ +产生的端到端吞吐量显着增加了端到端延迟（跳数）的明显劣化。在定性方面，也许更重要的是，Deepcq +在许多情况下维持了非常相似的性能提升，即在网络尺寸，移动条件和交通动态方面没有接受过培训。据我们所知，这是Madrl框架的第一次成功应用MANET路由问题，即使在训练有素的场景范围之外的环境中，即使在训练范围之外的环境中也能够高度的可扩展性和鲁棒性。这意味着我们的基于Marl的DeepCQ +设计解决方案显着提高了基于Q学习的CQ +基线方法的性能，以进行比较，并提高其实用性和解释性，因为现实世界的MANET环境可能会在训练范围的MANET场景之外变化。讨论了进一步提高性能和可扩展性的增益的额外技术。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

强化学习（RL）在很大程度上依赖于探索以从环境中学习并最大程度地获得观察到的奖励。因此，必须设计一个奖励功能，以确保从收到的经验中获得最佳学习。以前的工作将自动机和基于逻辑的奖励成型与环境假设相结合，以提供自动机制，以根据任务综合奖励功能。但是，关于如何将基于逻辑的奖励塑造扩大到多代理增强学习（MARL）的工作有限。如果任务需要合作，则环境将需要考虑联合状态，以跟踪其他代理，从而遭受对代理数量的维度的诅咒。该项目探讨了如何针对不同场景和任务设计基于逻辑的奖励成型。我们提出了一种针对半偏心逻辑基于逻辑的MARL奖励成型的新方法，该方法在代理数量中是可扩展的，并在多种情况下对其进行了评估。

In this paper, we consider the inventory management (IM) problem where we need to make replenishment decisions for a large number of stock keeping units (SKUs) to balance their supply and demand. In our setting, the constraint on the shared resources (such as the inventory capacity) couples the otherwise independent control for each SKU. We formulate the problem with this structure as Shared-Resource Stochastic Game (SRSG)and propose an efficient algorithm called Context-aware Decentralized PPO (CD-PPO). Through extensive experiments, we demonstrate that CD-PPO can accelerate the learning procedure compared with standard MARL algorithms.

This work considers the problem of learning cooperative policies in complex, partially observable domains without explicit communication. We extend three classes of single-agent deep reinforcement learning algorithms based on policy gradient, temporal-difference error, and actor-critic methods to cooperative multi-agent systems. We introduce a set of cooperative control tasks that includes tasks with discrete and continuous actions, as well as tasks that involve hundreds of agents. The three approaches are evaluated against each other using different neural architectures, training procedures, and reward structures. Using deep reinforcement learning with a curriculum learning scheme, our approach can solve problems that were previously considered intractable by most multi-agent reinforcement learning algorithms. We show that policy gradient methods tend to outperform both temporal-difference and actor-critic methods when using feed-forward neural architectures. We also show that recurrent policies, while more difficult to train, outperform feed-forward policies on our evaluation tasks.

随着移动网络的增殖，我们正在遇到强大的服务多样化，这需要从现有网络的更大灵活性。建议网络切片作为5G和未来网络的资源利用解决方案，以解决这种可怕需求。在网络切片中，动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是，由于缺乏准确的模型和动态隐藏结构，这种过程对于传统方法来说太复杂。在不知道模型和隐藏结构的情况下，我们将问题作为受约束的马尔可夫决策过程（CMDP）制定。此外，我们建议使用Clara解决问题，这是一种基于钢筋的基于资源分配算法。特别是，我们分别使用自适应内部点策略优化和投影层分析累积和瞬时约束。评估表明，Clara明显优于资源配置的基线，通过服务需求保证。

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。

在从同质机器人群到异构人类自治团队的多机构团队的运营中，可能会发生意外的事件。虽然对多代理任务分配问题的操作效率是主要目标，但决策框架必须足够聪明，可以用有限的资源来管理意外的任务负载。否则，操作效率将大幅下降，而超载的代理人面临不可预见的风险。在这项工作中，我们为多机构团队提供了一个决策框架，以通过分散的强化学习来考虑负载管理，以学习负载管理，并避免了不必要的资源使用。我们说明了负载管理对团队绩效的影响，并在示例场景中探索了代理行为。此外，在处理潜在的超负荷情况时，开发了一种衡量协作中的代理重要性的衡量标准。

我们开发了一个多功能辅助救援学习（MARL）方法，以了解目标跟踪的可扩展控制策略。我们的方法可以处理任意数量的追求者和目标;我们显示出现的任务，该任务包括高达1000追踪跟踪1000个目标。我们使用分散的部分可观察的马尔可夫决策过程框架来模拟追求者作为接受偏见观察（范围和轴承）的代理，了解使用固定的未知政策的目标。注意机制用于参数化代理的价值函数;这种机制允许我们处理任意数量的目标。熵 - 正规的脱助政策RL方法用于培训随机政策，我们讨论如何在追求者之间实现对冲行为，尽管有完全分散的控制执行，但仍然导致合作较弱的合作形式。我们进一步开发了一个掩蔽启发式，允许训练较少的问题，少量追求目标和在更大的问题上执行。进行彻底的仿真实验，消融研究和对现有技术算法的比较，以研究对不同数量的代理和目标性能的方法和鲁棒性的可扩展性。

临时团队合作是设计可以与新队友合作而无需事先协调的研究问题的研究问题。这项调查做出了两个贡献：首先，它提供了对临时团队工作问题不同方面的结构化描述。其次，它讨论了迄今为止该领域取得的进展，并确定了临时团队工作中需要解决的直接和长期开放问题。