In recent years, Multi-Agent Path Finding (MAPF) has attracted attention from the fields of both Operations Research (OR) and Reinforcement Learning (RL). However, in the 2021 Flatland3 Challenge, a competition on MAPF, the best RL method scored only 27.9, far less than the best OR method. This paper proposes a new RL solution to Flatland3 Challenge, which scores 125.3, several times higher than the best RL solution before. We creatively apply a novel network architecture, TreeLSTM, to MAPF in our solution. Together with several other RL techniques, including reward shaping, multiple-phase training, and centralized control, our solution is comparable to the top 2-3 OR methods.

随着alphago的突破，人机游戏的AI已经成为一个非常热门的话题，吸引了世界各地的研究人员，这通常是测试人工智能的有效标准。已经开发了各种游戏AI系统（AIS），如Plibratus，Openai Five和AlphaStar，击败了专业人员。在本文中，我们调查了最近的成功游戏AIS，覆盖棋盘游戏AIS，纸牌游戏AIS，第一人称射击游戏AIS和实时战略游戏AIS。通过这项调查，我们1）比较智能决策领域的不同类型游戏之间的主要困难; 2）说明了开发专业水平AIS的主流框架和技术; 3）提高当前AIS中的挑战或缺点，以实现智能决策; 4）试图提出奥运会和智能决策技巧的未来趋势。最后，我们希望这篇简短的审查可以为初学者提供介绍，激发了在游戏中AI提交的研究人员的见解。

多基础强化学习（MARL）可以解决复杂的合作任务。但是，现有的MAL方法的效率在很大程度上取决于明确定义的奖励功能。具有稀疏奖励反馈的多项式任务尤其具有挑战性，这不仅是由于信用分配问题，而且还因为获得积极的奖励反馈的可能性较低。在本文中，我们设计了一个称为合作图（CG）的图形网络。合作图是两个简单的二分图的组合，即代理聚类子图（ACG）和指定子图（CDG）的群集。接下来，基于这种新颖的图形结构，我们提出了一个合作图多力增强学习（CG-MARL）算法，该算法可以有效地处理多基因任务中的稀疏奖励问题。在CG-MARL中，代理由合作图直接控制。政策神经网络经过培训，可以操纵这一合作图，并指导代理人以隐式的方式实现合作。 CG-MARL的层次结构特征为定制集群活动提供了空间，这是一个可扩展的界面，用于引入基本合作知识。在实验中，CG-MARL在稀疏奖励多基准基准中显示出最新的性能，包括抗侵袭拦截任务和多货车交付任务。

在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。

强化学习（RL）的最新进展使得可以在广泛的应用中开发出擅长的复杂剂。使用这种代理商的模拟可以在难以在现实世界中进行科学实验的情景中提供有价值的信息。在本文中，我们研究了足球RL代理商的游戏风格特征，并揭示了在训练期间可能发展的策略。然后将学习的策略与真正的足球运动员进行比较。我们探索通过使用聚合统计和社交网络分析（SNA）来探索使用模拟环境的学习内容。结果，我们发现（1）代理商的竞争力与各种SNA指标之间存在强烈的相关性，并且（2）RL代理商的各个方面，游戏风格与现实世界足球运动员相似，因为代理人变得更具竞争力。我们讨论了可能有必要的进一步进展，以改善我们必须充分利用RL进行足球的分析所需的理解。

我们报告了以前未被发现的多项式加强学习（MARL），名为“责任扩散”（DR）。博士导致谈判可靠的责任划分以完成复杂的合作任务。它反映了现有算法如何处理基于价值和基于策略的MARL方法的多种探索难题的缺陷。该DR问题与社会心理学领域（也称为旁观者效应）中具有相同名称的现象具有相似之处。在这项工作中，我们从理论上分析了DR问题的原因开始，我们强调DR问题与奖励成型或信用分配问题无关。为了解决DR问题，我们提出了一种政策共振方法，以改变多种勘探探索策略并促进MARL算法在困难的MARL任务中的性能。大多数现有的MARL算法可以配备此方法，以解决由DR问题引起的性能降解。实验是在多个测试基准任务中进行的，包括FME，诊断性多种环境和竞争性的多基因游戏ADCA。最后，我们在SOTA MARL算法上实施了策略共振方法，以说明这种方法的有效性。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

多代理增强学习（MARL）最近在各个领域取得了巨大的成功。但是，借助黑盒神经网络架构，现有的MARL方法以不透明的方式做出决策，使人无法理解学习知识以及输入观察如何影响决策。我们的解决方案是混合经常性的软决策树（MixRTS），这是一种可解释的新型结构，可以通过决策树的根到叶子路径来表示明确的决策过程。我们在软决策树中引入了一种新颖的经常性结构，以解决部分观察性，并通过仅基于局部观察结果线性混合复发树的输出来估算关节作用值。理论分析表明，混合物在分解中保证具有添加性和单调性的结构约束。我们在一系列具有挑战性的Starcraft II任务上评估MixRT。实验结果表明，与广泛研究的基线相比，我们的可解释的学习框架获得了竞争性能，并提供了对决策过程的更直接的解释和领域知识。

2048 is a single-player stochastic puzzle game. This intriguing and addictive game has been popular worldwide and has attracted researchers to develop game-playing programs. Due to its simplicity and complexity, 2048 has become an interesting and challenging platform for evaluating the effectiveness of machine learning methods. This dissertation conducts comprehensive research on reinforcement learning and computer game algorithms for 2048. First, this dissertation proposes optimistic temporal difference learning, which significantly improves the quality of learning by employing optimistic initialization to encourage exploration for 2048. Furthermore, based on this approach, a state-of-the-art program for 2048 is developed, which achieves the highest performance among all learning-based programs, namely an average score of 625377 points and a rate of 72% for reaching 32768-tiles. Second, this dissertation investigates several techniques related to 2048, including the n-tuple network ensemble learning, Monte Carlo tree search, and deep reinforcement learning. These techniques are promising for further improving the performance of the current state-of-the-art program. Finally, this dissertation discusses pedagogical applications related to 2048 by proposing course designs and summarizing the teaching experience. The proposed course designs use 2048-like games as materials for beginners to learn reinforcement learning and computer game algorithms. The courses have been successfully applied to graduate-level students and received well by student feedback.

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

我们开发了一个多功能辅助救援学习（MARL）方法，以了解目标跟踪的可扩展控制策略。我们的方法可以处理任意数量的追求者和目标;我们显示出现的任务，该任务包括高达1000追踪跟踪1000个目标。我们使用分散的部分可观察的马尔可夫决策过程框架来模拟追求者作为接受偏见观察（范围和轴承）的代理，了解使用固定的未知政策的目标。注意机制用于参数化代理的价值函数;这种机制允许我们处理任意数量的目标。熵 - 正规的脱助政策RL方法用于培训随机政策，我们讨论如何在追求者之间实现对冲行为，尽管有完全分散的控制执行，但仍然导致合作较弱的合作形式。我们进一步开发了一个掩蔽启发式，允许训练较少的问题，少量追求目标和在更大的问题上执行。进行彻底的仿真实验，消融研究和对现有技术算法的比较，以研究对不同数量的代理和目标性能的方法和鲁棒性的可扩展性。

深度强化学习（DRL）赋予了各种人工智能领域，包括模式识别，机器人技术，推荐系统和游戏。同样，图神经网络（GNN）也证明了它们在图形结构数据的监督学习方面的出色表现。最近，GNN与DRL用于图形结构环境的融合引起了很多关注。本文对这些混合动力作品进行了全面评论。这些作品可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的实用性； （2）特定于应用程序的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学方面的各种复杂问题。基于审查，我们进一步分析了融合这两个领域的适用性和好处，尤其是在提高通用性和降低计算复杂性方面。最后，集成DRL和GNN的关键挑战以及潜在的未来研究方向被突出显示，这将引起更广泛的机器学习社区的关注。

Influence Maximization (IM) is a classical combinatorial optimization problem, which can be widely used in mobile networks, social computing, and recommendation systems. It aims at selecting a small number of users such that maximizing the influence spread across the online social network. Because of its potential commercial and academic value, there are a lot of researchers focusing on studying the IM problem from different perspectives. The main challenge comes from the NP-hardness of the IM problem and \#P-hardness of estimating the influence spread, thus traditional algorithms for overcoming them can be categorized into two classes: heuristic algorithms and approximation algorithms. However, there is no theoretical guarantee for heuristic algorithms, and the theoretical design is close to the limit. Therefore, it is almost impossible to further optimize and improve their performance. With the rapid development of artificial intelligence, the technology based on Machine Learning (ML) has achieved remarkable achievements in many fields. In view of this, in recent years, a number of new methods have emerged to solve combinatorial optimization problems by using ML-based techniques. These methods have the advantages of fast solving speed and strong generalization ability to unknown graphs, which provide a brand-new direction for solving combinatorial optimization problems. Therefore, we abandon the traditional algorithms based on iterative search and review the recent development of ML-based methods, especially Deep Reinforcement Learning, to solve the IM problem and other variants in social networks. We focus on summarizing the relevant background knowledge, basic principles, common methods, and applied research. Finally, the challenges that need to be solved urgently in future IM research are pointed out.

多项式增强学习（MARL）最近的许多突破都需要使用深层神经网络，这对于人类专家来说是挑战性的解释和理解。另一方面，现有的关于可解释的强化学习（RL）的工作在从神经网络中提取更可解释的决策树政策方面显示了有望，但仅在单一机构设置中。为了填补这一空白，我们提出了第一组算法，这些算法从接受MARL训练的神经网络中提取可解释的决策策略。第一种算法IVIPER将Viper扩展到了单代代理可解释的RL的最新方法到多代理设置。我们证明，艾维尔（Iviper）学习每个代理商的高质量决策树政策。为了更好地捕捉代理之间的协调，我们提出了一种新型的集中决策树培训算法，Maviper。 Maviper通过使用其预期的树来预测其他代理的行为，并使用重新采样来集中精力，以重点放在对其与其他代理相互作用至关重要的状态上，从而共同生长了每个代理的树木。我们表明，这两种算法通常都优于基础线，而在三种不同的多代理粒子世界环境上，受过iviper训练的药物比iviper训练的药物获得了更好的协调性能。

迷你竞赛旨在开发强化学习和模仿学习算法，可以有效地利用人类演示，大大减少了解复杂\ emph {获取德国}任务以稀疏奖励所需的环境交互的数量。为了解决挑战，在本文中，我们呈现\ textbf {seihai}，a \ textbf {s} ample-\ textbf {e} ff \ textbf {e} ff \ textbf {i} cient \ textbf {h} ierrampf {h} ierraschical \ textbf {ai}，充分利用人类示范和任务结构。具体而言，我们将任务分成几个顺序相关的子任务，并使用强化学习和模仿学习培训每个子任务的合适代理。我们进一步设计了一个调度程序，为自动为不同的子任务选择不同的代理。Seihai在Neurips-2020 Minerl竞赛中初步和最终的第一名。

我们介绍了Pogema（https://github.com/airi-institute/pogema）一个沙盒，用于挑战部分可观察到的多代理探路（PO-MAPF）问题。这是一个基于网格的环境，专门设计为灵活，可调和可扩展的基准。它可以针对各种PO-MAPF量身定制，这些PO-MAPF可以作为计划和学习方法及其组合的绝佳测试基础，这将使我们能够填补AI计划和学习之间的差距。

最近被证明通过深度加强学习（RL）或模仿学习（IL）来学习沟通是解决多智能传道路径查找（MAPF）的有效方法。然而，现有的基于通信的MAPF求解器专注于广播通信，代理将其消息广播给所有其他或预定义代理。它不仅是不切实际的，而且导致冗余信息甚至可能损害多功能协作。简洁的通信计划应该了解哪些信息与每个代理的决策过程有关和影响。为了解决这个问题，我们考虑一个请求 - 回复方案并提出决策因果通信（DCC），这是一个简单但有效的模型，使代理能够在培训和执行期间选择邻居进行通信。具体地，邻居才被确定为当存在该邻居的存在导致在中央代理上的决策调整时相关的邻居。此判决仅基于代理人的本地观察，因此适用于分散执行来处理大规模问题。富有障碍环境中的实证评估表明了我们方法的低通信开销的高成功率。

自驱动粒子（SDP）描述了日常生活中常见的一类常见的多种子体系统，例如植绒鸟类和交通流量。在SDP系统中，每个代理商都追求自己的目标，并不断改变其与附近代理商的合作或竞争行为。手动设计用于此类SDP系统的控制器是耗时的，而产生的紧急行为往往是不可逼真的，也不是更广泛的。因此，SDP系统的现实模拟仍然具有挑战性。强化学习提供了一种吸引人的替代方案，用于自动化SDP控制器的开发。然而，以前的多档强化学习（Marl）方法将代理人定义为手头之前的队友或敌人，这未能捕获每个代理的作用的SDP的本质，即使在一个集中也变化或竞争。为了用Marl模拟SDP，一个关键挑战是协调代理的行为，同时仍然最大化个人目标。将交通仿真作为测试床，在这项工作中，我们开发了一种称为协调政策优化（Copo）的新型MARL方法，该方法包括社会心理学原理来学习SDP的神经控制器。实验表明，与各种度量标准的Marl基线相比，该方法可以实现优越的性能。明显的车辆明显地表现出复杂和多样化的社会行为，以提高整个人口的性能和安全性。演示视频和源代码可用于：https://decisionforce.github.io/copo/

基于文本的游戏（TBG）是复杂的环境，允许用户或计算机代理进行文本交互并实现游戏目标。为基于文本的游戏构建面向目标的计算机代理是一项挑战，尤其是当我们使用逐步反馈作为模型的唯一文本输入时。此外，代理商很难通过从更大的文本输入空间中评估灵活的长度和形式。在本文中，我们对应用于基于文本的游戏字段的深度学习方法进行了广泛的分析。