我们介绍了课程学习算法，变分自动课程学习（VIVL），用于解决具有挑战性的目标条件的合作多功能增强学习问题。我们通过变分的角度激励我们的范式，其中学习目标可以分解为两种术语：任务学习当前任务分发以及新任务分发的课程更新。第二任期内的本地优化表明，课程应该逐步扩展培训任务，易于努力。我们的Vivl算法用两个实际组件，任务扩展和实体进展实现了这种变分的范例，它在任务配置以及任务中的实体数量产生培训课程。实验结果表明，Vacl解决了大量代理商的稀疏奖励问题的集合。特别是，使用单个桌面机器，VACL在简单扩展的基准测试中实现了100个代理的98％覆盖率，并再现最初在Openai隐藏项目中显示的斜坡使用行为。我们的项目网站位于https://sites.google.com/view/vacl-neurips-2021。
translated by 谷歌翻译
最新专为加强学习任务而设计的算法着重于找到一个最佳解决方案。但是，在许多实际应用中，重要的是开发具有多种策略的合理代理商。在本文中，我们提出了多样性引导的政策优化（DGPO），这是一个在同一任务中发现多种策略的政策框架。我们的算法使用多样性目标来指导潜在的条件政策，以在单个培训程序中学习一系列不同的策略。具体而言，我们将算法形式化为多样性受限的优化问题和外部奖励约束优化问题的组合。我们将约束优化作为概率推理任务解决，并使用策略迭代来最大化派生的下限。实验结果表明，我们的方法有效地在各种强化学习任务中找到了各种策略。我们进一步表明，与其他基线相比，DGPO达到了更高的多样性评分，并且具有相似的样品复杂性和性能。
translated by 谷歌翻译
在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。
translated by 谷歌翻译
将监督学习的力量（SL）用于更有效的强化学习（RL）方法，这是最近的趋势。我们通过交替在线RL和离线SL来解决稀疏奖励目标条件问题，提出一种新颖的阶段方法。在在线阶段，我们在离线阶段进行RL培训并收集推出数据，我们对数据集的这些成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用其他技术，包括减少任务以产生更可行的轨迹和基于价值的基于价值的内在奖励，以减轻稀疏的回报问题。我们称此总体算法为阶段性的自我模拟还原（Pair）。对稀疏的奖励目标机器人控制问题（包括具有挑战性的堆叠任务），对基本上优于非强调RL和Phasic SL基线。 Pair是第一个学习堆叠6个立方体的RL方法，只有0/1成功从头开始奖励。
translated by 谷歌翻译
多进球的增强学习最近吸引了大量的研究兴趣。通过允许在相关培训任务之间共享经验，只要在被考虑的目标空间中存在某些平滑度时，这种设置有利于测试时间的新任务的概括。但是，在州或目标空间不连续的环境（例如迷宫中的墙壁）中，由于缺乏专家知识的稀疏性，大多数目标都难以实现。这意味着必须发现一些艰苦的探索，必须发现一些目标课程，以通过使培训任务适应其当前功能来帮助代理商学习。我们以最新的自动课程学习技术为目标政策，我们提出了一种新颖的方法：Stein变化目标生成（SVGG），该方法通过利用一种学识渊博的模型来寻求在代理的近端开发区域中的新目标，以寻求新的目标它的能力和目标分布在勘探空间中以颗粒为模型。我们的方法依靠Stein变分梯度下降来动态吸引适当难度领域的目标采样分布。与最近最新的RL方法相比，我们证明了该方法的性能，即目标领域的成功覆盖范围。
translated by 谷歌翻译
深度强化学习（DRL）和深度多机构的强化学习（MARL）在包括游戏AI，自动驾驶汽车，机器人技术等各种领域取得了巨大的成功。但是，众所周知，DRL和Deep MARL代理的样本效率低下，即使对于相对简单的问题设置，通常也需要数百万个相互作用，从而阻止了在实地场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的探索问题，即如何有效地探索环境和收集信息丰富的经验，从而使政策学习受益于最佳研究。在稀疏的奖励，吵闹的干扰，长距离和非平稳的共同学习者的复杂环境中，这个问题变得更加具有挑战性。在本文中，我们对单格和多代理RL的现有勘探方法进行了全面的调查。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支外，我们还包括其他具有不同思想和技术的著名探索方法。除了算法分析外，我们还对一组常用基准的DRL进行了全面和统一的经验比较。根据我们的算法和实证研究，我们终于总结了DRL和Deep Marl中探索的公开问题，并指出了一些未来的方向。
translated by 谷歌翻译
近端策略优化（PPO）是一种普遍存在的上利期内学习算法，但在多代理设置中的非政策学习算法所使用的算法明显少得多。这通常是由于认为PPO的样品效率明显低于多代理系统中的销售方法。在这项工作中，我们仔细研究了合作多代理设置中PPO的性能。我们表明，基于PPO的多代理算法在四个受欢迎的多代理测试台上取得了令人惊讶的出色表现：粒子世界环境，星际争霸多代理挑战，哈纳比挑战赛和Google Research Football，并具有最少的超参数调谐任何特定领域的算法修改或架构。重要的是，与强大的非政策方法相比，PPO通常在最终奖励和样本效率中都能取得竞争性或优越的结果。最后，通过消融研究，我们分析了对PPO的经验表现至关重要的实施和高参数因素，并就这些因素提供了具体的实用建议。我们的结果表明，在使用这些实践时，简单的基于PPO的方法在合作多代理增强学习中是强大的基线。源代码可在https://github.com/marlbenchmark/on-policy上发布。
translated by 谷歌翻译
在多智能体增强学习中，代理在单一马尔可夫游戏（MG）中学习的行为通常限制在给定的代理编号（即人口大小）。各种群体尺寸引起的每一个MG都可能具有不同的最佳联合策略和游戏特异性知识，这些知识在现代多代理算法中独立建模。在这项工作中，我们专注于创造贯穿人口不同MGS的代理商。每个代理商都没有学习单峰策略，而不是学习一个由各种游戏中的有效策略形成的策略集。我们向代理人（MRA）提出了META表示，明确地模拟了比赛共同和特定于游戏的战略知识。通过表示具有多模态潜在策略的策略集，通过迭代优化过程发现了常见的战略知识和不同的战略模式。我们证明，作为受限制的互信息最大化目标的近似值，所测策略可以在嘴唇奇茨比赛上的每一个评估MG上达到NASH均衡，在一个足够大的潜伏空间上。在具有有限尺寸的实际潜在模型的实际潜在模型中部署时，可以通过利用一阶梯度信息来实现快速适应。广泛的实验表明，MRA对艰难和看不见游戏的培训表现和泛化能力的有效性。
translated by 谷歌翻译
增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。
translated by 谷歌翻译
We explore deep reinforcement learning methods for multi-agent domains. We begin by analyzing the difficulty of traditional algorithms in the multi-agent case: Q-learning is challenged by an inherent non-stationarity of the environment, while policy gradient suffers from a variance that increases as the number of agents grows. We then present an adaptation of actor-critic methods that considers action policies of other agents and is able to successfully learn policies that require complex multiagent coordination. Additionally, we introduce a training regimen utilizing an ensemble of policies for each agent that leads to more robust multi-agent policies. We show the strength of our approach compared to existing methods in cooperative as well as competitive scenarios, where agent populations are able to discover various physical and informational coordination strategies.
translated by 谷歌翻译
多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。
translated by 谷歌翻译
合作多代理增强学习（MARL）的许多进步基于两个共同的设计原则：价值分解和参数共享。这种时尚的典型MARL算法将集中式Q功能分解为本地Q-NETWORKS，其中具有跨代理商共享的参数。这种算法范式可以实现集中培训和分散执行（CTDE），并在实践中提高了有效的学习。尽管有所有优势，我们还是重新审视这两个原则，并表明在某些情况下，例如具有高度多模式奖励格局，价值分解和参数共享的环境可能会出现问题，并导致不良结果。相比之下，在这些情况下，具有单个政策的政策梯度（PG）方法可证明融合到最佳解决方案，这部分支持了一些最近的经验观察，即PG在许多MARL测试台上都可以有效。受理论分析的启发，我们提出了实施多代理PG算法的实用建议作为星际争霸多代理挑战和Google Research Football。我们希望我们的见解可以使社区受益于发展更一般和更强大的MARL算法。查看我们的项目网站https://sites.google.com/view/revisiting-marl。
translated by 谷歌翻译
信息共享是建立团队认知并实现协调与合作的关键。高性能的人类团队也从战略性地采用迭代沟通和合理性的层次结构级别中受益，这意味着人类代理可以推理队友在决策中的行动。然而，多代理强化学习（MARL）的大多数先前工作不支持迭代的理性性，而只能鼓励跨性别的沟通，从而实现了次优的平衡合作策略。在这项工作中，我们表明，在优化政策梯度（PG）时，将代理商的政策重新制定为有条件依靠其邻近队友的政策，从而固有地提高了相互信息（MI）的最大程度。在有限的理性和认知层次结构理论下的决策观念的基础上，我们表明我们的修改后的PG方法不仅可以最大化本地代理人的奖励，而且还隐含着关于代理之间MI的理由，而无需任何明确的临时正则化术语。我们的方法Infopg在学习新兴的协作行为方面优于基准，并在分散的合作MARL任务中设定了最先进的工作。我们的实验通过在几个复杂的合作多代理域中实现较高的样品效率和更大的累积奖励来验证InfoPG的实用性。
translated by 谷歌翻译
最近，深度多智能经纪增强学习（Marl）已经表明了解决复杂的合作任务的承诺。它的成功部分是因为代理商之间的参数共享。然而，这种共享可能导致代理人行事，并限制其协调能力。在本文中，我们的目标是在共享多智能经纪增强学习的优化和代表中引入多样性。具体而言，我们提出了一种信息理论正则化，以最大限度地提高代理商身份与其轨迹之间的相互信息，鼓励广泛的勘探和各种个性化行为。在表示中，我们将特定于代理的神经网络架构中的特定模块纳入了共享神经网络架构，这些模块由L1-Norm规则化，以促进代理之间的学习共享，同时保持必要的多样性。实证结果表明，我们的方法在谷歌研究足球和超级硬星争II微型管理任务中实现了最先进的性能。
translated by 谷歌翻译
保守主义的概念导致了离线强化学习（RL）的重要进展，其中代理从预先收集的数据集中学习。但是，尽可能多的实际方案涉及多个代理之间的交互，解决更实际的多代理设置中的离线RL仍然是一个开放的问题。鉴于最近将Online RL算法转移到多代理设置的成功，可以预期离线RL算法也将直接传输到多代理设置。令人惊讶的是，当基于保守的算法应用于多蛋白酶的算法时，性能显着降低了越来越多的药剂。为了减轻劣化，我们确定了价值函数景观可以是非凹形的关键问题，并且策略梯度改进容易出现本地最优。自从任何代理人的次优政策可能导致不协调的全球失败以来，多个代理人会加剧问题。在这种直觉之后，我们提出了一种简单而有效的方法，脱机多代理RL与演员整流（OMAR），通过有效的一阶政策梯度和Zeroth订单优化方法为演员更好地解决这一关键挑战优化保守值函数。尽管简单，奥马尔显着优于强大的基线，在多售后连续控制基准测试中具有最先进的性能。
translated by 谷歌翻译
本文考虑了多智能经纪人强化学习（MARL）任务，代理商在集会结束时获得共享全球奖励。这种奖励的延迟性质影响了代理商在中间时间步骤中评估其行动质量的能力。本文侧重于开发学习焦点奖励的时间重新分布的方法，以获得密集奖励信号。解决这些MARL问题需要解决两个挑战：识别（1）沿着集发作（沿时间）的长度相对重要性，以及（2）在任何单一时间步骤（代理商中）的相对重要性。在本文中，我们介绍了奖励中的奖励再分配，在整容多智能体加固学习（Arel）中奖励再分配，以解决这两个挑战。 Arel使用注意机制来表征沿着轨迹（时间关注）对状态转换的动作的影响，以及每个代理在每个时间步骤（代理人注意）的影响。 Arel预测的重新分配奖励是密集的，可以与任何给定的MARL算法集成。我们评估了粒子世界环境的具有挑战性的任务和星际争霸多功能挑战。 arel导致粒子世界的奖励较高，并改善星际争端的胜利率与三个最先进的奖励再分配方法相比。我们的代码可在https://github.com/baicenxiao/arel获得。
translated by 谷歌翻译
我们开发了一个多功能辅助救援学习（MARL）方法，以了解目标跟踪的可扩展控制策略。我们的方法可以处理任意数量的追求者和目标;我们显示出现的任务，该任务包括高达1000追踪跟踪1000个目标。我们使用分散的部分可观察的马尔可夫决策过程框架来模拟追求者作为接受偏见观察（范围和轴承）的代理，了解使用固定的未知政策的目标。注意机制用于参数化代理的价值函数;这种机制允许我们处理任意数量的目标。熵 - 正规的脱助政策RL方法用于培训随机政策，我们讨论如何在追求者之间实现对冲行为，尽管有完全分散的控制执行，但仍然导致合作较弱的合作形式。我们进一步开发了一个掩蔽启发式，允许训练较少的问题，少量追求目标和在更大的问题上执行。进行彻底的仿真实验，消融研究和对现有技术算法的比较，以研究对不同数量的代理和目标性能的方法和鲁棒性的可扩展性。
translated by 谷歌翻译
Recently, model-based agents have achieved better performance than model-free ones using the same computational budget and training time in single-agent environments. However, due to the complexity of multi-agent systems, it is tough to learn the model of the environment. The significant compounding error may hinder the learning process when model-based methods are applied to multi-agent tasks. This paper proposes an implicit model-based multi-agent reinforcement learning method based on value decomposition methods. Under this method, agents can interact with the learned virtual environment and evaluate the current state value according to imagined future states in the latent space, making agents have the foresight. Our approach can be applied to any multi-agent value decomposition method. The experimental results show that our method improves the sample efficiency in different partially observable Markov decision process domains.
translated by 谷歌翻译
自驱动粒子（SDP）描述了日常生活中常见的一类常见的多种子体系统，例如植绒鸟类和交通流量。在SDP系统中，每个代理商都追求自己的目标，并不断改变其与附近代理商的合作或竞争行为。手动设计用于此类SDP系统的控制器是耗时的，而产生的紧急行为往往是不可逼真的，也不是更广泛的。因此，SDP系统的现实模拟仍然具有挑战性。强化学习提供了一种吸引人的替代方案，用于自动化SDP控制器的开发。然而，以前的多档强化学习（Marl）方法将代理人定义为手头之前的队友或敌人，这未能捕获每个代理的作用的SDP的本质，即使在一个集中也变化或竞争。为了用Marl模拟SDP，一个关键挑战是协调代理的行为，同时仍然最大化个人目标。将交通仿真作为测试床，在这项工作中，我们开发了一种称为协调政策优化（Copo）的新型MARL方法，该方法包括社会心理学原理来学习SDP的神经控制器。实验表明，与各种度量标准的Marl基线相比，该方法可以实现优越的性能。明显的车辆明显地表现出复杂和多样化的社会行为，以提高整个人口的性能和安全性。演示视频和源代码可用于：https://decisionforce.github.io/copo/
translated by 谷歌翻译
代理商学习广泛适用和通用策略具有重要意义，可以实现包括图像和文本描述在内的各种目标。考虑到这类感知的目标，深度加强学习研究的前沿是学习一个没有手工制作奖励的目标条件政策。要了解这种政策，最近的作品通常会像奖励到明确的嵌入空间中的给定目标的非参数距离。从不同的观点来看，我们提出了一种新的无监督学习方法，名为目标条件政策，具有内在动机（GPIM），共同学习抽象级别政策和目标条件的政策。摘要级别策略在潜在变量上被调节，以优化鉴别器，并发现进一步的不同状态，进一步呈现为目标条件策略的感知特定目标。学习鉴别者作为目标条件策略的内在奖励功能，以模仿抽象级别政策引起的轨迹。各种机器人任务的实验证明了我们所提出的GPIM方法的有效性和效率，其基本上优于现有技术。
translated by 谷歌翻译