Multi-agent reinforcement learning (MARL) suffers from the non-stationarity problem, which is the ever-changing targets at every iteration when multiple agents update their policies at the same time. Starting from first principle, in this paper, we manage to solve the non-stationarity problem by proposing bidirectional action-dependent Q-learning (ACE). Central to the development of ACE is the sequential decision-making process wherein only one agent is allowed to take action at one time. Within this process, each agent maximizes its value function given the actions taken by the preceding agents at the inference stage. In the learning phase, each agent minimizes the TD error that is dependent on how the subsequent agents have reacted to their chosen action. Given the design of bidirectional dependency, ACE effectively turns a multiagent MDP into a single-agent MDP. We implement the ACE framework by identifying the proper network representation to formulate the action dependency, so that the sequential decision process is computed implicitly in one forward pass. To validate ACE, we compare it with strong baselines on two MARL benchmarks. Empirical experiments demonstrate that ACE outperforms the state-of-the-art algorithms on Google Research Football and StarCraft Multi-Agent Challenge by a large margin. In particular, on SMAC tasks, ACE achieves 100% success rate on almost all the hard and super-hard maps. We further study extensive research problems regarding ACE, including extension, generalization, and practicability. Code is made available to facilitate further research.

在交互环境中学习操纵3D对象一直是强化学习（RL）的挑战性问题。特别是，很难训练可以概括具有不同语义类别，多样形状几何形状和多功能功能的对象的策略。最近，视觉负担能力的技术在提供有效的可操作语义方面提供了以对象为中心的信息先验的前景。因此，可以通过知道如何在手柄上施加力来训练有效的政策来打开门。但是，要学习负担能力，它通常需要人为定义的动作基础，这限制了适用的任务范围。在这项研究中，我们通过使用RL训练过程中生成的联系信息来预测感兴趣的接触图，利用视觉负担。然后，这种联系预测过程会导致一个端到端的负担能力学习框架，该框架可以概括不同类型的操纵任务。令人惊讶的是，这种框架的有效性即使在多阶段和多代理场景下也具有。我们对八种类型的操纵任务进行了测试。结果表明，我们的方法优于基线算法，包括基于视觉的负担方法和RL方法，其成功率很大。演示可以在https://sites.google.com/view/rlafford/上找到。

安全的加强学习（RL）研究智能代理人不仅必须最大程度地提高奖励，而且还要避免探索不安全领域的问题。在这项研究中，我们提出了CUP，这是一种基于约束更新投影框架的新型政策优化方法，享有严格的安全保证。我们杯杯发展的核心是新提出的替代功能以及性能结合。与以前的安全RL方法相比，杯子的好处1）杯子将代孕功能推广到广义优势估计量（GAE），从而导致强烈的经验性能。 2）杯赛统一性界限，为某些现有算法提供更好的理解和解释性； 3）CUP仅通过一阶优化器提供非凸的实现，该优化器不需要在目标的凸面上进行任何强近似。为了验证我们的杯子方法，我们将杯子与在各种任务上进行的安全RL基线的全面列表进行了比较。实验表明杯子在奖励和安全限制满意度方面的有效性。我们已经在https://github.com/rl-boxes/safe-rl/tree/ main/cup上打开了杯子源代码。

深度神经网络可以捕获查询和文档之间的复杂交互历史信息，因为它们的许多复杂的非线性单元，使它们能够提供正确的搜索建议。但是，在现实情况下，服务提供商经常面临更复杂的障碍，例如部署成本限制和公平要求。已经提出了将训练有素的复杂模型（教师）转移到简单模型（学生）的知识的知识蒸馏，以减轻前者的关注，但最佳当前蒸馏方法仅着重于如何使学生模型模仿教师模型的预测。为了更好地促进深层模型的应用，我们建议基于知识蒸馏的公平信息检索框架。该框架可以改善模型的基于暴露的公平性，同时大大降低模型大小。我们在三个巨大数据集上进行的广泛实验表明，我们提出的框架可以将模型尺寸降低到其原始尺寸的最小1％，同时保持其黑盒状态。它还将公平性能提高15％〜46％，同时保持高水平的建议效率。

智能机器之间合作的必要性已在人工智能（AI）研究界普及了合作的多代理增强学习（MARL）。但是，许多研究的努力一直集中在开发实用的MARL算法上，其有效性仅在经验上进行了研究，从而缺乏理论保证。正如最近的研究所表明的那样，MARL方法通常达到奖励单调性或收敛性次优的性能。为了解决这些问题，在本文中，我们介绍了一个名为异质的镜像学习（HAML）的新颖框架，该框架为MARL算法设计提供了一个通用模板。我们证明，源自HAML模板的算法满足了关节奖励的单调改善的所需特性以及与NASH平衡的收敛性。我们通过证明当前最新的合作社Marl算法，HATRPO和HAPKO实际上是HAML实例，来验证HAML的实用性。接下来，作为我们理论的自然结果，我们提出了两种众所周知的RL算法HAA2C（用于A2C）和HADDPG（用于DDPG）的HAML扩展，并证明了它们针对StarcraftII和多代理Mujoco任务的强大基准的有效性。

增强学习算法需要大量样品；这通常会限制他们的现实应用程序在简单的任务上。在多代理任务中，这种挑战更为出色，因为操作的每个步骤都需要进行沟通，转移或资源。这项工作旨在通过基于模型的学习来提高多代理控制的数据效率。我们考虑了代理商合作并仅与邻居进行当地交流的网络系统，并提出了基于模型的政策优化框架（DMPO）。在我们的方法中，每个代理都会学习一个动态模型，以预测未来的状态并通过通信广播其预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏见，我们限制了用于产生近视推出的模型使用量，从而减少了模型生成的复合误差。为了使策略更新的独立性有关，我们引入了扩展的价值函数，理论上证明了由此产生的策略梯度是与真实策略梯度的紧密近似。我们在几个智能运输系统的基准上评估了我们的算法，这些智能运输系统是连接的自动驾驶汽车控制任务（FLOW和CACC）和自适应交通信号控制（ATSC）。经验结果表明，我们的方法可以实现卓越的数据效率，并使用真实模型匹配无模型方法的性能。

实现人类水平的灵活性是机器人技术中的重要开放问题。但是，即使在婴儿级别，灵巧的手动操纵任务也是通过增强学习（RL）的挑战。困难在于高度的自由度和异质因素（例如手指关节）之间所需的合作。在这项研究中，我们提出了双人灵感手基准（BI-DEXHANDS），这是一种模拟器，涉及两只灵巧的手，其中包含数十只双人操纵任务和数千个目标对象。具体而言，根据认知科学文献，BI-DEXHANDS中的任务旨在匹配不同级别的人类运动技能。我们在ISSAC体育馆里建造了Bi-Dexhands；这可以实现高效的RL培训，仅在一个NVIDIA RTX 3090中达到30,000+ fps。我们在不同的设置下为流行的RL算法提供了全面的基准；这包括单代理/多代理RL，离线RL，多任务RL和META RL。我们的结果表明，PPO类型的上车算法可以掌握简单的操纵任务，该任务等效到48个月的人类婴儿（例如，捕获飞行的物体，打开瓶子），而多代理RL可以进一步帮助掌握掌握需要熟练的双人合作的操作（例如，举起锅，堆叠块）。尽管每个任务都取得了成功，但在获得多个操纵技能方面，现有的RL算法无法在大多数多任务和少量学习设置中工作，这需要从RL社区进行更实质性的发展。我们的项目通过https://github.com/pku-marl/dexteroushands开放。

GPT系列和BERT等大型序列模型（SM）在视觉，语言以及最近的强化学习任务上表现出了出色的性能和概括功能。一个自然的后续问题是如何将多代理决策抽象成SM问题，并受益于SMS的繁荣发展。在本文中，我们介绍了一种名为多代理变压器（MAT）的新型架构，该结构有效地将合作的多代理增强学习（MARL）施加到SM问题中，其中任务是将代理的观察顺序映射到代理的最佳动作序列中。我们的目标是在Marl和SMS之间建造桥梁，以便为MARL释放现代序列模型的建模能力。我们垫子的核心是一个编码器架构，它利用多代理优势分解定理将联合策略搜索问题转换为顺序决策过程。这仅适用于多代理问题的线性时间复杂性，最重要的是，具有单调性能改进保证。与以前的艺术（例如Decorment Transformer Fit仅预先收集的离线数据）不同，MAT通过在线试验和环境中的错误进行培训。为了验证MAT，我们对StarcraftII，多代理Mujoco，灵巧的手操纵和Google Research Football Benchmarks进行了广泛的实验。结果表明，与Mappo和Happo在内的强大基线相比，MAT可实现卓越的性能和数据效率。此外，我们证明MAT是一位出色的少数人，无论代理人的数量变化如何，MAT都是看不见的任务。请参阅我们的项目页面，网址为https://sites.google.com/view/multi-agent-transformer。

近年来，基于梯度的Meta-RL（GMRL）方法在发现一个单一任务的有效在线超参数中取得了显着的成功（XU等，2018）或学习多任务转移学习的良好初始化（Finn等人。 ，2017）。尽管有经验的成功，但经常被忽视，通过香草背交计算元梯度是不明定义的。在本文中，我们认为许多现有的MGRL方法采用的随机元梯度估计实际上是偏见的;偏差来自两个来源：1）在组成优化问题的结构中自然的成分偏差和2）由直接自动分化引起的多步粗糙估计的偏差。为了更好地了解元梯度偏差，我们首先执行其研究，以量化每个研究。我们首先为现有的GMRL算法提供统一的推导，然后理论上分析偏差和现有梯度估计方法的方差。了解偏见的基本原则，我们提出了两种缓解解决方案，基于脱离政策校正和多步理估计技术。已经进行了综合烧蚀研究，结果显示：（1）当与不同估计器/示例大小/步骤和学习率相结合时，它们的存在以及它们如何影响元梯度估计。 （2）这些缓解方法对Meta梯度估计的有效性，从而最终回报率两种实用的Meta-RL算法：Lola-Dice和Meta-梯度加固学习。

显示过次分辨率化，导致在亚组信息的各种设置下在罕见的子组上的测试精度差。为了获得更完整的图片，我们考虑子组信息未知的情况。我们调查模型规模在多种设置的经验风险最小化（ERM）下最差组泛化的影响，不同：1）架构（Reset，VGG或BERT），2）域（视觉或自然语言处理）3）模型尺寸（宽度或深度）和4）初始化（具有预先培训或随机重量）。我们的系统评价显示，模型大小的增加不会受到伤害，并且可以帮助所有设置的ERM下的最差群体测试性能。特别是，增加预先训练的模型大小一致地提高水鸟和多液体的性能。当子组标签未知时，我们建议从业者使用更大的预训练模型。