尽管其作为当今机器学习模式的数据效率低下的突出解决方案，但自我监督的学习尚未从纯粹的多功能代理人的角度进行研究。在这项工作中，我们建议对齐内部主观表示，该主观表示自然地出现在多种子体的设置中，其中代理商接受相同的潜在环境国家的部分观察，可以导致更多的数据有效的陈述。我们提出了多种子体环境，其中代理商无法访问其他人的观察，而是可以在有限范围内进行通信，保证可以在个人代表学习中利用的常见上下文。原因是主观观察必然指的是基础环境国家的相同子集，并且关于这些国家的沟通可以自由地提供监督信号。为了突出沟通的重要性，我们将我们的设置称为\ Texit {社会监督的代表学习}。我们提出了一个由AutoEncoders群体组成的最小架构，在那里我们定义了丢失函数，捕获有效通信的不同方面，并检查它们对学习的表示的影响。我们表明我们所提出的架构允许出现对齐的表示。提出具有不同环境状态的不同观点引入的主观性有助于学习卓越的抽象表示，以满足环境状态的相同观点的单一AutoEncoder和AutoEncoders的群体。完全是，我们的结果表明了主观观点的沟通如何导致多助理系统中的更多抽象表现，开放有望的观点，以便在代表学习和紧急沟通的交叉口中进行未来的研究。

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

基于模型的强化学习的关键承诺之一是使用世界内部模型拓展到新颖的环境和任务中的预测。然而，模型的代理商的泛化能力尚不清楚，因为现有的工作在基准测试概括时专注于无模型剂。在这里，我们明确测量模型的代理的泛化能力与其无模型对应物相比。我们专注于Muzero（Schrittwieser等，2020），强大的基于模型的代理商的分析，并评估其在过程和任务泛化方面的性能。我们确定了一个程序概括规划，自我监督代表学习和程序数据分集的三个因素 - 并表明通过组合这些技术，我们实现了普通的最先进的概括性和数据效率（Cobbe等人。，2019）。但是，我们发现这些因素并不总是为Meta-World中的任务泛化基准提供相同的益处（Yu等人，2019），表明转移仍然是一个挑战，可能需要不同的方法而不是程序泛化。总的来说，我们建议建立一个推广的代理需要超越单任务，无模型范例，并朝着在丰富，程序，多任务环境中培训的基于自我监督的模型的代理。

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

我们研究自我监督学习（SSL）是否可以从像素中改善在线增强学习（RL）。我们扩展了对比度增强学习框架（例如卷曲），该框架共同优化了SSL和RL损失，并进行了大量的实验，并具有各种自我监督的损失。我们的观察结果表明，现有的RL的SSL框架未能在使用相同数量的数据和增强时利用图像增强来实现对基准的有意义的改进。我们进一步执行进化搜索，以找到RL的多个自我监督损失的最佳组合，但是发现即使是这种损失组合也无法有意义地超越仅利用精心设计的图像增强的方法。通常，在现有框架下使用自制损失降低了RL性能。我们在多个不同环境中评估了该方法，包括现实世界的机器人环境，并确认没有任何单一的自我监督损失或图像增强方法可以主导所有环境，并且当前的SSL和RL联合优化框架是有限的。最后，我们从经验上研究了SSL + RL的预训练框架以及使用不同方法学到的表示的特性。

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

几乎所有的多代理强化学习算法没有交流，都遵循分散执行的集中培训原则。在集中培训期间，代理可以以相同的信号为指导，例如全球国家。但是，在分散执行期间，代理缺乏共享信号。受到观点不变性和对比学习的启发，我们在本文中提出了共识学习，以学习合作的多代理增强学习。尽管基于局部观察结果，但不同的代理可以在离散空间中推断出相同的共识。在分散执行期间，我们将推断的共识作为对代理网络的明确输入提供了，从而发展了他们的合作精神。我们提出的方法可以扩展到具有小模型更改的各种多代理增强学习算法。此外，我们执行一些完全合作的任务，并获得令人信服的结果。

神经活动的意义和简化表示可以产生深入了解如何以及什么信息被神经回路内处理。然而，如果没有标签，也揭示了大脑和行为之间的联系的发现表示可以挑战。在这里，我们介绍了所谓的交换，VAE学习神经活动的解开表示一种新型的无监督的办法。我们的方法结合了特定实例的排列损失，试图最大限度地输入（大脑状态）的转变观点之间的代表性相似性的生成模型框架。这些转化（或增强）视图是通过掉出神经元和抖动样品中的时间，这直观地应导致网络维护既时间一致性和不变性用于表示神经状态的特定的神经元的表示创建的。通过对从数百个不同的灵长类动物大脑的神经元的模拟数据和神经录音的评价，我们表明，它是不可能建立的表示沿有关潜在维度解开神经的数据集与行为相联系。

在测试时间缺失模态的多模式数据的学习表示，由于从不同渠道获得的数据的固有异质性，这是一个具有挑战性的问题。为了解决这个问题，我们提出了一种新型的几何多模式对比度（GMC）表示方法，该学习方法由两个主要组成部分组成：i）由特定于模态的基础编码器组成的两级体系结构，允许处理任意数量的模态，以使中间表示形式固定维度和共享投影头，将中间表示形式映射到潜在的表示空间； ii）一种多模式对比损失函数，鼓励学习表示的几何对齐。我们通过实验表明，GMC表示在语义上是丰富的，并实现了最先进的表现，而缺少有关三种不同学习问题的模式信息，包括预测和强化学习任务。

We consider the problem of multiple agents sensing and acting in environments with the goal of maximising their shared utility. In these environments, agents must learn communication protocols in order to share information that is needed to solve the tasks. By embracing deep neural networks, we are able to demonstrate endto-end learning of protocols in complex environments inspired by communication riddles and multi-agent computer vision problems with partial observability. We propose two approaches for learning in these domains: Reinforced Inter-Agent Learning (RIAL) and Differentiable Inter-Agent Learning (DIAL). The former uses deep Q-learning, while the latter exploits the fact that, during learning, agents can backpropagate error derivatives through (noisy) communication channels. Hence, this approach uses centralised learning but decentralised execution. Our experiments introduce new environments for studying the learning of communication protocols and present a set of engineering innovations that are essential for success in these domains.

我们研究了参考游戏（一种信令游戏），其中两个代理通过离散瓶颈互相通信，以实现共同的目标。在我们的参照游戏中，扬声器的目标是撰写消息或符号表示“重要的”图像修补程序，而侦听器的任务是将扬声器的消息与相同图像的不同视图匹配。我们表明，这两个代理确实可以在不明确或隐含监督的情况下开发通信协议。我们进一步调查了开发的协议，并通过仅使用重要补丁来展示加速最近的视觉变压器的应用程序，以及用于下游识别任务的预训练（例如，分类）。代码在https://github.com/kampta/patchgame提供。

建模其他代理的行为对于了解代理商互动和提出有效决策至关重要。代理模型的现有方法通常假设在执行期间对所建模代理的本地观测和所选操作的知识。为了消除这种假设，我们使用编码器解码器体系结构从受控代理的本地信息中提取表示。在培训期间使用所建模代理的观测和动作，我们的模型学会仅在受控剂的局部观察中提取有关所建模代理的表示。这些陈述用于增加受控代理的决定政策，这些政策通过深度加强学习培训;因此，在执行期间，策略不需要访问其他代理商的信息。我们提供合作，竞争和混合多种子体环境中的全面评估和消融研究，表明我们的方法比不使用所学习表示的基线方法实现更高的回报。

深度加强学习概括（RL）的研究旨在产生RL算法，其政策概括为在部署时间进行新的未经调整情况，避免对其培训环境的过度接受。如果我们要在现实世界的情景中部署强化学习算法，那么解决这一点至关重要，那么环境将多样化，动态和不可预测。该调查是这个新生领域的概述。我们为讨论不同的概括问题提供统一的形式主义和术语，在以前的作品上建立不同的概括问题。我们继续对现有的基准进行分类，以及用于解决泛化问题的当前方法。最后，我们提供了对现场当前状态的关键讨论，包括未来工作的建议。在其他结论之外，我们认为，采取纯粹的程序内容生成方法，基准设计不利于泛化的进展，我们建议快速在线适应和将RL特定问题解决作为未来泛化方法的一些领域，我们推荐在UniTexplorated问题设置中构建基准测试，例如离线RL泛化和奖励函数变化。

Neural networks leverage robust internal representations in order to generalise. Learning them is difficult, and often requires a large training set that covers the data distribution densely. We study a common setting where our task is not purely opaque. Indeed, very often we may have access to information about the underlying system (e.g. that observations must obey certain laws of physics) that any "tabula rasa" neural network would need to re-learn from scratch, penalising performance. We incorporate this information into a pre-trained reasoning module, and investigate its role in shaping the discovered representations in diverse self-supervised learning settings from pixels. Our approach paves the way for a new class of representation learning, grounded in algorithmic priors.

Learning from visual observations is a fundamental yet challenging problem in Reinforcement Learning (RL). Although algorithmic advances combined with convolutional neural networks have proved to be a recipe for success, current methods are still lacking on two fronts: (a) data-efficiency of learning and (b) generalization to new environments. To this end, we present Reinforcement Learning with Augmented Data (RAD), a simple plug-and-play module that can enhance most RL algorithms. We perform the first extensive study of general data augmentations for RL on both pixel-based and state-based inputs, and introduce two new data augmentations -random translate and random amplitude scale. We show that augmentations such as random translate, crop, color jitter, patch cutout, random convolutions, and amplitude scale can enable simple RL algorithms to outperform complex state-of-the-art methods across common benchmarks. RAD sets a new state-of-the-art in terms of data-efficiency and final performance on the DeepMind Control Suite benchmark for pixel-based control as well as Ope-nAI Gym benchmark for state-based control. We further demonstrate that RAD significantly improves test-time generalization over existing methods on several OpenAI ProcGen benchmarks. Our RAD module and training code are available at https://www.github.com/MishaLaskin/rad.

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

通过最大化示例的不同转换“视图”之间的相似性来构建自我监督学习（SSL）构建表示的最先进的方法。然而，在用于创建视图的转换中没有足够的多样性，难以克服数据中的滋扰变量并构建丰富的表示。这激励了数据集本身来查找类似但不同的样本，以彼此的视图。在本文中，我们介绍了我自己的观点（MISOW），一种新的自我监督学习方法，在数据集中定义预测的不同目标。我们的方法背后的想法是主动挖掘观点，发现在网络的表示空间中的邻居中的样本，然后从一个样本的潜在表示，附近样本的表示。在展示计算机愿景中使用的基准测试中，我们突出了在神经科学的新应用中突出了这个想法的力量，其中SSL尚未应用。在测试多单元神经记录时，我们发现Myow在所有示例中表现出其他自我监督的方法（在某些情况下超过10％），并且经常超越监督的基线。通过MOSO，我们表明可以利用数据的多样性来构建丰富的观点，并在增强的新域中利用自我监督，其中包括有限或未知。

强化学习（RL）代理商广泛用于解决复杂的连续决策任务，但仍然表现出概括到培训期间未见的情景。在先前的在线方法证明，使用超出奖励功能的其他信号可以导致RL代理商中的更好的泛化能力，即使用自我监督学习（SSL），他们在离线RL设置中奋斗，即从静态数据集中学习。我们表明，由于观察之间的相似性差异差，可以在离线设置中阻碍用于RL的普遍的在线算法的性能。我们提出了一种称为广义相似性功能（GSF）的新的理论上动机框架，它使用对比学习来训练基于其预期未来行为的相似性的离线RL代理，以便使用\ EMPH {广义值来量化此相似性。职能}。我们表明GSF足以恢复现有的SSL目标，同时还可以在复杂的离线RL基准，离线Procgen上提高零拍泛化性能。