颞叶（MTL）是一个包含海马和附近区域的大脑区域，被认为是哺乳动物中的体验构造系统，支持暂时扩展的事件序列的回忆和想象。此类功能也是AI研究领域中许多最近提出的``世界模型''的核心。从这种联系中汲取灵感，我们提出了一种新颖的变体，即双流世界模型（DSWM），该模型从高维观察和高维观察和学习中学习将它们分离为上下文和内容流。DSWM仅在一次曝光之后就可以在新颖的2D环境中可靠地产生想象中的轨迹，超过了标准的世界模型。DSWM还学习了潜在表示，这与在Hippocampus中建立的细胞非常相似。我们显示。该表示形式可作为强化学习基础功能，并且可以使用生成模型来帮助使用类似DYNA的更新来帮助策略学习过程。

人类是熟练的导航员：我们恰当地在新的地方进行了操纵，意识到我们回到以前见过的位置，甚至可以想到经历我们从未参观过的部分环境的捷径。另一方面，基于模型的强化学习中的当前方法与从训练分布中概括环境动态的努力。我们认为，两个原则可以帮助弥合这一差距：潜在的学习和简约的动态。人类倾向于以简单的术语来思考环境动态 - 我们认为轨迹不是指我们期望在路径上看到的东西，而是在抽象的潜在空间中，其中包含有关该位置的空间坐标的信息。此外，我们假设在环境的新颖部分中四处走动的工作方式与我们所熟悉的部分相同。这两个原则在串联中共同起作用：在潜在空间中，动态表现出了简约的特征。我们开发了一种学习这种简约动态的模型。使用一个变异目标，我们的模型经过培训，可以使用本地线性转换在潜在空间中重建经验丰富的过渡，同时鼓励尽可能少地调用不同的变换。使用我们的框架，我们演示了在一系列政策学习和计划任务中学习简化潜在动态模型的实用性。

Planning has been very successful for control tasks with known environment dynamics. To leverage planning in unknown environments, the agent needs to learn the dynamics from interactions with the world. However, learning dynamics models that are accurate enough for planning has been a long-standing challenge, especially in image-based domains. We propose the Deep Planning Network (PlaNet), a purely model-based agent that learns the environment dynamics from images and chooses actions through fast online planning in latent space. To achieve high performance, the dynamics model must accurately predict the rewards ahead for multiple time steps. We approach this using a latent dynamics model with both deterministic and stochastic transition components. Moreover, we propose a multi-step variational inference objective that we name latent overshooting. Using only pixel observations, our agent solves continuous control tasks with contact dynamics, partial observability, and sparse rewards, which exceed the difficulty of tasks that were previously solved by planning with learned models. PlaNet uses substantially fewer episodes and reaches final performance close to and sometimes higher than strong model-free algorithms.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

灵活的目标指导行为是人类生活的一个基本方面。基于自由能最小化原理，主动推断理论从计算神经科学的角度正式产生了这种行为。基于该理论，我们介绍了一个输出型，时间预测的，模块化的人工神经网络体系结构，该建筑处理感觉运动信息，渗透到世界上与行为相关的方面，并引起高度灵活的，目标定向的行为。我们表明，我们的建筑经过端对端训练，以最大程度地减少自由能的近似值，它会发展出可以将其解释为负担能力地图的潜在状态。也就是说，新兴的潜在状态表明哪种行动导致哪些效果取决于局部环境。结合主动推断，我们表明可以调用灵活的目标指导行为，并结合新兴的负担能力图。结果，我们的模拟代理会在连续的空间中灵活地转向，避免与障碍物发生碰撞，并且更喜欢高确定性地导致目标的途径。此外，我们表明，学识渊博的代理非常适合跨环境的零拍概括：在训练少数固定环境中的代理商在具有障碍和其他影响其行为的固定环境中，它在程序生成的环境中表现出色，其中包含不同量的环境不同位置的各种尺寸的障碍和地形。

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

在流行媒体中，人造代理商的意识出现与同时实现人类或超人水平智力的那些相同的代理之间通常存在联系。在这项工作中，我们探讨了意识和智力之间这种看似直观的联系的有效性和潜在应用。我们通过研究与三种当代意识功能理论相关的认知能力：全球工作空间理论（GWT），信息生成理论（IGT）和注意力模式理论（AST）。我们发现，这三种理论都将有意识的功能专门与人类领域将军智力的某些方面联系起来。有了这个见解，我们转向人工智能领域（AI），发现尽管远未证明一般智能，但许多最先进的深度学习方法已经开始纳入三个功能的关键方面理论。确定了这一趋势后，我们以人类心理时间旅行的激励例子来提出方式，其中三种理论中每种理论的见解都可以合并为一个单一的统一和可实施的模型。鉴于三种功能理论中的每一种都可以通过认知能力来实现这一可能，因此，具有精神时间旅行的人造代理不仅具有比当前方法更大的一般智力，而且还与我们当前对意识功能作用的理解更加一致在人类中，这使其成为AI研究的有希望的近期目标。

逃生加强学习系统的越来越趋势使其进入现实世界应用的进入现实应用程序的伴随着对他们的安全和鲁棒性的担忧越来越伴随着。近年来，已经提出了各种方法来解决安全意识的加强学习的挑战;然而，这些方法通常需要预先提供要提供的环境的手绘模型，或者环境相对简单且低维度。我们在称为潜在屏蔽的高维环境中提出了一种新的安全意识深度增强学习方法。潜在的屏蔽利用模型的代理学到的环境的内部表示，以“想象”未来的轨迹，避免被视为不安全的人。我们通过实验证明这种方法导致改善对正式定义的安全规范的依从性。

我们建议通过学习通过构思它预期看到的下一个观察来引导的代理来改善视觉导航的跨目标和跨场景概括。这是通过学习变分贝叶斯模型来实现的，称为Neonav，该模型产生了在试剂和目标视图的当前观察中的下一个预期观察（Neo）。我们的生成模式是通过优化包含两个关键设计的变分目标来了解。首先，潜在分布在当前观察和目标视图上进行调节，导致基于模型的目标驱动导航。其次，潜伏的空间用在当前观察和下一个最佳动作上的高斯的混合物建模。我们使用后医混合物的用途能够有效地减轻过正规化的潜在空间的问题，从而大大提高了新目标和新场景的模型概括。此外，Neo Generation模型代理环境交互的前向动态，从而提高了近似推断的质量，因此提高了数据效率。我们对现实世界和合成基准进行了广泛的评估，并表明我们的模型在成功率，数据效率和泛化方面始终如一地优于最先进的模型。

端到端的自主驾驶旨在以集成的方式解决感知，决策和控制问题，这可以更容易地进行大规模推广并更适合新方案。但是，高成本和风险使在现实世界中训练自动驾驶汽车变得非常困难。因此，模拟可以成为实现培训的强大工具。由于观察到略有不同的观察结果，在模拟中受过训练和评估的代理通常在那里表现良好，但在现实环境中遇到困难。为了解决这个问题，我们提出了一种新型基于模型的强化学习方法，称为cycleconsisterstent世界模型。与相关方法相反，我们的模型可以在共享的潜在空间中嵌入两种方式，从而从一个模态（例如模拟数据）中从样本中学习，并用于在不同域中的推断（例如，现实世界数据）。我们使用Carla模拟器中不同模态的实验表明，该CCWM能够超过最先进的域适应方法。此外，我们表明CCWM可以将给定的潜在表示解码为两种模式的语义相干观测。

建模其他代理的行为对于了解代理商互动和提出有效决策至关重要。代理模型的现有方法通常假设在执行期间对所建模代理的本地观测和所选操作的知识。为了消除这种假设，我们使用编码器解码器体系结构从受控代理的本地信息中提取表示。在培训期间使用所建模代理的观测和动作，我们的模型学会仅在受控剂的局部观察中提取有关所建模代理的表示。这些陈述用于增加受控代理的决定政策，这些政策通过深度加强学习培训;因此，在执行期间，策略不需要访问其他代理商的信息。我们提供合作，竞争和混合多种子体环境中的全面评估和消融研究，表明我们的方法比不使用所学习表示的基线方法实现更高的回报。

Learned world models summarize an agent's experience to facilitate learning complex behaviors. While learning world models from high-dimensional sensory inputs is becoming feasible through deep learning, there are many potential ways for deriving behaviors from them. We present Dreamer, a reinforcement learning agent that solves long-horizon tasks from images purely by latent imagination. We efficiently learn behaviors by propagating analytic gradients of learned state values back through trajectories imagined in the compact state space of a learned world model. On 20 challenging visual control tasks, Dreamer exceeds existing approaches in data-efficiency, computation time, and final performance.

Model-Based Reinforcement Learning (RL) is widely believed to have the potential to improve sample efficiency by allowing an agent to synthesize large amounts of imagined experience. Experience Replay (ER) can be considered a simple kind of model, which has proved extremely effective at improving the stability and efficiency of deep RL. In principle, a learned parametric model could improve on ER by generalizing from real experience to augment the dataset with additional plausible experience. However, owing to the many design choices involved in empirically successful algorithms, it can be very hard to establish where the benefits are actually coming from. Here, we provide theoretical and empirical insight into when, and how, we can expect data generated by a learned model to be useful. First, we provide a general theorem motivating how learning a model as an intermediate step can narrow down the set of possible value functions more than learning a value function directly from data using the Bellman equation. Second, we provide an illustrative example showing empirically how a similar effect occurs in a more concrete setting with neural network function approximation. Finally, we provide extensive experiments showing the benefit of model-based learning for online RL in environments with combinatorial complexity, but factored structure that allows a learned model to generalize. In these experiments, we take care to control for other factors in order to isolate, insofar as possible, the benefit of using experience generated by a learned model relative to ER alone.

深度强化学习是一种解决各种环境中问题的技术，从Atari视频游戏到股票交易。该方法利用深度神经网络模型根据对特定环境的观察做出决策，以最大程度地提高奖励功能，该奖励功能可以纳入成本和实现目标的奖励。为了进行探路，奖励条件可以包括到达指定的目标区域以及运动成本。在这项工作中，对多个深Q网络（DQN）代理进行了培训，可以在可观察到的部分环境中运行，目的是在最小的旅行时间内到达目标区域。代理根据周围环境的视觉表示，因此具有观察环境的能力有限。进行DQN，DQN-GRU和DQN-LSTM之间的比较，以检查具有两种不同类型输入的每个模型功能。通过此评估，可以证明，通过等效训练和类似的模型体系结构，DQN模型能够超越其复发性对应物。

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.

深度强化学习已经证明了通过梯度下降调整的神经网络的潜力，以解决良好的环境中的复杂任务。但是，这些神经系统是缓慢的学习者，生产专门的药物，没有任何机制，无法继续学习培训课程。相反，生物突触可塑性是持久和多种多样的，并被认为在执行功能中起关键作用，例如工作记忆和认知灵活性，可能支持更高效和更通用的学习能力。受此启发的启发，我们建议建立具有动态权重的网络，能够不断执行自反射修改，这是其当前突触状态和动作奖励反馈的函数，而不是固定的网络配置。最终的模型，Metods（用于元优化的动力突触）是一种广泛适用的元强制学习系统，能够在代理策略空间中学习有效而强大的控制规则。具有动态突触的单层可以执行单次学习，将导航原则概括为看不见的环境，并表现出强大的学习自适应运动策略的能力，并与以前的元强化学习方法进行了比较。

从像素中学习控制很难进行加固学习（RL）代理，因为表示和政策学习是交织在一起的。以前的方法通过辅助表示任务来解决这个问题，但他们要么不考虑问题的时间方面，要么仅考虑单步过渡。取而代之的是，我们提出了层次结构$ k $ -Step Letent（HKSL），这是一项辅助任务，通过向前模型的层次结构来学习表示形式，该层次结构以不同的步骤跳过的不同幅度运行，同时也学习在层次结构中的级别之间进行交流。我们在30个机器人控制任务的套件中评估了HKSL，发现HKSL要么比几个当前基线更快地达到更高的发作回报或收敛到最高性能。此外，我们发现，HKSL层次结构中的水平可以学会专注于代理行动的长期或短期后果，从而为下游控制政策提供更有信息的表示。最后，我们确定层次结构级别之间的通信渠道基于通信过程的两侧组织信息，从而提高了样本效率。

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

Training effective embodied AI agents often involves manual reward engineering, expert imitation, specialized components such as maps, or leveraging additional sensors for depth and localization. Another approach is to use neural architectures alongside self-supervised objectives which encourage better representation learning. In practice, there are few guarantees that these self-supervised objectives encode task-relevant information. We propose the Scene Graph Contrastive (SGC) loss, which uses scene graphs as general-purpose, training-only, supervisory signals. The SGC loss does away with explicit graph decoding and instead uses contrastive learning to align an agent's representation with a rich graphical encoding of its environment. The SGC loss is generally applicable, simple to implement, and encourages representations that encode objects' semantics, relationships, and history. Using the SGC loss, we attain significant gains on three embodied tasks: Object Navigation, Multi-Object Navigation, and Arm Point Navigation. Finally, we present studies and analyses which demonstrate the ability of our trained representation to encode semantic cues about the environment.

通过互动学习复杂的机器人行为需要结构化探索。规划应瞄准与优化长期绩效的潜力的相互作用，同时只减少有利于这一目标的不确定性。本文提出了潜在的乐观价值探索（爱），这一战略在面对不确定的长期奖励面前通过乐观探索能够深入探索。我们将潜在的世界模型与价值函数估计相结合以预测无限地平线返回并通过合并恢复相关的不确定性。然后，该政策培训了上束缚（UCB）目标，以确定和选择最有希望改善长期绩效的交互。我们在连续动作空间中应用了视觉机器人控制任务，并且与最先进的和其他探索目标相比，平均提高了样品效率的平均提高了20％以上。在稀疏和难以探索环境中，我们实现了超过30％的平均改善。