基于文本的游戏提供了一个具有挑战性的测试床，以评估语言理解，多步骤解决和常识性推理的虚拟代理。但是，速度是当前基于文本的游戏的主要局限性，主要是由于使用旧工具，以每秒300个步骤的限制。在这项工作中，我们介绍了TextWorldExpress，这是三个常见文本游戏基准的高性能实现，将模拟吞吐量增加了大约三个数量级，在常见桌面硬件上每秒超过一百万步。这大大降低了实验运行时，大约有一天可以进行十亿步尺度的实验。

加强学习（RL）研究的进展通常是由新的，具有挑战性的环境的设计驱动的，这是一项昂贵的事业，需要技能与典型的机器学习研究人员的正交性。环境发展的复杂性仅随着程序性产生（PCG）的兴起而增加，作为产生能够测试RL剂稳健性和泛化的各种环境的流行范式。此外，现有环境通常需要复杂的构建过程，从而使重现结果变得困难。为了解决这些问题，我们介绍了基于网状引擎的基于网络的集成开发环境（IDE）Griddlyjs。 Griddlyjs允许研究人员使用方便的图形接口在视觉上设计和调试任意，复杂的PCG网格世界环境，并可视化，评估和记录训练有素的代理模型的性能。通过将RL工作流连接到由现代Web标准启用的高级功能，Griddlyjs允许发布交互式代理 - 环境演示，将实验结果直接重现为Web。为了证明Griddlyjs的多功能性，我们使用它来快速开发一个复杂的组成拼图解决环境，以及任意人为设计的环境配置及其用于自动课程学习和离线RL的解决方案。 Griddlyjs IDE是开源的，可以在\ url {https://griddly.ai}上免费获得。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

深度强化学习（RL）的进展是通过用于培训代理商的具有挑战性的基准的可用性来驱动。但是，社区广泛采用的基准未明确设计用于评估RL方法的特定功能。虽然存在用于评估RL的特定打开问题的环境（例如探索，转移学习，无监督环境设计，甚至语言辅助RL），但一旦研究超出证明，通常难以将这些更富有，更复杂的环境 - 概念结果。我们展示了一个强大的沙箱框架，用于易于设计新颖的RL环境。 Minihack是一个停止商店，用于RL实验，环境包括从小房间到复杂的，程序生成的世界。通过利用来自Nethack的全套实体和环境动态，MiniHack是最富有的基网上的视频游戏之一，允许设计快速方便的定制RL测试台。使用这种沙箱框架，可以轻松设计新颖的环境，可以使用人类可读的描述语言或简单的Python接口来设计。除了各种RL任务和基线外，Minihack还可以包装现有的RL基准，并提供无缝添加额外复杂性的方法。

近年来，游戏AI研究取得了巨大的突破，尤其是在增强学习（RL）中。尽管他们成功了，但基础游戏通常是通过自己的预设环境和游戏机制实现的，因此使研究人员难以创建不同的游戏环境。但是，测试RL代理对各种游戏环境的测试对于最近努力研究RL的概括并避免可能发生过度拟合的问题至关重要。在本文中，我们将Gridd呈现为游戏AI研究的新平台，该平台提供了高度可配置的游戏，不同的观察者类型和有效的C ++核心引擎的独特组合。此外，我们提出了一系列基线实验，以研究RL剂的不同观察构构和泛化能力的影响。

事实证明，基于文本的模拟环境是机器学习方法的有效测试床。可负担提取的过程可用于在这种环境中生成可能的互动操作。在本文中，研究了在负担能力提取过程中利用外部知识数据库（特别是概念网）的功能和挑战。在交互式小说（IF）平台Textworld和Jericho上引入和评估了一种用于自动负担提取的算法。为此，将收集的负担转换为IF代理的文本命令。为了探究自动评估过程的质量，进行了另外的人类基线研究。该论文说明，尽管有一些挑战，但原则上可以将外部数据库用于负担得出。本文以进一步修改和改进过程的建议结束。

创建可以自然与人类互动的代理是人工智能（AI）研究中的共同目标。但是，评估这些互动是具有挑战性的：收集在线人类代理相互作用缓慢而昂贵，但更快的代理指标通常与交互式评估相关。在本文中，我们评估了这些现有评估指标的优点，并提出了一种新颖的评估方法，称为标准化测试套件（STS）。 STS使用从真实人类交互数据中挖掘出的行为方案。代理商请参阅重播方案上下文，接收指令，然后将控制权控制以脱机完成交互。记录这些代理的延续并将其发送给人类注释者以将其标记为成功或失败，并且根据其成功的连续性比例对代理进行排名。最终的ST是自然主义相互作用的快速，控制，可解释的和代表的。总的来说，STS巩固了我们许多标准评估指标中所需的许多值，从而使我们能够加速研究进展，以生产可以自然与人类互动的代理。可以在https://youtu.be/yr1tnggorgq上找到视频。

对具有复杂空间关系的几何结构的视觉理解是人类智力的基本组成部分。作为孩子，我们不仅从观察中，而且通过与周围的世界互动来学习如何推理结构 - 通过将事物拆开并将它们重新放回原处。理解结构和组成性的能力不仅使我们不仅可以构建事物，还可以理解和反向工程复合系统。为了推进基于部分几何理解的互动推理研究，我们提出了一个充满挑战的新组装问题，它使用我们称之为中断和制造的乐高积木。在此问题中，给代理人获得了一个乐高模型，并试图通过交互检查和拆卸它来理解其结构。在此检查期之后，代理必须通过使用低级动作原始素从头开始重建模型来证明其理解。为了促进有关此问题的研究，我们构建了Ltron，这是一种完全交互的3D模拟器，允许学习代理组装，拆卸和操纵乐高模型。我们将此模拟器与一个新的粉丝乐高创作的数据集配对，该数据集已上传到Internet，以提供包含一千多种独特砖头的复杂场景。我们使用序列到序列模型迈出了解决此问题的第一步，这些模型为如何在这个具有挑战性的问题上取得进展提供指导。我们的模拟器和数据可在github.com/aaronwalsman/ltron上获得。可以在github.com/aaronwalsman/ltron-torch-eccv22上获得其他培训代码和Pytorch示例。

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

我们介绍了互动室（Thor），这是一个视觉AI研究的框架，可在http://ai2thor.allenai.org上找到。AI2-这是由几乎逼真的3D室内场景组成的，在该场景中，AI代理可以在场景中导航并与对象进行交互以执行任务。AI2-这可以在许多不同的领域进行研究，包括但不限于深入强化学习，模仿学习，通过互动，计划，视觉问答答案，无监督的表示学习，对象检测和细分以及认知模型。AI2的目的是促进构建视觉上智能模型，并将研究推向该领域。

Progress in continual reinforcement learning has been limited due to several barriers to entry: missing code, high compute requirements, and a lack of suitable benchmarks. In this work, we present CORA, a platform for Continual Reinforcement Learning Agents that provides benchmarks, baselines, and metrics in a single code package. The benchmarks we provide are designed to evaluate different aspects of the continual RL challenge, such as catastrophic forgetting, plasticity, ability to generalize, and sample-efficient learning. Three of the benchmarks utilize video game environments (Atari, Procgen, NetHack). The fourth benchmark, CHORES, consists of four different task sequences in a visually realistic home simulator, drawn from a diverse set of task and scene parameters. To compare continual RL methods on these benchmarks, we prepare three metrics in CORA: Continual Evaluation, Isolated Forgetting, and Zero-Shot Forward Transfer. Finally, CORA includes a set of performant, open-source baselines of existing algorithms for researchers to use and expand on. We release CORA and hope that the continual RL community can benefit from our contributions, to accelerate the development of new continual RL algorithms.

从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。

We present Habitat, a platform for research in embodied artificial intelligence (AI). Habitat enables training embodied agents (virtual robots) in highly efficient photorealistic 3D simulation. Specifically, Habitat consists of: (i) Habitat-Sim: a flexible, high-performance 3D simulator with configurable agents, sensors, and generic 3D dataset handling. Habitat-Sim is fast -when rendering a scene from Matterport3D, it achieves several thousand frames per second (fps) running single-threaded, and can reach over 10,000 fps multi-process on a single GPU. (ii) Habitat-API: a modular high-level library for end-toend development of embodied AI algorithms -defining tasks (e.g. navigation, instruction following, question answering), configuring, training, and benchmarking embodied agents.These large-scale engineering contributions enable us to answer scientific questions requiring experiments that were till now impracticable or 'merely' impractical. Specifically, in the context of point-goal navigation: (1) we revisit the comparison between learning and SLAM approaches from two recent works [20,16] and find evidence for the opposite conclusion -that learning outperforms SLAM if scaled to an order of magnitude more experience than previous investigations, and (2) we conduct the first cross-dataset generalization experiments {train, test} × {Matterport3D, Gibson} for multiple sensors {blind, RGB, RGBD, D} and find that only agents with depth (D) sensors generalize across datasets. We hope that our open-source platform and these findings will advance research in embodied AI.

In this article we introduce the Arcade Learning Environment (ALE): both a challenge problem and a platform and methodology for evaluating the development of general, domain-independent AI technology. ALE provides an interface to hundreds of Atari 2600 game environments, each one different, interesting, and designed to be a challenge for human players. ALE presents significant research challenges for reinforcement learning, model learning, model-based planning, imitation learning, transfer learning, and intrinsic motivation. Most importantly, it provides a rigorous testbed for evaluating and comparing approaches to these problems. We illustrate the promise of ALE by developing and benchmarking domain-independent agents designed using well-established AI techniques for both reinforcement learning and planning. In doing so, we also propose an evaluation methodology made possible by ALE, reporting empirical results on over 55 different games. All of the software, including the benchmark agents, is publicly available.

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

在人类空间中运营的机器人必须能够与人的自然语言互动，既有理解和执行指示，也可以使用对话来解决歧义并从错误中恢复。为此，我们介绍了教学，一个超过3,000人的互动对话的数据集，以完成模拟中的家庭任务。一个有关任务的Oracle信息的指挥官以自然语言与追随者通信。追随者通过环境导航并与环境进行互动，以完成从“咖啡”到“准备早餐”的复杂性不同的任务，提出问题并从指挥官获取其他信息。我们提出三个基准使用教学研究体现了智能挑战，我们评估了对话理解，语言接地和任务执行中的初始模型的能力。

Taking into account background knowledge as the context has always been an important part of solving tasks that involve natural language. One representative example of such tasks is text-based games, where players need to make decisions based on both description text previously shown in the game, and their own background knowledge about the language and common sense. In this work, we investigate not simply giving common sense, as can be seen in prior research, but also its effective usage. We assume that a part of the environment states different from common sense should constitute one of the grounds for action selection. We propose a novel agent, DiffG-RL, which constructs a Difference Graph that organizes the environment states and common sense by means of interactive objects with a dedicated graph encoder. DiffG-RL also contains a framework for extracting the appropriate amount and representation of common sense from the source to support the construction of the graph. We validate DiffG-RL in experiments with text-based games that require common sense and show that it outperforms baselines by 17% of scores. The code is available at https://github.com/ibm/diffg-rl

大量数据集和高容量模型推动了计算机视觉和自然语言理解方面的许多最新进步。这项工作提出了一个平台，可以在体现的AI中实现类似的成功案例。我们提出了Procthor，这是一个程序生成体现的AI环境的框架。 Procthor使我们能够采样多种，交互式，可自定义和性能的虚拟环境的任意大型数据集，以训练和评估在导航，互动和操纵任务中的体现代理。我们通过10,000个生成的房屋和简单的神经模型的样本来证明procthor的能力和潜力。仅在Procthor上仅使用RGB图像训练的模型，没有明确的映射，并且没有人类任务监督在6个体现的AI基准中产生最先进的结果，用于导航，重排和手臂操纵，包括目前正在运行的Habitat 2022，AI2-- Thor重新安排2022，以及机器人挑战。我们还通过对procthor进行预训练，在下游基准测试上没有进行微调，通常会击败以前的最先进的系统，从而访问下游训练数据。

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.