在这项工作中，我们提出了一种用于图像目标导航的内存调格方法。早期的尝试，包括基于RL的基于RL的方法和基于SLAM的方法的概括性能差，或者在姿势/深度传感器上稳定稳定。我们的方法基于一个基于注意力的端到端模型，该模型利用情节记忆来学习导航。首先，我们以自我监督的方式训练一个国家安置的网络，然后将其嵌入以前访问的状态中的代理商的记忆中。我们的导航政策通过注意机制利用了此信息。我们通过广泛的评估来验证我们的方法，并表明我们的模型在具有挑战性的吉布森数据集上建立了新的最新技术。此外，与相关工作形成鲜明对比的是，我们仅凭RGB输入就实现了这种令人印象深刻的性能，而无需访问其他信息，例如位置或深度。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

提出了一个新颖的框架，以逐步收集基于标志的图形存储器，并使用收集的内存进行图像目标导航。给定目标图像搜索，具体的机器人利用语义内存在未知环境中找到目标。 ％从RGB-D摄像机的全景观察中收集语义图存储器，而无需知道机器人的姿势。在本文中，我们提出了一个拓扑语义图存储（TSGM），该记忆由（1）一个图形构建器组成，该图将观察到的RGB-D图像构造拓扑语义图，（2）横图搅拌器模块，该模块采用该模块收集的节点以获取上下文信息，以及（3）将上下文内存作为输入的内存解码器，以找到对目标的操作。在图像目标导航的任务上，TSGM明显优于成功率的竞争基线，而SPL上的竞争性基线的表现为 +5.0-9.0％，这意味着TSGM可以找到有效的路径。此外，我们在现实世界图像目标方案中在移动机器人上演示了我们的方法。

在现实世界中经营通常需要代理商来了解复杂的环境，并应用这种理解以实现一系列目标。这个问题被称为目标有条件的强化学习（GCRL），对长地平线的目标变得特别具有挑战性。目前的方法通过使用基于图形的规划算法增强目标条件的策略来解决这个问题。然而，他们努力缩放到大型高维状态空间，并采用用于有效地收集训练数据的探索机制。在这项工作中，我们介绍了继任者功能标志性（SFL），这是一种探索大型高维环境的框架，以获得熟练的政策熟练的策略。 SFL利用继承特性（SF）来捕获转换动态的能力，通过估计状态新颖性来驱动探索，并通过将状态空间作为基于非参数标志的图形来实现高级规划。我们进一步利用SF直接计算地标遍历的目标条件调节策略，我们用于在探索状态空间边缘执行计划“前沿”地标。我们在我们的Minigrid和VizDoom进行了实验，即SFL可以高效地探索大型高维状态空间和优于长地平线GCRL任务的最先进的基线。

我们介绍了一个目标驱动的导航系统，以改善室内场景中的Fapless视觉导航。我们的方法在每次步骤中都将机器人和目标的多视图观察为输入，以提供将机器人移动到目标的一系列动作，而不依赖于运行时在运行时。通过优化包含三个关键设计的组合目标来了解该系统。首先，我们建议代理人在做出行动决定之前构建下一次观察。这是通过从专家演示中学习变分生成模块来实现的。然后，我们提出预测预先预测静态碰撞，作为辅助任务，以改善导航期间的安全性。此外，为了减轻终止动作预测的训练数据不平衡问题，我们还介绍了一个目标检查模块来区分与终止动作的增强导航策略。这三种建议的设计都有助于提高培训数据效率，静态冲突避免和导航泛化性能，从而产生了一种新颖的目标驱动的FLASES导航系统。通过对Turtlebot的实验，我们提供了证据表明我们的模型可以集成到机器人系统中并在现实世界中导航。视频和型号可以在补充材料中找到。

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

Efficient ObjectGoal navigation (ObjectNav) in novel environments requires an understanding of the spatial and semantic regularities in environment layouts. In this work, we present a straightforward method for learning these regularities by predicting the locations of unobserved objects from incomplete semantic maps. Our method differs from previous prediction-based navigation methods, such as frontier potential prediction or egocentric map completion, by directly predicting unseen targets while leveraging the global context from all previously explored areas. Our prediction model is lightweight and can be trained in a supervised manner using a relatively small amount of passively collected data. Once trained, the model can be incorporated into a modular pipeline for ObjectNav without the need for any reinforcement learning. We validate the effectiveness of our method on the HM3D and MP3D ObjectNav datasets. We find that it achieves the state-of-the-art on both datasets, despite not using any additional data for training.

对象目标导航要求机器人在以前看不见的环境中找到并导航到目标对象类的实例。我们的框架会随着时间的推移逐步构建环境的语义图，然后根据语义映射重复选择一个长期目标（“ where to Go”）以找到目标对象实例。长期目标选择被称为基于视觉的深度强化学习问题。具体而言，对编码器网络进行了训练，可以从语义图中提取高级功能并选择长期目标。此外，我们还将数据增强和Q功能正则化合并，以使长期目标选择更有效。我们在AI栖息地3D模拟环境中使用照片现实的Gibson基准数据集进行了实验结果，以证明与最先进的数据驱动基线相比，标准措施的性能改善。

Training effective embodied AI agents often involves manual reward engineering, expert imitation, specialized components such as maps, or leveraging additional sensors for depth and localization. Another approach is to use neural architectures alongside self-supervised objectives which encourage better representation learning. In practice, there are few guarantees that these self-supervised objectives encode task-relevant information. We propose the Scene Graph Contrastive (SGC) loss, which uses scene graphs as general-purpose, training-only, supervisory signals. The SGC loss does away with explicit graph decoding and instead uses contrastive learning to align an agent's representation with a rich graphical encoding of its environment. The SGC loss is generally applicable, simple to implement, and encourages representations that encode objects' semantics, relationships, and history. Using the SGC loss, we attain significant gains on three embodied tasks: Object Navigation, Multi-Object Navigation, and Arm Point Navigation. Finally, we present studies and analyses which demonstrate the ability of our trained representation to encode semantic cues about the environment.

我们建议通过学习通过构思它预期看到的下一个观察来引导的代理来改善视觉导航的跨目标和跨场景概括。这是通过学习变分贝叶斯模型来实现的，称为Neonav，该模型产生了在试剂和目标视图的当前观察中的下一个预期观察（Neo）。我们的生成模式是通过优化包含两个关键设计的变分目标来了解。首先，潜在分布在当前观察和目标视图上进行调节，导致基于模型的目标驱动导航。其次，潜伏的空间用在当前观察和下一个最佳动作上的高斯的混合物建模。我们使用后医混合物的用途能够有效地减轻过正规化的潜在空间的问题，从而大大提高了新目标和新场景的模型概括。此外，Neo Generation模型代理环境交互的前向动态，从而提高了近似推断的质量，因此提高了数据效率。我们对现实世界和合成基准进行了广泛的评估，并表明我们的模型在成功率，数据效率和泛化方面始终如一地优于最先进的模型。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。

对象目标导航的最新方法依赖于增强学习，通常需要大量的计算资源和学习时间。我们提出了使用无互动学习（PONI）的对象导航的潜在功能，这是一种模块化方法，可以散布“在哪里看？”的技能？对于对象和“如何导航到（x，y）？”。我们的主要见解是“在哪里看？”可以纯粹将其视为感知问题，而没有环境相互作用就可以学习。为了解决这个问题，我们提出了一个网络，该网络可以预测两个在语义图上的互补电位功能，并使用它们来决定在哪里寻找看不见的对象。我们使用在自上而下的语义图的被动数据集上使用受监督的学习来训练潜在的功能网络，并将其集成到模块化框架中以执行对象目标导航。 Gibson和MatterPort3D的实验表明，我们的方法可实现对象目标导航的最新方法，同时减少培训计算成本高达1,600倍。可以使用代码和预训练的模型：https：//vision.cs.utexas.edu/projects/poni/

自主代理可以在新环境中导航而不构建明确的地图吗？对于PointGoal Navigation的任务（“转到$ \ delta x $，$ \ delta y $'），在理想化的设置（否RGB -D和驱动噪声，完美的GPS+Compass）下，答案是一个明确的“是” - 由任务无形组件（CNNS和RNN）组成的无地图神经模型接受了大规模增强学习训练，在标准数据集（Gibson）上取得了100％的成功。但是，对于PointNav在现实环境中（RGB-D和致动噪声，没有GPS+Compass），这是一个悬而未决的问题。我们在本文中解决了一个。该任务的最强成绩是成功的71.7％。首先，我们确定了性能下降的主要原因：GPS+指南针的缺失。带有RGB-D传感和致动噪声的完美GPS+指南针的代理商取得了99.8％的成功（Gibson-V2 Val）。这表明（解释模因）强大的视觉探子仪是我们对逼真的PointNav所需的全部。如果我们能够实现这一目标，我们可以忽略感应和致动噪声。作为我们的操作假设，我们扩展了数据集和模型大小，并开发了无人批准的数据启发技术来训练模型以进行视觉探测。我们在栖息地现实的PointNAV挑战方面的最新状态从71％降低到94％的成功（+23，31％相对）和53％至74％的SPL（+21，40％相对）。虽然我们的方法不饱和或“解决”该数据集，但这种强大的改进与有希望的零射击SIM2REAL转移（到Locobot）相结合提供了与假设一致的证据，即即使在现实环境中，显式映射也不是必需的。 。

图像目标导航是一项具有挑战性的任务，因为它要求代理必须导航到以前看不见的场景中图像指示的目标。当前方法介绍了各种存储机制，这些记忆机制可以保存导航历史记录以解决此任务。但是，这些方法使用内存中的所有观察值来生成导航操作，而无需考虑该内存的哪一部分是有益的。为了解决这一限制，我们提出了Memonav，这是一种用于图像目标导航的新型内存机制，该机制保留了代理商的短期记忆和长期记忆，以改善多进球任务上的导航性能。代理拓扑图上的节点功能存储在短期内存中，因为这些功能已动态更新。为了帮助短期记忆，我们还通过通过图形注意模块连续汇总短期内存来生成长期记忆。 MEMONAV通过基于变压器解码器的遗忘模块保留短期内存的信息部分，然后将此保留的短期内存和长期内存结合到工作内存中。最后，代理使用工作内存进行动作生成。我们在新的多进球导航数据集上评估了我们的模型。实验结果表明，MEMONAV的表现优于SOTA方法，而导航历史悠久的比例较小。从经验上看，结果还表明，我们的模型不太可能被困在僵局中，这进一步验证了Memonav通过减少冗余步骤来提高代理商的导航效率。

我们研究了一个体现的设置中的终身视觉感知，在那里我们开发了新的模型，并比较了在建筑物中导航的各种代理，偶尔会要求注释，又用于改进他们的视觉感知能力。代理的目的是在结合探索和主动视觉学习的过程结束时识别整个建筑物中的对象和其他语义类。当我们在终身学习背景下研究这项任务时，代理商应该使用早期访问环境中获得的知识，以便在连续访问建筑物中指导他们的勘探和积极学习策略。我们使用语义分割性能作为一般性视觉感知的代理，并研究了几种探索和注释方法的新任务，从使用启发式主动学习的前沿勘探基线到一个完全学习的方法。对于后者，我们介绍了一个基于深度的加强学习（RL）的代理，共同学习了导航和主动学习。一个点目标导航制定，与提供目标的全球计划者耦合，被集成到RL模型中，以便为新颖的场景系统探索提供进一步的激励措施。通过在TAKEPORT3D DataSet上进行广泛的实验，我们展示了拟议的代理商如何利用先前探索的场景的知识，例如，探索新的，例如，通过更少的粒度勘探和较少频繁的注释请求。结果还表明，基于学习的代理能够比启发式替代品更有效地使用其先前的视觉知识。

Two less addressed issues of deep reinforcement learning are (1) lack of generalization capability to new target goals, and (2) data inefficiency i.e., the model requires several (and often costly) episodes of trial and error to converge, which makes it impractical to be applied to real-world scenarios. In this paper, we address these two issues and apply our model to the task of target-driven visual navigation. To address the first issue, we propose an actor-critic model whose policy is a function of the goal as well as the current state, which allows to better generalize. To address the second issue, we propose AI2-THOR framework, which provides an environment with highquality 3D scenes and physics engine. Our framework enables agents to take actions and interact with objects. Hence, we can collect a huge number of training samples efficiently.We show that our proposed method (1) converges faster than the state-of-the-art deep reinforcement learning methods, (2) generalizes across targets and across scenes, (3) generalizes to a real robot scenario with a small amount of fine-tuning (although the model is trained in simulation), ( 4) is end-to-end trainable and does not need feature engineering, feature matching between frames or 3D reconstruction of the environment.The supplementary video can be accessed at the following link: https://youtu.be/SmBxMDiOrvs.

通过与环境进行互动而没有任何外部监督是一个重要的挑战，可以通过与环境进行互动来学习各种技能。特别是，获得可以达到任何给定状态的目标条件的代理在许多应用中都有用。我们提出了一种新的方法，用于训练这种目标条件的代理，而没有任何外部奖励或任何领域知识。我们使用随机步行来训练可及性网络，以预测两个状态之间的相似性。然后，该可达性网络将用于构建目标记忆，其中包含过去的观察结果，这些观察值多样化且平衡。最后，我们训练一个目标条件条件的政策网络，其目标是从目标记忆中取得的目标，并通过可达性网络和目标记忆进行奖励。当代理商发现并学习新目标时，所有组件在整个培训中都进行了更新。我们将方法应用于连续的控制导航和机器人操纵任务。

自动三维环境探索是各种应用的基本任务，例如导航。探索的目标是调查新环境并有效地建立其占用地图。在本文中，我们提出了一种新的方法，授予代理的两个交错的行为选项：“浏览”和“前沿导航”。这是由选项 - 批评架构实现的，并通过加强学习算法训练。在每个时间步骤中，代理生成根据策略的选项和相应的操作。我们还通过纳入经典的路径规划技术来利用宏观行动来提高培训效率。我们展示了所提出的方法对两个公开可用的3D环境数据集的有效性，结果表明我们的方法比具有更好效率的竞争技术达到更高的覆盖范围。

In recent years several learning approaches to point goal navigation in previously unseen environments have been proposed. They vary in the representations of the environments, problem decomposition, and experimental evaluation. In this work, we compare the state-of-the-art Deep Reinforcement Learning based approaches with Partially Observable Markov Decision Process (POMDP) formulation of the point goal navigation problem. We adapt the (POMDP) sub-goal framework proposed by [1] and modify the component that estimates frontier properties by using partial semantic maps of indoor scenes built from images' semantic segmentation. In addition to the well-known completeness of the model-based approach, we demonstrate that it is robust and efficient in that it leverages informative, learned properties of the frontiers compared to an optimistic frontier-based planner. We also demonstrate its data efficiency compared to the end-to-end deep reinforcement learning approaches. We compare our results against an optimistic planner, ANS and DD-PPO on Matterport3D dataset using the Habitat Simulator. We show comparable, though slightly worse performance than the SOTA DD-PPO approach, yet with far fewer data.