在本文中，我们专注于在线学习主动视觉在未知室内环境中的对象的搜索（AVS）的最优策略问题。我们建议POMP++，规划战略，介绍了经典的部分可观察蒙特卡洛规划（POMCP）框架之上的新制剂，允许免费培训，在线政策在未知的环境中学习。我们提出了一个新的信仰振兴战略，允许使用POMCP与动态扩展状态空间来解决在线生成平面地图的。我们评估我们在两个公共标准数据集的方法，AVD由是从真正的3D场景渲染扫描真正的机器人平台和人居ObjectNav收购，用>10％，比国家的the-改善达到最佳的成功率技术方法。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

对象目标导航（ObjectNAV）任务是在没有预先构建的地图的情况下将代理导航到看不见的环境中的对象类别。在本文中，我们通过使用语义相关对象作为线索来预测目标的距离来解决此任务。根据与目标对象的估计距离，我们的方法直接选择最佳的中期目标，这些目标更可能具有较短的目标途径。具体而言，基于学习的知识，我们的模型将鸟眼视图语义图作为输入，并估算从边界图单元到目标对象的路径长度。借助估计的距离图，代理可以同时探索环境并基于简单的人类设计策略导航到目标对象。在视觉上逼真的模拟环境中，经验结果表明，该提出的方法的表现优于成功率和效率的广泛基准。 Realobot实验还表明，我们的方法很好地推广到了现实世界。视频https://www.youtube.com/watch?v=r79pwvgfks4

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。

Semantic navigation is necessary to deploy mobile robots in uncontrolled environments like our homes, schools, and hospitals. Many learning-based approaches have been proposed in response to the lack of semantic understanding of the classical pipeline for spatial navigation, which builds a geometric map using depth sensors and plans to reach point goals. Broadly, end-to-end learning approaches reactively map sensor inputs to actions with deep neural networks, while modular learning approaches enrich the classical pipeline with learning-based semantic sensing and exploration. But learned visual navigation policies have predominantly been evaluated in simulation. How well do different classes of methods work on a robot? We present a large-scale empirical study of semantic visual navigation methods comparing representative methods from classical, modular, and end-to-end learning approaches across six homes with no prior experience, maps, or instrumentation. We find that modular learning works well in the real world, attaining a 90% success rate. In contrast, end-to-end learning does not, dropping from 77% simulation to 23% real-world success rate due to a large image domain gap between simulation and reality. For practitioners, we show that modular learning is a reliable approach to navigate to objects: modularity and abstraction in policy design enable Sim-to-Real transfer. For researchers, we identify two key issues that prevent today's simulators from being reliable evaluation benchmarks - (A) a large Sim-to-Real gap in images and (B) a disconnect between simulation and real-world error modes - and propose concrete steps forward.

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

感知，规划，估算和控制的当代方法允许机器人在不确定，非结构化环境中的远程代理中稳健运行。此进度现在创造了机器人不仅在隔离，而且在我们的复杂环境中运行的机器人。意识到这个机会需要一种高效且灵活的媒介，人类可以与协作机器人沟通。自然语言提供了一种这样的媒体，通过对自然语言理解的统计方法的重大进展，现在能够解释各种自由形式命令。然而，大多数当代方法需要机器人环境的详细，现有的空间语义地图，这些环境模拟了话语可能引用的可能引用的空间。因此，当机器人部署在新的，先前未知或部分观察到的环境中时，这些方法发生故障，特别是当环境的心理模型在人类运营商和机器人之间不同时。本文提供了一种新的学习框架的全面描述，允许现场和服务机器人解释并正确执行先验未知，非结构化环境中的自然语言指令。对于我们的方法而不是我们的语言作为“传感器” - 在话语中隐含的“传感器” - 推断的空间，拓扑和语义信息，然后利用这些信息来学习在潜在环境模型上的分布。我们将此分布纳入概率，语言接地模型中，并在机器人的动作空间的象征性表示中推断出分布。我们使用模仿学习来确定对环境和行为分布的原因的信仰空间政策。我们通过各种导航和移动操纵实验评估我们的框架。

我们介绍了一个目标驱动的导航系统，以改善室内场景中的Fapless视觉导航。我们的方法在每次步骤中都将机器人和目标的多视图观察为输入，以提供将机器人移动到目标的一系列动作，而不依赖于运行时在运行时。通过优化包含三个关键设计的组合目标来了解该系统。首先，我们建议代理人在做出行动决定之前构建下一次观察。这是通过从专家演示中学习变分生成模块来实现的。然后，我们提出预测预先预测静态碰撞，作为辅助任务，以改善导航期间的安全性。此外，为了减轻终止动作预测的训练数据不平衡问题，我们还介绍了一个目标检查模块来区分与终止动作的增强导航策略。这三种建议的设计都有助于提高培训数据效率，静态冲突避免和导航泛化性能，从而产生了一种新颖的目标驱动的FLASES导航系统。通过对Turtlebot的实验，我们提供了证据表明我们的模型可以集成到机器人系统中并在现实世界中导航。视频和型号可以在补充材料中找到。

提出了一个新颖的框架，以逐步收集基于标志的图形存储器，并使用收集的内存进行图像目标导航。给定目标图像搜索，具体的机器人利用语义内存在未知环境中找到目标。 ％从RGB-D摄像机的全景观察中收集语义图存储器，而无需知道机器人的姿势。在本文中，我们提出了一个拓扑语义图存储（TSGM），该记忆由（1）一个图形构建器组成，该图将观察到的RGB-D图像构造拓扑语义图，（2）横图搅拌器模块，该模块采用该模块收集的节点以获取上下文信息，以及（3）将上下文内存作为输入的内存解码器，以找到对目标的操作。在图像目标导航的任务上，TSGM明显优于成功率的竞争基线，而SPL上的竞争性基线的表现为 +5.0-9.0％，这意味着TSGM可以找到有效的路径。此外，我们在现实世界图像目标方案中在移动机器人上演示了我们的方法。

In recent years several learning approaches to point goal navigation in previously unseen environments have been proposed. They vary in the representations of the environments, problem decomposition, and experimental evaluation. In this work, we compare the state-of-the-art Deep Reinforcement Learning based approaches with Partially Observable Markov Decision Process (POMDP) formulation of the point goal navigation problem. We adapt the (POMDP) sub-goal framework proposed by [1] and modify the component that estimates frontier properties by using partial semantic maps of indoor scenes built from images' semantic segmentation. In addition to the well-known completeness of the model-based approach, we demonstrate that it is robust and efficient in that it leverages informative, learned properties of the frontiers compared to an optimistic frontier-based planner. We also demonstrate its data efficiency compared to the end-to-end deep reinforcement learning approaches. We compare our results against an optimistic planner, ANS and DD-PPO on Matterport3D dataset using the Habitat Simulator. We show comparable, though slightly worse performance than the SOTA DD-PPO approach, yet with far fewer data.

在本文中，我们为全向机器人提供了一种积极的视觉血液。目标是生成允许这样的机器人同时定向机器人的控制命令并将未知环境映射到最大化的信息量和消耗尽可能低的信息。利用机器人的独立翻译和旋转控制，我们引入了一种用于活动V-SLAM的多层方法。顶层决定提供信息丰富的目标位置，并为它们产生高度信息的路径。第二个和第三层积极地重新计划并执行路径，利用连续更新的地图和本地特征信息。此外，我们介绍了两个实用程序配方，以解释视野和机器人位置的障碍物。通过严格的模拟，真正的机器人实验和与最先进的方法的比较，我们证明我们的方法通过较小的整体地图熵实现了类似的覆盖结果。这是可以获得的，同时保持横向距离比其他方法短至39％，而不增加车轮的总旋转量。代码和实现详细信息作为开源提供。

在执行视觉伺服或对象跟踪任务时，有效的传感器规划对于保持目标的目标是必不可少的，或者在缺失时重新定位它们。特别是，当处理从传感器的视野中缺少的已知目标时，我们建议使用与上下文信息相关的先验知识来估计其可能的位置。为此，本研究提出了一种动态贝叶斯网络，它使用上下文信息来有效地搜索目标。 Monte Carlo颗粒滤波器用于近似目标状态的后验概率，从中定义不确定性。我们通过信息理论形式主义定义机器人的实用程序函数，因为寻求最佳动作减少了任务的不确定性，提示机器人代理商调查最可能存在的目标的位置。使用上下文状态模型，我们使用部分可观察的Markov决策过程设计代理的高级决策框架。根据通过顺序观察的基础上下文的估计信仰状态，决定了机器人的导航行动进行探索性和检测任务。通过使用这种多模态上下文模型，我们的代理可以有效处理基本动态事件，例如妨碍目标或从视野中的缺失。我们实时实施并展示移动机器人的这些功能。

Training effective embodied AI agents often involves manual reward engineering, expert imitation, specialized components such as maps, or leveraging additional sensors for depth and localization. Another approach is to use neural architectures alongside self-supervised objectives which encourage better representation learning. In practice, there are few guarantees that these self-supervised objectives encode task-relevant information. We propose the Scene Graph Contrastive (SGC) loss, which uses scene graphs as general-purpose, training-only, supervisory signals. The SGC loss does away with explicit graph decoding and instead uses contrastive learning to align an agent's representation with a rich graphical encoding of its environment. The SGC loss is generally applicable, simple to implement, and encourages representations that encode objects' semantics, relationships, and history. Using the SGC loss, we attain significant gains on three embodied tasks: Object Navigation, Multi-Object Navigation, and Arm Point Navigation. Finally, we present studies and analyses which demonstrate the ability of our trained representation to encode semantic cues about the environment.

通过连续行动解决部分可观察到的马尔可夫决策过程（POMDP）是具有挑战性的，尤其是对于高维操作空间。为了减轻这一困难，我们提出了一种新的基于采样的在线POMDP求解器，称为使用Voronoi Trees（Advt）的自适应离散化。它结合使用蒙特卡洛树搜索与动作空间的自适应离散化以及乐观的优化，以有效地采样高维连续的动作空间并计算最佳动作。具体而言，我们使用称为Voronoi树的分层分区来适应每个采样信念的动作空间。 Voronoi树是一种二进制空间分区（BSP），它隐式地将单元格的分区保留为从单元中采样的两个点的伏诺图图。这种分区策略可以保持分区和估计每个细胞的大小的成本，即使在高维空间中，需要许多采样点才能覆盖空间。 Advt使用单元格的估计尺寸形成单元的动作值的上限结合，进而使用上等信心来指导蒙特卡洛树搜索扩展并进一步离散动作空间。该策略使Advt能够更好地利用动作空间中的本地信息，从而导致动作空间离散化更具适应性，因此与现有求解器相比，计算良好的POMDP解决方案的效率更高。对四种基准问题的模拟实验表明，与最新的连续作用POMDP求解器相比，ADVT优于高维连续作用空间的表现要好于高维连续的动作空间。

在这项工作中，我们提出了一种用于图像目标导航的内存调格方法。早期的尝试，包括基于RL的基于RL的方法和基于SLAM的方法的概括性能差，或者在姿势/深度传感器上稳定稳定。我们的方法基于一个基于注意力的端到端模型，该模型利用情节记忆来学习导航。首先，我们以自我监督的方式训练一个国家安置的网络，然后将其嵌入以前访问的状态中的代理商的记忆中。我们的导航政策通过注意机制利用了此信息。我们通过广泛的评估来验证我们的方法，并表明我们的模型在具有挑战性的吉布森数据集上建立了新的最新技术。此外，与相关工作形成鲜明对比的是，我们仅凭RGB输入就实现了这种令人印象深刻的性能，而无需访问其他信息，例如位置或深度。

在这项工作中，我们解决了主动摄像机定位的问题，该问题可积极控制相机运动以实现精确的相机姿势。过去的解决方案主要基于马尔可夫定位，从而减少了定位的位置摄像头的不确定性。这些方法将摄像机定位在离散姿势空间中，并且对定位驱动的场景属性不可知，从而限制了相机姿势的精度。我们建议通过由被动和主动定位模块组成的新型活动相机定位算法克服这些局限性。前者通过建立对点的摄像头通信来优化连续姿势空间中的相机姿势。后者明确对场景和相机不确定性组件进行建模，以计划正确的摄像头姿势估计的正确路径。我们在合成和扫描现实世界室内场景的挑战性本地化场景上验证了算法。实验结果表明，我们的算法表现优于基于马尔可夫定位的最先进的方法和优质相机姿势精度的其他方法。代码和数据在https://github.com/qhfang/accurateacl上发布。

Efficient ObjectGoal navigation (ObjectNav) in novel environments requires an understanding of the spatial and semantic regularities in environment layouts. In this work, we present a straightforward method for learning these regularities by predicting the locations of unobserved objects from incomplete semantic maps. Our method differs from previous prediction-based navigation methods, such as frontier potential prediction or egocentric map completion, by directly predicting unseen targets while leveraging the global context from all previously explored areas. Our prediction model is lightweight and can be trained in a supervised manner using a relatively small amount of passively collected data. Once trained, the model can be incorporated into a modular pipeline for ObjectNav without the need for any reinforcement learning. We validate the effectiveness of our method on the HM3D and MP3D ObjectNav datasets. We find that it achieves the state-of-the-art on both datasets, despite not using any additional data for training.