对象视觉导航旨在基于代理的视觉观察来转向目标对象。非常希望合理地感知环境并准确控制代理。在导航任务中，我们引入了一个以代理为中心的关系图（ACRG），用于基于环境中的关系学习视觉表示。 ACRG是一种高效且合理的结构，包括两个关系，即物体之间的关系以及代理与目标之间的关系。一方面，我们设计了存储物体之间的相对水平位置的对象水平关系图（OHRG）。请注意，垂直关系不涉及OHRG，我们认为OHRG适合控制策略。另一方面，我们提出了代理 - 目标深度关系图（ATDRG），使代理能够将距离视为目标的距离。为了实现ATDRG，我们利用图像深度来表示距离。鉴于上述关系，代理可以察觉到环境和输出导航操作。鉴于ACRG和位置编码的全局功能构造的可视表示，代理可以捕获目标位置以执行导航操作。人工环境中的实验结果AI2-Thor表明ACRG显着优于看不见的检测环境中的其他最先进的方法。

对象导航任务要求代理根据视觉信息在未知环境中找到特定对象。以前，图形卷积被用于隐式探索对象之间的关系。但是，由于对象之间可见性的差异，很容易在对象注意中产生偏见。因此，在本文中，我们提出了一个定向的对象注意（DOA）图，以指导代理显式地学习对象之间的注意力关系，从而减少对象的注意偏置。特别是，我们使用DOA图在原始图像上分别对对象特征和无偏的自适应图像注意（UAIA）进行无偏的自适应对象注意（UAOA）。为了区分不同分支的特征，提出了一种简洁的自适应分支分布（ABED）方法。我们在AI2-数据集上评估我们的方法。与最先进的方法（SOTA）方法相比，我们的方法报告了7.4％，8.1％和17.6％的成功率（SR），成功按路径长度（SPL）加权（SPL）并通过动作效率加权成功（SAE） ）， 分别。

“搜索”或“导航到”？当找到一个物体时，这两个选择总是在我们的潜意识中出现。在看到目标之前，我们根据经验搜索目标。看到目标后，我们记住目标位置并导航到。但是，最近在对象导航字段中的方法几乎仅考虑使用对象关联来增强“搜索”阶段，同时忽略了“导航到”阶段的重要性。因此，本文提出了双重自适应思维（DAT）方法，以灵活调整不同导航阶段的不同思维策略。双重思考包括具有目标位置能力的对象关联能力和导航思维的搜索思维。为了使导航思维更有效，我们设计了面向目标的内存图（TOMG）来存储历史目标信息和目标感知的多规模聚合器（TAMSA）以编码相对目标位置。我们在AI2-数据集上评估我们的方法。与最先进的方法（SOTA）方法相比，我们的方法报告成功率10.8％，21.5％和15.7％（SR），成功按路径长度（SPL）加权（SPL）和成功通过导航效率加权（SNE） ）， 分别。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

提出了一个新颖的框架，以逐步收集基于标志的图形存储器，并使用收集的内存进行图像目标导航。给定目标图像搜索，具体的机器人利用语义内存在未知环境中找到目标。 ％从RGB-D摄像机的全景观察中收集语义图存储器，而无需知道机器人的姿势。在本文中，我们提出了一个拓扑语义图存储（TSGM），该记忆由（1）一个图形构建器组成，该图将观察到的RGB-D图像构造拓扑语义图，（2）横图搅拌器模块，该模块采用该模块收集的节点以获取上下文信息，以及（3）将上下文内存作为输入的内存解码器，以找到对目标的操作。在图像目标导航的任务上，TSGM明显优于成功率的竞争基线，而SPL上的竞争性基线的表现为 +5.0-9.0％，这意味着TSGM可以找到有效的路径。此外，我们在现实世界图像目标方案中在移动机器人上演示了我们的方法。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

我们介绍了泰德（Tidee），这是一种体现的代理，它根据学识渊博的常识对象和房间安排先验来整理一个无序场景。泰德（Tidee）探索家庭环境，检测到其自然位置的对象，渗透到它们的合理对象上下文，在当前场景中定位此类上下文，并重新定位对象。常识先验在三个模块中编码：i）检测到现象对象的视觉声音检测器，ii）对象和空间关系的关联神经图记忆，提出了对象重新定位的合理语义插座和表面，以及iii）引导代理商探索的可视搜索网络，以有效地将利益定位在当前场景中以重新定位对象。我们测试了在AI2THOR模拟环境中整理混乱的场景的潮汐。 Tidee直接从像素和原始深度输入中执行任务，而没有事先观察到同一房间，仅依靠从单独的一组培训房屋中学到的先验。人类对由此产生的房间进行重组的评估表明，泰德（Tidee）的表现优于该模型的消融版本，这些版本不使用一个或多个常识性先验。在相关的房间重新安排基准测试中，该基准使代理可以在重新排列前查看目标状态，我们的模型的简化版本大大胜过了最佳的方法，可以通过大幅度的差距。代码和数据可在项目网站上获得：https：//tidee-agent.github.io/。

在这项工作中，我们提出了一种用于图像目标导航的内存调格方法。早期的尝试，包括基于RL的基于RL的方法和基于SLAM的方法的概括性能差，或者在姿势/深度传感器上稳定稳定。我们的方法基于一个基于注意力的端到端模型，该模型利用情节记忆来学习导航。首先，我们以自我监督的方式训练一个国家安置的网络，然后将其嵌入以前访问的状态中的代理商的记忆中。我们的导航政策通过注意机制利用了此信息。我们通过广泛的评估来验证我们的方法，并表明我们的模型在具有挑战性的吉布森数据集上建立了新的最新技术。此外，与相关工作形成鲜明对比的是，我们仅凭RGB输入就实现了这种令人印象深刻的性能，而无需访问其他信息，例如位置或深度。

对象目标导航（ObjectNAV）任务是在没有预先构建的地图的情况下将代理导航到看不见的环境中的对象类别。在本文中，我们通过使用语义相关对象作为线索来预测目标的距离来解决此任务。根据与目标对象的估计距离，我们的方法直接选择最佳的中期目标，这些目标更可能具有较短的目标途径。具体而言，基于学习的知识，我们的模型将鸟眼视图语义图作为输入，并估算从边界图单元到目标对象的路径长度。借助估计的距离图，代理可以同时探索环境并基于简单的人类设计策略导航到目标对象。在视觉上逼真的模拟环境中，经验结果表明，该提出的方法的表现优于成功率和效率的广泛基准。 Realobot实验还表明，我们的方法很好地推广到了现实世界。视频https://www.youtube.com/watch?v=r79pwvgfks4

Generalisation to unseen contexts remains a challenge for embodied navigation agents. In the context of semantic audio-visual navigation (SAVi) tasks, the notion of generalisation should include both generalising to unseen indoor visual scenes as well as generalising to unheard sounding objects. However, previous SAVi task definitions do not include evaluation conditions on truly novel sounding objects, resorting instead to evaluating agents on unheard sound clips of known objects; meanwhile, previous SAVi methods do not include explicit mechanisms for incorporating domain knowledge about object and region semantics. These weaknesses limit the development and assessment of models' abilities to generalise their learned experience. In this work, we introduce the use of knowledge-driven scene priors in the semantic audio-visual embodied navigation task: we combine semantic information from our novel knowledge graph that encodes object-region relations, spatial knowledge from dual Graph Encoder Networks, and background knowledge from a series of pre-training tasks -- all within a reinforcement learning framework for audio-visual navigation. We also define a new audio-visual navigation sub-task, where agents are evaluated on novel sounding objects, as opposed to unheard clips of known objects. We show improvements over strong baselines in generalisation to unseen regions and novel sounding objects, within the Habitat-Matterport3D simulation environment, under the SoundSpaces task.

我们建议通过学习通过构思它预期看到的下一个观察来引导的代理来改善视觉导航的跨目标和跨场景概括。这是通过学习变分贝叶斯模型来实现的，称为Neonav，该模型产生了在试剂和目标视图的当前观察中的下一个预期观察（Neo）。我们的生成模式是通过优化包含两个关键设计的变分目标来了解。首先，潜在分布在当前观察和目标视图上进行调节，导致基于模型的目标驱动导航。其次，潜伏的空间用在当前观察和下一个最佳动作上的高斯的混合物建模。我们使用后医混合物的用途能够有效地减轻过正规化的潜在空间的问题，从而大大提高了新目标和新场景的模型概括。此外，Neo Generation模型代理环境交互的前向动态，从而提高了近似推断的质量，因此提高了数据效率。我们对现实世界和合成基准进行了广泛的评估，并表明我们的模型在成功率，数据效率和泛化方面始终如一地优于最先进的模型。

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

Training effective embodied AI agents often involves manual reward engineering, expert imitation, specialized components such as maps, or leveraging additional sensors for depth and localization. Another approach is to use neural architectures alongside self-supervised objectives which encourage better representation learning. In practice, there are few guarantees that these self-supervised objectives encode task-relevant information. We propose the Scene Graph Contrastive (SGC) loss, which uses scene graphs as general-purpose, training-only, supervisory signals. The SGC loss does away with explicit graph decoding and instead uses contrastive learning to align an agent's representation with a rich graphical encoding of its environment. The SGC loss is generally applicable, simple to implement, and encourages representations that encode objects' semantics, relationships, and history. Using the SGC loss, we attain significant gains on three embodied tasks: Object Navigation, Multi-Object Navigation, and Arm Point Navigation. Finally, we present studies and analyses which demonstrate the ability of our trained representation to encode semantic cues about the environment.

我们介绍了一个目标驱动的导航系统，以改善室内场景中的Fapless视觉导航。我们的方法在每次步骤中都将机器人和目标的多视图观察为输入，以提供将机器人移动到目标的一系列动作，而不依赖于运行时在运行时。通过优化包含三个关键设计的组合目标来了解该系统。首先，我们建议代理人在做出行动决定之前构建下一次观察。这是通过从专家演示中学习变分生成模块来实现的。然后，我们提出预测预先预测静态碰撞，作为辅助任务，以改善导航期间的安全性。此外，为了减轻终止动作预测的训练数据不平衡问题，我们还介绍了一个目标检查模块来区分与终止动作的增强导航策略。这三种建议的设计都有助于提高培训数据效率，静态冲突避免和导航泛化性能，从而产生了一种新颖的目标驱动的FLASES导航系统。通过对Turtlebot的实验，我们提供了证据表明我们的模型可以集成到机器人系统中并在现实世界中导航。视频和型号可以在补充材料中找到。

对象目标视觉导航是一项具有挑战性的任务，旨在仅根据其视觉观察来指导机器人找到目标对象，并且该目标仅限于训练阶段中指定的类。但是，在实际家庭中，机器人可能需要处理许多对象类，并且在培训阶段，所有这些类都很难包含。为了应对这一挑战，我们通过将零照片学习与对象目标视频导航相结合，提出了一个零摄像的对象导航任务，该目标旨在指导机器人找到属于新颖类的对象而无需任何培训样本。这项任务导致需要将学习的政策推广到新颖的班级，这是使用深度强化学习的对象导航问题较小的问题。为了解决这个问题，我们利用“阶级无关”的数据来减轻培训阶段中指定的类过度拟合的输入。与类无关的输入包括检测结果和单词嵌入的余弦相似性，并且不包含任何与类相关的视觉特征或知识图。在AI2 Thor平台上进行的广泛实验表明，我们的模型在可见和看不见的类中都优于基线模型，这证明我们的模型对类别的敏感性较小，并且可以更好地概括。我们的代码可在https://github.com/pioneer-innovation/zero-sero-shot-object-navigation上找到

视觉室内导航（VIN）任务已从数据驱动的机器学习社区中引起了人们的关注，尤其是在最近报告的基于学习方法的成功中。由于这项任务的先天复杂性，研究人员尝试从各种不同角度解决问题，其全部范围尚未在总体报告中捕获。这项调查首先总结了VIN任务的基于学习的方法的代表性工作，然后确定并讨论了阻碍VIN绩效的问题，并激发了值得探索社区的这些关键领域的未来研究。

本文描述了对象目标导航任务的框架，该任务要求机器人从随机的启动位置查找并移至目标对象类的最接近实例。该框架使用机器人轨迹的历史记录来学习空间关系图（SRG）和图形卷积网络（GCN）基于基于不同语义标记区域的可能性以及这些区域不同对象类别的发生的可能性。为了在评估过程中定位目标对象实例，机器人使用贝叶斯推理和SRG估计可见区域，并使用学习的GCN嵌入来对可见区域进行排名，并选择接下来的区域。

In this work, we study the problem of Embodied Referring Expression Grounding, where an agent needs to navigate in a previously unseen environment and localize a remote object described by a concise high-level natural language instruction. When facing such a situation, a human tends to imagine what the destination may look like and to explore the environment based on prior knowledge of the environmental layout, such as the fact that a bathroom is more likely to be found near a bedroom than a kitchen. We have designed an autonomous agent called Layout-aware Dreamer (LAD), including two novel modules, that is, the Layout Learner and the Goal Dreamer to mimic this cognitive decision process. The Layout Learner learns to infer the room category distribution of neighboring unexplored areas along the path for coarse layout estimation, which effectively introduces layout common sense of room-to-room transitions to our agent. To learn an effective exploration of the environment, the Goal Dreamer imagines the destination beforehand. Our agent achieves new state-of-the-art performance on the public leaderboard of the REVERIE dataset in challenging unseen test environments with improvement in navigation success (SR) by 4.02% and remote grounding success (RGS) by 3.43% compared to the previous state-of-the-art. The code is released at https://github.com/zehao-wang/LAD

Efficient ObjectGoal navigation (ObjectNav) in novel environments requires an understanding of the spatial and semantic regularities in environment layouts. In this work, we present a straightforward method for learning these regularities by predicting the locations of unobserved objects from incomplete semantic maps. Our method differs from previous prediction-based navigation methods, such as frontier potential prediction or egocentric map completion, by directly predicting unseen targets while leveraging the global context from all previously explored areas. Our prediction model is lightweight and can be trained in a supervised manner using a relatively small amount of passively collected data. Once trained, the model can be incorporated into a modular pipeline for ObjectNav without the need for any reinforcement learning. We validate the effectiveness of our method on the HM3D and MP3D ObjectNav datasets. We find that it achieves the state-of-the-art on both datasets, despite not using any additional data for training.

从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。