我们考虑空间路径规划问题。与从划痕优化新计划的经典解决方案相比，我们以与地面真理障碍物位置访问完整地图，我们以可分散的方式从数据中学到策划员，允许我们利用过去数据的统计规则。我们提出了空间规划变压器（SPT），给出了障碍地图学习通过规划长期空间依赖性来生成动作，与以迭代方式通过卷积结构传播信息的先前数据驱动规划策规范。在地面真理地图对代理人未知的情况下，我们利用预先训练的SPTS在端到端的框架中，该框架具有映射器和计划内置的映射器和规划仪的结构，允许无缝概括到分配外地图和目标。 SPTS以处理和导航任务的所有设置均优于最先进的可分散规划者，导致7-19％的绝对提高。
translated by 谷歌翻译
该报告涵盖了我们对Chaplot等人的“使用变压器的可区分空间计划”的复制工作。。在本文中，考虑了以可不同方式进行空间路径计划的问题。他们表明，他们提出的使用空间规划变压器的方法优于先前数据驱动的模型，并利用可不同的结构来学习映射而无需同时地面真相图。我们通过重现其实验并在新数据上测试其方法来验证这些主张。我们还通过地图提高了障碍物复杂性，研究了计划准确性的稳定性。努力调查和验证映射模块的学习的努力是由于缺乏计算资源和无法到达的作者而导致的失败。
translated by 谷歌翻译
这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。
translated by 谷歌翻译
在这项工作中，我们提出了一种用于图像目标导航的内存调格方法。早期的尝试，包括基于RL的基于RL的方法和基于SLAM的方法的概括性能差，或者在姿势/深度传感器上稳定稳定。我们的方法基于一个基于注意力的端到端模型，该模型利用情节记忆来学习导航。首先，我们以自我监督的方式训练一个国家安置的网络，然后将其嵌入以前访问的状态中的代理商的记忆中。我们的导航政策通过注意机制利用了此信息。我们通过广泛的评估来验证我们的方法，并表明我们的模型在具有挑战性的吉布森数据集上建立了新的最新技术。此外，与相关工作形成鲜明对比的是，我们仅凭RGB输入就实现了这种令人印象深刻的性能，而无需访问其他信息，例如位置或深度。
translated by 谷歌翻译
我们提出了一种新颖的场景表示，其编码达到距离 - 沿着可行轨迹的场景中的任何位置之间的距离。我们证明，该环境现场表示可以直接指导2D迷宫或3D室内场景中代理的动态行为。我们的环境领域是一种连续表示，通过使用离散采样的培训数据通过神经隐式功能学习。我们展示其在2D迷宫中的代理导航应用，3D室内环境中的人为轨迹预测。为了为人类生产物理似品和自然的轨迹，我们还学习了一种生成模型，该模型预测了人类通常出现的区域，并强制执行要在这些区域内定义的环境场。广泛的实验表明，所提出的方法可以有效准确地产生可行和合理的轨迹。
translated by 谷歌翻译
尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。
translated by 谷歌翻译
我们介绍了一个目标驱动的导航系统，以改善室内场景中的Fapless视觉导航。我们的方法在每次步骤中都将机器人和目标的多视图观察为输入，以提供将机器人移动到目标的一系列动作，而不依赖于运行时在运行时。通过优化包含三个关键设计的组合目标来了解该系统。首先，我们建议代理人在做出行动决定之前构建下一次观察。这是通过从专家演示中学习变分生成模块来实现的。然后，我们提出预测预先预测静态碰撞，作为辅助任务，以改善导航期间的安全性。此外，为了减轻终止动作预测的训练数据不平衡问题，我们还介绍了一个目标检查模块来区分与终止动作的增强导航策略。这三种建议的设计都有助于提高培训数据效率，静态冲突避免和导航泛化性能，从而产生了一种新颖的目标驱动的FLASES导航系统。通过对Turtlebot的实验，我们提供了证据表明我们的模型可以集成到机器人系统中并在现实世界中导航。视频和型号可以在补充材料中找到。
translated by 谷歌翻译
Autonomous navigation in crowded spaces poses a challenge for mobile robots due to the highly dynamic, partially observable environment. Occlusions are highly prevalent in such settings due to a limited sensor field of view and obstructing human agents. Previous work has shown that observed interactive behaviors of human agents can be used to estimate potential obstacles despite occlusions. We propose integrating such social inference techniques into the planning pipeline. We use a variational autoencoder with a specially designed loss function to learn representations that are meaningful for occlusion inference. This work adopts a deep reinforcement learning approach to incorporate the learned representation for occlusion-aware planning. In simulation, our occlusion-aware policy achieves comparable collision avoidance performance to fully observable navigation by estimating agents in occluded spaces. We demonstrate successful policy transfer from simulation to the real-world Turtlebot 2i. To the best of our knowledge, this work is the first to use social occlusion inference for crowd navigation.
translated by 谷歌翻译
我们建议通过学习通过构思它预期看到的下一个观察来引导的代理来改善视觉导航的跨目标和跨场景概括。这是通过学习变分贝叶斯模型来实现的，称为Neonav，该模型产生了在试剂和目标视图的当前观察中的下一个预期观察（Neo）。我们的生成模式是通过优化包含两个关键设计的变分目标来了解。首先，潜在分布在当前观察和目标视图上进行调节，导致基于模型的目标驱动导航。其次，潜伏的空间用在当前观察和下一个最佳动作上的高斯的混合物建模。我们使用后医混合物的用途能够有效地减轻过正规化的潜在空间的问题，从而大大提高了新目标和新场景的模型概括。此外，Neo Generation模型代理环境交互的前向动态，从而提高了近似推断的质量，因此提高了数据效率。我们对现实世界和合成基准进行了广泛的评估，并表明我们的模型在成功率，数据效率和泛化方面始终如一地优于最先进的模型。
translated by 谷歌翻译
我们解决了目标定向布操纵问题，这是由于布的可变形性导致的具有挑战性的任务。我们的见解是，光流量，一种通常用于视频中运动估计的技术，还可以提供相应布在观察和目标图像上的相应布构成的有效表示。我们介绍了FabricFlowNet（FFN），布料操作策略，利用流量作为输入和作为提高性能的动作表示。 FabricFlownet也根据所需目标在Bimanual和单臂动作之间提供优雅的切换。我们表明，FabricFlownet明显优于拍摄图像输入的最先进的无模型和模型的布料操作策略。我们还在生效系统上呈现实际的实验，展示了有效的SIM-to-Real Transfer。最后，我们表明我们的方法在单个方形布上训练到其他布形时，如T恤和矩形布。视频和其他补充材料可用于：https://sites.google.com/view/fabricFlownet。
translated by 谷歌翻译
We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.
translated by 谷歌翻译
我们研究小组对称性如何帮助提高端到端可区分计划算法的数据效率和概括，特别是在2D机器人路径计划问题上：导航和操纵。我们首先从价值迭代网络（VIN）正式使用卷积网络进行路径计划，因为它避免了明确构建等价类别并启用端到端计划。然后，我们证明价值迭代可以始终表示为（2D）路径计划的某种卷积形式，并将结果范式命名为对称范围（SYMPLAN）。在实施中，我们使用可进入的卷积网络来合并对称性。我们在导航和操纵方面的算法，具有给定或学习的地图，提高了与非等级同行VIN和GPPN相比，大幅度利润的训练效率和概括性能。
translated by 谷歌翻译
尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。
translated by 谷歌翻译
我们考虑将移动机器人导航到具有视觉传感器的未知环境中的问题，在该环境中，机器人和传感器都无法访问全局定位信息，并且仅使用第一人称视图图像。虽然基于传感器网络的先前工作使用明确的映射和计划技术，并且经常得到外部定位系统的帮助，但我们提出了一种基于视觉的学习方法，该方法利用图形神经网络（GNN）来编码和传达相关的视点信息到移动机器人。在导航期间，机器人以模型为指导，我们通过模仿学习训练以近似最佳的运动原语，从而预测有效的成本（目标）。在我们的实验中，我们首先证明了具有各种传感器布局的以前看不见的环境的普遍性。仿真结果表明，通过利用传感器和机器人之间的通信，我们可以达到$ 18.1 \％$ $的成功率，同时将路径弯路的平均值降低$ 29.3 \％$，并且可变性降低了$ 48.4 \％$ $。这是在不需要全局地图，定位数据或传感器网络预校准的情况下完成的。其次，我们将模型从模拟到现实世界进行零拍传输。为此，我们训练一个“翻译器”模型，该模型在{}真实图像和模拟图像之间转换，以便可以直接在真实的机器人上使用导航策略（完全在模拟中训练），而无需其他微调。 。物理实验证明了我们在各种混乱的环境中的有效性。
translated by 谷歌翻译
对象目标导航的最新方法依赖于增强学习，通常需要大量的计算资源和学习时间。我们提出了使用无互动学习（PONI）的对象导航的潜在功能，这是一种模块化方法，可以散布“在哪里看？”的技能？对于对象和“如何导航到（x，y）？”。我们的主要见解是“在哪里看？”可以纯粹将其视为感知问题，而没有环境相互作用就可以学习。为了解决这个问题，我们提出了一个网络，该网络可以预测两个在语义图上的互补电位功能，并使用它们来决定在哪里寻找看不见的对象。我们使用在自上而下的语义图的被动数据集上使用受监督的学习来训练潜在的功能网络，并将其集成到模块化框架中以执行对象目标导航。 Gibson和MatterPort3D的实验表明，我们的方法可实现对象目标导航的最新方法，同时减少培训计算成本高达1,600倍。可以使用代码和预训练的模型：https：//vision.cs.utexas.edu/projects/poni/
translated by 谷歌翻译
自主代理可以在新环境中导航而不构建明确的地图吗？对于PointGoal Navigation的任务（“转到$ \ delta x $，$ \ delta y $'），在理想化的设置（否RGB -D和驱动噪声，完美的GPS+Compass）下，答案是一个明确的“是” - 由任务无形组件（CNNS和RNN）组成的无地图神经模型接受了大规模增强学习训练，在标准数据集（Gibson）上取得了100％的成功。但是，对于PointNav在现实环境中（RGB-D和致动噪声，没有GPS+Compass），这是一个悬而未决的问题。我们在本文中解决了一个。该任务的最强成绩是成功的71.7％。首先，我们确定了性能下降的主要原因：GPS+指南针的缺失。带有RGB-D传感和致动噪声的完美GPS+指南针的代理商取得了99.8％的成功（Gibson-V2 Val）。这表明（解释模因）强大的视觉探子仪是我们对逼真的PointNav所需的全部。如果我们能够实现这一目标，我们可以忽略感应和致动噪声。作为我们的操作假设，我们扩展了数据集和模型大小，并开发了无人批准的数据启发技术来训练模型以进行视觉探测。我们在栖息地现实的PointNAV挑战方面的最新状态从71％降低到94％的成功（+23，31％相对）和53％至74％的SPL（+21，40％相对）。虽然我们的方法不饱和或“解决”该数据集，但这种强大的改进与有希望的零射击SIM2REAL转移（到Locobot）相结合提供了与假设一致的证据，即即使在现实环境中，显式映射也不是必需的。 。
translated by 谷歌翻译
自然语言提供可访问和富有富有态度的界面，以指定机器人代理的长期任务。但是，非专家可能会使用高级指令指定此类任务，其中通过多个抽象层摘要通过特定的机器人操作。我们建议将语言和机器人行动之间的这种差距延长长的执行视野是持久的表示。我们提出了一种持久的空间语义表示方法，并展示它是如何构建执行分层推理的代理，以有效执行长期任务。尽管完全避免了常用的逐步说明，我们评估了我们对阿尔弗雷德基准的方法并实现了最先进的结果。
translated by 谷歌翻译
从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。
translated by 谷歌翻译
机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。
translated by 谷歌翻译