动态状态表示学习是机器人学习中的重要任务。可以捕获动力学信息的潜在空间在加速模型的自由强化学习，缩小模拟到现实差距以及降低运动计划的复杂性等领域中具有广泛的应用。但是，当前的动态状态表示方法在复杂的动态系统（例如可变形对象）上的扩展很差，并且不能将良好定义的仿真函数直接嵌入到训练管道中。我们提出了DIFFSRL，这是一种动态状态表示学习管道，利用可区分的模拟可以将复杂的动力学模型嵌入到端到端训练的一部分。我们还将可区分的动态约束作为管道的一部分集成，这为潜在状态提供了意识到动态约束的激励措施。我们进一步建立了在软体体模拟系统PlastonElab上学习基准的国家表示基准，我们的模型在捕获长期动态和奖励预测方面表现出了卓越的性能。
translated by 谷歌翻译
在现实世界中操纵体积变形物体，例如毛绒玩具和披萨面团，由于无限形状的变化，非刚性运动和部分可观察性带来了重大挑战。我们引入酸，这是一种基于结构性隐式神经表示的容量变形物体的动作条件视觉动力学模型。酸整合了两种新技术：动作条件动力学和基于大地测量的对比度学习的隐式表示。为了代表部分RGB-D观测值的变形动力学，我们学习了占用和基于流动的正向动态的隐式表示。为了准确识别在大型非刚性变形下的状态变化，我们通过新的基于大地测量的对比损失来学习一个对应嵌入场。为了评估我们的方法，我们开发了一个模拟框架，用于在逼真的场景中操纵复杂的可变形形状和一个基准测试，其中包含17,000多种动作轨迹，这些轨迹具有六种类型的毛绒玩具和78种变体。我们的模型在现有方法上实现了几何，对应和动态预测的最佳性能。酸动力学模型已成功地用于目标条件可变形的操纵任务，从而使任务成功率比最强的基线提高了30％。此外，我们将模拟训练的酸模型直接应用于现实世界对象，并在将它们操纵为目标配置中显示成功。有关更多结果和信息，请访问https://b0ku1.github.io/acid/。
translated by 谷歌翻译
我们研究了可变形对象的学习图动力学问题，这些动力学将其推广到未知物理特性。特别是，我们利用了像布状可变形物体的弹性物理特性的潜在表示，我们通过拉动相互作用探索。我们提出了EDO-NET（弹性可变形物体 - NET），该模型在具有不同弹性特性的各种样品上以自我监督的方式训练。EDO-NET共同学习了一个适应模块，负责提取对象物理特性的潜在表示，以及一个前向动力学模块，该模块利用潜在的表示来预测类似布的对象的未来状态，表示为图形。我们在模拟和现实世界中评估了江户网 - 评估其功能的：1）概括为布状可变形物体的未知物理特性，2）将学习的表示形式转移到新的下游任务。
translated by 谷歌翻译
可变形的物体操纵在我们的日常生活中具有许多应用，例如烹饪和洗衣折叠。操纵弹性塑料对象（例如面团）特别具有挑战性，因为面团缺乏紧凑的状态表示，需要接触丰富的相互作用。我们考虑将面团从RGB-D图像中变成特定形状的任务。尽管该任务对于人类来说似乎是直观的，但对于诸如幼稚轨迹优化之类的常见方法，存在局部最佳选择。我们提出了一种新型的轨迹优化器，该优化器通过可区分的“重置”模块进行优化，将单阶段的固定定位轨迹转换为多阶段的多阶段多启动轨迹，其中所有阶段均已共同优化。然后，我们对轨迹优化器生成的演示进行训练闭环政策。我们的策略将部分点云作为输入，从而使从模拟到现实世界的转移易于转移。我们表明，我们的政策可以执行现实世界的面团操纵，将面团的球弄平到目标形状。
translated by 谷歌翻译
机器人对高度可变形的布的操纵提供了一个有前途的机会，可以帮助人们完成几项日常任务，例如洗碗；折叠洗衣；或针对患有严重运动障碍的人的敷料，沐浴和卫生援助。在这项工作中，我们介绍了一种公式，该公式使协作机器人能够用布做出视觉触觉推理，这是在物理互动过程中推断应用力的位置和大小的行为。我们提出了两种不同的模型表示，并在物理模拟中训练，它们仅使用视觉和机器人运动学观测来实现触觉推理。我们对这些模型进行了定量评估，以模拟机器人辅助的调味料，沐浴和洗碗任务，并证明训练有素的模型可以通过不同的相互作用，人体大小和物体形状跨越不同的任务。我们还通过现实世界中的移动操纵器提出了结果，该操作器使用我们的模拟训练模型来估计应用接触力，同时用布料执行物理辅助任务。可以在我们的项目网页上找到视频。
translated by 谷歌翻译
由于布料的复杂动态，缺乏低维状态表示和自闭合，机器人操纵布的机器人操纵对机器人来说仍然具有挑战性。与以前的基于模型的基于模型的方法形成对比，用于学习基于像素的动态模型或压缩潜伏的潜在载体动态，我们建议从部分点云观察中学习基于粒子的动力学模型。为了克服部分可观察性的挑战，我们推出在底层布料网上连接的可见点。然后，我们通过此可见连接图来学习动态模型。与以往的基于学习的方法相比，我们的模型与其基于粒子的表示具有强烈的感应偏差，用于学习底层布理物理学;它不变于视觉功能;并且预测可以更容易地可视化。我们表明我们的方法极大地优于以前的最先进的模型和无模型加强学习方法在模拟中。此外，我们展示了零拍摄的SIM-to-Real Transfer，在那里我们部署了在法兰卡臂上的模拟中培训的模型，并表明该模型可以从弄皱的配置中成功平滑不同类型的布料。视频可以在我们的项目网站上找到。
translated by 谷歌翻译
可变形的对象操作需要与机器人感应方式兼容的计算有效表示。在本文中，我们提出了Virdo：可变形弹性对象的隐式，多模式和连续表示。Virdo直接在视觉（点云）和触觉（反作用力）方式上运行，并了解了接触位置和力量丰富的潜在嵌入，以预测受外部接触的物体变形。 - 具有密集无监督的对应关系的模式重建，ii）概括为看不见的接触地层，iii）抑制了局部粘膜反馈的状态估计
translated by 谷歌翻译
3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。
translated by 谷歌翻译
这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。
translated by 谷歌翻译
我们呈现虚拟弹性物体（VEOS）：虚拟物体，不仅看起来像他们的真实同行，而且也表现得像他们一样，即使在进行新颖的互动时也是如此。实现这一挑战：不仅必须捕获对象，包括对它们上的物理力量，然后忠实地重建和呈现，而且还发现和模拟了合理的材料参数。要创建VEOS，我们构建了一个多视图捕获系统，捕获压缩空气流的影响下的物体。建立近期型号动态神经辐射区域的进步，我们重建了物体和相应的变形字段。我们建议使用可差异的基于粒子的模拟器来使用这些变形字段来查找代表性的材料参数，这使我们能够运行新的模拟。为了渲染模拟对象，我们设计了一种用神经辐射场将模拟结果集成的方法。结果方法适用于各种场景：它可以处理由非均匀材料组成的物体，具有非常不同的形状，它可以模拟与其他虚拟对象的交互。我们在各种力字段下使用12个对象的新收集的数据集介绍了我们的结果，这将与社区共享。
translated by 谷歌翻译
尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。
translated by 谷歌翻译
自我咬合对于布料操纵而具有挑战性，因为这使得很难估计布的全部状态。理想情况下，试图展开弄皱或折叠的布的机器人应该能够对布的遮挡区域进行推理。我们利用姿势估计的最新进展来构建一种使用明确的遮挡推理来展开皱巴布的系统的系统。具体来说，我们首先学习一个模型来重建布的网格。但是，由于布构型的复杂性以及遮挡的歧义，该模型可能会出现错误。我们的主要见解是，我们可以通过进行自我监督的损失进行测试时间填充来进一步完善预测的重建。获得的重建网格使我们能够在推理遮挡的同时使用基于网格的动力学模型来计划。我们在布料上和布料规范化上评估了系统，其目的是将布操作成典型的姿势。我们的实验表明，我们的方法显着优于未明确解释闭塞或执行测试时间优化的先验方法。可以在我们的$ \ href {https://sites.google.com/view/occlusion-reason/home/home} {\ text {project {project {project}}}上找到视频和可视化。
translated by 谷歌翻译
机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。
translated by 谷歌翻译
能够重现从光相互作用到接触力学的物理现象，模拟器在越来越多的应用程序域变得越来越有用，而现实世界中的相互作用或标记数据很难获得。尽管最近取得了进展，但仍需要大量的人为努力来配置模拟器以准确地再现现实世界的行为。我们介绍了一条管道，将反向渲染与可区分的模拟相结合，从而从深度或RGB视频中创建数字双铰接式机制。我们的方法自动发现关节类型并估算其运动学参数，而整体机制的动态特性则调整为实现物理准确的模拟。正如我们在模拟系统上所证明的那样，在我们的派生模拟传输中优化的控制策略成功地回到了原始系统。此外，我们的方法准确地重建了由机器人操纵的铰接机制的运动学树，以及现实世界中耦合的摆机制的高度非线性动力学。网站：https：//Eric-heiden.github.io/video2sim
translated by 谷歌翻译
我们为具有高维状态空间的复杂操纵任务的视觉动作计划提供了一个框架，重点是操纵可变形物体。我们为任务计划提出了一个潜在的空间路线图（LSR），这是一个基于图的结构，在全球范围内捕获了低维潜在空间中的系统动力学。我们的框架由三个部分组成：（1）映射模块（mm），该模块以图像的形式映射观测值，以提取各个状态的结构化潜在空间，并从潜在状态产生观测值，（2）LSR，LSR的LSR构建并连接包含相似状态的群集，以找到MM提取的开始和目标状态之间的潜在计划，以及（3）与LSR相应的潜在计划与相应的操作相辅相成的动作提案模块。我们对模拟的盒子堆叠和绳索/盒子操纵任务进行了彻底的调查，以及在真实机器人上执行的折叠任务。
translated by 谷歌翻译
人类对我们周围的3D环境具有强烈直观的理解。我们大脑的物理学的心理模型适用于不同材料的物体，使我们能够执行远远超过当前机器人的范围的广泛操纵任务。在这项工作中，我们希望纯粹从2D视觉观测学习动态3D场景的模型。我们的模型将神经辐射字段（NERF）和时间对比学习与自动码框架相结合，这将学习ViewPoint-Invariant的3D感知场景表示。我们表明，通过学习的表示空间构造的动态模型使得能够控制涉及刚体和流体的挑战操纵任务，其中在不同于机器人操作的视点中指定目标。当与自动解码框架耦合时，它甚至可以从训练分布外的相机视点支持目标规范。我们进一步通过执行未来的预测和新颖观看综合来展示学习3D动态模型的丰富性。最后，我们提供了关于不同系统设计和对学习象征的定性分析的详细融合研究。
translated by 谷歌翻译
使用单个参数化动态动作操纵可变形物体对蝇钓，宽毯和播放洗牌板等任务非常有用。此类任务作为输入所需的最终状态并输出一个参数化的开环动态机器人动作，它向最终状态产生轨迹。这对于具有涉及摩擦力的复杂动态的长地平轨迹尤其具有挑战性。本文探讨了平面机器人铸造的任务（PRC）：其中握住电缆一端的机器人手腕的一个平面运动使另一端朝向所需的目标滑过平面。 PRC允许电缆达到机器人工作区以外的点，并在家庭，仓库和工厂中具有电缆管理的应用。为了有效地学习给定电缆的PRC策略，我们提出了Real2Sim2Real，一个自动收集物理轨迹示例的自我监督框架，以使用差分演进调谐动态模拟器的参数，生成许多模拟示例，然后使用加权学习策略模拟和物理数据的组合。我们使用三种模拟器，ISAAC健身房分段，ISAAC健身房 - 混合动力和Pybullet，两个功能近似器，高斯工艺和神经网络（NNS），以及具有不同刚度，扭转和摩擦的三个电缆。结果每条电缆的16个举出的测试目标表明，使用ISAAC健身房分段的NN PRC策略达到中位误差距离（电缆长度的百分比），范围为8％至14％，表现优于真实或仅培训的基线和政策。只有模拟的例子。 https://tinyurl.com/robotcast可以使用代码，数据和视频。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
机器人的大多数对象操纵策略都是基于以下假设：对象是刚性（即具有固定几何形状），并且目标的细节已完全指定（例如，确切的目标姿势）。但是，有许多任务涉及人类环境中的空间关系，这些条件可能难以满足，例如弯曲和将电缆放入未知容器中。为了在非结构化的环境中开发先进的机器人操纵功能，以避免这些假设，我们提出了一个新颖的长马框架，该框架利用了对比计划来寻找有希望的协作行动。使用随机操作收集的仿真数据，我们以对比方式学习一个嵌入模型，该模型从成功的体验中编码时空信息，从而通过在潜在空间中的聚类来促进次目标计划。基于基于KePoint对应的操作参数化，我们为双臂之间的协作设计了领导者追随者控制方案。我们政策的所有模型均经过模拟自动培训，可以直接传输到现实世界环境中。为了验证所提出的框架，我们对模拟和真实环境中的环境和可及性约束，对复杂场景进行了详细的实验研究。
translated by 谷歌翻译
从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。
translated by 谷歌翻译