铰接的物体在日常生活中很丰富。发现它们的部位，关节和运动学对于机器人与这些物体相互作用至关重要。我们从Action（SFA）引入结构，该框架通过一系列推断相互作用来发现3D部分的几何形状和未看到的表达对象的关节参数。我们的主要见解是，应考虑构建3D明显的CAD模型的3D相互作用和感知，尤其是在训练过程中未见的类别的情况下。通过选择信息丰富的交互，SFA发现零件并揭示最初遮挡的表面，例如封闭抽屉的内部。通过在3D中汇总视觉观测，SFA可以准确段段多个部分，重建零件几何形状，并在规范坐标框架中渗透所有关节参数。我们的实验表明，在模拟中训练的单个SFA模型可以推广到具有未知运动结构和现实世界对象的许多看不见的对象类别。代码和数据将公开可用。

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

作为自治机器人的互动和导航在诸如房屋之类的真实环境中，可靠地识别和操纵铰接物体，例如门和橱柜是有用的。在对象铰接识别中许多先前的作品需要通过机器人或人类操纵物体。虽然最近的作品已经解决了从视觉观测的预测，但他们经常假设根据其运动约束的铰接部件移动的类别级运动模型或观察序列的先验知识。在这项工作中，我们提出了Formnet，是一种神经网络，该神经网络识别来自RGB-D图像和分段掩模的单帧对象部分的对象部分之间的铰接机制。从6个类别的149个铰接对象的100K合成图像培训网络培训。通过具有域随机化的光保护模拟器呈现合成图像。我们所提出的模型预测物体部件的运动残余流动，并且这些流量用于确定铰接类型和参数。该网络在训练有素的类别中的新对象实例上实现了82.5％的铰接式分类精度。实验还展示了该方法如何实现新颖类别的泛化，并且在没有微调的情况下应用于现实世界图像。

Perceiving and manipulating objects in a generalizable way has been actively studied by the computer vision and robotics communities, where cross-category generalizable manipulation skills are highly desired yet underexplored. In this work, we propose to learn such generalizable perception and manipulation via Generalizable and Actionable Parts (GAParts). By identifying and defining 9 GAPart classes (e.g. buttons, handles, etc), we show that our part-centric approach allows our method to learn object perception and manipulation skills from seen object categories and directly generalize to unseen categories. Following the GAPart definition, we construct a large-scale part-centric interactive dataset, GAPartNet, where rich, part-level annotations (semantics, poses) are provided for 1166 objects and 8489 part instances. Based on GAPartNet, we investigate three cross-category tasks: part segmentation, part pose estimation, and part-based object manipulation. Given the large domain gaps between seen and unseen object categories, we propose a strong 3D segmentation method from the perspective of domain generalization by integrating adversarial learning techniques. Our method outperforms all existing methods by a large margin, no matter on seen or unseen categories. Furthermore, with part segmentation and pose estimation results, we leverage the GAPart pose definition to design part-based manipulation heuristics that can generalize well to unseen object categories in both simulation and real world. The dataset and code will be released.

我们介绍了忙碌的板，这是一种受玩具启发的机器人学习环境，它利用一组铰接的对象和对象间功能关系，为机器人交互提供丰富的视觉反馈。基于这种环境，我们介绍了一个学习框架，即Busughbot，该框架允许代理商以综合和自欺欺人的方式共同获得三个基本功能（互动，推理和计划）。凭借繁忙板提供的丰富感官反馈，Busudbot首先学习了有效与环境互动的政策；然后，随着使用该策略收集的数据，Busybot的原因是通过因果发现网络对象间功能关系；最后，通过结合学习的交互政策和关系推理技能，代理可以执行目标条件的操纵任务。我们在模拟环境和现实环境中评估了忙碌的机器人，并验证了其看不见的对象和关系的概括性。视频可从https://youtu.be/ej98xbjz9ek获得。

与3D铰接物体感知和互动，例如橱柜，门和龙头，对未来的家庭助手机器人进行人类环境中的日常任务构成特殊挑战。除了解析铰接部件和联合参数外，研究人员最近倡导学习操纵在输入形状几何形状上，这是更加任务感知和几何细粒度的。然而，只采用​​被动观测作为输入，这些方法忽略了许多隐藏但重要的运动限制（例如，联合位置和限制）和动态因素（例如，关节摩擦和恢复），因此对这种不确定性的测试用例失去了显着的准确性。在本文中，我们提出了一个名为Adaaveword的新颖框架，该框架是学习的，以便在更准确地将可怜的实例特定的后医中迅速调整可怜的地前沿来执行很少的测试时间相互作用。我们使用Partnet-Mobility DataSet进行大规模实验，并证明我们的系统比基线更好。

对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。

在现实世界中操纵体积变形物体，例如毛绒玩具和披萨面团，由于无限形状的变化，非刚性运动和部分可观察性带来了重大挑战。我们引入酸，这是一种基于结构性隐式神经表示的容量变形物体的动作条件视觉动力学模型。酸整合了两种新技术：动作条件动力学和基于大地测量的对比度学习的隐式表示。为了代表部分RGB-D观测值的变形动力学，我们学习了占用和基于流动的正向动态的隐式表示。为了准确识别在大型非刚性变形下的状态变化，我们通过新的基于大地测量的对比损失来学习一个对应嵌入场。为了评估我们的方法，我们开发了一个模拟框架，用于在逼真的场景中操纵复杂的可变形形状和一个基准测试，其中包含17,000多种动作轨迹，这些轨迹具有六种类型的毛绒玩具和78种变体。我们的模型在现有方法上实现了几何，对应和动态预测的最佳性能。酸动力学模型已成功地用于目标条件可变形的操纵任务，从而使任务成功率比最强的基线提高了30％。此外，我们将模拟训练的酸模型直接应用于现实世界对象，并在将它们操纵为目标配置中显示成功。有关更多结果和信息，请访问https://b0ku1.github.io/acid/。

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

机器人操纵计划是找到一系列机器人配置的问题，该配置涉及与场景中的对象的交互，例如掌握，放置，工具使用等来实现这种相互作用，传统方法需要手工设计的特征和对象表示，它仍然是如何以灵活有效的方式描述与任意对象的这种交互的开放问题。例如，通过3D建模的最新进步启发，例如，NERF，我们提出了一种方法来表示对象作为神经隐式功能，我们可以在其中定义和共同列车交互约束函数。所提出的像素对准表示直接从具有已知相机几何形状的相机图像推断出，当时在整个操纵管道中作为感知组件，同时能够实现连续的机器人操纵计划。

自我咬合对于布料操纵而具有挑战性，因为这使得很难估计布的全部状态。理想情况下，试图展开弄皱或折叠的布的机器人应该能够对布的遮挡区域进行推理。我们利用姿势估计的最新进展来构建一种使用明确的遮挡推理来展开皱巴布的系统的系统。具体来说，我们首先学习一个模型来重建布的网格。但是，由于布构型的复杂性以及遮挡的歧义，该模型可能会出现错误。我们的主要见解是，我们可以通过进行自我监督的损失进行测试时间填充来进一步完善预测的重建。获得的重建网格使我们能够在推理遮挡的同时使用基于网格的动力学模型来计划。我们在布料上和布料规范化上评估了系统，其目的是将布操作成典型的姿势。我们的实验表明，我们的方法显着优于未明确解释闭塞或执行测试时间优化的先验方法。可以在我们的$ \ href {https://sites.google.com/view/occlusion-reason/home/home} {\ text {project {project {project}}}上找到视频和可视化。

能够重现从光相互作用到接触力学的物理现象，模拟器在越来越多的应用程序域变得越来越有用，而现实世界中的相互作用或标记数据很难获得。尽管最近取得了进展，但仍需要大量的人为努力来配置模拟器以准确地再现现实世界的行为。我们介绍了一条管道，将反向渲染与可区分的模拟相结合，从而从深度或RGB视频中创建数字双铰接式机制。我们的方法自动发现关节类型并估算其运动学参数，而整体机制的动态特性则调整为实现物理准确的模拟。正如我们在模拟系统上所证明的那样，在我们的派生模拟传输中优化的控制策略成功地回到了原始系统。此外，我们的方法准确地重建了由机器人操纵的铰接机制的运动学树，以及现实世界中耦合的摆机制的高度非线性动力学。网站：https：//Eric-heiden.github.io/video2sim

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

我们提出了多视图表演者（MVP） - 从一系列时间顺序的视图中完成3D形状完成的新体系结构。MVP通过使用称为表演者的线性注意变压器来完成此任务。我们的模型允许当前对场景的观察到以前的观察，以更准确地填充。过去观察的历史通过紧凑的关联内存来压缩，该记忆近似于现代连续的霍普菲尔德内存，但至关重要的是与历史长度无关。我们将模型与几个基线进行比较，以便随着时间的推移完成形状完成，这证明了MVP提供的概括。据我们所知，MVP是第一个多重视图体素重建方法，它不需要对多个深度视图进行注册，也需要第一个基于因果变压器的模型进行3D形状完成。

我们提出了体面意识的人类姿势估计，我们根据模拟代理的本体感受和场景意识以及外部第三人称观察来估计3D构成。与经常诉诸多阶段优化的先前方法不同，非因果推理和复杂的接触建模以估计人类姿势和人类场景的相互作用，我们的方法是一个阶段，因果关系，并在模拟环境中恢复全局3D人类姿势。由于2D第三人称观察与相机姿势结合在一起，我们建议解开相机姿势，并使用在全球坐标框架中定义的多步投影梯度作为我们体现的代理的运动提示。利用物理模拟和预先的场景（例如3D网格），我们在日常环境（库，办公室，卧室等）中模拟代理，并为我们的代理配备环境传感器，以智能导航和与场景的几何形状进行智能导航和互动。我们的方法还仅依靠2D关键点，并且可以在来自流行人类运动数据库的合成数据集上进行培训。为了评估，我们使用流行的H36M和Prox数据集，并首次在具有挑战性的Prox数据集中获得96.7％的成功率，而无需使用Prox运动序列进行培训。

机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得

人类对象与铰接物体的相互作用在日常生活中很普遍。尽管单视图3D重建方面取得了很多进展，但从RGB视频中推断出一个铰接的3D对象模型仍然具有挑战性，显示一个人操纵对象的人。我们从RGB视频中划定了铰接的3D人体对象相互作用重建的任务，并对这项任务进行了五个方法家族的系统基准：3D平面估计，3D Cuboid估计，CAD模型拟合，隐式现场拟合以及自由 - 自由 - 形式网状配件。我们的实验表明，即使提供了有关观察到的对象的地面真相信息，所有方法也难以获得高精度结果。我们确定使任务具有挑战性的关键因素，并为这项具有挑战性的3D计算机视觉任务提出指示。短视频摘要https://www.youtube.com/watch?v=5talkbojzwc

建设通用机器人在人类水平的各种环境中对大量的任务进行众所周知的复杂。它需要机器人学习是采样的，更概括的，可概括的，组成和增量。在这项工作中，我们介绍了一个称为SAGCI-System的系统学习框架，实现了超过四种要求。我们的系统首先采用由安装在机器人手腕上的摄像机收集的原始点云作为输入，并产生所代表为URDF的周围环境的初始建模。我们的系统采用了一个加载URDF的学习增强的可分辨率模拟。然后，机器人利用交互式感知来与环境交互，并修改URDF。利用模拟，我们提出了一种新的基于模型的RL算法，这些RL算法结合了以上的对象和机器人为中心的方法，以有效地产生完成操纵任务的策略。我们应用我们的系统，以进行仿真和现实世界的铰接物体操纵。广泛的实验表明了我们提出的学习框架的有效性。 https://sites.google.com/view/egci提供了补充材料和视频。

内部计算模型的物理体是机器人和动物的能力来规划和控制行动的基础。这些“自我模型”允许机器人考虑多种可能的未来行动的结果，而不会在物理现实中尝试。最近的完全数据驱动自建模中的进展使机器能够直接从任务 - 不可行的交互数据学习自己的前瞻性运动学。然而，前进kinema \ -tics模型只能预测形态的有限方面，例如关节和肿块的最终效果或速度的位置。一个关键的挑战是模拟整个形态和运动学，而无需先验知识的形态的哪些方面与未来的任务相关。在这里，我们建议，而不是直接建模前瞻性，更有用的自我建模形式是一个可以回答空间占用查询的形式，而是在机器人的状态下调节空间占用疑问。这种查询驱动的自模型在空间域中是连续的，内存高效，完全可分辨：运动感知。在物理实验中，我们展示了视觉自我模型是如何准确到工作空间的百分比，使机器人能够执行各种运动规划和控制任务。视觉自我建模还可以让机器人从真实世界损坏中检测，本地化和恢复，从而提高机器弹性。我们的项目网站是：https://robot-morphology.cs.columbia.edu/

我们介绍重做，一个类无话的框架来重建RGBD或校准视频的动态对象。与事先工作相比，我们的问题设置是更真实的，更具挑战性的三个原因：1）由于遮挡或相机设置，感兴趣的对象可能永远不会完全可见，但我们的目标是重建完整的形状; 2）我们的目标是处理不同的对象动态，包括刚性运动，非刚性运动和关节; 3）我们的目标是通过一个统一的框架重建不同类别的对象。为了解决这些挑战，我们开发了两种新模块。首先，我们介绍了一个规范的4D隐式功能，它是与聚合的时间视觉线索对齐的像素对齐。其次，我们开发了一个4D变换模块，它捕获对象动态以支持时间传播和聚合。我们研究了重做在综合性RGBD视频数据集风帆-VOS 3D和Deformingthings4d ++上的大量实验中的疗效，以及现实世界视频数据3DPW。我们发现重做优于最先进的动态重建方法。在消融研究中，我们验证每个发达的组件。