自我咬合对于布料操纵而具有挑战性，因为这使得很难估计布的全部状态。理想情况下，试图展开弄皱或折叠的布的机器人应该能够对布的遮挡区域进行推理。我们利用姿势估计的最新进展来构建一种使用明确的遮挡推理来展开皱巴布的系统的系统。具体来说，我们首先学习一个模型来重建布的网格。但是，由于布构型的复杂性以及遮挡的歧义，该模型可能会出现错误。我们的主要见解是，我们可以通过进行自我监督的损失进行测试时间填充来进一步完善预测的重建。获得的重建网格使我们能够在推理遮挡的同时使用基于网格的动力学模型来计划。我们在布料上和布料规范化上评估了系统，其目的是将布操作成典型的姿势。我们的实验表明，我们的方法显着优于未明确解释闭塞或执行测试时间优化的先验方法。可以在我们的$ \ href {https://sites.google.com/view/occlusion-reason/home/home} {\ text {project {project {project}}}上找到视频和可视化。

由于布料的复杂动态，缺乏低维状态表示和自闭合，机器人操纵布的机器人操纵对机器人来说仍然具有挑战性。与以前的基于模型的基于模型的方法形成对比，用于学习基于像素的动态模型或压缩潜伏的潜在载体动态，我们建议从部分点云观察中学习基于粒子的动力学模型。为了克服部分可观察性的挑战，我们推出在底层布料网上连接的可见点。然后，我们通过此可见连接图来学习动态模型。与以往的基于学习的方法相比，我们的模型与其基于粒子的表示具有强烈的感应偏差，用于学习底层布理物理学;它不变于视觉功能;并且预测可以更容易地可视化。我们表明我们的方法极大地优于以前的最先进的模型和无模型加强学习方法在模拟中。此外，我们展示了零拍摄的SIM-to-Real Transfer，在那里我们部署了在法兰卡臂上的模拟中培训的模型，并表明该模型可以从弄皱的配置中成功平滑不同类型的布料。视频可以在我们的项目网站上找到。

机器人对高度可变形的布的操纵提供了一个有前途的机会，可以帮助人们完成几项日常任务，例如洗碗；折叠洗衣；或针对患有严重运动障碍的人的敷料，沐浴和卫生援助。在这项工作中，我们介绍了一种公式，该公式使协作机器人能够用布做出视觉触觉推理，这是在物理互动过程中推断应用力的位置和大小的行为。我们提出了两种不同的模型表示，并在物理模拟中训练，它们仅使用视觉和机器人运动学观测来实现触觉推理。我们对这些模型进行了定量评估，以模拟机器人辅助的调味料，沐浴和洗碗任务，并证明训练有素的模型可以通过不同的相互作用，人体大小和物体形状跨越不同的任务。我们还通过现实世界中的移动操纵器提出了结果，该操作器使用我们的模拟训练模型来估计应用接触力，同时用布料执行物理辅助任务。可以在我们的项目网页上找到视频。

在现实世界中操纵体积变形物体，例如毛绒玩具和披萨面团，由于无限形状的变化，非刚性运动和部分可观察性带来了重大挑战。我们引入酸，这是一种基于结构性隐式神经表示的容量变形物体的动作条件视觉动力学模型。酸整合了两种新技术：动作条件动力学和基于大地测量的对比度学习的隐式表示。为了代表部分RGB-D观测值的变形动力学，我们学习了占用和基于流动的正向动态的隐式表示。为了准确识别在大型非刚性变形下的状态变化，我们通过新的基于大地测量的对比损失来学习一个对应嵌入场。为了评估我们的方法，我们开发了一个模拟框架，用于在逼真的场景中操纵复杂的可变形形状和一个基准测试，其中包含17,000多种动作轨迹，这些轨迹具有六种类型的毛绒玩具和78种变体。我们的模型在现有方法上实现了几何，对应和动态预测的最佳性能。酸动力学模型已成功地用于目标条件可变形的操纵任务，从而使任务成功率比最强的基线提高了30％。此外，我们将模拟训练的酸模型直接应用于现实世界对象，并在将它们操纵为目标配置中显示成功。有关更多结果和信息，请访问https://b0ku1.github.io/acid/。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。

Being able to grasp objects is a fundamental component of most robotic manipulation systems. In this paper, we present a new approach to simultaneously reconstruct a mesh and a dense grasp quality map of an object from a depth image. At the core of our approach is a novel camera-centric object representation called the "object shell" which is composed of an observed "entry image" and a predicted "exit image". We present an image-to-image residual ConvNet architecture in which the object shell and a grasp-quality map are predicted as separate output channels. The main advantage of the shell representation and the corresponding neural network architecture, ShellGrasp-Net, is that the input-output pixel correspondences in the shell representation are explicitly represented in the architecture. We show that this coupling yields superior generalization capabilities for object reconstruction and accurate grasp quality estimation implicitly considering the object geometry. Our approach yields an efficient dense grasp quality map and an object geometry estimate in a single forward pass. Both of these outputs can be used in a wide range of robotic manipulation applications. With rigorous experimental validation, both in simulation and on a real setup, we show that our shell-based method can be used to generate precise grasps and the associated grasp quality with over 90% accuracy. Diverse grasps computed on shell reconstructions allow the robot to select and execute grasps in cluttered scenes with more than 93% success rate.

我们解决了目标定向布操纵问题，这是由于布的可变形性导致的具有挑战性的任务。我们的见解是，光流量，一种通常用于视频中运动估计的技术，还可以提供相应布在观察和目标图像上的相应布构成的有效表示。我们介绍了FabricFlowNet（FFN），布料操作策略，利用流量作为输入和作为提高性能的动作表示。 FabricFlownet也根据所需目标在Bimanual和单臂动作之间提供优雅的切换。我们表明，FabricFlownet明显优于拍摄图像输入的最先进的无模型和模型的布料操作策略。我们还在生效系统上呈现实际的实验，展示了有效的SIM-to-Real Transfer。最后，我们表明我们的方法在单个方形布上训练到其他布形时，如T恤和矩形布。视频和其他补充材料可用于：https://sites.google.com/view/fabricFlownet。

机器人操纵计划是找到一系列机器人配置的问题，该配置涉及与场景中的对象的交互，例如掌握，放置，工具使用等来实现这种相互作用，传统方法需要手工设计的特征和对象表示，它仍然是如何以灵活有效的方式描述与任意对象的这种交互的开放问题。例如，通过3D建模的最新进步启发，例如，NERF，我们提出了一种方法来表示对象作为神经隐式功能，我们可以在其中定义和共同列车交互约束函数。所提出的像素对准表示直接从具有已知相机几何形状的相机图像推断出，当时在整个操纵管道中作为感知组件，同时能够实现连续的机器人操纵计划。

可变形的物体操纵在我们的日常生活中具有许多应用，例如烹饪和洗衣折叠。操纵弹性塑料对象（例如面团）特别具有挑战性，因为面团缺乏紧凑的状态表示，需要接触丰富的相互作用。我们考虑将面团从RGB-D图像中变成特定形状的任务。尽管该任务对于人类来说似乎是直观的，但对于诸如幼稚轨迹优化之类的常见方法，存在局部最佳选择。我们提出了一种新型的轨迹优化器，该优化器通过可区分的“重置”模块进行优化，将单阶段的固定定位轨迹转换为多阶段的多阶段多启动轨迹，其中所有阶段均已共同优化。然后，我们对轨迹优化器生成的演示进行训练闭环政策。我们的策略将部分点云作为输入，从而使从模拟到现实世界的转移易于转移。我们表明，我们的政策可以执行现实世界的面团操纵，将面团的球弄平到目标形状。

Generating grasp poses is a crucial component for any robot object manipulation task. In this work, we formulate the problem of grasp generation as sampling a set of grasps using a variational autoencoder and assess and refine the sampled grasps using a grasp evaluator model. Both Grasp Sampler and Grasp Refinement networks take 3D point clouds observed by a depth camera as input. We evaluate our approach in simulation and real-world robot experiments. Our approach achieves 88% success rate on various commonly used objects with diverse appearances, scales, and weights. Our model is trained purely in simulation and works in the real world without any extra steps. The video of our experiments can be found here.

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

我们认为机器人布操纵的开放目标规划问题。我们系统的核心是一个神经网络，被培训为在操纵下的布料行为的前向模型，通过BackProjagation进行规划。我们介绍了一种基于神经网络的例程，用于估计来自Voxel输入的网格表示，并在内部的网格格式执行规划。我们通过明确的认知不确定性信号解决规划不完全域知识的问题。该信号由前向模型网络的两个实例之间的预测发散计算，并用于避免在规划期间的认识性不确定性。最后，我们引入用于处理掌握点的限制到一个离散的候选者的逻辑，以适应机器人硬件施加的避免结构。我们评估系统的网格估计，预测和规划能力，用于模拟布，用于一到三个操纵的序列。比较实验证实，与基于体素的规划相比，基于估计网格的规划提高了准确性，并且这种认知不确定性避免在不完全域知识的条件下提高性能。规划时间成本是几秒钟。我们还在机器人硬件上呈现定性结果。

Recent 3D-based manipulation methods either directly predict the grasp pose using 3D neural networks, or solve the grasp pose using similar objects retrieved from shape databases. However, the former faces generalizability challenges when testing with new robot arms or unseen objects; and the latter assumes that similar objects exist in the databases. We hypothesize that recent 3D modeling methods provides a path towards building digital replica of the evaluation scene that affords physical simulation and supports robust manipulation algorithm learning. We propose to reconstruct high-quality meshes from real-world point clouds using state-of-the-art neural surface reconstruction method (the Real2Sim step). Because most simulators take meshes for fast simulation, the reconstructed meshes enable grasp pose labels generation without human efforts. The generated labels can train grasp network that performs robustly in the real evaluation scene (the Sim2Real step). In synthetic and real experiments, we show that the Real2Sim2Real pipeline performs better than baseline grasp networks trained with a large dataset and a grasp sampling method with retrieval-based reconstruction. The benefit of the Real2Sim2Real pipeline comes from 1) decoupling scene modeling and grasp sampling into sub-problems, and 2) both sub-problems can be solved with sufficiently high quality using recent 3D learning algorithms and mesh-based physical simulation techniques.

机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得

Grasp learning has become an exciting and important topic in robotics. Just a few years ago, the problem of grasping novel objects from unstructured piles of clutter was considered a serious research challenge. Now, it is a capability that is quickly becoming incorporated into industrial supply chain automation. How did that happen? What is the current state of the art in robotic grasp learning, what are the different methodological approaches, and what machine learning models are used? This review attempts to give an overview of the current state of the art of grasp learning research.

在这项工作中，我们解决了共同跟踪手对象姿势并从野外深度点云序列重建形状的具有挑战性，HandTrackNet，以估计框架间的手动运动。我们的HandTrackNet提出了一个新型的手姿势构成典型化模块，以简化跟踪任务，从而产生准确且稳健的手工关节跟踪。然后，我们的管道通过将预测的手关节转换为基于模板的参数手模型mano来重建全手。对于对象跟踪，我们设计了一个简单而有效的模块，该模块从第一帧估算对象SDF并执行基于优化的跟踪。最后，采用联合优化步骤执行联合手和物体推理，从而减轻了闭塞引起的歧义并进一步完善了手姿势。在训练过程中，整个管道仅看到纯粹的合成数据，这些数据与足够的变化并通过深度模拟合成，以易于概括。整个管道与概括差距有关，因此可以直接传输到真实的野外数据。我们在两个真实的手对象交互数据集上评估我们的方法，例如HO3D和DEXYCB，没有任何填充。我们的实验表明，所提出的方法显着优于先前基于深度的手和对象姿势估计和跟踪方法，以9 fps的帧速率运行。

机器人需要在约束环境（例如架子和橱柜）中操纵物体，以帮助人类在房屋和办公室等日常设置中。这些限制因减少掌握能力而变得难以操纵，因此机器人需要使用非忽视策略来利用对象环境联系来执行操纵任务。为了应对在这种情况下规划和控制接触性富裕行为的挑战，该工作使用混合力量速度控制器（HFVC）作为技能表示和计划的技能序列，并使用学到的先决条件进行了计划。尽管HFVC自然能够实现稳健且合规的富裕行为，但合成它们的求解器传统上依赖于精确的对象模型和对物体姿势的闭环反馈，这些反馈因遮挡而在约束环境中很难获得。我们首先使用HFVC综合框架放松了HFVC对精确模型和反馈的需求，然后学习一个基于点云的前提函数，以对HFVC执行仍将成功地进行分类，尽管建模不正确。最后，我们在基于搜索的任务计划者中使用学到的前提来完成货架域中的接触式操纵任务。我们的方法达到了$ 73.2 \％$的任务成功率，表现优于基线实现的$ 51.5 \％$，而没有学习的先决条件。在模拟中训练了前提函数时，它也可以转移到现实世界中，而无需进行其他微调。

成功掌握对象的能力在机器人中是至关重要的，因为它可以实现多个交互式下游应用程序。为此，大多数方法要么计算兴趣对象的完整6D姿势，要么学习预测一组掌握点。虽然前一种方法对多个对象实例或类没有很好地扩展，但后者需要大的注释数据集，并且受到新几何形状的普遍性能力差的阻碍。为了克服这些缺点，我们建议教授一个机器人如何用简单而简短的人类示范掌握一个物体。因此，我们的方法既不需要许多注释图像，也不限于特定的几何形状。我们首先介绍了一个小型RGB-D图像，显示人对象交互。然后利用该序列来构建表示所描绘的交互的相关手和对象网格。随后，我们完成重建对象形状的缺失部分，并估计了场景中的重建和可见对象之间的相对变换。最后，我们从物体和人手之间的相对姿势转移a-prioriz知识，随着当前对象在场景中的估计到机器人的必要抓握指令。与丰田的人类支持机器人（HSR）在真实和合成环境中的详尽评估证明了我们所提出的方法的适用性及其优势与以前的方法相比。

物体很少在人类环境中孤立地坐着。因此，我们希望我们的机器人来推理多个对象如何相互关系，以及这些关系在机器人与世界互动时可能会发生变化。为此，我们提出了一个新型的图形神经网络框架，用于多对象操纵，以预测对机器人行动的影响如何变化。我们的模型在部分视图点云上运行，可以推理操作过程中动态交互的多个对象。通过在学习的潜在图嵌入空间中学习动态模型，我们的模型使多步规划可以达到目标目标关系。我们展示了我们的模型纯粹是在模拟中训练的，可以很好地传输到现实世界。我们的计划器使机器人能够使用推送和拾取和地点技能重新排列可变数量的对象。