多目标高维运动优化问题在机器人技术中无处不在，并且信息丰富的梯度受益。为此，我们要求所有成本函数都可以微分。我们建议学习任务空间，数据驱动的成本功能作为扩散模型。扩散模型代表表达性的多模式分布，并在整个空间中表现出适当的梯度。我们通过将学习的成本功能与单个目标功能中的其他潜在学到的或手工调整的成本相结合，并通过梯度下降共同优化所有这些属性来优化运动。我们在一组复杂的掌握和运动计划问题中展示了联合优化的好处，并与将掌握的掌握选择与运动优化相提并论相比。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

We formulate grasp learning as a neural field and present Neural Grasp Distance Fields (NGDF). Here, the input is a 6D pose of a robot end effector and output is a distance to a continuous manifold of valid grasps for an object. In contrast to current approaches that predict a set of discrete candidate grasps, the distance-based NGDF representation is easily interpreted as a cost, and minimizing this cost produces a successful grasp pose. This grasp distance cost can be incorporated directly into a trajectory optimizer for joint optimization with other costs such as trajectory smoothness and collision avoidance. During optimization, as the various costs are balanced and minimized, the grasp target is allowed to smoothly vary, as the learned grasp field is continuous. In simulation benchmarks with a Franka arm, we find that joint grasping and planning with NGDF outperforms baselines by 63% execution success while generalizing to unseen query poses and unseen object shapes. Project page: https://sites.google.com/view/neural-grasp-distance-fields.

我们引入了来自多个机器人手的对象的神经隐式表示。多个机器人手之间的不同抓地力被编码为共享的潜在空间。学会了每个潜在矢量以两个3D形状的签名距离函数来解码对象的3D形状和机器人手的3D形状。此外，学会了潜在空间中的距离度量，以保留不同机器人手之间的graSps之间的相似性，其中根据机器人手的接触区域定义了grasps的相似性。该属性使我们能够在包括人手在内的不同抓地力之间转移抓地力，并且GRASP转移有可能在机器人之间分享抓地力，并使机器人能够从人类那里学习掌握技能。此外，我们隐式表示中对象和grasps的编码符号距离函数可用于6D对象姿势估计，并从部分点云中掌握触点优化，这可以在现实世界中启用机器人抓握。

Generating grasp poses is a crucial component for any robot object manipulation task. In this work, we formulate the problem of grasp generation as sampling a set of grasps using a variational autoencoder and assess and refine the sampled grasps using a grasp evaluator model. Both Grasp Sampler and Grasp Refinement networks take 3D point clouds observed by a depth camera as input. We evaluate our approach in simulation and real-world robot experiments. Our approach achieves 88% success rate on various commonly used objects with diverse appearances, scales, and weights. Our model is trained purely in simulation and works in the real world without any extra steps. The video of our experiments can be found here.

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

Robots operating in human environments must be able to rearrange objects into semantically-meaningful configurations, even if these objects are previously unseen. In this work, we focus on the problem of building physically-valid structures without step-by-step instructions. We propose StructDiffusion, which combines a diffusion model and an object-centric transformer to construct structures out of a single RGB-D image based on high-level language goals, such as "set the table." Our method shows how diffusion models can be used for complex multi-step 3D planning tasks. StructDiffusion improves success rate on assembling physically-valid structures out of unseen objects by on average 16% over an existing multi-modal transformer model, while allowing us to use one multi-task model to produce a wider range of different structures. We show experiments on held-out objects in both simulation and on real-world rearrangement tasks. For videos and additional results, check out our website: http://weiyuliu.com/StructDiffusion/.

机器人操纵计划是找到一系列机器人配置的问题，该配置涉及与场景中的对象的交互，例如掌握，放置，工具使用等来实现这种相互作用，传统方法需要手工设计的特征和对象表示，它仍然是如何以灵活有效的方式描述与任意对象的这种交互的开放问题。例如，通过3D建模的最新进步启发，例如，NERF，我们提出了一种方法来表示对象作为神经隐式功能，我们可以在其中定义和共同列车交互约束函数。所提出的像素对准表示直接从具有已知相机几何形状的相机图像推断出，当时在整个操纵管道中作为感知组件，同时能够实现连续的机器人操纵计划。

我们建议学习使用隐式功能通过灵巧的手来产生抓握运动来操纵。通过连续的时间输入，该模型可以生成连续且平滑的抓握计划。我们命名了建议的模型连续掌握函数（CGF）。 CGF是通过使用3D人类演示的有条件变异自动编码器的生成建模来学习的。我们将首先通过运动重试将大规模的人类对象相互作用轨迹转换为机器人演示，然后使用这些演示训练CGF。在推断期间，我们使用CGF进行采样，以在模拟器中生成不同的抓握计划，并选择成功的抓握计划以转移到真实的机器人中。通过对不同人类数据的培训，我们的CGF允许概括来操纵多个对象。与以前的计划算法相比，CGF更有效，并且在转移到真正的Allegro手抓住的情况下，成功率显着提高。我们的项目页面位于https://jianglongye.com/cgf

在现实世界中，教授多指的灵巧机器人在现实世界中掌握物体，这是一个充满挑战的问题，由于其高维状态和动作空间。我们提出了一个机器人学习系统，该系统可以进行少量的人类示范，并学会掌握在某些被遮挡的观察结果的情况下掌握看不见的物体姿势。我们的系统利用了一个小型运动捕获数据集，并为多指的机器人抓手生成具有多种多样且成功的轨迹的大型数据集。通过添加域随机化，我们表明我们的数据集提供了可以将其转移到策略学习者的强大抓地力轨迹。我们训练一种灵活的抓紧策略，该策略将对象的点云作为输入，并预测连续的动作以从不同初始机器人状态掌握对象。我们在模拟中评估了系统对22多伏的浮动手的有效性，并在现实世界中带有kuka手臂的23多杆Allegro机器人手。从我们的数据集中汲取的政策可以很好地概括在模拟和现实世界中的看不见的对象姿势

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

6D在杂乱的场景中抓住是机器人操纵中的长期存在。由于状态估计不准确，开环操作管道可能会失败，而大多数端到端的掌握方法尚未缩放到具有障碍物的复杂场景。在这项工作中，我们提出了一种新的杂乱场景掌握的最终学习方法。我们的分层框架基于部分点云观测学习无碰撞目标驱动的抓取性。我们学习嵌入空间来编码培训期间的专家掌握计划和一个变形式自动化器，以在测试时间上采样不同的抓握轨迹。此外，我们培训批评网络的计划选择和选项分类器，用于通过分层加强学习切换到实例掌握策略。我们评估我们的方法并与仿真中的几个基线进行比较，并证明我们的潜在规划可以概括为真实的杂乱场景掌握任务。我们的视频和代码可以在https://sites.google.com/view/latent-grasping中找到。

操纵铰接对象通常需要多个机器人臂。使多个机器人武器能够在铰接物体上协作地完成操纵任务是一项挑战性。在本文中，我们呈现$ \ textbf {v-mao} $，这是一个学习铰接物体的多臂操纵的框架。我们的框架包括一个变分生成模型，可以为每个机器人臂的物体刚性零件学习接触点分布。从与模拟环境的交互获得训练信号，该模拟环境是通过规划和用于铰接对象的对象控制的新颖制定的新颖制定。我们在定制的Mujoco仿真环境中部署了我们的框架，并证明我们的框架在六种不同的对象和两个不同的机器人上实现了高成功率。我们还表明，生成建模可以有效地学习铰接物体上的接触点分布。

工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。

我们呈现神经描述符字段（NDFS），对象表示，其通过类别级别描述符在对象和目标（例如用于悬挂的机器人夹具或用于悬挂的机架）之间进行编码和相对姿势。我们使用此表示进行对象操作，在这里，在给定任务演示时，我们要在同一类别中对新对象实例重复相同的任务。我们建议通过搜索（通过优化）来实现这一目标，为演示中观察到的描述符匹配的姿势。 NDFS通过不依赖于专家标记的关键点的3D自动编码任务，方便地以自我监督的方式培训。此外，NDFS是SE（3） - 保证在所有可能的3D对象翻译和旋转中推广的性能。我们展示了在仿真和真正的机器人上的少数（5-10）示范中的操纵任务的学习。我们的性能遍历两个对象实例和6-DOF对象姿势，并且显着优于最近依赖于2D描述符的基线。项目网站：https://yilundu.github.io/ndf/。

神经辐射场（NERF）最近被成为自然，复杂3D场景的代表的强大范例。 NERFS表示神经网络中的连续体积密度和RGB值，并通过射线跟踪从看不见的相机观点生成照片逼真图像。我们提出了一种算法，用于通过仅使用用于本地化的板载RGB相机表示为NERF的3D环境导航机器人。我们假设现场的NERF已经预先训练了离线，机器人的目标是通过NERF中的未占用空间导航到目标姿势。我们介绍了一种轨迹优化算法，其避免了基于NERF中的高密度区域的碰撞，其基于差分平整度的离散时间版本，其可用于约束机器人的完整姿势和控制输入。我们还介绍了基于优化的过滤方法，以估计单位的RGB相机中的NERF中机器人的6dof姿势和速度。我们将轨迹策划器与在线重新循环中的姿势过滤器相结合，以提供基于视觉的机器人导航管道。我们使用丛林健身房环境，教堂内部和巨石阵线导航的四轮车机器人，使用RGB相机展示仿真结果。我们还展示了通过教会导航的全向地面机器人，要求它重新定位以缩小差距。这项工作的视频可以在https://mikh3x4.github.io/nerf-navigation/找到。

在本文中，我们探讨了机器人是否可以学会重新应用一组多样的物体以实现各种所需的掌握姿势。只要机器人的当前掌握姿势未能执行所需的操作任务，需要重新扫描。具有这种能力的赋予机器人具有在许多领域中的应用，例如制造或国内服务。然而，由于日常物体中的几何形状和状态和行动空间的高维度，这是一个具有挑战性的任务。在本文中，我们提出了一种机器人系统，用于将物体的部分点云和支持环境作为输入，输出序列和放置操作的序列来转换到所需的对象掌握姿势。关键技术包括神经稳定放置预测器，并通过利用和改变周围环境来引发基于图形的解决方案。我们介绍了一个新的和具有挑战性的合成数据集，用于学习和评估所提出的方法。我们展示了我们提出的系统与模拟器和现实世界实验的有效性。我们的项目网页上有更多视频和可视化示例。

深度学习的成功在很大程度上取决于大型数据集的可用性，但是在机器人操作中，这些数据集不存在许多学习问题。收集这些数据集是耗时且昂贵的，因此从小型数据集中学习是一个重要的开放问题。在计算机视觉中，缺乏数据的常见方法是数据增加。数据增强是通过修改现有培训示例来创建其他培训示例的过程。但是，由于任务和数据的类型不同，因此计算机视觉中使用的方法无法轻易适应操纵。因此，我们提出了一种用于机器人操作的数据增强方法。我们认为，增强应该是有效，相​​关和多样化的。我们使用这些原则将增强性形式化为优化问题，其目标函数来自物理学和对操作域的知识。该方法将刚体转换应用于几何状态和动作数据的轨迹。我们在两种情况下测试我们的方法：1）学习刚性圆柱体的平面推动动力学，以及2）学习一个约束检查器进行绳索操纵。这两种情况有不同的数据和标签类型，但是在两种情况下，对我们的增强数据进行培训可显着提高下游任务的性能。我们还展示了如何将增强方法用于现实机器人数据，以启用更多数据有效的在线学习。

手动相互作用的研究需要为高维多手指模型产生可行的掌握姿势，这通常依赖于分析抓取的合成，从而产生脆弱且不自然的结果。本文介绍了Grasp'd，这是一种与已知模型和视觉输入的可区分接触模拟的掌握方法。我们使用基于梯度的方法作为基于采样的GRASP合成的替代方法，该方法在没有简化假设的情况下失败，例如预先指定的接触位置和本本特征。这样的假设限制了掌握发现，尤其是排除了高接触功率掌握。相比之下，我们基于模拟的方法允许即使对于具有高度自由度的抓地力形态，也可以稳定，高效，物理逼真，高接触抓紧合成。我们确定并解决了对基于梯度的优化进行掌握模拟的挑战，例如非平滑对象表面几何形状，接触稀疏性和坚固的优化景观。 GRASP-D与人类和机器人手模型的分析掌握合成相比，并且结果抓紧超过4倍，超过4倍，从而导致较高的GRASP稳定性。视频和代码可在https://graspd-eccv22.github.io/上获得。

对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。