每日操纵任务的特征是与动作和对象形状相关的几何基原始人。这样的几何描述符仅通过使用笛卡尔坐标系统而差异很差。在本文中，我们提出了一种学习方法，以从坐标系词典中提取最佳表示，以编码观察到的运动/行为。这是通过在Riemannian歧管上使用高斯分布的扩展来实现的，该分布用于通过将多个几何形状作为任务的候选表示来分析一组用户演示。我们根据迭代线性二次调节器（ILQR）提出了复制问题作为一般最佳控制问题，其中使用提取的坐标系中的高斯分布来定义成本函数。我们将方法应用于模拟和7轴Franka Emika机器人中的对象抓握和箱式打开任务。结果表明，机器人可以利用几个几何形状来执行操纵任务并将其推广到新情况下，通过维护感兴趣的坐标系中任务的不变特征。

近年来，机器人技术的最佳控制越来越流行，并且已应用于许多涉及复杂动力系统的应用中。闭环最佳控制策略包括模型预测控制（MPC）和通过ILQR优化的时变线性控制器。但是，此类反馈控制器依赖于当前状态的信息，从而限制了机器人需要记住其在采取行动和相应计划的机器人应用程序范围。最近提出的系统级合成（SLS）框架通过带有内存的较富裕控制器结构来规避此限制。在这项工作中，我们建议通过将SLS扩展到跟踪涉及非线性系统和非二次成本功能的问题，以最佳设计具有记忆力的反应性预期机器人技能。我们以两种情况来展示我们的方法，这些方案利用任务精确度和对象在模拟和真实环境中使用7轴的Franka Emika机器人提供的挑选和位置任务。

Many problems in robotics are fundamentally problems of geometry, which lead to an increased research effort in geometric methods for robotics in recent years. The results were algorithms using the various frameworks of screw theory, Lie algebra and dual quaternions. A unification and generalization of these popular formalisms can be found in geometric algebra. The aim of this paper is to showcase the capabilities of geometric algebra when applied to robot manipulation tasks. In particular the modelling of cost functions for optimal control can be done uniformly across different geometric primitives leading to a low symbolic complexity of the resulting expressions and a geometric intuitiveness. We demonstrate the usefulness, simplicity and computational efficiency of geometric algebra in several experiments using a Franka Emika robot. The presented algorithms were implemented in c++20 and resulted in the publicly available library \textit{gafro}. The benchmark shows faster computation of the kinematics than state-of-the-art robotics libraries.

在本文中，我们提出了一种学习稳定的动力学系统的方法，该系统在里曼尼亚歧管上不断发展。该方法利用数据效率的程序来学习差异转换，该过程将简单的稳定动力系统映射到复杂的机器人技能上。通过从差异几何形状中利用数学工具，该方法可确保学习的技能满足基础歧管所施加的几何约束，例如用于方向和SPD的刚度矩阵，同时将逆转性保留到给定的目标。首先在公共基准上的模拟中测试了所提出的方法，该方法通过将笛卡尔数据投射到UQ和SPD歧管中，并与现有方法进行了比较。除了评估公共基准测试的方法外，还对在不同条件下进行瓶子的真正机器人进行了几项实验，并与人类操作员合作进行了钻井任务。评估在学习准确性和任务适应能力方面显示出令人鼓舞的结果。

视觉模仿学习为机器人系统提供了有效，直观的解决方案，以获得新颖的操纵技巧。但是，仅凭视觉输入就可以同时学习几何任务约束，并控制政策仍然是一个具有挑战性的问题。在本文中，我们提出了一种基于关键点的视觉模仿（K-VIL）的方法，该方法会自动从少数人类演示视频中提取稀疏，以对象独立的任务表示。任务表示形式由主要歧管，其关联的本地框架以及任务执行所需的运动原始框架上的基于关键点的几何约束以及移动原始构成。我们的方法能够从单个演示视频中提取此类任务表示，并在新演示可用时会逐步更新它们。为了使用新颖的场景中学习的优先几何约束来重现操纵技能，我们介绍了一种新颖的基于Kepoint的入学控制器。我们在几个现实世界中评估了我们的方法，展示了其处理混乱的场景，新的对象的新实例以及大对象姿势和形状变化的能力，以及其一声效率和稳健性模仿学习设置。视频和源代码可在https://sites.google.com/view/k-vil上找到。

通过学习可变阻抗控制策略，机器人助手可以智能地调整其操纵合规性，以确保在人机交互环境中操作时安全交互和适当的任务完成。在本文中，我们提出了一种基于DMP的框架，其学习和概括人类示范的可变阻抗操纵技能。该框架改善了对环境变化的机器人$'$适应性（即抓地机器人末端效应器上的抓握对象的重量和形状变化）并继承了基于演示 - 方差的刚度估计方法的效率。此外，利用我们的刚度估计方法，我们不仅产生翻译刚度型材，而且产生旋转刚度轮廓，这些轮廓在大多数学习可变阻抗控制论文中被忽略或不完整。已经进行了7 DOF冗余机器人操纵器的现实世界实验，以验证我们框架的有效性。

在本文中，我们提出了一种新的运动计划，用于通过使用人类演示并利用运动的螺钉几何形状来执行复杂的操纵任务。我们考虑复杂的操纵任务，其中对机器人终端效应器的运动有限制。此类任务的示例包括打开门，打开抽屉，将颗粒材料从一个容器中转移到另一个容器到另一个容器，然后将菜肴加载到洗碗机上。我们的方法由两个步骤组成：首先，使用这样一个事实，即可以通过使用一系列恒定螺钉运动来近似机器人任务空间中的运动，我们将人的演示分为一系列恒定螺钉运动。其次，我们使用分段螺钉通过螺钉线性插值来生成运动计划，以实现相同任务的其他实例。螺钉分割的使用使我们能够以无坐标的方式捕获演示的不变性，从而使我们能够计划从一个示例中为不同的任务实例计划。我们对各种操纵场景提出了广泛的实验结果，表明我们的方法可以在各种操纵任务中使用。

在本文中，我们提出了一种新的动作计划方法，将长线性弹性对象自动包装到具有双层机器人系统的常用盒中。为此，我们开发了一个混合几何模型，以处理结合基于在线视觉的方法和离线参考模板的大规模遮挡。然后，引入一个参考点发生器以自动计划预先设计的动作原始基底的参考姿势。最后，一个行动计划者集成了这些组件，以实现高级行为的执行以及包装操纵任务的完成。为了验证提出的方法，我们进行了一项详细的实验研究，其中有多种类型和长度的物体和包装盒。

Dexterous and autonomous robots should be capable of executing elaborated dynamical motions skillfully. Learning techniques may be leveraged to build models of such dynamic skills. To accomplish this, the learning model needs to encode a stable vector field that resembles the desired motion dynamics. This is challenging as the robot state does not evolve on a Euclidean space, and therefore the stability guarantees and vector field encoding need to account for the geometry arising from, for example, the orientation representation. To tackle this problem, we propose learning Riemannian stable dynamical systems (RSDS) from demonstrations, allowing us to account for different geometric constraints resulting from the dynamical system state representation. Our approach provides Lyapunov-stability guarantees on Riemannian manifolds that are enforced on the desired motion dynamics via diffeomorphisms built on neural manifold ODEs. We show that our Riemannian approach makes it possible to learn stable dynamical systems displaying complicated vector fields on both illustrative examples and real-world manipulation tasks, where Euclidean approximations fail.

Long-term non-prehensile planar manipulation is a challenging task for robot planning and feedback control. It is characterized by underactuation, hybrid control, and contact uncertainty. One main difficulty is to determine contact points and directions, which involves joint logic and geometrical reasoning in the modes of the dynamics model. To tackle this issue, we propose a demonstration-guided hierarchical optimization framework to achieve offline task and motion planning (TAMP). Our work extends the formulation of the dynamics model of the pusher-slider system to include separation mode with face switching cases, and solves a warm-started TAMP problem by exploiting human demonstrations. We show that our approach can cope well with the local minima problems currently present in the state-of-the-art solvers and determine a valid solution to the task. We validate our results in simulation and demonstrate its applicability on a pusher-slider system with real Franka Emika robot in the presence of external disturbances.

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

在本文中，我们讨论了通过模仿教授双人操作任务的框架。为此，我们提出了一种从人类示范中学习合规和接触良好的机器人行为的系统和算法。提出的系统结合了入学控制和机器学习的见解，以提取控制政策，这些政策可以（a）从时空和空间中恢复并适应各种干扰，同时（b）有效利用与环境的物理接触。我们使用现实世界中的插入任务证明了方法的有效性，该任务涉及操纵对象和插入钉之间的多个同时接触。我们还研究了为这种双人设置收集培训数据的有效方法。为此，我们进行了人类受试者的研究，并分析用户报告的努力和精神需求。我们的实验表明，尽管很难提供，但在遥控演示中可用的其他力/扭矩信息对于阶段估计和任务成功至关重要。最终，力/扭矩数据大大提高了操纵鲁棒性，从而在多点插入任务中获得了90％的成功率。可以在https://bimanualmanipulation.com/上找到代码和视频

解决逆运动学问题是针对清晰机器人的运动计划，控制和校准的基本挑战。这些机器人的运动学模型通常通过关节角度进行参数化，从而在机器人构型和最终效果姿势之间产生复杂的映射。或者，可以使用机器人附加点之间的不变距离来表示运动学模型和任务约束。在本文中，我们将基于距离的逆运动学的等效性和大量铰接式机器人和任务约束的距离几何问题进行形式化。与以前的方法不同，我们使用距离几何形状和低级别矩阵完成之间的连接来通过局部优化完成部分欧几里得距离矩阵来找到逆运动学解决方案。此外，我们用固定级革兰氏矩阵的Riemannian歧管来参数欧几里得距离矩阵的空间，从而使我们能够利用各种成熟的Riemannian优化方法。最后，我们表明，绑定的平滑性可用于生成知情的初始化，而无需大量的计算开销，从而改善收敛性。我们证明，我们的逆运动求解器比传统技术获得更高的成功率，并且在涉及许多工作区约束的问题上大大优于它们。

诸如操纵器之类的铰接机器人必须在不确定和动态的环境中运行，例如，相互作用（例如与人类同事）是必要的。在这种情况下，必须快速适应操作空间限制的意外变化的能力至关重要。在操纵器的配置空间中的某些点（称为奇异点），机器人失去了一个或多个自由度（DOF），并且无法在特定的操作空间方向上移动。无法在操作空间中朝任意方向移动会损害适应性和安全性。我们引入了一个几何感知奇异性索引，该索引在对称正定定义矩阵上使用Riemannian度量定义，以提供与奇异构型的接近度的度量。我们证明我们的索引避免了其他共同指数固有的某些故障模式和困难。此外，我们表明该索引可以轻松区分，使其与用于操作空间控制的局部优化方法兼容。我们的实验结果表明，对于遵循任务的到达和路径，基于我们的索引优化优于一种常见的可操作性最大化技术，并确保奇异性运动动作。

将机器人放置在受控条件外，需要多功能的运动表示，使机器人能够学习新任务并使其适应环境变化。在工作区中引入障碍或额外机器人的位置，由于故障或运动范围限制导致的关节范围的修改是典型的案例，适应能力在安全地执行机器人任务的关键作用。已经提出了代表适应性运动技能的概率动态（PROMP），其被建模为轨迹的高斯分布。这些都是在分析讲道的，可以从少数演示中学习。然而，原始PROMP制定和随后的方法都仅为特定运动适应问题提供解决方案，例如障碍避免，以及普遍的，统一的适应概率方法缺失。在本文中，我们开发了一种用于调整PROMP的通用概率框架。我们统一以前的适应技术，例如，各种类型的避避，通过一个框架，互相避免，在一个框架中，并将它们结合起来解决复杂的机器人问题。另外，我们推导了新颖的适应技术，例如时间上未结合的通量和互相避免。我们制定适应作为约束优化问题，在那里我们最小化适应的分布与原始原始的分布之间的kullback-leibler发散，而我们限制了与不希望的轨迹相关的概率质量为低电平。我们展示了我们在双机器人手臂设置中的模拟平面机器人武器和7-DOF法兰卡 - Emika机器人的若干适应问题的方法。

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

操纵性椭圆形有效地捕获人姿势并揭示有关手头任务的信息。他们在任务依赖的机器人教学中的使用，尤其是他们从老师到学习者的转移 - 可以推动模仿人类运动。尽管在最近的文献中，重点转向了两个机器人之间的可操作性转移，但迄今为止，对另一个运动系统的能力的适应尚未解决，并且从人类到机器人的转移研究仍处于起步阶段。这项工作提出了一种新型的可操作性域适应方法，用于将可操作性信息传输到另一个运动系统的域。由于可操作性矩阵/椭圆形是对称的阳性定义（SPD），因此可以将它们视为SPD矩阵的Riemannian歧管上的点。我们是第一个从点云注册的角度解决可操作性转移问题的问题。我们提出了一种具有平行运输初始化的歧管感知的迭代次数最接近的算法（ICP）。此外，我们基于固有的几何特征，引入了与可操作性椭圆形相匹配的对应关系。我们确认了使用二-DOF操纵器以及代表人类臂运动学的7-DOF模型的模拟实验方法。

对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。