软执行器为轻柔的抓握和灵活的操纵等任务提供了一种安全，适应性的方法。但是，由于可变形材料的复杂物理学，创建准确的模型来控制此类系统是具有挑战性的。准确的有限元方法（FEM）模型具有用于闭环使用的过度计算复杂性。使用可区分的模拟器是一种有吸引力的替代方案，但是它们适用于软执行器，可变形材料仍然没有被忽略。本文提出了一个结合两者优势的框架。我们学习了一个由材料属性神经网络和其余操纵任务的分析动力学模型组成的可区分模型。该物理信息模型是使用FEM生成的数据训练的，可用于闭环控制和推理。我们在介电弹性体执行器（DEA）硬币提取任务上评估我们的框架。我们模拟使用DEA使用摩擦接触，使用FEM沿着表面拉动硬币的任务，并评估物理信息模型以进行模拟，控制和推理。与FEM相比，我们的模型达到了<5％的仿真误差，我们将其用作MPC控制器的基础，MPC控制器比无模型的参与者 - 批评者，PD和启发式策略所需的迭代率更少。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

Force modulation of robotic manipulators has been extensively studied for several decades. However, it is not yet commonly used in safety-critical applications due to a lack of accurate interaction contact modeling and weak performance guarantees - a large proportion of them concerning the modulation of interaction forces. This study presents a high-level framework for simultaneous trajectory optimization and force control of the interaction between a manipulator and soft environments, which is prone to external disturbances. Sliding friction and normal contact force are taken into account. The dynamics of the soft contact model and the manipulator are simultaneously incorporated in a trajectory optimizer to generate desired motion and force profiles. A constrained optimization framework based on Alternative Direction Method of Multipliers (ADMM) has been employed to efficiently generate real-time optimal control inputs and high-dimensional state trajectories in a Model Predictive Control fashion. Experimental validation of the model performance is conducted on a soft substrate with known material properties using a Cartesian space force control mode. Results show a comparison of ground truth and real-time model-based contact force and motion tracking for multiple Cartesian motions in the valid range of the friction model. It is shown that a contact model-based motion planner can compensate for frictional forces and motion disturbances and improve the overall motion and force tracking accuracy. The proposed high-level planner has the potential to facilitate the automation of medical tasks involving the manipulation of compliant, delicate, and deformable tissues.

Accurate simulation of soft mechanisms under dynamic actuation is critical for the design of soft robots. We address this gap with our differentiable simulation tool by learning the material parameters of our soft robotic fish. On the example of a soft robotic fish, we demonstrate an experimentally-verified, fast optimization pipeline for learning the material parameters from quasi-static data via differentiable simulation and apply it to the prediction of dynamic performance. Our method identifies physically plausible Young's moduli for various soft silicone elastomers and stiff acetal copolymers used in creation of our three different robotic fish tail designs. We show that our method is compatible with varying internal geometry of the actuators, such as the number of hollow cavities. Our framework allows high fidelity prediction of dynamic behavior for composite bi-morph bending structures in real hardware to millimeter-accuracy and within 3 percent error normalized to actuator length. We provide a differentiable and robust estimate of the thrust force using a neural network thrust predictor; this estimate allows for accurate modeling of our experimental setup measuring bollard pull. This work presents a prototypical hardware and simulation problem solved using our differentiable framework; the framework can be applied to higher dimensional parameter inference, learning control policies, and computational design due to its differentiable character.

水生运动是生物学家和工程师感兴趣的经典流体结构相互作用（FSI）问题。求解完全耦合的FSI方程，用于不可压缩的Navier-Stokes和有限的弹性在计算上是昂贵的。在这种系统中，优化机器人游泳器设计通常涉及在已经昂贵的模拟之上繁琐的，无梯度的程序。为了应对这一挑战，我们提出了一种针对FSI的新颖，完全可区分的混合方法，该方法结合了2D直接数值模拟，用于游泳器的可变形固体结构和物理受限的神经网络替代物，以捕获流体的流体动力效应。对于游泳者身体的可变形实心模拟，我们使用来自计算机图形领域的最新技术来加快有限元方法（FEM）。对于流体模拟，我们使用经过基于物理损耗功能的U-NET体系结构来预测每个时间步骤的流场。使用沉浸式边界方法（IBM）在我们游泳器边界的边界周围采样了来自神经网络的压力和速度场输出，以准确有效地计算其游泳运动。我们证明了混合模拟器在2D Carangiform游泳器上的计算效率和可不同性。由于可怜性，该模拟器可用于通过基于直接梯度的优化浸入流体中的软体体系的控件设计。

通过改变肌肉僵硬来适应符合性的能力对于人类灵巧的操纵技巧至关重要。在机器人电动机控制中纳入合规性对于执行具有人级敏捷性的现实力量相互作用任务至关重要。这项工作为合规机器人操作提供了一个深层的模型预测性变量阻抗控制器，该阻抗操纵结合了可变阻抗控制与模型预测控制（MPC）。使用最大化信息增益的勘探策略学习了机器人操纵器的广义笛卡尔阻抗模型。该模型在MPC框架内使用，以适应低级变量阻抗控制器的阻抗参数，以实现针对不同操纵任务的所需合规性行为，而无需进行任何重新培训或填充。使用Franka Emika Panda机器人操纵器在模拟和实际实验中运行的操作，使用Franka Emika Panda机器人操纵器评估深层模型预测性变量阻抗控制方法。将所提出的方法与无模型和基于模型的强化方法进行了比较，以可变阻抗控制，以进行任务和性能之间的可传递性。

机器人社区在为软机器人设备建模提供的理论工具的复杂程度中看到了指数增长。已经提出了不同的解决方案以克服与软机器人建模相关的困难，通常利用其他科学学科，例如连续式机械和计算机图形。这些理论基础通常被认为是理所当然的，这导致复杂的文献，因此，从未得到完整审查的主题。Withing这种情况下，提交的文件的目标是双重的。突出显示涉及建模技术的不同系列的常见理论根源，采用统一语言，以简化其主要连接和差异的分析。因此，对上市接近自然如下，并最终提供在该领域的主要作品的完整，解开，审查。

机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象，因为纺织品在操纵过程中可以采用多种配置和形状。因此，机器人不仅应该了解当前的布料配置，还应能够预测布的未来行为。本文通过使用模型预测控制（MPC）策略在对象的其他部分应用动作，从而解决了间接控制纺织对象某些点的配置的问题，该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号，以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角，以平方布的下角跟踪参考轨迹。为此，我们提出并验证线性布模型，该模型允许实时解决与MPC相关的优化问题。增强学习（RL）技术用于学习所提出的布模型的最佳参数，并调整所得的MPC。在模拟中获得准确的跟踪结果后，在真实的机器人中实现并执行了完整的控制方案，即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记，但对于30x30 cm的布，分析表明，MPC对该值的贡献少于30％。

鉴于存在复杂的动力学和大量DOF，由刚性杆和柔性电缆组成的紧张机器人难以准确地建模和控制。最近已经提出了可微分的物理发动机作为数据驱动的方法，用于模型识别此类复杂的机器人系统。这些发动机通常以高频执行以实现准确的模拟。但是，由于现实世界传感器的局限性，通常在如此高的频率下，通常无法在训练可区分发动机的地面真相轨迹。目前的工作着重于此频率不匹配，这会影响建模准确性。我们为紧张的机器人的可区分物理发动机提出了一个经常性结构，即使使用低频轨迹也可以有效地训练。为了以强大的方式训练这款新的经常性引擎，这项工作相对于先前的工作介绍：（i）一种新的隐式集成方案，（ii）渐进式培训管道，以及（iii）可区分的碰撞检查器。 NASA在Mujoco上的Icosahedron Superballbot的模型被用作收集培训数据的地面真实系统。模拟实验表明，一旦对Mujoco的低频轨迹进行了训练，对复发性可区分发动机进行了训练，它就可以匹配Mujoco系统的行为。成功的标准是，是否可以将使用可区分发动机的运动策略传递回地面真相系统，并导致类似的运动。值得注意的是，训练可区分发动机所需的地面真相数据数量，使该政策可以转移到地面真实系统中，是直接在地面真相系统上训练政策所需的数据的1％。

与传统的机器人手不同，由于固有的不确定性，兼容的手不足的手对模型的挑战。因此，通常基于视觉感知执行抓握对象的姿势估计。但是，在闭塞或部分占地环境中，对手和物体的视觉感知可以受到限制。在本文中，我们旨在探索触觉的使用，即动力学和触觉感测，以构成姿势估计和手动操纵，手工不足。这种触觉方法会减轻并非总是可用的视线。我们强调识别系统的特征状态表示，该状态表示不包括视觉，可以通过简单和低成本的硬件获得。因此，对于触觉传感，我们提出了一个低成本和灵活的传感器，该传感器主要是与指尖一起打印的3D，并可以提供隐式的接触信息。我们将双手手动的手作为测试案例不足，我们分析了动力学和触觉特征以及各种回归模型对预测准确性的贡献。此外，我们提出了一种模型预测控制（MPC）方法，该方法利用姿势估计将对象操纵为仅基于触觉的所需状态。我们进行了一系列实验，以验证具有不同几何形状，刚度和纹理的各种物体的姿势的能力，并以相对较高的精度显示工作空间中的目标。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

与纺织品（例如辅助敷料）的物理互动依赖于先进的灵巧能力。拉扯和拉伸时纺织行为的潜在复杂性是由于纱线材料特性和纺织品构造技术所致。如今，还没有采用和注释的数据集评估各种交互或属性识别方法。影响这种相互作用的一种重要特性是材料弹性是由纱线材料和构造技术引起的：这两个是交织在一起的，如果不知道A-Priori，几乎无法通过在机器人平台上使用常见的传感来识别。我们介绍了弹性环境（EC），该概念集成了影响弹性行为的各种属性，以使其与纺织品进行更有效的物理互动。 EC的定义依赖于纺织工程中常用的压力/应变曲线，我们为机器人应用重新制定了压力/应变曲线。我们使用图形神经网络（GNN）使用EC来学习纺织品的通用弹性行为。此外，我们探讨了EC对非线性现实世界弹性行为的准确力量建模的影响，从而强调了当前机器人设置以感知纺织特性的挑战。

由于配置空间的高维度以及受各种材料特性影响的动力学的复杂性，布料操纵是一项具有挑战性的任务。复杂动力学的效果甚至在动态折叠中更为明显，例如，当平方板通过单个操纵器将一块织物折叠为两种时。为了说明复杂性和不确定性，使用例如通常需要视觉。但是，构建动态布折叠的视觉反馈政策是一个开放的问题。在本文中，我们提出了一种解决方案，该解决方案可以使用强化学习（RL）学习模拟政策，并将学识渊博的政策直接转移到现实世界中。此外，要学习一种操纵多种材料的单一策略，我们将模拟中的材料属性随机化。我们评估了现实世界实验中视觉反馈和材料随机化的贡献。实验结果表明，所提出的解决方案可以使用现实世界中的动态操作成功地折叠不同的面料类型。代码，数据和视频可从https://sites.google.com/view/dynamic-cloth-folding获得

长期以来，可变形的物体操纵任务被视为具有挑战性的机器人问题。但是，直到最近，对这个主题的工作很少，大多数机器人操纵方法正在为刚性物体开发。可变形的对象更难建模和模拟，这限制了对模型的增强学习（RL）策略的使用，因为它们需要仅在模拟中满足的大量数据。本文提出了针对可变形线性对象（DLOS）的新形状控制任务。更值得注意的是，我们介绍了有关弹性塑性特性对这种类型问题的影响的第一个研究。在各种应用中发现具有弹性性的物体（例如金属线），并且由于其非线性行为而挑战。我们首先强调了从RL角度来解决此类操纵任务的挑战，尤其是在定义奖励时。然后，基于差异几何形状的概念，我们提出了使用离散曲率和扭转的固有形状表示。最后，我们通过一项实证研究表明，为了成功地使用深层确定性策略梯度（DDPG）成功解决所提出的任务，奖励需要包括有关DLO形状的内在信息。

虽然在各种应用中广泛使用刚性机器人，但它们在他们可以执行的任务中受到限制，并且在密切的人机交互中可以保持不安全。另一方面，软机器鞋面超越了刚性机器人的能力，例如与工作环境，自由度，自由度，制造成本和与环境安全互动的兼容性。本文研究了纤维增强弹性机壳（释放）作为一种特定类型的软气动致动器的行为，可用于软装饰器。创建动态集参数模型以在各种操作条件下模拟单一免费的运动，并通知控制器的设计。所提出的PID控制器使用旋转角度来控制多项式函数之后的自由到限定的步进输入或轨迹的响应来控制末端执行器的方向。另外，采用有限元分析方法，包括释放的固有非线性材料特性，精确地评估释放的各种参数和配置。该工具还用于确定模块中多个释放的工作空间，这基本上是软机械臂的构建块。

机器人仿真一直是数据驱动的操作任务的重要工具。但是，大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型，也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中，我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距，我们使用现实世界数据校准了机器人动力学，接触模型和触觉光学模拟器的物理模拟器，然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务，在各种对象上，我们达到平均准确性为90.7％。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。

We apply reinforcement learning (RL) to robotics. One of the drawbacks of traditional RL algorithms has been their poor sample efficiency. One approach to improve it is model-based RL. We learn a model of the environment, essentially its dynamics and reward function, use it to generate imaginary trajectories and backpropagate through them to update the policy, exploiting the differentiability of the model. Intuitively, learning more accurate models should lead to better performance. Recently, there has been growing interest in developing better deep neural network based dynamics models for physical systems, through better inductive biases. We focus on robotic systems undergoing rigid body motion. We compare two versions of our model-based RL algorithm, one which uses a standard deep neural network based dynamics model and the other which uses a much more accurate, physics-informed neural network based dynamics model. We show that, in environments that are not sensitive to initial conditions, model accuracy matters only to some extent, as numerical errors accumulate slowly. In these environments, both versions achieve similar average-return, while the physics-informed version achieves better sample efficiency. We show that, in environments that are sensitive to initial conditions, model accuracy matters a lot, as numerical errors accumulate fast. In these environments, the physics-informed version achieves significantly better average-return and sample efficiency. We show that, in challenging environments, where we need a lot of samples to learn, physics-informed model-based RL can achieve better asymptotic performance than model-free RL, by generating accurate imaginary data, which allows it to perform many more policy updates. In these environments, our physics-informed model-based RL approach achieves better average-return than Soft Actor-Critic, a SOTA model-free RL algorithm.

机器人系统的控制设计很复杂，通常需要解决优化才能准确遵循轨迹。在线优化方法（例如模型预测性控制（MPC））已被证明可以实现出色的跟踪性能，但需要高计算能力。相反，基于学习的离线优化方法，例如加固学习（RL），可以在机器人上快速有效地执行，但几乎不匹配MPC在轨迹跟踪任务中的准确性。在具有有限计算的系统（例如航空车）中，必须在执行时间有效的精确控制器。我们提出了一种分析策略梯度（APG）方法来解决此问题。 APG通过在跟踪误差上以梯度下降的速度训练控制器来利用可区分的模拟器的可用性。我们解决了通过课程学习和实验经常在广泛使用的控制基准，Cartpole和两个常见的空中机器人，一个四极管和固定翼无人机上进行的训练不稳定性。在跟踪误差方面，我们提出的方法优于基于模型和无模型的RL方法。同时，它达到与MPC相似的性能，同时需要少于数量级的计算时间。我们的工作为APG作为机器人技术的有前途的控制方法提供了见解。为了促进对APG的探索，我们开放代码并在https://github.com/lis-epfl/apg_traightory_tracking上提供。

深度强化学习是在不需要领域知识的不受控制环境中学习政策的有前途的方法。不幸的是，由于样本效率低下，深度RL应用主要集中在模拟环境上。在这项工作中，我们证明了机器学习算法和库的最新进步与精心调整的机器人控制器相结合，导致在现实世界中仅20分钟内学习四倍的运动。我们在几个室内和室外地形上评估了我们的方法，这些室内和室外地形对基于古典模型的控制器来说是具有挑战性的。我们观察机器人能够在所有这些地形上始终如一地学习步态。最后，我们在模拟环境中评估我们的设计决策。