缺乏稳定性可以强烈限制在安全临界机器人应用中使用加固学习（RL）。在这里，我们提出了一个控制系统体系结构，用于连续RL控制并通过收缩分析得出相应的稳定性定理，从而对网络权重产生约束，以确保稳定性。可以以一般的RL算法实现控制体系结构，并提高其稳定性，鲁棒性和样本效率。我们在两个标准示例中证明了此类保证对RL的重要性和好处，PPO对2D问题进行了学习以及对迷宫任务的Hiro学习。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

In contrast to the control-theoretic methods, the lack of stability guarantee remains a significant problem for model-free reinforcement learning (RL) methods. Jointly learning a policy and a Lyapunov function has recently become a promising approach to ensuring the whole system with a stability guarantee. However, the classical Lyapunov constraints researchers introduced cannot stabilize the system during the sampling-based optimization. Therefore, we propose the Adaptive Stability Certification (ASC), making the system reach sampling-based stability. Because the ASC condition can search for the optimal policy heuristically, we design the Adaptive Lyapunov-based Actor-Critic (ALAC) algorithm based on the ASC condition. Meanwhile, our algorithm avoids the optimization problem that a variety of constraints are coupled into the objective in current approaches. When evaluated on ten robotic tasks, our method achieves lower accumulated cost and fewer stability constraint violations than previous studies.

在本文中，提出了针对动力学不确定性的机器人操纵器提出的人工延迟阻抗控制器。控制定律将超级扭曲算法（STA）类型的二阶切换控制器通过新颖的广义过滤跟踪误差（GFTE）统一延迟估计（TDE）框架。虽然时间延迟的估计框架可以通过估算不确定的机器人动力学和相互作用力来从状态和控制工作的近期数据中估算不确定的机器人动力学和相互作用力来准确建模机器人动力学，但外部循环中的第二阶切换控制法可以在时间延迟估计的情况下提供稳健性（TDE）由于操纵器动力学的近似而引起的误差。因此，拟议的控制定律试图在机器人最终效应变量之间建立所需的阻抗模型，即在存在不确定性的情况下，在遇到平滑接触力和自由运动期间的力和运动。使用拟议的控制器以及收敛分析的两个链接操纵器的仿真结果显示出验证命题。

现代机器人系统具有卓越的移动性和机械技能，使其适合在现实世界场景中使用，其中需要与重物和精确的操纵能力进行互动。例如，具有高有效载荷容量的腿机器人可用于灾害场景，以清除危险物质或携带受伤的人。因此，可以开发能够使复杂机器人能够准确地执行运动和操作任务的规划算法。此外，需要在线适应机制，需要新的未知环境。在这项工作中，我们强加了模型预测控制（MPC）产生的最佳状态输入轨迹满足机器人系统自适应控制中的Lyapunov函数标准。因此，我们将控制Lyapunov函数（CLF）提供的稳定性保证以及MPC在统一的自适应框架中提供的最优性，在机器人与未知对象的交互过程中产生改进的性能。我们验证了携带未建模有效载荷和拉重盒子的四足机器人的仿真和硬件测试中提出的方法。

在这项工作中，我们为软机器人蛇提供了一种基于学习的目标跟踪控制方法。受到生物蛇的启发，我们的控制器由两个关键模块组成：用于学习靶向轨迹行为的增强学习（RL）模块，给出了软蛇机器人的随机动力学，以及带有Matsuoka振荡器的中央模式生成器（CPG）系统，用于产生稳定而多样的运动模式。基于提议的框架，我们全面讨论了软蛇机器人的可操作性，包括在其蛇形运动期间的转向和速度控制。可以将这种可操作性映射到CPG系统振荡模式的控制中。通过对Matsuoka CPG系统振荡性能的理论分析，这项工作表明，实现我们软蛇机器人的自由移动性的关键是正确限制和控制Matsuoka CpG系统的某些系数比率。基于此分析，我们系统地制定了CPG系统的可控系数，供RL代理运行。通过实验验证，我们表明，在模拟环境中学习的控制政策可以直接应用于控制我们的真正的蛇机器人以执行目标跟踪任务，而不管模拟与现实世界之间的物理环境差距如何。实验结果还表明，与我们先前的方法和基线RL方法（PPO）相比，我们的方法对SIM到现实过渡的适应性和鲁棒性得到了显着改善。

强化学习表现出巨大的潜力，可以解决复杂的接触率丰富的机器人操纵任务。但是，在现实世界中使用RL的安全是一个关键问题，因为在培训期间或看不见的情况下，RL政策是不完善的，可能会发生意外的危险碰撞。在本文中，我们提出了一个接触安全的增强增强学习框架，用于接触良好的机器人操纵，该框架在任务空间和关节空间中保持安全性。当RL政策导致机器人组与环境之间的意外冲突时，我们的框架能够立即检测到碰撞并确保接触力量很小。此外，最终效应器被强制执行，同时对外部干扰保持强大的态度。我们训练RL政策以模拟并将其转移到真正的机器人中。关于机器人擦拭任务的现实世界实验表明，即使在策略处于看不见的情况下，我们的方法也能够使接触在任务空间和关节空间中保持较小，同时拒绝对主要任务的干扰。

强化学习（RL）文献的最新进展使机器人主义者能够在模拟环境中自动训练复杂的政策。但是，由于这些方法的样本复杂性差，使用现实世界数据解决强化学习问题仍然是一个具有挑战性的问题。本文介绍了一种新颖的成本整形方法，旨在减少学习稳定控制器所需的样品数量。该方法添加了一个涉及控制Lyapunov功能（CLF）的术语 - 基于模型的控制文献的“能量样”功能 - 到典型的成本配方。理论结果表明，新的成本会导致使用较小的折现因子时稳定控制器，这是众所周知的，以降低样品复杂性。此外，通过确保即使是高度亚最佳的策略也可以稳定系统，添加CLF术语“鲁棒化”搜索稳定控制器。我们通过两个硬件示例演示了我们的方法，在其中我们学习了一个cartpole的稳定控制器和仅使用几秒钟和几分钟的微调数据的A1稳定控制器。

该论文提出了一个计划者，以使用质心动力学和人形机器人的完整运动学来产生步行轨迹。机器人与行走表面之间的相互作用是通过新条件明确建模的，即\ emph {动态互补性约束}。该方法不需要预定义的接触序列，并自动生成脚步。我们通过一组任务来表征机器人控制目标，并通过解决最佳控制问题来解决它。我们表明，可以通过指定最小的参考集，例如恒定所需的质量速度中心和地面上的参考点来自动实现行走运动。此外，我们分析了接触模型选择如何影响计算时间。我们通过为人形机器人ICUB生成和测试步行轨迹来验证该方法。

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。

我们专注于开发Quadrupedal机器人节能控制器的问题。动物可以以不同的速度积极切换Gaits以降低其能量消耗。在本文中，我们设计了一个分层学习框架，其中独特的运动遗传仪和自然步态过渡自动出现，其能量最小化的简单奖励。我们使用进化策略来培训一个高级步态政策，指定每只脚的步态图案，而低级凸MPC控制器优化电机命令，以便机器人可以使用该步态图案以所需的速度行走。我们在四足机器人上测试我们的学习框架，并展示了自动步态过渡，从步行到小跑和飞行，因为机器人增加了速度。我们表明学习的等级控制器在广泛的运动速度范围内消耗的能量要少于基线控制器。

Force modulation of robotic manipulators has been extensively studied for several decades. However, it is not yet commonly used in safety-critical applications due to a lack of accurate interaction contact modeling and weak performance guarantees - a large proportion of them concerning the modulation of interaction forces. This study presents a high-level framework for simultaneous trajectory optimization and force control of the interaction between a manipulator and soft environments, which is prone to external disturbances. Sliding friction and normal contact force are taken into account. The dynamics of the soft contact model and the manipulator are simultaneously incorporated in a trajectory optimizer to generate desired motion and force profiles. A constrained optimization framework based on Alternative Direction Method of Multipliers (ADMM) has been employed to efficiently generate real-time optimal control inputs and high-dimensional state trajectories in a Model Predictive Control fashion. Experimental validation of the model performance is conducted on a soft substrate with known material properties using a Cartesian space force control mode. Results show a comparison of ground truth and real-time model-based contact force and motion tracking for multiple Cartesian motions in the valid range of the friction model. It is shown that a contact model-based motion planner can compensate for frictional forces and motion disturbances and improve the overall motion and force tracking accuracy. The proposed high-level planner has the potential to facilitate the automation of medical tasks involving the manipulation of compliant, delicate, and deformable tissues.

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

通常，地形几何形状是非平滑的，非线性的，非凸的，如果通过以机器人为中心的视觉单元感知，则似乎部分被遮住且嘈杂。这项工作介绍了能够实时处理上述问题的完整控制管道。我们制定了一个轨迹优化问题，该问题可以在基本姿势和立足点上共同优化，但要遵守高度图。为了避免收敛到不良的本地Optima，我们部署了逐步的优化技术。我们嵌入了一个紧凑的接触式自由稳定性标准，该标准与非平板地面公式兼容。直接搭配用作转录方法，导致一个非线性优化问题，可以在少于十毫秒内在线解决。为了在存在外部干扰的情况下增加鲁棒性，我们用动量观察者关闭跟踪环。我们的实验证明了爬楼梯，踏上垫脚石上的楼梯，并利用各种动态步态在缝隙上。

本文提出了一种新型的固定时间积分滑动模式控制器，以用于增强物理人类机器人协作。所提出的方法结合了遵守入学控制的外部力量和对整体滑动模式控制（ISMC）不确定性的高度鲁棒性的好处，从而使系统可以在不确定的环境中与人类伴侣合作。首先，在ISMC中应用固定时间滑动表面，以使系统的跟踪误差在固定时间内收敛，无论初始条件如何。然后，将固定的后台控制器（BSP）集成到ISMC中，作为标称控制器，以实现全局固定时间收敛。此外，为了克服奇异性问题，设计并集成到控制器中，这对于实际应用很有用。最后，提出的控制器已被验证，用于具有不确定性和外部力量的两连锁机器人操纵器。结果表明，在跟踪误差和收敛时间的意义上，所提出的控制器是优越的，同时，可以在共享工作区中遵守人类运动。

这项工作介绍了模型预测控制（MPC）的公式，该公式适应基于任务的模型的复杂性，同时保持可行性和稳定性保证。现有的MPC实现通常通过缩短预测范围或简化模型来处理计算复杂性，这两者都可能导致不稳定。受到行为经济学，运动计划和生物力学相关方法的启发，我们的方法通过简单模型解决了MPC问题，用于在地平线区域的动力学和约束，而这种模型是可行的，并且不存在该模型的复杂模型。该方法利用计划和执行的交织来迭代识别这些区域，如果它们满足确切的模板/锚关系，可以安全地简化这些区域。我们表明，该方法不会损害系统的稳定性和可行性特性，并在仿真实验中衡量在四足动物上执行敏捷行为的仿真实验中的性能。我们发现，与固定复杂性实现相比，这种自适应方法可以实现更多的敏捷运动，并扩大可执行任务的范围。

稳定性和安全性是成功部署自动控制系统的关键特性。作为一个激励示例，请考虑在复杂的环境中自动移动机器人导航。概括到不同操作条件的控制设计需要系统动力学模型，鲁棒性建模错误以及对安全\ newzl {约束}的满意度，例如避免碰撞。本文开发了一个神经普通微分方程网络，以从轨迹数据中学习哈密顿系统的动态。学识渊博的哈密顿模型用于合成基于能量的被动性控制器，并分析其\ emph {鲁棒性}，以在学习模型及其\ emph {Safety}中对环境施加的约束。考虑到系统的所需参考路径，我们使用虚拟参考调查员扩展了设计，以实现跟踪控制。州长国家是一个调节点，沿参考路径移动，平衡系统能级，模型不确定性界限以及违反安全性的距离，以确保稳健性和安全性。我们的哈密顿动力学学习和跟踪控制技术在\修订后的{模拟的己谐和四型机器人}在混乱的3D环境中导航。

Dexterous and autonomous robots should be capable of executing elaborated dynamical motions skillfully. Learning techniques may be leveraged to build models of such dynamic skills. To accomplish this, the learning model needs to encode a stable vector field that resembles the desired motion dynamics. This is challenging as the robot state does not evolve on a Euclidean space, and therefore the stability guarantees and vector field encoding need to account for the geometry arising from, for example, the orientation representation. To tackle this problem, we propose learning Riemannian stable dynamical systems (RSDS) from demonstrations, allowing us to account for different geometric constraints resulting from the dynamical system state representation. Our approach provides Lyapunov-stability guarantees on Riemannian manifolds that are enforced on the desired motion dynamics via diffeomorphisms built on neural manifold ODEs. We show that our Riemannian approach makes it possible to learn stable dynamical systems displaying complicated vector fields on both illustrative examples and real-world manipulation tasks, where Euclidean approximations fail.