In this manuscript, we present a novel method for estimating the stochastic stability characteristics of metastable legged systems using the unscented transformation. Prior methods for stability analysis in such systems often required high-dimensional state space discretization and a broad set of initial conditions, resulting in significant computational complexity. Our approach aims to alleviate this issue by reducing the dimensionality of the system and utilizing the unscented transformation to estimate the output distribution. This technique allows us to account for multiple sources of uncertainty and high-dimensional system dynamics, while leveraging prior knowledge of noise statistics to inform the selection of initial conditions for experiments. As a result, our method enables the efficient assessment of controller performance and analysis of parametric dependencies with fewer experiments. To demonstrate the efficacy of our proposed method, we apply it to the analysis of a one-dimensional hopper and an underactuated bipedal walking simulation with a hybrid zero dynamics controller.

在本文中，我们全能地提出了一种基于混合线性倒置的方法（H唇），用于合成和稳定3D足底双模行走，重点是彻底的硬件实现。提出了H-唇缘以捕获机器人行走的欠置和致动部分的基本组成部分。然后基于H唇直接合成机器人行走步态。我们全面地表征了H唇的周期性轨道，并通过其步骤 - 步骤（S2S）动力学可证明步骤稳定，然后用于近似于质量中心的水平状态的S2S动态（COM）机器人散步。近似设施基于H唇的步进控制器，提供所需的步长，以稳定机器人行走。通过实现所需的步骤尺寸，机器人实现了动态且稳定的行走。在欠扰动的BipeDal机器人Cassie的模拟和实验中完全评估了该方法，其展示了具有高通用和鲁棒性的动态行走行为。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

尽管对Bipeds的运动稳定性进行了广泛的研究，但它们仍然缺乏在湿滑表面上缺乏干扰的应对能力。在本文中，关于表面摩擦限制，开发了一种用于稳定其矢状平面中的双模运动的新型控制器。通过考虑到表面稳定趋势的表面的物理限制，实现了更先进的可靠性水平，从而提供更高的功能，例如在低摩擦表面上推挽恢复，并防止稳定剂过度反应。基于离散的事件的策略包括修改每个脚步开头的步长和时间段，以便在考虑表面摩擦限制作为防止滑动的约束的同时重新建立稳定性必要条件。调整脚步以防止面对外部干扰的滑动被认为是保持稳定性的新策略，与人类反应非常相似。开发方法包括利用基本数学操作来获取控制输入的粗闭式解决方案，允许在收敛和计算成本之间达到平衡，即使具有适度的计算硬件，即使具有实时操作也非常适合实时操作。执行几种数值模拟，包括在低摩擦表面上的不同栅极之间的推挽恢复和切换，以证明所提出的控制器的有效性。在与人体步态经验相关的情况下，结果还揭示了一些有利于稳定性的物理方面以及在Gaits之间切换的事实，以降低面对不同条件的落地的风险。

如果机器人曾经实现与动物所展示的机器人相当的自动运动，则它们必须获得在损害，故障或环境条件下快速恢复运动行为的能力，从而损害了其有效移动的能力。我们提出了一种方法，该方法使我们的机器人和模拟机器人能够在几十次尝试中恢复自由运动行为的高度。我们的方法采用行为规范，以等级的差异约束来表达所需的行为。我们展示了如何通过编码模板来考虑这些约束，从而产生了将先前优化的行为推广到新情况下以快速学习的形式概括的秘诀。我们进一步说明，在数据驱动的上下文中，足够的限制通常很容易确定。作为例证，我们证明了我们在物理7 DOF六型六杆元机器人上的恢复方法，以及对6 DOF 2D运动机制的模拟。在这两种情况下，我们恢复了与先前优化的运动在功能上无法区分的行为。

我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

我们向连续状态马尔可夫决策过程（MDP）提出了一种扩散近似方法，该方法可用于解决非结构化的越野环境中的自主导航和控制。与呈现完全已知的状态转换模型的大多数决策定理计划框架相比，我们设计了一种方法，该方法消除了这种强烈假设，这些假设通常非常难以在现实中工程师。我们首先采用价值函数的二阶泰勒扩展。然后通过部分微分方程近似贝尔曼的最优性方程，其仅依赖于转换模型的第一和第二矩。通过组合价值函数的内核表示，然后设计一种有效的策略迭代算法，其策略评估步骤可以表示为特征的方程式的线性系统，其特征是由有限组支持状态。我们首先通过大量的仿真以2D美元的$ 2D $避让和2.5d $地形导航问题进行验证。结果表明，拟议的方法在几个基线上导致了卓越的性能。然后，我们开发一个系统，该系统将我们的决策框架整合，与船上感知，并在杂乱的室内和非结构化的户外环境中进行现实世界的实验。物理系统的结果进一步展示了我们在挑战现实世界环境中的方法的适用性。

非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

Controller design for bipedal walking on dynamic rigid surfaces (DRSes), which are rigid surfaces moving in the inertial frame (e.g., ships and airplanes), remains largely uninvestigated. This paper introduces a hierarchical control approach that achieves stable underactuated bipedal robot walking on a horizontally oscillating DRS. The highest layer of our approach is a real-time motion planner that generates desired global behaviors (i.e., the center of mass trajectories and footstep locations) by stabilizing a reduced-order robot model. One key novelty of this layer is the derivation of the reduced-order model by analytically extending the angular momentum based linear inverted pendulum (ALIP) model from stationary to horizontally moving surfaces. The other novelty is the development of a discrete-time foot-placement controller that exponentially stabilizes the hybrid, linear, time-varying ALIP model. The middle layer of the proposed approach is a walking pattern generator that translates the desired global behaviors into the robot's full-body reference trajectories for all directly actuated degrees of freedom. The lowest layer is an input-output linearizing controller that exponentially tracks those full-body reference trajectories based on the full-order, hybrid, nonlinear robot dynamics. Simulations of planar underactuated bipedal walking on a swaying DRS confirm that the proposed framework ensures the walking stability under different DRS motions and gait types.

机器人社区在为软机器人设备建模提供的理论工具的复杂程度中看到了指数增长。已经提出了不同的解决方案以克服与软机器人建模相关的困难，通常利用其他科学学科，例如连续式机械和计算机图形。这些理论基础通常被认为是理所当然的，这导致复杂的文献，因此，从未得到完整审查的主题。Withing这种情况下，提交的文件的目标是双重的。突出显示涉及建模技术的不同系列的常见理论根源，采用统一语言，以简化其主要连接和差异的分析。因此，对上市接近自然如下，并最终提供在该领域的主要作品的完整，解开，审查。

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

数学模型是动态控制系统设计中的基本构件。随着控制系统变得越来越复杂和网络，基于第一原理的方法达到了限制。数据驱动的方法提供了替代方案。但是，在没有结构知识的情况下，这些方法很容易在训练数据中找到虚假的相关性，这可能会妨碍所获得的模型的概括能力。当系统暴露于未知情况时，这可以显着降低控制和预测性能。先前的因果鉴定可以防止这种陷阱。在本文中，我们提出了一种识别控制系统因果结构的方法。我们根据可控性概念设计实验，该概念提供了一种系统的方法来计算输入轨迹，该输入轨迹将系统引导到其状态空间中的特定区域。然后，我们分析从因果推理中利用强大技术的结果数据，并将其扩展到控制系统。此外，我们得出了保证发现系统真正因果结构的条件。在机器人臂上的实验表明，来自现实世界数据和增强的概括能力的可靠因果鉴定。

许多用于腿部机器人系统的控制器在离散混合事件下利用开放环控制或闭环控制来增强稳定性。这些控制器出现在几个经过良好研究的现象中，例如Raibert Stepping控制器，Paddle Juggling和Swing Leet Retraction。这项工作介绍了混合事件塑造（HES）：一种用于分析和生产稳定混合事件控制器的广义方法。HES利用盐矩阵，该盐矩阵给出了封闭形式的方程，以实现混合事件对稳定性的影响。我们还引入了形状参数，这是可以完全独立于系统动力学以促进稳定性的高阶项。优化方法用于产生这些参数的值，以优化稳定性度量。混合事件塑造捕获了先前开发的控制方法，同时还产生了新的最佳稳定轨迹，而无需连续域反馈。

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

通常，地形几何形状是非平滑的，非线性的，非凸的，如果通过以机器人为中心的视觉单元感知，则似乎部分被遮住且嘈杂。这项工作介绍了能够实时处理上述问题的完整控制管道。我们制定了一个轨迹优化问题，该问题可以在基本姿势和立足点上共同优化，但要遵守高度图。为了避免收敛到不良的本地Optima，我们部署了逐步的优化技术。我们嵌入了一个紧凑的接触式自由稳定性标准，该标准与非平板地面公式兼容。直接搭配用作转录方法，导致一个非线性优化问题，可以在少于十毫秒内在线解决。为了在存在外部干扰的情况下增加鲁棒性，我们用动量观察者关闭跟踪环。我们的实验证明了爬楼梯，踏上垫脚石上的楼梯，并利用各种动态步态在缝隙上。

模型预测控制（MPC）表明了控制诸如腿机器人等复杂系统的巨大成功。然而，在关闭循环时，在每个控制周期解决的有限范围最佳控制问题（OCP）的性能和可行性不再保证。这是由于模型差异，低级控制器，不确定性和传感器噪声的影响。为了解决这些问题，我们提出了一种修改版本，该版本的标准MPC方法用于带有活力的腿运动（弱向不变性）保证。在这种方法中，代替向问题添加（保守）终端约束，我们建议使用投影到在每个控制周期的OCP中的可行性内核中投影的测量状态。此外，我们使用过去的实验数据来找到最佳成本重量，该重量测量性能，约束满足鲁棒性或稳定性（不变性）的组合。这些可解释的成本衡量了稳健性和性能之间的贸易。为此目的，我们使用贝叶斯优化（BO）系统地设计实验，有助于有效地收集数据以了解导致强大性能的成本函数。我们的模拟结果具有不同的现实干扰（即外部推动，未铭出的执行器动态和计算延迟）表明了我们为人形机器人创造了强大的控制器的方法的有效性。

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。