由于治疗益处和减轻劳动密集型工作的能力，在临床应用中使用康复机器人技术的重要性提高了。但是，他们的实际效用取决于适当的控制算法的部署，这些算法根据每个患者的需求来适应任务辅助的水平。通常，通过临床医生的手动调整来实现所需的个性化，这很麻烦且容易出错。在这项工作中，我们提出了一种新颖的在线学习控制体系结构，能够在运行时个性化控制力量。为此，我们通过以前看不见的预测和更新率来部署基于高斯流程的在线学习。最后，我们在一项实验用户研究中评估了我们的方法，在该研究中，学习控制器被证明可以提供个性化的控制，同时还获得了安全的相互作用力。

当信号通过物理传感器测量，它们被噪声干扰。为了减少噪音，低通滤波器，以便衰减高频分量的输入信号，如果无论它们来自噪声或实际信号被通常使用的。因此，低通滤波器必须仔细调整以避免信号的显著恶化。这种调整需要有关的信号，这往往不是在应用，如强化学习或基于学习控制提供先验知识。为了克服这种限制，我们提出了一种基于高斯过程回归自适应低通滤波器。通过考虑以前的意见，更新和预测足够快的现实世界的滤波应用的恒定窗口即可实现。此外，超参数导致的低通行为适配的在线优化，使得没有事先调整是必要的。我们表明，该方法的估计误差一致有界，并证明了该方法的灵活性和效率的几个模拟。

Ensuring safety is of paramount importance in physical human-robot interaction applications. This requires both an adherence to safety constraints defined on the system state, as well as guaranteeing compliant behaviour of the robot. If the underlying dynamical system is known exactly, the former can be addressed with the help of control barrier functions. Incorporation of elastic actuators in the robot's mechanical design can address the latter requirement. However, this elasticity can increase the complexity of the resulting system, leading to unmodeled dynamics, such that control barrier functions cannot directly ensure safety. In this paper, we mitigate this issue by learning the unknown dynamics using Gaussian process regression. By employing the model in a feedback linearizing control law, the safety conditions resulting from control barrier functions can be robustified to take into account model errors, while remaining feasible. In order enforce them on-line, we formulate the derived safety conditions in the form of a second-order cone program. We demonstrate our proposed approach with simulations on a two-degree of freedom planar robot with elastic joints.

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

该论文提出了两种控制方法，用于用微型四轮驱动器进行反弹式操纵。首先，对专门为反转设计设计的现有前馈控制策略进行了修订和改进。使用替代高斯工艺模型的贝叶斯优化通过在模拟环境中反复执行翻转操作来找到最佳运动原语序列。第二种方法基于闭环控制，它由两个主要步骤组成：首先，即使在模型不确定性的情况下，自适应控制器也旨在提供可靠的参考跟踪。控制器是通过通过测量数据调整的高斯过程来增强无人机的标称模型来构建的。其次，提出了一种有效的轨迹计划算法，该算法仅使用二次编程来设计可行的轨迹为反弹操作设计。在模拟和使用BitCraze Crazyflie 2.1四肢旋转器中对两种方法进行了分析。

Accurate path following is challenging for autonomous robots operating in uncertain environments. Adaptive and predictive control strategies are crucial for a nonlinear robotic system to achieve high-performance path following control. In this paper, we propose a novel learning-based predictive control scheme that couples a high-level model predictive path following controller (MPFC) with a low-level learning-based feedback linearization controller (LB-FBLC) for nonlinear systems under uncertain disturbances. The low-level LB-FBLC utilizes Gaussian Processes to learn the uncertain environmental disturbances online and tracks the reference state accurately with a probabilistic stability guarantee. Meanwhile, the high-level MPFC exploits the linearized system model augmented with a virtual linear path dynamics model to optimize the evolution of path reference targets, and provides the reference states and controls for the low-level LB-FBLC. Simulation results illustrate the effectiveness of the proposed control strategy on a quadrotor path following task under unknown wind disturbances.

我们描述了更改 - 联系机器人操作任务的框架，要求机器人与对象和表面打破触点。这种任务的不连续交互动态使得难以构建和使用单个动力学模型或控制策略，并且接触变化期间动态的高度非线性性质可能对机器人和物体造成损害。我们提出了一种自适应控制框架，使机器人能够逐步学习以预测更改联系人任务中的接触变化，从而了解了碎片连续系统的交互动态，并使用任务空间可变阻抗控制器提供平滑且精确的轨迹跟踪。我们通过实验比较我们框架的表现，以确定所需的代表性控制方法，以确定我们框架的自适应控制和增量学习组件需要在变化 - 联系机器人操纵任务中存在不连续动态的平稳控制。

系列弹性执行器（SEA）具有固有的合规性，可为机器人提供安全的扭矩来源，这些源是与各种环境相互作用的机器人，包括人类。这些应用对海体扭矩控制器有很高的要求，扭矩响应以及与其环境的相互作用行为。为了区分现有技术的扭矩控制器，这项工作正在引入统一的理论和实验框架，其基于它们的扭矩传递行为，表观阻抗行为，特别是表观阻抗的钝化性，即它们的相互作用稳定性，也是如此作为对传感器噪声的敏感性。我们比较经典的海上控制方法，如级联PID控制器和全状态反馈控制器，使用干扰观察者，加速反馈和适应规则，具有先进的控制器。仿真和实验证明了稳定的相互作用，高带宽和低噪声水平之间的折衷。基于这些权衡，可以基于与各个环境的所需交互来设计和调整特定于应用程序特定控制器。

在本文中，我们提出了一种基于模型的增强学习（MBRL）算法，称为\ emph {Monte Carlo概率的学习控制}（MC-PILCO）。该算法依赖于高斯流程（GPS）来对系统动力学进行建模以及蒙特卡洛方法以估计策略梯度。这定义了一个框架，在该框架中，我们可以在其中选择以下组件的选择：（i）成本函数的选择，（ii）使用辍学的策略优化，（iii）通过在使用中的结构内核来提高数据效率GP型号。上述方面的组合会极大地影响MC-PILCO的性能。在模拟卡车杆环境中的数值比较表明，MC-PILCO具有更好的数据效率和控制性能W.R.T.最先进的基于GP的MBRL算法。最后，我们将MC-PILCO应用于实际系统，考虑到具有部分可测量状态的特定系统。我们讨论了在策略优化过程中同时建模测量系统和国家估计器的重要性。已在模拟和两个真实系统（Furuta pendulum和一个球形式钻机）中测试了所提出的溶液的有效性。

在目标或配置在迭代之间变化的任务中，人机交互（HRI）可以使机器人能够处理可重复的方面，并提供适合当前状态的信息。当前，通过推断人类目标或为了适应机器人阻抗，目前可以实现先进的交互式机器人行为。尽管已经提出了许多针对互动机器人行为的应用程序特定的启发式方法，但它们通常受到范围的限制，例如仅考虑人体工程学或任务绩效。为了提高普遍性，本文提出了一个框架，该框架既计划在线轨迹和阻抗，处理任务和人类目标的混合，并可以有效地应用于新任务。该框架可以考虑多种类型的不确定性：接触约束变化，人类目标的不确定性或任务障碍。不确定性感知的任务模型是从使用高斯流程的一些演示中学到的。该任务模型用于非线性模型预测控制（MPC）问题，以根据对离散人类目标，人运动学，安全限制，接触稳定性和频率障碍抑制的信念来优化机器人轨迹和阻抗。引入了此MPC公式，对凸度进行了分析，并通过多个目标，协作抛光任务和协作组装任务进行了验证。

通常用于从时间序列数据学习模型的在线高斯流程（GPS）比离线GPS更灵活，更健壮。 GPS的本地和稀疏近似都可以在线有效地学习复杂的模型。但是，这些方法假定所有信号都是相对准确的，并且所有数据都可以学习而无需误导数据。此外，在实践中，GP的在线学习能力受到高维问题和长期任务的限制。本文提出了一个稀疏的在线GP（SOGP），其遗忘机制以特定速度忘记了遥远的模型信息。所提出的方法结合了SOGP基础向量集的两个常规数据删除方案：基于位置信息的方案和最古老的基于点的方案。我们采用我们的方法来学习在任务切换的两部分轨迹跟踪问题下具有7度自由度的协作机器人的逆动力学。模拟和实验都表明，与两种常规数据删除方案相比，所提出的方法可实现更好的跟踪准确性和预测平滑度。

促进辅助（AAN）控制旨在通过鼓励患者积极参与促进机器人辅助康复的治疗结果。大多数AAN控制器使用阻抗控制来在目标运动周围创建柔性的力字段，以确保在允许中等运动错误的同时进行跟踪精度。然而，由于控制力场的形状的参数通常根据关于关于对象学习能力的简单假设在线手动调整或在线调整，因此可以限制传统AAN控制器的有效性。在这项工作中，我们提出了一种新颖的自适应AAN控制器，其能够根据每个单独的电动机能力和任务要求自动重塑力场以相位相关的方式重塑力场。该拟议的控制器包括使用路径积分算法的修改策略改进，一种无模型的采样的增强学习方法，该方法实时地学习了特定于主题的阻抗景观，以及嵌入AAN PARADIGM的分层策略参数评估结构通过指定性能驱动的学习目标。通过跑步机培训课程通过具有能够在动力踝足矫形器的协助学习改变的步态模式的跑步机培训课程，通过跑步机培训课程进行实验验证，拟议的控制策略及其促进短期运动适应能力的适应性。

本文描述了可以用于控制上限假体的人机界面的新框架。目的是从嘈杂的表面肌电图信号中估算人类的电动机意图，并在存在以前看不见的扰动的情况下，对假体（即机器人）执行电动机意图。该框架包括每个自由度的肌肉弯曲模型，一种学习用于估计用户电机意图的模型的参数值的方法，以及使用从肌肉模型获得的刚度和阻尼值来适应的可变阻抗控制器假体运动轨迹和动力学。我们使用人机界面的模拟版本在强大的人类的背景下进行实验评估我们的框架，以执行主要在手腕中攻击一种自由的任务，并以统一力场的形式考虑外部扰动这将手腕从目标上推开。我们证明我们的框架提供了所需的自适应性能，并且与数据驱动的基线相比，可以大大提高性能。

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

模型预测控制（MPC）已成为高性能自治系统嵌入式控制的流行框架。但是，为了使用MPC实现良好的控制性能，准确的动力学模型是关键。为了维持实时操作，嵌入式系统上使用的动力学模型仅限于简单的第一原则模型，该模型实质上限制了其代表性。与此类简单模型相反，机器学习方法，特别是神经网络，已被证明可以准确地建模复杂的动态效果，但是它们的较大的计算复杂性阻碍了与快速实时迭代环路的组合。通过这项工作，我们提出了实时神经MPC，这是一个将大型复杂的神经网络体系结构作为动态模型的框架，在模型预测性控制管道中。 ，展示了所描述的系统的功能，可以使用基于梯度的在线优化MPC运行以前不可行的大型建模能力。与在线优化MPC中神经网络的先前实现相比，我们可以利用嵌入式平台上50Hz实时窗口中的4000倍的型号。此外，与没有神经网络动力学的最新MPC方法相比，我们通过将位置跟踪误差降低多达82％，从而显示了对现实世界问题的可行性。

高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。

Reinforcement Learning (RL) has seen many recent successes for quadruped robot control. The imitation of reference motions provides a simple and powerful prior for guiding solutions towards desired solutions without the need for meticulous reward design. While much work uses motion capture data or hand-crafted trajectories as the reference motion, relatively little work has explored the use of reference motions coming from model-based trajectory optimization. In this work, we investigate several design considerations that arise with such a framework, as demonstrated through four dynamic behaviours: trot, front hop, 180 backflip, and biped stepping. These are trained in simulation and transferred to a physical Solo 8 quadruped robot without further adaptation. In particular, we explore the space of feed-forward designs afforded by the trajectory optimizer to understand its impact on RL learning efficiency and sim-to-real transfer. These findings contribute to the long standing goal of producing robot controllers that combine the interpretability and precision of model-based optimization with the robustness that model-free RL-based controllers offer.

Humans demonstrate a variety of interesting behavioral characteristics when performing tasks, such as selecting between seemingly equivalent optimal actions, performing recovery actions when deviating from the optimal trajectory, or moderating actions in response to sensed risks. However, imitation learning, which attempts to teach robots to perform these same tasks from observations of human demonstrations, often fails to capture such behavior. Specifically, commonly used learning algorithms embody inherent contradictions between the learning assumptions (e.g., single optimal action) and actual human behavior (e.g., multiple optimal actions), thereby limiting robot generalizability, applicability, and demonstration feasibility. To address this, this paper proposes designing imitation learning algorithms with a focus on utilizing human behavioral characteristics, thereby embodying principles for capturing and exploiting actual demonstrator behavioral characteristics. This paper presents the first imitation learning framework, Bayesian Disturbance Injection (BDI), that typifies human behavioral characteristics by incorporating model flexibility, robustification, and risk sensitivity. Bayesian inference is used to learn flexible non-parametric multi-action policies, while simultaneously robustifying policies by injecting risk-sensitive disturbances to induce human recovery action and ensuring demonstration feasibility. Our method is evaluated through risk-sensitive simulations and real-robot experiments (e.g., table-sweep task, shaft-reach task and shaft-insertion task) using the UR5e 6-DOF robotic arm, to demonstrate the improved characterisation of behavior. Results show significant improvement in task performance, through improved flexibility, robustness as well as demonstration feasibility.

现在，最先进的强化学习能够在模拟中学习双皮亚机器人的多功能运动，平衡和推送能力。然而，现实差距大多被忽略了，模拟结果几乎不会转移到真实硬件上。在实践中，它是不成功的，因为物理学过度简化，硬件限制被忽略，或者不能保证规律性，并且可能会发生意外的危险运动。本文提出了一个强化学习框架，该框架能够学习以平稳的开箱即用向现实的转移，仅需要瞬时的本体感受观察，可以学习强大的站立式恢复。通过结合原始的终止条件和政策平滑度调节，我们使用没有记忆力或观察历史的政策实现了稳定的学习，SIM转移和安全性。然后使用奖励成型来提供有关如何保持平衡的见解。我们展示了其在下LIMB医学外骨骼Atalante中的现实表现。

医疗机器人技术可以帮助改善和扩大医疗服务的影响力。医疗机器人的一个主要挑战是机器人与患者之间的复杂物理相互作用是必须安全的。这项工作介绍了基于医疗应用中分形阻抗控制（FIC）的最近引入的控制体系结构的初步评估。部署的FIC体系结构在主机和复制机器人之间延迟很强。它可以在接纳和阻抗行为之间在线切换，并且与非结构化环境的互动是强大的。我们的实验分析了三种情况：远程手术，康复和远程超声扫描。实验不需要对机器人调整进行任何调整，这在操作员没有调整控制器所需的工程背景的医疗应用中至关重要。我们的结果表明，可以使用手术刀进行切割机器人，进行超声扫描并进行远程职业治疗。但是，我们的实验还强调了需要更好的机器人实施例，以精确控制3D动态任务中的系统。