国家估计是许多机器人应用中的重要方面。在这项工作中，我们考虑通过增强状态估计算法中使用的动力学模型来获得机器人系统的准确状态估计的任务。现有的框架，例如移动视野估计（MHE）和无气味的卡尔曼过滤器（UKF），为合并非线性动力学和测量模型提供了灵活性。但是，这意味着这些算法中的动力学模型必须足够准确，以保证状态估计的准确性。为了增强动力学模型并提高估计准确性，我们利用了一个深度学习框架，称为基于知识的神经普通微分方程（KNODES）。 KNODE框架将先验知识嵌入到训练过程中，并通过将先前的第一原理模型与神经普通微分方程（NODE）模型融合来合成精确的混合模型。在我们提出的最新框架中，我们将数据驱动的模型集成到两种基于新型模型的状态估计算法中，它们表示为Knode-Mhe和Knode-UKF。在许多机器人应用中，将这两种算法与它们的常规对应物进行了比较。使用部分测量值，地面机器人的定位以及四型二次估计的状态估计。通过使用现实世界实验数据的模拟和测试，我们证明了所提出的学习增强状态估计框架的多功能性和功效。

在这项工作中，我们考虑使用应用于四逆床控制的模型预测控制（MPC）导出和加入准确动态模型的问题。 MPC依赖于精确的动态模型来实现所需的闭环性能。然而，在复杂系统中存在不确定性以及他们在其运行的环境中的存在在获得对系统动态的充分准确表示方面构成挑战。在这项工作中，我们利用深度学习工具，基于知识的神经常规方程（KNODE），增强了从第一原理获得的模型。由此产生的混合模型包括来自模拟或现实世界实验数据的标称第一原理模型和神经网络。使用四轮压力机，我们将混合模型用于针对最先进的高斯过程（GP）模型，并表明混合模型提供了Quadrotor动态的更准确的预测，并且能够概括超出训练数据。为了提高闭环性能，混合模型集成到新的MPC框架中，称为KNODE-MPC。结果表明，就轨迹跟踪性能而言，综合框架在物理实验中达到了60.2％的仿真和21％以上。

在这项工作中，我们考虑了在线环境中提高模型预测控制（MPC）动态模型准确性的任务。即使可以学习预测模型并将其应用于基于模型的控制器，但这些模型也经常离线学习。在此离线环境中，首先收集培训数据，并通过详细的培训程序来学习预测模型。将模型训练至所需的精度后，然后将其部署到模型预测控制器中。但是，由于模型是离线学习的，因此它不适合部署过程中观察到的干扰或模型错误。为了提高模型和控制器的适应性，我们提出了一个在线动力学学习框架，该框架不断提高部署过程中动态模型的准确性。我们采用基于知识的神经普通微分方程（KNODE）作为动态模型，并使用受转移学习启发的技术来不断提高模型的准确性。我们通过四型机器人证明了框架的功效，并在模拟和物理实验中验证框架。结果表明，所提出的方法能够说明可能段时间变化的干扰，同时保持良好的轨迹跟踪性能。

The performance of inertial navigation systems is largely dependent on the stable flow of external measurements and information to guarantee continuous filter updates and bind the inertial solution drift. Platforms in different operational environments may be prevented at some point from receiving external measurements, thus exposing their navigation solution to drift. Over the years, a wide variety of works have been proposed to overcome this shortcoming, by exploiting knowledge of the system current conditions and turning it into an applicable source of information to update the navigation filter. This paper aims to provide an extensive survey of information aided navigation, broadly classified into direct, indirect, and model aiding. Each approach is described by the notable works that implemented its concept, use cases, relevant state updates, and their corresponding measurement models. By matching the appropriate constraint to a given scenario, one will be able to improve the navigation solution accuracy, compensate for the lost information, and uncover certain internal states, that would otherwise remain unobservable.

估计和对外部干扰的反应对于二次驾驶的稳健飞行控制至关重要。现有的估计器通常需要针对特定​​的飞行方案或具有大量现实世界数据的培训进行重大调整，以实现令人满意的性能。在本文中，我们提出了一个神经移动范围估计器（Neuromhe），该估计量可以自动调整由神经网络建模并适应不同飞行方案的MHE参数。我们通过将MHE估计值的分析梯度推导出相对于可调参数的分析梯度实现这一目标，从而使MHE无缝嵌入作为神经网络中的无缝嵌入以进行高效学习。最有趣的是，我们证明可以从递归形式的卡尔曼过滤器有效地解决梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中训练神经元，而无需进行基础真相干扰。通过在各种具有挑战性的飞行中对四摩特的模拟和物理实验，通过模拟和物理实验对神经元的有效性进行了广泛的验证。值得注意的是，NeuroMhe的表现优于最先进的估计器，仅使用2.5％的参数量，力估计误差降低了49.4％。所提出的方法是一般的，可以应用于其他机器人系统的稳健自适应控制。

对非线性不确定系统的控制是机器人技术领域的常见挑战。非线性潜在力模型结合了以高斯流程为特征的潜在不确定性，具有有效代表此类系统的希望，我们专注于这项工作的控制设计。为了实现设计，我们采用了高斯过程的状态空间表示来重塑非线性潜在力模型，从而建立了同时预测未来状态和不确定性的能力。使用此功能，制定了随机模型预测控制问题。为了得出问题的计算算法，我们使用基于方案的方法来制定随机优化的确定性近似。我们通过基于自动驾驶汽车的运动计划的仿真研究评估了最终方案的模型预测控制方法，该研究表现出很大的有效性。拟议的方法可以在其他各种机器人应用中找到前瞻性使用。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

模型预测控制（MPC）已成为高性能自治系统嵌入式控制的流行框架。但是，为了使用MPC实现良好的控制性能，准确的动力学模型是关键。为了维持实时操作，嵌入式系统上使用的动力学模型仅限于简单的第一原则模型，该模型实质上限制了其代表性。与此类简单模型相反，机器学习方法，特别是神经网络，已被证明可以准确地建模复杂的动态效果，但是它们的较大的计算复杂性阻碍了与快速实时迭代环路的组合。通过这项工作，我们提出了实时神经MPC，这是一个将大型复杂的神经网络体系结构作为动态模型的框架，在模型预测性控制管道中。 ，展示了所描述的系统的功能，可以使用基于梯度的在线优化MPC运行以前不可行的大型建模能力。与在线优化MPC中神经网络的先前实现相比，我们可以利用嵌入式平台上50Hz实时窗口中的4000倍的型号。此外，与没有神经网络动力学的最新MPC方法相比，我们通过将位置跟踪误差降低多达82％，从而显示了对现实世界问题的可行性。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

理想情况下，机器人应该以最大化关于其内部系统和外部操作环境的状态所获得的知识的方式移动。轨迹设计是一个具有挑战性的问题，从各种角度来看，从信息理论分析到基于倾斜的方法。最近，已经提出了基于可观察性的指标来找到能够快速准确的状态和参数估计的轨迹。这些方法的活力和功效尚未在文献中众所周知。在本文中，我们比较了两个最先进的方法，以便可观察性感知轨迹优化，并寻求增加重要的理论澄清和对其整体效力的宝贵讨论。为了评估，我们使用逼真的物理模拟器检查传感器到传感器外部自校准的代表性任务。我们还研究了这些算法的灵敏度，以改变易欣欣传感器测量的信息内容。

准确地建模四极管的系统动力学对于保证敏捷，安全和稳定的导航至关重要。该模型需要在多个飞行机制和操作条件下捕获系统行为，包括产生高度非线性效应的那些，例如空气动力和扭矩，转子相互作用或可能的系统配置修改。经典方法依靠手工制作的模型并努力概括和扩展以捕获这些效果。在本文中，我们介绍了一种新型的物理启发的时间卷积网络（PI-TCN）方法，用于学习四极管的系统动力学，纯粹是从机器人体验中学习的。我们的方法结合了稀疏时间卷积的表达力和密集的进料连接，以进行准确的系统预测。此外，物理限制嵌入了培训过程中，以促进网络对培训分布以外数据的概括功能。最后，我们设计了一种模型预测控制方法，该方法结合了学习的动力学，以完全利用学习范围的方式，以完全利用学习模型预测的准确闭环轨迹跟踪。实验结果表明，我们的方法可以准确地从数据中提取四四光动力学的结构，从而捕获对经典方法隐藏的效果。据我们所知，这是物理启发的深度学习成功地应用于时间卷积网络和系统识别任务，同时同时实现了预测性控制。

物理运动模型为车辆运动提供了可解释的预测。但是，某些模型参数（例如与空气动力学和流体动力学相关的参数）非常昂贵，并且通常仅大致近似降低预测准确性。经常性的神经网络以低成本的价格实现了高预测准确性，因为它们可以使用车辆常规操作期间收集的廉价测量值，但是它们的结果很难解释。为了精确预测车辆状态，没有昂贵的物理参数测量，我们提出了一种混合方法，结合了深度学习和物理运动模型，包括新型的两阶段训练程序。我们通过将深神经网络的输出范围限制为混合模型的一部分来实现可解释性，这将神经网络引入的不确定性限制为已知数量。我们已经评估了船用和四轮运动的用例。结果表明，与现有的深度学习方法相比，我们的混合模型可以提高模型的解释性，而准确性没有降低。

惯性导航系统与全球导航卫星系统之间的融合经常用于许多平台，例如无人机，陆地车辆和船舶船只。融合通常是在基于模型的扩展卡尔曼过滤框架中进行的。过滤器的关键参数之一是过程噪声协方差。它负责实时解决方案的准确性，因为它考虑了车辆动力学不确定性和惯性传感器质量。在大多数情况下，过程噪声被认为是恒定的。然而，由于整个轨迹的车辆动力学和传感器测量变化，过程噪声协方差可能会发生变化。为了应对这种情况，文献中建议了几种基于自适应的Kalman过滤器。在本文中，我们提出了一个混合模型和基于学习的自适应导航过滤器。我们依靠基于模型的Kalman滤波器和设计深神网络模型来调整瞬时系统噪声协方差矩阵，仅基于惯性传感器读数。一旦学习了过程噪声协方差，就可以将其插入建立的基于模型的Kalman滤波器中。在推导了提出的混合框架后，提出了使用四极管的现场实验结果，并给出了与基于模型的自适应方法进行比较。我们表明，所提出的方法在位置误差中获得了25％的改善。此外，提出的混合学习方法可以在任何导航过滤器以及任何相关估计问题中使用。

在本文中，我们提出了一个混合神经网络增强基于物理的建模（APBM）框架，用于贝叶斯非线性潜在空间估计。提出的APBM策略允许在新的操作条件发挥作用时进行模型适应，或者基于物理的模型不足（或不完整）无法正确描述潜在现象。APBM的优点和我们的估计程序是维持估计状态的物理解释性的能力。此外，我们提出了一种约束过滤方法，以控制对整个模型的神经网络贡献。我们还利用假定的密度滤波技术和立方体集成规则，以提出灵活的估计策略，该策略可以轻松处理非线性模型和高维度的潜在空间。最后，我们通过分别利用非线性和不完整的测量和加速模型来利用目标跟踪方案来证明我们的方法论的功效。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

本文介绍了一种新型跟踪滤波器，主要用于在自动表面车辆（ASV）上的碰撞避免系统中使用。所提出的方法利用自动信息系统（AIS）消息传递协议来利用实时运动信息，以估计附近协同目标的位置，速度和标题。使用与源自余弦的球面规律的运动方程，在大地测量坐标中递归地估计每个目标的状态。这改善了先前的方法，其中许多方法采用扩展的卡尔曼滤波器（EKF），因此需要局部平面坐标帧的规范，以便以易于微差形式描述状态运动学。建议的大地电线UKF避免了对该本地飞机的需求。该特征对于远程ASV来说是特别有利的，其必须否则必须定期重新定义新的局部平面来缩短线性化误差。在真实世界的运营中，这种重复的重新定义可以引入错误并使任务规划复杂化。通过模拟和现场测试显示所提出的大地电线UKF以及传统的飞机 - 笛卡尔ekf，无论是在估计误差和稳定性方面的表现还是更好。

在本文中，我们提出了一种基于模型的增强学习（MBRL）算法，称为\ emph {Monte Carlo概率的学习控制}（MC-PILCO）。该算法依赖于高斯流程（GPS）来对系统动力学进行建模以及蒙特卡洛方法以估计策略梯度。这定义了一个框架，在该框架中，我们可以在其中选择以下组件的选择：（i）成本函数的选择，（ii）使用辍学的策略优化，（iii）通过在使用中的结构内核来提高数据效率GP型号。上述方面的组合会极大地影响MC-PILCO的性能。在模拟卡车杆环境中的数值比较表明，MC-PILCO具有更好的数据效率和控制性能W.R.T.最先进的基于GP的MBRL算法。最后，我们将MC-PILCO应用于实际系统，考虑到具有部分可测量状态的特定系统。我们讨论了在策略优化过程中同时建模测量系统和国家估计器的重要性。已在模拟和两个真实系统（Furuta pendulum和一个球形式钻机）中测试了所提出的溶液的有效性。

Effective inclusion of physics-based knowledge into deep neural network models of dynamical systems can greatly improve data efficiency and generalization. Such a-priori knowledge might arise from physical principles (e.g., conservation laws) or from the system's design (e.g., the Jacobian matrix of a robot), even if large portions of the system dynamics remain unknown. We develop a framework to learn dynamics models from trajectory data while incorporating a-priori system knowledge as inductive bias. More specifically, the proposed framework uses physics-based side information to inform the structure of the neural network itself, and to place constraints on the values of the outputs and the internal states of the model. It represents the system's vector field as a composition of known and unknown functions, the latter of which are parametrized by neural networks. The physics-informed constraints are enforced via the augmented Lagrangian method during the model's training. We experimentally demonstrate the benefits of the proposed approach on a variety of dynamical systems -- including a benchmark suite of robotics environments featuring large state spaces, non-linear dynamics, external forces, contact forces, and control inputs. By exploiting a-priori system knowledge during training, the proposed approach learns to predict the system dynamics two orders of magnitude more accurately than a baseline approach that does not include prior knowledge, given the same training dataset.

非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

从教育和研究的角度来看，关于硬件的实验是机器人技术和控制的关键方面。在过去的十年中，已经介绍了许多用于车轮机器人的开源硬件和软件框架，主要采用独轮车和类似汽车的机器人的形式，目的是使更广泛的受众访问机器人并支持控制系统开发。独轮车通常很小且便宜，因此有助于在较大的机队中进行实验，但它们不适合高速运动。类似汽车的机器人更敏捷，但通常更大且更昂贵，因此需要更多的空间和金钱资源。为了弥合这一差距，我们介绍了Chronos，这是一种具有定制开源电子设备的新型汽车的1/28比例机器人，以及CRS是用于控制和机器人技术的开源软件框架。 CRS软件框架包括实施各种最新的算法，以进行控制，估计和多机构协调。通过这项工作，我们旨在更轻松地使用硬件，并减少启动新的教育和研究项目所需的工程时间。