线性动力学系统是具有不确定动态的基于植物学习控制的规范模型。该设置包括一种随机微分方程，其捕获植物的状态演变，而真正的动态矩阵是未知的，并且需要从观察到的状态轨迹的数据学习。一个重要的问题是确保系统稳定，并且由于模型不确定性而稳定并使控制行动被排除在尽快。为此目的的可靠稳定过程可以有效地学习不稳定的数据，以在有限时间内稳定系统的不可用。在这项工作中，我们提出了一种新颖的贝叶斯学习算法，该算法稳定了未知的连续时间随机线性系统。呈现的算法是灵活的，并且在与系统相互作用的显着短时间后暴露有效的稳定性能。

根据线性随机微分方程进化的扩散过程是连续时间动态决策模型的重要家族。最佳政策对它们进行了充分研究，并确定了漂移矩阵。然而，对于不确定的漂移矩阵的扩散过程的数据驱动的控制知之甚少，因为常规离散时间分析技术不适用。此外，尽管该任务可以被视为涉及探索和剥削权衡取舍的强化学习问题，但确保系统稳定性是设计最佳政策的基本组成部分。我们确定流行的汤普森采样算法可以快速学习最佳动作，仅产生了时间根的遗憾，并在短时间内稳定了系统。据我们所知，这是汤普森在扩散过程控制问题中抽样的第一个结果。我们通过从两个飞机和血糖控制的两个设置的实际参数矩阵的经验模拟来验证理论结果。此外，我们观察到，与最先进的算法相比，汤普森采样显着改善（最坏的）遗憾，这表明汤普森采样以一种更加保护的方式探索。我们的理论分析涉及特定的特定最优歧管，该歧管将漂移参数的局部几何形状与扩散过程的最佳控制。我们希望这项技术具有更广泛的兴趣。

基于学习的线性系统控制最近收到了大量的注意。在流行的设置中，真正的动态模型对决策者未知，并且需要通过将控制输入应用于系统来交互式学习。与用于自适应控制单个系统的有效加强学习政策的成熟文献不同，目前没有导致多个系统的联合学习的结果。特别是，快速可靠的关节稳定化的重要问题仍然是唯一的，因此这项工作的重点是唯一的。我们提出了一种新颖的基于联合学习的稳定算法，用于从不稳定状态轨迹的数据中快速地学习所有系统的稳定政策。所提出的程序被认为是显着有效的，使得它在极短的时间段内稳定动力系统系列。

这项工作研究了无处不在的强化学习政策的理论绩效保证，用于控制随机线性季节系统的规范模型。我们表明，随机确定性等效策略解决了探索 - 开发困境，以最大程度地减少根据随机微分方程进化的线性动力学系统中的二次成本。更确切地说，我们建立了时间段的正方形遗憾界限，表明随机确定性等效策略可以从单个状态轨迹中快速学习最佳控制动作。此外，显示了与参数数量的线性缩放。提出的分析介绍了新颖而有用的技术方法，并阐明了连续时间增强学习的基本挑战。

学习线性时间不变动态系统（LTID）的参数是当前兴趣的问题。在许多应用程序中，人们有兴趣联合学习多个相关LTID的参数，这仍然是未探究的日期。为此，我们开发一个联合估计器，用于学习共享常见基矩阵的LTID的过渡矩阵。此外，我们建立有限时间误差界限，取决于底层的样本大小，维度，任务数和转换矩阵的光谱属性。结果是在轻度规律假设下获得的，并在单独学习每个系统的比较中，展示从LTID的汇集信息汇总信息。我们还研究了错过过渡矩阵的联合结构的影响，并显示成立的结果在适度误操作的存在下是强大的。

这项教程调查概述了统计学习理论中最新的非征血性进步与控制和系统识别相关。尽管在所有控制领域都取得了重大进展，但在线性系统的识别和学习线性二次调节器时，该理论是最发达的，这是本手稿的重点。从理论的角度来看，这些进步的大部分劳动都在适应现代高维统计和学习理论的工具。虽然与控制对机器学习的工具感兴趣的理论家高度相关，但基础材料并不总是容易访问。为了解决这个问题，我们提供了相关材料的独立介绍，概述了基于最新结果的所有关键思想和技术机械。我们还提出了许多开放问题和未来的方向。

背景多武装匪徒是加强学习的经典模型，用于与个别信息相关联的顺序决策。用于匪徒的广泛使用的策略是汤普森采样，其中来自数据驱动的概率信念关于未知参数的样本用于选择控制动作。对于这种计算快速算法，性能分析可在完整的上下文中提供。然而，对于未完全观察到的问题，众所周知。我们提出了汤普森采样算法，用于部分可观察到的上下文多武装匪，并建立理论性能保证。从技术上讲，我们表明，所呈现的策略的遗憾与时间和臂的数量和尺寸线性缩放。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。

本文考虑了线性二次双控制问题，其中需要识别系统参数，并且需要在该时期优化控制目标。与现有的数据驱动线性二次调节相反，这通常在某种概率内提供错误或后悔界限，我们提出了一种在线算法，可以在几乎肯定的意义上保证控制器的渐近最优性。我们的双重控制策略由两部分组成：基于勘探噪声和系统输出之间的互相关，具有时间衰减探索噪声和Markov参数推断的交换控制器。当实际状态显着地从目标状态偏离时，几乎肯定的性能保证是一个安全的交换控制策略，其返回到已知的保守但稳定的控制器。我们证明，此切换策略规定了从应用中的任何潜在的稳定控制器，而我们的交换策略与最佳线性状态反馈之间的性能差距是指数较小的。在我们的双控制方案下，参数推理误差尺度为$ O（t ^ {-1 / 4 + \ epsilon}）$，而控制性能的子优相差距为$ o（t ^ { - 1/2 + \ epsilon}）$，$ t $是时间步数，$ \ epsilon $是一个任意小的正数。提供了工业过程示例的仿真结果，以说明我们提出的策略的有效性。

我们研究有限的时间范围连续时间线性季节增强学习问题，在情节环境中，控制器的状态和控制系数都不清楚。我们首先提出了基于连续时间观察和控件的最小二乘算法，并建立对数的对数遗憾，以$ o（（\ ln m）（\ ln \ ln m））$，$ m $是数字学习情节。该分析由两个部分组成：扰动分析，这些分析利用了相关的riccati微分方程的规律性和鲁棒性；和参数估计误差，依赖于连续的最小二乘估计器的亚指数属性。我们进一步提出了一种基于离散时间观察和分段恒定控制的实际实现最小二乘算法，该算法根据算法中使用的时间步骤明确地取决于额外的术语，从而实现相似的对数后悔。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

概率模型（例如高斯流程（GPS））是从数据中学习未知动态系统的强大工具，以供随后在控制设计中使用。尽管基于学习的控制有可能在苛刻的应用中产生卓越的性能，但对不确定性的鲁棒性仍然是一个重要的挑战。由于贝叶斯方法量化了学习结果的不确定性，因此自然地将这些不确定性纳入强大的设计。与大多数考虑最坏情况估计值的最先进的方法相反，我们利用了学习方法在控制器合成中的后验分布。结果是性能和稳健性之间更加明智的，因此更有效的权衡。我们提出了一种新型的控制器合成，用于线性化的GP动力学，该动力学相对于概率稳定性缘就产生了可靠的控制器。该公式基于最近提出的线性二次控制综合算法，我们通过提供概率的鲁棒性来保证该系统的稳定性以可信度的范围为系统的稳定性范围，以基于最差的方法和确定性设计的现有方法的稳定性范围。提出方法的性能和鲁棒性。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

贝叶斯推理允许在贝叶斯神经网络的上下文中获取有关模型参数的有用信息，或者在贝叶斯神经网络的背景下。通常的Monte Carlo方法的计算成本，用于在贝叶斯推理中对贝叶斯推理的后验法律进行线性点的数量与数据点的数量进行线性。将其降低到这一成本的一小部分的一种选择是使用Langevin动态的未经调整的离散化来诉诸Mini-Batching，在这种情况下，只使用数据的随机分数来估计梯度。然而，这导致动态中的额外噪声，因此在马尔可夫链采样的不变度量上的偏差。我们倡导使用所谓的自适应Langevin动态，这是一种改进标准惯性Langevin动态，其动态摩擦力，可自动校正迷你批次引起的增加的噪声。我们调查假设适应性Langevin的假设（恒定协方差估计梯度的恒定协方差），这在贝叶斯推理的典型模型中不满足，并在这种情况下量化小型匹配诱导的偏差。我们还展示了如何扩展ADL，以便通过考虑根据参数的当前值来系统地减少后部分布的偏置。

汤普森采样（TS）是在不确定性下进行决策的有效方法，其中从精心规定的分布中采样了动作，该分布根据观察到的数据进行更新。在这项工作中，我们研究了使用TS的可稳定线性季度调节剂（LQR）自适应控制的问题，其中系统动力学是未知的。先前的作品已经确定，$ \ tilde o（\ sqrt {t}）$频繁的遗憾对于LQR的自适应控制是最佳的。但是，现有方法要么仅在限制性设置中起作用，需要先验已知的稳定控制器，要么使用计算上棘手的方法。我们提出了一种有效的TS算法，用于对LQR的自适应控制，TS基于TS的自适应控制，TSAC，该算法达到了$ \ tilde o（\ sqrt {t}）$遗憾，即使对于多维系统和Lazaric（2018）。 TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效探索环境来实现基础系统的快速稳定。我们的结果取决于开发新颖的下限TS提供乐观样本的概率。通过仔细规定早期的探索策略和政策更新规则，我们表明TS在适应性控制多维可稳定性LQR方面实现了最佳的遗憾。我们从经验上证明了TSAC在几个自适应控制任务中的性能和效率。

非线性自适应控制理论中的一个关键假设是系统的不确定性可以在一组已知基本函数的线性跨度中表示。虽然该假设导致有效的算法，但它将应用限制为非常特定的系统类别。我们介绍一种新的非参数自适应算法，其在参数上学习无限尺寸密度，以取消再现内核希尔伯特空间中的未知干扰。令人惊讶的是，所产生的控制输入承认，尽管其底层无限尺寸结构，但是尽管它的潜在无限尺寸结构实现了其实施的分析表达。虽然这种自适应输入具有丰富和富有敏感性的 - 例如，传统的线性参数化 - 其计算复杂性随时间线性增长，使其比其参数对应力相对较高。利用随机傅里叶特征的理论，我们提供了一种有效的随机实现，该实现恢复了经典参数方法的复杂性，同时可透明地保留非参数输入的表征性。特别地，我们的显式范围仅取决于系统的基础参数，允许我们所提出的算法有效地缩放到高维系统。作为该方法的说明，我们展示了随机近似算法学习由牛顿重力交互的十点批量组成的60维系统的预测模型的能力。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.