我们为具有有界过程和测量噪声的未知线性系统模型提供了一种强大的数据驱动控制方案。不取决于传统预测控制中的系统模型，提出了利用数据驱动的可达区域的控制器。数据驱动的可到达区域基于矩阵Zonotope递归，并且基于仅系统的轨迹的噪声输入输出数据来计算。我们假设测量和过程噪声包含在有界集中。虽然我们承担了这些界限的知识，但假设了关于噪声的统计特性的知识。在无噪声情况下，我们证明所呈现的纯粹数据驱动的控制方案导致等效的闭环行为到标称模型预测控制方案。在测量和过程噪声的情况下，我们提出的方案保证了强大的约束满足感，这在安全关键型应用中至关重要。数值实验表明了所提出的数据驱动控制器与基于模型的控制方案相比的有效性。

我们试图将广泛的神经网络的非线性建模功能与模型预测控制（MPC）的安全保证相结合，并在严格的在线计算框架中。可以使用Koopman运算符捕获所考虑的网络类，并将其集成到基于Koopman的跟踪MPC（KTMPC）中，以用于非线性系统以跟踪分段常数引用。原始非线性动力学与其训练有素的Koopman线性模型之间模型不匹配的影响是通过在建议的跟踪MPC策略中使用约束拧紧方法来处理的。通过选择两个Lyapunov候选功能，我们证明解决方案是可行的，并且在存在有限的建模错误的情况下，在线和离线最佳可触发稳定输出均具有稳定的输入到状态。最后，我们展示了一个数值示例的结果以及自动地面车辆在跟踪给定参考文献中的应用。

本文提出了一类具有多项式非线性的非线性系统的基于数据驱动的集基估计算法。使用系统的输入输出数据，所提出的方法实时计算，保证包含系统状态的集合。尽管假设系统是多项式类型，但不需要知道精确的多项式函数及其系数。为此，估算器依赖于离线和在线阶段。离线阶段利用过去的输入输出数据来估计多项式系统的一组可能的系数。然后，使用该估计的系数和关于系统的侧面信息，在线阶段提供了对状态的集合估计。最后，通过其对SIR（易感，受感染的）的流行病模型的应用来评估所提出的方法。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

我们开发了一种新型的可区分预测控制（DPC），并根据控制屏障功能确保安全性和鲁棒性保证。DPC是一种基于学习的方法，用于获得近似解决方案，以解决明确的模型预测控制（MPC）问题。在DPC中，通过自动分化MPC问题获得的直接策略梯度，通过直接策略梯度进行了脱机优化的预测控制策略。所提出的方法利用了一种新形式的采样数据屏障功能，以在DPC设置中执行离线和在线安全要求，同时仅中断安全集合边界附近的基于神经网络的控制器。在模拟中证明了拟议方法的有效性。

在最近的文献中，学习方法与模型预测控制（MPC）的结合吸引了大量关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速开发的机器学习和强化学习工具，以利用许多系统可用的数据量。特别是，增强学习和MPC的结合已被认为是一种可行且理论上合理的方法，以引入可解释的，安全和稳定的政策，以实现强化学习。但是，一种正式的理论详细介绍了如何通过学习工具提供的参数更新来维持基于MPC的策略的安全性和稳定性。本文解决了这一差距。该理论是针对通用的强大MPC案例开发的，并在基于强大的管线MPC情况的模拟中应用，在该情况下，该理论在实践中很容易部署。本文着重于增强学习作为学习工具，但它适用于任何在线更新MPC参数的学习方法。

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

在本文中，提出了显式线性模型预测控制（MPC）的分离和结合晶格分段仿射（PWA）。训练数据是在感兴趣的领域均匀生成的，由状态样本和相应的仿射控制定律组成，基于晶格PWA近似值。还提出了对数据的重新采样，以确保晶格PWA近似与包含样品点作为内部点的唯一顺序（UO）区域相同。另外，在轻度假设下，两个晶格PWA的等效性确保了感兴趣域中的近似值无错误。提出了针对显式线性MPC的无统计误差近似的算法，并分析了整个过程的复杂性，这是相对于样品数量的多项式。通过两个仿真示例测试了所提出的近似策略的性能，结果表明，有了适量的样品点，我们可以构造与显式线性MPC的最佳控制法相等的晶格PWA近似值。

我们在非常严重的数据限制下开发一种基于学习的动态系统的控制算法。具体地，该算法只能从单个和正在进行的试验中访问流和嘈杂的数据。它通过有效地利用有关动力学的各种形式的侧面信息来实现这种性能，以降低样本复杂性。这些侧面信息通常来自系统的基本定律和系统的定性特性。更确切地说，该算法大致解决了编码系统所需行为的最佳控制问题。为此，它构建并迭代地改进数据驱动的差分包容，其包含动态的未知矢量字段。在间隔泰勒的方法中使用的差分包容使得能够过度近似于系统可能达到的状态。从理论上讲，我们在具有已知动态的最佳控制的最佳控制的近似解的次优化上建立了界限。我们展示了试验或更侧面信息的时间越长，界限更严格。凭经验，在高保真F-16飞机模拟器和Mujoco的环境中的实验说明，尽管数据稀缺，但算法可以提供与培训数百万环境相互作用的增强学习算法相当的性能。此外，我们表明该算法优于系统识别和模型预测控制的现有技术。

本文旨在讨论和分析控制设计应用中经常性神经网络（RNN）的潜力。考虑RNN的主要系列，即神经非线性自回归外源，（NNARX），回波状态网络（ESN），长短短期存储器（LSTM）和门控复发单元（GRU）。目标是双重。首先，为了调查近期RNN培训的结果，可以享受输入到状态稳定性（ISS）和增量输入到状态稳定性（{\ delta} ISS）保证。其次，讨论仍然阻碍RNN进行控制的问题，即它们的鲁棒性，核算和解释性。前者属性与网络的所谓概括能力有关，即即使在视野或扰动的输入轨迹存在下，它们与底层真实植物的一致性。后者与在RNN模型和植物之间提供明确的正式连接的可能性有关。在这种情况下，我们说明了Iss和{\ delta} ISS如何朝着RNN模型的稳健性和可验证代表重大步骤，而可解释性的要求铺平了基于物理的网络的使用方式。还简要讨论了植物模型的模型预测控制器的设计。最后，在模拟化学体系上说明了本文的一些主要话题。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

从数据稳定动力学系统的数据中学习控制器通常遵循首先识别模型然后基于确定模型构建控制器的两步过程。但是，学习模型意味着确定系统动力学的通用描述，这些描述可能需要大量数据并提取对稳定的特定任务不必要的信息。这项工作的贡献是表明，如果线性动力学系统具有尺寸（McMillan学位）$ n $，那么总是存在$ n $状态，可以从中构建稳定反馈控制器，而与表示的尺寸无关观察到的状态和输入的数量。通过基于先前的工作，这一发现意味着，与学习动力学模型所需的最少状态相比，观察到的状态较少的任何线性动力系统都可以稳定。通过数值实验证明了理论发现，这些实验表明了圆柱体后面的流动稳定，从学习模型的数据少于数据。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

强化学习（RL）和连续的非线性控制已成功部署在复杂的顺序决策任务的多个领域中。但是，鉴于学习过程的探索性质和模型不确定性的存在，由于缺乏安全保证，将它们应用于安全至关重要的控制任务是一项挑战。另一方面，尽管将控制理论方法与学习算法相结合，但在安全RL应用中显示了希望，但安全数据收集过程的样本效率尚未得到很好的解决。在本文中，我们提出了一个\ emph {可证明的}示例有效的情节安全学习框架，用于在线控制任务，以利用未知的非线性动力学系统来利用安全的探索和剥削。特别是，框架1）在随机设置中扩展控制屏障功能（CBF），以在模型学习过程中实现可证明的高概率安全性，2）整合基于乐观的探索策略，以有效地将安全探索过程与学习的动态有效地指导安全探索过程对于\ emph {接近最佳}控制性能。我们对与理论保证的最佳控制器和概率安全性的偶发性遗憾进行了正式分析。提供了仿真结果以证明所提出算法的有效性和效率。

在本文中，建议基于MPC的准滑动模式控制（QSMC），用于具有外部干扰的约束连续时间非线性系统。MPC问题与QSMC的设计有关，以生成控制输入，该输入可以模仿QSMC的控制过程并保证状态和输入约束的满意度。同时，重建了MPC问题的成本函数，其中基于MPC的QSMC可以通过调整权重参数来显示更好的收敛速率。最后，提供了一个模拟案例，以降级拟议方法的有效性。

With the continued integration of autonomous vehicles (AVs) into public roads, a mixed traffic environment with large-scale human-driven vehicles (HVs) and AVs interactions is imminent. In challenging traffic scenarios, such as emergency braking, it is crucial to account for the reactive and uncertain behavior of HVs when developing control strategies for AVs. This paper studies the safe control of a platoon of AVs interacting with a human-driven vehicle in longitudinal car-following scenarios. We first propose the use of a model that combines a first-principles model (nominal model) with a Gaussian process (GP) learning-based component for predicting behaviors of the human-driven vehicle when it interacts with AVs. The modeling accuracy of the proposed method shows a $9\%$ reduction in root mean square error (RMSE) in predicting a HV's velocity compared to the nominal model. Exploiting the properties of this model, we design a model predictive control (MPC) strategy for a platoon of AVs to ensure a safe distance between each vehicle, as well as a (probabilistic) safety of the human-driven car following the platoon. Compared to a baseline MPC that uses only a nominal model for HVs, our method achieves better velocity-tracking performance for the autonomous vehicle platoon and more robust constraint satisfaction control for a platoon of mixed vehicles system. Simulation studies demonstrate a $4.2\%$ decrease in the control cost and an approximate $1m$ increase in the minimum distance between autonomous and human-driven vehicles to better guarantee safety in challenging traffic scenarios.

本文介绍了非线性MPC控制器的设计，该设计为通过神经非线性自动回归外源性（NNARX）网络描述的模型提供无抵销的设定值跟踪。 NNARX模型是从工厂收集的输入输出数据中标识的，并且可以通过过去的输入和输出变量为已知的可测量状态给出状态空间表示，因此不需要状态观察者。在训练阶段，与工厂行为一致时，可以强制强制强制输入到国家稳定性（{\ delta} ISS）属性。然后，利用{\ delta} ISS属性在输出跟踪误差上采取明确的积分操作来增强模型，从而可以实现为设计的控制方案实现无抵销的跟踪功能。在水加热系统上进行了数值测试，并将所达到的结果与另一种流行的无偏移MPC方法评分的结果进行了数值测试，这表明即使在植物上作用着骚动，提出的方案也达到了显着的性能。

模型预测控制（MPC）表明了控制诸如腿机器人等复杂系统的巨大成功。然而，在关闭循环时，在每个控制周期解决的有限范围最佳控制问题（OCP）的性能和可行性不再保证。这是由于模型差异，低级控制器，不确定性和传感器噪声的影响。为了解决这些问题，我们提出了一种修改版本，该版本的标准MPC方法用于带有活力的腿运动（弱向不变性）保证。在这种方法中，代替向问题添加（保守）终端约束，我们建议使用投影到在每个控制周期的OCP中的可行性内核中投影的测量状态。此外，我们使用过去的实验数据来找到最佳成本重量，该重量测量性能，约束满足鲁棒性或稳定性（不变性）的组合。这些可解释的成本衡量了稳健性和性能之间的贸易。为此目的，我们使用贝叶斯优化（BO）系统地设计实验，有助于有效地收集数据以了解导致强大性能的成本函数。我们的模拟结果具有不同的现实干扰（即外部推动，未铭出的执行器动态和计算延迟）表明了我们为人形机器人创造了强大的控制器的方法的有效性。