Over-approximating the reachable sets of dynamical systems is a fundamental problem in safety verification and robust control synthesis. The representation of these sets is a key factor that affects the computational complexity and the approximation error. In this paper, we develop a new approach for over-approximating the reachable sets of neural network dynamical systems using adaptive template polytopes. We use the singular value decomposition of linear layers along with the shape of the activation functions to adapt the geometry of the polytopes at each time step to the geometry of the true reachable sets. We then propose a branch-and-bound method to compute accurate over-approximations of the reachable sets by the inferred templates. We illustrate the utility of the proposed approach in the reachability analysis of linear systems driven by neural network controllers.

安全至关重要的应用中神经网络（NNS）的患病率的增加，要求采用证明安全行为的方法。本文提出了一种向后的可及性方法，以安全验证神经反馈循环（NFLS），即具有NN控制策略的闭环系统。尽管最近的作品集中在远程达到NFL的安全认证策略上，但落后性能比远期策略具有优势，尤其是在避免障碍的情况下。先前的工作已经开发了用于无NNS系统的向后可及性分析的技术，但是由于其激活功能的非线性，反馈回路中的NNS存在唯一的问题，并且由于NN模型通常不可逆转。为了克服这些挑战，我们使用现有的NN分析工具有效地找到了对反射（BP）集的过度评估，即NN控制策略将将系统驱动到给定目标集的状态集。我们介绍了用于计算以馈电NN表示的控制策略的线性和非线性系统的BP过度评估的框架，并提出了计算有效的策略。我们使用各种模型的数值结果来展示所提出的算法，包括6D系统的安全认证。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

我们研究了具有神经网络控制器（NNC）的闭环动态系统的验证问题。此问题通常还原为计算可达状态集。在考虑动态系统和神经网络的隔离时，基于分别称为泰勒模型和Zonotopes的集合表示，该任务存在精确的方法。然而，这些方法对NNC的组合是非微不足道的，因为当在集合表示之间转换时，依赖性信息在每个控制周期中丢失，并且累积的近似误差快速使结果呈现。我们提出了一种基于泰勒模型和ZONotopes的链接近算法，得到了NNC的精确可达性算法。因为该算法仅在孤立方法的界面上起作用，所以适用于一般动态系统和神经网络，可以从这些领域的未来进展中受益。我们的实施提供了最先进的绩效，是第一个成功分析NNC年可达性竞争的所有基准问题。

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

我们提出了一种新的方法，可以通过具有relu，sigmoid或双曲线切线激活功能的神经网络有效地计算图像的紧密非凸面。特别是，我们通过多项式近似来抽象每个神经元的输入输出关系，该近似是使用多项式界定的基于设定的方式进行评估的。我们提出的方法特别适合于对神经网络控制系统的可及性分析，因为多项式地位型能够捕获两者中的非共鸣性，通过神经网络以及可触及的集合。与各种基准系统上的其他最新方法相比，我们证明了方法的卓越性能。

在本文中，我们考虑了由整流的线性单元（RELU）两级晶格（TLL）神经网络（NN）控制器控制的线性时间不变（LTI）系统的可触时集合的计算复杂性。特别是，我们表明，对于这样的系统和控制器，可以按照TLL NN控制器的大小（神经元数）的大小计算多项式时间的确切一步设置。此外，我们表明可以通过两种多项式时间方法获得可触及设置的紧密边界框：一个在TLL的大小中具有多项式复杂性，另一个具有控制器和其他的Lipschitz常数中的多项式复杂性问题参数。至关重要的是，可以在多项式时间内确定两者中的较小，对于非脱位tll nns。最后，我们提出了一种务实的算法，该算法将（半）确切可及性和近似可达性的好处（我们称为L-tllbox）结合在一起。我们通过经验比较与最先进的NN控制器可及性工具一起评估L-Tllbox。在这些实验中，L-TLLBox能够在同一网络/系统上的该工具快5000倍，同时生产到区域面积的0.08至1.42倍的范围。

在这项工作中，我们分析了一种高效的采样算法，用于通用可达性分析，这仍然是一种令人难度的挑战性问题，其应用范围从神经网络验证到动态系统的安全分析。通过采样输入，评估其在真正可到达的集合中的图像，并将其$ \ epsilon $ -padded凸壳作为集合估计器，该算法适用于一般问题设置，易于实现。我们主要贡献是使用随机集理论的渐近和有限样本精度保证的推导。该分析通知算法设计以获得$ \ epsilon $-close达到的近似值，具有很高的概率，提供了可达性问题最具挑战性的洞察力，并激励了该技术的安全关键应用。在神经网络验证任务上，我们表明这种方法比现有工作更准确，明显更快。我们的分析知情，我们还设计了一种强大的模型预测控制器，我们在硬件实验中展示。

分析深神经网络对输入扰动的最坏情况的性能等于解决一个大规模的非凸优化问题，过去的几项工作提出了凸出的放松作为有希望的替代方案。但是，即使对于合理的神经网络，这些放松也无法处理，因此必须在实践中被较弱的放松所取代。在这项工作中，我们提出了一种新型的操作员分裂方法，该方法可以将问题直接解决至高精度的凸松弛，从而将其拆分为经常具有分析溶液的较小的子问题。该方法是模块化的，范围为非常大的问题实例，并损害了与GPU加速的快速并行化的操作。我们展示了我们在图像分类和强化学习设置以及神经网络动力学系统的可及性分析中界定大型卷积网络最差的方法的方法。

我们提出了Polar，A \ textbf {pol} ynomial \ textbf {ar} iThmetic框架，该框架利用多项式过度应用与间隔剩余的剩余，以进行界限时间到达的到达时间到达，对神经网络控制系统（NNCSS）的界限到达。与使用标准泰勒模型的现有算术方法相比，我们的框架使用一种新颖的方法来迭代过度陈化神经元的输出范围逐层范围均与伯恩斯坦多项式插值的组合，用于连续激活功能和其他操作的泰勒模型。这种方法可以克服标准泰勒模型算术中的主要缺点，即无法处理泰勒多项式无法很好地近似的功能，并显着提高了NNCS的可及状态计算的准确性和效率。为了进一步拧紧过度应用，我们的方法在估计神经网络的输出范围时，将泰勒模型保持在线性映射下的象征性。我们表明，极性可以与现有的泰勒模型流管构造技术无缝集成，并证明极性在一组基准测试套件上明显优于当前最新技术。

在安全关键设置中运行的自治系统的控制器必须考虑随机扰动。这种干扰通常被建模为过程噪声，并且常见的假设是底层分布是已知的和/或高斯的。然而，在实践中，这些假设可能是不现实的并且可以导致真正噪声分布的近似值。我们提出了一种新的规划方法，不依赖于噪声分布的任何明确表示。特别是，我们解决了计算控制器的控制器，该控制器提供了安全地到达目标的概率保证。首先，我们将连续系统摘要进入一个离散状态模型，通过状态之间的概率转换捕获噪声。作为关键贡献，我们根据噪声的有限数量的样本来调整这些过渡概率的方案方法中的工具。我们在所谓的间隔马尔可夫决策过程（IMDP）的转换概率间隔中捕获这些界限。该IMDP在过渡概率中的不确定性稳健，并且可以通过样本的数量来控制概率间隔的紧张性。我们使用最先进的验证技术在IMDP上提供保证，并计算这些保证对自主系统的控制器。即使IMDP有数百万个州或过渡，也表明了我们方法的实际适用性。

我们介绍了一种新的随机验证算法，该算法正式地定量了配制成连续深度模型的任何连续过程的行为稳健性。我们的算法在给定的时间范围内解决了一组全局优化（GO）问题，以构造从初始状态的球开始的所有处理执行集的紧密机箱（管）。我们称我们的算法GoTube。通过其结构，GoTube确保边界管保守达到所需的概率和最高的紧密性。 GoTube以JAX实现，并优化以扩展到复杂的连续深度神经网络模型。与用于时间持续神经网络的高级可达性分析工具相比，GoTube不会在时间步骤之间积累过度估计误差，并避免符号技术中固有的臭名昭着包装效果。我们展示了GOTUBE在初始球，速度，时间 - 地平线，任务完成和大量实验中的可扩展性方面表现出最先进的验证工具。 GOTUBE是稳定的，并在其能够扩展到以前可能的视野的能力方面来设置最先进的。

我们研究了由测量和过程噪声引起的不确定性的动态系统的规划问题。测量噪声导致系统状态可观察性有限，并且过程噪声在给定控制的结果中导致不确定性。问题是找到一个控制器，保证系统在有限时间内达到所需的目标状态，同时避免障碍物，至少需要一些所需的概率。由于噪音，此问题不承认一般的精确算法或闭合性解决方案。我们的主要贡献是一种新颖的规划方案，采用卡尔曼滤波作为状态估计器，以获得动态系统的有限状态抽象，我们将作为马尔可夫决策过程（MDP）正式化。通过延长概率间隔的MDP，我们可以增强模型对近似过渡概率的数值不精确的鲁棒性。对于这种所谓的间隔MDP（IMDP），我们采用最先进的验证技术来有效地计算最大化目标状态概率的计划。我们展示了抽象的正确性，并提供了几种优化，旨在平衡计划的质量和方法的可扩展性。我们展示我们的方法能够处理具有6维状态的系统，该系统导致具有数万个状态和数百万个过渡的IMDP。

基于基于不完整的神经网络验证如冠的绑定传播非常有效，可以显着加速基于神经网络的分支和绑定（BAB）。然而，绑定的传播不能完全处理由昂贵的线性编程（LP）求解器的BAB常规引入的神经元分割限制，导致界限和损伤验证效率。在这项工作中，我们开发了一种基于$ \ beta $ -cra所做的，一种基于新的绑定传播方法，可以通过从原始或双空间构造的可优化参数$ \ beta $完全编码神经元分割。当在中间层中联合优化时，$ \ Beta $ -CROWN通常会产生比具有神经元分裂约束的典型LP验证更好的界限，同时像GPU上的皇冠一样高效且并行化。适用于完全稳健的验证基准，使用BAB的$ \ Beta $ -CROWN比基于LP的BAB方法快三个数量级，并且比所有现有方法更快，同时产生较低的超时率。通过早期终止BAB，我们的方法也可用于有效的不完整验证。与强大的不完整验证者相比，我们始终如一地在许多设置中获得更高的验证准确性，包括基于凸屏障破碎技术的验证技术。与最严重但非常昂贵的Semidefinite编程（SDP）的不完整验证者相比，我们获得了更高的验证精度，验证时间较少三个级。我们的算法授权$ \ alpha，\ \β$ -craft（Alpha-Beta-Crown）验证者，VNN-Comp 2021中的获胜工具。我们的代码可在http://papercode.cc/betacrown提供

数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今，可以准确预测复杂系统，例如天气，疾病模型或股市。预测方法通常被宣传为对控制有用，但是由于系统的复杂性，较大的数据集的需求以及增加的建模工作，这些细节经常没有得到解答。换句话说，自治系统的替代建模比控制系统要容易得多。在本文中，我们介绍了Quasimodo框架（量化模拟模拟模拟 - 优化），以将任意预测模型转换为控制系统，从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是，我们通过自动化动力学（产生混合企业控制问题）来贸易控制效率，以获取任意，即使用的自主替代建模技术。然后，我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加，性能保证仅依赖于使用的预测模型的准确性，而控制理论中的知识知识要求很少来解决复杂的控制问题。

随着深度学习在关键任务系统中的越来越多的应用，越来越需要对神经网络的行为进行正式保证。确实，最近提出了许多用于验证神经网络的方法，但是这些方法通常以有限的可伸缩性或不足的精度而挣扎。许多最先进的验证方案中的关键组成部分是在网络中可以为特定输入域获得的神经元获得的值计算下限和上限 - 并且这些界限更紧密，验证的可能性越大，验证的可能性就越大。成功。计算这些边界的许多常见算法是符号结合传播方法的变化。其中，利用一种称为后替代的过程的方法特别成功。在本文中，我们提出了一种使背部替代产生更严格的界限的方法。为了实现这一目标，我们制定并最大程度地减少背部固定过程中发生的不精确错误。我们的技术是一般的，从某种意义上说，它可以将其集成到许多现有的符号结合的传播技术中，并且只有较小的修改。我们将方法作为概念验证工具实施，并且与执行背部替代的最先进的验证者相比，取得了有利的结果。

我们为具有有界过程和测量噪声的未知线性系统模型提供了一种强大的数据驱动控制方案。不取决于传统预测控制中的系统模型，提出了利用数据驱动的可达区域的控制器。数据驱动的可到达区域基于矩阵Zonotope递归，并且基于仅系统的轨迹的噪声输入输出数据来计算。我们假设测量和过程噪声包含在有界集中。虽然我们承担了这些界限的知识，但假设了关于噪声的统计特性的知识。在无噪声情况下，我们证明所呈现的纯粹数据驱动的控制方案导致等效的闭环行为到标称模型预测控制方案。在测量和过程噪声的情况下，我们提出的方案保证了强大的约束满足感，这在安全关键型应用中至关重要。数值实验表明了所提出的数据驱动控制器与基于模型的控制方案相比的有效性。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

本文介绍了OptNet，该网络架构集成了优化问题（这里，专门以二次程序的形式），作为较大端到端可训练的深网络中的单个层。这些层在隐藏状态之间编码约束和复杂依赖性，传统的卷积和完全连接的层通常无法捕获。我们探索这种架构的基础：我们展示了如何使用敏感性分析，彼得优化和隐式差分的技术如何通过这些层和相对于层参数精确地区分;我们为这些层开发了一种高效的解算器，用于利用基于GPU的基于GPU的批处理在原始 - 双内部点法中解决，并且在求解的顶部几乎没有额外的成本提供了反向衰减梯度;我们突出了这些方法在几个问题中的应用。在一个值得注意的示例中，该方法学习仅在输入和输出游戏中播放Mini-sudoku（4x4），没有关于游戏规则的a-priori信息;这突出了OptNet比其他神经架构更好地学习硬限制的能力。