在本文中，我们考虑了由整流的线性单元（RELU）两级晶格（TLL）神经网络（NN）控制器控制的线性时间不变（LTI）系统的可触时集合的计算复杂性。特别是，我们表明，对于这样的系统和控制器，可以按照TLL NN控制器的大小（神经元数）的大小计算多项式时间的确切一步设置。此外，我们表明可以通过两种多项式时间方法获得可触及设置的紧密边界框：一个在TLL的大小中具有多项式复杂性，另一个具有控制器和其他的Lipschitz常数中的多项式复杂性问题参数。至关重要的是，可以在多项式时间内确定两者中的较小，对于非脱位tll nns。最后，我们提出了一种务实的算法，该算法将（半）确切可及性和近似可达性的好处（我们称为L-tllbox）结合在一起。我们通过经验比较与最先进的NN控制器可及性工具一起评估L-Tllbox。在这些实验中，L-TLLBox能够在同一网络/系统上的该工具快5000倍，同时生产到区域面积的0.08至1.42倍的范围。

在本文中，我们介绍了两级晶格神经网络（FAST BATLLLNN）的刀具快速箱分析，作为两级格子（TLL）神经网络（NNS）的盒状输出约束的快速验证器。特别地，快速Batllnn可以验证给定TLL NN的输出是否始终在指定的超矩形内呈现，只要其输入约束到指定的凸多特级（不一定是超矩形）。 FAST BATLLNN使用TLL架构的唯一语义和盒状输出约束的解耦性质，从而显着提高具有通用多粒输出约束的TLL的已知多项式验证算法的验证性能。在本文中，我们评估了快速Batllnn的性能和可扩展性，无论是自身的权利，也与应用于TLL NNS的最先进的NN Verifers相比。快速的Batllnn比较最快的NN Verifiers非常有利地比较，完成我们的合成TLL测试台超过400倍，而不是最近的竞争对手。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

安全至关重要的应用中神经网络（NNS）的患病率的增加，要求采用证明安全行为的方法。本文提出了一种向后的可及性方法，以安全验证神经反馈循环（NFLS），即具有NN控制策略的闭环系统。尽管最近的作品集中在远程达到NFL的安全认证策略上，但落后性能比远期策略具有优势，尤其是在避免障碍的情况下。先前的工作已经开发了用于无NNS系统的向后可及性分析的技术，但是由于其激活功能的非线性，反馈回路中的NNS存在唯一的问题，并且由于NN模型通常不可逆转。为了克服这些挑战，我们使用现有的NN分析工具有效地找到了对反射（BP）集的过度评估，即NN控制策略将将系统驱动到给定目标集的状态集。我们介绍了用于计算以馈电NN表示的控制策略的线性和非线性系统的BP过度评估的框架，并提出了计算有效的策略。我们使用各种模型的数值结果来展示所提出的算法，包括6D系统的安全认证。

我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

Verifying the robustness property of a general Rectified Linear Unit (ReLU) network is an NPcomplete problem. Although finding the exact minimum adversarial distortion is hard, giving a certified lower bound of the minimum distortion is possible. Current available methods of computing such a bound are either time-consuming or deliver low quality bounds that are too loose to be useful. In this paper, we exploit the special structure of ReLU networks and provide two computationally efficient algorithms (Fast-Lin,Fast-Lip) that are able to certify non-trivial lower bounds of minimum adversarial distortions. Experiments show that (1) our methods deliver bounds close to (the gap is 2-3X) exact minimum distortions found by Reluplex in small networks while our algorithms are more than 10,000 times faster; (2) our methods deliver similar quality of bounds (the gap is within 35% and usually around 10%; sometimes our bounds are even better) for larger networks compared to the methods based on solving linear programming problems but our algorithms are 33-14,000 times faster; (3) our method is capable of solving large MNIST and CIFAR networks up to 7 layers with more than 10,000 neurons within tens of seconds on a single CPU core. In addition, we show that there is no polynomial time algorithm that can approximately find the minimum 1 adversarial distortion of a ReLU network with a 0.99 ln n approximation ratio unless NP=P, where n is the number of neurons in the network.

本文研究了人工神经网络（NNS）与整流线性单元的表现力。为了将它们作为实际计算的模型，我们介绍了最大仿射算术计划的概念，并显示了它们与NNS之间的等效性有关自然复杂度措施。然后我们使用此结果表明，使用多项式NNS可以解决两个基本组合优化问题，这相当于非常特殊的强多项式时间算法。首先，我们显示，对于带有N $节点的任何无向图形，有一个NN大小$ \ Mathcal {O}（n ^ 3）$，它将边缘权重用为输入，计算最小生成树的值图表。其次，我们显示，对于任何带有$ N $节点和$ M $弧的任何定向图，都有一个尺寸$ \ mathcal {o}（m ^ 2n ^ 2）$，它将电弧容量作为输入和计算最大流量。这些结果尤其尤其暗示，相应的参数优化问题的解决方案可以在多项式空间中编码所有边缘权重或电弧容量的方法，并在多项式时间中进行评估，并且由NN提供这种编码。

Over-approximating the reachable sets of dynamical systems is a fundamental problem in safety verification and robust control synthesis. The representation of these sets is a key factor that affects the computational complexity and the approximation error. In this paper, we develop a new approach for over-approximating the reachable sets of neural network dynamical systems using adaptive template polytopes. We use the singular value decomposition of linear layers along with the shape of the activation functions to adapt the geometry of the polytopes at each time step to the geometry of the true reachable sets. We then propose a branch-and-bound method to compute accurate over-approximations of the reachable sets by the inferred templates. We illustrate the utility of the proposed approach in the reachability analysis of linear systems driven by neural network controllers.

我们提出了Polar，A \ textbf {pol} ynomial \ textbf {ar} iThmetic框架，该框架利用多项式过度应用与间隔剩余的剩余，以进行界限时间到达的到达时间到达，对神经网络控制系统（NNCSS）的界限到达。与使用标准泰勒模型的现有算术方法相比，我们的框架使用一种新颖的方法来迭代过度陈化神经元的输出范围逐层范围均与伯恩斯坦多项式插值的组合，用于连续激活功能和其他操作的泰勒模型。这种方法可以克服标准泰勒模型算术中的主要缺点，即无法处理泰勒多项式无法很好地近似的功能，并显着提高了NNCS的可及状态计算的准确性和效率。为了进一步拧紧过度应用，我们的方法在估计神经网络的输出范围时，将泰勒模型保持在线性映射下的象征性。我们表明，极性可以与现有的泰勒模型流管构造技术无缝集成，并证明极性在一组基准测试套件上明显优于当前最新技术。

我们提出了一种新的方法，可以通过具有relu，sigmoid或双曲线切线激活功能的神经网络有效地计算图像的紧密非凸面。特别是，我们通过多项式近似来抽象每个神经元的输入输出关系，该近似是使用多项式界定的基于设定的方式进行评估的。我们提出的方法特别适合于对神经网络控制系统的可及性分析，因为多项式地位型能够捕获两者中的非共鸣性，通过神经网络以及可触及的集合。与各种基准系统上的其他最新方法相比，我们证明了方法的卓越性能。

稳定性认证并确定安全稳定的初始集是确保动态系统的操作安全性，稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，需要针对反馈循环中具有机器学习组件的系统来解决这些问题。为了开发一种关于神经网络（NN）控制的非线性系统的稳定性和稳定性的一般理论，提出了基于Lyapunov的稳定性证书，并进一步用于设计用于NN Controller和NN控制器和最大LIPSCHITZ绑定的。也是给定的安全操作域内内部相应的最大诱因（ROA）。为了计算这种强大的稳定NN控制器，它也最大化了系统的长期实用程序，提出了稳定性保证训练（SGT）算法。提出的框架的有效性通过说明性示例得到了验证。

作为神经网络（NNS）越来越多地引入安全关键域，在部署之前越来越需要在部署之前正式验证NNS。在这项工作中，我们专注于NN等效的正式验证问题，其旨在证明两个NNS（例如原件和压缩版本）显示等效行为。已经提出了两种方法：混合整数线性编程和间隔传播。虽然第一种方法缺乏可扩展性，但后者仅适用于结构性相似的NN，其重量变化很小。我们纸张的贡献有四个部分。首先，我们通过证明epsilon-andatience问题是突出的，我们表现出理论结果。其次，我们扩展了Tran等人。单个NN几何路径枚举算法以多个NN的设置。在第三步中，我们实现了扩展算法，用于等价验证，评估其实际使用所需的优化。最后，我们执行比较评估，显示我们的方法优于前一种最先进的现有技术，两者，用于等效验证以及反例查找。

On general regular simplicial partitions $\mathcal{T}$ of bounded polytopal domains $\Omega \subset \mathbb{R}^d$, $d\in\{2,3\}$, we construct \emph{exact neural network (NN) emulations} of all lowest order finite element spaces in the discrete de Rham complex. These include the spaces of piecewise constant functions, continuous piecewise linear (CPwL) functions, the classical ``Raviart-Thomas element'', and the ``N\'{e}d\'{e}lec edge element''. For all but the CPwL case, our network architectures employ both ReLU (rectified linear unit) and BiSU (binary step unit) activations to capture discontinuities. In the important case of CPwL functions, we prove that it suffices to work with pure ReLU nets. Our construction and DNN architecture generalizes previous results in that no geometric restrictions on the regular simplicial partitions $\mathcal{T}$ of $\Omega$ are required for DNN emulation. In addition, for CPwL functions our DNN construction is valid in any dimension $d\geq 2$. Our ``FE-Nets'' are required in the variationally correct, structure-preserving approximation of boundary value problems of electromagnetism in nonconvex polyhedra $\Omega \subset \mathbb{R}^3$. They are thus an essential ingredient in the application of e.g., the methodology of ``physics-informed NNs'' or ``deep Ritz methods'' to electromagnetic field simulation via deep learning techniques. We indicate generalizations of our constructions to higher-order compatible spaces and other, non-compatible classes of discretizations, in particular the ``Crouzeix-Raviart'' elements and Hybridized, Higher Order (HHO) methods.

我们提出了一个域理论框架，用于验证神经网络的鲁棒性分析。我们首先分析一般网络类别的全球鲁棒性。然后，利用Edalat的域理论L衍生物与Clarke的广义梯度相吻合的事实，我们扩展了攻击性不足的局部鲁棒性分析的框架。我们的框架是设计构造正确的算法的理想选择。我们通过开发经过验证的算法来估计前馈回归器常数来体现这一主张。我们证明了算法在可区分网络上以及一般位置relu网络的完整性。我们在有效给定域的框架内获得可计算结果。使用我们的域模型，可以统一分析可区分和非差异网络。我们使用任意推测间隔算术实施算法，并介绍一些实验的结果。我们的实现也得到了真正的验证，因为它也处理浮点错误。

We study the expressibility and learnability of convex optimization solution functions and their multi-layer architectural extension. The main results are: \emph{(1)} the class of solution functions of linear programming (LP) and quadratic programming (QP) is a universal approximant for the $C^k$ smooth model class or some restricted Sobolev space, and we characterize the rate-distortion, \emph{(2)} the approximation power is investigated through a viewpoint of regression error, where information about the target function is provided in terms of data observations, \emph{(3)} compositionality in the form of a deep architecture with optimization as a layer is shown to reconstruct some basic functions used in numerical analysis without error, which implies that \emph{(4)} a substantial reduction in rate-distortion can be achieved with a universal network architecture, and \emph{(5)} we discuss the statistical bounds of empirical covering numbers for LP/QP, as well as a generic optimization problem (possibly nonconvex) by exploiting tame geometry. Our results provide the \emph{first rigorous analysis of the approximation and learning-theoretic properties of solution functions} with implications for algorithmic design and performance guarantees.

本文提出了一种新的可达性分析工具，用于计算给定输入不确定性下的前馈神经网络的输出集的间隔过度近似。所提出的方法适应神经网络的现有混合单调性方法，用于可动力分析的动态系统，并将其应用于给定神经网络内的所有可能的部分网络。这确保了所获得的结果的交叉点是可以使用混合单调性获得的每层输出的最紧密的间隔过度近似。与文献中的其他工具相比，专注于小类分段 - 仿射或单调激活功能，我们方法的主要优势是其普遍性，它可以处理具有任何嘴唇智能连续激活功能的神经网络。此外，所提出的框架的简单性允许用户通过简单地提供函数，衍生和全局极值以及衍生物的相应参数来非常容易地添加未实现的激活功能。我们的算法经过测试，并将其与1000个随机生成的神经网络上的五个基于间隔的工具进行了比较，用于四个激活功能（Relu，Tanh，Elu，Silu）。我们表明我们的工具总是优于间隔绑定的传播方法，并且我们获得比Reluval，神经化，Verinet和Crown（适用于案件的时）更严格的输出界限。

In this work, we consider the problem of learning a feed-forward neural network controller to safely steer an arbitrarily shaped planar robot in a compact and obstacle-occluded workspace. Unlike existing methods that depend strongly on the density of data points close to the boundary of the safe state space to train neural network controllers with closed-loop safety guarantees, here we propose an alternative approach that lifts such strong assumptions on the data that are hard to satisfy in practice and instead allows for graceful safety violations, i.e., of a bounded magnitude that can be spatially controlled. To do so, we employ reachability analysis techniques to encapsulate safety constraints in the training process. Specifically, to obtain a computationally efficient over-approximation of the forward reachable set of the closed-loop system, we partition the robot's state space into cells and adaptively subdivide the cells that contain states which may escape the safe set under the trained control law. Then, using the overlap between each cell's forward reachable set and the set of infeasible robot configurations as a measure for safety violations, we introduce appropriate terms into the loss function that penalize this overlap in the training process. As a result, our method can learn a safe vector field for the closed-loop system and, at the same time, provide worst-case bounds on safety violation over the whole configuration space, defined by the overlap between the over-approximation of the forward reachable set of the closed-loop system and the set of unsafe states. Moreover, it can control the tradeoff between computational complexity and tightness of these bounds. Our proposed method is supported by both theoretical results and simulation studies.

Neural networks with random weights appear in a variety of machine learning applications, most prominently as the initialization of many deep learning algorithms and as a computationally cheap alternative to fully learned neural networks. In the present article, we enhance the theoretical understanding of random neural networks by addressing the following data separation problem: under what conditions can a random neural network make two classes $\mathcal{X}^-, \mathcal{X}^+ \subset \mathbb{R}^d$ (with positive distance) linearly separable? We show that a sufficiently large two-layer ReLU-network with standard Gaussian weights and uniformly distributed biases can solve this problem with high probability. Crucially, the number of required neurons is explicitly linked to geometric properties of the underlying sets $\mathcal{X}^-, \mathcal{X}^+$ and their mutual arrangement. This instance-specific viewpoint allows us to overcome the usual curse of dimensionality (exponential width of the layers) in non-pathological situations where the data carries low-complexity structure. We quantify the relevant structure of the data in terms of a novel notion of mutual complexity (based on a localized version of Gaussian mean width), which leads to sound and informative separation guarantees. We connect our result with related lines of work on approximation, memorization, and generalization.