许多未来的技术依靠神经网络，但是验证其行为的正确性仍然是一个主要挑战。众所周知，在存在少量输入扰动的情况下，神经网络可能会脆弱，从而产生不可预测的输出。因此，神经网络的验证对于它们的采用至关重要，近年来已经提出了许多方法。在本文中，我们重点介绍基于半神经网络验证的基于半决赛的技术（SDP）技术，这特别有吸引力，因为它们可以在确保多项式时间决策的同时编码表达行为。我们的起点是Fazlyab等人提出的DEEPSDP框架，该框架使用二次约束将验证问题抽象为大规模的SDP。但是，当神经网络的大小增长时，解决此SDP的求解很快就变得棘手了。我们的主要观察结果是，通过利用弦宽度和DeepSDP的特定参数化，我们可以将DeepSDP的主要计算瓶颈（一种大的线性基质不等式（LMI））分解为等效的较小LMI的集合。我们的参数化允许可调参数，从而使我们能够在验证过程中权衡效率和准确性。我们称我们的配方和弦 - 深色，并提供实验评估，以表明它可以：（1）有效提高可调参数的精度，（2）（2）在更深层网络上的表现优于deepSDP。

我们考虑指标变量和指标上的任意约束的凸二次优化问题。我们表明，在扩展空间中设置的凸壳描述，其具有二次数量的附加变量包括单个正半纤维限制（明确规定）和线性约束。特别地，对这类问题的凸起减少了描述在扩展制剂中的多面体集。我们还在变量的原始空间中说明：我们提供了基于无限数量的圆锥二次不等式的描述，这些锥形二次不等式是“有限地产生的”。特别地，可以表征给定的不等式是否需要描述凸船。这里介绍了新的理论统一了若干以前建立的结果，并铺平了利用多面体方法来分析混合整数非线性集的凸壳。

从数据中学到的分类器越来越多地用作安全是关键问题的系统中的组件。在这项工作中，我们通过称为安全订购约束的约束来提出针对分类器的正式安全概念。这些限制条件将分类器输出的类输出的顺序与输入的条件有关，并且表达足以编码文献中分类器安全规范的各种有趣的示例。对于使用神经网络实施的分类器，我们还提出了一种运行时机制，用于执行安全订购约束。我们的方法基于一个自我校正层，该层可证明，无论分类器输入的特征如何，它都可以产生安全的输出。我们将此层与现有的神经网络分类器组成，以构建自我校正网络（SC-NET），并证明除了提供安全的输出外，SC-NET还可以保证尽可能保留原始网络的分类精度。我们的方法独立于用于分类的神经网络的大小和体系结构，仅取决于指定的属性和网络输出的尺寸；因此，它可扩展到大型最新网络。我们表明，我们的方法可以针对GPU进行优化，从而在当前硬件上引入了少于1ms的运行时开销 - 即使在包含数十万个神经元和数百万参数的大型，广泛使用的网络上。

由于机器学习，统计和科学的应用，多边缘最佳运输（MOT）引起了极大的兴趣。但是，在大多数应用中，MOT的成功受到缺乏有效算法的严重限制。实际上，MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly（n，k）时间中可溶解的一般理论。我们开发了一个统一的算法框架，用于通过表征不同算法所需的“结构”来解决poly（n，k）时间中的MOT，这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先，它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly（n，k）时间中求解MOT所需的结构更严格。其次，我们的框架使得为给定的MOT问题开发poly（n，k）时间算法变得更加简单。特别是（大约）解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly（n，k）时间算法开发poly（n，k）时间算法来说明这种易用性：（1）图形结构； （2）设定优化结构； （3）低阶和稀疏结构。对于结构（1），我们恢复了Sindhorn具有poly（n，k）运行时的已知结果；此外，我们为计算精确且稀疏的解决方案提供了第一个poly（n，k）时间算法。对于结构（2） - （3），我们给出了第一个poly（n，k）时间算法，甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

在智能手机和控制器系统中的爆炸性增长之后，在从集中数据朝向设备生成的数据中消除数据如何生成数据的加速偏移。作为响应，机器学习算法正在适于在本地运行，潜在的硬件有限，设备，以改善用户隐私，减少延迟并更节能。但是，我们对这些方向算法的表现方式和应培训的理解仍然相当有限。为了解决这个问题，介绍了一种方法来自动综合降低的神经网络（具有较少的神经元）近似近似较大的输入/输出映射。从凸的半定程序生成降低的神经网络的权重和偏差，该凸形半定程序产生相对于较大网络的最坏情况近似误差。获得该近似误差的最坏情况界限，并且该方法可以应用于各种神经网络架构。例如，如何区分所提出的方法来产生小型神经网络的现有方法。修剪是在训练成本函数中直接包含最坏情况近似误差，这应该增加鲁棒性。数值示例突出了所提出的方法的潜力。本文的重新实现目的是概括最近导致神经网络对其重量和偏差的鲁棒合成问题的鲁棒性分析。

我们提出了一个框架，用于稳定验证混合智能线性编程（MILP）代表控制策略。该框架比较了固定的候选策略，该策略承认有效的参数化，可以以低计算成本进行评估，与固定基线策略进行评估，固定基线策略已知稳定但评估昂贵。我们根据基线策略的最坏情况近似错误为候选策略的闭环稳定性提供了足够的条件，我们表明可以通过求解混合构成二次计划（MIQP）来检查这些条件。 。此外，我们证明可以通过求解MILP来计算候选策略的稳定区域的外部近似。所提出的框架足以容纳广泛的候选策略，包括Relu神经网络（NNS），参数二次程序的最佳解决方案图以及模型预测性控制（MPC）策略。我们还根据提议的框架在Python中提供了一个开源工具箱，该工具可以轻松验证自定义NN架构和MPC公式。我们在DC-DC电源转换器案例研究的背景下展示了框架的灵活性和可靠性，并研究了计算复杂性。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

单调功能和数据集在各种应用中都会出现。我们研究单调数据集的插值问题：输入是带有$ n $点的单调数据集，目标是找到一个大小和深度有效的单调神经网络，具有非负参数和阈值单元，可以插入数据放。我们表明，单调数据集无法通过深度$ 2 $的单调网络插值。另一方面，我们证明，对于每个单调数据集，在$ \ mathbb {r}^d $中$ n $点，存在一个插值的单调网络，该网络的深度为$ 4 $ $ 4 $和size $ o（nd）$。我们的插值结果意味着，每个单调功能超过$ [0,1]^d $可以通过DEPTH-4单调网络任意地近似，从而改善了先前最著名的深度构建$ d+1 $。最后，基于布尔电路复杂性的结果，我们表明，当近似单调函数时，具有正参数的电感偏差会导致神经元数量的超顺式爆炸。

我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

我们研究了使用动力学系统的流量图相对于输入指数的某些置换的函数的近似值。这种不变的功能包括涉及图像任务的经过研究的翻译不变性功能，但还包含许多在科学和工程中找到新兴应用程序的置换不变函数。我们证明了通过受控的模棱两可的动态系统的通用近似的足够条件，可以将其视为具有对称约束的深度残留网络的一般抽象。这些结果不仅意味着用于对称函数近似的各种常用神经网络体系结构的通用近似，而且还指导设计具有近似值保证的架构的设计，以保证涉及新对称要求的应用。

图神经网络（GNN）通常用于两个任务：（整个）图分类和节点分类。我们正式引入了两个任务的普遍提出的决策问题，对应于以下模式：给定GNN，有效输入的某些规范以及有效输出的某些规范，请确定是否有有效的输入满足输出规范。然后，我们证明了图形分类器验证通常是不可决定的，这意味着不能有算法肯定可以保证没有任何类型的错误分类。此外，我们表明，一旦我们限制了所考虑的图的程度，在节点分类案例中的验证就可以决定。此外，我们根据考虑的GNN模型和规格讨论这些结果可能的更改。

加权CSP（WCSP）的重新定义（WCSP）的重新定位概念（也称为WCSPS的等价 - 保存的变换）是众所周知的并且在许多算法中找到其使用以近似或绑定最佳WCSP值。相比之下，已经提出了超级reparamureIzations的概念（这是保留或增加每个任务的WCSP目标的权重的变化），但从未详细研究过。为了填补这一差距，我们展示了一些超级reparamizations的理论属性，并将它们与重新定位化的差异进行比较。此外，我们提出了一种用于使用超级Reparamizations计算（最大化版本）WCSP的最佳值的上限的框架。我们表明原则上可以采用任意（在某些技术条件下）约束传播规则来改善绑定。特别是对于电弧一致性，该方法减少到已知的虚拟AC（VAC）算法。新的，我们实施了Singleton ARC一致性（SAC）的方法，并将其与WCSPS在公共基准上的其他强大局部常量进行比较。结果表明，从SAC获得的界限对于许多实例组优越。

我们考虑非线性优化问题，涉及神经网络代表代理模型。我们首先展示了如何直接将神经网络评估嵌入优化模型中，突出难以防止收敛的方法，然后表征这些模型的平稳性。然后，我们在具有Relu激活的前馈神经网络的特定情况下存在两种替代配方，其具有recu激活：作为混合整数优化问题，作为具有互补限制的数学程序。对于后一种制剂，我们证明了在该问题的点处的有同性，对应于嵌入式制剂的实质性。这些配方中的每一个都可以用最先进的优化方法来解决，并且我们展示了如何为这些方法获得良好的初始可行解决方案。我们将三种实际应用的配方进行比较，在燃烧发动机的设计和控制中产生的三种实际应用，在对分类器网络的对抗攻击中产生的产生，以及在油井网中的最佳流动确定。

我们研究了（深）神经网络的可及性问题的复杂性：它是否计算出有效输入的有效输出？最近有人声称，对于一般神经网络的问题，该问题是通用神经网络的NP算法，并且在线性不等式的结合给出的输入/输出维度上的规格是NP的。我们概括了证明并修复原始上和下限证明中的一些缺陷。在总体结果的激励下，我们表明NP硬度已经适用于限制的简单规格和神经网络。允许仅一个隐藏层和一个单个的输出维度以及仅一个负，零和一个正重或偏置的神经网络，足以确保NP硬度。此外，我们为有关神经网络验证的这一研究方向进行了详尽的讨论和可能的扩展。

我们开发了一种高效的随机块模型中的弱恢复算法。该算法与随机块模型的Vanilla版本的最佳已知算法的统计保证匹配。从这个意义上讲，我们的结果表明，随机块模型没有稳健性。我们的工作受到最近的银行，Mohanty和Raghavendra（SODA 2021）的工作，为相应的区别问题提供了高效的算法。我们的算法及其分析显着脱离了以前的恢复。关键挑战是我们算法的特殊优化景观：种植的分区可能远非最佳意义，即完全不相关的解决方案可以实现相同的客观值。这种现象与PCA的BBP相转变的推出效应有关。据我们所知，我们的算法是第一个在非渐近设置中存在这种推出效果的鲁棒恢复。我们的算法是基于凸优化的框架的实例化（与平方和不同的不同），这对于其他鲁棒矩阵估计问题可能是有用的。我们的分析的副产物是一种通用技术，其提高了任意强大的弱恢复算法的成功（输入的随机性）从恒定（或缓慢消失）概率以指数高概率。

We consider the nonlinear inverse problem of learning a transition operator $\mathbf{A}$ from partial observations at different times, in particular from sparse observations of entries of its powers $\mathbf{A},\mathbf{A}^2,\cdots,\mathbf{A}^{T}$. This Spatio-Temporal Transition Operator Recovery problem is motivated by the recent interest in learning time-varying graph signals that are driven by graph operators depending on the underlying graph topology. We address the nonlinearity of the problem by embedding it into a higher-dimensional space of suitable block-Hankel matrices, where it becomes a low-rank matrix completion problem, even if $\mathbf{A}$ is of full rank. For both a uniform and an adaptive random space-time sampling model, we quantify the recoverability of the transition operator via suitable measures of incoherence of these block-Hankel embedding matrices. For graph transition operators these measures of incoherence depend on the interplay between the dynamics and the graph topology. We develop a suitable non-convex iterative reweighted least squares (IRLS) algorithm, establish its quadratic local convergence, and show that, in optimal scenarios, no more than $\mathcal{O}(rn \log(nT))$ space-time samples are sufficient to ensure accurate recovery of a rank-$r$ operator $\mathbf{A}$ of size $n \times n$. This establishes that spatial samples can be substituted by a comparable number of space-time samples. We provide an efficient implementation of the proposed IRLS algorithm with space complexity of order $O(r n T)$ and per-iteration time complexity linear in $n$. Numerical experiments for transition operators based on several graph models confirm that the theoretical findings accurately track empirical phase transitions, and illustrate the applicability and scalability of the proposed algorithm.

给定尺寸$ d $中的独立标准高斯点$ v_1，\ ldots，v_n $，对于$（n，d）$的值（n，d）$的值很高，概率很高，同时通过所有要点？将椭圆形拟合到随机点的基本问题与低级别矩阵分解，独立的组件分析和主成分分析有连接。基于有力的数值证据，桑德森，帕里洛和威尔斯基[Proc。关于决策和控制会议，第6031-6036页，2013年]猜想，椭圆形拟合问题的问题从可行的到不可行的$ n $增加，并在$ n \ sim d^2/4处急剧阈值$。我们通过为某些$ n = \ omega（\，d^2/\ log^5（d）\，）$构建合适的椭圆形来解决这个猜想，从而改善了Ghosh等人的先前工作。 [Proc。关于计算机科学基础的研讨会，第954-965、2020页]，需要$ n = o（d^{3/2}）$。我们的证明证明了Saunderson等人的最小二乘结构的可行性。使用对特定非标准随机矩阵的特征向量和特征值进行仔细的分析。

本文提出了一种新的可达性分析工具，用于计算给定输入不确定性下的前馈神经网络的输出集的间隔过度近似。所提出的方法适应神经网络的现有混合单调性方法，用于可动力分析的动态系统，并将其应用于给定神经网络内的所有可能的部分网络。这确保了所获得的结果的交叉点是可以使用混合单调性获得的每层输出的最紧密的间隔过度近似。与文献中的其他工具相比，专注于小类分段 - 仿射或单调激活功能，我们方法的主要优势是其普遍性，它可以处理具有任何嘴唇智能连续激活功能的神经网络。此外，所提出的框架的简单性允许用户通过简单地提供函数，衍生和全局极值以及衍生物的相应参数来非常容易地添加未实现的激活功能。我们的算法经过测试，并将其与1000个随机生成的神经网络上的五个基于间隔的工具进行了比较，用于四个激活功能（Relu，Tanh，Elu，Silu）。我们表明我们的工具总是优于间隔绑定的传播方法，并且我们获得比Reluval，神经化，Verinet和Crown（适用于案件的时）更严格的输出界限。