训练深神网络是一个众所周知的高度非凸问题。在最近的作品中，显示出具有RELU激活的正则化两层神经网络没有二元性差距，这可以通过凸面程序进行全局优化。对于具有向量输出的多层线性网络，我们提出了凸双问题，并证明对偶性差距对于深度三和更深的网络而言并非零。但是，通过将深层网络修改为更强大的并行体系结构，我们表明二元性差距完全为零。因此，强大的凸面双重性具有，因此存在等效的凸面程序，使培训深层网络达到全球最优性。我们还证明，参数中的重量衰减正则化明确地通过封闭形式表达式鼓励低级溶液。对于三层非平行relu网络，我们表明对级别1数据矩阵的强双重性具有强度，但是，对白色数据矩阵的二元性差距不是零。同样，通过将神经网络体系结构转换为相应的并行版本，二元性差距消失了。

了解深度神经网络成功背后的基本机制是现代机器学习文学中的关键挑战之一。尽管尝试了很多，但尚未开发扎实的理论分析。在本文中，我们开发了一种新颖的统一框架，以通过凸优化镜头揭示隐藏的正则化机制。首先表明，具有重量衰减正则化的多个三层relu子网的训练可以等同地作为较高尺寸空间中的凸优化问题来等效地投射，其中稀疏通过组$ \ ell_1 $ -norm正常化强制实施。因此，Relu网络可以被解释为高维特征选择方法。更重要的是，我们证明，当网络宽度固定时，可以通过标准凸优化求解器全局优化等同的凸起问题通过具有多项式复杂度的标准凸优化求解器。最后，我们通过涉及合成和真实数据集的实验来数值验证我们的理论结果。

我们描述了两层向量输出relu神经网络训练问题的凸半无限频体。该半无限的双重承认有限尺寸表示，但其支持在难以表征的凸起集中。特别是，我们证明非凸神经网络训练问题相当于有限维凸形成形程序。我们的工作是第一个确定全球神经网络的全球最佳与连阳性方案之间的强大联系。因此，我们展示了神经网络如何通过半非环境矩阵分解来隐化地揭示求解连接成型程序，并从该配方中汲取关键见解。我们描述了第一算法，用于可证明导航的全局最小值的导航神经网络训练问题，这些算法是固定数据等级的样本数量的多项式，但维度指数是指数。然而，在卷积架构的情况下，计算复杂性在所有其他参数中仅在滤波器大小和多项式中是指数的。我们描述了我们能够完全找到这种神经网络训练问题的全球最佳的环境，并提供了软阈值的SVD，并提供了一种成交量松弛，保证确切地用于某些问题，并与随机的解决方案相对应实践中的梯度下降。

我们开发了快速算法和可靠软件，以凸出具有Relu激活功能的两层神经网络的凸优化。我们的工作利用了标准的重量罚款训练问题作为一组组-YELL_1 $调查的数据本地模型的凸重新印度，其中局部由多面体锥体约束强制执行。在零规范化的特殊情况下，我们表明此问题完全等同于凸“ Gated Relu”网络的不受约束的优化。对于非零正则化的问题，我们表明凸面式relu模型获得了RELU训练问题的数据依赖性近似范围。为了优化凸的重新制定，我们开发了一种加速的近端梯度方法和实用的增强拉格朗日求解器。我们表明，这些方法比针对非凸问题（例如SGD）和超越商业内部点求解器的标准训练启发式方法要快。在实验上，我们验证了我们的理论结果，探索组-ELL_1 $正则化路径，并对神经网络进行比例凸的优化，以在MNIST和CIFAR-10上进行图像分类。

我们考虑指标变量和指标上的任意约束的凸二次优化问题。我们表明，在扩展空间中设置的凸壳描述，其具有二次数量的附加变量包括单个正半纤维限制（明确规定）和线性约束。特别地，对这类问题的凸起减少了描述在扩展制剂中的多面体集。我们还在变量的原始空间中说明：我们提供了基于无限数量的圆锥二次不等式的描述，这些锥形二次不等式是“有限地产生的”。特别地，可以表征给定的不等式是否需要描述凸船。这里介绍了新的理论统一了若干以前建立的结果，并铺平了利用多面体方法来分析混合整数非线性集的凸壳。

人工神经网络（ANN）训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降（SGD）算法及其变体在某些情况下是有效的，但它们可以陷入杂散的局部最小值，并且对初始化和普通公共表敏感。最近的工作表明，随着Relu激活的ANN的培训可以重新重整为凸面计划，使希望能够全局优化可解释的ANN。然而，天真地解决凸训练制剂具有指数复杂性，甚至近似启发式需要立方时间。在这项工作中，我们描述了这种近似的质量，并开发了两个有效的算法，这些算法通过全球收敛保证培训。第一算法基于乘法器（ADMM）的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛，并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时，每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂，并收敛到大约全球最佳的分类器。当考虑对抗性培训时，ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练，开发凸起的凸起制剂，培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN，但可以扩展到更复杂的体系结构。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

We propose the framework of dual convexified convolutional neural networks (DCCNNs). In this framework, we first introduce a primal learning problem motivated by convexified convolutional neural networks (CCNNs), and then construct the dual convex training program through careful analysis of the Karush-Kuhn-Tucker (KKT) conditions and Fenchel conjugates. Our approach reduces the computational overhead of constructing a large kernel matrix and more importantly, eliminates the ambiguity of factorizing the matrix. Due to the low-rank structure in CCNNs and the related subdifferential of nuclear norms, there is no closed-form expression to recover the primal solution from the dual solution. To overcome this, we propose a highly novel weight recovery algorithm, which takes the dual solution and the kernel information as the input, and recovers the linear weight and the output of convolutional layer, instead of weight parameter. Furthermore, our recovery algorithm exploits the low-rank structure and imposes a small number of filters indirectly, which reduces the parameter size. As a result, DCCNNs inherit all the statistical benefits of CCNNs, while enjoying a more formal and efficient workflow.

生成的对策网络是一种流行的方法，用于通过根据已知分发的函数来建立目标分布来从数据学习分布的流行方法。经常被称为发电机的功能优化，以最小化所生成和目标分布之间的所选距离测量。这种目的的一个常用措施是Wassersein距离。然而，Wassersein距离难以计算和优化，并且在实践中，使用熵正则化技术来改善数值趋同。然而，正规化对学到的解决方案的影响仍未得到很好的理解。在本文中，我们研究了Wassersein距离的几个流行的熵正规提出如何在一个简单的基准设置中冲击解决方案，其中发电机是线性的，目标分布是高维高斯的。我们表明，熵正则化促进了解决方案稀疏化，同时更换了与秸秆角偏差的Wasserstein距离恢复了不断的解决方案。两种正则化技术都消除了Wasserstein距离所遭受的维度的诅咒。我们表明，可以从目标分布中学习最佳发电机，以$ O（1 / \ epsilon ^ 2）$ samples从目标分布中学习。因此，我们得出结论，这些正则化技术可以提高来自大量分布的经验数据的发电机的质量。

在本文中，我们研究了学习最适合培训数据集的浅层人工神经网络的问题。我们在过度参数化的制度中研究了这个问题，在该制度中，观测值的数量少于模型中的参数数量。我们表明，通过二次激活，训练的优化景观这种浅神经网络具有某些有利的特征，可以使用各种局部搜索启发式方法有效地找到全球最佳模型。该结果适用于输入/输出对的任意培训数据。对于可区分的激活函数，我们还表明，适当初始化的梯度下降以线性速率收敛到全球最佳模型。该结果着重于选择输入的可实现模型。根据高斯分布和标签是根据种植的重量系数生成的。

Minimax优化已成为许多机器学习（ML）问题的骨干。尽管优化算法的收敛行为已在minimax设置中进行了广泛的研究，但它们在随机环境中的概括保证，即对经验数据训练的解决方案如何在看不见的测试数据上执行，但相对却相对均未被倍增。一个基本问题仍然难以捉摸：研究最小学习者的概括是什么？在本文中，我们的目标是首先证明原始风险是研究最小化中的普遍性的普遍指标，在简单的最小问题示例中失败了。此外，由于鞍点不存在，另一个流行的指标，即原始的双重风险，也无法表征非凸度问题的最小值问题的概括行为。因此，我们提出了一个新的指标，以研究最小学习者的概括：原始差距，以规避这些问题。接下来，我们在非convex-concave设置中得出原始差距的概括范围。作为我们分析的副产品，我们还解决了两个空旷的问题：在强大意义上，建立原始风险和原始偶发风险的概括范围，即没有强大的凹面或假设最大化和期望可以互换，而这些假设中的任何一个都可以互换在文献中需要。最后，我们利用这一新指标比较了两种流行算法的概括行为 - 梯度下降（GDA）和梯度下降 - 最大趋势 - 最小值优化。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

神经塌陷是指表征类嵌入和分类器重量的几何形状的显着结构特性，当经过零训练误差以外的训练时，深网被发现。但是，这种表征仅适用于平衡数据。因此，我们在这里询问是否可以使阶级失衡不变。为此，我们采用了不受限制的功能模型（UFM），这是一种用于研究神经塌陷的最新理论模型，并引入了单纯形编码标签的插值（SELI）作为神经崩溃现象的不变特征。具体而言，我们证明了UFM的跨凝结损失和消失的正则化，无论阶级失衡如何，嵌入和分类器总是插入单纯形编码的标签矩阵，并且其单个几何形状都由同一标签矩阵矩阵矩阵的SVD因子确定。然后，我们对合成和真实数据集进行了广泛的实验，这些实验确认了与SELI几何形状的收敛。但是，我们警告说，融合会随着不平衡的增加而恶化。从理论上讲，我们通过表明与平衡的情况不同，当存在少数民族时，山脊规范化在调整几何形状中起着至关重要的作用。这定义了新的问题，并激发了对阶级失衡对一阶方法融合其渐近优先解决方案的速率的影响的进一步研究。

我们研究了过度参数化模型中插值的必要性，也就是说，在实现机器学习问题的最佳预测风险时，需要（几乎）插值培训数据。特别是，我们考虑简单的过度参数性线性回归$ y = x \ theta + w $带随机设计$ x \ in \ mathbb {r}^{n \ times d} $在比例的渐近学$ d/n \ to \ gamma下\ in（1，\ infty）$。我们精确地表征了预测（测试）错误在此设置中必须使用训练错误缩放。这种表征的暗示是，作为标签噪声差异$ \ sigma^2 \至0 $，任何至少造成$ \ mathsf {c} \ sigma^4 $训练错误的估计器，对于某些常数$ \ mathsf {c}$必然是次优的，并且在训练错误中至少会遭受过多预测误差的增长。因此，最佳性能要求将培训数据拟合的精度要高于问题的固有噪声。

To rigorously certify the robustness of neural networks to adversarial perturbations, most state-of-the-art techniques rely on a triangle-shaped linear programming (LP) relaxation of the ReLU activation. While the LP relaxation is exact for a single neuron, recent results suggest that it faces an inherent "convex relaxation barrier" as additional activations are added, and as the attack budget is increased. In this paper, we propose a nonconvex relaxation for the ReLU relaxation, based on a low-rank restriction of a semidefinite programming (SDP) relaxation. We show that the nonconvex relaxation has a similar complexity to the LP relaxation, but enjoys improved tightness that is comparable to the much more expensive SDP relaxation. Despite nonconvexity, we prove that the verification problem satisfies constraint qualification, and therefore a Riemannian staircase approach is guaranteed to compute a near-globally optimal solution in polynomial time. Our experiments provide evidence that our nonconvex relaxation almost completely overcome the "convex relaxation barrier" faced by the LP relaxation.

我们提供匹配的Under $ \ sigma ^ 2 / \ log（d / n）$的匹配的上下界限为最低$ \ ell_1 $ -norm插值器，a.k.a.基础追踪。我们的结果紧紧达到可忽略的术语，而且是第一个暗示噪声最小范围内插值的渐近一致性，因为各向同性特征和稀疏的地面真理。我们的工作对最低$ \ ell_2 $ -norm插值的“良性接收”进行了补充文献，其中才能在特征有效地低维时实现渐近一致性。

许多基本的低级优化问题，例如矩阵完成，相位同步/检索，功率系统状态估计和鲁棒PCA，可以作为矩阵传感问题提出。求解基质传感的两种主要方法是基于半决赛编程（SDP）和Burer-Monteiro（B-M）分解的。 SDP方法患有高计算和空间复杂性，而B-M方法可能由于问题的非跨性别而返回伪造解决方案。这些方法成功的现有理论保证导致了类似的保守条件，这可能错误地表明这些方法具有可比性的性能。在本文中，我们阐明了这两种方法之间的一些主要差异。首先，我们提出一类结构化矩阵完成问题，而B-M方法则以压倒性的概率失败，而SDP方法正常工作。其次，我们确定了B-M方法工作和SDP方法失败的一类高度稀疏矩阵完成问题。第三，我们证明，尽管B-M方法与未知解决方案的等级无关，但SDP方法的成功与解决方案的等级相关，并随着等级的增加而提高。与现有的文献主要集中在SDP和B-M工作的矩阵传感实例上，本文为每种方法的独特优点提供了与替代方法的唯一优点。

二重优化发现在现代机器学习问题中发现了广泛的应用，例如超参数优化，神经体系结构搜索，元学习等。而具有独特的内部最小点（例如，内部功能是强烈凸的，都具有唯一的内在最小点）的理解，这是充分理解的，多个内部最小点的问题仍然是具有挑战性和开放的。为此问题设计的现有算法适用于限制情况，并且不能完全保证融合。在本文中，我们采用了双重优化的重新制定来限制优化，并通过原始的双二线优化（PDBO）算法解决了问题。 PDBO不仅解决了多个内部最小挑战，而且还具有完全一阶效率的情况，而无需涉及二阶Hessian和Jacobian计算，而不是大多数现有的基于梯度的二杆算法。我们进一步表征了PDBO的收敛速率，它是与多个内部最小值的双光线优化的第一个已知的非质合收敛保证。我们的实验证明了所提出的方法的预期性能。

我们提供了通过线性激活的多渠道卷积神经网络中的$ \ ell_2 $标准来最大程度地减少$ \ ell_2 $标准而产生的功能空间表征，并经验测试了我们对使用梯度下降训练的Relu网络的假设。我们将功能空间中的诱导正规化程序定义为实现函数所需的网络权重规范的最小$ \ ell_2 $。对于具有$ C $输出频道和内核尺寸$ K $的两个层线性卷积网络，我们显示以下内容：（a）如果网络的输入是单个渠道，则任何$ k $的诱导正规器都与数字无关输出频道$ c $。此外，我们得出正常化程序是由半决赛程序（SDP）给出的规范。 （b）相比之下，对于多通道输入，仅实现所有矩阵值值线性函数而需要多个输出通道，因此归纳偏置确实取决于$ c $。但是，对于足够大的$ c $，诱导的正规化程序再次由独立于$ c $的SDP给出。特别是，$ k = 1 $和$ k = d $（输入维度）的诱导正规器以封闭形式作为核标准和$ \ ell_ {2,1} $ group-sparse Norm，线性预测指标的傅立叶系数。我们通过对MNIST和CIFAR-10数据集的实验来研究理论结果对从线性和RELU网络上梯度下降的隐式正则化的更广泛的适用性。