除了预测误差的最小化之外，回归方案的两个最期望的性质是稳定性和解释性。由这些原则驱动，我们提出了连续域配方进行一维回归问题。在我们的第一种方法中，我们使用Lipschitz常数作为规范器，这导致了解学习映射的整体稳健性的调整。在我们的第二种方法中，我们使用用户定义的上限和使用稀疏性常规程序来控制Lipschitz常数，以便更简单地支持（以及因此，更可取的可解释）的解决方案。后者制剂的理论研究部分地通过其证明的等效性，利用整流线性单元（Relu）激活和重量衰减，训练Lipschitz受约束的两层单变量神经网络。通过证明代表定理，我们表明这两个问题都承认是连续和分段线性（CPWL）功能的全局最小值。此外，我们提出了高效的算法，该算法找到了每个问题的稀疏解决方案：具有最少数量的线性区域的CPWL映射。最后，我们在数字上说明了我们的配方的结果。

在本文中，我们介绍了Hessian-Schatten总变异（HTV） - 一种小型演奏，量化了多元官能团的总“益智欲”。我们定义HTV的动机是评估监督学习计划的复杂性。我们首先指定了配备合适类的混合规范的足够矩阵值的Banach空间。然后，我们显示HTV不变于旋转，缩放和翻译。另外，对于线性映射来实现其最小值，支持线性回归是最不复杂的学习模型的常见直觉。接下来，我们呈现封闭式表达式，用于计算两种常规功能的HTV。第一个是SoboLev的类，具有一定程度的规律性，我们表明HTV与Hessian-Schatten Seminorm巧合，有时用作图像重建的常规器。第二个是连续和分段线性（CPWL）功能的类。在这种情况下，我们表明HTV反映了具有共同面的线性区域之间的斜率的总变化。因此，它可以被视为CPWL映射的线性区域（L0型）的数量的凸松弛（L1型​​）。最后，我们说明了我们提出的研讨会与一些具体例子的使用。

我们在非参数二进制分类的一个对抗性训练问题之间建立了等价性，以及规范器是非识别范围功能的正则化风险最小化问题。由此产生的正常风险最小化问题允许在图像分析和基于图形学习中常常研究的$ L ^ 1 + $（非本地）$ \ Operatorvers {TV} $的精确凸松弛。这种重构揭示了丰富的几何结构，这反过来允许我们建立原始问题的最佳解决方案的一系列性能，包括存在最小和最大解决方案（以合适的意义解释），以及常规解决方案的存在（也以合适的意义解释）。此外，我们突出了对抗性训练和周长最小化问题的联系如何为涉及周边/总变化的正规风险最小化问题提供一种新颖的直接可解释的统计动机。我们的大部分理论结果与用于定义对抗性攻击的距离无关。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

Wasserstein的分布在强大的优化方面已成为强大估计的有力框架，享受良好的样本外部性能保证，良好的正则化效果以及计算上可易处理的双重重新纠正。在这样的框架中，通过将最接近经验分布的所有概率分布中最接近的所有概率分布中最小化的最差预期损失来最大程度地减少估计量。在本文中，我们提出了一个在噪声线性测量中估算未知参数的Wasserstein分布稳定的M估计框架，我们专注于分析此类估计器的平方误差性能的重要且具有挑战性的任务。我们的研究是在现代的高维比例状态下进行的，在该状态下，环境维度和样品数量都以相对的速度进行编码，该速率以编码问题的下/过度参数化的比例。在各向同性高斯特征假设下，我们表明可以恢复平方误差作为凸 - 串联优化问题的解，令人惊讶的是，它在最多四个标量变量中都涉及。据我们所知，这是在Wasserstein分布强劲的M估计背景下研究此问题的第一项工作。

数据保真项和加性正则化功能的最小化为监督学习带来了强大的框架。在本文中，我们提出了一个统一的正则功能，该功能取决于操作员和通用的ra域标准。我们确定了最小化器的存在，并在非常温和的假设下给出了溶液的参数形式。当规范是希尔伯特人时，提出的配方会产生涉及径向基础功能的解决方案，并且与机器学习的经典方法兼容。相比之下，对于总差异规范，解决方案采用具有正则化运算符确定的激活函数的两层神经网络的形式。特别是，我们通过让操作员成为拉普拉斯（Laplacian）来检索流行的Relu网络。我们还表征了中间正规化规范的解决方案$ \ | \ cdot \ | = \ | \ | \ cdot \ | _ {l_p} $ at（1,2] $。我们的框架提供了保证通用近似值的保证广泛的正规化操作员家庭或等同于各种浅层神经网络，包括激活函数在多项式上增加的病例（例如Relu）。它还解释了偏见和跳过连接在神经建筑中的有利作用。

形状约束，例如非负，单调性，凸度或超模型性，在机器学习和统计的各种应用中都起着关键作用。但是，将此方面的信息以艰苦的方式（例如，在间隔的所有点）纳入预测模型，这是一个众所周知的具有挑战性的问题。我们提出了一个统一和模块化的凸优化框架，依赖于二阶锥（SOC）拧紧，以编码属于矢量值重现的载体内核Hilbert Spaces（VRKHSS）的模型对函数衍生物的硬仿射SDP约束。所提出的方法的模块化性质允许同时处理多个形状约束，并将无限数量的约束限制为有限的许多。我们证明了所提出的方案的收敛及其自适应变体的收敛性，利用VRKHSS的几何特性。由于基于覆盖的拧紧构造，该方法特别适合具有小到中等输入维度的任务。该方法的效率在形状优化，机器人技术和计量经济学的背景下进行了说明。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

我们因与Relu神经网络的参数双曲标量保护定律的近似值所产生的误差得出了严格的界限。我们表明，通过克服维度诅咒的relu神经网络，可以使近似误差尽可能小。此外，我们在训练误差，训练样本数量和神经网络大小方面提供了明确的上限。理论结果通过数值实验说明。

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

在本文中，我们通过任意大量的隐藏层研究了全连接的前馈深度Relu Ann，我们证明了在假设不正常化的概率密度函数下，在训练中具有随机初始化的GD优化方法的风险的融合在考虑的监督学习问题的输入数据的概率分布是分段多项式，假设目标函数（描述输入数据与输出数据之间的关系）是分段多项式，并且在假设风险函数下被认为的监督学习问题至少承认至少一个常规全球最低限度。此外，在浅句的特殊情况下只有一个隐藏的层和一维输入，我们还通过证明对每个LipsChitz连续目标功能的培训来验证这种假设，风险景观中存在全球最小值。最后，在具有Relu激活的深度广域的训练中，我们还研究梯度流（GF）差分方程的解决方案，并且我们证明每个非发散的GF轨迹会聚在临界点的多项式收敛速率（在限制意义上FR \'ECHET子提让性）。我们的数学融合分析造成了来自真实代数几何的工具，例如半代数函数和广义Kurdyka-Lojasiewicz不等式，从功能分析（如Arzel \）Ascoli定理等工具，在来自非本地结构的工具中作为限制FR \'echet子分子的概念，以及具有固定架构的浅印刷ANN的实现功能的事实形成由Petersen等人显示的连续功能集的封闭子集。

在本说明中，我们研究了如何使用单个隐藏层和RELU激活的神经网络插值数据，该数据是从径向对称分布中的，目标标签1处的目标标签1和单位球外部0，如果单位球内没有标签。通过重量衰减正则化和无限神经元的无限数据限制，我们证明存在独特的径向对称最小化器，其重量衰减正常器和Lipschitz常数分别为$ d $和$ \ sqrt {d} $。我们此外表明，如果标签$ 1 $强加于半径$ \ varepsilon $，而不仅仅是源头，则重量衰减正规剂会在$ d $中成倍增长。相比之下，具有两个隐藏层的神经网络可以近似目标函数，而不会遇到维度的诅咒。

Entropic regularization provides a generalization of the original optimal transport problem. It introduces a penalty term defined by the Kullback-Leibler divergence, making the problem more tractable via the celebrated Sinkhorn algorithm. Replacing the Kullback-Leibler divergence with a general $f$-divergence leads to a natural generalization. The case of divergences defined by superlinear functions was recently studied by Di Marino and Gerolin. Using convex analysis, we extend the theory developed so far to include all $f$-divergences defined by functions of Legendre type, and prove that under some mild conditions, strong duality holds, optimums in both the primal and dual problems are attained, the generalization of the $c$-transform is well-defined, and we give sufficient conditions for the generalized Sinkhorn algorithm to converge to an optimal solution. We propose a practical algorithm for computing an approximate solution of the optimal transport problem with $f$-divergence regularization via the generalized Sinkhorn algorithm. Finally, we present experimental results on synthetic 2-dimensional data, demonstrating the effects of using different $f$-divergences for regularization, which influences convergence speed, numerical stability and sparsity of the optimal coupling.

对于函数的矩阵或凸起的正半明确度（PSD）的形状约束在机器学习和科学的许多应用中起着核心作用，包括公制学习，最佳运输和经济学。然而，存在很少的功能模型，以良好的经验性能和理论担保来强制执行PSD-NESS或凸起。在本文中，我们介绍了用于在PSD锥中的值的函数的内核平方模型，其扩展了最近建议编码非负标量函数的内核平方型号。我们为这类PSD函数提供了一个代表性定理，表明它构成了PSD函数的普遍近似器，并在限定的平等约束的情况下导出特征值界限。然后，我们将结果应用于建模凸起函数，通过执行其Hessian的核心量子表示，并表明可以因此表示任何平滑且强凸的功能。最后，我们说明了我们在PSD矩阵值回归任务中的方法以及标准值凸起回归。

In optimization-based approaches to inverse problems and to statistical estimation, it is common to augment the objective with a regularizer to address challenges associated with ill-posedness. The choice of a suitable regularizer is typically driven by prior domain information and computational considerations. Convex regularizers are attractive as they are endowed with certificates of optimality as well as the toolkit of convex analysis, but exhibit a computational scaling that makes them ill-suited beyond moderate-sized problem instances. On the other hand, nonconvex regularizers can often be deployed at scale, but do not enjoy the certification properties associated with convex regularizers. In this paper, we seek a systematic understanding of the power and the limitations of convex regularization by investigating the following questions: Given a distribution, what are the optimal regularizers, both convex and nonconvex, for data drawn from the distribution? What properties of a data source govern whether it is amenable to convex regularization? We address these questions for the class of continuous and positively homogenous regularizers for which convex and nonconvex regularizers correspond, respectively, to convex bodies and star bodies. By leveraging dual Brunn-Minkowski theory, we show that a radial function derived from a data distribution is the key quantity for identifying optimal regularizers and for assessing the amenability of a data source to convex regularization. Using tools such as $\Gamma$-convergence, we show that our results are robust in the sense that the optimal regularizers for a sample drawn from a distribution converge to their population counterparts as the sample size grows large. Finally, we give generalization guarantees that recover previous results for polyhedral regularizers (i.e., dictionary learning) and lead to new ones for semidefinite regularizers.

我们研究了两层神经网络，其领域和范围是具有可分离性的Banach空间。另外，我们假设图像空间配备了部分顺序，即它是Riesz空间。作为非线性，我们选择了取积极部分的晶格操作；如果$ \ Mathbb r^d $可值的神经网络，这对应于Relu激活函数。我们证明了特定类别功能的蒙特卡洛速率的逆近似定理和直接近似定理，从而扩展了有限维情况的现有结果。在本文的第二部分中，我们从正规化理论的角度研究，通过有限数量的嘈杂观测值在潜在空间上进行签名的措施来找到此类功能的最佳表示的问题。我们讨论称为源条件的规律性条件，并在噪声水平均为零并且样本数量以适当的速度为零时，在Bregman距离中获得代表度量的收敛速率。

图像重建算法的稳健性和稳定性最近受到了审查。它们对医学成像的重要性不能被夸大。我们回顾了局部变异正则化策略的已知结果（$ \ ell_2 $和$ \ ell_1 $正则化），并为$ \ ell_p $正规化的线性逆问题提供新的稳定结果，$ p \ in（1，\ infty）$。我们的结果很好地推广到相应的$ L_P（\ Omega）$功能空间。

Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.

了解通过随机梯度下降（SGD）训练的神经网络的特性是深度学习理论的核心。在这项工作中，我们采取了平均场景，并考虑通过SGD培训的双层Relu网络，以实现一个非变量正则化回归问题。我们的主要结果是SGD偏向于简单的解决方案：在收敛时，Relu网络实现输入的分段线性图，以及“结”点的数量 - 即，Relu网络估计器的切线变化的点数 - 在两个连续的训练输入之间最多三个。特别地，随着网络的神经元的数量，通过梯度流的解决方案捕获SGD动力学，并且在收敛时，重量的分布方法接近相关的自由能量的独特最小化器，其具有GIBBS形式。我们的主要技术贡献在于分析了这一最小化器产生的估计器：我们表明其第二阶段在各地消失，除了代表“结”要点的一些特定地点。我们还提供了经验证据，即我们的理论预测的不同可能发生与数据点不同的位置的结。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。