限制机器学习系统的故障对于安全至关重要的应用至关重要。为了提高机器学习系统的鲁棒性，已提出了分配鲁棒优化（DRO）作为经验风险最小化（ERM）的概括。然而，由于与ERM的随机梯度下降（SGD）优化器相比，由于可用于DRO的优化器的相对效率相对效率相对低效率，因此在深度学习中的使用受到了严格的限制。我们建议使用硬度加权采样的SGD，这是机器学习中DRO的原则性高效优化方法，在深度学习的背景下特别适合。与实践中的硬示例挖掘策略类似，所提出的算法可以直接实施和计算，并且与用于深度学习的基于SGD的优化器一样有效，需要最小的开销计算。与典型的临时硬采矿方法相反，我们证明了我们的DRO算法的收敛性，用于过度参数化的深度学习网络，并具有RELU激活以及有限数量的层和参数。我们对MRI中胎儿脑3D MRI分割和脑肿瘤分割的实验证明了我们方法的可行性和有用性。使用我们的硬度加权采样进行训练，最先进的深度学习管道可改善自动胎儿脑中解剖学变异的鲁棒性3D MRI分割，并改善了对脑肿瘤分割的图像方案变化的鲁棒性。我们的代码可从https://github.com/lucasfidon/hardnessweightedsampler获得。

医学图像分割的深度学习模型可能会出乎意料地且出乎意料地失败，而与训练图像相比，在不同中心获得的病理案例和图像，标签错误违反了专家知识。此类错误破坏了对医学图像细分的深度学习模型的可信赖性。检测和纠正此类故障的机制对于将该技术安全地转化为诊所至关重要，并且可能是对未来人工智能法规（AI）的要求。在这项工作中，我们提出了一个值得信赖的AI理论框架和一个实用系统，该系统可以使用后备方法和基于Dempster-Shafer理论的失败机制增强任何骨干AI系统。我们的方法依赖于可信赖的AI的可行定义。我们的方法会自动放弃由骨干AI预测的体素级标签，该标签违反了专家知识，并依赖于这些体素的后备。我们证明了拟议的值得信赖的AI方法在最大的报告的胎儿MRI的注释数据集中，由13个中心的540个手动注释的胎儿脑3D T2W MRI组成。我们值得信赖的AI方法改善了在各个中心获得的胎儿脑MRI和各种脑异常的胎儿的最先进的主链AI的鲁棒性。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

在本文中，我们重新审视了私人经验风险最小化（DP-erm）和差异私有随机凸优化（DP-SCO）的问题。我们表明，来自统计物理学（Langevin Exfusion（LD））的经过良好研究的连续时间算法同时为DP-SCO和DP-SCO提供了最佳的隐私/实用性权衡，$ \ epsilon $ -DP和$ $ \ epsilon $ -DP和$ （\ epsilon，\ delta）$ - dp均用于凸和强烈凸损失函数。我们为LD提供新的时间和尺寸独立统一稳定性，并使用我们为$ \ epsilon $ -DP提供相应的最佳超额人口风险保证。 $ \ epsilon $ -DP的DP-SCO保证的一个重要属性是，它们将非私人最佳界限匹配为$ \ epsilon \与\ infty $。在此过程中，我们提供了各种技术工具，这些工具可能引起独立的关注：i）在两个相邻数据集上运行损失功能时，一个新的r \'enyi Divergence绑定了LD，ii）最后一个过多的经验风险范围迭代LD，类似于Shamir和Zhang的嘈杂随机梯度下降（SGD）和iii）的LD，对LD进行了两期多余的风险分析，其中第一阶段是当扩散在任何合理意义上都没有在任何合理意义上融合到固定分布时，在第二阶段扩散已收敛到吉布斯分布的变体。我们的普遍性结果至关重要地依赖于LD的动力学。当它融合到固定分布时，我们获得了$ \ epsilon $ -DP的最佳界限。当它仅在很短的时间内运行$ \ propto 1/p $时，我们在$（\ epsilon，\ delta）$ -DP下获得最佳界限。在这里，$ p $是模型空间的维度。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

转移学习或域适应性与机器学习问题有关，在这些问题中，培训和测试数据可能来自可能不同的概率分布。在这项工作中，我们在Russo和Xu发起的一系列工作之后，就通用错误和转移学习算法的过量风险进行了信息理论分析。我们的结果也许表明，也许正如预期的那样，kullback-leibler（kl）Divergence $ d（\ mu || \ mu'）$在$ \ mu $和$ \ mu'$表示分布的特征中起着重要作用。培训数据和测试测试。具体而言，我们为经验风险最小化（ERM）算法提供了概括误差上限，其中两个分布的数据在训练阶段都可用。我们进一步将分析应用于近似的ERM方法，例如Gibbs算法和随机梯度下降方法。然后，我们概括了与$ \ phi $ -Divergence和Wasserstein距离绑定的共同信息。这些概括导致更紧密的范围，并且在$ \ mu $相对于$ \ mu' $的情况下，可以处理案例。此外，我们应用了一套新的技术来获得替代的上限，该界限为某些学习问题提供了快速（最佳）的学习率。最后，受到派生界限的启发，我们提出了Infoboost算法，其中根据信息测量方法对源和目标数据的重要性权重进行了调整。经验结果表明了所提出的算法的有效性。

清晰度感知最小化（SAM）是一种最近的训练方法，它依赖于最严重的重量扰动，可显着改善各种环境中的概括。我们认为，基于pac-bayes概括结合的SAM成功的现有理由，而收敛到平面最小值的想法是不完整的。此外，没有解释说在SAM中使用$ m $ sharpness的成功，这对于概括而言至关重要。为了更好地理解SAM的这一方面，我们理论上分析了其对角线性网络的隐式偏差。我们证明，SAM总是选择一种比标准梯度下降更好的解决方案，用于某些类别的问题，并且通过使用$ m $ -sharpness可以放大这种效果。我们进一步研究了隐性偏见在非线性网络上的特性，在经验上，我们表明使用SAM进行微调的标准模型可以导致显着的概括改进。最后，当与随机梯度一起使用时，我们为非凸目标提供了SAM的收敛结果。我们从经验上说明了深层网络的这些结果，并讨论了它们与SAM的概括行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

数据驱动决策的经验风险最小化方法假设我们可以从与我们想要在下面部署的条件相同的条件下绘制的数据中学习决策规则。但是，在许多设置中，我们可能会担心我们的培训样本是有偏见的，并且某些组（以可观察或无法观察到的属性为特征）可能相对于一般人群而言是不足或代表过多的；在这种情况下，对培训集的经验风险最小化可能无法产生在部署时表现良好的规则。我们基于分配强大的优化和灵敏度分析的概念，我们提出了一种学习决策规则的方法，该方法将在测试分布家族的家庭中最小化最糟糕的案例风险，其有条件的结果分布$ y $ y $ y $ y $ x $有所不同有条件的训练分布最多是一个恒定因素，并且相对于训练数据的协变量分布，其协变量分布绝对是连续的。我们应用Rockafellar和Uryasev的结果表明，此问题等同于增强的凸风险最小化问题。我们提供了使用筛子的方法来学习健壮模型的统计保证，并提出了一种深度学习算法，其损失函数捕获了我们的稳健性目标。我们从经验上验证了我们在模拟中提出的方法和使用MIMIC-III数据集的案例研究。

We show that parametric models trained by a stochastic gradient method (SGM) with few iterations have vanishing generalization error. We prove our results by arguing that SGM is algorithmically stable in the sense of Bousquet and Elisseeff. Our analysis only employs elementary tools from convex and continuous optimization. We derive stability bounds for both convex and non-convex optimization under standard Lipschitz and smoothness assumptions.Applying our results to the convex case, we provide new insights for why multiple epochs of stochastic gradient methods generalize well in practice. In the non-convex case, we give a new interpretation of common practices in neural networks, and formally show that popular techniques for training large deep models are indeed stability-promoting. Our findings conceptually underscore the importance of reducing training time beyond its obvious benefit.

We consider the constrained sampling problem where the goal is to sample from a distribution $\pi(x)\propto e^{-f(x)}$ and $x$ is constrained on a convex body $\mathcal{C}\subset \mathbb{R}^d$. Motivated by penalty methods from optimization, we propose penalized Langevin Dynamics (PLD) and penalized Hamiltonian Monte Carlo (PHMC) that convert the constrained sampling problem into an unconstrained one by introducing a penalty function for constraint violations. When $f$ is smooth and the gradient is available, we show $\tilde{\mathcal{O}}(d/\varepsilon^{10})$ iteration complexity for PLD to sample the target up to an $\varepsilon$-error where the error is measured in terms of the total variation distance and $\tilde{\mathcal{O}}(\cdot)$ hides some logarithmic factors. For PHMC, we improve this result to $\tilde{\mathcal{O}}(\sqrt{d}/\varepsilon^{7})$ when the Hessian of $f$ is Lipschitz and the boundary of $\mathcal{C}$ is sufficiently smooth. To our knowledge, these are the first convergence rate results for Hamiltonian Monte Carlo methods in the constrained sampling setting that can handle non-convex $f$ and can provide guarantees with the best dimension dependency among existing methods with deterministic gradients. We then consider the setting where unbiased stochastic gradients are available. We propose PSGLD and PSGHMC that can handle stochastic gradients without Metropolis-Hasting correction steps. When $f$ is strongly convex and smooth, we obtain an iteration complexity of $\tilde{\mathcal{O}}(d/\varepsilon^{18})$ and $\tilde{\mathcal{O}}(d\sqrt{d}/\varepsilon^{39})$ respectively in the 2-Wasserstein distance. For the more general case, when $f$ is smooth and non-convex, we also provide finite-time performance bounds and iteration complexity results. Finally, we test our algorithms on Bayesian LASSO regression and Bayesian constrained deep learning problems.

Spectral risk objectives - also called $L$-risks - allow for learning systems to interpolate between optimizing average-case performance (as in empirical risk minimization) and worst-case performance on a task. We develop stochastic algorithms to optimize these quantities by characterizing their subdifferential and addressing challenges such as biasedness of subgradient estimates and non-smoothness of the objective. We show theoretically and experimentally that out-of-the-box approaches such as stochastic subgradient and dual averaging are hindered by bias and that our approach outperforms them.

尽管过度参数化的模型已经在许多机器学习任务上表现出成功，但与培训不同的测试分布的准确性可能会下降。这种准确性下降仍然限制了在野外应用机器学习的限制。同时，重要的加权是一种处理分配转移的传统技术，已被证明在经验和理论上对过度参数化模型的影响较小甚至没有影响。在本文中，我们提出了重要的回火来改善决策界限，并为过度参数化模型取得更好的结果。从理论上讲，我们证明在标签移位和虚假相关设置下，组温度的选择可能不同。同时，我们还证明正确选择的温度可以解脱出少数群体崩溃的分类不平衡。从经验上讲，我们使用重要性回火来实现最严重的小组分类任务的最新结果。

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activations and confirm the statistical benefits of this implicit bias.

随机梯度下降（SGDA）及其变体一直是解决最小值问题的主力。但是，与研究有差异隐私（DP）约束的经过良好研究的随机梯度下降（SGD）相反，在理解具有DP约束的SGDA的概括（实用程序）方面几乎没有工作。在本文中，我们使用算法稳定性方法在不同的设置中建立DP-SGDA的概括（实用程序）。特别是，对于凸 - 凸环设置，我们证明DP-SGDA可以在平滑和非平滑案例中都可以根据弱原始二元人群风险获得最佳的效用率。据我们所知，这是在非平滑案例中DP-SGDA的第一个已知结果。我们进一步在非convex-rong-concave环境中提供了实用性分析，这是原始人口风险的首个已知结果。即使在非私有设置中，此非convex设置的收敛和概括结果也是新的。最后，进行了数值实验，以证明DP-SGDA在凸和非凸病例中的有效性。

在本文中，我们提出了一种实用的在线方法，用于解决具有非凸面目标的一类分布稳健优化（DRO），这在机器学习中具有重要应用，以改善神经网络的稳健性。在文献中，大多数用于解决DRO的方法都基于随机原始方法。然而，DRO的原始方法患有几个缺点：（1）操纵对应于数据尺寸的高维双变量是昂贵的; （2）他们对网上学习不友好，其中数据顺序地发表。为了解决这些问题，我们考虑一类具有KL发散正则化的Dual变量的DRO，将MIN-MAX问题转换为组成最小化问题，并提出了无需较大的批量批量的无需线在线随机方法。我们建立了所提出的方法的最先进的复杂性，而无需多达\ L Ojasiewicz（PL）条件。大规模深度学习任务（i）的实证研究表明，我们的方法可以将培训加速超过2次，而不是基线方法，并在带有$ \ SIM $ 265K图像的大型数据集上节省培训时间。 （ii）验证DRO对实证数据集上的经验风险最小化（ERM）的最高表现。独立兴趣，所提出的方法也可用于解决与最先进的复杂性的随机成分问题家族。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。