在插值方面，我们为平滑损失（可能是非lipschitz，可能是非convex）提供了急剧依赖路径依赖的概括和多余的风险保证。我们分析的核心是确定性对称算法绑定的新的概括误差，这意味着平均输出稳定性和终止时有界的预期优化误差导致概括。该结果表明，沿着优化路径发生小的概括误差，并使我们能够绕过Lipschitz或以前作品中普遍存在的损失的假设。对于非convex，polyak-lojasiewicz（PL），凸面和强烈凸丢失，我们在累积的路径依赖性优化误差，终端优化误差，样本数量和迭代数方面显示了概括误差的明确依赖性。 For nonconvex smooth losses, we prove that full-batch GD efficiently generalizes close to any stationary point at termination, under the proper choice of a decreasing step size.此外，如果损失是非convex但目标是PL，我们将在概括误差和相应的多余风险上四次消失，以选择大型常数步长大小。对于（分别 - 强 - ）凸平的平滑损失，我们证明，全批GD还概括了较大的恒定步骤尺寸，并且在快速训练的同时，（分别是四次）的多余风险。在所有情况下，我们通过显示匹配的概括和优化错误率来缩小概括误差差距。当损失平稳时（但可能是非lipschitz）时，我们的全批GD概括误差和多余的风险界限严格比（随机）GD的现有范围更紧密。

最新工作的一条有影响力的线重点关注的是针对可分离的线性分类的非规范梯度学习程序的泛化特性，并具有指数级的损失函数。这种方法概括地概括的能力归因于它们对大幅度预测指标的隐含偏见，无论是渐近的还是有限的时间。我们为此概括提供了另一个统一的解释，并将其与优化目标的两个简单属性相关联，我们将其称为可实现性和自我限制性。我们介绍了通过这些特性的不受约束随机凸优化的一般设置，并通过算法稳定性镜头分析梯度方法的概括。在这种更广泛的环境中，我们获得了梯度下降和随机梯度下降的尖锐稳定性边界，这些梯度下降即使适用于大量梯度步骤，并使用它们来得出这些算法的通用泛化界限。最后，作为一般边界的直接应用，我们返回使用可分离数据的线性分类设置，并为梯度下降和随机梯度下降建立了几种新颖的测试损失和测试精度界限，用于各种尾巴衰减速率的多种损耗函数。在某些情况下，我们的界限显着改善了文献中现有的概括误差界限。

我们研究随机梯度下降（SGD）在多大程度上被理解为“常规”学习规则，该规则通过获得良好的培训数据来实现概括性能。我们考虑基本的随机凸优化框架，其中（一通道，无需替代）SGD在经典上是众所周知的，可以最大程度地降低人口风险，以$ o（1/\ sqrt n）$ $ O（1/\ sqrt n）$，并且出人意料地证明，存在问题实例SGD解决方案既表现出$ \ omega（1）$的经验风险和概括差距。因此，事实证明，从任何意义上讲，SGD在算法上都不是稳定的，并且其概括能力不能通过均匀的收敛性或任何其他当前已知的概括性结合技术来解释（除了其经典分析外）。然后，我们继续分析与替代SGD密切相关的相关性，为此我们表明不会发生类似现象，并证明其人口风险实际上确实以最佳速度融合。最后，我们在没有替换SGD的背景下解释了我们的主要结果，用于有限的和凸优化问题，并得出多上类别制度的上限和下限，从而在先前已知的结果上有了显着改善。

最近已经建立了近似稳定的学习算法的指数概括范围。但是，统一稳定性的概念是严格的，因为它是数据生成分布不变的。在稳定性的较弱和分布依赖性的概念下，例如假设稳定性和$ L_2 $稳定性，文献表明，在一般情况下，只有多项式概括界限是可能的。本文解决了这两个结果方案之间的长期紧张关系，并在融合信心的经典框架内取得了进步。为此，我们首先建立了一个预测的第一刻，通用错误限制了具有$ l_2 $稳定性的潜在随机学习算法，然后我们证明了一个正确设计的subbagagging流程会导致几乎紧密的指数概括性限制在上面数据和算法的随机性。我们将这些通用结果进一步实质性地将随机梯度下降（SGD）实现，以提高凸或非凸优化的高概率概括性范围，而自然时间衰减的学习速率则可以通过现有的假设稳定性或均匀的假设稳定性来证明这一点。基于稳定的结果。

最尖锐的已知高概率泛化界限均匀稳定的算法（Feldman，Vondr \'{A} K，2018,2010），（Bousquet，Klochkov，Jhivotovskiy，2020）包含一般不可避免的采样误差术语，订单$ \ Theta（1 / \ sqrt {n}）$。当应用于过度的风险范围时，这导致次优导致在几个标准随机凸优化问题中。我们表明，如果满足所谓的伯尔斯坦状况，则可以避免术语$ \θ（1 / \ sqrt {n}）$，并且高达$ o（1 / n）$的高概率过剩风险范围通过均匀的稳定性是可能的。使用此结果，我们展示了高概率过度的风险，其速率为O $ O（\ log n / n）$的强大凸，Lipschitz损失为\ emph {任何}经验风险最小化方法。这解决了Shalev-Shwartz，Shamir，Srebro和Sridharan（2009）的问题。我们讨论如何（\ log n / n）$高概率过度风险缩小，在没有通常的平滑度的情况下强烈凸起和嘴唇损耗的情况下，可能的梯度下降可能是可能的。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

在机器学习通常与优化通过训练数据定义实证目标的最小化交易。然而，学习的最终目的是尽量减少对未来的数据错误（测试误差），为此，训练数据只提供部分信息。这种观点认为，是实际可行的优化问题是基于不准确的数量在本质上是随机的。在本文中，我们显示了如何概率的结果，特别是浓度梯度，可以用来自不精确优化结果来导出尖锐测试误差保证组合。通过考虑无约束的目标，我们强调优化隐含正规化性学习。

尽管已经取得了重大的理论进步，但揭示了过度参数化神经网络的概括之谜仍然难以捉摸。在本文中，我们通过利用算法稳定性的概念来研究浅神经网络（SNN）的概括行为。我们考虑梯度下降（GD）和随机梯度下降（SGD）来训练SNN，因为这两者都通过通过早期停止来平衡优化和概括来发展一致的多余风险范围。与现有的GD分析相比，我们的新分析需要放松的过度参数化假设，并且还适用于SGD。改进的关键是更好地估计经验风险的Hessian矩阵的最小特征值，以及通过提供对其迭代材料的精制估计，沿GD和SGD的轨迹沿GD和SGD的轨迹进行了更好的估计。

当数据自然分配到通过基础图的代理商之间，分散学习提供了隐私和沟通效率。通过过度参数化的学习设置，在该设置中，在该设置中训练了零训练损失，我们研究了分散学习的分散学习算法和概括性能，并在可分离的数据上下降。具体而言，对于分散的梯度下降（DGD）和各种损失函数，在无穷大（包括指数损失和逻辑损失）中渐近为零，我们得出了新的有限时间泛化界限。这补充了一长串最近的工作，该工作研究了概括性能和梯度下降的隐含偏见，而不是可分离的数据，但迄今为止，梯度下降的偏见仅限于集中学习方案。值得注意的是，我们的概括范围匹配其集中式同行。这背后的关键和独立感兴趣的是，在一类自我结合的损失方面建立了关于训练损失和DGD的传记率的新界限。最后，在算法方面，我们设计了改进的基于梯度的例程，可分离数据，并在经验上证明了训练和概括性能方面的加速命令。

成对学习正在接受越来越多的关注，因为它涵盖了许多重要的机器学习任务，例如度量学习，AUC最大化和排名。研究成对学习的泛化行为是重要的。然而，现有的泛化分析主要侧重于凸面的目标函数，使非挖掘学习远远较少。此外，导出用于成对学习的泛化性能的当前学习速率主要是较慢的顺序。通过这些问题的动机，我们研究了非透露成对学习的泛化性能，并提供了改进的学习率。具体而言，我们基于其分析经验风险最小化器，梯度下降和随机梯度下降成对比对学习的不同假设，在不同假设下产生不同均匀的梯度梯度收敛。我们首先在一般的非核心环境中成功地为这些算法建立了学习率，在普通非核心环境中，分析揭示了优化和泛化之间的权衡的见解以及早期停止的作用。然后，我们调查非凸起学习的概括性表现，具有梯度优势曲率状态。在此设置中，我们推出了更快的订单$ \ mathcal {o}（1 / n）$的学习速率，其中$ n $是样本大小。如果最佳人口风险很小，我们进一步将学习率提高到$ \ mathcal {o}（1 / n ^ 2）$，这是我们的知识，是第一个$ \ mathcal {o}（ 1 / n ^ 2）$ - 成对学习的速率类型，无论是凸面还是非渗透学习。总的来说，我们系统地分析了非凸显成对学习的泛化性能。

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

成对学习是指损失函数取决于一对情况的学习任务。它实例化了许多重要的机器学习任务，如双级排名和度量学习。一种流行的方法来处理成对学习中的流数据是在线梯度下降（OGD）算法，其中需要将当前实例配对以前具有足够大的尺寸的先前实例的电流实例，因此遭受可扩展性问题。在本文中，我们提出了用于成对学习的简单随机和在线梯度下降方法。与现有研究的显着差异是，我们仅将当前实例与前一个构建梯度方向配对，这在存储和计算复杂性中是有效的。我们为凸和非凸起的展示结果，优化和泛化误差界以及平滑和非光滑问题都开发了新颖的稳定性结果，优化和泛化误差界限。我们引入了新颖的技术来解耦模型的依赖性和前一个例子在优化和泛化分析中。我们的研究解决了使用具有非常小的固定尺寸的缓冲集开发OGD的有意义的泛化范围的开放问题。我们还扩展了我们的算法和稳定性分析，以便为成对学习开发差异私有的SGD算法，这显着提高了现有结果。

最近，有大量的工作致力于研究马尔可夫链随机梯度方法（MC-SGMS），这些方法主要集中于他们解决最小化问题的收敛分析。在本文中，我们通过统计学习理论框架中的算法稳定性镜头对MC-SGM进行了全面的MC-SGMS分析。对于经验风险最小化（ERM）问题，我们通过引入实用的论点稳定性来建立平稳和非平滑案例的最佳人口风险界限。对于最小值问题，我们建立了在平均参数稳定性和概括误差之间的定量连接，该误差扩展了均匀稳定性\ cite {lei2021Staritibal}的现有结果。我们进一步开发了预期和高概率的凸孔问题问题的第一个几乎最佳的收敛速率，这与我们的稳定性结果相结合，表明可以在平滑和非平滑案例中达到最佳的概括界限。据我们所知，这是对梯度从马尔可夫过程采样时对SGM的首次概括分析。

我们考虑设计统一稳定的一阶优化算法以最小化的问题。统一的稳定性通常用于获得优化算法的概括误差范围，我们对实现它的一般方法感兴趣。对于欧几里得的几何形状，我们建议采用黑盒转换，给定平滑的优化算法，它产生了算法的均匀稳定版本，同时将其收敛速率保持在对数因素上。使用此减少，我们获得了一种（几乎）最佳算法，以平滑优化，并通过收敛速率$ \ widetilde {o}（1/t^2）$和均匀的稳定性$ O（t^2/n）$，解决一个开放的问题Chen等。（2018）;阿蒂亚和科伦（2021）。对于更一般的几何形状，我们开发了一种镜下下降的变体，以平滑优化，收敛速率$ \ widetilde {o}（1/t）$和统一的稳定性$ O（t/n）$（t/n）$，留下了开放的问题转换方法如欧几里得情况。

我们的目标是使随机梯度$ \ sigma^2 $在随机梯度和（ii）问题依赖性常数中自适应（i）自适应。当最大程度地减少条件编号$ \ kappa $的平滑，强大的功能时，我们证明，$ t $ t $ toerations sgd的$ t $ toerations sgd具有指数降低的阶跃尺寸和对平滑度的知识可以实现$ \ tilde {o} \ left（\ exp） \ left（\ frac {-t} {\ kappa} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而又不知道$ \ sigma^2 $。为了适应平滑度，我们使用随机线路搜索（SLS）并显示（通过上下距离），其SGD的SGD与SLS以所需的速率收敛，但仅针对溶液的邻域。另一方面，我们证明具有平滑度的离线估计值的SGD会收敛到最小化器。但是，其速率与估计误差成正比的速度减慢。接下来，我们证明具有Nesterov加速度和指数步骤尺寸（称为ASGD）的SGD可以实现接近最佳的$ \ tilde {o} \ left（\ exp \ left（\ frac {-t} {-t} {\ sqrt {\ sqrt {\ sqrt { \ kappa}}} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而无需$ \ sigma^2 $。当与平滑度和强频率的离线估计值一起使用时，ASGD仍会收敛到溶液，尽管速度较慢。我们从经验上证明了指数级尺寸的有效性以及新型SLS的变体。

尽管学习神经网络的优化目标是高度非凸，但基于梯度的方法在实践中学习神经网络方面取得了成功。这种并置导致了许多有关梯度下降训练的神经网络的可证明保证的研究。不幸的是，这些作品中的技术通常是针对每个问题中特定设置的高度特异性的，因此很难在不同的设置上概括。为了解决文献中的这一缺点，我们提出了一个统一的非凸优化框架，用于分析神经网络培训。我们介绍了代理凸度和代理polyak-lojasiewicz（PL）不平等的概念，如果原始目标函数诱导了使用梯度方法时隐含最小化的代理目标函数，则可以满足它们。我们表明，在满足代理凸度的目标或代理不平等的目标上的梯度下降可为代理目标函数提供有效的保证。我们进一步表明，通过代理凸性和代理不平等现象，可以统一通过梯度下降训练的神经网络的许多现有保证。

在本文中，通过引入低噪声条件，我们研究了在随机凸出优化（SCO）的环境中，差异私有随机梯度下降（SGD）算法的隐私和效用（概括）表现。对于点心学习，我们建立了订单$ \ Mathcal {o} \ big（\ frac {\ sqrt {\ sqrt {d \ log（1/\ delta）}} {n \ epsilon} \ big）和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \ \ \ \\ \ \ \ \ \ big（\ frac {\ frac {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt { Mathcal {o} \ big（{n^{ - \ frac {1+ \ alpha} {2}}}}}}+\ frac {\ sqrt {d \ log（1/\ delta）}}} ）$（\ epsilon，\ delta）$ - 差异化私有SGD算法，分别是较高的和$ \ alpha $ -h \'分别较旧的光滑损失，其中$ n $是样本尺寸，$ d $是维度。对于成对学习，受\ cite {lei2020sharper，lei2021Generalization}的启发，我们提出了一种基于梯度扰动的简单私人SGD算法，该算法满足$（\ epsilon，\ delta）$ - 差异性限制，并开发出了新颖的私密性，并且算法。特别是，我们证明我们的算法可以实现多余的风险利率$ \ MATHCAL {o} \ big（\ frac {1} {\ sqrt {n}}}+\ frac {\ frac {\ sqrt { delta）}}} {n \ epsilon} \ big）$带有梯度复杂性$ \ mathcal {o}（n）$和$ \ mathcal {o} \ big（n^{\ frac {\ frac {2- \ alpha} {1+ alpha} {1+ \ alpha}}}+n \ big）$，用于强烈平滑和$ \ alpha $ -h \'olde R平滑损失。此外，在低噪声环境中建立了更快的学习率，以实现平滑和非平滑损失。据我们所知，这是第一次实用分析，它提供了超过$ \ Mathcal {o} \ big（\ frac {1} {\ sqrt {\ sqrt {n}}+\ frac {\ sqrt {d sqrt {d \ sqrt {d \ sqrt { log（1/\ delta）}}} {n \ epsilon} \ big）$用于隐私提供成对学习。

我们调查随机镜面下降（SMD）的趋同相对光滑和平滑凸优化。在相对平滑的凸优化中，我们为SMD提供了新的收敛保证，并持续步骤。对于平滑的凸优化，我们提出了一种新的自适应步骤方案 - 镜子随机Polyak Spectize（MSP）。值得注意的是，我们的收敛导致两个设置都不会使有界渐变假设或有界方差假设，并且我们向邻域显示在插值下消失的邻居的融合。MSP概括了最近提出的随机Polyak Spectize（SPS）（Loizou等，2021）以镜子血液镜子，并且在继承镜子血清的好处的同时，现代机器学习应用仍然是实用和高效的。我们将我们的结果与各种监督的学习任务和SMD的不同实例相结合，展示了MSP的有效性。

在本文中，我们重新审视了私人经验风险最小化（DP-erm）和差异私有随机凸优化（DP-SCO）的问题。我们表明，来自统计物理学（Langevin Exfusion（LD））的经过良好研究的连续时间算法同时为DP-SCO和DP-SCO提供了最佳的隐私/实用性权衡，$ \ epsilon $ -DP和$ $ \ epsilon $ -DP和$ （\ epsilon，\ delta）$ - dp均用于凸和强烈凸损失函数。我们为LD提供新的时间和尺寸独立统一稳定性，并使用我们为$ \ epsilon $ -DP提供相应的最佳超额人口风险保证。 $ \ epsilon $ -DP的DP-SCO保证的一个重要属性是，它们将非私人最佳界限匹配为$ \ epsilon \与\ infty $。在此过程中，我们提供了各种技术工具，这些工具可能引起独立的关注：i）在两个相邻数据集上运行损失功能时，一个新的r \'enyi Divergence绑定了LD，ii）最后一个过多的经验风险范围迭代LD，类似于Shamir和Zhang的嘈杂随机梯度下降（SGD）和iii）的LD，对LD进行了两期多余的风险分析，其中第一阶段是当扩散在任何合理意义上都没有在任何合理意义上融合到固定分布时，在第二阶段扩散已收敛到吉布斯分布的变体。我们的普遍性结果至关重要地依赖于LD的动力学。当它融合到固定分布时，我们获得了$ \ epsilon $ -DP的最佳界限。当它仅在很短的时间内运行$ \ propto 1/p $时，我们在$（\ epsilon，\ delta）$ -DP下获得最佳界限。在这里，$ p $是模型空间的维度。

在本文中，我们提出了一种针对SGD轨迹的新覆盖技术。该定位提供了一种算法特异性的复杂性，该复杂性通过覆盖数来衡量，与标准均匀覆盖的参数相比，该范围独立于维度的基数，从而导致指数尺寸依赖性。基于这种本地化结构，我们表明，如果目标函数是分段的有限扰动，则用$ p $零件强烈凸出和光滑的功能，即非convex和非平滑词，则概括性误差可以由上限。 $ o（\ sqrt {（\ log n \ log（np））/n}）$，其中$ n $是数据示例的数量。特别是，此速率与维度无关，并且不需要尽早停止和衰减的步骤。最后，我们在各种环境中采用这些结果，并为多级线性模型，多级支持向量机和$ k $ - 均值聚类用于硬和软标签设置，并改善已知的最先进的范围，从而改善了已知的最先进的， - 阿尔特费率。