随机梯度下降（SGDA）及其变体一直是解决最小值问题的主力。但是，与研究有差异隐私（DP）约束的经过良好研究的随机梯度下降（SGD）相反，在理解具有DP约束的SGDA的概括（实用程序）方面几乎没有工作。在本文中，我们使用算法稳定性方法在不同的设置中建立DP-SGDA的概括（实用程序）。特别是，对于凸 - 凸环设置，我们证明DP-SGDA可以在平滑和非平滑案例中都可以根据弱原始二元人群风险获得最佳的效用率。据我们所知，这是在非平滑案例中DP-SGDA的第一个已知结果。我们进一步在非convex-rong-concave环境中提供了实用性分析，这是原始人口风险的首个已知结果。即使在非私有设置中，此非convex设置的收敛和概括结果也是新的。最后，进行了数值实验，以证明DP-SGDA在凸和非凸病例中的有效性。

最近，有大量的工作致力于研究马尔可夫链随机梯度方法（MC-SGMS），这些方法主要集中于他们解决最小化问题的收敛分析。在本文中，我们通过统计学习理论框架中的算法稳定性镜头对MC-SGM进行了全面的MC-SGMS分析。对于经验风险最小化（ERM）问题，我们通过引入实用的论点稳定性来建立平稳和非平滑案例的最佳人口风险界限。对于最小值问题，我们建立了在平均参数稳定性和概括误差之间的定量连接，该误差扩展了均匀稳定性\ cite {lei2021Staritibal}的现有结果。我们进一步开发了预期和高概率的凸孔问题问题的第一个几乎最佳的收敛速率，这与我们的稳定性结果相结合，表明可以在平滑和非平滑案例中达到最佳的概括界限。据我们所知，这是对梯度从马尔可夫过程采样时对SGM的首次概括分析。

成对学习是指损失函数取决于一对情况的学习任务。它实例化了许多重要的机器学习任务，如双级排名和度量学习。一种流行的方法来处理成对学习中的流数据是在线梯度下降（OGD）算法，其中需要将当前实例配对以前具有足够大的尺寸的先前实例的电流实例，因此遭受可扩展性问题。在本文中，我们提出了用于成对学习的简单随机和在线梯度下降方法。与现有研究的显着差异是，我们仅将当前实例与前一个构建梯度方向配对，这在存储和计算复杂性中是有效的。我们为凸和非凸起的展示结果，优化和泛化误差界以及平滑和非光滑问题都开发了新颖的稳定性结果，优化和泛化误差界限。我们引入了新颖的技术来解耦模型的依赖性和前一个例子在优化和泛化分析中。我们的研究解决了使用具有非常小的固定尺寸的缓冲集开发OGD的有意义的泛化范围的开放问题。我们还扩展了我们的算法和稳定性分析，以便为成对学习开发差异私有的SGD算法，这显着提高了现有结果。

随机优化在最小化机器学习中的目标功能方面发现了广泛的应用，这激发了许多理论研究以了解其实际成功。大多数现有研究都集中在优化误差的收敛上，而随机优化的概括分析却落后了。在实践中经常遇到的非洞穴和非平滑问题的情况尤其如此。在本文中，我们初始化了对非凸和非平滑问题的随机优化的系统稳定性和概括分析。我们介绍了新型算法稳定性措施，并在人口梯度和经验梯度之间建立了定量联系，然后进一步扩展，以研究经验风险的莫罗（Moreau）膜之间的差距和人口风险的差距。据我们所知，尚未在文献中研究稳定性与概括之间的这些定量联系。我们引入了一类采样确定的算法，为此我们为三种稳定性度量而开发界限。最后，我们将这些讨论应用于随机梯度下降及其自适应变体的误差界限，我们在其中显示如何通过调整步骤大小和迭代次数来实现隐式正则化。

在本文中，通过引入低噪声条件，我们研究了在随机凸出优化（SCO）的环境中，差异私有随机梯度下降（SGD）算法的隐私和效用（概括）表现。对于点心学习，我们建立了订单$ \ Mathcal {o} \ big（\ frac {\ sqrt {\ sqrt {d \ log（1/\ delta）}} {n \ epsilon} \ big）和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \ \ \ \\ \ \ \ \ \ big（\ frac {\ frac {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt { Mathcal {o} \ big（{n^{ - \ frac {1+ \ alpha} {2}}}}}}+\ frac {\ sqrt {d \ log（1/\ delta）}}} ）$（\ epsilon，\ delta）$ - 差异化私有SGD算法，分别是较高的和$ \ alpha $ -h \'分别较旧的光滑损失，其中$ n $是样本尺寸，$ d $是维度。对于成对学习，受\ cite {lei2020sharper，lei2021Generalization}的启发，我们提出了一种基于梯度扰动的简单私人SGD算法，该算法满足$（\ epsilon，\ delta）$ - 差异性限制，并开发出了新颖的私密性，并且算法。特别是，我们证明我们的算法可以实现多余的风险利率$ \ MATHCAL {o} \ big（\ frac {1} {\ sqrt {n}}}+\ frac {\ frac {\ sqrt { delta）}}} {n \ epsilon} \ big）$带有梯度复杂性$ \ mathcal {o}（n）$和$ \ mathcal {o} \ big（n^{\ frac {\ frac {2- \ alpha} {1+ alpha} {1+ \ alpha}}}+n \ big）$，用于强烈平滑和$ \ alpha $ -h \'olde R平滑损失。此外，在低噪声环境中建立了更快的学习率，以实现平滑和非平滑损失。据我们所知，这是第一次实用分析，它提供了超过$ \ Mathcal {o} \ big（\ frac {1} {\ sqrt {\ sqrt {n}}+\ frac {\ sqrt {d sqrt {d \ sqrt {d \ sqrt { log（1/\ delta）}}} {n \ epsilon} \ big）$用于隐私提供成对学习。

Minimax优化已成为许多机器学习（ML）问题的骨干。尽管优化算法的收敛行为已在minimax设置中进行了广泛的研究，但它们在随机环境中的概括保证，即对经验数据训练的解决方案如何在看不见的测试数据上执行，但相对却相对均未被倍增。一个基本问题仍然难以捉摸：研究最小学习者的概括是什么？在本文中，我们的目标是首先证明原始风险是研究最小化中的普遍性的普遍指标，在简单的最小问题示例中失败了。此外，由于鞍点不存在，另一个流行的指标，即原始的双重风险，也无法表征非凸度问题的最小值问题的概括行为。因此，我们提出了一个新的指标，以研究最小学习者的概括：原始差距，以规避这些问题。接下来，我们在非convex-concave设置中得出原始差距的概括范围。作为我们分析的副产品，我们还解决了两个空旷的问题：在强大意义上，建立原始风险和原始偶发风险的概括范围，即没有强大的凹面或假设最大化和期望可以互换，而这些假设中的任何一个都可以互换在文献中需要。最后，我们利用这一新指标比较了两种流行算法的概括行为 - 梯度下降（GDA）和梯度下降 - 最大趋势 - 最小值优化。

我们研究了凸面和非凸面设置的差异私有随机优化。对于凸面的情况，我们专注于非平滑通用线性损耗（GLL）的家庭。我们的$ \ ell_2 $ setting算法在近线性时间内实现了最佳的人口风险，而最知名的差异私有算法在超线性时间内运行。我们的$ \ ell_1 $ setting的算法具有近乎最佳的人口风险$ \ tilde {o} \ big（\ sqrt {\ frac {\ log {n \ log {d}} {n \ varepsilon} \ big）$，以及避免\ Cite {ASI：2021}的尺寸依赖性下限为一般非平滑凸损耗。在差别私有的非凸面设置中，我们提供了几种新算法，用于近似居住的人口风险。对于具有平稳损失和多面体约束的$ \ ell_1 $ tuce，我们提供第一个近乎尺寸的独立速率$ \ tilde o \ big（\ frac {\ log ^ {2/3} {d}} {{（n \ varepsilon）^ {1/3}}} \大）在线性时间。对于具有平滑损耗的约束$ \ ell_2 $ -case，我们获得了速率$ \ tilde o \ big（\ frac {1} {n ^ {1/3}} + \ frac {d ^ { 1/5}} {（n \ varepsilon）^ {2/5}} \ big）$。最后，对于$ \ ell_2 $ -case，我们为{\ em非平滑弱凸}的第一种方法提供了速率$ \ tilde o \ big（\ frac {1} {n ^ {1/4}} + \ FRAC {D ^ {1/6}} {（n \ varepsilon）^ {1/3}} \ big）$，它在$ d = o（\ sqrt {n}）时匹配最好的现有非私有算法$。我们还将上面的所有结果扩展到Non-Convex $ \ ell_2 $ setting到$ \ ell_p $ setting，其中$ 1 <p \ leq 2 $，只有polylogarithmic（维度在尺寸）的速度下。

本文重点介绍了解决光滑非凸强凹入最小问题的随机方法，这导致了由于其深度学习中的潜在应用而受到越来越长的关注（例如，深度AUC最大化，分布鲁棒优化）。然而，大多数现有算法在实践中都很慢，并且它们的分析围绕到几乎静止点的收敛。我们考虑利用Polyak-\ L Ojasiewicz（PL）条件来设计更快的随机算法，具有更强的收敛保证。尽管已经用于设计许多随机最小化算法的PL条件，但它们对非凸敏最大优化的应用仍然罕见。在本文中，我们提出并分析了基于近端的跨越时代的方法的通用框架，许多众所周知的随机更新嵌入。以{\ BF原始物镜差和二元间隙}的方式建立快速收敛。与现有研究相比，（i）我们的分析基于一个新的Lyapunov函数，包括原始物理差距和正则化功能的二元间隙，（ii）结果更加全面，提高了更好的依赖性的速率不同假设下的条件号。我们还开展深层和非深度学习实验，以验证我们的方法的有效性。

成对学习正在接受越来越多的关注，因为它涵盖了许多重要的机器学习任务，例如度量学习，AUC最大化和排名。研究成对学习的泛化行为是重要的。然而，现有的泛化分析主要侧重于凸面的目标函数，使非挖掘学习远远较少。此外，导出用于成对学习的泛化性能的当前学习速率主要是较慢的顺序。通过这些问题的动机，我们研究了非透露成对学习的泛化性能，并提供了改进的学习率。具体而言，我们基于其分析经验风险最小化器，梯度下降和随机梯度下降成对比对学习的不同假设，在不同假设下产生不同均匀的梯度梯度收敛。我们首先在一般的非核心环境中成功地为这些算法建立了学习率，在普通非核心环境中，分析揭示了优化和泛化之间的权衡的见解以及早期停止的作用。然后，我们调查非凸起学习的概括性表现，具有梯度优势曲率状态。在此设置中，我们推出了更快的订单$ \ mathcal {o}（1 / n）$的学习速率，其中$ n $是样本大小。如果最佳人口风险很小，我们进一步将学习率提高到$ \ mathcal {o}（1 / n ^ 2）$，这是我们的知识，是第一个$ \ mathcal {o}（ 1 / n ^ 2）$ - 成对学习的速率类型，无论是凸面还是非渗透学习。总的来说，我们系统地分析了非凸显成对学习的泛化性能。

差异化（DP）随机凸优化（SCO）在可信赖的机器学习算法设计中无处不在。本文研究了DP-SCO问题，该问题是从分布中采样并顺序到达的流媒体数据。我们还考虑了连续发布模型，其中与私人信息相关的参数已在每个新数据（通常称为在线算法）上更新和发布。尽管已经开发了许多算法，以实现不同$ \ ell_p $ norm几何的最佳多余风险，但是没有一个现有的算法可以适应流和持续发布设置。为了解决诸如在线凸优化和隐私保护的挑战，我们提出了一种在线弗兰克 - 沃尔夫算法的私人变体，并带有递归梯度，以减少差异，以更新和揭示每个数据上的参数。结合自适应差异隐私分析，我们的在线算法在线性时间中实现了最佳的超额风险，当$ 1 <p \ leq 2 $和最先进的超额风险达到了非私人较低的风险时，当$ 2 <p \ p \ $ 2 <p \ leq \ infty $。我们的算法也可以扩展到$ p = 1 $的情况，以实现几乎与维度无关的多余风险。虽然先前的递归梯度降低结果仅在独立和分布的样本设置中才具有理论保证，但我们在非平稳环境中建立了这样的保证。为了展示我们方法的优点，我们设计了第一个DP算法，用于具有对数遗憾的高维广义线性土匪。使用多种DP-SCO和DP-Bandit算法的比较实验表现出所提出的算法的功效和实用性。

在本文中，我们提出了一种实用的在线方法，用于解决具有非凸面目标的一类分布稳健优化（DRO），这在机器学习中具有重要应用，以改善神经网络的稳健性。在文献中，大多数用于解决DRO的方法都基于随机原始方法。然而，DRO的原始方法患有几个缺点：（1）操纵对应于数据尺寸的高维双变量是昂贵的; （2）他们对网上学习不友好，其中数据顺序地发表。为了解决这些问题，我们考虑一类具有KL发散正则化的Dual变量的DRO，将MIN-MAX问题转换为组成最小化问题，并提出了无需较大的批量批量的无需线在线随机方法。我们建立了所提出的方法的最先进的复杂性，而无需多达\ L Ojasiewicz（PL）条件。大规模深度学习任务（i）的实证研究表明，我们的方法可以将培训加速超过2次，而不是基线方法，并在带有$ \ SIM $ 265K图像的大型数据集上节省培训时间。 （ii）验证DRO对实证数据集上的经验风险最小化（ERM）的最高表现。独立兴趣，所提出的方法也可用于解决与最先进的复杂性的随机成分问题家族。

在本文中，我们重新审视了私人经验风险最小化（DP-erm）和差异私有随机凸优化（DP-SCO）的问题。我们表明，来自统计物理学（Langevin Exfusion（LD））的经过良好研究的连续时间算法同时为DP-SCO和DP-SCO提供了最佳的隐私/实用性权衡，$ \ epsilon $ -DP和$ $ \ epsilon $ -DP和$ （\ epsilon，\ delta）$ - dp均用于凸和强烈凸损失函数。我们为LD提供新的时间和尺寸独立统一稳定性，并使用我们为$ \ epsilon $ -DP提供相应的最佳超额人口风险保证。 $ \ epsilon $ -DP的DP-SCO保证的一个重要属性是，它们将非私人最佳界限匹配为$ \ epsilon \与\ infty $。在此过程中，我们提供了各种技术工具，这些工具可能引起独立的关注：i）在两个相邻数据集上运行损失功能时，一个新的r \'enyi Divergence绑定了LD，ii）最后一个过多的经验风险范围迭代LD，类似于Shamir和Zhang的嘈杂随机梯度下降（SGD）和iii）的LD，对LD进行了两期多余的风险分析，其中第一阶段是当扩散在任何合理意义上都没有在任何合理意义上融合到固定分布时，在第二阶段扩散已收敛到吉布斯分布的变体。我们的普遍性结果至关重要地依赖于LD的动力学。当它融合到固定分布时，我们获得了$ \ epsilon $ -DP的最佳界限。当它仅在很短的时间内运行$ \ propto 1/p $时，我们在$（\ epsilon，\ delta）$ -DP下获得最佳界限。在这里，$ p $是模型空间的维度。

在本文中，我们研究了非平滑凸函数的私人优化问题$ f（x）= \ mathbb {e} _i f_i（x）$ on $ \ mathbb {r}^d $。我们表明，通过将$ \ ell_2^2 $正规器添加到$ f（x）$并从$ \ pi（x）\ propto \ exp（-k（f（x）+\ mu \ \ | | x \ | _2^2/2））$恢复已知的最佳经验风险和$（\ epsilon，\ delta）$ - dp的已知最佳经验风险和人口损失。此外，我们将展示如何使用$ \ widetilde {o}（n \ min（d，n））$ QUERIES $ QUERIES $ f_i（x）$用于DP-SCO，其中$ n $是示例数/用户和$ d $是环境维度。我们还在评估查询的数量上给出了一个（几乎）匹配的下限$ \ widetilde {\ omega}（n \ min（d，n））$。我们的结果利用以下具有独立感兴趣的工具：（1）如果损失函数强烈凸出并且扰动是Lipschitz，则证明指数机制的高斯差异隐私（GDP）。我们的隐私约束是\ emph {optimal}，因为它包括高斯机制的隐私性，并使用等仪不等式证明了强烈的对数concove措施。 （2）我们展示如何从$ \ exp（-f（x） - \ mu \ | x \ | |^2_2/2）$ g $ -lipschitz $ f $带有$ \ eta $的总变化中的错误（电视）使用$ \ widetilde {o}（（g^2/\ mu）\ log^2（d/\ eta））$无偏查询到$ f（x）$。这是第一个在dimension $ d $和精度$ \ eta $上具有\ emph {polylogarithmic依赖的查询复杂性的采样器。

我们考虑非凸凹minimax问题，$ \ min _ {\ mathbf {x}} \ mathcal {y}} f（\ mathbf {x}，\ mathbf {y}）$， $ f $在$ \ mathbf {x} $ on $ \ mathbf {y} $和$ \ mathcal {y} $中的$ \ \ mathbf {y} $。解决此问题的最受欢迎的算法之一是庆祝的梯度下降上升（GDA）算法，已广泛用于机器学习，控制理论和经济学。尽管凸凹设置的广泛收敛结果，但具有相等步骤的GDA可以收敛以限制循环甚至在一般设置中发散。在本文中，我们介绍了两次尺度GDA的复杂性结果，以解决非膨胀凹入的最小问题，表明该算法可以找到函数$ \ phi（\ cdot）的静止点：= \ max _ {\ mathbf {Y} \ In \ Mathcal {Y}} F（\ CDOT，\ MATHBF {Y}）高效。据我们所知，这是对这一环境中的两次尺度GDA的第一个非因对药分析，阐明了其在培训生成对抗网络（GANS）和其他实际应用中的优越实际表现。

我们提出并分析了算法，以解决用户级差分隐私约束下的一系列学习任务。用户级DP仅保证只保证个人样本的隐私，而是保护用户的整个贡献（$ M \ GE 1 $ Samples），而不是对信息泄漏提供更严格但更现实的保护。我们表明，对于高维平均估计，具有平稳损失，随机凸优化和学习假设类别的经验风险最小化，具有有限度量熵，隐私成本随着用户提供的$ O（1 / \ SQRT {M}）$减少更多样本。相比之下，在增加用户数量$ N $时，隐私成本以较快的价格降低（1 / n）$率。我们将这些结果与下界相提并论，显示了我们算法的最低限度估计和随机凸优化的算法。我们的算法依赖于私有平均估计的新颖技术，其任意维度与误差缩放为浓度半径$ \ tai $的分布而不是整个范围。

在本文中，我们研究了差异化的私人经验风险最小化（DP-erm）。已经表明，随着尺寸的增加，DP-MER的（最坏的）效用会减小。这是私下学习大型机器学习模型的主要障碍。在高维度中，某些模型的参数通常比其他参数更多的信息是常见的。为了利用这一点，我们提出了一个差异化的私有贪婪坐标下降（DP-GCD）算法。在每次迭代中，DP-GCD私人沿梯度（大约）最大条目执行坐标梯度步骤。从理论上讲，DP-GCD可以通过利用问题解决方案的结构特性（例如稀疏性或准方面的）来改善实用性，并在早期迭代中取得非常快速的进展。然后，我们在合成数据集和真实数据集上以数值说明。最后，我们描述了未来工作的有前途的方向。

我们研究了差异私有线性回归的问题，其中每个数据点都是从固定的下高斯样式分布中采样的。我们提出和分析了一个单次迷你批次随机梯度下降法（DP-AMBSSGD），其中每次迭代中的点都在没有替换的情况下进行采样。为DP添加了噪声，但噪声标准偏差是在线估计的。与现有$（\ epsilon，\ delta）$ - 具有子最佳错误界限的DP技术相比，DP-AMBSSGD能够在关键参数（如多维参数）（如多维参数）等方面提供几乎最佳的错误范围$，以及观测值的噪声的标准偏差$ \ sigma $。例如，当对$ d $二维的协变量进行采样时。从正常分布中，然后由于隐私而引起的DP-AMBSSGD的多余误差为$ \ frac {\ sigma^2 d} {n} {n}（1+ \ frac {d} {\ epsilon^2 n}）$，即当样本数量$ n = \ omega（d \ log d）$，这是线性回归的标准操作制度时，错误是有意义的。相比之下，在此设置中现有有效方法的错误范围为：$ \ mathcal {o} \ big（\ frac {d^3} {\ epsilon^2 n^2} \ big）$，即使是$ \ sigma = 0 $。也就是说，对于常量的$ \ epsilon $，现有技术需要$ n = \ omega（d \ sqrt {d}）$才能提供非平凡的结果。

最近已经建立了近似稳定的学习算法的指数概括范围。但是，统一稳定性的概念是严格的，因为它是数据生成分布不变的。在稳定性的较弱和分布依赖性的概念下，例如假设稳定性和$ L_2 $稳定性，文献表明，在一般情况下，只有多项式概括界限是可能的。本文解决了这两个结果方案之间的长期紧张关系，并在融合信心的经典框架内取得了进步。为此，我们首先建立了一个预测的第一刻，通用错误限制了具有$ l_2 $稳定性的潜在随机学习算法，然后我们证明了一个正确设计的subbagagging流程会导致几乎紧密的指数概括性限制在上面数据和算法的随机性。我们将这些通用结果进一步实质性地将随机梯度下降（SGD）实现，以提高凸或非凸优化的高概率概括性范围，而自然时间衰减的学习速率则可以通过现有的假设稳定性或均匀的假设稳定性来证明这一点。基于稳定的结果。

当算法的内部状态\ emph {private}时，迭代随机学习算法的信息泄漏是什么？每个特定培训时期对通过已发布的模型泄漏的贡献是多少？我们研究了此问题的嘈杂梯度下降算法，并在整个训练过程中对r \'enyi差异隐私损失的\ emph {dynamics}进行建模。我们的分析跟踪了\ emph {tigh}绑定在r \'enyi差异上的一对概率分布之间的差异，而不是在相邻数据集中训练的模型的参数。我们证明，隐私损失对平稳且强烈凸出的损失函数的呈指数呈指数收敛，这是对组成定理的显着改进（通过在所有中间梯度计算中，其总价值高于其总价值来过度估计隐私损失）。对于Lipschitz，光滑且强烈凸出的损失功能，我们证明了最佳效用，具有较小的梯度复杂性，用于嘈杂的梯度下降算法。

梯度下降上升（GDA），最简单的单环路算法用于非凸起最小化优化，广泛用于实际应用，例如生成的对抗网络（GANS）和对抗性训练。尽管其理想的简单性，最近的工作表明了理论上的GDA的较差收敛率，即使在一侧对象的强凹面也是如此。本文为两个替代的单环算法建立了新的收敛结果 - 交替GDA和平滑GDA - 在温和的假设下，目标对一个变量的polyak-lojasiewicz（pl）条件满足Polyak-lojasiewicz（pl）条件。我们证明，找到一个$ \ epsilon $ -stationary点，（i）交替的GDA及其随机变体（没有迷你批量），分别需要$ o（\ kappa ^ {2} \ epsilon ^ { - 2}）$和$ o（\ kappa ^ {4} \ epsilon ^ {-4}）$迭代，而（ii）平滑gda及其随机变体（没有迷你批次）分别需要$ o（\ kappa \ epsilon ^ { - 2}） $和$ o（\ kappa ^ {2} \ epsilon ^ { - 4}）$迭代。后者大大改善了Vanilla GDA，并在类似的环境下给出了单环算法之间的最佳已知复杂性结果。我们进一步展示了这些算法在训练GAN和强大的非线性回归中的经验效率。