基于梯度的高参数调整的优化方法可确保理论收敛到固定解决方案时，对于固定的上层变量值，双光线程序的下层级别强烈凸（LLSC）和平滑（LLS）。对于在许多机器学习算法中调整超参数引起的双重程序，不满足这种情况。在这项工作中，我们开发了一种基于不精确度（VF-IDCA）的基于依次收敛函数函数算法。我们表明，该算法从一系列的超级参数调整应用程序中实现了无LLSC和LLS假设的固定解决方案。我们的广泛实验证实了我们的理论发现，并表明，当应用于调子超参数时，提出的VF-IDCA会产生较高的性能。

近年来，已经开发出各种基于梯度的方法来解决机器学习和计算机视觉地区的双层优化（BLO）问题。然而，这些现有方法的理论正确性和实际有效性总是依赖于某些限制性条件（例如，下层单身，LLS），这在现实世界中可能很难满足。此外，以前的文献仅证明了基于其特定的迭代策略的理论结果，因此缺乏一般的配方，以统一分析不同梯度的BLO的收敛行为。在这项工作中，我们从乐观的双级视点制定BLOS，并建立一个名为Bi-Level血液血统聚合（BDA）的新梯度的算法框架，以部分地解决上述问题。具体而言，BDA提供模块化结构，以分级地聚合上层和下层子问题以生成我们的双级迭代动态。从理论上讲，我们建立了一般会聚分析模板，并导出了一种新的证据方法，以研究基于梯度的BLO方法的基本理论特性。此外，这项工作系统地探讨了BDA在不同优化场景中的收敛行为，即，考虑从解决近似子问题返回的各种解决方案质量（即，全局/本地/静止解决方案）。广泛的实验证明了我们的理论结果，并展示了所提出的超参数优化和元学习任务算法的优越性。源代码可在https://github.com/vis-opt-group/bda中获得。

二重优化发现在现代机器学习问题中发现了广泛的应用，例如超参数优化，神经体系结构搜索，元学习等。而具有独特的内部最小点（例如，内部功能是强烈凸的，都具有唯一的内在最小点）的理解，这是充分理解的，多个内部最小点的问题仍然是具有挑战性和开放的。为此问题设计的现有算法适用于限制情况，并且不能完全保证融合。在本文中，我们采用了双重优化的重新制定来限制优化，并通过原始的双二线优化（PDBO）算法解决了问题。 PDBO不仅解决了多个内部最小挑战，而且还具有完全一阶效率的情况，而无需涉及二阶Hessian和Jacobian计算，而不是大多数现有的基于梯度的二杆算法。我们进一步表征了PDBO的收敛速率，它是与多个内部最小值的双光线优化的第一个已知的非质合收敛保证。我们的实验证明了所提出的方法的预期性能。

找到模型的最佳超参数可以作为双重优化问题，通常使用零级技术解决。在这项工作中，当内部优化问题是凸但不平滑时，我们研究一阶方法。我们表明，近端梯度下降和近端坐标下降序列序列的前向模式分化，雅各比人会收敛到精确的雅各布式。使用隐式差异化，我们表明可以利用内部问题的非平滑度来加快计算。最后，当内部优化问题大约解决时，我们对高度降低的误差提供了限制。关于回归和分类问题的结果揭示了高参数优化的计算益处，尤其是在需要多个超参数时。

本文提出了弗兰克 - 沃尔夫（FW）的新变种​​，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。

本文涉及低级矩阵恢复问题的$ \ ell_ {2,0} $ \ ell_ {2,0} $ - 正则化分解模型及其计算。引入了Qual $ \ ell_ {2,0} $ - 因子矩阵的规范，以促进因素和低级别解决方案的柱稀疏性。对于这种不透露的不连续优化问题，我们开发了一种具有外推的交替的多种化 - 最小化（AMM）方法，以及一个混合AMM，其中提出了一种主要的交替的近端方法，以寻找与较少的非零列和带外推的AMM的初始因子对。然后用于最小化平滑的非凸损失。我们为所提出的AMM方法提供全局收敛性分析，并使用非均匀采样方案将它们应用于矩阵完成问题。数值实验是用综合性和实际数据示例进行的，并且与核形态正则化分解模型的比较结果和MAX-NORM正则化凸模型显示柱$ \ ell_ {2,0} $ - 正则化分解模型具有优势在更短的时间内提供较低误差和排名的解决方案。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

在本文中，我们研究了一类二聚体优化问题，也称为简单的双重优化，在其中，我们将光滑的目标函数最小化，而不是另一个凸的约束优化问题的最佳解决方案集。已经开发了几种解决此类问题的迭代方法。 las，它们的收敛保证并不令人满意，因为它们要么渐近，要么渐近，要么是收敛速度缓慢且最佳的。为了解决这个问题，在本文中，我们介绍了Frank-Wolfe（FW）方法的概括，以解决考虑的问题。我们方法的主要思想是通过切割平面在局部近似低级问题的解决方案集，然后运行FW型更新以减少上层目标。当上层目标是凸面时，我们表明我们的方法需要$ {\ mathcal {o}}（\ max \ {1/\ epsilon_f，1/\ epsilon_g \}）$迭代才能找到$ \ \ \ \ \ \ epsilon_f $ - 最佳目标目标和$ \ epsilon_g $ - 最佳目标目标。此外，当高级目标是非convex时，我们的方法需要$ {\ MATHCAL {o}}（\ max \ {1/\ epsilon_f^2,1/（\ epsilon_f \ epsilon_g}）查找$（\ epsilon_f，\ epsilon_g）$ - 最佳解决方案。我们进一步证明了在“较低级别问题的老年人错误约束假设”下的更强的融合保证。据我们所知，我们的方法实现了所考虑的二聚体问题的最著名的迭代复杂性。我们还向数值实验提出了数值实验。与最先进的方法相比，展示了我们方法的出色性能。

二重优化（BO）可用于解决各种重要的机器学习问题，包括但不限于超参数优化，元学习，持续学习和增强学习。常规的BO方法需要通过与隐式分化的低级优化过程进行区分，这需要与Hessian矩阵相关的昂贵计算。最近，人们一直在寻求BO的一阶方法，但是迄今为止提出的方法对于大规模的深度学习应用程序往往是复杂且不切实际的。在这项工作中，我们提出了一种简单的一阶BO算法，仅取决于一阶梯度信息，不需要隐含的区别，并且对于大规模的非凸函数而言是实用和有效的。我们为提出的方法提供了非注重方法分析非凸目标的固定点，并提出了表明其出色实践绩效的经验结果。

Difference-of-Convex (DC) minimization, referring to the problem of minimizing the difference of two convex functions, has been found rich applications in statistical learning and studied extensively for decades. However, existing methods are primarily based on multi-stage convex relaxation, only leading to weak optimality of critical points. This paper proposes a coordinate descent method for minimizing a class of DC functions based on sequential nonconvex approximation. Our approach iteratively solves a nonconvex one-dimensional subproblem globally, and it is guaranteed to converge to a coordinate-wise stationary point. We prove that this new optimality condition is always stronger than the standard critical point condition and directional point condition under a mild \textit{locally bounded nonconvexity assumption}. For comparisons, we also include a naive variant of coordinate descent methods based on sequential convex approximation in our study. When the objective function satisfies a \textit{globally bounded nonconvexity assumption} and \textit{Luo-Tseng error bound assumption}, coordinate descent methods achieve \textit{Q-linear} convergence rate. Also, for many applications of interest, we show that the nonconvex one-dimensional subproblem can be computed exactly and efficiently using a breakpoint searching method. Finally, we have conducted extensive experiments on several statistical learning tasks to show the superiority of our approach. Keywords: Coordinate Descent, DC Minimization, DC Programming, Difference-of-Convex Programs, Nonconvex Optimization, Sparse Optimization, Binary Optimization.

Theoretical properties of bilevel problems are well studied when the lower-level problem is strongly convex. In this work, we focus on bilevel optimization problems without the strong-convexity assumption. In these cases, we first show that the common local optimality measures such as KKT condition or regularization can lead to undesired consequences. Then, we aim to identify the mildest conditions that make bilevel problems tractable. We identify two classes of growth conditions on the lower-level objective that leads to continuity. Under these assumptions, we show that the local optimality of the bilevel problem can be defined via the Goldstein stationarity condition of the hyper-objective. We then propose the Inexact Gradient-Free Method (IGFM) to solve the bilevel problem, using an approximate zeroth order oracle that is of independent interest. Our non-asymptotic analysis demonstrates that the proposed method can find a $(\delta, \varepsilon)$ Goldstein stationary point for bilevel problems with a zeroth order oracle complexity that is polynomial in $d, 1/\delta$ and $1/\varepsilon$.

非滑动优化在许多工程领域中找到了广泛的应用程序。在这项工作中，我们建议利用{随机坐标亚级别方法}（RCS）来求解非平滑凸凸和非平滑凸（非平滑弱弱凸）优化问题。在每次迭代中，RCS随机选择一个块坐标，而不是所有要更新的坐标。由实用应用激发，我们考虑了目标函数的{线性界限亚级别假设}，这比Lipschitz的连续性假设要笼统得多。在这样的一般假设下，我们在凸和非凸病例中对RCS进行了彻底的收敛分析，并建立了预期的收敛速率和几乎确定的渐近收敛结果。为了得出这些收敛结果，我们建立了收敛的引理以及弱凸功能的全局度量超值属性与其莫罗膜的关系，它们是基本的和独立的利益。最后，我们进行了几项实验，以显示RC的优势比亚级别方法的优势。

Bilevel优化是在机器学习的许多领域中最小化涉及另一个功能的价值函数的问题。在大规模的经验风险最小化设置中，样品数量很大，开发随机方法至关重要，而随机方法只能一次使用一些样品进行进展。但是，计算值函数的梯度涉及求解线性系统，这使得很难得出无偏的随机估计。为了克服这个问题，我们引入了一个新颖的框架，其中内部问题的解决方案，线性系统的解和主要变量同时发展。这些方向是作为总和写成的，使其直接得出无偏估计。我们方法的简单性使我们能够开发全球差异算法，其中所有变量的动力学都会降低差异。我们证明，萨巴（Saba）是我们框架中著名的传奇算法的改编，具有$ o（\ frac1t）$收敛速度，并且在polyak-lojasciewicz的假设下实现了线性收敛。这是验证这些属性之一的双光线优化的第一种随机算法。数值实验验证了我们方法的实用性。

Federated learning has shown its advances recently but is still facing many challenges, such as how algorithms save communication resources and reduce computational costs, and whether they converge. To address these critical issues, we propose a hybrid federated learning algorithm (FedGiA) that combines the gradient descent and the inexact alternating direction method of multipliers. The proposed algorithm is more communication- and computation-efficient than several state-of-the-art algorithms theoretically and numerically. Moreover, it also converges globally under mild conditions.

在本文中，我们提出了一个算法框架，称为乘数的惯性交替方向方法（IADMM），用于求解与线性约束线性约束的一类非convex非conmooth多块复合优化问题。我们的框架采用了一般最小化 - 更大化（MM）原理来更新每个变量块，从而不仅统一了先前在MM步骤中使用特定替代功能的AMDM的收敛分析，还导致新的有效ADMM方案。据我们所知，在非convex非平滑设置中，ADMM与MM原理结合使用，以更新每个变量块，而ADMM与\ emph {Primal变量的惯性术语结合在一起}尚未在文献中研究。在标准假设下，我们证明了生成的迭代序列的后续收敛和全局收敛性。我们说明了IADMM对一类非凸低级别表示问题的有效性。

在本文中，我们介绍了泰坦（Titan），这是一种新型的惯性块最小化框架，用于非平滑非凸优化问题。据我们所知，泰坦是块坐标更新方法的第一个框架，该方法依赖于大型最小化框架，同时将惯性力嵌入到块更新的每个步骤中。惯性力是通过外推算子获得的，该操作员累积了重力和Nesterov型加速度，以作为特殊情况作为块近端梯度方法。通过选择各种替代功能，例如近端，Lipschitz梯度，布雷格曼，二次和复合替代功能，并通过改变外推操作员来生成一组丰富的惯性块坐标坐标更新方法。我们研究了泰坦生成序列的子顺序收敛以及全局收敛。我们说明了泰坦对两个重要的机器学习问题的有效性，即稀疏的非负矩阵分解和矩阵完成。

在许多机器学习应用程序中出现了非convex-concave min-max问题，包括最大程度地减少一组非凸函数的最大程度，并对神经网络的强大对抗训练。解决此问题的一种流行方法是梯度下降（GDA）算法，不幸的是，在非凸性的情况下可以表现出振荡。在本文中，我们引入了一种“平滑”方案，该方案可以与GDA结合以稳定振荡并确保收敛到固定溶液。我们证明，稳定的GDA算法可以实现$ O（1/\ epsilon^2）$迭代复杂性，以最大程度地减少有限的非convex函数收集的最大值。此外，平滑的GDA算法达到了$ O（1/\ epsilon^4）$ toseration复杂性，用于一般的nonconvex-concave问题。提出了这种稳定的GDA算法的扩展到多块情况。据我们所知，这是第一个实现$ o（1/\ epsilon^2）$的算法，用于一类NonConvex-Concave问题。我们说明了稳定的GDA算法在健壮训练中的实际效率。

我们研究了具有有限和结构的平滑非凸化优化问题的随机重新洗脱（RR）方法。虽然该方法在诸如神经网络的训练之类的实践中广泛利用，但其会聚行为仅在几个有限的环境中被理解。在本文中，在众所周知的Kurdyka-LojasiewiCz（KL）不等式下，我们建立了具有适当递减步长尺寸的RR的强极限点收敛结果，即，RR产生的整个迭代序列是会聚并会聚到单个静止点几乎肯定的感觉。 In addition, we derive the corresponding rate of convergence, depending on the KL exponent and the suitably selected diminishing step sizes.当KL指数在$ [0，\ FRAC12] $以$ [0，\ FRAC12] $时，收敛率以$ \ mathcal {o}（t ^ { - 1}）$的速率计算，以$ t $ counting迭代号。当KL指数属于$（\ FRAC12,1）$时，我们的派生收敛速率是FORM $ \ MATHCAL {O}（T ^ { - Q}）$，$ Q \ IN（0,1）$取决于在KL指数上。基于标准的KL不等式的收敛分析框架仅适用于具有某种阶段性的算法。我们对基于KL不等式的步长尺寸减少的非下降RR方法进行了新的收敛性分析，这概括了标准KL框架。我们总结了我们在非正式分析框架中的主要步骤和核心思想，这些框架是独立的兴趣。作为本框架的直接应用，我们还建立了类似的强极限点收敛结果，为重组的近端点法。

本文认为具有非线性耦合约束的多块非斜率非凸优化问题。通过开发使用信息区和提出的自适应制度的想法[J.Bolte，S。Sabach和M. Teboulle，NonConvex Lagrangian优化：监视方案和全球收敛性，运营研究数学，43：1210--1232，2018]，我们提出了一种多键交替方向来解决此问题的多块交替方向方法。我们通过在每个块更新中采用大量最小化过程来指定原始变量的更新。进行了独立的收敛分析，以证明生成的序列与增强Lagrangian的临界点的随后和全局收敛。我们还建立了迭代复杂性，并为所提出的算法提供初步的数值结果。

给定数据点之间的一组差异测量值，确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小，因为在此类问题中有大量的度量约束。在本文中，我们提供了一种活跃的集合算法，即项目和忘记，该算法使用Bregman的预测，以解决许多（可能是指数）不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析，并证明我们的算法会收敛到全局最佳解决方案，并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明，使用我们的方法，我们可以解决三种类型的度量约束问题的大型问题实例：一般体重相关聚类，度量近距离和度量学习；在每种情况下，就CPU时间和问题尺寸而言，超越了艺术方法的表现。