Logistic回归是广泛使用的统计模型，以描述数据集中的二进制响应变量和预测变量之间的关系。它通常用于机器学习以识别重要的预测因子变量。此任务，变量选择，通常是拟合由$ \ ell_1 $和$ \ ell_ {2} ^ {2} $惩罚的凸组合规范化的逻辑回归模型。由于现代大数据集可以包含数十亿到数十亿的预测变量，因此可变选择方法取决于有效且强大的优化算法来执行良好。然而，可变选择的最先进的算法并不传统地设计用于处理大数据集;它们的规模差或易于产生不可靠的数值结果。因此，在大数据集上执行变量选择，它仍然具有挑战性，而无需获得足够的计算资源和昂贵的计算资源。在本文中，我们提出了一种解决这些缺点的非线性原始双向算法。具体而言，我们提出了一种迭代算法，其通过$ O（t（m，n）\ log（1 / \ epsilon））$业务，其中$ \ epsilon \在（0,1）$表示公差和$ t（m，n）$表示在数据集中执行矩阵矢量乘法所需的算术运算数，每个$ m个包含$ n $功能。这一结果提高了$ O的已知复杂性（\ min（m ^ 2n，mn ^ 2）\ log（1 / \ epsilon））$，因为一阶优化方法，如经典的原始 - 双混合梯度或向前-Backward拆分方法。

Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.

本文提出了一种针对分布式凸复合优化问题的新型双重不精确拆分算法（DISA），其中本地损耗函数由$ L $ -SMOOTH的项组成，可能是由线性操作员组成的非平滑项。我们证明，当原始和双重尺寸$ \ tau $，$ \ beta $满足$ 0 <\ tau <{2}/{l} $和$ 0 <\ tau \ beta <1 $时，我们证明了DISA是收敛的。与现有的原始双侧近端分裂算法（PD-PSA）相比，DISA克服了收敛步骤范围对线性操作员欧几里得范围的依赖性。这意味着当欧几里得规范大时，DISA允许更大的步骤尺寸，从而确保其快速收敛。此外，我们分别在一般凸度和度量次级性下分别建立了disa的均值和线性收敛速率。此外，还提供了DISA的近似迭代版本，并证明了该近似版本的全局收敛性和sublinear收敛速率。最后，数值实验不仅证实了理论分析，而且还表明，与现有的PD-PSA相比，DISA达到了显着的加速度。

广义线性模型（GLM）形成了一类广泛的回归和分类模型，其中预测是输入变量的线性组合的函数。对于高维度的统计推断，事实证明，诱导正规化的稀疏性在提供统计保证时很有用。但是，解决最终的优化问题可能具有挑战性：即使对于流行的迭代算法，例如协调下降，也需要在大量变量上循环。为了减轻这种情况，称为筛选规则和工作集的技术可以通过逐步删除变量或解决增长的较小问题的序列来减少手头优化问题的大小。对于这两种技术，都可以鉴定出大量变量，这要归功于凸双重性论点。在本文中，我们表明，GLM的双重迭代在标志识别后表现出矢量自回归（VAR）行为，当使用近端梯度下降或环状坐标下降解决原始问题时。利用这种规律性，可以构建双重点，以提供最佳的最佳证书，增强筛选规则的性能并帮助设计竞争性的工作集算法。

我们考虑最小化三个凸功能的总和，其中第一个f是光滑的，第二个f是非平滑且可近的，第三个是与线性操作员L的非光滑近似函数的组成。此模板问题具有许多应用程序，有许多应用程序，有许多应用程序，，具有许多应用程序，，具有许多应用程序。例如，在图像处理和机器学习中。首先，我们为这个问题提出了一种新的原始偶算法，我们称之为PDDY。它是通过将davis-yin分裂应用于原始二重式产品空间中的单调包含的，在特定度量下，操作员在特定度量下是单调的。我们显示了三种现有算法（Condat-VU算法的两种形式） PD3O算法）具有相同的结构，因此PDDY是这种自洽的原始偶算法中的第四个丢失链接。这种表示可以简化收敛分析：它使我们能够总体上得出sublinear收敛速率，而线性收敛导致存在强凸度的存在。此外，在我们的广泛而灵活的分析框架内，我们提出了对算法的新随机概括，其中使用了Friancation降低F梯度的随机估计值，而不是真实的梯度。此外，我们作为pddy的特殊情况获得了线性收敛算法，用于在线性约束下最小化强凸功能f。我们讨论了其对分散优化的重要应用。

稀疏性损失最小化问题在包括机器学习，数据挖掘和现代统计的各个领域中起着重要作用。近端梯度下降法和坐标下降法是解决最小化问题的最流行方法。尽管现有方法可以实现隐式模型识别，但在有限数量的迭代中，也就是支持集合识别，但在高维情况下，这些方法仍然遭受巨大的计算成本和内存负担。原因是这些方法中的支持集识别是隐式的，因此无法明确识别实践中的低复杂性结构，即，它们无法通过降低尺寸丢弃相关特征的无用系数，以实现算法加速。为了应对这一挑战，我们提出了一种新颖的加速双随机梯度下降（ADSGD）方法，用于稀疏性损失最小化问题，这可以通过在优化过程中消除无效系数来减少块迭代次数的数量，并最终实现更快的显式模型识别和改进的模型识别和改进和改进的模型识别和改进速度算法效率。从理论上讲，我们首先证明ADSGD可以达到线性收敛速率并降低总体计算复杂性。更重要的是，我们证明ADSGD可以实现显式模型识别的线性速率。从数值上讲，基准数据集上的实验结果证实了我们提出的方法的效率。

找到模型的最佳超参数可以作为双重优化问题，通常使用零级技术解决。在这项工作中，当内部优化问题是凸但不平滑时，我们研究一阶方法。我们表明，近端梯度下降和近端坐标下降序列序列的前向模式分化，雅各比人会收敛到精确的雅各布式。使用隐式差异化，我们表明可以利用内部问题的非平滑度来加快计算。最后，当内部优化问题大约解决时，我们对高度降低的误差提供了限制。关于回归和分类问题的结果揭示了高参数优化的计算益处，尤其是在需要多个超参数时。

In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.

我们在高维批处理设置中提出了统计上健壮和计算高效的线性学习方法，其中功能$ d $的数量可能超过样本量$ n $。在通用学习环境中，我们采用两种算法，具体取决于所考虑的损失函数是否为梯度lipschitz。然后，我们将我们的框架实例化，包括几种应用程序，包括香草稀疏，群 - 帕克斯和低升级矩阵恢复。对于每种应用，这导致了有效而强大的学习算法，这些算法在重尾分布和异常值的存在下达到了近乎最佳的估计率。对于香草$ S $ -SPARSITY，我们能够以重型尾巴和$ \ eta $ - 腐败的计算成本与非企业类似物相当的计算成本达到$ s \ log（d）/n $速率。我们通过开放源代码$ \ mathtt {python} $库提供了有效的算法实现文献中提出的最新方法。

异常值广泛发生在大数据应用中，可能严重影响统计估计和推理。在本文中，引入了抗强估计的框架，以强制任意给出的损耗函数。它与修剪方法密切连接，并且包括所有样本的显式外围参数，这反过来促进计算，理论和参数调整。为了解决非凸起和非体性的问题，我们开发可扩展的算法，以实现轻松和保证快速收敛。特别地，提出了一种新的技术来缓解对起始点的要求，使得在常规数据集上，可以大大减少数据重采样的数量。基于组合的统计和计算处理，我们能够超越M估计来执行非因思分析。所获得的抗性估算器虽然不一定全局甚至是局部最佳的，但在低维度和高维度中享有最小的速率最优性。回归，分类和神经网络的实验表明，在总异常值发生的情况下提出了拟议方法的优异性能。

路径跟踪算法经常用于复合优化问题，其中一系列具有不同正则化超参数的子问题，顺序解决。通过将以前的解决方案重用为初始化，在数值上观察到更好的收敛速度。这使得它成为加速机器学习中优化算法的执行的相当有用的启发式。我们提出了路径跟踪算法的原始双重分析，并探索了如何设计其超参数，以及确定每个子问题的解决方案应该如何解决，以保证目标问题的线性收敛速度。此外，考虑用稀疏诱导惩罚的优化，我们分析了关于正则化参数的活动集的变化。然后可以自适应地校准后者以精细地确定沿解决方案路径选择的特征的数量。这导致简单的启发式校准主动集方法的超级参数，以降低他们的复杂性并提高他们的执行时间。

在这项工作中，我们将该算法考虑到（非线性）回归问题与$ \ ell_0 $罚款。用于$ \ ell_0 $基于$的优化问题的现有算法通常用固定的步长进行，并且选择适当的步长度取决于限制的强凸性和损耗功能的平滑度，因此难以计算计算。在Sprite的支持检测和根查找\ Cite {HJK2020}的思想中，我们提出了一种新颖且有效的数据驱动线搜索规则，以自适应地确定适当的步长。我们证明了绑定到所提出的算法的$ \ ell_2 $ error，而没有限制成本函数。在线性和逻辑回归问题中具有最先进的算法的大量数值比较显示了所提出的算法的稳定性，有效性和优越性。

最近有兴趣的兴趣在教师学生环境中的各种普遍性线性估计问题中的渐近重建性能研究，特别是对于I.I.D标准正常矩阵的案例。在这里，我们超越这些矩阵，并证明了具有具有任意界限频谱的旋转不变数据矩阵的凸遍的线性模型的重建性能的分析公式，严格地确认使用来自统计物理的副本衍生的猜想。该公式包括许多问题，例如压缩感测或稀疏物流分类。通过利用消息通过算法和迭代的统计特性来实现证明，允许表征估计器的渐近实证分布。我们的证据是基于构建Oracle多层向量近似消息传递算法的会聚序列的构建，其中通过检查等效动态系统的稳定性来完成收敛分析。我们说明了我们对主流学习方法的数值示例的要求，例如稀疏的逻辑回归和线性支持矢量分类器，显示中等大小模拟和渐近预测之间的良好一致性。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

Convex function constrained optimization has received growing research interests lately. For a special convex problem which has strongly convex function constraints, we develop a new accelerated primal-dual first-order method that obtains an $\Ocal(1/\sqrt{\vep})$ complexity bound, improving the $\Ocal(1/{\vep})$ result for the state-of-the-art first-order methods. The key ingredient to our development is some novel techniques to progressively estimate the strong convexity of the Lagrangian function, which enables adaptive step-size selection and faster convergence performance. In addition, we show that the complexity is further improvable in terms of the dependence on some problem parameter, via a restart scheme that calls the accelerated method repeatedly. As an application, we consider sparsity-inducing constrained optimization which has a separable convex objective and a strongly convex loss constraint. In addition to achieving fast convergence, we show that the restarted method can effectively identify the sparsity pattern (active-set) of the optimal solution in finite steps. To the best of our knowledge, this is the first active-set identification result for sparsity-inducing constrained optimization.

交替的梯度 - 下降 - 上升（Altgda）是一种优化算法，已广泛用于各种机器学习应用中的模型培训，其旨在解决非渗透最小新的优化问题。然而，现有的研究表明，它遭受了非凸起最小值优化中的高计算复杂性。在本文中，我们开发了一种单环和快速Altgda型算法，利用了近端渐变更新和动量加速来解决正常的非透露极限优化问题。通过识别该算法的内在Lyapunov函数，我们证明它会收敛到非凸起最小化优化问题的临界点，并实现了计算复杂度$ \ mathcal {o}（\ kappa ^ {1.5} \ epsilon ^ { - 2} ）$，其中$ \ epsilon $是理想的准确度，$ \ kappa $是问题的条件号。这种计算复杂性改善了单环GDA和AltGDA算法的最先进的复杂性（参见表1中的比较摘要）。我们通过对对抗深层学习的实验展示了算法的有效性。

Nesterov的加速梯度（AG）是一种流行的技术，优化包括两个组件的客观函数：凸损耗和惩罚功能。虽然AG方法对于凸面的惩罚表现良好，例如套索，但是当它适用于非核心惩罚时可能会出现收敛问题，例如苏尔州。最近的提议将Nesterov的AG方法推广到非渗透环境，但从未应用于稀疏统计学习问题。在运行所提出的算法之前，有几种超级参数。但是，目前没有明确的规则应该如何选择超参数。在本文中，我们考虑将该非核解AG算法应用于高维线性和逻辑稀疏学习问题，并根据复杂性上限提出超级参数设置以加速收敛。我们进一步建立了收敛速度，并为阻尼序列提出了一种简单且有用的限制。模拟研究表明，可以平均地进行收敛，比传统的ISTA算法的速度快得多。我们的实验还表明，在信号恢复方面，该方法通常优于当前最先进的方法。

我们在大规模设置中研究一类广义的线性程序（GLP），包括可能简单的非光滑凸规律器和简单的凸集合约束。通过将GLP作为等效凸凹入最大问题的重新介绍，我们表明问题中的线性结构可用于设计高效，可扩展的一阶算法，我们给出了名称\ EMPH {坐标线性方差减少}（\ textsc {clvr};发音为``clever''）。 \ textsc {clvr}是一种增量坐标方法，具有隐式方差差异，输出双变量迭代的\ emph {仿射组合}。 \ textsc {clvr}产生改善的复杂性结果（glp），这取决于（glp）中的线性约束矩阵的最大行标准而不是光谱标准。当正常化术语和约束是可分离的，\ textsc {clvr}承认有效的延迟更新策略，使其复杂性界限与（glp）中的线性约束矩阵的非零元素的数量而不是矩阵尺寸。我们表明，通过引入稀疏连接的辅助变量，可以将基于$ F $ -divergence和Wassersein指标的歧义组的分布稳健优化（DRO）问题进行重新重整为（GLP）。我们补充了我们的理论保证，具有验证我们算法的实际效果的数值实验，无论是在壁钟时间和数据次数方面。

Sparsity promoting regularizers are widely used to impose low-complexity structure (e.g. l1-norm for sparsity) to the regression coefficients of supervised learning. In the realm of deterministic optimization, the sequence generated by iterative algorithms (such as proximal gradient descent) exhibit "finite activity identification", namely, they can identify the low-complexity structure in a finite number of iterations. However, most online algorithms (such as proximal stochastic gradient descent) do not have the property owing to the vanishing step-size and non-vanishing variance. In this paper, by combining with a screening rule, we show how to eliminate useless features of the iterates generated by online algorithms, and thereby enforce finite activity identification. One consequence is that when combined with any convergent online algorithm, sparsity properties imposed by the regularizer can be exploited for computational gains. Numerically, significant acceleration can be obtained.

目前的论文研究了最小化损失$ f（\ boldsymbol {x}）$的问题，而在s $ \ boldsymbol {d} \ boldsymbol {x} \的约束，其中$ s $是一个关闭的集合，凸面或非，$ \ boldsymbol {d} $是熔化参数的矩阵。融合约束可以捕获平滑度，稀疏或更一般的约束模式。为了解决这个通用的问题，我们将Beltrami-Courant罚球方法与近距离原则相结合。后者是通过最小化惩罚目标的推动$ f（\ boldsymbol {x}）+ \ frac {\ rho} {2} \ text {dist}（\ boldsymbol {d} \ boldsymbol {x}，s）^ 2 $涉及大型调整常量$ \ rho $和$ \ boldsymbol {d} \ boldsymbol {x} $的平方欧几里德距离$ s $。通过最小化大多数代理函数$ f（\ boldsymbol {x}，从当前迭代$ \ boldsymbol {x} _n $构建相应的近距离算法的下一个迭代$ \ boldsymbol {x} _ {n + 1} $。 ）+ \ frac {\ rho} {2} \ | \ boldsymbol {d} \ boldsymbol {x} - \ mathcal {p} _ {s}（\ boldsymbol {d} \ boldsymbol {x} _n）\ | ^ 2 $。对于固定$ \ rho $和subanalytic损失$ f（\ boldsymbol {x}）$和子质约束设置$ s $，我们证明了汇聚点。在更强大的假设下，我们提供了收敛速率并展示线性本地收敛性。我们还构造了一个最陡的下降（SD）变型，以避免昂贵的线性系统解决。为了基准我们的算法，我们比较乘法器（ADMM）的交替方向方法。我们广泛的数值测试包括在度量投影，凸回归，凸聚类，总变化图像去噪和矩阵的投影到良好状态数的问题。这些实验表明了我们在高维问题上最陡的速度和可接受的准确性。