In the era of big data, it is desired to develop efficient machine learning algorithms to tackle massive data challenges such as storage bottleneck, algorithmic scalability, and interpretability. In this paper, we develop a novel efficient classification algorithm, called fast polynomial kernel classification (FPC), to conquer the scalability and storage challenges. Our main tools are a suitable selected feature mapping based on polynomial kernels and an alternating direction method of multipliers (ADMM) algorithm for a related non-smooth convex optimization problem. Fast learning rates as well as feasibility verifications including the efficiency of an ADMM solver with convergence guarantees and the selection of center points are established to justify theoretical behaviors of FPC. Our theoretical assertions are verified by a series of simulations and real data applications. Numerical results demonstrate that FPC significantly reduces the computational burden and storage memory of existing learning schemes such as support vector machines, Nystr\"{o}m and random feature methods, without sacrificing their generalization abilities much.

本文侧重于NYSTR \“{o} M正常化的学习速率分析，为$ \ tau $ -mixing时间序列使用顺序子采样。使用最近开发的Banach-valueed Bernstein不等式以\ tau $ -mixing序列和一个基于二阶分解的积分操作方法，我们成功地推出了NYSTR \“{o} M正常化的最佳学习率，以及用于$ \ TAU $ -MIXING时间序列的顺序子采样。进行了一系列数值实验以验证我们的理论结果，显示NYSTR \“{o} M正则化的优异学习性能，在学习大规模时间序列数据中具有顺序子采样。所有这些结果都扩展了NYSTR \适用范围“{o} M正常化从IID对非i.i.d的样品。序列。

本文重点研究了对强混合序列的分布式核岭回归的学习速率分析。使用最近开发的积分操作方法和Banach值强化混合序列的经典协方差不等式，我们成功地推出了分布式内核脊回归的最佳学习率。作为副产品，我们还向混合性推导出充分的条件以保证核岭回归的最佳学习率。我们的结果扩展了I.I.D的适用范围的分布式学习范围。对非i.i.d的样品。序列。

Recent advance on linear support vector machine with the 0-1 soft margin loss ($L_{0/1}$-SVM) shows that the 0-1 loss problem can be solved directly. However, its theoretical and algorithmic requirements restrict us extending the linear solving framework to its nonlinear kernel form directly, the absence of explicit expression of Lagrangian dual function of $L_{0/1}$-SVM is one big deficiency among of them. In this paper, by applying the nonparametric representation theorem, we propose a nonlinear model for support vector machine with 0-1 soft margin loss, called $L_{0/1}$-KSVM, which cunningly involves the kernel technique into it and more importantly, follows the success on systematically solving its linear task. Its optimal condition is explored theoretically and a working set selection alternating direction method of multipliers (ADMM) algorithm is introduced to acquire its numerical solution. Moreover, we firstly present a closed-form definition to the support vector (SV) of $L_{0/1}$-KSVM. Theoretically, we prove that all SVs of $L_{0/1}$-KSVM are only located on the parallel decision surfaces. The experiment part also shows that $L_{0/1}$-KSVM has much fewer SVs, simultaneously with a decent predicting accuracy, when comparing to its linear peer $L_{0/1}$-SVM and the other six nonlinear benchmark SVM classifiers.

Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.

在最近的研究中，分布式学习和随机特征的概括特性假设在假设空间中存在目标概念。但是，这种严格的条件不适用于更常见的情况。在本文中，使用精致的证明技术，我们首先将具有随机特征的分布式学习的最佳速率扩展到了不可算力的情况。然后，我们通过数据依赖性生成策略减少所需的随机特征的数量，并使用其他未标记的数据来改善允许的分区数量。理论分析表明，这些技术显着降低了计算成本，同时保留了标准假设下的最佳概括精度。最后，我们对模拟和实际数据集进行了几项实验，经验结果验证了我们的理论发现。

在本文中，我们研究了全球最小值的泛化性能，以实现过度参数化的深度Relu网上的经验风险最小化（ERM）。利用新型Relu网的新型深化方案，我们严格证明，在温和条件下，有几种类型的数据实现了几乎最佳的全局概率界限。由于过度参数化是至关重要的，可以通过广泛使用的随机梯度下降（SGD）算法来实现深度Relu网的全局Minima，因此我们的结果确实填补了优化和泛化之间的差距。

我们提出和研究内核偶联梯度方法（KCGM），并在可分离的希尔伯特空间上进行最小二乘回归的随机投影。考虑两种类型的随机草图和nyStr \“ {o} m子采样产生的随机投影，我们在适当的停止规则下证明了有关算法的规范变体的最佳统计结果。尤其是我们的结果表明，如果投影维度显示了投影维度与问题的有效维度成正比，带有随机草图的KCGM可以最佳地概括，同时获得计算优势。作为推论，我们在良好条件方面的经典KCGM得出了最佳的经典KCGM，因为目标函数可能不会不会在假设空间中。

We study a natural extension of classical empirical risk minimization, where the hypothesis space is a random subspace of a given space. In particular, we consider possibly data dependent subspaces spanned by a random subset of the data, recovering as a special case Nystrom approaches for kernel methods. Considering random subspaces naturally leads to computational savings, but the question is whether the corresponding learning accuracy is degraded. These statistical-computational tradeoffs have been recently explored for the least squares loss and self-concordant loss functions, such as the logistic loss. Here, we work to extend these results to convex Lipschitz loss functions, that might not be smooth, such as the hinge loss used in support vector machines. This unified analysis requires developing new proofs, that use different technical tools, such as sub-gaussian inputs, to achieve fast rates. Our main results show the existence of different settings, depending on how hard the learning problem is, for which computational efficiency can be improved with no loss in performance.

在本文中，我们提出了一种称为\ Textit {自适应提升直方图变换}（\ TeatiT {ABHT}）的渐变升压算法，以便回归以说明直方图变换集合学习中梯度升压算法的本地适应性。从理论上的角度来看，当目标函数位于本地H \“较旧的连续空间时，我们表明我们的ABHT可以用不同的平滑度过滤出区域。因此，我们能够证明收敛的上限ABHT的速率严格小于\ Texit {并行集合直方图变换}（\ Textit {PEHT}）的下限。在实验中，合成和现实世界数据实验都经验验证了理论结果，这证明了有利的性能和我们的ABHT的局部适应性。

大多数现有的分类方法旨在最大限度地减少整体错误分类错误率，但是，在应用程序中，不同类型的错误可能具有不同的后果。要考虑到这种不对称问题，已经开发了两个流行的范式，即Neyman-Pearson（NP）范式和成本敏感（CS）范式。与CS范例相比，NP PARADIGM不需要提高成本规范。最先前的NP Paradigm的作品集中在二进制案例上。在这项工作中，我们通过将其连接到CS问题并提出两种算法来研究多级NP问题。我们将NP Oracle不等式扩展到二进制案例到多级案例的一致性，并显示我们的两种算法在某些条件下享受这些属性。模拟和实际数据研究表明了我们算法的有效性。据我们所知，这是第一个通过具有理论保证的成本敏感的学习技术来解决多级NP问题的工作。所提出的算法在CRAN上的R包“NPCS”中实现。

本文提出了一种针对分布式凸复合优化问题的新型双重不精确拆分算法（DISA），其中本地损耗函数由$ L $ -SMOOTH的项组成，可能是由线性操作员组成的非平滑项。我们证明，当原始和双重尺寸$ \ tau $，$ \ beta $满足$ 0 <\ tau <{2}/{l} $和$ 0 <\ tau \ beta <1 $时，我们证明了DISA是收敛的。与现有的原始双侧近端分裂算法（PD-PSA）相比，DISA克服了收敛步骤范围对线性操作员欧几里得范围的依赖性。这意味着当欧几里得规范大时，DISA允许更大的步骤尺寸，从而确保其快速收敛。此外，我们分别在一般凸度和度量次级性下分别建立了disa的均值和线性收敛速率。此外，还提供了DISA的近似迭代版本，并证明了该近似版本的全局收敛性和sublinear收敛速率。最后，数值实验不仅证实了理论分析，而且还表明，与现有的PD-PSA相比，DISA达到了显着的加速度。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

形状约束，例如非负，单调性，凸度或超模型性，在机器学习和统计的各种应用中都起着关键作用。但是，将此方面的信息以艰苦的方式（例如，在间隔的所有点）纳入预测模型，这是一个众所周知的具有挑战性的问题。我们提出了一个统一和模块化的凸优化框架，依赖于二阶锥（SOC）拧紧，以编码属于矢量值重现的载体内核Hilbert Spaces（VRKHSS）的模型对函数衍生物的硬仿射SDP约束。所提出的方法的模块化性质允许同时处理多个形状约束，并将无限数量的约束限制为有限的许多。我们证明了所提出的方案的收敛及其自适应变体的收敛性，利用VRKHSS的几何特性。由于基于覆盖的拧紧构造，该方法特别适合具有小到中等输入维度的任务。该方法的效率在形状优化，机器人技术和计量经济学的背景下进行了说明。

异常值广泛发生在大数据应用中，可能严重影响统计估计和推理。在本文中，引入了抗强估计的框架，以强制任意给出的损耗函数。它与修剪方法密切连接，并且包括所有样本的显式外围参数，这反过来促进计算，理论和参数调整。为了解决非凸起和非体性的问题，我们开发可扩展的算法，以实现轻松和保证快速收敛。特别地，提出了一种新的技术来缓解对起始点的要求，使得在常规数据集上，可以大大减少数据重采样的数量。基于组合的统计和计算处理，我们能够超越M估计来执行非因思分析。所获得的抗性估算器虽然不一定全局甚至是局部最佳的，但在低维度和高维度中享有最小的速率最优性。回归，分类和神经网络的实验表明，在总异常值发生的情况下提出了拟议方法的优异性能。

We introduce a tunable loss function called $\alpha$-loss, parameterized by $\alpha \in (0,\infty]$, which interpolates between the exponential loss ($\alpha = 1/2$), the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$), for the machine learning setting of classification. Theoretically, we illustrate a fundamental connection between $\alpha$-loss and Arimoto conditional entropy, verify the classification-calibration of $\alpha$-loss in order to demonstrate asymptotic optimality via Rademacher complexity generalization techniques, and build-upon a notion called strictly local quasi-convexity in order to quantitatively characterize the optimization landscape of $\alpha$-loss. Practically, we perform class imbalance, robustness, and classification experiments on benchmark image datasets using convolutional-neural-networks. Our main practical conclusion is that certain tasks may benefit from tuning $\alpha$-loss away from log-loss ($\alpha = 1$), and to this end we provide simple heuristics for the practitioner. In particular, navigating the $\alpha$ hyperparameter can readily provide superior model robustness to label flips ($\alpha > 1$) and sensitivity to imbalanced classes ($\alpha < 1$).

本文涉及使用多项式的有限样品的平滑，高维函数的近似。这项任务是计算科学和工程中许多应用的核心 - 尤其是由参数建模和不确定性量化引起的。通常在此类应用中使用蒙特卡洛（MC）采样，以免屈服于维度的诅咒。但是，众所周知，这种策略在理论上是最佳的。尺寸$ n $有许多多项式空间，样品复杂度尺度划分为$ n $。这种有据可查的现象导致了一致的努力，以设计改进的，实际上是近乎最佳的策略，其样本复杂性是线性的，甚至线性地缩小了$ n $。自相矛盾的是，在这项工作中，我们表明MC实际上是高维度中的一个非常好的策略。我们首先通过几个数值示例记录了这种现象。接下来，我们提出一个理论分析，该分析能够解决这种悖论，以实现无限多变量的全体形态功能。我们表明，基于$ M $ MC样本的最小二乘方案，其错误衰减为$ m/\ log（m）$，其速率与最佳$ n $ term的速率相同多项式近似。该结果是非构造性的，因为它假定了进行近似的合适多项式空间的知识。接下来，我们提出了一个基于压缩感应的方案，该方案达到了相同的速率，除了较大的聚类因子。该方案是实用的，并且在数值上，它的性能和比知名的自适应最小二乘方案的性能和更好。总体而言，我们的发现表明，当尺寸足够高时，MC采样非常适合平滑功能近似。因此，改进的采样策略的好处通常仅限于较低维度的设置。

基于梯度的高参数调整的优化方法可确保理论收敛到固定解决方案时，对于固定的上层变量值，双光线程序的下层级别强烈凸（LLSC）和平滑（LLS）。对于在许多机器学习算法中调整超参数引起的双重程序，不满足这种情况。在这项工作中，我们开发了一种基于不精确度（VF-IDCA）的基于依次收敛函数函数算法。我们表明，该算法从一系列的超级参数调整应用程序中实现了无LLSC和LLS假设的固定解决方案。我们的广泛实验证实了我们的理论发现，并表明，当应用于调子超参数时，提出的VF-IDCA会产生较高的性能。

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

给定数据点之间的一组差异测量值，确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小，因为在此类问题中有大量的度量约束。在本文中，我们提供了一种活跃的集合算法，即项目和忘记，该算法使用Bregman的预测，以解决许多（可能是指数）不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析，并证明我们的算法会收敛到全局最佳解决方案，并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明，使用我们的方法，我们可以解决三种类型的度量约束问题的大型问题实例：一般体重相关聚类，度量近距离和度量学习；在每种情况下，就CPU时间和问题尺寸而言，超越了艺术方法的表现。