In this paper, we study a classification problem in which sample labels are randomly corrupted. In this scenario, there is an unobservable sample with noise-free labels. However, before being observed, the true labels are independently flipped with a probability ρ ∈ [0, 0.5), and the random label noise can be class-conditional. Here, we address two fundamental problems raised by this scenario. The first is how to best use the abundant surrogate loss functions designed for the traditional classification problem when there is label noise. We prove that any surrogate loss function can be used for classification with noisy labels by using importance reweighting, with consistency assurance that the label noise does not ultimately hinder the search for the optimal classifier of the noise-free sample. The other is the open problem of how to obtain the noise rate ρ. We show that the rate is upper bounded by the conditional probability P ( Ŷ |X) of the noisy sample. Consequently, the rate can be estimated, because the upper bound can be easily reached in classification problems. Experimental results on synthetic and real datasets confirm the efficiency of our methods.

In this paper, we theoretically study the problem of binary classification in the presence of random classification noise -the learner, instead of seeing the true labels, sees labels that have independently been flipped with some small probability. Moreover, random label noise is class-conditional -the flip probability depends on the class. We provide two approaches to suitably modify any given surrogate loss function. First, we provide a simple unbiased estimator of any loss, and obtain performance bounds for empirical risk minimization in the presence of iid data with noisy labels. If the loss function satisfies a simple symmetry condition, we show that the method leads to an efficient algorithm for empirical minimization. Second, by leveraging a reduction of risk minimization under noisy labels to classification with weighted 0-1 loss, we suggest the use of a simple weighted surrogate loss, for which we are able to obtain strong empirical risk bounds. This approach has a very remarkable consequence -methods used in practice such as biased SVM and weighted logistic regression are provably noise-tolerant. On a synthetic non-separable dataset, our methods achieve over 88% accuracy even when 40% of the labels are corrupted, and are competitive with respect to recently proposed methods for dealing with label noise in several benchmark datasets.

监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而，这种基本假设在实践中并不总是满足，例如，由于不断变化的环境，样本选择偏差，隐私问题或高标签成本。转移学习（TL）放松这种假设，并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性（即测试过度训练密度比率）的训练损失培训预测器。然而，由于现实世界机器学习任务变得越来越复杂，高维和动态，探讨了新的新方法，以应对这些挑战最近。在本文中，在介绍基于重要性加权的TL基础之后，我们根据关节和动态重要预测估计审查最近的进步。此外，我们介绍一种因果机制转移方法，该方法包含T1中的因果结构。最后，我们讨论了TL研究的未来观点。

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。

We study a natural extension of classical empirical risk minimization, where the hypothesis space is a random subspace of a given space. In particular, we consider possibly data dependent subspaces spanned by a random subset of the data, recovering as a special case Nystrom approaches for kernel methods. Considering random subspaces naturally leads to computational savings, but the question is whether the corresponding learning accuracy is degraded. These statistical-computational tradeoffs have been recently explored for the least squares loss and self-concordant loss functions, such as the logistic loss. Here, we work to extend these results to convex Lipschitz loss functions, that might not be smooth, such as the hinge loss used in support vector machines. This unified analysis requires developing new proofs, that use different technical tools, such as sub-gaussian inputs, to achieve fast rates. Our main results show the existence of different settings, depending on how hard the learning problem is, for which computational efficiency can be improved with no loss in performance.

We define notions of stability for learning algorithms and show how to use these notions to derive generalization error bounds based on the empirical error and the leave-one-out error. The methods we use can be applied in the regression framework as well as in the classification one when the classifier is obtained by thresholding a real-valued function. We study the stability properties of large classes of learning algorithms such as regularization based algorithms. In particular we focus on Hilbert space regularization and Kullback-Leibler regularization. We demonstrate how to apply the results to SVM for regression and classification.1. For a qualitative discussion about sensitivity analysis with links to other resources see e.g. http://sensitivity-analysis.jrc.cec.eu.int/

部分标签学习是一种弱监督的学习，不精确的标签，在这里，每个训练示例，我们都有一组候选标签而不是一个真正的标签。最近，在候选标签集的不同一代模型下提出了部分标签学习的各种方法。然而，这些方法需要在生成模型上具有相对强烈的分布假设。当假设不保持时，理论上不保证该方法的性能。在本文中，我们提出了部分标签对适用权的概念。我们表明，这种适当的部分标签学习框架包括许多以前的部分标签学习设置作为特殊情况。然后，我们派生了统一的分类风险估计。我们证明我们的估算器是通过获取其估计误差绑定的风险态度。最后，我们通过实验验证了算法的有效性。

从积极和未标记的（PU）数据中学习是各种应用中的重要问题。最近PU分类的大多数方法假设训练未标记的数据集中的课程（正样本的比率）与测试数据的类别相同，这在许多实际情况下不存在。此外，我们通常不知道培训和测试数据的类别，因此我们没有关于如何在没有它们的情况下训练分类器的线索。为了解决这些问题，我们提出了一种基于密度比估计的新型PU分类方法。我们所提出的方法的显着优势在于它不需要训练阶段中的类前沿;先前的换档仅在测试阶段结合。理论上，理论地证明我们提出的方法和实验证明其有效性。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

我们在对数损失下引入条件密度估计的过程，我们调用SMP（样本Minmax预测器）。该估算器最大限度地减少了统计学习的新一般过度风险。在标准示例中，此绑定量表为$ d / n $，$ d $ d $模型维度和$ n $ sample大小，并在模型拼写条目下批判性仍然有效。作为一个不当（超出型号）的程序，SMP在模型内估算器（如最大似然估计）的内部估算器上，其风险过高的风险降低。相比，与顺序问题的方法相比，我们的界限删除了SubOltimal $ \ log n $因子，可以处理无限的类。对于高斯线性模型，SMP的预测和风险受到协变量的杠杆分数，几乎匹配了在没有条件的线性模型的噪声方差或近似误差的条件下匹配的最佳风险。对于Logistic回归，SMP提供了一种非贝叶斯方法来校准依赖于虚拟样本的概率预测，并且可以通过解决两个逻辑回归来计算。它达到了$ O的非渐近风险（（d + b ^ 2r ^ 2）/ n）$，其中$ r $绑定了特征的规范和比较参数的$ B $。相比之下，在模型内估计器内没有比$ \ min达到更好的速率（{b r} / {\ sqrt {n}}，{d e ^ {br} / {n}）$。这为贝叶斯方法提供了更实用的替代方法，这需要近似的后部采样，从而部分地解决了Foster等人提出的问题。 （2018）。

通常，用于训练排名模型的数据受到标签噪声。例如，在Web搜索中，由于ClickStream数据创建的标签是嘈杂的，这是因为诸如SERP上的项目描述中的信息不足，用户查询重新进行的，以及不稳定的或意外的用户行为。在实践中，很难处理标签噪声而不对标签生成过程做出强烈的假设。结果，如果不考虑标签噪声，从业人员通常会直接在此嘈杂的数据上训练他们的学习到秩（LTR）模型。令人惊讶的是，我们经常看到以这种方式训练的LTR模型的出色表现。在这项工作中，我们描述了一类耐噪声的LTR损失，即使在类条件标签噪声的背景下，经验风险最小化也是一致的程序。我们还开发了常用损失函数的耐噪声类似物。实验结果进一步支持了我们理论发现的实际意义。

We develop and analyze M -estimation methods for divergence functionals and the likelihood ratios of two probability distributions. Our method is based on a non-asymptotic variational characterization of f -divergences, which allows the problem of estimating divergences to be tackled via convex empirical risk optimization. The resulting estimators are simple to implement, requiring only the solution of standard convex programs. We present an analysis of consistency and convergence for these estimators. Given conditions only on the ratios of densities, we show that our estimators can achieve optimal minimax rates for the likelihood ratio and the divergence functionals in certain regimes. We derive an efficient optimization algorithm for computing our estimates, and illustrate their convergence behavior and practical viability by simulations. 1

我们认为随机梯度下降及其在繁殖内核希尔伯特空间中二进制分类问题的平均变体。在使用损失函数的一致性属性的传统分析中，众所周知，即使在条件标签概率上假设低噪声状态时，预期的分类误差也比预期风险更慢。因此，最终的速率为sublinear。因此，重要的是要考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，随机梯度下降的指数收敛速率在强烈的低噪声条件下显示，但前提是理论分析仅限于平方损耗函数，这对于二元分类任务来说是不足的。在本文中，我们在随机梯度下降的最后阶段中显示了预期分类误差的指数收敛性，用于在相似的假设下进行一类宽类可区分的凸损失函数。至于平均的随机梯度下降，我们表明相同的收敛速率来自训练的早期阶段。在实验中，我们验证了对$ L_2 $调查的逻辑回归的分析。

We introduce a tunable loss function called $\alpha$-loss, parameterized by $\alpha \in (0,\infty]$, which interpolates between the exponential loss ($\alpha = 1/2$), the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$), for the machine learning setting of classification. Theoretically, we illustrate a fundamental connection between $\alpha$-loss and Arimoto conditional entropy, verify the classification-calibration of $\alpha$-loss in order to demonstrate asymptotic optimality via Rademacher complexity generalization techniques, and build-upon a notion called strictly local quasi-convexity in order to quantitatively characterize the optimization landscape of $\alpha$-loss. Practically, we perform class imbalance, robustness, and classification experiments on benchmark image datasets using convolutional-neural-networks. Our main practical conclusion is that certain tasks may benefit from tuning $\alpha$-loss away from log-loss ($\alpha = 1$), and to this end we provide simple heuristics for the practitioner. In particular, navigating the $\alpha$ hyperparameter can readily provide superior model robustness to label flips ($\alpha > 1$) and sensitivity to imbalanced classes ($\alpha < 1$).

在最近的研究中，分布式学习和随机特征的概括特性假设在假设空间中存在目标概念。但是，这种严格的条件不适用于更常见的情况。在本文中，使用精致的证明技术，我们首先将具有随机特征的分布式学习的最佳速率扩展到了不可算力的情况。然后，我们通过数据依赖性生成策略减少所需的随机特征的数量，并使用其他未标记的数据来改善允许的分区数量。理论分析表明，这些技术显着降低了计算成本，同时保留了标准假设下的最佳概括精度。最后，我们对模拟和实际数据集进行了几项实验，经验结果验证了我们的理论发现。

在统计和机器学习中具有重尾数据的模型开发强大的估计估计兴趣兴趣。本文提出了一个用于大家庭统计回归的日志截断的M估计，并在数据具有$ \ varepsilon \中的数据（0，1] $。随着相关风险函数的额外假设，我们获得了估计的$ \ ell_2 $ -Error绑定。我们的定理应用于建立具体回归的强大M估计。除了凸面回归等分位数回归之外广义线性模型，许多非凸回归也可以符合我们的定理，我们专注于强大的深度神经网络回归，这可以通过随机梯度下降算法解决。模拟和实际数据分析证明了日志截断估计的优越性超过标准估计。

尽管U统计量在现代概率和统计学中存在着无处不在的，但其在依赖框架中的非反应分析可能被忽略了。在最近的一项工作中，已经证明了对统一的马尔可夫链的U级统计数据的新浓度不平等。在本文中，我们通过在三个不同的研究领域中进一步推动了当前知识状态，将这一理论突破付诸实践。首先，我们为使用MCMC方法估算痕量类积分运算符光谱的新指数不平等。新颖的是，这种结果适用于具有正征和负征值的内核，据我们所知，这是新的。此外，我们研究了使用成对损失函数和马尔可夫链样品的在线算法的概括性能。我们通过展示如何从任何在线学习者产生的假设序列中提取低风险假设来提供在线到批量转换结果。我们最终对马尔可夫链的不变度度量的密度进行了拟合优度测试的非反应分析。我们确定了一些类别的替代方案，基于$ L_2 $距离的测试具有规定的功率。

The workhorse of machine learning is stochastic gradient descent. To access stochastic gradients, it is common to consider iteratively input/output pairs of a training dataset. Interestingly, it appears that one does not need full supervision to access stochastic gradients, which is the main motivation of this paper. After formalizing the "active labeling" problem, which focuses on active learning with partial supervision, we provide a streaming technique that provably minimizes the ratio of generalization error over the number of samples. We illustrate our technique in depth for robust regression.

数据标签噪声在监督学习应用中长期以来一直是一个重要的问题，因为它影响了许多广泛使用的分类方法的有效性。最近，重要的现实世界应用，如医学诊断和网络安全，已经产生了在Neyman-Pearson（NP）分类范式的重新兴趣，这在优选级别下限制了更严重的错误类型（例如，I错误）虽然最小化另一个（例如，II型错误）。但是，在标签噪声下对NP范例几乎没有研究。它有点令人惊讶的是，即使普通的NP分类器忽略训练阶段中的标签噪声，它们仍然能够控制I型错误，具有高概率。但是，他们支付的价格是I误差类型的过度保守性，因此电源的显着下降（即，1美元，II型错误）。假设领域专家在腐败严重程度上提供下限，我们提出了第一个理论支持算法，它适应NP范例下的训练标签噪声。由此产生的分类器不仅在所需水平下以高概率控制I误差，而且还提高功率。

为了减轻二进制分类中培训有效二进制分类器的数据要求，已经提出了许多弱监督的学习设置。其中，当由于隐私，机密性或安全原因无法访问时，使用成对但不是尖标签的一些考虑。然而，作为一对标签表示两个数据点是否共享尖点标签，如果任一点同样可能是正的或负数，则不能容易地收集。因此，在本文中，我们提出了一种名为成对比较（PCOMP）分类的新颖设置，在那里我们只有一对未标记的数据，我们知道一个人比另一个更有可能是积极的。首先，我们提供了PCOMP数据生成过程，通过理论上保证导出了无偏的风险估计器（URE），并进一步提高了URE使用校正功能。其次，我们将PCOMP分类链接到嘈杂的标签学习，通过强加一致性正规化来开发渐进式，并改善它。最后，我们通过实验证明了我们的方法的有效性，这表明PCOMP是一种有价值的，实际上有用的成对监督类型，除了一对标签。