互补标签（CL）只是指示一个示例的不正确类，但是使用CLS学习会导致多类分类器可以预测正确的类。不幸的是，问题设置仅允许每个示例一个CL，这特别限制了其潜力，因为我们的标签可能会轻松地将多个CLS（MCL）识别为一个示例。在本文中，我们提出了一个新颖的问题设置，以允许每个示例的MCL和使用MCL学习的两种方法。首先，我们设计了两个将MCL分解为许多单个CLS的包装器，以便我们可以使用CLS学习任何方法。但是，分解后MCL持有的监督信息在概念上稀释。因此，在第二个方面，我们得出了公正的风险估计器。最小化IT处理每组MCL的整体组合，并具有估计误差的结合。我们进一步改善了第二种方法，以最大程度地减少正确选择的上限。实验表明，以前的方式可以很好地与MCL学习，但后者甚至更好。

部分标签学习是一种弱监督的学习，不精确的标签，在这里，每个训练示例，我们都有一组候选标签而不是一个真正的标签。最近，在候选标签集的不同一代模型下提出了部分标签学习的各种方法。然而，这些方法需要在生成模型上具有相对强烈的分布假设。当假设不保持时，理论上不保证该方法的性能。在本文中，我们提出了部分标签对适用权的概念。我们表明，这种适当的部分标签学习框架包括许多以前的部分标签学习设置作为特殊情况。然后，我们派生了统一的分类风险估计。我们证明我们的估算器是通过获取其估计误差绑定的风险态度。最后，我们通过实验验证了算法的有效性。

为了减轻二进制分类中培训有效二进制分类器的数据要求，已经提出了许多弱监督的学习设置。其中，当由于隐私，机密性或安全原因无法访问时，使用成对但不是尖标签的一些考虑。然而，作为一对标签表示两个数据点是否共享尖点标签，如果任一点同样可能是正的或负数，则不能容易地收集。因此，在本文中，我们提出了一种名为成对比较（PCOMP）分类的新颖设置，在那里我们只有一对未标记的数据，我们知道一个人比另一个更有可能是积极的。首先，我们提供了PCOMP数据生成过程，通过理论上保证导出了无偏的风险估计器（URE），并进一步提高了URE使用校正功能。其次，我们将PCOMP分类链接到嘈杂的标签学习，通过强加一致性正规化来开发渐进式，并改善它。最后，我们通过实验证明了我们的方法的有效性，这表明PCOMP是一种有价值的，实际上有用的成对监督类型，除了一对标签。

互补标签学习（CLL）是弱监督的情况下的常见应用。但是，在实际数据集中，CLL遇到了平衡的培训样本，其中一个类的样品的数量明显低于其他类别的样本。不幸的是，现有的CLL方法尚未探索类饮食样本的问题，从而降低了预测准确性，尤其是在不平衡的类中。在本文中，我们提出了一个新颖的问题设置，以允许从类不平衡的互补标签样品中学习以进行多类分类。因此，为了解决这个新的问题，我们提出了一种新的CLL方法，称为加权互补标签学习（WCLL）。提出的方法通过利用类不平衡互补标记的信息来模拟加权的经验风险损失，这也适用于多类不平衡训练样本。此外，提出的方法的估计误差结合是提供理论保证的。最后，我们对广泛使用的基准数据集进行了广泛的实验，以通过将其与现有最新方法进行比较来验证我们的方法的优势。

近年来，有监督的深度学习取得了巨大的成功，从大量完全标记的数据中，对预测模型进行了培训。但是，实际上，标记这样的大数据可能非常昂贵，甚至出于隐私原因甚至可能是不可能的。因此，在本文中，我们旨在学习一个无需任何类标签的准确分类器。更具体地说，我们考虑了多组未标记的数据及其类先验的情况，即每个类别的比例。在此问题设置下，我们首先得出了对分类风险的无偏估计量，可以从给定未标记的集合中估算，并理论上分析了学习分类器的概括误差。然后，我们发现获得的分类器往往会导致过度拟合，因为其经验风险在训练过程中呈负面。为了防止过度拟合，我们进一步提出了一个部分风险正规化，该风险正规化在某些级别上保持了未标记的数据集和类方面的部分风险。实验表明，我们的方法有效地减轻了过度拟合和优于从多个未标记集中学习的最先进方法。

为了评估泛化，机器学习科学家通常（i）涉及泛化差距，然后（训练后）插入经验风险，以获得真正风险的界限;或（ii）验证持续数据验证。但是，（i）通常会给过度分开的模型产生脏污保证。此外，（ii）缩小训练集及其保证侵蚀，每次重复抵押邮件集。在本文中，我们介绍了一种利用未标记数据来产生泛化界限的方法。通过随机标记的新鲜例子增强我们（标签）培训，我们以标准方式训练。每当分类器在清洁数据上实现低误差和嘈杂数据的高误差时，我们的绑定都会为真正风险提供紧密的上限。我们证明我们的界限有效期为0-1经验风险最小化，并通过梯度下降训练的线性分类器。由于早期学习现象，我们的方法与深度学习结合尤其有用，由此网络在嘈杂的标签前拟合真正的标签，但需要一个直观的假设。在经验上，在规范计算机视觉和NLP任务上，我们的绑定提供了不受空广的泛化保证，可密切跟踪实际性能。这项工作为从业者提供了一个选择，即使在未经看跌的数据不可用的情况下也能够认证深网络的泛化，并为随机标签噪声和泛化之间的关系提供理论洞察力。

只给出了积极的例子和未标记的例子（来自正面和负数），我们可能希望估计准确的正面与负分类器。正式地，该任务分为两个子任务：（i）混合比例估计（MPE） - 确定未标记数据中的正例的分数; （ii）PU-Learning - 鉴于这样的估计，学习所需的正面与负分类器。不幸的是，两个问题的古典方法在高维设置中分解。与此同时，最近提出的启发式缺乏理论一致性，并效力依赖于近双车调谐。在本文中，我们提出了两种简单的技术：最好的箱估计（BBE）（用于MPE）;而有条件的价值忽略风险（CVIR），对PU学习的简单目标。这两种方法都主导了先前的方法，并且对于BBE，我们建立正式保证，每当我们可以培训模型来干净地分离出一小部分积极示例的担保。我们的最终算法（TED）$ ^ N $，两种程序之间交替，显着改善了我们的混合比例估计器和分类器

The estimation of cumulative distribution functions (CDFs) is an important learning task with a great variety of downstream applications, such as risk assessments in predictions and decision making. In this paper, we study functional regression of contextual CDFs where each data point is sampled from a linear combination of context dependent CDF basis functions. We propose functional ridge-regression-based estimation methods that estimate CDFs accurately everywhere. In particular, given $n$ samples with $d$ basis functions, we show estimation error upper bounds of $\widetilde{O}(\sqrt{d/n})$ for fixed design, random design, and adversarial context cases. We also derive matching information theoretic lower bounds, establishing minimax optimality for CDF functional regression. Furthermore, we remove the burn-in time in the random design setting using an alternative penalized estimator. Then, we consider agnostic settings where there is a mismatch in the data generation process. We characterize the error of the proposed estimators in terms of the mismatched error, and show that the estimators are well-behaved under model mismatch. Finally, to complete our study, we formalize infinite dimensional models where the parameter space is an infinite dimensional Hilbert space, and establish self-normalized estimation error upper bounds for this setting.

部分标签学习（PLL）是一个典型的弱监督学习框架，每个培训实例都与候选标签集相关联，其中只有一个标签是有效的。为了解决PLL问题，通常方法试图通过使用先验知识（例如培训数据的结构信息）或以自训练方式提炼模型输出来对候选人集进行歧义。不幸的是，由于在模型训练的早期阶段缺乏先前的信息或不可靠的预测，这些方法通常无法获得有利的性能。在本文中，我们提出了一个新的针对部分标签学习的框架，该框架具有元客观指导性的歧义（MOGD），该框架旨在通过在小验证集中求解元目标来从设置的候选标签中恢复地面真相标签。具体而言，为了减轻假阳性标签的负面影响，我们根据验证集的元损失重新权重。然后，分类器通过最大程度地减少加权交叉熵损失来训练。通过使用普通SGD优化器的各种深网络可以轻松实现所提出的方法。从理论上讲，我们证明了元目标的收敛属性，并得出了所提出方法的估计误差界限。在各种基准数据集和实际PLL数据集上进行的广泛实验表明，与最先进的方法相比，所提出的方法可以实现合理的性能。

我们介绍了在打开集标签偏移（OSL）下进行域适应的问题，该标签分布可以任意更改，并且在部署期间可能会到达新类，但是类别条件分布p（x | y）是域不变的。 OSLS在标签转移和未标记（PU）学习下适应域的域名。学习者的目标是两个方面：（a）估计目标标签分布，包括新颖的班级； （b）学习目标分类器。首先，我们建立了确定这些数量的必要条件。其次，在标签转移和PU学习方面的进步中，我们提出了针对利用黑盒预测变量的两项任务的实用方法。与典型的开放式域适应（OSDA）问题不同，该问题往往不适合且仅适合启发式方法，OSLS提供了一个适合原则性机械的良好问题。关于视觉，语言和医学数据集的众多半合成基准测试的实验表明，我们的方法始终超过OSDA基线，实现目标域精度的10--25％提高。最后，我们分析了提出的方法，建立了与真正的标签边缘和收敛到高斯设置中线性模型的最佳分类器的有限样本收敛性。代码可在https://github.com/acmi-lab/open-set-label-shift上找到。

积极的未标记（PU）学习旨在仅从积极和未标记的数据中学习二进制分类器，这在许多现实世界中都被使用。但是，现有的PU学习算法无法在开放且不断变化的情况下应对现实世界中的挑战，在这种情况下，未观察到的增强类的示例可能会在测试阶段出现。在本文中，我们通过利用来自增强类分布的未标记数据来提出一个通过增强类（PUAC）进行PU学习的无偏风险估计器，在许多现实世界中，可以轻松收集这些数据。此外，我们得出了针对拟议估计器的估计误差，该估计量为其融合到最佳解决方案提供了理论保证。多个现实数据集的实验证明了拟议方法的有效性。

We study the training and generalization of deep neural networks (DNNs) in the overparameterized regime, where the network width (i.e., number of hidden nodes per layer) is much larger than the number of training data points. We show that, the expected 0-1 loss of a wide enough ReLU network trained with stochastic gradient descent (SGD) and random initialization can be bounded by the training loss of a random feature model induced by the network gradient at initialization, which we call a neural tangent random feature (NTRF) model. For data distributions that can be classified by NTRF model with sufficiently small error, our result yields a generalization error bound in the order of r Opn ´1{2 q that is independent of the network width. Our result is more general and sharper than many existing generalization error bounds for over-parameterized neural networks. In addition, we establish a strong connection between our generalization error bound and the neural tangent kernel (NTK) proposed in recent work.

This paper provides estimation and inference methods for an identified set's boundary (i.e., support function) where the selection among a very large number of covariates is based on modern regularized tools. I characterize the boundary using a semiparametric moment equation. Combining Neyman-orthogonality and sample splitting ideas, I construct a root-N consistent, uniformly asymptotically Gaussian estimator of the boundary and propose a multiplier bootstrap procedure to conduct inference. I apply this result to the partially linear model, the partially linear IV model and the average partial derivative with an interval-valued outcome.

关于二进制分类的绝大多数统计理论都以准确性为特征。然而，在许多情况下，已知准确性反映了分类错误的实际后果，最著名的是在不平衡的二元分类中，其中数据以两个类别之一的样本为主。本文的第一部分将贝叶斯最佳分类器的新概括从精度到从混淆矩阵计算的任何性能度量标准中。具体而言，该结果（a）表明，随机分类器有时优于最佳确定性分类器，并且（b）删除了经验上无法验证的绝对连续性假设，该假设是较知差的，但遍及现有结果。然后，我们演示了如何使用这种广义的贝叶斯分类器来获得遗憾的界限，以估算统一损失下的回归函数的误差。最后，我们使用这些结果来开发一些针对不平衡算法分类的第一个有限样本统计保证。具体而言，我们证明了最佳分类性能取决于类不平衡的属性，例如一种称为统一类不平衡的新颖概念，以前尚未正式化。在$ k $ neart的邻居分类的情况下，我们进一步以数值说明这些贡献

了解现代机器学习设置中的概括一直是统计学习理论的主要挑战之一。在这种情况下，近年来见证了各种泛化范围的发展，表明了不同的复杂性概念，例如数据样本和算法输出之间的相互信息，假设空间的可压缩性以及假设空间的分形维度。尽管这些界限从不同角度照亮了手头的问题，但它们建议的复杂性概念似乎似乎无关，从而限制了它们的高级影响。在这项研究中，我们通过速率理论的镜头证明了新的概括界定，并明确地将相互信息，可压缩性和分形维度的概念联系起来。我们的方法包括（i）通过使用源编码概念来定义可压缩性的广义概念，（ii）表明“压缩错误率”可以与预期和高概率相关。我们表明，在“无损压缩”设置中，我们恢复并改善了现有的基于信息的界限，而“有损压缩”方案使我们能够将概括与速率延伸维度联系起来，这是分形维度的特定概念。我们的结果为概括带来了更统一的观点，并打开了几个未来的研究方向。

深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。

在本文中，我们研究了强大的马尔可夫决策过程（MDPS）的最佳稳健策略和价值功能的非反应性和渐近性能，其中仅从生成模型中求解了最佳的稳健策略和价值功能。尽管在KL不确定性集和$（s，a）$ - 矩形假设的设置中限制了以前专注于可靠MDP的非反应性能的工作，但我们改善了它们的结果，还考虑了其​​他不确定性集，包括$ L_1 $和$ L_1 $和$ \ chi^2 $球。我们的结果表明，当我们假设$（s，a）$ - 矩形在不确定性集上时，示例复杂度大约为$ \ widetilde {o} \ left（\ frac {| \ mathcal {| \ mathcal {s} |^2 | \ mathcal { a} |} {\ varepsilon^2 \ rho^2（1- \ gamma）^4} \ right）$。此外，我们将结果从$（s，a）$ - 矩形假设扩展到$ s $矩形假设。在这种情况下，样本复杂性随选择不确定性集而变化，通常比$（s，a）$矩形假设下的情况大。此外，我们还表明，在$（s，a）$和$ s $ retectangular的假设下，从理论和经验的角度来看，最佳的鲁棒值函数是渐近的正常，典型的速率$ \ sqrt {n} $。

最近关于深度学习的研究侧重于极端过度参数化的设置，并表明，当网络宽度大于训练样本大小的高度多项式$ N $和目标错误$ \ epsilon ^ {-1} $，由（随机）梯度下降学习的深度神经网络享受很好的优化和泛化保证。最近，表明，在训练数据的某些边缘假设下，PolyGarithic宽度条件足以使两层Relu网络收敛和概括（Ji和Telgarsky，2019）。但是，是否可以通过这种轻度过度参数化学习深度神经网络仍然是一个开放的问题。在这项工作中，我们肯定地回答了这个问题，并建立了由（随机）梯度下降所培训的深度Relu网络的更尖锐的学习保证。具体而言，在以前的工作中的某些假设下，我们的优化和泛化保证以$ N $和$ \ epsilon ^ { - 1} $持有网络宽度波动力算法。我们的结果推动了对更实际的环境的过度参数化深神经网络的研究。

从积极和未标记的（PU）数据中学习是各种应用中的重要问题。最近PU分类的大多数方法假设训练未标记的数据集中的课程（正样本的比率）与测试数据的类别相同，这在许多实际情况下不存在。此外，我们通常不知道培训和测试数据的类别，因此我们没有关于如何在没有它们的情况下训练分类器的线索。为了解决这些问题，我们提出了一种基于密度比估计的新型PU分类方法。我们所提出的方法的显着优势在于它不需要训练阶段中的类前沿;先前的换档仅在测试阶段结合。理论上，理论地证明我们提出的方法和实验证明其有效性。

本文考虑了在黑匣子场景中估算系统信息泄露的问题。假设系统的内部结构未知为学习者，或者无论如何都是过于复杂的分析，并且唯一可用信息是对输入输出数据样本的对，可能通过向系统提交查询或由第三方提供而获得。以前的研究主要集中在计算频率上估计输入输出条件概率（称为频率方法），但是当可能输出的域大时，此方法不准确。为了克服这种困难，最近使用机器学习（ML）模型来研究理想分类器的贝叶斯误差的估计，并且由于这些模型来学习输入输出对应的能力，它已被证明更准确。但是，贝叶斯脆弱性仅适合描述一次尝试攻击。更一般和灵活的泄漏量是G-漏洞，包括几种不同类型的对手，具有不同的目标和能力。在本文中，我们提出了一种新的方法来使用ML进行黑盒估计G-漏洞的估计。我们的方法的特点是它不需要估计条件概率，并且它适用于大类ML算法。首先，我们正式显示所有数据分布的可读性。然后，我们通过使用K-CORMATE邻居和神经网络通过各种实验评估性能。当可观察到域大时，我们的结果胜过频率的方法。