监督学习通常依赖于真实标签的手动注释。当有许多潜在的类别时，寻找最佳的班级对于人类注释者可能会过时。另一方面，比较两个候选标签通常要容易得多。我们专注于这种成对的监督，并询问如何有效地用于学习，尤其是在积极学习中。在这种情况下，我们获得了一些有见地的结果。原则上，可以使用$ K-1 $ Active查询来找到最好的$ K $标签。我们表明，有一种自然阶级，这种方法是最佳选择的，并且有更具比较的主动学习方案。我们分析中的一个关键要素是真实分布的“标签邻域图”，如果两个类共享决策边界，则在两个类之间具有优势。我们还表明，在PAC设置中，成对比较在最坏情况下不能提供改善的样品复杂性。我们通过实验补充了理论结果，清楚地证明了邻里图对样品复杂性的影响。

We study crowdsourced PAC learning of threshold functions, where the labels are gathered from a pool of annotators some of whom may behave adversarially. This is yet a challenging problem and until recently has computationally and query efficient PAC learning algorithm been established by Awasthi et al. (2017). In this paper, we show that by leveraging the more easily acquired pairwise comparison queries, it is possible to exponentially reduce the label complexity while retaining the overall query complexity and runtime. Our main algorithmic contributions are a comparison-equipped labeling scheme that can faithfully recover the true labels of a small set of instances, and a label-efficient filtering process that in conjunction with the small labeled set can reliably infer the true labels of a large instance set.

公司跨行业对机器学习（ML）的快速传播采用了重大的监管挑战。一个这样的挑战就是可伸缩性：监管机构如何有效地审核这些ML模型，以确保它们是公平的？在本文中，我们启动基于查询的审计算法的研究，这些算法可以以查询有效的方式估算ML模型的人口统计学率。我们提出了一种最佳的确定性算法，以及具有可比保证的实用随机，甲骨文效率的算法。此外，我们进一步了解了随机活动公平估计算法的最佳查询复杂性。我们对主动公平估计的首次探索旨在将AI治理置于更坚定的理论基础上。

Boosting是一种著名的机器学习方法，它基于将弱和适度不准确假设与强烈而准确的假设相结合的想法。我们研究了弱假设属于界限能力类别的假设。这个假设的灵感来自共同的惯例，即虚弱的假设是“易于学习的类别”中的“人数规则”。 （Schapire和Freund〜 '12，Shalev-Shwartz和Ben-David '14。）正式，我们假设弱假设类别具有有界的VC维度。我们关注两个主要问题：（i）甲骨文的复杂性：产生准确的假设需要多少个弱假设？我们设计了一种新颖的增强算法，并证明它绕过了由Freund和Schapire（'95，'12）的经典下限。虽然下限显示$ \ omega（{1}/{\ gamma^2}）$弱假设有时是必要的，而有时则需要使用$ \ gamma $ -margin，但我们的新方法仅需要$ \ tilde {o}（{1}）（{1}） /{\ gamma}）$弱假设，前提是它们属于一类有界的VC维度。与以前的增强算法以多数票汇总了弱假设的算法不同，新的增强算法使用了更复杂（“更深”）的聚合规则。我们通过表明复杂的聚合规则实际上是规避上述下限是必要的，从而补充了这一结果。 （ii）表现力：通过提高有限的VC类的弱假设可以学习哪些任务？可以学到“遥远”的复杂概念吗？为了回答第一个问题，我们{介绍组合几何参数，这些参数捕获增强的表现力。}作为推论，我们为认真的班级的第二个问题提供了肯定的答案，包括半空间和决策树桩。一路上，我们建立并利用差异理论的联系。

在本文中，我们研究了上下文搜索中的学习问题，该问题是由诸如第一价格拍卖，个性化医学实验和基于功能的定价实验之类的应用所激发的。特别是，对于到达上下文向量的顺序，每个上下文与基本值相关联，决策者要么在特定点进行查询，要么跳过上下文。决策者只会观察有关查询点与上下文相关的价值之间关系的二进制反馈。我们研究PAC学习设置，目标是在最少数量的查询中学习基础平均值函数。为了应对这一挑战，我们提出了一种三部分搜索方法，并结合了基于保证金的主动学习方法。我们表明，该算法仅需要制作$ o（1/\ varepsilon^2）$查询即可达到$ \ epsilon $估计的准确性。该样本复杂性大大降低了被动设置中所需的样品复杂性，至少$ \ omega（1/\ varepsilon^4）$。

我们研究了利润率的二元和多类分类器的精确积极学习。给定一个$ n $ - 点集$ x \ subset \ mathbb {r}^m $，我们想在$ x $上学习任何未知分类器，其类具有有限的strong convex hull保证金，这是一个扩展SVM保证金的新概念。在标准的主动学习环境中，只有标签查询，在最坏的情况下学习具有强凸额的分类器$ \ gamma $需要$ \ omega \ big（1+ \ frac {1} {\ gamma} {\ gamma} \ big big ）^{（M-1）/2} $查询。另一方面，使用更强大的种子查询（一种等价查询的变体），可以通过littlestone's缩小算法在$ o（m \ log n）$ Queries中学习目标分类器；但是，减半在计算上效率低下。在这项工作中，我们表明，通过仔细组合两种类型的查询，可以在时间上学习二进制分类器$ \ operatatorName {poly}（n+m）$，仅使用$ o（m^2 \ log n）$ label查询和$ o \ big（m \ log \ frac {m} {\ gamma} \ big）$ seed queries;结果以$ k！k^2 $乘法开销的价格扩展到$ k $ class分类器。当输入点具有界限的位复杂性时，或者仅一个类具有强凸壳边缘时，相似的结果就成立了。我们通过证明在最坏的情况下任何算法需要$ \ omega \ big（k m \ log \ frac {1} {\ gamma} \ big）$ seed $ seed和标签质量质量来学习$ k $ -Class classifier具有强大的凸壳保证金$ \ gamma $。

A classical result in learning theory shows the equivalence of PAC learnability of binary hypothesis classes and the finiteness of VC dimension. Extending this to the multiclass setting was an open problem, which was settled in a recent breakthrough result characterizing multiclass PAC learnability via the DS dimension introduced earlier by Daniely and Shalev-Shwartz. In this work we consider list PAC learning where the goal is to output a list of $k$ predictions. List learning algorithms have been developed in several settings before and indeed, list learning played an important role in the recent characterization of multiclass learnability. In this work we ask: when is it possible to $k$-list learn a hypothesis class? We completely characterize $k$-list learnability in terms of a generalization of DS dimension that we call the $k$-DS dimension. Generalizing the recent characterization of multiclass learnability, we show that a hypothesis class is $k$-list learnable if and only if the $k$-DS dimension is finite.

我们考虑在可实现的环境中进行交互式学习，并开发一般框架，以处理从最佳ARM识别到主动分类的问题。我们开始调查，即观察到可怕算法\ emph {无法实现可实现的设置中最佳最佳状态。因此，我们设计了新的计算有效的算法，可实现最可实现的设置，该算法与对数因子的最小限制相匹配，并且是通用的，适用于包括内核方法的各种功能类，H {\“O}偏置函数，以及凸起功能。我们的算法的样本复杂性可以在众所周知的数量中量化，如延长的教学尺寸和干草堆维度。然而，与直接基于这些组合量的算法不同，我们的算法是计算效率的。实现计算效率，我们的算法使用Monte Carlo“命令运行”算法来从版本空间中的样本，而不是明确地维护版本空间。我们的方法有两个关键优势。首先，简单，由两个统一，贪婪的算法组成。第二，我们的算法具有能够无缝地利用经常可用和在实践中有用的知识。此外为了我们的新理论结果，我们经验证明我们的算法与高斯过程UCB方法具有竞争力。

可实现和不可知性的可读性的等价性是学习理论的基本现象。与PAC学习和回归等古典设置范围的变种，近期趋势，如对冲强劲和私人学习，我们仍然缺乏统一理论;等同性的传统证据往往是不同的，并且依赖于强大的模型特异性假设，如统一的收敛和样本压缩。在这项工作中，我们给出了第一个独立的框架，解释了可实现和不可知性的可读性的等价性：三行黑箱减少简化，统一，并在各种各样的环境中扩展了我们的理解。这包括没有已知的学报的模型，例如学习任意分布假设或一般损失，以及许多其他流行的设置，例如强大的学习，部分学习，公平学习和统计查询模型。更一般地，我们认为可实现和不可知的学习的等价性实际上是我们调用属性概括的更广泛现象的特殊情况：可以满足有限的学习算法（例如\噪声公差，隐私，稳定性）的任何理想性质假设类（可能在某些变化中）延伸到任何学习的假设类。

负责使用机器学习需要对不良属性进行审核。但是，如何在一般环境中进行有原则的审计一直存在不佳。在本文中，我们提出了一个正式的学习理论框架进行审核。我们提出了用于审核线性分类器的算法，用于使用标签查询以及各种解释，并提供性能保证。我们的结果表明，尽管反事实解释可能对审核非常有帮助，但在最坏情况下，锚点解释可能不会那么有益。

Learning problems form an important category of computational tasks that generalizes many of the computations researchers apply to large real-life data sets. We ask: what concept classes can be learned privately, namely, by an algorithm whose output does not depend too heavily on any one input or specific training example? More precisely, we investigate learning algorithms that satisfy differential privacy, a notion that provides strong confidentiality guarantees in contexts where aggregate information is released about a database containing sensitive information about individuals.Our goal is a broad understanding of the resources required for private learning in terms of samples, computation time, and interaction. We demonstrate that, ignoring computational constraints, it is possible to privately agnostically learn any concept class using a sample size approximately logarithmic in the cardinality of the concept class. Therefore, almost anything learnable is learnable privately: specifically, if a concept class is learnable by a (non-private) algorithm with polynomial sample complexity and output size, then it can be learned privately using a polynomial number of samples. We also present a computationally efficient private PAC learner for the class of parity functions. This result dispels the similarity between learning with noise and private learning (both must be robust to small changes in inputs), since parity is thought to be very hard to learn given random classification noise.Local (or randomized response) algorithms are a practical class of private algorithms that have received extensive investigation. We provide a precise characterization of local private learning algorithms. We show that a concept class is learnable by a local algorithm if and only if it is learnable in the statistical query (SQ) model. Therefore, for local private learning algorithms, the similarity to learning with noise is stronger: local learning is equivalent to SQ learning, and SQ algorithms include most known noise-tolerant learning algorithms. Finally, we present a separation between the power of interactive and noninteractive local learning algorithms. Because of the equivalence to SQ learning, this result also separates adaptive and nonadaptive SQ learning.

度量启发是最新的框架，用于启发分类性能指标，可以根据任务和上下文最好地反映隐性用户偏好。但是，可用的启发策略仅限于预测率的线性（或准线性）函数，这实际上对包括公平性在内的许多应用可能是限制的。本文制定了一种策略，以引发由二次功能定义的更灵活的多类指标，旨在更好地反映人类的偏好。我们展示了它在启发基于二次违规的集体 - fair量指标中的应用。我们的策略仅需要相对的偏好反馈，对噪声是强大的，并且达到了近乎最佳的查询复杂性。我们将此策略进一步扩展到启发多项式指标，从而扩大了用例以进行度量启发。

Active learning with strong and weak labelers considers a practical setting where we have access to both costly but accurate strong labelers and inaccurate but cheap predictions provided by weak labelers. We study this problem in the streaming setting, where decisions must be taken \textit{online}. We design a novel algorithmic template, Weak Labeler Active Cover (WL-AC), that is able to robustly leverage the lower quality weak labelers to reduce the query complexity while retaining the desired level of accuracy. Prior active learning algorithms with access to weak labelers learn a difference classifier which predicts where the weak labels differ from strong labelers; this requires the strong assumption of realizability of the difference classifier (Zhang and Chaudhuri,2015). WL-AC bypasses this \textit{realizability} assumption and thus is applicable to many real-world scenarios such as random corrupted weak labels and high dimensional family of difference classifiers (\textit{e.g.,} deep neural nets). Moreover, WL-AC cleverly trades off evaluating the quality with full exploitation of weak labelers, which allows to convert any active learning strategy to one that can leverage weak labelers. We provide an instantiation of this template that achieves the optimal query complexity for any given weak labeler, without knowing its accuracy a-priori. Empirically, we propose an instantiation of the WL-AC template that can be efficiently implemented for large-scale models (\textit{e.g}., deep neural nets) and show its effectiveness on the corrupted-MNIST dataset by significantly reducing the number of labels while keeping the same accuracy as in passive learning.

Consider the following abstract coin tossing problem: Given a set of $n$ coins with unknown biases, find the most biased coin using a minimal number of coin tosses. This is a common abstraction of various exploration problems in theoretical computer science and machine learning and has been studied extensively over the years. In particular, algorithms with optimal sample complexity (number of coin tosses) have been known for this problem for quite some time. Motivated by applications to processing massive datasets, we study the space complexity of solving this problem with optimal number of coin tosses in the streaming model. In this model, the coins are arriving one by one and the algorithm is only allowed to store a limited number of coins at any point -- any coin not present in the memory is lost and can no longer be tossed or compared to arriving coins. Prior algorithms for the coin tossing problem with optimal sample complexity are based on iterative elimination of coins which inherently require storing all the coins, leading to memory-inefficient streaming algorithms. We remedy this state-of-affairs by presenting a series of improved streaming algorithms for this problem: we start with a simple algorithm which require storing only $O(\log{n})$ coins and then iteratively refine it further and further, leading to algorithms with $O(\log\log{(n)})$ memory, $O(\log^*{(n)})$ memory, and finally a one that only stores a single extra coin in memory -- the same exact space needed to just store the best coin throughout the stream. Furthermore, we extend our algorithms to the problem of finding the $k$ most biased coins as well as other exploration problems such as finding top-$k$ elements using noisy comparisons or finding an $\epsilon$-best arm in stochastic multi-armed bandits, and obtain efficient streaming algorithms for these problems.

我们提出了改进的算法，并为身份测试$ n $维分布的问题提供了统计和计算下限。在身份测试问题中，我们将作为输入作为显式分发$ \ mu $，$ \ varepsilon> 0 $，并访问对隐藏分布$ \ pi $的采样甲骨文。目标是区分两个分布$ \ mu $和$ \ pi $是相同的还是至少$ \ varepsilon $ -far分开。当仅从隐藏分布$ \ pi $中访问完整样本时，众所周知，可能需要许多样本，因此以前的作品已经研究了身份测试，并额外访问了各种有条件采样牙齿。我们在这里考虑一个明显弱的条件采样甲骨文，称为坐标Oracle，并在此新模型中提供了身份测试问题的相当完整的计算和统计表征。我们证明，如果一个称为熵的分析属性为可见分布$ \ mu $保留，那么对于任何使用$ \ tilde {o}（n/\ tilde {o}），有一个有效的身份测试算法Varepsilon）$查询坐标Oracle。熵的近似张力是一种经典的工具，用于证明马尔可夫链的最佳混合时间边界用于高维分布，并且最近通过光谱独立性为许多分布族建立了最佳的混合时间。我们将算法结果与匹配的$ \ omega（n/\ varepsilon）$统计下键进行匹配的算法结果补充，以供坐标Oracle下的查询数量。我们还证明了一个计算相变：对于$ \ {+1，-1，-1 \}^n $以上的稀疏抗抗铁磁性模型，在熵失败的近似张力失败的状态下，除非RP = np，否则没有有效的身份测试算法。

我们考虑使用对抗鲁棒性学习的样本复杂性。对于此问题的大多数现有理论结果已经考虑了数据中不同类别在一起或重叠的设置。通过一些实际应用程序，我们认为，相比之下，存在具有完美精度和稳健性的分类器的分类器的良好分离的情况，并表明样品复杂性叙述了一个完全不同的故事。具体地，对于线性分类器，我们显示了大类分离的分布式，其中任何算法的预期鲁棒丢失至少是$ \ω（\ FRAC {D} {n}）$，而最大边距算法已预期标准亏损$ o（\ frac {1} {n}）$。这表明了通过现有技术不能获得的标准和鲁棒损耗中的间隙。另外，我们介绍了一种算法，给定鲁棒率半径远小于类之间的间隙的实例，给出了预期鲁棒损失的解决方案是$ O（\ FRAC {1} {n}）$。这表明，对于非常好的数据，可实现$ O（\ FRAC {1} {n}）$的收敛速度，否则就是这样。我们的结果适用于任何$ \ ell_p $ norm以$ p> 1 $（包括$ p = \ idty $）为稳健。

我们研究了积极学习的问题，即学习者通过乐于助人的老师辅助的扭曲。我们考虑以下自然交互协议：在每一轮时，学习者提出了一个查询询问实例$ x q $的标签，老师提供请求的标签$ \ {x ^ q，y ^ q \} $通过解释信息来指导学习过程。在本文中，我们以额外的对比示例的形式查看此信息（$ \ {x ^ c，y ^ c} $），其中$ x ^ c $摘自$ x ^ q $（例如，具有相同标签的异种情况）。我们的重点是设计一种教学算法，可以向学习者提供信息的对比序列，以加快学习过程。我们表明这导致了一个具有挑战性的序列优化问题，其中算法在给定轮的选择取决于交互历史。我们调查了一种高效的教学算法，可自适应地选择这些对比示例。我们基于两个问题依赖性参数促进了我们的算法的强大性能保障，进一步表明，对于特定类型的活跃学习者（例如，广义二进制搜索学习者），所提出的教学算法表现出强烈的近似保证。最后，我们通过两个数值案例研究说明了我们的界限并展示了我们的教学框架的有效性。

我们考虑多级分类的问题，其中普遍选择的查询流到达，并且必须在线分配标签。与寻求最小化错误分类率的传统界定不同，我们将每个查询的总距离最小化到与其正确标签相对应的区域。当通过最近的邻分区确定真正的标签时 - 即点的标签由它最接近欧几里德距离所提供的点，我们表明人们可以实现独立的损失查询总数。我们通过显示学习常规凸集每查询需要几乎线性损耗来补充此结果。我们的结果为语境搜索的几何问题而被遗憾地构建了遗憾的保证。此外，我们制定了一种从多字符分类到二进制分类的新型还原技术，这可能具有独立兴趣。

标签排名（LR）对应于学习一个假设的问题，以通过有限一组标签将功能映射到排名。我们采用了对LR的非参数回归方法，并获得了这一基本实际问题的理论绩效保障。我们在无噪声和嘈杂的非参数回归设置中介绍了一个用于标签排名的生成模型，并为两种情况下提供学习算法的示例复杂性界限。在无噪声环境中，我们研究了全排序的LR问题，并在高维制度中使用决策树和随机林提供计算有效的算法。在嘈杂的环境中，我们考虑使用统计观点的不完整和部分排名的LR更通用的情况，并使用多种多组分类的一种方法获得样本复杂性范围。最后，我们与实验补充了我们的理论贡献，旨在了解输入回归噪声如何影响观察到的输出。

经典的算法adaboost允许转换一个弱学习者，这是一种算法，它产生的假设比机会略好，成为一个强大的学习者，在获得足够的培训数据时，任意高精度。我们提出了一种新的算法，该算法从弱学习者中构建了一个强大的学习者，但比Adaboost和所有其他弱者到强大的学习者使用训练数据少，以实现相同的概括界限。样本复杂性下限表明我们的新算法使用最小可能的训练数据，因此是最佳的。因此，这项工作解决了从弱学习者中构建强大学习者的经典问题的样本复杂性。