我们研究了积极学习的问题,即学习者通过乐于助人的老师辅助的扭曲。我们考虑以下自然交互协议:在每一轮时,学习者提出了一个查询询问实例$ x q $的标签,老师提供请求的标签$ \ {x ^ q,y ^ q \} $通过解释信息来指导学习过程。在本文中,我们以额外的对比示例的形式查看此信息($ \ {x ^ c,y ^ c} $),其中$ x ^ c $摘自$ x ^ q $(例如,具有相同标签的异种情况)。我们的重点是设计一种教学算法,可以向学习者提供信息的对比序列,以加快学习过程。我们表明这导致了一个具有挑战性的序列优化问题,其中算法在给定轮的选择取决于交互历史。我们调查了一种高效的教学算法,可自适应地选择这些对比示例。我们基于两个问题依赖性参数促进了我们的算法的强大性能保障,进一步表明,对于特定类型的活跃学习者(例如,广义二进制搜索学习者),所提出的教学算法表现出强烈的近似保证。最后,我们通过两个数值案例研究说明了我们的界限并展示了我们的教学框架的有效性。
translated by 谷歌翻译
主动学习最大化假设更新,以找到那些所需的未标记数据。一个固有的假设是,这种学习方式可以将这些更新得出到最佳假设中。但是,如果这些增量更新是负面和无序的,则可能无法很好地保证其收敛性。在本文中,我们介绍了一位机器老师,该教师为主动学习者提供了一个黑盒教学假设,其中教学假设是最佳假设的有效近似。从理论上讲,我们证明,在这一教学假设的指导下,学习者可以比那些没有从老师那里获得任何指导的受过教育的学习者融合到更严格的概括错误和标签复杂性。我们进一步考虑了两种教学方案:教授白盒和黑盒学习者,首先提出了教学的自我完善以改善教学表现。实验验证了这一想法并表现出比基本的积极学习策略(例如Iwal,Iwal-D等)更好的性能。
translated by 谷歌翻译
公司跨行业对机器学习(ML)的快速传播采用了重大的监管挑战。一个这样的挑战就是可伸缩性:监管机构如何有效地审核这些ML模型,以确保它们是公平的?在本文中,我们启动基于查询的审计算法的研究,这些算法可以以查询有效的方式估算ML模型的人口统计学率。我们提出了一种最佳的确定性算法,以及具有可比保证的实用随机,甲骨文效率的算法。此外,我们进一步了解了随机活动公平估计算法的最佳查询复杂性。我们对主动公平估计的首次探索旨在将AI治理置于更坚定的理论基础上。
translated by 谷歌翻译
监督学习通常依赖于真实标签的手动注释。当有许多潜在的类别时,寻找最佳的班级对于人类注释者可能会过时。另一方面,比较两个候选标签通常要容易得多。我们专注于这种成对的监督,并询问如何有效地用于学习,尤其是在积极学习中。在这种情况下,我们获得了一些有见地的结果。原则上,可以使用$ K-1 $ Active查询来找到最好的$ K $标签。我们表明,有一种自然阶级,这种方法是最佳选择的,并且有更具比较的主动学习方案。我们分析中的一个关键要素是真实分布的“标签邻域图”,如果两个类共享决策边界,则在两个类之间具有优势。我们还表明,在PAC设置中,成对比较在最坏情况下不能提供改善的样品复杂性。我们通过实验补充了理论结果,清楚地证明了邻里图对样品复杂性的影响。
translated by 谷歌翻译
我们考虑在可实现的环境中进行交互式学习,并开发一般框架,以处理从最佳ARM识别到主动分类的问题。我们开始调查,即观察到可怕算法\ emph {无法实现可实现的设置中最佳最佳状态。因此,我们设计了新的计算有效的算法,可实现最可实现的设置,该算法与对数因子的最小限制相匹配,并且是通用的,适用于包括内核方法的各种功能类,H {\“O}偏置函数,以及凸起功能。我们的算法的样本复杂性可以在众所周知的数量中量化,如延长的教学尺寸和干草堆维度。然而,与直接基于这些组合量的算法不同,我们的算法是计算效率的。实现计算效率,我们的算法使用Monte Carlo“命令运行”算法来从版本空间中的样本,而不是明确地维护版本空间。我们的方法有两个关键优势。首先,简单,由两个统一,贪婪的算法组成。第二,我们的算法具有能够无缝地利用经常可用和在实践中有用的知识。此外为了我们的新理论结果,我们经验证明我们的算法与高斯过程UCB方法具有竞争力。
translated by 谷歌翻译
积极的学习方法在减少学习所需的样本数量方面表现出了巨大的希望。随着自动化学习系统被采用到实时的现实世界决策管道中,越来越重要的是,这种算法的设计考虑到了安全性。在这项工作中,我们研究了在互动环境中学习最佳安全决定的复杂性。我们将这个问题减少到约束的线性匪徒问题,我们的目标是找到满足某些(未知)安全限制的最佳手臂。我们提出了一种基于自适应的实验性设计算法,在显示ARM的难度与次优的难度之间,我们表现出了有效的交易。据我们所知,我们的结果是具有安全限制的线性匪徒最佳武器识别。实际上,我们证明了这种方法在合成和现实世界数据集上的表现很好。
translated by 谷歌翻译
级别设置估计问题旨在查找域$ {\ cal x} $的所有点,其中一个未知函数$ f:{\ cal x} \ lightarrow \ mathbb {r} $超过阈值$ \ alpha $ 。估计基于可以在$ {\ cal x} $中顺序和自适应地选择的位置获取的嘈杂函数评估。阈值$ \ alpha $可以是\弹性{显式},并提供先验,或\ \ ich {隐式},相对于最佳函数值定义,即$ \ alpha =(1- \ epsilon)f(x_ \ AST)$关于给定$ \ epsilon> 0 $ why $ f(x_ \ ist)$是最大函数值,并且未知。在这项工作中,我们通过将其与最近的自适应实验设计方法相关联,为近期自适应实验设计方法提供了一种新的再现内核盗窃空间(RKHS)设置。我们假设可以通过RKHS中的函数近似于未知的拼写,并为此设置中隐含和显式案件提供新的算法,具有很强的理论保证。此外,在线性(内核)设置中,我们表明我们的界限几乎是最佳的,即,我们的上限与阈值线性匪徒的现有下限匹配。据我们所知,这项工作提供了第一个实例依赖性非渐近的上限,就匹配信息理论下限的水平设定估计的样本复杂性。
translated by 谷歌翻译
Active learning with strong and weak labelers considers a practical setting where we have access to both costly but accurate strong labelers and inaccurate but cheap predictions provided by weak labelers. We study this problem in the streaming setting, where decisions must be taken \textit{online}. We design a novel algorithmic template, Weak Labeler Active Cover (WL-AC), that is able to robustly leverage the lower quality weak labelers to reduce the query complexity while retaining the desired level of accuracy. Prior active learning algorithms with access to weak labelers learn a difference classifier which predicts where the weak labels differ from strong labelers; this requires the strong assumption of realizability of the difference classifier (Zhang and Chaudhuri,2015). WL-AC bypasses this \textit{realizability} assumption and thus is applicable to many real-world scenarios such as random corrupted weak labels and high dimensional family of difference classifiers (\textit{e.g.,} deep neural nets). Moreover, WL-AC cleverly trades off evaluating the quality with full exploitation of weak labelers, which allows to convert any active learning strategy to one that can leverage weak labelers. We provide an instantiation of this template that achieves the optimal query complexity for any given weak labeler, without knowing its accuracy a-priori. Empirically, we propose an instantiation of the WL-AC template that can be efficiently implemented for large-scale models (\textit{e.g}., deep neural nets) and show its effectiveness on the corrupted-MNIST dataset by significantly reducing the number of labels while keeping the same accuracy as in passive learning.
translated by 谷歌翻译
顺序决策问题的目的是设计一种自适应选择一组项目的交互式策略,每个选择都是基于过去的反馈,以最大程度地提高所选项目的预期效用。已经表明,许多现实世界应用的实用程序功能都是自适应的。但是,大多数关于自适应下调优化的现有研究都集中在平均案例上。不幸的是,在最糟糕的案例实现下,具有良好平均表现的政策可能表现较差。在这项研究中,我们建议研究两种自适应下调优化问题的变体,即最坏情况下的自适应下二一个最大化和鲁棒的下二一个最大化。第一个问题旨在找到一项最大化最坏情况的政策,后者旨在找到一项政策(如果有的话),同时可以同时实现接近最佳的平均效用和最差的效用。我们引入了一类新的随机函数,称为\ emph {worst-case subsodular函数}。对于最严重的自适应性次传导性最大化问题,但要受到$ p $系统约束的约束,我们制定了一种自适应的最坏情况贪婪的贪婪政策,该政策实现了$ \ frac {1} {p+1} $近似值案例实用程序如果效用函数是最差的子模型。对于稳健的自适应下调最大化问题,但受到基数约束(分区矩阵约束),如果效用函数既是最坏情况下的casase subsodular and Adaptive subsodular,否 - \ frac {1} {2}}} $(分别$ 1/3 $)在最坏情况下和平均案例设置下同时。我们还描述了我们的理论结果的几种应用,包括池碱积极学习,随机的下套装覆盖和自适应病毒营销。
translated by 谷歌翻译
我们研究在线交互式强盗设置中的非模块化功能。我们是受到某些元素之间自然互补性的应用程序的动机:这仅使用只能代表元素之间竞争力的下函数来表达这一点。我们通过两种方式扩展了纯粹的下二次方法。首先,我们假设该物镜可以分解为单调下模量和超模块函数的总和,称为BP物镜。在这里,互补性自然是由超模型成分建模的。我们开发了UCB风格的算法,在每一轮比赛中,在采取行动以平衡对未知目标(探索)和选择似乎有希望的行动(剥削)的行动之间揭示的嘈杂收益。根据全知识的贪婪基线来定义遗憾和超模块化曲率,我们表明该算法最多可以在$ o(\ sqrt {t})$ hore $ t $ t $ t $ the $ t $ t $ the $ t $ t $ the $ the。其次,对于那些不承认BP结构的功能,我们提供了类似的遗憾保证,从其表现比率角度来看。这适用于几乎但不完全是子模型的功能。我们在数值上研究了Movielens数据集上电影推荐的任务,并选择用于分类的培训子集。通过这些示例,我们证明了该算法的性能以及将这些问题视为单次生管的缺点。
translated by 谷歌翻译
我们考虑通过序贯决策设置中的示范教学问题。特别是,我们研究如何在演示中设计一个个性化课程,以加快学习者的融合。我们为两种流行的学习者型号提供统一的课程策略:最大因果熵逆加强学习(MaxEnt-IRL)和交叉熵行为克隆(Crossent-BC)。我们的统一战略基于难度评分计算的概念来突出排名。教师的最佳政策和学习者的当前政策。与现有技术相比,我们的战略不需要访问学习者的内部动态,并且在轻度技术条件下仍然享有类似的收敛保证。此外,我们将我们的课程策略调整到使用特定于任务特定难度分数的教师代理的环境。在合成车驾驶环境和基于导航环境的实验证明了我们课程策略的有效性。
translated by 谷歌翻译
可实现和不可知性的可读性的等价性是学习理论的基本现象。与PAC学习和回归等古典设置范围的变种,近期趋势,如对冲强劲和私人学习,我们仍然缺乏统一理论;等同性的传统证据往往是不同的,并且依赖于强大的模型特异性假设,如统一的收敛和样本压缩。在这项工作中,我们给出了第一个独立的框架,解释了可实现和不可知性的可读性的等价性:三行黑箱减少简化,统一,并在各种各样的环境中扩展了我们的理解。这包括没有已知的学报的模型,例如学习任意分布假设或一般损失,以及许多其他流行的设置,例如强大的学习,部分学习,公平学习和统计查询模型。更一般地,我们认为可实现和不可知的学习的等价性实际上是我们调用属性概括的更广泛现象的特殊情况:可以满足有限的学习算法(例如\噪声公差,隐私,稳定性)的任何理想性质假设类(可能在某些变化中)延伸到任何学习的假设类。
translated by 谷歌翻译
在本文中,我们考虑了迭代机教学问题,教师根据当前迭代学习者顺序提供示例。与必须扫描整个池并在每次迭代中选择教学示例的先前方法相比,我们提出了一个标签综合教学框架,其中教师随机选择输入教学示例(例如,图像),然后合成合适的输出(例如,,标签)为他们。我们表明,此框架可以避免昂贵的示例选择,同时仍然可以获得指数的可行性。我们在本框架中提出了多种新颖的教学算法。最后,我们经验证明了我们框架的价值。
translated by 谷歌翻译
负责使用机器学习需要对不良属性进行审核。但是,如何在一般环境中进行有原则的审计一直存在不佳。在本文中,我们提出了一个正式的学习理论框架进行审核。我们提出了用于审核线性分类器的算法,用于使用标签查询以及各种解释,并提供性能保证。我们的结果表明,尽管反事实解释可能对审核非常有帮助,但在最坏情况下,锚点解释可能不会那么有益。
translated by 谷歌翻译
在随着时间变化的组合环境中的在线决策激励,我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题,我们提供了一个通用框架,该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明,在完整信息设置下,由此产生的在线算法具有$ O(\ sqrt {t})$(近似)遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展,我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪(t^{2/3})$(近似)$(近似)的遗憾。展示了我们框架的灵活性,我们将脱机之间的转换应用于收入管理,市场设计和在线优化的几个问题,包括在线平台中的产品排名优化,拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法,例如用于最大化连续强的DR单调下调功能,这些功能受到凸约束的约束。我们表明,当应用于这些应用程序时,我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究,在这两种应用中,我们都观察到,转换的数值性能在实际情况下优于理论保证。
translated by 谷歌翻译
Learning problems form an important category of computational tasks that generalizes many of the computations researchers apply to large real-life data sets. We ask: what concept classes can be learned privately, namely, by an algorithm whose output does not depend too heavily on any one input or specific training example? More precisely, we investigate learning algorithms that satisfy differential privacy, a notion that provides strong confidentiality guarantees in contexts where aggregate information is released about a database containing sensitive information about individuals.Our goal is a broad understanding of the resources required for private learning in terms of samples, computation time, and interaction. We demonstrate that, ignoring computational constraints, it is possible to privately agnostically learn any concept class using a sample size approximately logarithmic in the cardinality of the concept class. Therefore, almost anything learnable is learnable privately: specifically, if a concept class is learnable by a (non-private) algorithm with polynomial sample complexity and output size, then it can be learned privately using a polynomial number of samples. We also present a computationally efficient private PAC learner for the class of parity functions. This result dispels the similarity between learning with noise and private learning (both must be robust to small changes in inputs), since parity is thought to be very hard to learn given random classification noise.Local (or randomized response) algorithms are a practical class of private algorithms that have received extensive investigation. We provide a precise characterization of local private learning algorithms. We show that a concept class is learnable by a local algorithm if and only if it is learnable in the statistical query (SQ) model. Therefore, for local private learning algorithms, the similarity to learning with noise is stronger: local learning is equivalent to SQ learning, and SQ algorithms include most known noise-tolerant learning algorithms. Finally, we present a separation between the power of interactive and noninteractive local learning algorithms. Because of the equivalence to SQ learning, this result also separates adaptive and nonadaptive SQ learning.
translated by 谷歌翻译
在大约正确的(PAC)强化学习(RL)中,需要代理来识别具有$ 1- \ delta $的$ \ epsilon $最佳政策。尽管此问题存在最小值最佳算法,但其实例依赖性复杂性在情节马尔可夫决策过程(MDPS)中仍然难以捉摸。在本文中,我们提出了具有有限状态和动作空间的确定性情节MDP中PAC RL样品复杂性的第一个(几乎)匹配的上限和下限。特别是,我们的界限为国家行动对的新概念构成了我们称为确定性返回差距的新概念。尽管我们的依赖实例的下限是作为线性程序编写的,但我们的算法非常简单,并且在学习过程中不需要解决这样的优化问题。他们的设计和分析采用了新颖的想法,包括图理论概念,例如最小流量和最大削减,我们认为这为这个问题提供了新的启示。
translated by 谷歌翻译
主动学习可以减少执行假设测试所需的样本数量并估计模型的参数。在本文中,我们重新审视Chernoff的作品,所述工作描述了用于执行假设测试的渐近最佳算法。我们获得了对Chernoff的算法的新颖性复杂性,具有非渐近术语,其在固定置信水平处具有其性能。我们还开发了Chernoff采样的延伸,可用于估计各种模型的参数,并且我们在估计误差上获得非渐近绑定。我们将延长Chernoff采样延伸,积极学习神经网络模型,并估算实际数据线性和非线性回归问题中的参数,其中我们的方法有利地对最先进的方法执行。
translated by 谷歌翻译
我们研究了用于线性回归的主动采样算法,该算法仅旨在查询目标向量$ b \ in \ mathbb {r} ^ n $的少量条目,并将近最低限度输出到$ \ min_ {x \ In \ mathbb {r} ^ d} \ | ax-b \ | $,其中$ a \ in \ mathbb {r} ^ {n \ times d} $是一个设计矩阵和$ \ | \ cdot \ | $是一些损失函数。对于$ \ ell_p $ norm回归的任何$ 0 <p <\ idty $,我们提供了一种基于Lewis权重采样的算法,其使用只需$ \ tilde {o}输出$(1+ \ epsilon)$近似解决方案(d ^ {\ max(1,{p / 2})} / \ mathrm {poly}(\ epsilon))$查询到$ b $。我们表明,这一依赖于$ D $是最佳的,直到对数因素。我们的结果解决了陈和Derezi的最近开放问题,陈和Derezi \'{n} Ski,他们为$ \ ell_1 $ norm提供了附近的最佳界限,以及$ p \中的$ \ ell_p $回归的次优界限(1,2) $。我们还提供了$ O的第一个总灵敏度上限(D ^ {\ max \ {1,p / 2 \} \ log ^ 2 n)$以满足最多的$ p $多项式增长。这改善了Tukan,Maalouf和Feldman的最新结果。通过将此与我们的技术组合起来的$ \ ell_p $回归结果,我们获得了一个使$ \ tilde o的活动回归算法(d ^ {1+ \ max \ {1,p / 2 \}} / \ mathrm {poly}。 (\ epsilon))$疑问,回答陈和德里兹的另一个打开问题{n}滑雪。对于Huber损失的重要特殊情况,我们进一步改善了我们对$ \ tilde o的主动样本复杂性的绑定(d ^ {(1+ \ sqrt2)/ 2} / \ epsilon ^ c)$和非活跃$ \ tilde o的样本复杂性(d ^ {4-2 \ sqrt 2} / \ epsilon ^ c)$,由于克拉克森和伍德拉夫而改善了Huber回归的以前的D ^ 4 $。我们的敏感性界限具有进一步的影响,使用灵敏度采样改善了各种先前的结果,包括orlicz规范子空间嵌入和鲁棒子空间近似。最后,我们的主动采样结果为每种$ \ ell_p $ norm提供的第一个Sublinear时间算法。
translated by 谷歌翻译
我们研究奖励设计策略,用于激励加强学习代理,从一系列可接受的政策中采用政策。奖励设计师的目标是经济高效地修改底层奖励功能,同时确保在新奖励功能下的任何大约最佳的确定性政策是可允许的,并且在原始奖励功能下执行良好。这个问题可以被视为最佳奖励中毒攻击问题的双重问题:而不是强制代理商采用特定的政策,而奖励设计师则激励一个代理人以避免采取某些州不可受理的行动。也许令人惊讶的是,与最佳奖励中毒攻击的问题相比,我们首先表明可允许的政策教学的奖励设计问题是在计算上具有挑战性的,并且难以找到近似最佳的奖励修改。然后,我们通过制定最佳解决方案的代理问题,其最佳解决方案近似于我们的环境中奖励设计问题的最佳解决方案,但更适用于优化技术和分析。对于此替代问题,我们呈现了在最佳解决方案的值上提供限制的表征结果。最后,我们设计了一个本地搜索算法来解决代理问题,并使用基于模拟的实验展示其实用程序。
translated by 谷歌翻译