我们提供了$ n ^ {o（\ log \ log n）} $ - 时间成员资格查询算法，用于在统一分布下统一分发的统一分布\ {\ pm 1 \} ^ n $。即使在可实现的设置中，上一个最快的运行时也是$ n ^ {o（\ log n）} $，这是ehrenfeucht和haussler的经典算法的结果。我们的算法与学习决策树的实用启发式分享了相似性，我们增加了额外的想法，以避免已知的这些启发式措施。为了分析我们的算法，我们证明了决策树的新结构结果，增强了O'Donnell，Saks，Schramm和Servedio的定理。虽然OSS定理表明每个决策树都有一个有影响力的变量，但我们展示了每个决策树如何“修剪”，以便产生的树中的每个变量都是有影响力的。

使用增强的框架，我们证明所有基于杂质的决策树学习算法（包括经典的ID3，C4.5和CART）都具有很高的噪音耐受性。我们的保证在讨厌的噪声的最强噪声模型下保持，我们在允许的噪声速率上提供了近乎匹配的上和下限。我们进一步表明，这些算法简单，长期以来一直是日常机器学习的核心，在嘈杂的环境中享受可证明的保证，这些环境是由关于决策树学习的理论文献中现有算法无与伦比的。综上所述，我们的结果增加了一项持续的研究线，该研究旨在将这些实际决策树算法的经验成功放在牢固的理论基础上。

我们设计了一种算法，用于查找具有强大理论保证其性能的反事实算法。对于任何单调模型$ f：x^d \ to \ {0,1 \} $和instance $ x^\ star $，我们的算法make \ [{s（f））} \ cdot \ log d} \]查询到$ f $并返回{哪个$ f（x'）\ ne f（x^\ star）$。这里$ s（f）$是$ f $的灵敏度，lipschitz常数的分散类似物，$ \ delta_f（x^\ star）$是从$ x^\ star $到其最近的反事实的距离。以前最著名的查询复杂性是$ d^{\，o（\ delta_f（x^\ star））} $，可以通过Brute-Force Local Search实现。我们进一步证明了$ s（f）^{\ omega（\ delta_f（x^\ star））} + \ omega（\ log d）$的下限我们的算法本质上是最佳的。

我们概括了Furst等的“间接学习”技术。 al。，1991年，通过在可分配的分发$ \ mu $学习概念课程，以在统一分布上学习相同的概念类。当$ \ mu $的采样器均包含在目标概念类中，减少成功，在Impagliazzo＆Luby的意义上有效地可逆于1989年。我们给出了两种应用。 - 我们展示了AC0 [Q]可以通过任何简洁描述的产品分发来学习。 AC0 [Q]是多项式大小的恒定深度布尔电路的类，或者，而不是，并不计算未绑定的粉丝的Modulo $ Q $ Q。我们的算法在随机的准多项式时间中运行，并使用会员查询。 - 如果在Razborov和Rudich 1997的意义上存在强烈有用的自然属性 - 一种可以区分无随机串和非级别电路复杂性的串的有效算法 - 那么一般多项式的布尔电路就可以在任何有效地学习可在随机多项式时间的可分配分布，给予目标函数的成员资格查询

在本文的基础上，基于精确学习和测试理论的结果，我们研究了任意无限二进制信息系统，其中每个信息系统由无限的元素组成，以及在该组元素上定义的无限的两个值函数（属性）。我们考虑通过信息系统的问题的概念，该问题由有限数量的属性描述：对于给定元素，我们应该识别这些属性的值。作为解决问题的算法，我们考虑两种类型的决策树：（i）仅使用适当的假设（来自确切学习的适当等价查询的模拟），以及（ii）使用两个属性和正确的假设。随着时间的复杂性，我们研究决策树的深度。在最坏的情况下，随着问题描述中的属性数的增长，两种类型的最小决策树的深度无论是从上方都界定为常数，也可以作为对数，或线性地界定。基于这些结果和前面获得的结果和任意假设获得的结果，我们将所有无限二进制信息系统的集合划分为七个复杂性等级。

公司跨行业对机器学习（ML）的快速传播采用了重大的监管挑战。一个这样的挑战就是可伸缩性：监管机构如何有效地审核这些ML模型，以确保它们是公平的？在本文中，我们启动基于查询的审计算法的研究，这些算法可以以查询有效的方式估算ML模型的人口统计学率。我们提出了一种最佳的确定性算法，以及具有可比保证的实用随机，甲骨文效率的算法。此外，我们进一步了解了随机活动公平估计算法的最佳查询复杂性。我们对主动公平估计的首次探索旨在将AI治理置于更坚定的理论基础上。

我们建立了量子算法设计与电路下限之间的第一一般连接。具体来说，让$ \ mathfrak {c} $是一类多项式大小概念，假设$ \ mathfrak {c} $可以在统一分布下的成员查询，错误$ 1/2 - \ gamma $通过时间$ t $量子算法。我们证明如果$ \ gamma ^ 2 \ cdot t \ ll 2 ^ n / n $，则$ \ mathsf {bqe} \ nsubseteq \ mathfrak {c} $，其中$ \ mathsf {bqe} = \ mathsf {bque} [2 ^ {o（n）}] $是$ \ mathsf {bqp} $的指数时间模拟。在$ \ gamma $和$ t $中，此结果是最佳的，因为它不难学习（经典）时间$ t = 2 ^ n $（没有错误） ，或在Quantum Time $ t = \ mathsf {poly}（n）$以傅立叶采样为单位为1/2美元（2 ^ { - n / 2}）$。换句话说，即使对这些通用学习算法的边际改善也会导致复杂性理论的主要后果。我们的证明在学习理论，伪随机性和计算复杂性的几个作品上构建，并且至关重要地，在非凡的经典学习算法与由Oliveira和Santhanam建立的电路下限之间的联系（CCC 2017）。扩展他们对量子学习算法的方法，结果产生了重大挑战。为此，我们展示了伪随机发电机如何以通用方式意味着学习到较低的连接，构建针对均匀量子计算的第一个条件伪随机发生器，并扩展了Impagliazzo，JaiSwal的本地列表解码算法。 ，Kabanets和Wigderson（Sicomp 2010）通过微妙的分析到量子电路。我们认为，这些贡献是独立的兴趣，可能会发现其他申请。

我们在可实现的PAC设置中从带有边距的可实现的PAC设置中介绍了一种改进的{\ em准正确}学习凸多面体。我们的学习算法将一致的多面体构造为大约$ t \ log t $ halfpace，在$ t $的时间多项式中的恒定尺寸边距（其中$ t $是形成最佳多面体的半个空间的数量）。我们还确定了从覆盖物到多层的覆盖率概念的明显概括，并调查它们如何与几何上的关系;此结果可能具有超出学习设置的后果。

我们在高斯分布下使用Massart噪声与Massart噪声进行PAC学习半个空间的问题。在Massart模型中，允许对手将每个点$ \ mathbf {x} $的标签与未知概率$ \ eta（\ mathbf {x}）\ leq \ eta $，用于某些参数$ \ eta \ [0,1 / 2] $。目标是找到一个假设$ \ mathrm {opt} + \ epsilon $的错误分类错误，其中$ \ mathrm {opt} $是目标半空间的错误。此前已经在两个假设下研究了这个问题：（i）目标半空间是同质的（即，分离超平面通过原点），并且（ii）参数$ \ eta $严格小于$ 1/2 $。在此工作之前，当除去这些假设中的任何一个时，不知道非增长的界限。我们研究了一般问题并建立以下内容：对于$ \ eta <1/2 $，我们为一般半个空间提供了一个学习算法，采用样本和计算复杂度$ d ^ {o_ {\ eta}（\ log（1 / \ gamma） ）））}} \ mathrm {poly}（1 / \ epsilon）$，其中$ \ gamma = \ max \ {\ epsilon，\ min \ {\ mathbf {pr} [f（\ mathbf {x}）= 1]， \ mathbf {pr} [f（\ mathbf {x}）= -1] \} \} $是目标半空间$ f $的偏差。现有的高效算法只能处理$ \ gamma = 1/2 $的特殊情况。有趣的是，我们建立了$ d ^ {\ oomega（\ log（\ log（\ log（\ log））}}的质量匹配的下限，而是任何统计查询（SQ）算法的复杂性。对于$ \ eta = 1/2 $，我们为一般半空间提供了一个学习算法，具有样本和计算复杂度$ o_ \ epsilon（1）d ^ {o（\ log（1 / epsilon））} $。即使对于均匀半空间的子类，这个结果也是新的;均匀Massart半个空间的现有算法为$ \ eta = 1/2 $提供可持续的保证。我们与D ^ {\ omega（\ log（\ log（\ log（\ log（\ epsilon））} $的近似匹配的sq下限补充了我们的上限，这甚至可以为同类半空间的特殊情况而保持。

使用差异隐私（DP）学习的大多数工作都集中在每个用户具有单个样本的设置上。在这项工作中，我们考虑每个用户持有M $ Samples的设置，并且在每个用户数据的级别强制执行隐私保护。我们展示了，在这个设置中，我们可以学习少数用户。具体而言，我们表明，只要每个用户收到足够多的样本，我们就可以通过$（\ epsilon，\ delta）$ - dp算法使用$ o（\ log（1 / \ delta）来学习任何私人学习的课程/ \ epsilon）$用户。对于$ \ epsilon $ -dp算法，我们展示我们即使在本地模型中也可以使用$ o _ {\ epsilon}（d）$用户学习，其中$ d $是概率表示维度。在这两种情况下，我们在所需用户数量上显示了几乎匹配的下限。我们的结果的一个关键组成部分是全局稳定性的概括[Bun等，Focs 2020]允许使用公共随机性。在这种轻松的概念下，我们采用相关的采样策略来表明全局稳定性可以在样品数量的多项式牺牲中被提升以任意接近一个。

我们研究动态算法，以便在$ N $插入和删除流中最大化单调子模块功能的问题。我们显示任何维护$（0.5+ epsilon）$ - 在基数约束下的近似解决方案的算法，对于任何常数$ \ epsilon> 0 $，必须具有$ \ mathit {polynomial} $的摊销查询复杂性$ n $。此外，需要线性摊销查询复杂性，以维持0.584美元 - 批量的解决方案。这与近期[LMNF + 20，MON20]的最近动态算法相比，达到$（0.5- \ epsilon）$ - 近似值，与$ \ mathsf {poly} \ log（n）$摊销查询复杂性。在正面，当流是仅插入的时候，我们在基数约束下的问题和近似的Matroid约束下提供有效的算法，近似保证$ 1-1 / e-\ epsilon $和摊销查询复杂性$ \ smash {o （\ log（k / \ epsilon）/ \ epsilon ^ 2）} $和$ \ smash {k ^ {\ tilde {o}（1 / \ epsilon ^ 2）} \ log n} $，其中$ k $表示基数参数或Matroid的等级。

我们研究了通过边缘检测查询学习超图的问题。在此问题中，学习者查询隐藏超图的顶点的子集，并观察这些子集是否包含边缘。通常，学习具有最大尺寸$ d $的$ m $边缘的超图需要$ \ omega（（2m/d）^{d/2}）$ queries。在本文中，我们旨在确定可以学习的超图族的家庭，而不会遭受查询复杂性，该查询复杂性在边缘的大小上呈指数增长。我们表明，使用Poly $（n）$ Queries可以学习高度匹配和低度近均匀的超图。对于学习超匹配（最大程度的超图$ 1 $），我们给出$ O（\ log^3 n）$ - 圆形算法，使用$ o（n \ log^5 n）$查询。我们通过表明没有算法的poly $（n）$查询来补充这种上限，这些算法在$ o（\ log \ log n）$自适应回合中学习超匹配。对于具有最大度$ \ delta $和边缘大小比率$ \ rho $的超级图形，我们给出了一种非自适应算法，并使用$ o（（2n）^{\ rho \ delta+1} \ log^2 n）$ queries。据我们所知，这些是使用Poly $（n，m）$查询复杂性的第一批算法，用于学习具有超恒定尺寸的超稳定数量边缘的非平凡家族。

差异隐私的混合模型（Avent等人2017年）是对本地模型的增强个人。在这里，我们研究了混合模型中的机器学习问题，其中策展人数据集中的n个个体是从与一般人群（本地代理商）中的一个分布中得出的。我们为这个转移学习问题提供了一个一般方案 - 子样本测试 - 育问题，该问题将任何策展人模型的DP学习者降低到了混合模型学习者，在这种情况下，使用迭代的亚采样和重新授予了n个示例。基于乘法算法的平滑变化（由Bun等人，2020年引入）。我们的方案具有样本复杂性，依赖于两个分布之间的卡方差异。我们对私人减少所需的样本复杂性进行了最差的分析范围。为了降低上述样本复杂性，我们提供了两个特定的实例，我们的样本复杂性可以大大降低（一个实例是数学分析的，而另一个实例则在经验上 - 经验上），并为后续工作构成了多个方向。

可实现和不可知性的可读性的等价性是学习理论的基本现象。与PAC学习和回归等古典设置范围的变种，近期趋势，如对冲强劲和私人学习，我们仍然缺乏统一理论;等同性的传统证据往往是不同的，并且依赖于强大的模型特异性假设，如统一的收敛和样本压缩。在这项工作中，我们给出了第一个独立的框架，解释了可实现和不可知性的可读性的等价性：三行黑箱减少简化，统一，并在各种各样的环境中扩展了我们的理解。这包括没有已知的学报的模型，例如学习任意分布假设或一般损失，以及许多其他流行的设置，例如强大的学习，部分学习，公平学习和统计查询模型。更一般地，我们认为可实现和不可知的学习的等价性实际上是我们调用属性概括的更广泛现象的特殊情况：可以满足有限的学习算法（例如\噪声公差，隐私，稳定性）的任何理想性质假设类（可能在某些变化中）延伸到任何学习的假设类。

我们提出了两个关于量子计算机精确学习的新结果。首先，我们展示了如何从$ o（k ^ {1.5}（\ log k）^ 2）$统一量子示例的$ o（k ^ {1.5}（\ log k）^ 2）的$ k $ -fourier-sparse $ n $ -fourier-sparse $ n $ k $ -fourier-sparse $ n $ couber boolean函数。这改善了$ \ widetilde {\ theta}（kn）$统一的randuly \ emph {classical}示例（haviv和regev，ccc'15）。此外，我们提供了提高我们的$ \ widetilde {o}（k ^ {1.5}）美元的可能方向，通过证明k $-$ -fourier-稀疏的布尔函数的改进，通过提高Chang的Lemma。其次，如果可以使用$ q $量子会员查询可以完全学习概念类$ \ mathcal {c} $，则也可以使用$ o o \ left（\ frac {q ^ 2} {\ logq} \ log | \ mathcal {c} | \右）$ \ emph {classical}会员查询。这通过$ \ log q $ -factor来改善最佳的仿真结果（Servedio和Gortler，Sicomp'04）。

我们研究了Massart噪声的PAC学习半圆的问题。给定标记的样本$（x，y）$从$ \ mathbb {r} ^ {d} ^ {d} \ times \ times \ {\ pm 1 \} $，这样的例子是任意的和标签$ y $ y $ y $ x $是由按萨塔特对手损坏的目标半空间与翻转概率$ \ eta（x）\ leq \ eta \ leq 1/2 $，目标是用小小的假设计算假设错误分类错误。这个问题的最佳已知$ \ mathrm {poly}（d，1 / \ epsilon）$时间算法实现$ \ eta + \ epsilon $的错误，这可能远离$ \ mathrm {opt} +的最佳界限\ epsilon $，$ \ mathrm {opt} = \ mathbf {e} _ {x \ sim d_x} [\ eta（x）] $。虽然已知实现$ \ mathrm {opt} + O（1）$误差需要超级多项式时间在统计查询模型中，但是在已知的上限和下限之间存在大的间隙。在这项工作中，我们基本上表征了统计查询（SQ）模型中Massart HalfSpaces的有效可读性。具体来说，我们表明，在$ \ mathbb {r} ^ d $中没有高效的sq算法用于学习massart halfpaces ^ d $可以比$ \ omega（\ eta）$更好地实现错误，即使$ \ mathrm {opt} = 2 ^ { - - \ log ^ {c}（d）$，适用于任何通用常量$ c \ in（0,1）$。此外，当噪声上限$ \ eta $接近$ 1/2 $时，我们的错误下限变为$ \ eta - o _ {\ eta}（1）$，其中$ o _ {\ eta}（1）$当$ \ eta $接近$ 1/2 $时，术语达到0美元。我们的结果提供了强有力的证据表明，大规模半空间的已知学习算法几乎是最可能的，从而解决学习理论中的长期开放问题。

标签排名（LR）对应于学习一个假设的问题，以通过有限一组标签将功能映射到排名。我们采用了对LR的非参数回归方法，并获得了这一基本实际问题的理论绩效保障。我们在无噪声和嘈杂的非参数回归设置中介绍了一个用于标签排名的生成模型，并为两种情况下提供学习算法的示例复杂性界限。在无噪声环境中，我们研究了全排序的LR问题，并在高维制度中使用决策树和随机林提供计算有效的算法。在嘈杂的环境中，我们考虑使用统计观点的不完整和部分排名的LR更通用的情况，并使用多种多组分类的一种方法获得样本复杂性范围。最后，我们与实验补充了我们的理论贡献，旨在了解输入回归噪声如何影响观察到的输出。

考虑到数据在几个方之间分配的学习任务，沟通是当事方希望最大程度地减少的基本资源之一。我们提出了一种分布式增强算法，该算法具有有限的噪声。我们的算法类似于经典的增强算法，尽管它配备了一种新组件，灵感来自Impagliazzo的硬核Lemma \ cite {Impagliazzo1995hard}，并在算法中添加了健壮性质量。我们还通过证明对任何渐近上更大的噪声的弹性是无法通过沟通效率算法来实现的，从而补充了这一结果。

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

我们研究了Massart噪声存在下PAC学习半空间的复杂性。在这个问题中，我们得到了I.I.D.标记的示例$（\ mathbf {x}，y）\ in \ mathbb {r}^n \ times \ {\ pm 1 \} $，其中$ \ mathbf {x} $的分布是任意的，标签$ y y y y y y。 $是$ f（\ mathbf {x}）$的MassArt损坏，对于未知的半空间$ f：\ mathbb {r}^n \ to \ to \ {\ pm 1 \} $，带有翻转概率$ \ eta（\ eta）（\ eta） Mathbf {x}）\ leq \ eta <1/2 $。学习者的目的是计算一个小于0-1误差的假设。我们的主要结果是该学习问题的第一个计算硬度结果。具体而言，假设学习错误（LWE）问题（LWE）问题的（被认为是广泛的）超指定时间硬度，我们表明，即使最佳，也没有多项式时间MassArt Halfspace学习者可以更好地达到错误的错误，即使是最佳0-1错误很小，即$ \ mathrm {opt} = 2^{ - \ log^{c}（n）} $对于任何通用常数$ c \ in（0，1）$。先前的工作在统计查询模型中提供了定性上类似的硬度证据。我们的计算硬度结果基本上可以解决Massart Halfspaces的多项式PAC可学习性，这表明对该问题的已知有效学习算法几乎是最好的。