作者最近给出了$ n^{o（\ log \ log n）} $时间成员资格查询算法，用于在统一分布下正确学习决策树（Blanc等，2021）。此问题的先前最快算法以$ n^{o（\ log n）} $ time运行，这是Ehrenfeucht和Haussler（1989）的经典算法，这是无分配设置的经典算法。在本文中，我们强调了获得多项式时间算法的自然开放问题，讨论获得它的可能途径以及我们认为具有独立利益的状态中级里程碑。

我们提供了$ n ^ {o（\ log \ log n）} $ - 时间成员资格查询算法，用于在统一分布下统一分发的统一分布\ {\ pm 1 \} ^ n $。即使在可实现的设置中，上一个最快的运行时也是$ n ^ {o（\ log n）} $，这是ehrenfeucht和haussler的经典算法的结果。我们的算法与学习决策树的实用启发式分享了相似性，我们增加了额外的想法，以避免已知的这些启发式措施。为了分析我们的算法，我们证明了决策树的新结构结果，增强了O'Donnell，Saks，Schramm和Servedio的定理。虽然OSS定理表明每个决策树都有一个有影响力的变量，但我们展示了每个决策树如何“修剪”，以便产生的树中的每个变量都是有影响力的。

我们考虑解释任意黑箱型号的预测的问题$ f $：给定查询访问$ f $和实例$ x $，输出一小组$ x $的功能，其中有基本上确定$ f（ x）$。我们设计了一种高效的算法，可提供证明的简洁和返回的解释的精度。现有算法是有效的，但缺乏这种保证，或实现了这种保证，但效率低下。我们通过连接{\ SL隐式}学习决策树的问题获得算法。这种学习任务的隐式性质即使在$ F $的复杂程度需要一个艰难的大代理决策树时也允许有效的算法。我们通过从学习理论，局部计算算法和复杂性理论中汇集技术来解决隐式学习问题。我们的“通过隐式学习解释”的方法，共享两个先前分散的分歧方法的元素，用于后期的解释，全局和本地解释，我们使它享有两者的优势。

使用增强的框架，我们证明所有基于杂质的决策树学习算法（包括经典的ID3，C4.5和CART）都具有很高的噪音耐受性。我们的保证在讨厌的噪声的最强噪声模型下保持，我们在允许的噪声速率上提供了近乎匹配的上和下限。我们进一步表明，这些算法简单，长期以来一直是日常机器学习的核心，在嘈杂的环境中享受可证明的保证，这些环境是由关于决策树学习的理论文献中现有算法无与伦比的。综上所述，我们的结果增加了一项持续的研究线，该研究旨在将这些实际决策树算法的经验成功放在牢固的理论基础上。

我们设计了一种算法，用于查找具有强大理论保证其性能的反事实算法。对于任何单调模型$ f：x^d \ to \ {0,1 \} $和instance $ x^\ star $，我们的算法make \ [{s（f））} \ cdot \ log d} \]查询到$ f $并返回{哪个$ f（x'）\ ne f（x^\ star）$。这里$ s（f）$是$ f $的灵敏度，lipschitz常数的分散类似物，$ \ delta_f（x^\ star）$是从$ x^\ star $到其最近的反事实的距离。以前最著名的查询复杂性是$ d^{\，o（\ delta_f（x^\ star））} $，可以通过Brute-Force Local Search实现。我们进一步证明了$ s（f）^{\ omega（\ delta_f（x^\ star））} + \ omega（\ log d）$的下限我们的算法本质上是最佳的。

我们概括了Furst等的“间接学习”技术。 al。，1991年，通过在可分配的分发$ \ mu $学习概念课程，以在统一分布上学习相同的概念类。当$ \ mu $的采样器均包含在目标概念类中，减少成功，在Impagliazzo＆Luby的意义上有效地可逆于1989年。我们给出了两种应用。 - 我们展示了AC0 [Q]可以通过任何简洁描述的产品分发来学习。 AC0 [Q]是多项式大小的恒定深度布尔电路的类，或者，而不是，并不计算未绑定的粉丝的Modulo $ Q $ Q。我们的算法在随机的准多项式时间中运行，并使用会员查询。 - 如果在Razborov和Rudich 1997的意义上存在强烈有用的自然属性 - 一种可以区分无随机串和非级别电路复杂性的串的有效算法 - 那么一般多项式的布尔电路就可以在任何有效地学习可在随机多项式时间的可分配分布，给予目标函数的成员资格查询

在本文的基础上，基于精确学习和测试理论的结果，我们研究了任意无限二进制信息系统，其中每个信息系统由无限的元素组成，以及在该组元素上定义的无限的两个值函数（属性）。我们考虑通过信息系统的问题的概念，该问题由有限数量的属性描述：对于给定元素，我们应该识别这些属性的值。作为解决问题的算法，我们考虑两种类型的决策树：（i）仅使用适当的假设（来自确切学习的适当等价查询的模拟），以及（ii）使用两个属性和正确的假设。随着时间的复杂性，我们研究决策树的深度。在最坏的情况下，随着问题描述中的属性数的增长，两种类型的最小决策树的深度无论是从上方都界定为常数，也可以作为对数，或线性地界定。基于这些结果和前面获得的结果和任意假设获得的结果，我们将所有无限二进制信息系统的集合划分为七个复杂性等级。

公司跨行业对机器学习（ML）的快速传播采用了重大的监管挑战。一个这样的挑战就是可伸缩性：监管机构如何有效地审核这些ML模型，以确保它们是公平的？在本文中，我们启动基于查询的审计算法的研究，这些算法可以以查询有效的方式估算ML模型的人口统计学率。我们提出了一种最佳的确定性算法，以及具有可比保证的实用随机，甲骨文效率的算法。此外，我们进一步了解了随机活动公平估计算法的最佳查询复杂性。我们对主动公平估计的首次探索旨在将AI治理置于更坚定的理论基础上。

尽管经过多年的努力，但在经典数据的情况下，量子机学习社区只能显示出某些人为加密启发的数据集的量子学习优势。在本说明中，我们讨论了发现学习问题的挑战，即量子学习算法可以比任何经典学习算法更快学习，并研究如何识别此类学习问题。具体而言，我们反思了与此问题有关的计算学习理论中的主要概念，并讨论定义的细微变化在概念上意味着显着不同的任务，这可能会导致分离或根本没有分离。此外，我们研究了现有的学习问题，并具有可证明的量子加速，以提炼一组更一般和充分的条件（即``清单''），以表现出在经典学习者和量子学习者之间的分离的学习问题。这些清单旨在简化一个人的方法来证明学习问题或阐明瓶颈的量子加速。最后，为了说明其应用，我们分析了潜在分离的示例（即，当学习问题是从计算分离中或数据来自量子实验时）通过我们的方法的镜头进行分析。

我们建立了量子算法设计与电路下限之间的第一一般连接。具体来说，让$ \ mathfrak {c} $是一类多项式大小概念，假设$ \ mathfrak {c} $可以在统一分布下的成员查询，错误$ 1/2 - \ gamma $通过时间$ t $量子算法。我们证明如果$ \ gamma ^ 2 \ cdot t \ ll 2 ^ n / n $，则$ \ mathsf {bqe} \ nsubseteq \ mathfrak {c} $，其中$ \ mathsf {bqe} = \ mathsf {bque} [2 ^ {o（n）}] $是$ \ mathsf {bqp} $的指数时间模拟。在$ \ gamma $和$ t $中，此结果是最佳的，因为它不难学习（经典）时间$ t = 2 ^ n $（没有错误） ，或在Quantum Time $ t = \ mathsf {poly}（n）$以傅立叶采样为单位为1/2美元（2 ^ { - n / 2}）$。换句话说，即使对这些通用学习算法的边际改善也会导致复杂性理论的主要后果。我们的证明在学习理论，伪随机性和计算复杂性的几个作品上构建，并且至关重要地，在非凡的经典学习算法与由Oliveira和Santhanam建立的电路下限之间的联系（CCC 2017）。扩展他们对量子学习算法的方法，结果产生了重大挑战。为此，我们展示了伪随机发电机如何以通用方式意味着学习到较低的连接，构建针对均匀量子计算的第一个条件伪随机发生器，并扩展了Impagliazzo，JaiSwal的本地列表解码算法。 ，Kabanets和Wigderson（Sicomp 2010）通过微妙的分析到量子电路。我们认为，这些贡献是独立的兴趣，可能会发现其他申请。

Learning problems form an important category of computational tasks that generalizes many of the computations researchers apply to large real-life data sets. We ask: what concept classes can be learned privately, namely, by an algorithm whose output does not depend too heavily on any one input or specific training example? More precisely, we investigate learning algorithms that satisfy differential privacy, a notion that provides strong confidentiality guarantees in contexts where aggregate information is released about a database containing sensitive information about individuals.Our goal is a broad understanding of the resources required for private learning in terms of samples, computation time, and interaction. We demonstrate that, ignoring computational constraints, it is possible to privately agnostically learn any concept class using a sample size approximately logarithmic in the cardinality of the concept class. Therefore, almost anything learnable is learnable privately: specifically, if a concept class is learnable by a (non-private) algorithm with polynomial sample complexity and output size, then it can be learned privately using a polynomial number of samples. We also present a computationally efficient private PAC learner for the class of parity functions. This result dispels the similarity between learning with noise and private learning (both must be robust to small changes in inputs), since parity is thought to be very hard to learn given random classification noise.Local (or randomized response) algorithms are a practical class of private algorithms that have received extensive investigation. We provide a precise characterization of local private learning algorithms. We show that a concept class is learnable by a local algorithm if and only if it is learnable in the statistical query (SQ) model. Therefore, for local private learning algorithms, the similarity to learning with noise is stronger: local learning is equivalent to SQ learning, and SQ algorithms include most known noise-tolerant learning algorithms. Finally, we present a separation between the power of interactive and noninteractive local learning algorithms. Because of the equivalence to SQ learning, this result also separates adaptive and nonadaptive SQ learning.

我们研究了通过边缘检测查询学习超图的问题。在此问题中，学习者查询隐藏超图的顶点的子集，并观察这些子集是否包含边缘。通常，学习具有最大尺寸$ d $的$ m $边缘的超图需要$ \ omega（（2m/d）^{d/2}）$ queries。在本文中，我们旨在确定可以学习的超图族的家庭，而不会遭受查询复杂性，该查询复杂性在边缘的大小上呈指数增长。我们表明，使用Poly $（n）$ Queries可以学习高度匹配和低度近均匀的超图。对于学习超匹配（最大程度的超图$ 1 $），我们给出$ O（\ log^3 n）$ - 圆形算法，使用$ o（n \ log^5 n）$查询。我们通过表明没有算法的poly $（n）$查询来补充这种上限，这些算法在$ o（\ log \ log n）$自适应回合中学习超匹配。对于具有最大度$ \ delta $和边缘大小比率$ \ rho $的超级图形，我们给出了一种非自适应算法，并使用$ o（（2n）^{\ rho \ delta+1} \ log^2 n）$ queries。据我们所知，这些是使用Poly $（n，m）$查询复杂性的第一批算法，用于学习具有超恒定尺寸的超稳定数量边缘的非平凡家族。

We develop the first fully dynamic algorithm that maintains a decision tree over an arbitrary sequence of insertions and deletions of labeled examples. Given $\epsilon > 0$ our algorithm guarantees that, at every point in time, every node of the decision tree uses a split with Gini gain within an additive $\epsilon$ of the optimum. For real-valued features the algorithm has an amortized running time per insertion/deletion of $O\big(\frac{d \log^3 n}{\epsilon^2}\big)$, which improves to $O\big(\frac{d \log^2 n}{\epsilon}\big)$ for binary or categorical features, while it uses space $O(n d)$, where $n$ is the maximum number of examples at any point in time and $d$ is the number of features. Our algorithm is nearly optimal, as we show that any algorithm with similar guarantees uses amortized running time $\Omega(d)$ and space $\tilde{\Omega} (n d)$. We complement our theoretical results with an extensive experimental evaluation on real-world data, showing the effectiveness of our algorithm.

该注释有三个目的：（i）我们提供了一个独立的说明，表明在可能的（PAC）模型中，连接性查询无法有效地学习，从而明确注意这一概念阶级缺乏这一概念的事实，多项式大小的拟合属性，在许多计算学习理论文献中被默认假设的属性；（ii）我们建立了强大的负PAC可学习性结果，该结果适用于许多限制类别的连接性查询（CQ），包括针对广泛的“无循环”概念的无孔CQ；（iii）我们证明CQ可以通过会员查询有效地学习PAC。

标签排名（LR）对应于学习一个假设的问题，以通过有限一组标签将功能映射到排名。我们采用了对LR的非参数回归方法，并获得了这一基本实际问题的理论绩效保障。我们在无噪声和嘈杂的非参数回归设置中介绍了一个用于标签排名的生成模型，并为两种情况下提供学习算法的示例复杂性界限。在无噪声环境中，我们研究了全排序的LR问题，并在高维制度中使用决策树和随机林提供计算有效的算法。在嘈杂的环境中，我们考虑使用统计观点的不完整和部分排名的LR更通用的情况，并使用多种多组分类的一种方法获得样本复杂性范围。最后，我们与实验补充了我们的理论贡献，旨在了解输入回归噪声如何影响观察到的输出。

使用差异隐私（DP）学习的大多数工作都集中在每个用户具有单个样本的设置上。在这项工作中，我们考虑每个用户持有M $ Samples的设置，并且在每个用户数据的级别强制执行隐私保护。我们展示了，在这个设置中，我们可以学习少数用户。具体而言，我们表明，只要每个用户收到足够多的样本，我们就可以通过$（\ epsilon，\ delta）$ - dp算法使用$ o（\ log（1 / \ delta）来学习任何私人学习的课程/ \ epsilon）$用户。对于$ \ epsilon $ -dp算法，我们展示我们即使在本地模型中也可以使用$ o _ {\ epsilon}（d）$用户学习，其中$ d $是概率表示维度。在这两种情况下，我们在所需用户数量上显示了几乎匹配的下限。我们的结果的一个关键组成部分是全局稳定性的概括[Bun等，Focs 2020]允许使用公共随机性。在这种轻松的概念下，我们采用相关的采样策略来表明全局稳定性可以在样品数量的多项式牺牲中被提升以任意接近一个。

我们在可实现的PAC设置中从带有边距的可实现的PAC设置中介绍了一种改进的{\ em准正确}学习凸多面体。我们的学习算法将一致的多面体构造为大约$ t \ log t $ halfpace，在$ t $的时间多项式中的恒定尺寸边距（其中$ t $是形成最佳多面体的半个空间的数量）。我们还确定了从覆盖物到多层的覆盖率概念的明显概括，并调查它们如何与几何上的关系;此结果可能具有超出学习设置的后果。

令$ \ mathscr {f} _ {n，d} $为所有函数的类$ f：\ { - { - 1,1 \}^n \ to [-1,1] $ to $ n $ dipermensional discement to [-1,1] $超级立方体最多$ d $。在本文的第一部分中，我们证明了学习$ \ mathscr {f} _ {n，d} $的任何（确定性或随机）算法带有$ l_2 $ -accuracy $ \ varepsilon $至少需要$ \ omega（ （1- \ sqrt {\ varepsilon}）2^d \ log n）$ queries for tomy $ n $，从而将锋利性确定为$ n \ to \ fty \ fty \ infty $ y iffty $，eSkenazis and Ivanisvili（2021）（2021） 。为此，我们表明$ l_2 $ - 包装数字$ \ Mathsf {m}（\ Mathscr {f} _ {n，d}，\ | \ cdot \ | _ {l_2}，\ varepsilon）$概念类$ \ mathscr {f} _ {n，d} $满足双面估计$$ c（1- \ varepsilon）2^d \ log n \ log n \ leq \ log \ log \ mathsf {m mathsf {m}（\ mathscr） } _ {n，d}，\ | \ cdot \ | _ {l_2}，\ varepsilon）\ leq \ frac {2^{cd} \ log n} {\ varepsilon^4} $ n $ ，其中$ c，c> 0 $是通用常数。在本文的第二部分中，我们提出了一个对数上限，以实现有界近似多项式类别的随机查询复杂性，其傅立叶光谱集中在很少的子集上。作为应用程序，我们证明了学习给定程度的近似作者所需的随机查询数量的新估计值，具有快速衰减的傅立叶尾巴和给定尺寸的恒定深度电路的功能。最后，我们获得了学习多项式类$ \ mathscr {f} _ {n，d} $所需的查询数量的界限，而在查询和随机示例模型中没有错误。

我们提出了两个关于量子计算机精确学习的新结果。首先，我们展示了如何从$ o（k ^ {1.5}（\ log k）^ 2）$统一量子示例的$ o（k ^ {1.5}（\ log k）^ 2）的$ k $ -fourier-sparse $ n $ -fourier-sparse $ n $ k $ -fourier-sparse $ n $ couber boolean函数。这改善了$ \ widetilde {\ theta}（kn）$统一的randuly \ emph {classical}示例（haviv和regev，ccc'15）。此外，我们提供了提高我们的$ \ widetilde {o}（k ^ {1.5}）美元的可能方向，通过证明k $-$ -fourier-稀疏的布尔函数的改进，通过提高Chang的Lemma。其次，如果可以使用$ q $量子会员查询可以完全学习概念类$ \ mathcal {c} $，则也可以使用$ o o \ left（\ frac {q ^ 2} {\ logq} \ log | \ mathcal {c} | \右）$ \ emph {classical}会员查询。这通过$ \ log q $ -factor来改善最佳的仿真结果（Servedio和Gortler，Sicomp'04）。

我们在高斯分布下使用Massart噪声与Massart噪声进行PAC学习半个空间的问题。在Massart模型中，允许对手将每个点$ \ mathbf {x} $的标签与未知概率$ \ eta（\ mathbf {x}）\ leq \ eta $，用于某些参数$ \ eta \ [0,1 / 2] $。目标是找到一个假设$ \ mathrm {opt} + \ epsilon $的错误分类错误，其中$ \ mathrm {opt} $是目标半空间的错误。此前已经在两个假设下研究了这个问题：（i）目标半空间是同质的（即，分离超平面通过原点），并且（ii）参数$ \ eta $严格小于$ 1/2 $。在此工作之前，当除去这些假设中的任何一个时，不知道非增长的界限。我们研究了一般问题并建立以下内容：对于$ \ eta <1/2 $，我们为一般半个空间提供了一个学习算法，采用样本和计算复杂度$ d ^ {o_ {\ eta}（\ log（1 / \ gamma） ）））}} \ mathrm {poly}（1 / \ epsilon）$，其中$ \ gamma = \ max \ {\ epsilon，\ min \ {\ mathbf {pr} [f（\ mathbf {x}）= 1]， \ mathbf {pr} [f（\ mathbf {x}）= -1] \} \} $是目标半空间$ f $的偏差。现有的高效算法只能处理$ \ gamma = 1/2 $的特殊情况。有趣的是，我们建立了$ d ^ {\ oomega（\ log（\ log（\ log（\ log））}}的质量匹配的下限，而是任何统计查询（SQ）算法的复杂性。对于$ \ eta = 1/2 $，我们为一般半空间提供了一个学习算法，具有样本和计算复杂度$ o_ \ epsilon（1）d ^ {o（\ log（1 / epsilon））} $。即使对于均匀半空间的子类，这个结果也是新的;均匀Massart半个空间的现有算法为$ \ eta = 1/2 $提供可持续的保证。我们与D ^ {\ omega（\ log（\ log（\ log（\ log（\ epsilon））} $的近似匹配的sq下限补充了我们的上限，这甚至可以为同类半空间的特殊情况而保持。