我们考虑解释任意黑箱型号的预测的问题$ f $：给定查询访问$ f $和实例$ x $，输出一小组$ x $的功能，其中有基本上确定$ f（ x）$。我们设计了一种高效的算法，可提供证明的简洁和返回的解释的精度。现有算法是有效的，但缺乏这种保证，或实现了这种保证，但效率低下。我们通过连接{\ SL隐式}学习决策树的问题获得算法。这种学习任务的隐式性质即使在$ F $的复杂程度需要一个艰难的大代理决策树时也允许有效的算法。我们通过从学习理论，局部计算算法和复杂性理论中汇集技术来解决隐式学习问题。我们的“通过隐式学习解释”的方法，共享两个先前分散的分歧方法的元素，用于后期的解释，全局和本地解释，我们使它享有两者的优势。

我们设计了一种算法，用于查找具有强大理论保证其性能的反事实算法。对于任何单调模型$ f：x^d \ to \ {0,1 \} $和instance $ x^\ star $，我们的算法make \ [{s（f））} \ cdot \ log d} \]查询到$ f $并返回{哪个$ f（x'）\ ne f（x^\ star）$。这里$ s（f）$是$ f $的灵敏度，lipschitz常数的分散类似物，$ \ delta_f（x^\ star）$是从$ x^\ star $到其最近的反事实的距离。以前最著名的查询复杂性是$ d^{\，o（\ delta_f（x^\ star））} $，可以通过Brute-Force Local Search实现。我们进一步证明了$ s（f）^{\ omega（\ delta_f（x^\ star））} + \ omega（\ log d）$的下限我们的算法本质上是最佳的。

我们提供了$ n ^ {o（\ log \ log n）} $ - 时间成员资格查询算法，用于在统一分布下统一分发的统一分布\ {\ pm 1 \} ^ n $。即使在可实现的设置中，上一个最快的运行时也是$ n ^ {o（\ log n）} $，这是ehrenfeucht和haussler的经典算法的结果。我们的算法与学习决策树的实用启发式分享了相似性，我们增加了额外的想法，以避免已知的这些启发式措施。为了分析我们的算法，我们证明了决策树的新结构结果，增强了O'Donnell，Saks，Schramm和Servedio的定理。虽然OSS定理表明每个决策树都有一个有影响力的变量，但我们展示了每个决策树如何“修剪”，以便产生的树中的每个变量都是有影响力的。

使用增强的框架，我们证明所有基于杂质的决策树学习算法（包括经典的ID3，C4.5和CART）都具有很高的噪音耐受性。我们的保证在讨厌的噪声的最强噪声模型下保持，我们在允许的噪声速率上提供了近乎匹配的上和下限。我们进一步表明，这些算法简单，长期以来一直是日常机器学习的核心，在嘈杂的环境中享受可证明的保证，这些环境是由关于决策树学习的理论文献中现有算法无与伦比的。综上所述，我们的结果增加了一项持续的研究线，该研究旨在将这些实际决策树算法的经验成功放在牢固的理论基础上。

公司跨行业对机器学习（ML）的快速传播采用了重大的监管挑战。一个这样的挑战就是可伸缩性：监管机构如何有效地审核这些ML模型，以确保它们是公平的？在本文中，我们启动基于查询的审计算法的研究，这些算法可以以查询有效的方式估算ML模型的人口统计学率。我们提出了一种最佳的确定性算法，以及具有可比保证的实用随机，甲骨文效率的算法。此外，我们进一步了解了随机活动公平估计算法的最佳查询复杂性。我们对主动公平估计的首次探索旨在将AI治理置于更坚定的理论基础上。

大多数-AT是确定联合正常形式（CNF）中输入$ N $的最低价公式的问题至少为2 ^ {n-1} $令人满意的作业。在对概率规划和推论复杂性的各种AI社区中，广泛研究了多数饱和问题。虽然大多数饱满为期40多年来，但自然变体的复杂性保持开放：大多数 - $ k $ SAT，其中输入CNF公式仅限于最多$ k $的子句宽度。我们证明，每辆$ k $，大多数 - $ k $ sat是在p的。事实上，对于任何正整数$ k $和ratic $ \ rho \ in（0,1）$ in（0,1）$与有界分比者，我们给出了算法这可以确定给定的$ k $ -cnf是否至少有$ \ rho \ cdot 2 ^ n $令人满意的分配，在确定性线性时间（而先前的最着名的算法在指数时间中运行）。我们的算法对计算复杂性和推理的复杂性具有有趣的积极影响，显着降低了相关问题的已知复杂性，例如E-Maj-$ K $ Sat和Maj-Maj- $ K $ Sat。在我们的方法中，通过提取在$ k $ -cnf的相应设置系统中发现的向日葵，可以通过提取向日葵来解决阈值计数问题的有效方法。我们还表明，大多数 - $ k $ sat的易腐烂性有些脆弱。对于密切相关的gtmajority-sat问题（我们询问给定公式是否超过2 ^ {n-1} $满足分配），这已知是pp-cleanting的，我们表明gtmajority-$ k $ sat在p for $ k \ le 3 $，但为$ k \ geq 4 $完成np-cleante。这些结果是违反直觉的，因为这些问题的“自然”分类将是PP完整性，因为GTMAJority的复杂性存在显着差异 - $ k $ SAT和MOSTION- $ K $ SAT为所有$ k \ ge 4 $。

The most widely studied explainable AI (XAI) approaches are unsound. This is the case with well-known model-agnostic explanation approaches, and it is also the case with approaches based on saliency maps. One solution is to consider intrinsic interpretability, which does not exhibit the drawback of unsoundness. Unfortunately, intrinsic interpretability can display unwieldy explanation redundancy. Formal explainability represents the alternative to these non-rigorous approaches, with one example being PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. Recently, it has been observed that the (absolute) rigor of PI-explanations can be traded off for a smaller explanation size, by computing the so-called relevant sets. Given some positive {\delta}, a set S of features is {\delta}-relevant if, when the features in S are fixed, the probability of getting the target class exceeds {\delta}. However, even for very simple classifiers, the complexity of computing relevant sets of features is prohibitive, with the decision problem being NPPP-complete for circuit-based classifiers. In contrast with earlier negative results, this paper investigates practical approaches for computing relevant sets for a number of widely used classifiers that include Decision Trees (DTs), Naive Bayes Classifiers (NBCs), and several families of classifiers obtained from propositional languages. Moreover, the paper shows that, in practice, and for these families of classifiers, relevant sets are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained for the families of classifiers considered.

作者最近给出了$ n^{o（\ log \ log n）} $时间成员资格查询算法，用于在统一分布下正确学习决策树（Blanc等，2021）。此问题的先前最快算法以$ n^{o（\ log n）} $ time运行，这是Ehrenfeucht和Haussler（1989）的经典算法，这是无分配设置的经典算法。在本文中，我们强调了获得多项式时间算法的自然开放问题，讨论获得它的可能途径以及我们认为具有独立利益的状态中级里程碑。

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

Learning problems form an important category of computational tasks that generalizes many of the computations researchers apply to large real-life data sets. We ask: what concept classes can be learned privately, namely, by an algorithm whose output does not depend too heavily on any one input or specific training example? More precisely, we investigate learning algorithms that satisfy differential privacy, a notion that provides strong confidentiality guarantees in contexts where aggregate information is released about a database containing sensitive information about individuals.Our goal is a broad understanding of the resources required for private learning in terms of samples, computation time, and interaction. We demonstrate that, ignoring computational constraints, it is possible to privately agnostically learn any concept class using a sample size approximately logarithmic in the cardinality of the concept class. Therefore, almost anything learnable is learnable privately: specifically, if a concept class is learnable by a (non-private) algorithm with polynomial sample complexity and output size, then it can be learned privately using a polynomial number of samples. We also present a computationally efficient private PAC learner for the class of parity functions. This result dispels the similarity between learning with noise and private learning (both must be robust to small changes in inputs), since parity is thought to be very hard to learn given random classification noise.Local (or randomized response) algorithms are a practical class of private algorithms that have received extensive investigation. We provide a precise characterization of local private learning algorithms. We show that a concept class is learnable by a local algorithm if and only if it is learnable in the statistical query (SQ) model. Therefore, for local private learning algorithms, the similarity to learning with noise is stronger: local learning is equivalent to SQ learning, and SQ algorithms include most known noise-tolerant learning algorithms. Finally, we present a separation between the power of interactive and noninteractive local learning algorithms. Because of the equivalence to SQ learning, this result also separates adaptive and nonadaptive SQ learning.

我们建立了量子算法设计与电路下限之间的第一一般连接。具体来说，让$ \ mathfrak {c} $是一类多项式大小概念，假设$ \ mathfrak {c} $可以在统一分布下的成员查询，错误$ 1/2 - \ gamma $通过时间$ t $量子算法。我们证明如果$ \ gamma ^ 2 \ cdot t \ ll 2 ^ n / n $，则$ \ mathsf {bqe} \ nsubseteq \ mathfrak {c} $，其中$ \ mathsf {bqe} = \ mathsf {bque} [2 ^ {o（n）}] $是$ \ mathsf {bqp} $的指数时间模拟。在$ \ gamma $和$ t $中，此结果是最佳的，因为它不难学习（经典）时间$ t = 2 ^ n $（没有错误） ，或在Quantum Time $ t = \ mathsf {poly}（n）$以傅立叶采样为单位为1/2美元（2 ^ { - n / 2}）$。换句话说，即使对这些通用学习算法的边际改善也会导致复杂性理论的主要后果。我们的证明在学习理论，伪随机性和计算复杂性的几个作品上构建，并且至关重要地，在非凡的经典学习算法与由Oliveira和Santhanam建立的电路下限之间的联系（CCC 2017）。扩展他们对量子学习算法的方法，结果产生了重大挑战。为此，我们展示了伪随机发电机如何以通用方式意味着学习到较低的连接，构建针对均匀量子计算的第一个条件伪随机发生器，并扩展了Impagliazzo，JaiSwal的本地列表解码算法。 ，Kabanets和Wigderson（Sicomp 2010）通过微妙的分析到量子电路。我们认为，这些贡献是独立的兴趣，可能会发现其他申请。

令$ \ mathscr {f} _ {n，d} $为所有函数的类$ f：\ { - { - 1,1 \}^n \ to [-1,1] $ to $ n $ dipermensional discement to [-1,1] $超级立方体最多$ d $。在本文的第一部分中，我们证明了学习$ \ mathscr {f} _ {n，d} $的任何（确定性或随机）算法带有$ l_2 $ -accuracy $ \ varepsilon $至少需要$ \ omega（ （1- \ sqrt {\ varepsilon}）2^d \ log n）$ queries for tomy $ n $，从而将锋利性确定为$ n \ to \ fty \ fty \ infty $ y iffty $，eSkenazis and Ivanisvili（2021）（2021） 。为此，我们表明$ l_2 $ - 包装数字$ \ Mathsf {m}（\ Mathscr {f} _ {n，d}，\ | \ cdot \ | _ {l_2}，\ varepsilon）$概念类$ \ mathscr {f} _ {n，d} $满足双面估计$$ c（1- \ varepsilon）2^d \ log n \ log n \ leq \ log \ log \ mathsf {m mathsf {m}（\ mathscr） } _ {n，d}，\ | \ cdot \ | _ {l_2}，\ varepsilon）\ leq \ frac {2^{cd} \ log n} {\ varepsilon^4} $ n $ ，其中$ c，c> 0 $是通用常数。在本文的第二部分中，我们提出了一个对数上限，以实现有界近似多项式类别的随机查询复杂性，其傅立叶光谱集中在很少的子集上。作为应用程序，我们证明了学习给定程度的近似作者所需的随机查询数量的新估计值，具有快速衰减的傅立叶尾巴和给定尺寸的恒定深度电路的功能。最后，我们获得了学习多项式类$ \ mathscr {f} _ {n，d} $所需的查询数量的界限，而在查询和随机示例模型中没有错误。

随着优化软件的显着改进，几十年前似乎棘手的大规模问题的解决方案现在已成为日常任务。这将更多的现实应用程序纳入了优化器的范围。同时，解决优化问题通常是将解决方案付诸实践时较小的困难之一。一个主要的障碍是，可以将优化软件视为黑匣子，它可能会产生高质量的解决方案，但是当情况发生变化时，可以创建完全不同的解决方案，从而导致对优化解决方案的接受率低。这种可解释性和解释性的问题在其他领域（例如机器学习）引起了极大的关注，但在优化方面却不那么关注。在本文中，我们提出了一个优化框架，以得出本质上具有易于理解的解释性规则的解决方案，在哪些情况下应选择解决方案。我们专注于代表解释性规则的决策树，我们提出了整数编程公式以及一种启发式方法，以确保我们的方法即使在大规模问题上也适用。使用随机和现实世界数据的计算实验表明，固有的可解释性成本可能很小。

标签排名（LR）对应于学习一个假设的问题，以通过有限一组标签将功能映射到排名。我们采用了对LR的非参数回归方法，并获得了这一基本实际问题的理论绩效保障。我们在无噪声和嘈杂的非参数回归设置中介绍了一个用于标签排名的生成模型，并为两种情况下提供学习算法的示例复杂性界限。在无噪声环境中，我们研究了全排序的LR问题，并在高维制度中使用决策树和随机林提供计算有效的算法。在嘈杂的环境中，我们考虑使用统计观点的不完整和部分排名的LR更通用的情况，并使用多种多组分类的一种方法获得样本复杂性范围。最后，我们与实验补充了我们的理论贡献，旨在了解输入回归噪声如何影响观察到的输出。

可解释性是强化学习系统可信度的重要组成部分。但是，可解释性可能以绩效恶化为代价，导致许多研究人员建立复杂的模型。我们的目标是分析可解释性的成本。我们表明，在某些情况下，人们可以在保持其最优性的同时实现政策可解释性。我们专注于从增强学习中的经典问题：$ \ mathbb {r}^d $中的$ k $障碍物的迷宫。我们证明了一个小型决策树的存在，在每个内部节点和深度$ o（\ log k + 2^d）$上具有线性函数，代表最佳策略。请注意，对于不断$ d $的有趣情况，我们有$ o（\ log k）$ depth。因此，在这种情况下，没有准确的截止性权衡。为了证明这一结果，我们使用了一种新的“压缩”技术，该技术可能在其他设置中很有用。

$ k $ -means和$ k $ -median集群是强大的无监督机器学习技术。但是，由于对所有功能的复杂依赖性，解释生成的群集分配是挑战性的。 Moshkovitz，Dasgupta，Rashtchian和Frost [ICML 2020]提出了一个优雅的可解释$ K $ -means和$ K $ -Median聚类型号。在此模型中，具有$ k $叶子的决策树提供了集群中的数据的直接表征。我们研究了关于可解释的聚类的两个自然算法问题。 （1）对于给定的群集，如何通过使用$ k $叶的决策树找到“最佳解释”？ （2）对于一套给定的点，如何找到一个以美元的决策树，最小化$ k $ -means / median目标的可解释的聚类？要解决第一个问题，我们介绍了一个新的可解释群集模型。我们的型号受到强大统计数据的异常值概念的启发，是以下情况。我们正在寻求少数积分（异常值），其删除使现有的聚类良好可解释。为了解决第二个问题，我们开始研究Moshkovitz等人的模型。从多元复杂性的角度来看。我们严格的算法分析揭示了参数的影响，如数据的输入大小，尺寸，异常值的数量，簇数，近似比，呈现可解释的聚类的计算复杂度。

我们研究了Massart噪声的PAC学习半圆的问题。给定标记的样本$（x，y）$从$ \ mathbb {r} ^ {d} ^ {d} \ times \ times \ {\ pm 1 \} $，这样的例子是任意的和标签$ y $ y $ y $ x $是由按萨塔特对手损坏的目标半空间与翻转概率$ \ eta（x）\ leq \ eta \ leq 1/2 $，目标是用小小的假设计算假设错误分类错误。这个问题的最佳已知$ \ mathrm {poly}（d，1 / \ epsilon）$时间算法实现$ \ eta + \ epsilon $的错误，这可能远离$ \ mathrm {opt} +的最佳界限\ epsilon $，$ \ mathrm {opt} = \ mathbf {e} _ {x \ sim d_x} [\ eta（x）] $。虽然已知实现$ \ mathrm {opt} + O（1）$误差需要超级多项式时间在统计查询模型中，但是在已知的上限和下限之间存在大的间隙。在这项工作中，我们基本上表征了统计查询（SQ）模型中Massart HalfSpaces的有效可读性。具体来说，我们表明，在$ \ mathbb {r} ^ d $中没有高效的sq算法用于学习massart halfpaces ^ d $可以比$ \ omega（\ eta）$更好地实现错误，即使$ \ mathrm {opt} = 2 ^ { - - \ log ^ {c}（d）$，适用于任何通用常量$ c \ in（0,1）$。此外，当噪声上限$ \ eta $接近$ 1/2 $时，我们的错误下限变为$ \ eta - o _ {\ eta}（1）$，其中$ o _ {\ eta}（1）$当$ \ eta $接近$ 1/2 $时，术语达到0美元。我们的结果提供了强有力的证据表明，大规模半空间的已知学习算法几乎是最可能的，从而解决学习理论中的长期开放问题。

尽管使用模型不合时宜的AI（XAI）观察到了进展，但模型 - 敏锐的XAI的情况可能会产生错误的解释。一种替代方法是所谓的XAI正式方法，其中包括PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的是它们的大小。相关功能的计算可以用解释中的功能数量进行概率精度。但是，即使对于非常简单的分类器，相关特征的计算集的复杂性也是令人难以置信的。本文研究了幼稚贝叶斯分类器（NBC）相关集的计算，并表明这些集合在实践中很容易计算。此外，实验证实可以使用NBC获得简洁的相关特征集。

我们连接学习算法和算法自动化证明搜索在命题证明系统中：每一种充分强大，表现良好的命题证明系统$ P $，我们证明以下陈述相当，1.可提供学习：$ P $证明p -size电路通过统一分布的子尺寸尺寸电路与成员资格查询进行了学习。 2.可提供自动性：$ P $证明$ P $可通过非均匀电路在表达P尺寸电路下限的命题公式上自动。在这里，如果I.-III，则$ P $足够强大和表现良好。持有：I. $ P $ P-SIMULATES JE \ v {R} \'ABEK的系统$ WF $（通过调节弱鸽子原则加强扩展弗雷格系统$ EF $）; II。 $ P $满足标准证明系统的一些基本属性，P-SIMUTED $ WF $; III。 $ P $可有效地证明一些布尔函数$ H $ H $ H $难以平均为子增长尺寸电路。例如，如果III。保持$ p = wf $，然后项目1和2等同于$ p = wf $。如果在Ne \ Cop Cone $的函数$ H \ IN，这是平均尺寸为2 ^ {n / 4} $的电路，对于每个足够大的$ n $，那么有一个明确的命题证明系统$ p $满意的属性I.-III。，即物品1和2的等价，以$ p $持有。

由于机器学习，统计和科学的应用，多边缘最佳运输（MOT）引起了极大的兴趣。但是，在大多数应用中，MOT的成功受到缺乏有效算法的严重限制。实际上，MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly（n，k）时间中可溶解的一般理论。我们开发了一个统一的算法框架，用于通过表征不同算法所需的“结构”来解决poly（n，k）时间中的MOT，这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先，它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly（n，k）时间中求解MOT所需的结构更严格。其次，我们的框架使得为给定的MOT问题开发poly（n，k）时间算法变得更加简单。特别是（大约）解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly（n，k）时间算法开发poly（n，k）时间算法来说明这种易用性：（1）图形结构； （2）设定优化结构； （3）低阶和稀疏结构。对于结构（1），我们恢复了Sindhorn具有poly（n，k）运行时的已知结果；此外，我们为计算精确且稀疏的解决方案提供了第一个poly（n，k）时间算法。对于结构（2） - （3），我们给出了第一个poly（n，k）时间算法，甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。