在决策支持系统中,系统诊断或分类的动机和理由对于人类用户接受系统至关重要。在贝叶斯网络中,鉴于证据变量的观察到值(通常称为地图问题),通常将诊断或分类形式化为对假设变量最可能的联合价值分配的计算。虽然解决地图问题给出了证据的最可能的解释,但就人用户而言,计算是黑匣子,并且没有提供其他见解,使用户可以欣赏并接受该决定。例如,用户可能想知道一个未观察到的变量是否可能(在观察时)影响解释,或者在这方面是否无关紧要。在本文中,我们介绍了一个新的概念,即Map-Independence,该概念试图捕获这种相关性的概念,并探索其作用,以对最佳解释的推论进行理由。我们基于此概念对几个计算问题进行正式化,并评估其计算复杂性。
translated by 谷歌翻译
The most widely studied explainable AI (XAI) approaches are unsound. This is the case with well-known model-agnostic explanation approaches, and it is also the case with approaches based on saliency maps. One solution is to consider intrinsic interpretability, which does not exhibit the drawback of unsoundness. Unfortunately, intrinsic interpretability can display unwieldy explanation redundancy. Formal explainability represents the alternative to these non-rigorous approaches, with one example being PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. Recently, it has been observed that the (absolute) rigor of PI-explanations can be traded off for a smaller explanation size, by computing the so-called relevant sets. Given some positive {\delta}, a set S of features is {\delta}-relevant if, when the features in S are fixed, the probability of getting the target class exceeds {\delta}. However, even for very simple classifiers, the complexity of computing relevant sets of features is prohibitive, with the decision problem being NPPP-complete for circuit-based classifiers. In contrast with earlier negative results, this paper investigates practical approaches for computing relevant sets for a number of widely used classifiers that include Decision Trees (DTs), Naive Bayes Classifiers (NBCs), and several families of classifiers obtained from propositional languages. Moreover, the paper shows that, in practice, and for these families of classifiers, relevant sets are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained for the families of classifiers considered.
translated by 谷歌翻译
大多数-AT是确定联合正常形式(CNF)中输入$ N $的最低价公式的问题至少为2 ^ {n-1} $令人满意的作业。在对概率规划和推论复杂性的各种AI社区中,广泛研究了多数饱和问题。虽然大多数饱满为期40多年来,但自然变体的复杂性保持开放:大多数 - $ k $ SAT,其中输入CNF公式仅限于最多$ k $的子句宽度。我们证明,每辆$ k $,大多数 - $ k $ sat是在p的。事实上,对于任何正整数$ k $和ratic $ \ rho \ in(0,1)$ in(0,1)$与有界分比者,我们给出了算法这可以确定给定的$ k $ -cnf是否至少有$ \ rho \ cdot 2 ^ n $令人满意的分配,在确定性线性时间(而先前的最着名的算法在指数时间中运行)。我们的算法对计算复杂性和推理的复杂性具有有趣的积极影响,显着降低了相关问题的已知复杂性,例如E-Maj-$ K $ Sat和Maj-Maj- $ K $ Sat。在我们的方法中,通过提取在$ k $ -cnf的相应设置系统中发现的向日葵,可以通过提取向日葵来解决阈值计数问题的有效方法。我们还表明,大多数 - $ k $ sat的易腐烂性有些脆弱。对于密切相关的gtmajority-sat问题(我们询问给定公式是否超过2 ^ {n-1} $满足分配),这已知是pp-cleanting的,我们表明gtmajority-$ k $ sat在p for $ k \ le 3 $,但为$ k \ geq 4 $完成np-cleante。这些结果是违反直觉的,因为这些问题的“自然”分类将是PP完整性,因为GTMAJority的复杂性存在显着差异 - $ k $ SAT和MOSTION- $ K $ SAT为所有$ k \ ge 4 $。
translated by 谷歌翻译
尽管使用模型不合时宜的AI(XAI)观察到了进展,但模型 - 敏锐的XAI的情况可能会产生错误的解释。一种替代方法是所谓的XAI正式方法,其中包括PI解释。不幸的是,PI解释也表现出重要的缺点,其中最明显的是它们的大小。相关功能的计算可以用解释中的功能数量进行概率精度。但是,即使对于非常简单的分类器,相关特征的计算集的复杂性也是令人难以置信的。本文研究了幼稚贝叶斯分类器(NBC)相关集的计算,并表明这些集合在实践中很容易计算。此外,实验证实可以使用NBC获得简洁的相关特征集。
translated by 谷歌翻译
我们建立了量子算法设计与电路下限之间的第一一般连接。具体来说,让$ \ mathfrak {c} $是一类多项式大小概念,假设$ \ mathfrak {c} $可以在统一分布下的成员查询,错误$ 1/2 - \ gamma $通过时间$ t $量子算法。我们证明如果$ \ gamma ^ 2 \ cdot t \ ll 2 ^ n / n $,则$ \ mathsf {bqe} \ nsubseteq \ mathfrak {c} $,其中$ \ mathsf {bqe} = \ mathsf {bque} [2 ^ {o(n)}] $是$ \ mathsf {bqp} $的指数时间模拟。在$ \ gamma $和$ t $中,此结果是最佳的,因为它不难学习(经典)时间$ t = 2 ^ n $(没有错误) ,或在Quantum Time $ t = \ mathsf {poly}(n)$以傅立叶采样为单位为1/2美元(2 ^ { - n / 2})$。换句话说,即使对这些通用学习算法的边际改善也会导致复杂性理论的主要后果。我们的证明在学习理论,伪随机性和计算复杂性的几个作品上构建,并且至关重要地,在非凡的经典学习算法与由Oliveira和Santhanam建立的电路下限之间的联系(CCC 2017)。扩展他们对量子学习算法的方法,结果产生了重大挑战。为此,我们展示了伪随机发电机如何以通用方式意味着学习到较低的连接,构建针对均匀量子计算的第一个条件伪随机发生器,并扩展了Impagliazzo,JaiSwal的本地列表解码算法。 ,Kabanets和Wigderson(Sicomp 2010)通过微妙的分析到量子电路。我们认为,这些贡献是独立的兴趣,可能会发现其他申请。
translated by 谷歌翻译
最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活,可靠和易于应用的可解释性方法,我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑,称为箔,允许表达许多简单但重要的解释性查询,并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释:决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数,因此箔评估问题的易易性是精细的,但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施,并执行实验,表明可以在实践中使用这种语言。
translated by 谷歌翻译
社区检测是网络科学中最重要的方法领域之一,在过去的几十年里引起了大量关注的方法之一。该区域处理网络的自动部门到基础构建块中,目的是提供其大规模结构的概要。尽管它的重要性和广泛的采用普及,所谓的最先进和实际在各种领域实际使用的方法之间存在明显的差距。在这里,我们试图通过根据是否具有“描述性”或“推论”目标来划分现有方法来解决这种差异。虽然描述性方法在基于社区结构的直观概念的网络中找到模式的模式,但是推理方法阐述了精确的生成模型,并尝试将其符合数据。通过这种方式,他们能够为网络形成机制提供见解,并以统计证据支持的方式与随机性的单独结构。我们审查如何使用推论目标采用描述性方法被陷入困境和误导性答案,因此应该一般而言。我们认为推理方法更通常与更清晰的科学问题一致,产生更强大的结果,并且应该是一般的首选。我们试图消除一些神话和半真半假在实践中使用社区检测时,努力改善这些方法的使用以及对结果的解释。
translated by 谷歌翻译
贝叶斯网络是一种图形模型,用于编码感兴趣的变量之间的概率关系。当与统计技术结合使用时,图形模型对数据分析具有几个优点。一个,因为模型对所有变量中的依赖性进行编码,因此它易于处理缺少某些数据条目的情况。二,贝叶斯网络可以用于学习因果关系,因此可以用来获得关于问题域的理解并预测干预的后果。三,因为该模型具有因果和概率语义,因此是结合先前知识(通常出现因果形式)和数据的理想表示。四,贝叶斯网络与贝叶斯网络的统计方法提供了一种有效和原则的方法,可以避免数据过剩。在本文中,我们讨论了从先前知识构建贝叶斯网络的方法,总结了使用数据来改善这些模型的贝叶斯统计方法。关于后一项任务,我们描述了学习贝叶斯网络的参数和结构的方法,包括使用不完整数据学习的技术。此外,我们还联系了贝叶斯网络方法,以学习监督和无监督学习的技术。我们说明了使用真实案例研究的图形建模方法。
translated by 谷歌翻译
该注释有三个目的:(i)我们提供了一个独立的说明,表明在可能的(PAC)模型中,连接性查询无法有效地学习,从而明确注意这一概念阶级缺乏这一概念的事实,多项式大小的拟合属性,在许多计算学习理论文献中被默认假设的属性;(ii)我们建立了强大的负PAC可学习性结果,该结果适用于许多限制类别的连接性查询(CQ),包括针对广泛的“无循环”概念的无孔CQ;(iii)我们证明CQ可以通过会员查询有效地学习PAC。
translated by 谷歌翻译
数据最初是由Peter Hammer引入的,对数据的逻辑分析是一种方法,旨在计算逻辑上的理由,以将一组数据划分为两组观测值,通常称为正和负基。将此分区视为对部分定义的布尔函数的描述;然后处理数据以识别属性的子集,其值可用于表征正组对负基组的观测值。 LAD构成了经典统计学习技术的一种有趣的基于规则的学习替代方案,并具有许多实际应用。然而,根据数据实例的属性,组表征的计算可能是昂贵的。我们工作的一个主要目的是通过计算一些给定属性确实表征正组和负面组来提供一些\ emph {先验}的概率来提供有效的工具来加速计算。为此,我们根据我们对其上的信息提出了几种代表观测数据集的模型。这些模型及其允许我们计算的概率也有助于快速评估当前实际数据的某些属性;此外,它们可以帮助我们更好地分析和理解解决方法所遇到的计算困难。一旦建立了模型,计算概率的数学工具就会来自分析组合。它们使我们能够将所需的概率表示为生成函数系数的比率,然后提供其数值的快速计算。本文的另一个远程目标是表明,分析组合学的方法可以帮助分析LAD和相关领域中各种算法的性能。
translated by 谷歌翻译
This volume contains revised versions of the papers selected for the third volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI.
translated by 谷歌翻译
Log-linear models are a family of probability distributions which capture relationships between variables. They have been proven useful in a wide variety of fields such as epidemiology, economics and sociology. The interest in using these models is that they are able to capture context-specific independencies, relationships that provide richer structure to the model. Many approaches exist for automatic learning of the independence structure of log-linear models from data. The methods for evaluating these approaches, however, are limited, and are mostly based on indirect measures of the complete density of the probability distribution. Such computation requires additional learning of the numerical parameters of the distribution, which introduces distortions when used for comparing structures. This work addresses this issue by presenting the first measure for the direct and efficient comparison of independence structures of log-linear models. Our method relies only on the independence structure of the models, which is useful when the interest lies in obtaining knowledge from said structure, or when comparing the performance of structure learning algorithms, among other possible uses. We present proof that the measure is a metric, and a method for its computation that is efficient in the number of variables of the domain.
translated by 谷歌翻译
We consider the algorithmic problem of finding the optimal weights and biases for a two-layer fully connected neural network to fit a given set of data points. This problem is known as empirical risk minimization in the machine learning community. We show that the problem is $\exists\mathbb{R}$-complete. This complexity class can be defined as the set of algorithmic problems that are polynomial-time equivalent to finding real roots of a polynomial with integer coefficients. Furthermore, we show that arbitrary algebraic numbers are required as weights to be able to train some instances to optimality, even if all data points are rational. Our results hold even if the following restrictions are all added simultaneously. $\bullet$ There are exactly two output neurons. $\bullet$ There are exactly two input neurons. $\bullet$ The data has only 13 different labels. $\bullet$ The number of hidden neurons is a constant fraction of the number of data points. $\bullet$ The target training error is zero. $\bullet$ The ReLU activation function is used. This shows that even very simple networks are difficult to train. The result explains why typical methods for $\mathsf{NP}$-complete problems, like mixed-integer programming or SAT-solving, cannot train neural networks to global optimality, unless $\mathsf{NP}=\exists\mathbb{R}$. We strengthen a recent result by Abrahamsen, Kleist and Miltzow [NeurIPS 2021].
translated by 谷歌翻译
There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.
translated by 谷歌翻译
基于AI和机器学习的决策系统已在各种现实世界中都使用,包括医疗保健,执法,教育和金融。不再是牵强的,即设想一个未来,自治系统将推动整个业务决策,并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时,不公平和歧视的问题普遍存在,并且当使用几乎没有透明度,问责制和公平性的机器做出决定时(或可能会放大)。在本文中,我们介绍了\ textit {Causal公平分析}的框架,目的是填补此差距,即理解,建模,并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集,这些机制首先会产生差异,挑战我们称之为因果公平的基本问题分析(FPCFA)。为了解决FPCFA,我们研究了分解差异和公平性的经验度量的问题,将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图,这是组织和解释文献中不同标准之间关系的首次系统尝试。最后,我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设,该假设使数据科学家能够评估不同影响和不同治疗的存在。
translated by 谷歌翻译
象征性的AI社区越来越多地试图在神经符号结构中接受机器学习,但由于文化障碍,仍在挣扎。为了打破障碍,这份相当有思想的个人备忘录试图解释和纠正统计,机器学习和深入学习的惯例,从局外人的角度进行深入学习。它提供了一个分步协议,用于设计一个机器学习系统,该系统满足符号AI社区认真对待所必需的最低理论保证,即,它讨论“在哪些条件下,我们可以停止担心和接受统计机器学习。 “一些亮点:大多数教科书都是为计划专门研究STAT/ML/DL的人编写的,应该接受术语。该备忘录适用于经验丰富的象征研究人员,他们听到了很多嗡嗡声,但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性,并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模,并且不讨论任何特定的函数近似器,例如神经网络(NNS),SVMS,决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容,采用有关Arxiv的论文的形式。
translated by 谷歌翻译
连续约束满意度问题(CCSP)是一个约束满意度问题(CSP),其间隔域$ u \ subset \ mathbb {r} $。我们进行了一项系统的研究,以对CCSP进行分类,这些CCSP已完成现实的存在理论,即ER完整。为了定义该类别,我们首先考虑ETR问题,该问题也代表了真实的存在理论。在此问题的情况下,我们给出了$ \ compant x_1,\ ldots,x_n \ in \ mathbb {r}的某个句子:\ phi(x_1,\ ldots,x_n)$,其中$ \ phi $ is由符号$ \ {0、1, +,\ cdot,\ geq,>,\ wedge,\ vee,\ neg \} $组成的符号符号的公式正确。 。现在,ER是所有问题的家族,这些家族允许多项式时间降低到ETR。众所周知,np $ \ subseteq $ er $ \ subseteq $ pspace。我们将注意力限制在CCSP上,并具有附加限制($ x + y = z $)和其他一些轻度的技术状况。以前,已经显示出乘法约束($ x \ cdot y = z $),平方约束($ x^2 = y $)或反转约束($ x \ cdot y = 1 $)足以建立ER-完整性。如下所示,我们以最大的平等约束来扩展这一点。我们表明,CCSP(具有附加限制和其他轻度技术状况)具有任何一个表现良好的弯曲平等约束($ f(x,y)= 0 $)的CCSP是ER的曲线限制($ F(x,y)= 0 $)。我们将结果进一步扩展到不平等约束。我们表明,任何行为良好的凸出弯曲且行为良好的凹陷弯曲的不平等约束($ f(x,y)\ geq 0 $ and $ g(x,x,y)\ geq 0 $)暗示着班级的ER完整性这种CCSP。
translated by 谷歌翻译
我们基于电子价值开发假设检测理论,这是一种与p值不同的证据,允许毫不费力地结合来自常见场景中的几项研究的结果,其中决定执行新研究可能取决于以前的结果。基于E-V值的测试是安全的,即它们在此类可选的延续下保留I型错误保证。我们将增长速率最优性(GRO)定义为可选的连续上下文中的电力模拟,并且我们展示了如何构建GRO E-VARIABLE,以便为复合空缺和替代,强调模型的常规测试问题,并强调具有滋扰参数的模型。 GRO E值采取具有特殊前瞻的贝叶斯因子的形式。我们使用几种经典示例说明了该理论,包括一个样本安全T检验(其中右哈尔前方的右手前锋为GE)和2x2差价表(其中GRE之前与标准前沿不同)。分享渔业,奈曼和杰弗里斯·贝叶斯解释,电子价值观和相应的测试可以提供所有三所学校的追随者可接受的方法。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
我们介绍并研究了分布的邻居晶格分解,这是有条件独立性的紧凑,非图形表示,在没有忠实的图形表示的情况下是有效的。这个想法是将变量的一组社区视为子集晶格,并将此晶格分配到凸sublattices中,每个晶格都直接编码有条件的独立关系集合。我们表明,这种分解存在于任何组成型绘画中,并且可以在高维度中有效且一致地计算出来。 {特别是,这给了一种方法来编码满足组合公理的分布所隐含的所有独立关系,该分布严格比图形方法通常假定的忠实假设弱弱。}我们还讨论了各种特殊案例,例如图形模型和投影晶格,每个晶格都有直观的解释。一路上,我们看到了这个问题与邻域回归密切相关的,该回归已在图形模型和结构方程式的背景下进行了广泛的研究。
translated by 谷歌翻译