我们提出了普遍因果关系,这是一个基于类别理论的总体框架,该框架定义了基于因果推理的普遍特性,该属性独立于所使用的基本代表性形式主义。更正式的是,普遍的因果模型被定义为由对象和形态组成的类别,它们代表因果影响,以及进行干预措施(实验)和评估其结果(观察)的结构。函子在类别之间的映射和自然变换映射在相同两个类别的一对函子之间。我们框架中的抽象因果图是使用类别理论的通用构造构建的,包括抽象因果图的限制或共限制,或更普遍的KAN扩展。我们提出了普遍因果推断的两个基本结果。第一个结果称为普遍因果定理(UCT),与图的通用性有关,这些结果被视为函数映射对象和关系从抽象因果图的索引类别到一个实际因果模型,其节点由随机变量标记为实际因果模型和边缘代表功能或概率关系。 UCT指出,任何因果推论都可以以规范的方式表示为代表对象的抽象因果图的共同限制。 UCT取决于滑轮理论的基本结果。第二个结果是因果繁殖特性(CRP),指出对象x对另一个对象y的任何因果影响都可以表示为两个抽象因果图之间的自然转化。 CRP来自Yoneda引理,这是类别理论中最深层的结果之一。 CRP属性类似于复制元素希尔伯特空间中的繁殖属性,该元素是机器学习中内核方法的基础。
translated by 谷歌翻译
We propose a layered hierarchical architecture called UCLA (Universal Causality Layered Architecture), which combines multiple levels of categorical abstraction for causal inference. At the top-most level, causal interventions are modeled combinatorially using a simplicial category of ordinal numbers. At the second layer, causal models are defined by a graph-type category. The non-random ``surgical" operations on causal structures, such as edge deletion, are captured using degeneracy and face operators from the simplicial layer above. The third categorical abstraction layer corresponds to the data layer in causal inference. The fourth homotopy layer comprises of additional structure imposed on the instance layer above, such as a topological space, which enables evaluating causal models on datasets. Functors map between every pair of layers in UCLA. Each functor between layers is characterized by a universal arrow, which defines an isomorphism between every pair of categorical layers. These universal arrows define universal elements and representations through the Yoneda Lemma, and in turn lead to a new category of elements based on a construction introduced by Grothendieck. Causal inference between each pair of layers is defined as a lifting problem, a commutative diagram whose objects are categories, and whose morphisms are functors that are characterized as different types of fibrations. We illustrate the UCLA architecture using a range of examples, including integer-valued multisets that represent a non-graphical framework for conditional independence, and causal models based on graphs and string diagrams using symmetric monoidal categories. We define causal effect in terms of the homotopy colimit of the nerve of the category of elements.
translated by 谷歌翻译
有条件的独立性已被广泛用于AI,因果推理,机器学习和统计数据。我们介绍分类生物,这是一种代数结构,用于表征条件独立性的普遍特性。分类物被定义为两个类别的混合体:一个编码由对象和箭头定义的预订的晶格结构;第二个二个参数化涉及定义​​条件独立性结构的三角体对象和形态,桥梁形态提供了二进制和三元结构之间的接口。我们使用公理集的三个众所周知的示例来说明分类生物:绘画,整数价值多组和分离型。 FOUNDOROIDS将一个分类型映射到另一个分类,从而保留了由共同域中所有三种类型的箭头定义的关系。我们描述了跨官能素的自然转化,该函数是跨常规物体和三角形对象的自然变化,以构建条件独立性的通用表示。我们使用分类器之间的辅助和单核,以抽象地表征条件独立性的图形和非图形表示的忠诚。
translated by 谷歌翻译
我们提出了一种统一的形式主义,用于使用高阶类别理论的结构发现因果模型和预测状态表示(PSR)模型(RL)。具体而言,我们使用Simplicial对象将序数字类别的符号函数(违反函数)模拟在两个设置中的结构发现。在条件独立性下等效的因果模型的片段(定义为因果角)以及预测状态表示中潜在测试的子序列 - 定义为预测角 - 都是简单对象的角,是亚集由于去除内部和面对特定顶点的面部而导致的。两种设置中的潜在结构发现都涉及相同的基本数学问题,即通过解决通勤图中的提升问题,并利用定义高阶对称性的弱同质性来查找简单对象的角的扩展。解决“内部”与“外部”喇叭问题的解决方案导致了高阶类别的各种概念,包括弱kan复合物和准游戏。我们根据通用因果模型或通用决策模型及其简单对象表示的类别之间的伴随函数来定义两个设置中结构发现的抽象问题。
translated by 谷歌翻译
也称为(非参数)结构方程模型(SEMS)的结构因果模型(SCM)被广泛用于因果建模目的。特别是,也称为递归SEM的无循环SCMS,形成了一个研究的SCM的良好的子类,概括了因果贝叶斯网络来允许潜在混淆。在本文中,我们调查了更多普通环境中的SCM,允许存在潜在混杂器和周期。我们展示在存在周期中,无循环SCM的许多方便的性质通常不会持有:它们并不总是有解决方案;它们并不总是诱导独特的观察,介入和反事实分布;边缘化并不总是存在,如果存在边缘模型并不总是尊重潜在的投影;他们并不总是满足马尔可夫财产;他们的图表并不总是与他们的因果语义一致。我们证明,对于SCM一般,这些属性中的每一个都在某些可加工条件下保持。我们的工作概括了SCM的结果,迄今为止仅针对某些特殊情况所知的周期。我们介绍了将循环循环设置扩展到循环设置的简单SCM的类,同时保留了许多方便的无环SCM的性能。用本文,我们的目标是为SCM提供统计因果建模的一般理论的基础。
translated by 谷歌翻译
D分隔标准通过某些条件独立性检测到关节概率分布与定向无环图的兼容性。在这项工作中,我们通过引入因果模型的分类定义,D分隔的分类概念,并证明了D-Exaration Criterion的抽象版本,从而在分类概率理论的背景下研究了这个问题。这种方法有两个主要好处。首先,分类D分隔是基于拓扑连接的非常直观的标准。其次,我们的结果适用于度量理论概率(具有标准的鲍尔空间),因此提供了与局部和全球马尔可夫属性等效性具有因果关系兼容性的简洁证明。
translated by 谷歌翻译
This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.
translated by 谷歌翻译
每个已知的人工深神经网络(DNN)都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构(例如CNNS或LSTMS)对应于Giraud的堆栈。这种不变性应该是对概括属性的原因,即从约束下的学习数据中推断出来。纤维代表语义前类别(Culioli,Thom),在该类别上定义了人工语言,内部逻辑,直觉主义者,古典或线性(Girard)。网络的语义功能是其能够用这种语言表达理论的能力,以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel(1952)发现的措施。令人惊讶的是,上述语义结构通过封闭模型类别的几何纤维对象进行了分类,然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论(Martin-Loef)组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
估计平均因果效应的理想回归(如果有)是什么?我们在离散协变量的设置中研究了这个问题,从而得出了各种分层估计器的有限样本方差的表达式。这种方法阐明了许多广泛引用的结果的基本统计现象。我们的博览会结合了研究因果效应估计的三种不同的方法论传统的见解:潜在结果,因果图和具有加性误差的结构模型。
translated by 谷歌翻译
In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.
translated by 谷歌翻译
基于AI和机器学习的决策系统已在各种现实世界中都使用,包括医疗保健,执法,教育和金融。不再是牵强的,即设想一个未来,自治系统将推动整个业务决策,并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时,不公平和歧视的问题普遍存在,并且当使用几乎没有透明度,问责制和公平性的机器做出决定时(或可能会放大)。在本文中,我们介绍了\ textit {Causal公平分析}的框架,目的是填补此差距,即理解,建模,并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集,这些机制首先会产生差异,挑战我们称之为因果公平的基本问题分析(FPCFA)。为了解决FPCFA,我们研究了分解差异和公平性的经验度量的问题,将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图,这是组织和解释文献中不同标准之间关系的首次系统尝试。最后,我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设,该假设使数据科学家能够评估不同影响和不同治疗的存在。
translated by 谷歌翻译
数据科学任务可以被视为了解数据的感觉或测试关于它的假设。从数据推断的结论可以极大地指导我们做出信息做出决定。大数据使我们能够与机器学习结合执行无数的预测任务,例如鉴定患有某种疾病的高风险患者并采取可预防措施。然而,医疗保健从业者不仅仅是仅仅预测的内容 - 它们也对输入特征和临床结果之间的原因关系感兴趣。了解这些关系将有助于医生治疗患者并有效降低风险。通常通过随机对照试验鉴定因果关系。当科学家和研究人员转向观察研究并试图吸引推论时,这种试验通常是不可行的。然而,观察性研究也可能受到选择和/或混淆偏差的影响,这可能导致错误的因果结论。在本章中,我们将尝试突出传统机器学习和统计方法中可能出现的一些缺点,以分析观察数据,特别是在医疗保健数据分析域中。我们将讨论因果化推理和方法,以发现医疗领域的观测研究原因。此外,我们将展示因果推断在解决某些普通机器学习问题等中的应用,例如缺少数据和模型可运输性。最后,我们将讨论将加强学习与因果关系相结合的可能性,作为反击偏见的一种方式。
translated by 谷歌翻译
我们考虑代表代理模型的问题,该模型使用我们称之为CSTREES的阶段树模型的适当子类对离散数据编码离散数据的原因模型。我们表明,可以通过集合表达CSTREE编码的上下文专用信息。由于并非所有阶段树模型都承认此属性,CSTREES是一个子类,可提供特定于上下文的因果信息的透明,直观和紧凑的表示。我们证明了CSTREEES承认全球性马尔可夫属性,它产生了模型等价的图形标准,概括了Verma和珍珠的DAG模型。这些结果延伸到一般介入模型设置,使CSTREES第一族的上下文专用模型允许介入模型等价的特征。我们还为CSTREE的最大似然估计器提供了一种封闭式公式,并使用它来表示贝叶斯信息标准是该模型类的本地一致的分数函数。在模拟和实际数据上分析了CSTHEELE的性能,在那里我们看到与CSTREELE而不是一般上演树的建模不会导致预测精度的显着损失,同时提供了特定于上下文的因果信息的DAG表示。
translated by 谷歌翻译
药物的因果模型已用于分析机器学习系统的安全性方面。但是,识别代理是非平凡的 - 通常只是由建模者假设而没有太多理由来实现因果模型 - 建模失败可能会导致安全分析中的错误。本文提出了对代理商的第一个正式因果定义 - 大约是代理人是制度,如果他们的行为以不同的方式影响世界,则可以改善其政策。由此,我们得出了第一个用于从经验数据中发现代理的因果发现算法,并提供了用于在因果模型和游戏理论影响图之间转换的算法。我们通过解决不正确的因果模型引起的一些混乱来证明我们的方法。
translated by 谷歌翻译
因果关系是理解世界的科学努力的基本组成部分。不幸的是,在心理学和社会科学中,因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性,我们重新制定了心理学研究方法的典型方法,以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程,该过程始于从因果发现和机器学习的融合中纳入技术的发展,验证和透明的理论形式规范。然后,我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里,我们确定利息量是否可以从数据中估算出来,如果是的,则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道,该管道可以(a)促进与测试因果理论的愿望兼容的科学询问(b)鼓励我们的理论透明代表作为明确的数学对象,(c)将我们的统计模型绑定到我们的统计模型中该理论的特定属性,因此减少了理论到模型间隙通常引起的规范不足问题,以及(d)产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程,我们以摘要和讨论来结论。
translated by 谷歌翻译
积极推论的中央概念是,物理系统参数概率的内部状态在外部世界的状态下衡量。这些可以被视为代理人的信仰,以贝叶斯先前或后部表示。在这里,我们开始发展一般理论,这将告诉我们何时适合将国家解释为以这种方式代表信仰。我们专注于系统可以被解释为执行贝叶斯滤波或贝叶斯推断的情况。我们使用类别理论的技术提供对存在这种解释的方法的形式定义。
translated by 谷歌翻译
动态系统广泛用于科学和工程,以模拟由多个交互组件组成的系统。通常,它们可以在意义上给出因果解释,因为它们不仅模拟了系统组件状态随时间的演变,而且描述了他们的进化如何受到动态的系统的外部干预的影响。我们介绍了结构动态因果模型(SDCMS)的正式框架,其将系统组件的因果语言作为模型的一部分来阐述。 SDCMS表示动态系统作为随机过程的集合,并指定了管理每个组件的动态的基本因果机制,作为任意顺序的随机微分方程的结构化系统。 SDCMS扩展了结构因果模型(SCM)的多功能因果建模框架,也称为结构方程模型(SEM),通过显式允许时间依赖。 SDCM可以被认为是SCM的随机过程版本,其中SCM的静态随机变量由动态随机过程及其衍生物代替。我们为SDCMS理论提供基础,(i)正式定义SDCMS,其解决方案,随机干预和图形表示; (ii)对初始条件的解决方案的存在性和独特性; (iii)随着时间的推移倾向于无穷大,讨论SDCMS平衡的条件下降; (iv)将SDCM的性质与平衡SCM的性质相关联。这封对应关系使人们能够在研究大类随机动力系统的因果语义时利用SCM的大量统计工具和发现方法。该理论用来自不同科学域的几个众所周知的示例进行说明。
translated by 谷歌翻译
研究了与隐藏变量有关的非循环图(DAG)相关的因果模型中因果效应的识别理论。然而,由于估计它们输出的识别功能的复杂性,因此未耗尽相应的算法。在这项工作中,我们弥合了识别和估算涉及单一治疗和单一结果的人口水平因果效应之间的差距。我们派生了基于功能的估计,在大类隐藏变量DAG中表现出对所识别的效果的双重稳健性,其中治疗满足简单的图形标准;该类包括模型,产生调整和前门功能作为特殊情况。我们还提供必要的和充分条件,其中隐藏变量DAG的统计模型是非分子饱和的,并且意味着对观察到的数据分布没有平等约束。此外,我们推导了一类重要的隐藏变量DAG,这意味着观察到观察到的数据分布等同于完全观察到的DAG等同于(最高的相等约束)。在这些DAG类中,我们推出了实现兴趣目标的半导体效率界限的估计估计值,该估计是治疗满足我们的图形标准的感兴趣的目标。最后,我们提供了一种完整的识别算法,可直接产生基于权重的估计策略,以了解隐藏可变因果模型中的任何可识别效果。
translated by 谷歌翻译
对表示形式的研究对于任何形式的交流都是至关重要的,我们有效利用它们的能力至关重要。本文介绍了一种新颖的理论 - 代表性系统理论 - 旨在从三个核心角度从三个核心角度进行抽象地编码各种表示:语法,综合及其属性。通过介绍建筑空间的概念,我们能够在一个统一的范式下编码这些核心组件中的每个核心组件。使用我们的代表性系统理论,有可能在结构上将一个系统中的表示形式转换为另一个系统的表示形式。我们结构转化技术的固有方面是根据表示的属性(例如它们的相对认知有效性或结构复杂性)的代表选择。提供一般结构转化技术的主要理论障碍是缺乏终止算法。代表系统理论允许在没有终止算法的情况下衍生部分变换。由于代表性系统理论提供了一种通用编码代表系统的通用方法,因此消除了进一步的关键障碍:需要设计特定于系统的结构转换算法,这是当不同系统采用不同的形式化方法时所必需的。因此,代表性系统理论是第一个提供统一方法来编码表示形式,通过结构转换支持表示形式的第一个通用框架,并具有广泛的实用应用。
translated by 谷歌翻译
最先进的语言模型从任何输入文本返回自然语言文本继续。这种生成相干文本扩展的能力意味着显着的复杂性,包括语法和语义的知识。在本文中,我们提出了一种数学框架,用于传递给定文本的扩展概率分布,例如由今天的大型语言模型学习的概率分布到包含语义信息的丰富类别。粗略地说,我们在文本上模拟概率分布作为富于单位间隔的类别。此类别的对象是语言中的表达,HOM对象是一个表达式是另一个表达式的概率。此类别是句法 - 它描述了与之相关的内容。然后,通过yoneda嵌入,我们将在此语法类别上传递给富集的单位间隔valued copreseaves。这类丰富的CopReseSeals是语义 - 我们找到了意义,逻辑运营,如蕴涵,以及更详细的语义概念的构建块。
translated by 谷歌翻译