我们提出了一种统一的形式主义，用于使用高阶类别理论的结构发现因果模型和预测状态表示（PSR）模型（RL）。具体而言，我们使用Simplicial对象将序数字类别的符号函数（违反函数）模拟在两个设置中的结构发现。在条件独立性下等效的因果模型的片段（定义为因果角）以及预测状态表示中潜在测试的子序列 - 定义为预测角 - 都是简单对象的角，是亚集由于去除内部和面对特定顶点的面部而导致的。两种设置中的潜在结构发现都涉及相同的基本数学问题，即通过解决通勤图中的提升问题，并利用定义高阶对称性的弱同质性来查找简单对象的角的扩展。解决“内部”与“外部”喇叭问题的解决方案导致了高阶类别的各种概念，包括弱kan复合物和准游戏。我们根据通用因果模型或通用决策模型及其简单对象表示的类别之间的伴随函数来定义两个设置中结构发现的抽象问题。

We propose a layered hierarchical architecture called UCLA (Universal Causality Layered Architecture), which combines multiple levels of categorical abstraction for causal inference. At the top-most level, causal interventions are modeled combinatorially using a simplicial category of ordinal numbers. At the second layer, causal models are defined by a graph-type category. The non-random ``surgical" operations on causal structures, such as edge deletion, are captured using degeneracy and face operators from the simplicial layer above. The third categorical abstraction layer corresponds to the data layer in causal inference. The fourth homotopy layer comprises of additional structure imposed on the instance layer above, such as a topological space, which enables evaluating causal models on datasets. Functors map between every pair of layers in UCLA. Each functor between layers is characterized by a universal arrow, which defines an isomorphism between every pair of categorical layers. These universal arrows define universal elements and representations through the Yoneda Lemma, and in turn lead to a new category of elements based on a construction introduced by Grothendieck. Causal inference between each pair of layers is defined as a lifting problem, a commutative diagram whose objects are categories, and whose morphisms are functors that are characterized as different types of fibrations. We illustrate the UCLA architecture using a range of examples, including integer-valued multisets that represent a non-graphical framework for conditional independence, and causal models based on graphs and string diagrams using symmetric monoidal categories. We define causal effect in terms of the homotopy colimit of the nerve of the category of elements.

我们提出了普遍因果关系，这是一个基于类别理论的总体框架，该框架定义了基于因果推理的普遍特性，该属性独立于所使用的基本代表性形式主义。更正式的是，普遍的因果模型被定义为由对象和形态组成的类别，它们代表因果影响，以及进行干预措施（实验）和评估其结果（观察）的结构。函子在类别之间的映射和自然变换映射在相同两个类别的一对函子之间。我们框架中的抽象因果图是使用类别理论的通用构造构建的，包括抽象因果图的限制或共限制，或更普遍的KAN扩展。我们提出了普遍因果推断的两个基本结果。第一个结果称为普遍因果定理（UCT），与图的通用性有关，这些结果被视为函数映射对象和关系从抽象因果图的索引类别到一个实际因果模型，其节点由随机变量标记为实际因果模型和边缘代表功能或概率关系。 UCT指出，任何因果推论都可以以规范的方式表示为代表对象的抽象因果图的共同限制。 UCT取决于滑轮理论的基本结果。第二个结果是因果繁殖特性（CRP），指出对象x对另一个对象y的任何因果影响都可以表示为两个抽象因果图之间的自然转化。 CRP来自Yoneda引理，这是类别理论中最深层的结果之一。 CRP属性类似于复制元素希尔伯特空间中的繁殖属性，该元素是机器学习中内核方法的基础。

有条件的独立性已被广泛用于AI，因果推理，机器学习和统计数据。我们介绍分类生物，这是一种代数结构，用于表征条件独立性的普遍特性。分类物被定义为两个类别的混合体：一个编码由对象和箭头定义的预订的晶格结构；第二个二个参数化涉及定义​​条件独立性结构的三角体对象和形态，桥梁形态提供了二进制和三元结构之间的接口。我们使用公理集的三个众所周知的示例来说明分类生物：绘画，整数价值多组和分离型。 FOUNDOROIDS将一个分类型映射到另一个分类，从而保留了由共同域中所有三种类型的箭头定义的关系。我们描述了跨官能素的自然转化，该函数是跨常规物体和三角形对象的自然变化，以构建条件独立性的通用表示。我们使用分类器之间的辅助和单核，以抽象地表征条件独立性的图形和非图形表示的忠诚。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

也称为（非参数）结构方程模型（SEMS）的结构因果模型（SCM）被广泛用于因果建模目的。特别是，也称为递归SEM的无循环SCMS，形成了一个研究的SCM的良好的子类，概括了因果贝叶斯网络来允许潜在混淆。在本文中，我们调查了更多普通环境中的SCM，允许存在潜在混杂器和周期。我们展示在存在周期中，无循环SCM的许多方便的性质通常不会持有：它们并不总是有解决方案;它们并不总是诱导独特的观察，介入和反事实分布;边缘化并不总是存在，如果存在边缘模型并不总是尊重潜在的投影;他们并不总是满足马尔可夫财产;他们的图表并不总是与他们的因果语义一致。我们证明，对于SCM一般，这些属性中的每一个都在某些可加工条件下保持。我们的工作概括了SCM的结果，迄今为止仅针对某些特殊情况所知的周期。我们介绍了将循环循环设置扩展到循环设置的简单SCM的类，同时保留了许多方便的无环SCM的性能。用本文，我们的目标是为SCM提供统计因果建模的一般理论的基础。

D分隔标准通过某些条件独立性检测到关节概率分布与定向无环图的兼容性。在这项工作中，我们通过引入因果模型的分类定义，D分隔的分类概念，并证明了D-Exaration Criterion的抽象版本，从而在分类概率理论的背景下研究了这个问题。这种方法有两个主要好处。首先，分类D分隔是基于拓扑连接的非常直观的标准。其次，我们的结果适用于度量理论概率（具有标准的鲍尔空间），因此提供了与局部和全球马尔可夫属性等效性具有因果关系兼容性的简洁证明。

我们考虑代表代理模型的问题，该模型使用我们称之为CSTREES的阶段树模型的适当子类对离散数据编码离散数据的原因模型。我们表明，可以通过集合表达CSTREE编码的上下文专用信息。由于并非所有阶段树模型都承认此属性，CSTREES是一个子类，可提供特定于上下文的因果信息的透明，直观和紧凑的表示。我们证明了CSTREEES承认全球性马尔可夫属性，它产生了模型等价的图形标准，概括了Verma和珍珠的DAG模型。这些结果延伸到一般介入模型设置，使CSTREES第一族的上下文专用模型允许介入模型等价的特征。我们还为CSTREE的最大似然估计器提供了一种封闭式公式，并使用它来表示贝叶斯信息标准是该模型类的本地一致的分数函数。在模拟和实际数据上分析了CSTHEELE的性能，在那里我们看到与CSTREELE而不是一般上演树的建模不会导致预测精度的显着损失，同时提供了特定于上下文的因果信息的DAG表示。

一对自然变换相关的一对仿函数，并与一对类别相关。它显示了结构或概念，从每个类别到另一个类别的概念和备份。另一方是Galois连接，代表理论，光谱和广义量子的共同分母。当其类别互相确定时，我们呼吁核。我们表明，可以解决核协定的每一个齐全。这种决议在强烈的意义上是个体化的。附件的核核心显示其概念核心，正如伴随线性操作者的奇异值分解一样，显示其规范基础。垫法对仿函数的两种复合材料诱导了一个MONAD和COMONAD。 MONADS和COMONADS将封闭和内部运营商从拓扑或逻辑的方式推广，同时在一侧提供饱和的代数结构和组合物，以及对方的基础攻击动力学和分解。它们被解决回到诱导类别的代数和基地的同时。核的核心是诱导类别的代数和基地的核心。它为两者提供了新的演示，揭示了构建COMONAD的代数和MONAD的含义。在他的精英早期工作中，Ross Street描述了两类Monads和Cononads之间的互动。提升核心建设，我们表明Monads上的由此产生的街道Monad强烈宽容，并提取了Monad的核心。双重治疗实现了Cononads的相同。应用纯2类理论的显着片段对数据分析的急性实际问题导致了新的理论结果。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

加强学习（RL）通常需要将问题分解为子任务，并在这些任务上构成学习的行为。 RL中的组成性有可能创建与其他系统功能接口的模块化子任务单元。但是，生成的组成模型需要表征成分特征鲁棒性的最小假设。我们使用分类观点为RL的\ emph {组成理论}开发了一个框架。鉴于组成性的分类表示，我们研究了足够的条件，在这些条件下，逐行学习与总体学习相同的最佳政策。特别是，我们的方法引入了类别$ \ mathsf {MDP} $，其对象是马尔可夫决策过程（MDPS），用作任务模型。我们表明$ \ Mathsf {MDP} $接收天然的构图操作，例如某些纤维产品和求职。这些操作在RL中具有明确的组成现象，并统一了现有的结构，例如在复合MDP中刺破危险状态并结合了状态行动对称性。我们还通过引入Zig-Zag图的语言来建模顺序任务完成，该图是在$ \ Mathsf {MDP} $中立即应用曲调操作的立即应用。

动态系统中的完美适应性是一个或多个变量具有对外部刺激的持续变化的初始短暂响应的现象，但随着系统收敛到平衡，其原始值还原为原始值。借助因果有序算法，可以构建代表变量之间的因果关系和平衡分布中条件独立性之间的因果关系的图形表示。我们应用这些工具来制定足够的图形条件，以识别一组一阶微分方程的完美适应。此外，我们提供了足够的条件来测试实验平衡数据中完美适应的情况。我们将此方法应用于蛋白质信号通路的简单模型，并在模拟和使用现实世界中的蛋白质表达数据中测试其预测。我们证明，完美的适应会导致因果发现算法输出中边缘的误导方向。

我们介绍并研究了分布的邻居晶格分解，这是有条件独立性的紧凑，非图形表示，在没有忠实的图形表示的情况下是有效的。这个想法是将变量的一组社区视为子集晶格，并将此晶格分配到凸sublattices中，每个晶格都直接编码有条件的独立关系集合。我们表明，这种分解存在于任何组成型绘画中，并且可以在高维度中有效且一致地计算出来。 {特别是，这给了一种方法来编码满足组合公理的分布所隐含的所有独立关系，该分布严格比图形方法通常假定的忠实假设弱弱。}我们还讨论了各种特殊案例，例如图形模型和投影晶格，每个晶格都有直观的解释。一路上，我们看到了这个问题与邻域回归密切相关的，该回归已在图形模型和结构方程式的背景下进行了广泛的研究。

动态系统广泛用于科学和工程，以模拟由多个交互组件组成的系统。通常，它们可以在意义上给出因果解释，因为它们不仅模拟了系统组件状态随时间的演变，而且描述了他们的进化如何受到动态的系统的外部干预的影响。我们介绍了结构动态因果模型（SDCMS）的正式框架，其将系统组件的因果语言作为模型的一部分来阐述。 SDCMS表示动态系统作为随机过程的集合，并指定了管理每个组件的动态的基本因果机制，作为任意顺序的随机微分方程的结构化系统。 SDCMS扩展了结构因果模型（SCM）的多功能因果建模框架，也称为结构方程模型（SEM），通过显式允许时间依赖。 SDCM可以被认为是SCM的随机过程版本，其中SCM的静态随机变量由动态随机过程及其衍生物代替。我们为SDCMS理论提供基础，（i）正式定义SDCMS，其解决方案，随机干预和图形表示; （ii）对初始条件的解决方案的存在性和独特性; （iii）随着时间的推移倾向于无穷大，讨论SDCMS平衡的条件下降; （iv）将SDCM的性质与平衡SCM的性质相关联。这封对应关系使人们能够在研究大类随机动力系统的因果语义时利用SCM的大量统计工具和发现方法。该理论用来自不同科学域的几个众所周知的示例进行说明。

对表示形式的研究对于任何形式的交流都是至关重要的，我们有效利用它们的能力至关重要。本文介绍了一种新颖的理论 - 代表性系统理论 - 旨在从三个核心角度从三个核心角度进行抽象地编码各种表示：语法，综合及其属性。通过介绍建筑空间的概念，我们能够在一个统一的范式下编码这些核心组件中的每个核心组件。使用我们的代表性系统理论，有可能在结构上将一个系统中的表示形式转换为另一个系统的表示形式。我们结构转化技术的固有方面是根据表示的属性（例如它们的相对认知有效性或结构复杂性）的代表选择。提供一般结构转化技术的主要理论障碍是缺乏终止算法。代表系统理论允许在没有终止算法的情况下衍生部分变换。由于代表性系统理论提供了一种通用编码代表系统的通用方法，因此消除了进一步的关键障碍：需要设计特定于系统的结构转换算法，这是当不同系统采用不同的形式化方法时所必需的。因此，代表性系统理论是第一个提供统一方法来编码表示形式，通过结构转换支持表示形式的第一个通用框架，并具有广泛的实用应用。

最先进的语言模型从任何输入文本返回自然语言文本继续。这种生成相干文本扩展的能力意味着显着的复杂性，包括语法和语义的知识。在本文中，我们提出了一种数学框架，用于传递给定文本的扩展概率分布，例如由今天的大型语言模型学习的概率分布到包含语义信息的丰富类别。粗略地说，我们在文本上模拟概率分布作为富于单位间隔的类别。此类别的对象是语言中的表达，HOM对象是一个表达式是另一个表达式的概率。此类别是句法 - 它描述了与之相关的内容。然后，通过yoneda嵌入，我们将在此语法类别上传递给富集的单位间隔valued copreseaves。这类丰富的CopReseSeals是语义 - 我们找到了意义，逻辑运营，如蕴涵，以及更详细的语义概念的构建块。

本文介绍了在结构因果模型（SCM）的一般空间上定义的一系列拓扑结构，介绍了因果推断的拓扑学习 - 理论观点。作为框架的说明，我们证明了拓扑因果层次结构定理，表明只有在微薄的SCM集中就可以实现了无实体的假设因果推断。由于弱拓扑结构和统计上可验证假设的开放集之间的已知对应关系，我们的结果表明，原则上的归纳假设足以许可有效的因果推论是统计上无可核实的。类似于无午餐定理的统计推断，目前的结果阐明了因果推断的实质性假设的必然性。我们拓扑方法的额外好处是它很容易容纳具有无限变量的SCM。我们终于建议该框架对探索和评估替代因果归纳的积极项目有所帮助。

结构方程式模型（SEM）可能是用于建模因果关系的最常用的框架。然而，正如我们所示，天真地将该框架延伸到无限的多个变量，例如，要为模型动态系统而导入几个问题。我们介绍GSEMS（广义SEM），灵活的SEM直接指定干预结果，其中（1）微分方程的系统可以以自然和直观的方式表示，（2）某些自然情况，不能由SEM表示，可以轻松表示，（3）SEM中实际因果关系的定义基本上没有变化。

大多数现代的潜在变量和概率生成模型，例如变异自动编码器（VAE），即使有无限的数据也无法解决，这些模型也无法解决。此类模型的最新应用表明需要强烈可识别的模型，其中观察结果与唯一的潜在代码相对应。在维持灵活性的同时，取得了进展，最著名的是IVAE（Arxiv：1907.04809 [stat.ml]），该模型排除了许多（但不是全部 - 不确定）。我们构建了一个完整的理论框架，用于分析潜在变量模型的不确定性，并根据生成器函数的属性和潜在变量先验分布精确表征它们。为了说明，我们应用框架以更好地了解最近的可识别性结果的结构。然后，我们研究如何指定强烈识别的潜在变量模型，并构建两个这样的模型。一种是对ivae的直接修饰。另一个想法从最佳运输和导致新颖的模型和连接到最近的工作。

“蜘蛛”是特殊的Frobenius代数的绰号，来自数学，物理和计算机科学的基本结构。预组是语言学的基本结构。预群组和蜘蛛已在自然语言处理中一起使用：一个用于语法，另一个用于语义。事实证明，预组织本身可以被称为预订关系类别中的尖蜘蛛，在那里他们自然地引起了语法。另一种方式，预订蜘蛛代数通常可以表征为预群的工会。这延伸了关系蜘蛛代数的表征，作为组的脱节工会。出现了结果的组成框架表明了了解和应用机器学习和数据分析中的基础结构的新方法。