This work proposes a view of probability as a relative measure rather than an absolute one. To demonstrate this concept, we focus on finite outcome spaces and develop three fundamental axioms that establish requirements for relative probability functions. We then provide a library of examples of these functions and a system for composing them. Additionally, we discuss a relative version of Bayesian inference and its digital implementation. Finally, we prove the topological closure of the relative probability space, highlighting its ability to preserve information under limits.

积极推论的中央概念是，物理系统参数概率的内部状态在外部世界的状态下衡量。这些可以被视为代理人的信仰，以贝叶斯先前或后部表示。在这里，我们开始发展一般理论，这将告诉我们何时适合将国家解释为以这种方式代表信仰。我们专注于系统可以被解释为执行贝叶斯滤波或贝叶斯推断的情况。我们使用类别理论的技术提供对存在这种解释的方法的形式定义。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

We propose a layered hierarchical architecture called UCLA (Universal Causality Layered Architecture), which combines multiple levels of categorical abstraction for causal inference. At the top-most level, causal interventions are modeled combinatorially using a simplicial category of ordinal numbers. At the second layer, causal models are defined by a graph-type category. The non-random ``surgical" operations on causal structures, such as edge deletion, are captured using degeneracy and face operators from the simplicial layer above. The third categorical abstraction layer corresponds to the data layer in causal inference. The fourth homotopy layer comprises of additional structure imposed on the instance layer above, such as a topological space, which enables evaluating causal models on datasets. Functors map between every pair of layers in UCLA. Each functor between layers is characterized by a universal arrow, which defines an isomorphism between every pair of categorical layers. These universal arrows define universal elements and representations through the Yoneda Lemma, and in turn lead to a new category of elements based on a construction introduced by Grothendieck. Causal inference between each pair of layers is defined as a lifting problem, a commutative diagram whose objects are categories, and whose morphisms are functors that are characterized as different types of fibrations. We illustrate the UCLA architecture using a range of examples, including integer-valued multisets that represent a non-graphical framework for conditional independence, and causal models based on graphs and string diagrams using symmetric monoidal categories. We define causal effect in terms of the homotopy colimit of the nerve of the category of elements.

我们提出了普遍因果关系，这是一个基于类别理论的总体框架，该框架定义了基于因果推理的普遍特性，该属性独立于所使用的基本代表性形式主义。更正式的是，普遍的因果模型被定义为由对象和形态组成的类别，它们代表因果影响，以及进行干预措施（实验）和评估其结果（观察）的结构。函子在类别之间的映射和自然变换映射在相同两个类别的一对函子之间。我们框架中的抽象因果图是使用类别理论的通用构造构建的，包括抽象因果图的限制或共限制，或更普遍的KAN扩展。我们提出了普遍因果推断的两个基本结果。第一个结果称为普遍因果定理（UCT），与图的通用性有关，这些结果被视为函数映射对象和关系从抽象因果图的索引类别到一个实际因果模型，其节点由随机变量标记为实际因果模型和边缘代表功能或概率关系。 UCT指出，任何因果推论都可以以规范的方式表示为代表对象的抽象因果图的共同限制。 UCT取决于滑轮理论的基本结果。第二个结果是因果繁殖特性（CRP），指出对象x对另一个对象y的任何因果影响都可以表示为两个抽象因果图之间的自然转化。 CRP来自Yoneda引理，这是类别理论中最深层的结果之一。 CRP属性类似于复制元素希尔伯特空间中的繁殖属性，该元素是机器学习中内核方法的基础。

机器学习通常以经典的概率理论为前提，这意味着聚集是基于期望的。现在有多种原因可以激励人们将经典概率理论作为机器学习的数学基础。我们系统地检查了一系列强大而丰富的此类替代品，即各种称为光谱风险度量，Choquet积分或Lorentz规范。我们提出了一系列的表征结果，并演示了使这个光谱家族如此特别的原因。在此过程中，我们证明了所有连贯的风险度量的自然分层，从它们通过利用重新安排不变性Banach空间理论的结果来诱导的上层概率。我们凭经验证明了这种新的不确定性方法如何有助于解决实用的机器学习问题。

有条件的独立性已被广泛用于AI，因果推理，机器学习和统计数据。我们介绍分类生物，这是一种代数结构，用于表征条件独立性的普遍特性。分类物被定义为两个类别的混合体：一个编码由对象和箭头定义的预订的晶格结构；第二个二个参数化涉及定义​​条件独立性结构的三角体对象和形态，桥梁形态提供了二进制和三元结构之间的接口。我们使用公理集的三个众所周知的示例来说明分类生物：绘画，整数价值多组和分离型。 FOUNDOROIDS将一个分类型映射到另一个分类，从而保留了由共同域中所有三种类型的箭头定义的关系。我们描述了跨官能素的自然转化，该函数是跨常规物体和三角形对象的自然变化，以构建条件独立性的通用表示。我们使用分类器之间的辅助和单核，以抽象地表征条件独立性的图形和非图形表示的忠诚。

为什么普通语言模糊不清？我们认为，在合作扬声器没有完全了解世界的情况下，使用模糊表达可以在真实性（Gricean质量）和信息性之间提供最佳权衡（Gricean数量）。专注于诸如“周围”的近似的表达，这表明他们允许扬声器传达间接概率信息，这种信息可以使听众更准确地表示发言者可用的信息的信息。更精确的表达将是（之间的间隔“）。也就是说，模糊的句子可以比他们精确的对应物更有信息。我们对“周围”解释的概率处理，并提供了解释和使用“围绕” - 理性语音法（RSA）框架的典范。在我们的账户中，扬声器分配事项的形状不是由RSA框架标准用于模糊谓词的词汇不确定性模型的方式预测。我们利用我们的方法绘制关于模糊表达的语义灵活性的进一步教训及其对更精确的含义的不可缩短。

马尔可夫链是一类概率模型，在定量科学中已广泛应用。这部分是由于它们的多功能性，但是可以通过分析探测的便利性使其更加复杂。本教程为马尔可夫连锁店提供了深入的介绍，并探索了它们与图形和随机步行的联系。我们利用从线性代数和图形论的工具来描述不同类型的马尔可夫链的过渡矩阵，特别着眼于探索与这些矩阵相对应的特征值和特征向量的属性。提出的结果与机器学习和数据挖掘中的许多方法有关，我们在各个阶段描述了这些方法。本文并没有本身就成为一项新颖的学术研究，而是提出了一些已知结果的集合以及一些新概念。此外，该教程的重点是向读者提供直觉，而不是正式的理解，并且仅假定对线性代数和概率理论的概念的基本曝光。因此，来自各种学科的学生和研究人员可以访问它。

D分隔标准通过某些条件独立性检测到关节概率分布与定向无环图的兼容性。在这项工作中，我们通过引入因果模型的分类定义，D分隔的分类概念，并证明了D-Exaration Criterion的抽象版本，从而在分类概率理论的背景下研究了这个问题。这种方法有两个主要好处。首先，分类D分隔是基于拓扑连接的非常直观的标准。其次，我们的结果适用于度量理论概率（具有标准的鲍尔空间），因此提供了与局部和全球马尔可夫属性等效性具有因果关系兼容性的简洁证明。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

最先进的语言模型从任何输入文本返回自然语言文本继续。这种生成相干文本扩展的能力意味着显着的复杂性，包括语法和语义的知识。在本文中，我们提出了一种数学框架，用于传递给定文本的扩展概率分布，例如由今天的大型语言模型学习的概率分布到包含语义信息的丰富类别。粗略地说，我们在文本上模拟概率分布作为富于单位间隔的类别。此类别的对象是语言中的表达，HOM对象是一个表达式是另一个表达式的概率。此类别是句法 - 它描述了与之相关的内容。然后，通过yoneda嵌入，我们将在此语法类别上传递给富集的单位间隔valued copreseaves。这类丰富的CopReseSeals是语义 - 我们找到了意义，逻辑运营，如蕴涵，以及更详细的语义概念的构建块。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

我们基于电子价值开发假设检测理论，这是一种与p值不同的证据，允许毫不费力地结合来自常见场景中的几项研究的结果，其中决定执行新研究可能取决于以前的结果。基于E-V值的测试是安全的，即它们在此类可选的延续下保留I型错误保证。我们将增长速率最优性（GRO）定义为可选的连续上下文中的电力模拟，并且我们展示了如何构建GRO E-VARIABLE，以便为复合空缺和替代，强调模型的常规测试问题，并强调具有滋扰参数的模型。 GRO E值采取具有特殊前瞻的贝叶斯因子的形式。我们使用几种经典示例说明了该理论，包括一个样本安全T检验（其中右哈尔前方的右手前锋为GE）和2x2差价表（其中GRE之前与标准前沿不同）。分享渔业，奈曼和杰弗里斯·贝叶斯解释，电子价值观和相应的测试可以提供所有三所学校的追随者可接受的方法。

概率间隔是在不确定性下推理的有吸引力的工具。但是，与信仰功能不同，它们缺乏用于在实用工具理论框架中的决策中的自然概率转变。在本文中，我们提出了使用交叉路口概率，最初导致的变换，以便在不确定的几何方法的框架内进行信仰功能，作为最自然的这种转变。我们回顾其理由和定义，将其与其他概率间隔系统的其他候选者进行比较，讨论其作为一对简单的焦点的信任理由，并概述了概率间隔的可能决策框架，类似于可转移信仰功能的信仰模式。

我们将减少创建AI的任务，以找到适当的语言来描述世界的任务。这不是编程语言，因为编程语言仅描述可计算的函数，而我们的语言将描述更广泛的函数类别。该语言的另一个特异性将是描述将包含单独的模块。这将使我们能够自动寻找世界的描述，以便我们在模块后发现它。我们创建这种新语言的方法将是从一个特定的世界开始，并写出特定世界的描述。关键是，可以描述这个特定世界的语言将适合描述任何世界。

已经引入了生成流量网络（GFlowNETS）作为在主动学习背景下采样多样化候选的方法，具有培训目标，其使它们与给定奖励功能成比例地进行比例。在本文中，我们显示了许多额外的GFLOWN的理论特性。它们可用于估计联合概率分布和一些变量未指定的相应边际分布，并且特别感兴趣地，可以代表像集合和图形的复合对象的分布。 Gflownets摊销了通常通过计算昂贵的MCMC方法在单个但训练有素的生成通行证中进行的工作。它们还可用于估计分区功能和自由能量，给定子集（子图）的超标（超图）的条件概率，以及给定集合（图）的所有超标仪（超图）的边际分布。我们引入了熵和相互信息估计的变体，从帕累托前沿采样，与奖励最大化策略的连接，以及随机环境的扩展，连续动作和模块化能量功能。

对表示形式的研究对于任何形式的交流都是至关重要的，我们有效利用它们的能力至关重要。本文介绍了一种新颖的理论 - 代表性系统理论 - 旨在从三个核心角度从三个核心角度进行抽象地编码各种表示：语法，综合及其属性。通过介绍建筑空间的概念，我们能够在一个统一的范式下编码这些核心组件中的每个核心组件。使用我们的代表性系统理论，有可能在结构上将一个系统中的表示形式转换为另一个系统的表示形式。我们结构转化技术的固有方面是根据表示的属性（例如它们的相对认知有效性或结构复杂性）的代表选择。提供一般结构转化技术的主要理论障碍是缺乏终止算法。代表系统理论允许在没有终止算法的情况下衍生部分变换。由于代表性系统理论提供了一种通用编码代表系统的通用方法，因此消除了进一步的关键障碍：需要设计特定于系统的结构转换算法，这是当不同系统采用不同的形式化方法时所必需的。因此，代表性系统理论是第一个提供统一方法来编码表示形式，通过结构转换支持表示形式的第一个通用框架，并具有广泛的实用应用。

We first prove that Littlestone classes, those which model theorists call stable, characterize learnability in a new statistical model: a learner in this new setting outputs the same hypothesis, up to measure zero, with probability one, after a uniformly bounded number of revisions. This fills a certain gap in the literature, and sets the stage for an approximation theorem characterizing Littlestone classes in terms of a range of learning models, by analogy to definability of types in model theory. We then give a complete analogue of Shelah's celebrated (and perhaps a priori untranslatable) Unstable Formula Theorem in the learning setting, with algorithmic arguments taking the place of the infinite.

我们考虑代表代理模型的问题，该模型使用我们称之为CSTREES的阶段树模型的适当子类对离散数据编码离散数据的原因模型。我们表明，可以通过集合表达CSTREE编码的上下文专用信息。由于并非所有阶段树模型都承认此属性，CSTREES是一个子类，可提供特定于上下文的因果信息的透明，直观和紧凑的表示。我们证明了CSTREEES承认全球性马尔可夫属性，它产生了模型等价的图形标准，概括了Verma和珍珠的DAG模型。这些结果延伸到一般介入模型设置，使CSTREES第一族的上下文专用模型允许介入模型等价的特征。我们还为CSTREE的最大似然估计器提供了一种封闭式公式，并使用它来表示贝叶斯信息标准是该模型类的本地一致的分数函数。在模拟和实际数据上分析了CSTHEELE的性能，在那里我们看到与CSTREELE而不是一般上演树的建模不会导致预测精度的显着损失，同时提供了特定于上下文的因果信息的DAG表示。