一对自然变换相关的一对仿函数,并与一对类别相关。它显示了结构或概念,从每个类别到另一个类别的概念和备份。另一方是Galois连接,代表理论,光谱和广义量子的共同分母。当其类别互相确定时,我们呼吁核。我们表明,可以解决核协定的每一个齐全。这种决议在强烈的意义上是个体化的。附件的核核心显示其概念核心,正如伴随线性操作者的奇异值分解一样,显示其规范基础。垫法对仿函数的两种复合材料诱导了一个MONAD和COMONAD。 MONADS和COMONADS将封闭和内部运营商从拓扑或逻辑的方式推广,同时在一侧提供饱和的代数结构和组合物,以及对方的基础攻击动力学和分解。它们被解决回到诱导类别的代数和基地的同时。核的核心是诱导类别的代数和基地的核心。它为两者提供了新的演示,揭示了构建COMONAD的代数和MONAD的含义。在他的精英早期工作中,Ross Street描述了两类Monads和Cononads之间的互动。提升核心建设,我们表明Monads上的由此产生的街道Monad强烈宽容,并提取了Monad的核心。双重治疗实现了Cononads的相同。应用纯2类理论的显着片段对数据分析的急性实际问题导致了新的理论结果。
translated by 谷歌翻译
“蜘蛛”是特殊的Frobenius代数的绰号,来自数学,物理和计算机科学的基本结构。预组是语言学的基本结构。预群组和蜘蛛已在自然语言处理中一起使用:一个用于语法,另一个用于语义。事实证明,预组织本身可以被称为预订关系类别中的尖蜘蛛,在那里他们自然地引起了语法。另一种方式,预订蜘蛛代数通常可以表征为预群的工会。这延伸了关系蜘蛛代数的表征,作为组的脱节工会。出现了结果的组成框架表明了了解和应用机器学习和数据分析中的基础结构的新方法。
translated by 谷歌翻译
每个已知的人工深神经网络(DNN)都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构(例如CNNS或LSTMS)对应于Giraud的堆栈。这种不变性应该是对概括属性的原因,即从约束下的学习数据中推断出来。纤维代表语义前类别(Culioli,Thom),在该类别上定义了人工语言,内部逻辑,直觉主义者,古典或线性(Girard)。网络的语义功能是其能够用这种语言表达理论的能力,以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel(1952)发现的措施。令人惊讶的是,上述语义结构通过封闭模型类别的几何纤维对象进行了分类,然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论(Martin-Loef)组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
We propose a layered hierarchical architecture called UCLA (Universal Causality Layered Architecture), which combines multiple levels of categorical abstraction for causal inference. At the top-most level, causal interventions are modeled combinatorially using a simplicial category of ordinal numbers. At the second layer, causal models are defined by a graph-type category. The non-random ``surgical" operations on causal structures, such as edge deletion, are captured using degeneracy and face operators from the simplicial layer above. The third categorical abstraction layer corresponds to the data layer in causal inference. The fourth homotopy layer comprises of additional structure imposed on the instance layer above, such as a topological space, which enables evaluating causal models on datasets. Functors map between every pair of layers in UCLA. Each functor between layers is characterized by a universal arrow, which defines an isomorphism between every pair of categorical layers. These universal arrows define universal elements and representations through the Yoneda Lemma, and in turn lead to a new category of elements based on a construction introduced by Grothendieck. Causal inference between each pair of layers is defined as a lifting problem, a commutative diagram whose objects are categories, and whose morphisms are functors that are characterized as different types of fibrations. We illustrate the UCLA architecture using a range of examples, including integer-valued multisets that represent a non-graphical framework for conditional independence, and causal models based on graphs and string diagrams using symmetric monoidal categories. We define causal effect in terms of the homotopy colimit of the nerve of the category of elements.
translated by 谷歌翻译
有条件的独立性已被广泛用于AI,因果推理,机器学习和统计数据。我们介绍分类生物,这是一种代数结构,用于表征条件独立性的普遍特性。分类物被定义为两个类别的混合体:一个编码由对象和箭头定义的预订的晶格结构;第二个二个参数化涉及定义​​条件独立性结构的三角体对象和形态,桥梁形态提供了二进制和三元结构之间的接口。我们使用公理集的三个众所周知的示例来说明分类生物:绘画,整数价值多组和分离型。 FOUNDOROIDS将一个分类型映射到另一个分类,从而保留了由共同域中所有三种类型的箭头定义的关系。我们描述了跨官能素的自然转化,该函数是跨常规物体和三角形对象的自然变化,以构建条件独立性的通用表示。我们使用分类器之间的辅助和单核,以抽象地表征条件独立性的图形和非图形表示的忠诚。
translated by 谷歌翻译
最先进的语言模型从任何输入文本返回自然语言文本继续。这种生成相干文本扩展的能力意味着显着的复杂性,包括语法和语义的知识。在本文中,我们提出了一种数学框架,用于传递给定文本的扩展概率分布,例如由今天的大型语言模型学习的概率分布到包含语义信息的丰富类别。粗略地说,我们在文本上模拟概率分布作为富于单位间隔的类别。此类别的对象是语言中的表达,HOM对象是一个表达式是另一个表达式的概率。此类别是句法 - 它描述了与之相关的内容。然后,通过yoneda嵌入,我们将在此语法类别上传递给富集的单位间隔valued copreseaves。这类丰富的CopReseSeals是语义 - 我们找到了意义,逻辑运营,如蕴涵,以及更详细的语义概念的构建块。
translated by 谷歌翻译
对表示形式的研究对于任何形式的交流都是至关重要的,我们有效利用它们的能力至关重要。本文介绍了一种新颖的理论 - 代表性系统理论 - 旨在从三个核心角度从三个核心角度进行抽象地编码各种表示:语法,综合及其属性。通过介绍建筑空间的概念,我们能够在一个统一的范式下编码这些核心组件中的每个核心组件。使用我们的代表性系统理论,有可能在结构上将一个系统中的表示形式转换为另一个系统的表示形式。我们结构转化技术的固有方面是根据表示的属性(例如它们的相对认知有效性或结构复杂性)的代表选择。提供一般结构转化技术的主要理论障碍是缺乏终止算法。代表系统理论允许在没有终止算法的情况下衍生部分变换。由于代表性系统理论提供了一种通用编码代表系统的通用方法,因此消除了进一步的关键障碍:需要设计特定于系统的结构转换算法,这是当不同系统采用不同的形式化方法时所必需的。因此,代表性系统理论是第一个提供统一方法来编码表示形式,通过结构转换支持表示形式的第一个通用框架,并具有广泛的实用应用。
translated by 谷歌翻译
十年自2010年以来,人工智能成功一直处于计算机科学和技术的最前沿,传染媒介空间模型已经巩固了人工智能最前沿的位置。与此同时,量子计算机已经变得更加强大,主要进步的公告经常在新闻中。这些区域的基础的数学技术比有时意识到更多的共同之处。传染媒介空间在20世纪30年代的量子力学的公理心脏上采取了位置,这一采用是从矢量空间的线性几何形状推导逻辑和概率的关键动机。粒子之间的量子相互作用是使用张量产品进行建模的,其也用于表达人工神经网络中的物体和操作。本文介绍了这些常见的数学区域中的一些,包括如何在人工智能(AI)中使用的示例,特别是在自动推理和自然语言处理(NLP)中。讨论的技术包括矢量空间,标量产品,子空间和含义,正交投影和否定,双向矩阵,密度矩阵,正算子和张量产品。应用领域包括信息检索,分类和含义,建模字传感和歧义,知识库的推断和语义构成。其中一些方法可能会在量子硬件上实现。该实施中的许多实际步骤都处于早期阶段,其中一些已经实现了。解释一些常见的数学工具可以帮助AI和量子计算中的研究人员进一步利用这些重叠,识别和沿途探索新方向。
translated by 谷歌翻译
我们提出了普遍因果关系,这是一个基于类别理论的总体框架,该框架定义了基于因果推理的普遍特性,该属性独立于所使用的基本代表性形式主义。更正式的是,普遍的因果模型被定义为由对象和形态组成的类别,它们代表因果影响,以及进行干预措施(实验)和评估其结果(观察)的结构。函子在类别之间的映射和自然变换映射在相同两个类别的一对函子之间。我们框架中的抽象因果图是使用类别理论的通用构造构建的,包括抽象因果图的限制或共限制,或更普遍的KAN扩展。我们提出了普遍因果推断的两个基本结果。第一个结果称为普遍因果定理(UCT),与图的通用性有关,这些结果被视为函数映射对象和关系从抽象因果图的索引类别到一个实际因果模型,其节点由随机变量标记为实际因果模型和边缘代表功能或概率关系。 UCT指出,任何因果推论都可以以规范的方式表示为代表对象的抽象因果图的共同限制。 UCT取决于滑轮理论的基本结果。第二个结果是因果繁殖特性(CRP),指出对象x对另一个对象y的任何因果影响都可以表示为两个抽象因果图之间的自然转化。 CRP来自Yoneda引理,这是类别理论中最深层的结果之一。 CRP属性类似于复制元素希尔伯特空间中的繁殖属性,该元素是机器学习中内核方法的基础。
translated by 谷歌翻译
D分隔标准通过某些条件独立性检测到关节概率分布与定向无环图的兼容性。在这项工作中,我们通过引入因果模型的分类定义,D分隔的分类概念,并证明了D-Exaration Criterion的抽象版本,从而在分类概率理论的背景下研究了这个问题。这种方法有两个主要好处。首先,分类D分隔是基于拓扑连接的非常直观的标准。其次,我们的结果适用于度量理论概率(具有标准的鲍尔空间),因此提供了与局部和全球马尔可夫属性等效性具有因果关系兼容性的简洁证明。
translated by 谷歌翻译
Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.
translated by 谷歌翻译
我们提出了一种统一的形式主义,用于使用高阶类别理论的结构发现因果模型和预测状态表示(PSR)模型(RL)。具体而言,我们使用Simplicial对象将序数字类别的符号函数(违反函数)模拟在两个设置中的结构发现。在条件独立性下等效的因果模型的片段(定义为因果角)以及预测状态表示中潜在测试的子序列 - 定义为预测角 - 都是简单对象的角,是亚集由于去除内部和面对特定顶点的面部而导致的。两种设置中的潜在结构发现都涉及相同的基本数学问题,即通过解决通勤图中的提升问题,并利用定义高阶对称性的弱同质性来查找简单对象的角的扩展。解决“内部”与“外部”喇叭问题的解决方案导致了高阶类别的各种概念,包括弱kan复合物和准游戏。我们根据通用因果模型或通用决策模型及其简单对象表示的类别之间的伴随函数来定义两个设置中结构发现的抽象问题。
translated by 谷歌翻译
也称为(非参数)结构方程模型(SEMS)的结构因果模型(SCM)被广泛用于因果建模目的。特别是,也称为递归SEM的无循环SCMS,形成了一个研究的SCM的良好的子类,概括了因果贝叶斯网络来允许潜在混淆。在本文中,我们调查了更多普通环境中的SCM,允许存在潜在混杂器和周期。我们展示在存在周期中,无循环SCM的许多方便的性质通常不会持有:它们并不总是有解决方案;它们并不总是诱导独特的观察,介入和反事实分布;边缘化并不总是存在,如果存在边缘模型并不总是尊重潜在的投影;他们并不总是满足马尔可夫财产;他们的图表并不总是与他们的因果语义一致。我们证明,对于SCM一般,这些属性中的每一个都在某些可加工条件下保持。我们的工作概括了SCM的结果,迄今为止仅针对某些特殊情况所知的周期。我们介绍了将循环循环设置扩展到循环设置的简单SCM的类,同时保留了许多方便的无环SCM的性能。用本文,我们的目标是为SCM提供统计因果建模的一般理论的基础。
translated by 谷歌翻译
我们引入了与针孔摄像机中图像形成相关的代数几何对象的地图集。地图集的节点是代数品种或它们的消失理想,分别通过投影,消除,限制或专业化相互关联。该地图集为研究3D计算机视觉中的问题提供了一个统一的框架。我们通过完全表征来自三角剖分问题的部分地图集来启动地图集的研究。我们以几个空旷的问题和地图集的概括结束。
translated by 谷歌翻译
大多数现代的潜在变量和概率生成模型,例如变异自动编码器(VAE),即使有无限的数据也无法解决,这些模型也无法解决。此类模型的最新应用表明需要强烈可识别的模型,其中观察结果与唯一的潜在代码相对应。在维持灵活性的同时,取得了进展,最著名的是IVAE(Arxiv:1907.04809 [stat.ml]),该模型排除了许多(但不是全部 - 不确定)。我们构建了一个完整的理论框架,用于分析潜在变量模型的不确定性,并根据生成器函数的属性和潜在变量先验分布精确表征它们。为了说明,我们应用框架以更好地了解最近的可识别性结果的结构。然后,我们研究如何指定强烈识别的潜在变量模型,并构建两个这样的模型。一种是对ivae的直接修饰。另一个想法从最佳运输和导致新颖的模型和连接到最近的工作。
translated by 谷歌翻译
光学和镜头是抽象的分类小工具,它们以双向数据流对系统进行建模。在本文中,我们观察到,光学的表示定义(通过从外部观察它们的行为来识别两个光学的定义 - 不适用于操作,面向软件的方法,不仅可以观察到光学,而且还要构建其内部设置。我们确定了笛卡尔光学和镜头的表示异构类别之间的操作差异:它们的不同组成规则和相应的时空权衡,将它们定位在光谱的两个相对端。通过这些动机,我们将现有的分类结构及其关系提升到了两类水平,表明相关的操作问题变得可见。我们定义2类别$ \ textbf {2-optic}(\ Mathcal {c})$,其2细胞明确跟踪Optics的内部配置。我们显示1类别$ \ textbf {Optic}(\ Mathcal {c})$通过本地列出此2类别的连接组件而产生。我们表明,将镜头嵌入到笛卡尔光学器件中的渗透器从函子削弱到oplax函子,其oplaxator现在检测到不同的组成规则。我们确定显示该函子在任何标准2类中构成邻接的一部分的困难。我们确定了一个猜想,即笛卡尔透镜和光学之间的众所周知的同构是由于其双分类对应物之间的LAX 2-插条而产生的。除了介绍新研究外,本文还旨在对该主题进行访问。
translated by 谷歌翻译
这项工作起源于观察到,今天的最先进的统计语言模型不仅符合他们的性能,而且非常重要 - 因为它们完全从非结构化文本数据中的相关性建立。后一种观察会提示一个基本的问题在于本文的核心:非结构化文本数据中存在的数学结构是什么?我们提出了丰富的类别理论作为自然答案。我们展示了来自有限字母表的符号序列,例如在文本语料库中发现的那些,形成富含概率的类别。然后,我们解决了第二个基本问题:如何以保留分类结构的方式存储和建模此信息?我们通过从我们丰富的文本类别构建一个归力来回答这一点,以对特定的丰富的密度运营商类别。后者利用了积极的Semidefinite运算符上的Loewner订单,这可以进一步解释为一个有关的玩具例子。
translated by 谷歌翻译
在概念学习,数据库查询的反向工程,生成参考表达式以及知识图中的实体比较之类的应用中,找到以标记数据项形式分开的逻辑公式,该公式分开以标记数据项形式给出的正面和负面示例。在本文中,我们研究了存在本体论的数据的分离公式的存在。对于本体语言和分离语言,我们都专注于一阶逻辑及其以下重要片段:描述逻辑$ \ Mathcal {alci} $,受保护的片段,两变量的片段和受保护的否定片段。为了分离,我们还考虑(工会)连接性查询。我们考虑了几种可分离性,这些可分离性在负面示例的治疗中有所不同,以及他们是否承认使用其他辅助符号来实现分离。我们的主要结果是(所有变体)可分离性,不同语言的分离能力的比较以及确定可分离性的计算复杂性的研究。
translated by 谷歌翻译
矢量值随机变量的矩序列可以表征其定律。我们通过使用所谓的稳健签名矩来研究路径值随机变量(即随机过程)的类似问题。这使我们能够为随机过程定律得出最大平均差异类型的度量,并研究其在随机过程定律方面引起的拓扑。可以使用签名内核对该度量进行内核,从而有效地计算它。作为应用程序,我们为随机过程定律提供了非参数的两样本假设检验。
translated by 谷歌翻译
积极推论的中央概念是,物理系统参数概率的内部状态在外部世界的状态下衡量。这些可以被视为代理人的信仰,以贝叶斯先前或后部表示。在这里,我们开始发展一般理论,这将告诉我们何时适合将国家解释为以这种方式代表信仰。我们专注于系统可以被解释为执行贝叶斯滤波或贝叶斯推断的情况。我们使用类别理论的技术提供对存在这种解释的方法的形式定义。
translated by 谷歌翻译