光学和镜头是抽象的分类小工具,它们以双向数据流对系统进行建模。在本文中,我们观察到,光学的表示定义(通过从外部观察它们的行为来识别两个光学的定义 - 不适用于操作,面向软件的方法,不仅可以观察到光学,而且还要构建其内部设置。我们确定了笛卡尔光学和镜头的表示异构类别之间的操作差异:它们的不同组成规则和相应的时空权衡,将它们定位在光谱的两个相对端。通过这些动机,我们将现有的分类结构及其关系提升到了两类水平,表明相关的操作问题变得可见。我们定义2类别$ \ textbf {2-optic}(\ Mathcal {c})$,其2细胞明确跟踪Optics的内部配置。我们显示1类别$ \ textbf {Optic}(\ Mathcal {c})$通过本地列出此2类别的连接组件而产生。我们表明,将镜头嵌入到笛卡尔光学器件中的渗透器从函子削弱到oplax函子,其oplaxator现在检测到不同的组成规则。我们确定显示该函子在任何标准2类中构成邻接的一部分的困难。我们确定了一个猜想,即笛卡尔透镜和光学之间的众所周知的同构是由于其双分类对应物之间的LAX 2-插条而产生的。除了介绍新研究外,本文还旨在对该主题进行访问。
translated by 谷歌翻译
We define the bicategory of Graph Convolutional Neural Networks $\mathbf{GCNN}_n$ for an arbitrary graph with $n$ nodes. We show it can be factored through the already existing categorical constructions for deep learning called $\mathbf{Para}$ and $\mathbf{Lens}$ with the base category set to the CoKleisli category of the product comonad. We prove that there exists an injective-on-objects, faithful 2-functor $\mathbf{GCNN}_n \to \mathbf{Para}(\mathsf{CoKl}(\mathbb{R}^{n \times n} \times -))$. We show that this construction allows us to treat the adjacency matrix of a GCNN as a global parameter instead of a a local, layer-wise one. This gives us a high-level categorical characterisation of a particular kind of inductive bias GCNNs possess. Lastly, we hypothesize about possible generalisations of GCNNs to general message-passing graph neural networks, connections to equivariant learning, and the (lack of) functoriality of activation functions.
translated by 谷歌翻译
每个已知的人工深神经网络(DNN)都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构(例如CNNS或LSTMS)对应于Giraud的堆栈。这种不变性应该是对概括属性的原因,即从约束下的学习数据中推断出来。纤维代表语义前类别(Culioli,Thom),在该类别上定义了人工语言,内部逻辑,直觉主义者,古典或线性(Girard)。网络的语义功能是其能够用这种语言表达理论的能力,以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel(1952)发现的措施。令人惊讶的是,上述语义结构通过封闭模型类别的几何纤维对象进行了分类,然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论(Martin-Loef)组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
积极推论的中央概念是,物理系统参数概率的内部状态在外部世界的状态下衡量。这些可以被视为代理人的信仰,以贝叶斯先前或后部表示。在这里,我们开始发展一般理论,这将告诉我们何时适合将国家解释为以这种方式代表信仰。我们专注于系统可以被解释为执行贝叶斯滤波或贝叶斯推断的情况。我们使用类别理论的技术提供对存在这种解释的方法的形式定义。
translated by 谷歌翻译
天然有组织的系统适应内部和外部压力,这似乎一直在下降。想清楚地思考这个想法会激发我们的论文,因此在引言中广泛阐述了这个想法,哲学上有利的受众应该可以广泛地使用。在其余部分中,我们转向更加压缩的类别理论。我们定义了动态组织的单体双重类别$ \ mathbf {org} $,我们提供了$ \ mathbf {org} $的定义 - 富集或“动态”,分类结构 - 例如。动态类别,目录和单体类别 - 我们展示了它们如何实例化激励的哲学思想。我们给出了两个动态分类结构的示例:作为动态奥运会的预测市场和作为动态单体类别的深度学习。
translated by 谷歌翻译
由Spivak和Fong和Cruttwell等人的基础作品的启发,我们介绍了一个分类的框架来形式化贝叶斯推断和学习。在这里玩的两个关键想法是Cruttwell等人建造的贝叶斯反转和仿函数的概念。在这种情况下,我们发现贝叶斯学习是学习范例的最简单案例。然后,我们获得批量和顺序贝叶斯更新的分类配方,同时还验证了两个在特定示例中一致。
translated by 谷歌翻译
我们使用新的近似推理学说的概念来开发活性推断的组成理论。为了展示此类函子,我们首先使用多项式函数的语言的概括来提供必要类型的组成界面:与结构的多项式索引类别,我们构建了不同的单核生物,我们构建了差异性的差异类别和动态``层次推理系统'',其中近似推理学说具有语义。然后,我们描述``外部参数化''的统计游戏,并使用它们来构建两个在计算神经科学文献中发现的近似推理学说,我们称之为“ laplace”和``hebb-laplace''教义:前者是前者产生动态系统的,这些系统会产生动态系统,这些系统会产生动态系统,这些系统是制作动态系统的。优化高斯模型的后代;后者产生的系统还优化了确定其预测的参数(或“权重”)。
translated by 谷歌翻译
一对自然变换相关的一对仿函数,并与一对类别相关。它显示了结构或概念,从每个类别到另一个类别的概念和备份。另一方是Galois连接,代表理论,光谱和广义量子的共同分母。当其类别互相确定时,我们呼吁核。我们表明,可以解决核协定的每一个齐全。这种决议在强烈的意义上是个体化的。附件的核核心显示其概念核心,正如伴随线性操作者的奇异值分解一样,显示其规范基础。垫法对仿函数的两种复合材料诱导了一个MONAD和COMONAD。 MONADS和COMONADS将封闭和内部运营商从拓扑或逻辑的方式推广,同时在一侧提供饱和的代数结构和组合物,以及对方的基础攻击动力学和分解。它们被解决回到诱导类别的代数和基地的同时。核的核心是诱导类别的代数和基地的核心。它为两者提供了新的演示,揭示了构建COMONAD的代数和MONAD的含义。在他的精英早期工作中,Ross Street描述了两类Monads和Cononads之间的互动。提升核心建设,我们表明Monads上的由此产生的街道Monad强烈宽容,并提取了Monad的核心。双重治疗实现了Cononads的相同。应用纯2类理论的显着片段对数据分析的急性实际问题导致了新的理论结果。
translated by 谷歌翻译
最先进的语言模型从任何输入文本返回自然语言文本继续。这种生成相干文本扩展的能力意味着显着的复杂性,包括语法和语义的知识。在本文中,我们提出了一种数学框架,用于传递给定文本的扩展概率分布,例如由今天的大型语言模型学习的概率分布到包含语义信息的丰富类别。粗略地说,我们在文本上模拟概率分布作为富于单位间隔的类别。此类别的对象是语言中的表达,HOM对象是一个表达式是另一个表达式的概率。此类别是句法 - 它描述了与之相关的内容。然后,通过yoneda嵌入,我们将在此语法类别上传递给富集的单位间隔valued copreseaves。这类丰富的CopReseSeals是语义 - 我们找到了意义,逻辑运营,如蕴涵,以及更详细的语义概念的构建块。
translated by 谷歌翻译
在类别理论的许多应用中,推理“负面信息”很有用。例如,在计划问题中,提供最佳解决方案与给出可行的解决方案(“正面”信息)以及证明没有比给出的解决方案更好的事实(“负”信息)相同(“正面”信息) )。我们通过引入“偏态”的概念而不是形态学的积极信息来对负面信息进行建模。 “ Nategory”是一个具有“ NOM”集之外的类别,除了HOMSETS之外,并指定了偶然性和形态之间的兼容性规则。通过这种设置,我们可以选择在“连贯”的“子类别”中工作:描述世界上所有形态和脱模的世界的潜在实例化的子类别。我们在连贯的子表格中得出了千边形的组成规则;我们表明,偏态并不是自己构成的,而是需要将态性用作催化剂。我们有两个不同的规则,即类型$ \ text {morphism} + \ text {norphism} \ rightarrow \ text {norphism} $。然后,我们证明,从丰富的类别理论的角度来看,那些复杂的偏态推论实际上与形态的规则一样自然。每个小类别都超过$ \ text {p} = \ langle \ text {set},\ times,1 \ rangle $。我们表明,我们可以通过考虑对某个称为PN的单型类别的富集来得出偏源的机制(用于“正”/“负”)。总而言之,我们表明,使用逻辑在分类形式化之上考虑负面信息的替代方法是“对”负面信息,获得与正箭头相同水平的负箭头,并建议新的推理规则从丰富的类别理论的角度出生是相同物质的。
translated by 谷歌翻译
我们提出了五个基本的认知科学基本宗旨,我们在相关文献中认真地将其确定为该哲学的主要基本原则。然后,我们开发一个数学框架来讨论符合这些颁布宗旨的认知系统(人造和自然)。特别是我们注意,我们的数学建模并不将内容符号表示形式归因于代理商,并且代理商的大脑,身体和环境的建模方式使它们成为更大整体的不可分割的一部分。目的是为认知创造数学基础,该基础符合颁布主义。我们看到这样做的两个主要好处:(1)它使计算机科学家,AI研究人员,机器人主义者,认知科学家和心理学家更容易获得颁发的思想,并且(2)它为哲学家提供了一种可以使用的数学工具,可以使用它澄清他们的观念并帮助他们的辩论。我们的主要概念是一种感觉运动系统,这是过渡系统研究概念的特殊情况。我们还考虑了相关的概念,例如标记的过渡系统和确定性自动机。我们分析了一个名为“足够的概念”,并表明它是“从颁布主义的角度来看”中“认知数学数学”中基础概念的一个很好的候选者。我们通过证明对最小的完善(在某种意义上与生物体对环境的最佳调整相对应)的独特定理来证明其重要性,并证明充分性与已知的概念相对应,例如足够的历史信息空间。然后,我们开发其他相关概念,例如不足程度,普遍覆盖,等级制度,战略充足。最后,我们将其全部绑架到颁布的宗旨。
translated by 谷歌翻译
We propose a layered hierarchical architecture called UCLA (Universal Causality Layered Architecture), which combines multiple levels of categorical abstraction for causal inference. At the top-most level, causal interventions are modeled combinatorially using a simplicial category of ordinal numbers. At the second layer, causal models are defined by a graph-type category. The non-random ``surgical" operations on causal structures, such as edge deletion, are captured using degeneracy and face operators from the simplicial layer above. The third categorical abstraction layer corresponds to the data layer in causal inference. The fourth homotopy layer comprises of additional structure imposed on the instance layer above, such as a topological space, which enables evaluating causal models on datasets. Functors map between every pair of layers in UCLA. Each functor between layers is characterized by a universal arrow, which defines an isomorphism between every pair of categorical layers. These universal arrows define universal elements and representations through the Yoneda Lemma, and in turn lead to a new category of elements based on a construction introduced by Grothendieck. Causal inference between each pair of layers is defined as a lifting problem, a commutative diagram whose objects are categories, and whose morphisms are functors that are characterized as different types of fibrations. We illustrate the UCLA architecture using a range of examples, including integer-valued multisets that represent a non-graphical framework for conditional independence, and causal models based on graphs and string diagrams using symmetric monoidal categories. We define causal effect in terms of the homotopy colimit of the nerve of the category of elements.
translated by 谷歌翻译
对表示形式的研究对于任何形式的交流都是至关重要的,我们有效利用它们的能力至关重要。本文介绍了一种新颖的理论 - 代表性系统理论 - 旨在从三个核心角度从三个核心角度进行抽象地编码各种表示:语法,综合及其属性。通过介绍建筑空间的概念,我们能够在一个统一的范式下编码这些核心组件中的每个核心组件。使用我们的代表性系统理论,有可能在结构上将一个系统中的表示形式转换为另一个系统的表示形式。我们结构转化技术的固有方面是根据表示的属性(例如它们的相对认知有效性或结构复杂性)的代表选择。提供一般结构转化技术的主要理论障碍是缺乏终止算法。代表系统理论允许在没有终止算法的情况下衍生部分变换。由于代表性系统理论提供了一种通用编码代表系统的通用方法,因此消除了进一步的关键障碍:需要设计特定于系统的结构转换算法,这是当不同系统采用不同的形式化方法时所必需的。因此,代表性系统理论是第一个提供统一方法来编码表示形式,通过结构转换支持表示形式的第一个通用框架,并具有广泛的实用应用。
translated by 谷歌翻译
D分隔标准通过某些条件独立性检测到关节概率分布与定向无环图的兼容性。在这项工作中,我们通过引入因果模型的分类定义,D分隔的分类概念,并证明了D-Exaration Criterion的抽象版本,从而在分类概率理论的背景下研究了这个问题。这种方法有两个主要好处。首先,分类D分隔是基于拓扑连接的非常直观的标准。其次,我们的结果适用于度量理论概率(具有标准的鲍尔空间),因此提供了与局部和全球马尔可夫属性等效性具有因果关系兼容性的简洁证明。
translated by 谷歌翻译
有条件的独立性已被广泛用于AI,因果推理,机器学习和统计数据。我们介绍分类生物,这是一种代数结构,用于表征条件独立性的普遍特性。分类物被定义为两个类别的混合体:一个编码由对象和箭头定义的预订的晶格结构;第二个二个参数化涉及定义​​条件独立性结构的三角体对象和形态,桥梁形态提供了二进制和三元结构之间的接口。我们使用公理集的三个众所周知的示例来说明分类生物:绘画,整数价值多组和分离型。 FOUNDOROIDS将一个分类型映射到另一个分类,从而保留了由共同域中所有三种类型的箭头定义的关系。我们描述了跨官能素的自然转化,该函数是跨常规物体和三角形对象的自然变化,以构建条件独立性的通用表示。我们使用分类器之间的辅助和单核,以抽象地表征条件独立性的图形和非图形表示的忠诚。
translated by 谷歌翻译
我们提出了普遍因果关系,这是一个基于类别理论的总体框架,该框架定义了基于因果推理的普遍特性,该属性独立于所使用的基本代表性形式主义。更正式的是,普遍的因果模型被定义为由对象和形态组成的类别,它们代表因果影响,以及进行干预措施(实验)和评估其结果(观察)的结构。函子在类别之间的映射和自然变换映射在相同两个类别的一对函子之间。我们框架中的抽象因果图是使用类别理论的通用构造构建的,包括抽象因果图的限制或共限制,或更普遍的KAN扩展。我们提出了普遍因果推断的两个基本结果。第一个结果称为普遍因果定理(UCT),与图的通用性有关,这些结果被视为函数映射对象和关系从抽象因果图的索引类别到一个实际因果模型,其节点由随机变量标记为实际因果模型和边缘代表功能或概率关系。 UCT指出,任何因果推论都可以以规范的方式表示为代表对象的抽象因果图的共同限制。 UCT取决于滑轮理论的基本结果。第二个结果是因果繁殖特性(CRP),指出对象x对另一个对象y的任何因果影响都可以表示为两个抽象因果图之间的自然转化。 CRP来自Yoneda引理,这是类别理论中最深层的结果之一。 CRP属性类似于复制元素希尔伯特空间中的繁殖属性,该元素是机器学习中内核方法的基础。
translated by 谷歌翻译
加强学习(RL)通常需要将问题分解为子任务,并在这些任务上构成学习的行为。 RL中的组成性有可能创建与其他系统功能接口的模块化子任务单元。但是,生成的组成模型需要表征成分特征鲁棒性的最小假设。我们使用分类观点为RL的\ emph {组成理论}开发了一个框架。鉴于组成性的分类表示,我们研究了足够的条件,在这些条件下,逐行学习与总体学习相同的最佳政策。特别是,我们的方法引入了类别$ \ mathsf {MDP} $,其对象是马尔可夫决策过程(MDPS),用作任务模型。我们表明$ \ Mathsf {MDP} $接收天然的构图操作,例如某些纤维产品和求职。这些操作在RL中具有明确的组成现象,并统一了现有的结构,例如在复合MDP中刺破危险状态并结合了状态行动对称性。我们还通过引入Zig-Zag图的语言来建模顺序任务完成,该图是在$ \ Mathsf {MDP} $中立即应用曲调操作的立即应用。
translated by 谷歌翻译
在结构证明理论中,设计和研究大量微积分使得很难单独和作为整个系统的一部分获得有关每个规则的直觉。我们介绍了两种新颖的工具,以使用图理论和自动机理论的方法来帮助计算。第一个工具是证明树自动机(PTA):树自动机哪种语言是微积分的派生语言。第二个工具是称为证明树图(PTG)的演算的图形表示。在此定向超图中,顶点是术语(例如序列),而Hyperarcs是规则。我们探索PTA和PTG的属性以及它们如何相互关系。我们表明,我们可以将PTA分解为从微积分到传统树自动机的部分地图。我们在改进系统理论中制定了这一说法。最后,我们将框架与证明网和弦图进行比较。
translated by 谷歌翻译
“蜘蛛”是特殊的Frobenius代数的绰号,来自数学,物理和计算机科学的基本结构。预组是语言学的基本结构。预群组和蜘蛛已在自然语言处理中一起使用:一个用于语法,另一个用于语义。事实证明,预组织本身可以被称为预订关系类别中的尖蜘蛛,在那里他们自然地引起了语法。另一种方式,预订蜘蛛代数通常可以表征为预群的工会。这延伸了关系蜘蛛代数的表征,作为组的脱节工会。出现了结果的组成框架表明了了解和应用机器学习和数据分析中的基础结构的新方法。
translated by 谷歌翻译
我们回答以下问题,哪些结合性查询以多种方式上的许多正和负面示例以及如何有效地构建此类示例的特征。结果,我们为一类连接的查询获得了一种新的有效的精确学习算法。我们的贡献的核心是两种新的多项式时间算法,用于在有限结构的同态晶格中构建前沿。我们还讨论了模式映射和描述逻辑概念的独特特征性和可学习性的影响。
translated by 谷歌翻译