We define the bicategory of Graph Convolutional Neural Networks $\mathbf{GCNN}_n$ for an arbitrary graph with $n$ nodes. We show it can be factored through the already existing categorical constructions for deep learning called $\mathbf{Para}$ and $\mathbf{Lens}$ with the base category set to the CoKleisli category of the product comonad. We prove that there exists an injective-on-objects, faithful 2-functor $\mathbf{GCNN}_n \to \mathbf{Para}(\mathsf{CoKl}(\mathbb{R}^{n \times n} \times -))$. We show that this construction allows us to treat the adjacency matrix of a GCNN as a global parameter instead of a a local, layer-wise one. This gives us a high-level categorical characterisation of a particular kind of inductive bias GCNNs possess. Lastly, we hypothesize about possible generalisations of GCNNs to general message-passing graph neural networks, connections to equivariant learning, and the (lack of) functoriality of activation functions.
translated by 谷歌翻译
光学和镜头是抽象的分类小工具，它们以双向数据流对系统进行建模。在本文中，我们观察到，光学的表示定义（通过从外部观察它们的行为来识别两个光学的定义 - 不适用于操作，面向软件的方法，不仅可以观察到光学，而且还要构建其内部设置。我们确定了笛卡尔光学和镜头的表示异构类别之间的操作差异：它们的不同组成规则和相应的时空权衡，将它们定位在光谱的两个相对端。通过这些动机，我们将现有的分类结构及其关系提升到了两类水平，表明相关的操作问题变得可见。我们定义2类别$ \ textbf {2-optic}（\ Mathcal {c}）$，其2细胞明确跟踪Optics的内部配置。我们显示1类别$ \ textbf {Optic}（\ Mathcal {c}）$通过本地列出此2类别的连接组件而产生。我们表明，将镜头嵌入到笛卡尔光学器件中的渗透器从函子削弱到oplax函子，其oplaxator现在检测到不同的组成规则。我们确定显示该函子在任何标准2类中构成邻接的一部分的困难。我们确定了一个猜想，即笛卡尔透镜和光学之间的众所周知的同构是由于其双分类对应物之间的LAX 2-插条而产生的。除了介绍新研究外，本文还旨在对该主题进行访问。
translated by 谷歌翻译
每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
图形神经网络（GNNS）是关于图形机器学习问题的深度学习架构。最近已经表明，GNN的富有效力可以精确地由组合Weisfeiler-Leman算法和有限可变计数逻辑来表征。该对应关系甚至导致了对应于更高维度的WL算法的新的高阶GNN。本文的目的是解释GNN的这些描述性特征。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.
translated by 谷歌翻译
Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.
translated by 谷歌翻译
子图GNNS是最近表达的图形神经网络（GNN）的一类，它们将图形图形为子图的集合。到目前为止，可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中，我们研究了子图方法的最突出形式，该方法采用了基于节点的子图选择策略，例如自我网络或节点标记和删除。我们解决了两个中心问题：（1）这些方法的表达能力的上限是什么？ （2）在这些子图集上传递层的模棱两可的消息家族是什么？我们回答这些问题的第一步是一种新颖的对称分析，该分析表明，建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后，该分析用于建立子图GNN和不变图网络（IGNS）之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力，然后提出一个通用子图方法的一般家族，以将所有先前基于节点的子图GNN泛化。最后，我们设计了一个新颖的子图Gnn称为Sun，从理论上讲，该子gnn统一了以前的体系结构，同时在多个基准上提供了更好的经验性能。
translated by 谷歌翻译
在这项工作中，我们开发了一种新的方法，名为局部排列的图形神经网络，它为建立在本地节点邻域，通过子图形的构建图形神经网络的框架，同时使用置换等值更新功能。消息传递神经网络的消息被认为是有效应功率的限制，并且最近过度的方法缺乏可扩展性或需要将结构信息被编码为特征空间。这里呈现的一般框架克服了通过通过受限制表示在子图上操作的与全局排列等值相关的可扩展性问题。此外，我们证明了通过使用限制的陈述没有丧失表情。此外，所提出的框架仅需要选择$ k $-hops，用于创建用于为每层使用的子图和选择的表示空间，这使得该方法在一系列基于图形的域中可以容易地适用。我们通过实验验证了一系列图形基准分类任务的方法，在所有基准上展示了最先进的结果或非常竞争力的结果。此外，我们证明使用本地更新函数的使用在全球方法上提供了GPU存储器的显着改进。
translated by 谷歌翻译
近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。
translated by 谷歌翻译
我们通过介绍Quiver神经网络的概念来开发一种统一的理论方法来分析各种神经网络连接体系结构。受箭量表示理论的启发，这种方法提供了一种紧凑的方法来捕获复杂的网络体系结构中精心设计的数据流。作为应用程序，我们使用参数空间对称性来证明一种无损模型压缩算法的颤动神经网络，其某些非点线激活称为重新激活。在径向重新恢复激活的情况下，我们证明，使用梯度下降的压缩模型等同于用预计梯度下降训练原始模型。
translated by 谷歌翻译
我们研究了图形表示学习的量子电路，并提出了等级的量子图电路（EQGCS），作为一类参数化量子电路，具有强大的关系感应偏压，用于学习图形结构数据。概念上，EQGCS作为量子图表表示学习的统一框架，允许我们定义几个有趣的子类，其中包含了现有的提案。就代表性权力而言，我们证明了感兴趣的子类是界限图域中的函数的普遍近似器，并提供实验证据。我们对量子图机学习方法的理论透视开启了许多方向以进行进一步的工作，可能导致具有超出古典方法的能力的模型。
translated by 谷歌翻译
诸如合并性和自动分化之类的属性使人工神经网络成为应用中普遍存在的工具。解决更具挑战性的问题导致神经网络逐渐变得更加复杂，因此很难从数学角度定义。我们提出了基于集成理论和参数跨度的概念的分类框架产生的线性层的一般定义。该定义概括并涵盖经典层（例如，密集，卷积），同时保证了层的衍生物对反向传播的存在和计算性。
translated by 谷歌翻译
我们研究了使用动力学系统的流量图相对于输入指数的某些置换的函数的近似值。这种不变的功能包括涉及图像任务的经过研究的翻译不变性功能，但还包含许多在科学和工程中找到新兴应用程序的置换不变函数。我们证明了通过受控的模棱两可的动态系统的通用近似的足够条件，可以将其视为具有对称约束的深度残留网络的一般抽象。这些结果不仅意味着用于对称函数近似的各种常用神经网络体系结构的通用近似，而且还指导设计具有近似值保证的架构的设计，以保证涉及新对称要求的应用。
translated by 谷歌翻译
对表示形式的研究对于任何形式的交流都是至关重要的，我们有效利用它们的能力至关重要。本文介绍了一种新颖的理论 - 代表性系统理论 - 旨在从三个核心角度从三个核心角度进行抽象地编码各种表示：语法，综合及其属性。通过介绍建筑空间的概念，我们能够在一个统一的范式下编码这些核心组件中的每个核心组件。使用我们的代表性系统理论，有可能在结构上将一个系统中的表示形式转换为另一个系统的表示形式。我们结构转化技术的固有方面是根据表示的属性（例如它们的相对认知有效性或结构复杂性）的代表选择。提供一般结构转化技术的主要理论障碍是缺乏终止算法。代表系统理论允许在没有终止算法的情况下衍生部分变换。由于代表性系统理论提供了一种通用编码代表系统的通用方法，因此消除了进一步的关键障碍：需要设计特定于系统的结构转换算法，这是当不同系统采用不同的形式化方法时所必需的。因此，代表性系统理论是第一个提供统一方法来编码表示形式，通过结构转换支持表示形式的第一个通用框架，并具有广泛的实用应用。
translated by 谷歌翻译
我们提供了在Relu神经网络层的动作下不变的概率分布系列的完整表征。在贝叶斯网络培训期间出现对这些家庭的需求或对训练有素的神经网络的分析，例如，在不确定量化（UQ）或解释的人工智能（XAI）的范围内。我们证明，除非以下三个限制中的至少一个限制，否则不可能存在不变的参数化分布族：首先，网络层具有一个宽度，这对于实际神经网络是不合理的。其次，家庭的概率措施具有有限的支持，基本上适用于采样分布。第三，家庭的参数化不是局部Lipschitz连续，这排除了所有计算可行的家庭。最后，我们表明这些限制是单独必要的。对于三种情况中的每一个，我们可以构建一个不变的家庭，究竟是一个限制之一，但不是另一个。
translated by 谷歌翻译
Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.
translated by 谷歌翻译
本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。
translated by 谷歌翻译
深度神经网络被广泛用于解决多个科学领域的复杂问题，例如语音识别，机器翻译，图像分析。用于研究其理论特性的策略主要依赖于欧几里得的几何形状，但是在过去的几年中，已经开发了基于Riemannian几何形状的新方法。在某些开放问题的动机中，我们研究了歧管之间的特定地图序列，该序列的最后一个歧管配备了riemannian指标。我们研究了序列的其他歧管和某些相关商的结构引起的槽撤回。特别是，我们表明，最终的riemannian度量的回调到该序列的任何歧管是一个退化的riemannian度量，诱导了伪模空间的结构，我们表明，该伪仪的kolmogorov商均产生了平滑的歧管，这是基础的，这是基础，这是基础的基础。特定垂直束的空间。我们研究了此类序列图的理论属性，最终我们着重于实施实际关注神经网络的流形之间的地图，并介绍了本文第一部分中引入的几何框架的某些应用。
translated by 谷歌翻译