通常通过将许多输入张量汇总为单个表示形式来处理神经网络中神经网络中的处理集或其他无序的，潜在的变化大小的输入。尽管从简单的汇总到多头关注已经存在许多聚合方法，但从理论和经验的角度来看，它们的代表力都受到限制。在搜索主要功能更强大的聚合策略时，我们提出了一种基于优化的方法，称为平衡聚​​集。我们表明，许多现有的聚合方法可以作为平衡聚集的特殊情况恢复，并且在某些重要情况下，它效率更高。在许多现有的架构和应用中，平衡聚集可以用作置换式替换。我们在三个不同的任务上验证其效率：中值估计，班级计数和分子性质预测。在所有实验中，平衡聚集的性能都比我们测试的其他聚合技术更高。

大多数设置深度学习的预测模型，使用Set-Scifariant操作，但它们实际上在MultiSet上运行。我们表明设置的函数不能代表多种功能上的某些功能，因此我们介绍了更适当的多种式概念概念。我们确定现有的深度设置预测网络（DSPN）可以是多机构的，而不会被设定的标准规模阻碍，并通过近似隐式差分改进它，允许更好地优化，同时更快和节省存储器。在一系列玩具实验中，我们表明，多机构的角度是有益的，在大多数情况下，我们对DSPN的变化达到了更好的结果。关于CLEVR对象性质预测，由于通过隐含分化所取得的益处，我们在最先进的评估指标中从8％到77％的最先进的槽注意力从8％提高到77％。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

神经网络是强大的功能估计器，导致其作为建模结构化数据的首选范式的地位。但是，与其他强调问题模块化的结构化表示不同，例如因子图 - 神经网络通常是从输入到输出的单片映射，并具有固定的计算顺序。这种限制阻止他们捕获模型变量之间的不同计算方向和相互作用。在本文中，我们结合了因子图和神经网络的代表性强度，提出了无向神经网络（UNNS）：一个灵活的框架，用于指定可以按任何顺序执行的计算。对于特定的选择，我们提出的模型集成并扩展了许多现有的架构：带有隐式层的馈电，经常性，自我发项网络，自动编码器和网络。我们在一系列任务上展示了无方向性的神经体系结构的有效性：受树约束依赖性解析，卷积图像分类和序列完成。通过改变计算顺序，我们展示了如何同时将单个UNN用作分类器和原型发生器，以及它如何填充输入序列的缺失部分，从而使它们成为进一步研究的有希望的领域。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

节点分类是关系学习中的一个核心任务，在两个密钥原理上具有当前最先进的静脉：（i）预测是节点邻居的排序的禁用 - 不变，并且（ii）预测是函数节点的$ r $ -hop邻域拓扑和属性，$ r \ geq 2 $。图形神经网络和集体推理方法（例如，信仰传播）依赖于最多$ r $-hops的信息。在这项工作中，我们研究了使用更强大的置换不变功能，有时可以避免对分类器的需求收集超过$ 1 $ -hop的信息。为此，我们介绍了一个新的架构，集旋转，概括了德·德斯集（Zaheer等，2017），一种简单而广泛使用的置换不变表示。设置捻线仪理论上提高了DeadSets的表现力，使其捕获更高阶依赖性，同时保持其简单性和低计算成本。经验上，我们看到了在若干任务中的Deplsets套装以及各种图形神经网络和集体推理方案的准确性改进，同时展示了其实现简单和计算效率。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

尽管近期图形神经网络（GNN）成功，但常见的架构通常表现出显着的限制，包括对过天飞机，远程依赖性和杂散边缘的敏感性，例如，由于图形异常或对抗性攻击。至少部分地解决了一个简单的透明框架内的这些问题，我们考虑了一个新的GNN层系列，旨在模仿和整合两个经典迭代算法的更新规则，即近端梯度下降和迭代重复最小二乘（IRLS）。前者定义了一个可扩展的基础GNN架构，其免受过性的，而仍然可以通过允许任意传播步骤捕获远程依赖性。相反，后者产生了一种新颖的注意机制，该注意机制被明确地锚定到底层端到端能量函数，以及相对于边缘不确定性的稳定性。当结合时，我们获得了一个非常简单而强大的模型，我们在包括标准化基准，与异常扰动的图形，具有异化的图形和涉及远程依赖性的图形的不同方案的极其简单而强大的模型。在此过程中，我们与已明确为各个任务设计的SOTA GNN方法进行比较，实现竞争或卓越的节点分类准确性。我们的代码可以在https://github.com/fftyyy/twirls获得。

我们研究了图形表示学习的量子电路，并提出了等级的量子图电路（EQGCS），作为一类参数化量子电路，具有强大的关系感应偏压，用于学习图形结构数据。概念上，EQGCS作为量子图表表示学习的统一框架，允许我们定义几个有趣的子类，其中包含了现有的提案。就代表性权力而言，我们证明了感兴趣的子类是界限图域中的函数的普遍近似器，并提供实验证据。我们对量子图机学习方法的理论透视开启了许多方向以进行进一步的工作，可能导致具有超出古典方法的能力的模型。

Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs. GNNs follow a neighborhood aggregation scheme, where the representation vector of a node is computed by recursively aggregating and transforming representation vectors of its neighboring nodes. Many GNN variants have been proposed and have achieved state-of-the-art results on both node and graph classification tasks. However, despite GNNs revolutionizing graph representation learning, there is limited understanding of their representational properties and limitations. Here, we present a theoretical framework for analyzing the expressive power of GNNs to capture different graph structures. Our results characterize the discriminative power of popular GNN variants, such as Graph Convolutional Networks and GraphSAGE, and show that they cannot learn to distinguish certain simple graph structures. We then develop a simple architecture that is provably the most expressive among the class of GNNs and is as powerful as the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theoretical findings on a number of graph classification benchmarks, and demonstrate that our model achieves state-of-the-art performance. * Equal contribution. † Work partially performed while in Tokyo, visiting Prof. Ken-ichi Kawarabayashi.

深度学习技术的普及更新了能够处理可以使用图形的复杂结构的神经结构的兴趣，由图形神经网络（GNN）的启发。我们将注意力集中在最初提出的Scarselli等人的GNN模型上。 2009，通过迭代扩散过程编码图表的节点的状态，即在学习阶段，必须在每个时期计算，直到达到学习状态转换功能的固定点，传播信息邻近节点。基于拉格朗日框架的约束优化，我们提出了一种在GNNS中学习的新方法。学习转换功能和节点状态是联合过程的结果，其中通过约束满足机制隐含地表达了状态会聚过程，避免了迭代巨头程序和网络展开。我们的计算结构在由权重组成的伴随空间中搜索拉格朗日的马鞍点，节点状态变量和拉格朗日乘法器。通过加速扩散过程的多个约束层进一步增强了该过程。实验分析表明，该方法在几个基准上的流行模型有利地比较。

Many machine learning tasks such as multiple instance learning, 3D shape recognition and fewshot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating increased performance compared to recent methods for set-structured data.

在学识表的迅速推进的地区，几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而，许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架，其中标量约束函数被实现为神经网络，并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型，包括模拟绳索，弹跳球，碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能，以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代，以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束，以满足培训数据中不存在的目标，这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置，并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。

消息传递神经网络（MPNNS）是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是，有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络（ESAN）的新颖框架来解决这个问题。我们的主要观察是，虽然两个图可能无法通过MPNN可区分，但它们通常包含可区分的子图。因此，我们建议将每个图形作为由某些预定义策略导出的一组子图，并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman（1-WL）测试的新型变体，并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明，我们的方法增加了MPNNS和更具表现力的架构的表现力。此外，我们提供了理论结果，描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本，我们提出了一种子图采样方案，可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明，我们的框架提高了流行的GNN架构的表现力和整体性能。

Low-dimensional embeddings of nodes in large graphs have proved extremely useful in a variety of prediction tasks, from content recommendation to identifying protein functions. However, most existing approaches require that all nodes in the graph are present during training of the embeddings; these previous approaches are inherently transductive and do not naturally generalize to unseen nodes. Here we present GraphSAGE, a general inductive framework that leverages node feature information (e.g., text attributes) to efficiently generate node embeddings for previously unseen data. Instead of training individual embeddings for each node, we learn a function that generates embeddings by sampling and aggregating features from a node's local neighborhood. Our algorithm outperforms strong baselines on three inductive node-classification benchmarks: we classify the category of unseen nodes in evolving information graphs based on citation and Reddit post data, and we show that our algorithm generalizes to completely unseen graphs using a multi-graph dataset of protein-protein interactions. * The two first authors made equal contributions. 1 While it is common to refer to these data structures as social or biological networks, we use the term graph to avoid ambiguity with neural network terminology.

最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。