在水分配系统（WDS）的每个节点中始终知道压力有助于安全有效的操作。然而，由于现实生活中的仪器数量有限的仪器而无法收集完整的测量数据。通过观察仅在纸张中介绍了通过观察到有限数量的节点来重建所有节点压力的数据驱动的方法。重建方法基于K局部化光谱滤波器，在水网络上的图形卷积之外。考虑到应用中的特点，讨论了层数，层深度和Chebyshev-Polymomial的数量的影响。另外，示出了加权方法，其中可以通过邻接矩阵将关于摩擦损失的信息嵌入光谱图滤波器。与节点的总数相比，所提出的模型的性能呈现在观察到的不同数量的节点上。加权连接在二进制连接上证明没有益处，但是所提出的模型将节点压力与最多5％相对误差相对于5％的观察比以5％的相对误差重建。通过遵循论文讨论的考虑，通过浅图神经网络实现了结果。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

基于历史数据的生产预测为开发碳氢化合物资源提供了基本价值。经典的历史匹配工作流程通常在计算上是强度和几何相关的。分析数据驱动的模型，例如衰落曲线分析（DCA）和电容抗性模型（CRM）提供了无网溶液，具有相对简单的模型，能够整合一定程度的物理约束。但是，分析解决方案可能会忽略地下几何形状，仅适用于特定的流动状态，否则可能会违反物理条件，从而导致模型预测准确性。基于机器学习的时间序列的预测模型为生产预测提供了非参数，无假设的解决方案，但由于训练数据的稀疏性，很容易模拟过度拟合。因此，在简短的预测时间间隔中可能是准确的。我们提出了一个无网格的物理信息图神经网络（PI-GNN）进行预测。定制的图形卷积层从历史数据中汇总了邻域信息，并具有将域专业知识集成到数据驱动模型中的灵活性。提出的方法放宽了对CRM等近距离解决方案的依赖性，并尊重给定的基于物理的约束。我们提出的方法是强大的，相对于传统的CRM和GNN基线而没有物理限制，性能和模型可解释性提高。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

Research in Graph Signal Processing (GSP) aims to develop tools for processing data defined on irregular graph domains. In this paper we first provide an overview of core ideas in GSP and their connection to conventional digital signal processing, along with a brief historical perspective to highlight how concepts recently developed in GSP build on top of prior research in other areas. We then summarize recent advances in developing basic GSP tools, including methods for sampling, filtering or graph learning. Next, we review progress in several application areas using GSP, including processing and analysis of sensor network data, biological data, and applications to image processing and machine learning.

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

机器学习，在深入学习的进步，在过去分析时间序列方面表现出巨大的潜力。但是，在许多情况下，可以通过将其结合到学习方法中可能改善预测的附加信息。这对于由例如例如传感器位置的传感器网络而产生的数据至关重要。然后，可以通过通过图形结构建模，以及顺序（时间）信息来利用这种空间信息。适应深度学习的最新进展在各种图形相关任务中表明了有希望的潜力。但是，这些方法尚未在很大程度上适用于时间序列相关任务。具体而言，大多数尝试基本上围绕空间 - 时间图形神经网络巩固了时间序列预测的小序列长度。通常，这些架构不适合包含大数据序列的回归或分类任务。因此，在这项工作中，我们使用图形神经网络的好处提出了一种能够在多变量时间序列回归任务中处理这些长序列的架构。我们的模型在包含地震波形的两个地震数据集上进行测试，其中目标是预测在一组站的地面摇动的强度测量。我们的研究结果表明了我们的方法的有希望的结果，这是深入讨论的额外消融研究。

空气污染监测平台在预防和减轻污染影响方面发挥着非常重要的作用。绘图信号处理领域的最新进展使得可以使用图表描述和分析空气污染监测网络。其中一个主要应用是使用传感器的子集重新重建图表中的测量信号。使用来自传感器邻居的信息重建信号可以有助于提高网络数据的质量，示例是用相关的相邻节点的缺失数据填充，或者校正与更准确的相邻传感器的漂移传感器。本文比较了各种类型的图形信号重建方法应用于西班牙空气污染参考站的真实数据集。所考虑的方法是拉普拉斯插值，曲线​​图信号处理低通基的曲线曲线信号重建，以及基于内核的曲线图信号重建，并在测量O3，NO2和PM10的实际空气污染数据集上进行比较。示出了重建污染物信号的方法的能力，以及该重建的计算成本。结果表明了基于基于内核的曲线图信号重建的方法的优越性，以及具有大量低成本传感器的空气污染监测网络中的方法的难度。但是，我们表明可以通过简单的方法克服可扩展性，例如使用聚类算法对网络进行分区。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

我们提出了一种基于图形神经网络（GNN）的端到端框架，以平衡通用网格中的功率流。优化被帧为监督的顶点回归任务，其中GNN培训以预测每个网格分支的电流和功率注入，从而产生功率流量平衡。通过将电网表示为与顶点的分支的线图，我们可以培训一个更准确和强大的GNN来改变底层拓扑。此外，通过使用专门的GNN层，我们能够构建一个非常深的架构，该架构占图表上的大街区，同时仅实现本地化操作。我们执行三个不同的实验来评估：i）使用深入GNN模型时使用本地化而不是全球运营的好处和趋势; ii）图形拓扑中对扰动的弹性;和iii）能力同时在多个网格拓扑上同时培训模型以及新的看不见网格的概括性的改进。拟议的框架是有效的，而且与基于深度学习的其他求解器相比，不仅对网格组件上的物理量而且对拓扑的物理量具有鲁棒性。

图形卷积网络（GCN）已被证明是一个有力的概念，在过去几年中，已成功应用于许多领域的各种任务。在这项工作中，我们研究了为GCN定义铺平道路的理论，包括经典图理论的相关部分。我们还讨论并在实验上证明了GCN的关键特性和局限性，例如由样品的统计依赖性引起的，该图由图的边缘引入，这会导致完整梯度的估计值偏置。我们讨论的另一个限制是Minibatch采样对模型性能的负面影响。结果，在参数更新期间，在整个数据集上计算梯度，从而破坏了对大图的可扩展性。为了解决这个问题，我们研究了替代方法，这些方法允许在每次迭代中仅采样一部分数据，可以安全地学习良好的参数。我们重现了KIPF等人的工作中报告的结果。并提出一个灵感签名的实现，这是一种无抽样的minibatch方法。最终，我们比较了基准数据集上的两个实现，证明它们在半监督节点分类任务的预测准确性方面是可比的。

本文介绍了一个新颖的神经网络 - 流程完成网络（FCN） - 以从基于图形卷积注意网络的不完整数据中推断出流体动力学，包括流场和作用于身体的力。 FCN由几个图卷积层和空间注意层组成。它旨在推断与涡流力图（VFM）方法结合使用时流场的速度场和涡流力的贡献。与流体动力学中采用的其他神经网络相比，FCN能够处理两个结构化数据和非结构化数据。拟议的FCN的性能通过圆柱周围流场的计算流体动力学（CFD）数据进行评估。我们的模型预测的力系数对直接从CFD获得的工具进行了估算。此外，结果表明，我们的模型同时使用存在的流场信息和梯度信息，比传统的基于基于的基于传统的神经网络（CNN）和深神经网络（DNN）模型更有性能。具体而言，在不同雷诺数数字和培训数据集的不同比例的所有第三酶中，结果表明，在测试数据集中，提议的FCN在测试数据集中达到了5.86％的最大规范均值误差，该误差远低于基于Thetradientional CNN的和TheTraDientional CNN的最大正方形误差基于DNN的模型（分别为42.32％和15.63％）。

由于能够处理一般结构化数据，因此在图形上的机器学习方法在许多应用程序中被证明是有用的。高斯马尔可夫随机字段（GMRF）的框架提供了一种原则性的方法，可以通过利用其稀疏结构来定义图表上的高斯模型。我们为基于深GMRF的多层结构而建立的一般图表提出了一个灵活的GMRF模型，该模型最初仅针对晶格图。通过设计新类型的图层，我们使模型可以扩展到大图。该层的构建是为了使用图形神经网络的变异推理和现有软件框架进行有效的训练。对于高斯的可能性，潜在领域接近确切的贝叶斯推理。这可以通过随附的不确定性估计做出预测。通过对许多合成和现实世界数据集的实验来验证所提出的模型的有用性，在该数据集中，它与其他贝叶斯和深度学习方法进行了比较。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

简单的复合物可以看作是图形的高维概括，这些图表一次在不同分辨率下的顶点之间明确编码多路有序关系。这个概念是检测数据的较高拓扑特征的核心，图形仅编码成对关系的图形仍然遗忘。尽管已尝试将图形神经网络（GNN）扩展到简单复杂设置，但这些方法并未固有地利用网络的基本拓扑结构。我们提出了一个图形卷积模型，用于学习由简单复合物的$ K $学术特征参数化的学习功能。通过频谱操纵其组合$ k $二维的霍奇laplacians，提议的模型可以实现基础简单复合物的学习拓扑特征，特别是，每个$ k $ simplex的距离与最接近的“最佳” $ k $ k $ - $ k $ - $ k $ - th $ k $ - ，有效地提供同源性本地化的替代方案。

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

预测具有微观结构的材料的代表性样品的演变是均质化的基本问题。在这项工作中，我们提出了一种图形卷积神经网络，其利用直接初始微结构的离散化表示，而无需分割或聚类。与基于特征和基于像素的卷积神经网络模型相比，所提出的方法具有许多优点：（a）它是深入的，因为它不需要卵容，但可以从中受益，（b）它具有简单的实现使用标准卷积滤波器和层，（c）它在没有插值的非结构化和结构网格数据上本身工作（与基于像素的卷积神经网络不同），并且（d）它可以保留与其他基于图形的卷积神经网络等旋转不变性。我们展示了所提出的网络的性能，并将其与传统的基于像素的卷积神经网络模型和基于传统的像素的卷积神经网络模型进行比较，并且在多个大型数据集上的基于特征的图形卷积神经网络。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.