Graph neural networks (GNNs) are popular weapons for modeling relational data. Existing GNNs are not specified for attribute-incomplete graphs, making missing attribute imputation a burning issue. Until recently, many works notice that GNNs are coupled with spectral concentration, which means the spectrum obtained by GNNs concentrates on a local part in spectral domain, e.g., low-frequency due to oversmoothing issue. As a consequence, GNNs may be seriously flawed for reconstructing graph attributes as graph spectral concentration tends to cause a low imputation precision. In this work, we present a regularized graph autoencoder for graph attribute imputation, named MEGAE, which aims at mitigating spectral concentration problem by maximizing the graph spectral entropy. Notably, we first present the method for estimating graph spectral entropy without the eigen-decomposition of Laplacian matrix and provide the theoretical upper error bound. A maximum entropy regularization then acts in the latent space, which directly increases the graph spectral entropy. Extensive experiments show that MEGAE outperforms all the other state-of-the-art imputation methods on a variety of benchmark datasets.

虽然图形神经网络（GNNS）最近成为用于建模关系数据的事实标准，但它们对图形节点或边缘特征的可用性产生了强烈的假设。然而，在许多现实世界应用中，功能仅部分可用;例如，在社交网络中，年龄和性别仅适用于一小部分用户。我们介绍了一种用于处理基于Dirichlet能量最小化的图形机学习应用中缺失特征的一般方法，并导致图表上的扩散型微分方程。该等方程的离散化产生了一种简单，快速且可伸缩的算法，我们调用特征传播。我们通过实验表明，所提出的方法在七个常见节点分类基准测试中优于先前的方法，并且可以承受令人惊讶的缺失特点率：平均而言，当缺少99％的功能时，我们只观察到约4％的相对精度下降。此外，在单个GPU上运行$ \ SIM $ 2.5M节点和$ \ SIM $ 123M边缘，只需10秒即可在单个GPU上运行。

图形表示学习（GRL）属性缺失的图表，这是一个常见的难以具有挑战性的问题，最近引起了相当大的关注。我们观察到现有文献：1）隔离属性和结构嵌入的学习因此未能采取两种类型的信息的充分优势; 2）对潜伏空间变量的分布假设施加过于严格的分布假设，从而导致差异较少的特征表示。在本文中，基于在两个信息源之间引入亲密信息交互的想法，我们提出了我们的暹罗属性丢失的图形自动编码器（SAGA）。具体而言，已经进行了三种策略。首先，我们通过引入暹罗网络结构来共享两个进程学习的参数来纠缠嵌入属性嵌入和结构嵌入，这允许网络培训从更丰富和不同的信息中受益。其次，我们介绍了一个K到最近的邻居（knn）和结构约束，增强了学习机制，通过过滤不可靠的连接来提高缺失属性的潜在特征的质量。第三，我们手动掩盖多个相邻矩阵上的连接，并强力嵌入子网恢复真正的相邻矩阵，从而强制实现所得到的网络能够选择性地利用更高级别的判别特征来进行数据完成。六个基准数据集上的广泛实验表明了我们传奇的优越性，反对最先进的方法。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图表自我监督学习已被极大地用于从未标记的图表中学习表示形式。现有方法可以大致分为预测性学习和对比度学习，在这种学习中，后者通过更好的经验表现吸引了更多的研究注意力。我们认为，与对比模型相比，具有潜在增强和强大的解码器武器的预测模型可以实现可比较甚至更好的表示能力。在这项工作中，我们将数据增强引入潜在空间，以进行卓越的概括和提高效率。一个名为Wiener Graph DeonStolutional网络的新型图解码器相应地设计为从增强潜伏表示的信息重建。理论分析证明了图形滤波器的出色重建能力。各种数据集的广泛实验结果证明了我们方法的有效性。

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

给定图表具有部分观察到节点特征，我们如何准确估计缺失功能？特征估计是分析现实图表的关键问题，其特征在数据收集过程中通常缺少。准确的估计不仅提供了节点的多种信息，而且还支持需要全面观察节点特征的图形神经网络的推断。但是，设计一种估计高维特征的有效方法是具有挑战性的，因为它要求估算器具有较大的表示能力，从而增加过度拟合的风险。在这项工作中，我们提出了SVGA（结构化变分图自动编码器），这是一种精确的特征估计方法。 SVGA通过结构化变异推断将强固体化应用于潜在变量的分布，该变量推断将变量的先前作为基于图结构的高斯马尔可夫随机字段建模。结果，SVGA结合了概率推理和图形神经网络的优势，在实际数据集中实现了最新性能。

最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

基于光谱的图形神经网络（SGNNS）在图表表示学习中一直吸引了不断的关注。然而，现有的SGNN是限于实现具有刚性变换的曲线滤波器（例如，曲线图傅立叶或预定义的曲线波小波变换）的限制，并且不能适应驻留在手中的图形和任务上的信号。在本文中，我们提出了一种新颖的图形神经网络，实现了具有自适应图小波的曲线图滤波器。具体地，自适应图表小波通过神经网络参数化提升结构学习，其中开发了基于结构感知的提升操作（即，预测和更新操作）以共同考虑图形结构和节点特征。我们建议基于扩散小波提升以缓解通过分区非二分类图引起的结构信息损失。通过设计，得到了所得小波变换的局部和稀疏性以及提升结构的可扩展性。我们进一步通过在学习的小波中学习稀疏图表表示来引导软阈值滤波操作，从而产生局部，高效和可伸缩的基于小波的图形滤波器。为了确保学习的图形表示不变于节点排列，在网络的输入中采用层以根据其本地拓扑信息重新排序节点。我们在基准引用和生物信息图形数据集中评估节点级和图形级别表示学习任务的所提出的网络。大量实验在准确性，效率和可扩展性方面展示了在现有的SGNN上的所提出的网络的优越性。

Effective data imputation demands rich latent ``structure" discovery capabilities from ``plain" tabular data. Recent advances in graph neural networks-based data imputation solutions show their strong structure learning potential by directly translating tabular data as bipartite graphs. However, due to a lack of relations between samples, those solutions treat all samples equally which is against one important observation: ``similar sample should give more information about missing values." This paper presents a novel Iterative graph Generation and Reconstruction framework for Missing data imputation(IGRM). Instead of treating all samples equally, we introduce the concept: ``friend networks" to represent different relations among samples. To generate an accurate friend network with missing data, an end-to-end friend network reconstruction solution is designed to allow for continuous friend network optimization during imputation learning. The representation of the optimized friend network, in turn, is used to further optimize the data imputation process with differentiated message passing. Experiment results on eight benchmark datasets show that IGRM yields 39.13% lower mean absolute error compared with nine baselines and 9.04% lower than the second-best.

Graph AutoCododers（GAE）和变分图自动编码器（VGAE）作为链接预测的强大方法出现。他们的表现对社区探测问题的印象不那么令人印象深刻，根据最近和同意的实验评估，它们的表现通常超过了诸如louvain方法之类的简单替代方案。目前尚不清楚可以通过GAE和VGAE改善社区检测的程度，尤其是在没有节点功能的情况下。此外，不确定是否可以在链接预测上同时保留良好的性能。在本文中，我们表明，可以高精度地共同解决这两个任务。为此，我们介绍和理论上研究了一个社区保留的消息传递方案，通过在计算嵌入空间时考虑初始图形结构和基于模块化的先验社区来掺杂我们的GAE和VGAE编码器。我们还提出了新颖的培训和优化策略，包括引入一个模块化的正规器，以补充联合链路预测和社区检测的现有重建损失。我们通过对各种现实世界图的深入实验验证，证明了方法的经验有效性，称为模块化感知的GAE和VGAE。

本文旨在为多尺度帧卷积提供一种新颖的光谱图神经网络设计。在光谱范例中，光谱GNN通过提出频谱域中的各种光谱滤波器来提高图形学习任务性能，以捕获全局和本地图形结构信息。虽然现有的光谱方法在某些图表中显示出卓越的性能，但是当图表信息不完整或扰乱时，它们患有缺乏灵活性并脆弱。我们的新帧卷曲卷积包括直接在光谱域中设计的过滤功能，以克服这些限制。所提出的卷积在切断光谱信息中表现出具有很大的灵活性，并有效地减轻了噪声曲线图信号的负效应。此外，为了利用现实世界图数据中的异质性，具有我们新的帧卷积的异构图形神经网络提供了一种用于将元路径的内在拓扑信息与多级图分析嵌入的解决方案。进行了扩展实验实现了具有嘈杂节点特征和卓越性能结果的设置下的现实异构图和均匀图。

缺少数据是机器学习实践中的一个重要问题。从估算方法应保留数据的因果结构的前提下，我们开发了一个正则化方案，鼓励任何基线估算方法与底层数据产生机制发生因果关系。我们的提议是一个因果感知估算算法（奇迹）。奇迹通过同时建模缺失产生机制，令人振奋的归咎与数据的因果结构一致，迭代地改进基线的归纳。我们对综合和各种公开可用数据集进行了广泛的实验，以表明奇迹能够在所有三个缺失场景中始终如一地改善对各种基准方法的归力：随机，完全随意，而不是随机。

图形卷积网络对于从图形结构数据进行深入学习而变得必不可少。大多数现有的图形卷积网络都有两个大缺点。首先，它们本质上是低通滤波器，因此忽略了图形信号的潜在有用的中和高频带。其次，固定了现有图卷积过滤器的带宽。图形卷积过滤器的参数仅转换图输入而不更改图形卷积滤波器函数的曲率。实际上，除非我们有专家领域知识，否则我们不确定是否应该在某个点保留或切断频率。在本文中，我们建议自动图形卷积网络（AUTOGCN）捕获图形信号的完整范围，并自动更新图形卷积过滤器的带宽。虽然它基于图谱理论，但我们的自动环境也位于空间中，并具有空间形式。实验结果表明，AutoGCN比仅充当低通滤波器的基线方法实现了显着改善。

图形神经网络（GNNS）对图表上的半监督节点分类展示了卓越的性能，结果是它们能够同时利用节点特征和拓扑信息的能力。然而，大多数GNN隐含地假设曲线图中的节点和其邻居的标签是相同或一致的，其不包含在异质图中，其中链接节点的标签可能不同。因此，当拓扑是非信息性的标签预测时，普通的GNN可以显着更差，而不是在每个节点上施加多层Perceptrons（MLPS）。为了解决上述问题，我们提出了一种新的$ -laplacian基于GNN模型，称为$ ^ P $ GNN，其消息传递机制来自离散正则化框架，并且可以理论上解释为多项式图的近似值在$ p $ -laplacians的频谱域上定义过滤器。光谱分析表明，新的消息传递机制同时用作低通和高通滤波器，从而使$ ^ P $ GNNS对同性恋和异化图有效。关于现实世界和合成数据集的实证研究验证了我们的调查结果，并证明了$ ^ P $ GNN明显优于异交基准的几个最先进的GNN架构，同时在同性恋基准上实现竞争性能。此外，$ ^ p $ gnns可以自适应地学习聚合权重，并且对嘈杂的边缘具有强大。

光谱图神经网络是基于图信号过滤器的一种图神经网络（GNN）。一些能够学习任意光谱过滤器的模型最近出现了。但是，很少有作品分析光谱GNN的表达能力。本文理论上研究了光谱GNNS的表现力。我们首先证明，即使没有非线性的光谱GNN也可以产生任意的图形信号，并给出了两个条件以达到普遍性。它们是：1）图Laplacian的多个特征值和2）节点特征中没有缺失的频率组件。我们还建立了光谱GNN的表达能力与图形同构（GI）测试之间的联系，后者通常用于表征空间GNNS的表达能力。此外，我们从优化的角度研究了具有相同表达能力的不同光谱GNN之间的经验性能差异，并激发了其重量函数对应于光谱中图信号密度的正交基础的使用。受分析的启发，我们提出了Jacobiconv，该雅各比基的正交性和灵活性使用了雅各比的基础，以适应广泛的重量功能。 Jacobiconv抛弃了非线性，同时在合成和现实世界数据集上都超过了所有基线。

图形卷积网络（GCN）及其变体是为仅包含正链的无符号图设计的。许多现有的GCN来自位于（未签名）图的信号的光谱域分析，在每个卷积层中，它们对输入特征进行低通滤波，然后进行可学习的线性转换。它们扩展到具有正面和负面链接的签名图，引发了多个问题，包括计算不规则性和模棱两可的频率解释，从而使计算有效的低通滤波器的设计具有挑战性。在本文中，我们通过签名图的光谱分析来解决这些问题，并提出了两个不同的图形神经网络，一个人仅保留低频信息，并且还保留了高频信息。我们进一步引入了磁性签名的拉普拉斯式，并使用其特征成分进行定向签名图的光谱分析。我们在签名图上测试了节点分类的方法，并链接符号预测任务并实现最先进的性能。

图形神经网络（GNNS）从节点功能和输入图拓扑中利用信号来改善节点分类任务性能。然而，这些模型倾向于在异细胞图上表现不良，其中连接的节点具有不同的标记。最近提出了GNNS横跨具有不同程度的同性恋级别的图表。其中，依赖于多项式图滤波器的模型已经显示了承诺。我们观察到这些多项式图滤波器模型的解决方案也是过度确定的方程式系统的解决方案。它表明，在某些情况下，模型需要学习相当高的多项式。在调查中，我们发现由于其设计而在学习此类多项式的拟议模型。为了缓解这个问题，我们执行图表的特征分解，并建议学习作用于频谱的不同子集的多个自适应多项式滤波器。理论上和经验证明我们所提出的模型学习更好的过滤器，从而提高了分类准确性。我们研究了我们提出的模型的各个方面，包括利用潜在多项式滤波器的依义组分的数量以及节点分类任务上的各个多项式的性能的依赖性。我们进一步表明，我们的模型通过在大图中评估来扩展。我们的模型在最先进的模型上实现了高达5％的性能增益，并且通常优于现有的基于多项式滤波器的方法。

图表神经网络（GNNS）在图形结构数据的表现中表现出巨大的成功。在捕获图形拓扑中，GNN中的层展图表卷积显示为强大。在此过程中，GNN通常由预定义的内核引导，例如拉普拉斯矩阵，邻接矩阵或其变体。但是，预定义的内核的采用可能会限制不同图形的必要性：图形和内核之间的不匹配将导致次优性能。例如，当高频信息对于图表具有重要意义时，聚焦在低频信息上的GNN可能无法实现令人满意的性能，反之亦然。为了解决这个问题，在本文中，我们提出了一种新颖的框架 - 即，即Adaptive Kernel图神经网络（AKGNN） - 这将在第一次尝试时以统一的方式适应最佳图形内核。在所提出的AKGNN中，我们首先设计一种数据驱动的图形内核学习机制，它通过修改图拉普拉斯的最大特征值来自适应地调制全通过和低通滤波器之间的平衡。通过此过程，AKGNN了解高频信号之间的最佳阈值以减轻通用问题。稍后，我们通过参数化技巧进一步减少参数的数量，并通过全局读出功能增强富有表现力。在确认的基准数据集中进行了广泛的实验，并且有希望的结果通过与最先进的GNNS比较，展示了我们所提出的Akgnn的出色表现。源代码在公开上可用：https://github.com/jumxglhf/akgnn。