通过提取和利用来自异构信息网络（HIN）的高阶信息的提取和利用模拟异质性，近年来一直在吸引巨大的研究关注。这种异构网络嵌入（HNE）方法有效地利用小规模旋流的异质性。然而，在现实世界中，随着新节点和不同类型的链路的连续引入，何种素数量呈指数级增长，使其成为十亿尺度的网络。在这种关链接上的学习节点嵌入式为现有的HNE方法进行了性能瓶颈，这些方法通常是集中的，即完成数据，并且模型都在单机上。为了满足强大的效率和有效性保障的大型HNE任务，我们呈现\纺织{分散嵌入框架的异构信息网络}（Dehin）。在Dehin中，我们生成一个分布式并行管道，它利用超图来注入到HNE任务中的并行化。 Dehin呈现了一种上下文保留的分区机制，可创新地将大HIN作为超图制定，其超高频连接语义相似的节点。我们的框架然后采用分散的策略来通过采用类似的树形管道来有效地分隔帖。然后，每个结果的子网被分配给分布式工作人员，该工作者采用深度信息最大化定理，从其接收的分区本地学习节点嵌入。我们进一步设计了一种新颖的嵌入对准方案，将独立学习的节点嵌入从所有子网嵌入到公共向量空间上的新颖嵌入对准方案，从而允许下游任务等链路预测和节点分类。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

开发用于训练图形的可扩展解决方案，用于链路预测任务的Neural网络（GNNS）由于具有高计算成本和巨大内存占用的高数据依赖性，因此由于高数据依赖性而具有挑战性。我们提出了一种新的方法，用于缩放知识图形嵌入模型的培训，以满足这些挑战。为此，我们提出了以下算法策略：自给自足的分区，基于约束的负采样和边缘迷你批量培训。两者都是分区策略和基于约束的负面采样，避免在训练期间交叉分区数据传输。在我们的实验评估中，我们表明，我们基于GNN的知识图形嵌入模型的缩放解决方案在基准数据集中实现了16倍的加速，同时将可比的模型性能作为标准度量的非分布式方法。

图形神经网络（GNN）是通过学习通用节点表示形式来建模和处理图形结构数据的主要范例。传统的培训方式GNNS取决于许多标记的数据，这导致了成本和时间的高需求。在某个特殊场景中，它甚至不可用。可以通过图形结构数据本身生成标签的自我监督表示学习是解决此问题的潜在方法。并且要研究对异质图的自学学习问题的研究比处理同质图更具挑战性，对此，研究也更少。在本文中，我们通过基于Metapath（SESIM）的结构信息提出了一种用于异质图的自我监督学习方法。提出的模型可以通过预测每个Metapath中节点之间的跳跃数来构建借口任务，以提高主任务的表示能力。为了预测跳跃数量，Sesim使用数据本身来生成标签，避免了耗时的手动标签。此外，预测每个Metapath中的跳跃数量可以有效地利用图形结构信息，这是节点之间的重要属性。因此，Sesim加深对图形结构模型的理解。最后，我们共同培训主要任务和借口任务，并使用元学习来平衡借口任务对主要任务的贡献。经验结果验证了SESIM方法的性能，并证明该方法可以提高传统神经网络在链接预测任务和节点分类任务上的表示能力。

Machine Unerning是在收到删除请求时从机器学习（ML）模型中删除某些培训数据的影响的过程。虽然直接而合法，但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题，在图像和文本数据的域中提出了许多近似算法，其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中，并为每个碎片训练一个组成模型。但是，将SISA直接应用于图形数据可能会严重损害图形结构信息，从而导致的ML模型实用程序。在本文中，我们提出了Grapheraser，这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验，以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $（小数据集）至35.94 $ \ times $（大数据集）未学习时间的改进。另一方面，Grapheraser的实现最高62.5美元\％$更高的F1分数，我们提出的基于学习的聚合方法可达到高达$ 112 \％$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}

图形神经网络（GNN）已被证明是分析非欧国人图数据的强大工具。但是，缺乏有效的分布图学习（GL）系统极大地阻碍了GNN的应用，尤其是当图形大且GNN相对深时。本文中，我们提出了GraphTheta，这是一种以顶点为中心的图形编程模型实现的新颖分布式和可扩展的GL系统。 GraphTheta是第一个基于分布式图处理的GL系统，其神经网络运算符以用户定义的功能实现。该系统支持多种培训策略，并在分布式（虚拟）机器上启用高度可扩展的大图学习。为了促进图形卷积实现，GraphTheta提出了一个名为NN-Tgar的新的GL抽象，以弥合图形处理和图形深度学习之间的差距。提出了分布式图引擎，以通过混合平行执行进行随机梯度下降优化。此外，除了全球批次和迷你批次外，我们还为新的集群批次培训策略提供了支持。我们使用许多网络大小的数据集评估GraphTheta，范围从小，适度到大规模。实验结果表明，GraphTheta可以很好地扩展到1,024名工人，用于培训内部开发的GNN，该工业尺度的Aripay数据集为14亿个节点和41亿个属性边缘，并带有CPU虚拟机（Dockers）群的小群。 （5 $ \ sim $ 12GB）。此外，GraphTheta比最先进的GNN实现获得了可比或更好的预测结果，证明其学习GNN和现有框架的能力，并且可以超过多达$ 2.02 \ tims $ $ 2.02 \ times $，具有更好的可扩展性。据我们所知，这项工作介绍了文献中最大的边缘属性GNN学习任务。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

语义关系预测旨在挖掘异质图中对象之间的隐式关系，这些关系由不同类型的对象和不同类型的链接组成。在现实世界中，新的语义关系不断出现，它们通常仅带有几个标记的数据。由于多种异构图中存在各种语义关系，因此可以从某些现有的语义关系中开采可转移的知识，以帮助预测新的语义关系，几乎没有标记的数据。这激发了一个新的问题，即跨异构图的几乎没有语义关系预测。但是，现有方法无法解决此问题，因为它们不仅需要大量的标记样本作为输入，而且还集中在具有固定异质性的单个图上。针对这个新颖而充满挑战的问题，在本文中，我们提出了一个基于元学习的图形神经网络，用于语义关系预测，名为Metags。首先，metags将对象之间的图形结构分解为多个归一化子图，然后采用两视图形神经网络来捕获这些子图的本地异质信息和全局结构信息。其次，Metags通过超出型网络汇总了这些子图的信息，该网络可以从现有的语义关系中学习并适应新的语义关系。第三，使用良好的初始化的两视图形神经网络和超出型网络，Metags可以有效地从不同的图形中学习新的语义关系，同时克服少数标记数据的限制。在三个现实世界数据集上进行的广泛实验表明，元数据的性能优于最先进的方法。

在异质图上的自我监督学习（尤其是对比度学习）方法可以有效地摆脱对监督数据的依赖。同时，大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下，本文提出了一种新型的自我监督学习方法，称为几何对比度学习（GCL），以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图，旨在强烈合并建模丰富的语义和复杂结构的能力，这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明，在三个任务上，所提出的方法在包括节点分类，节点群集和相似性搜索在内的三个任务上都超过了强基础，包括无监督的方法和监督方法。

由于图神经网络（GNN）的成功和异质信息网络的广泛应用，近年来，异质图学习近年来引起了极大的关注。已经提出了各种异质图神经网络，以概括GNN来处理异质图。不幸的是，这些方法通过各种复杂的模块对异质性进行建模。本文旨在提出一个简单而有效的框架，以使均质GNN具有足够的处理异质图的能力。具体而言，我们提出了基于关系嵌入的图形神经网络（RE-GNNS），该图形仅使用一个参数来嵌入边缘类型关系和自动连接的重要性。为了同时优化这些关系嵌入和其他参数，提出了一个梯度缩放因子来约束嵌入以收敛到合适的值。此外，我们从理论上证明，与基于元路径的异质GNN相比，我们的RE-GNN具有更高的表现力。关于节点分类任务的广泛实验验证了我们提出的方法的有效性。

用于异质图嵌入的图形神经网络是通过探索异质图的异质性和语义来将节点投射到低维空间中。但是，一方面，大多数现有的异质图嵌入方法要么不足以对特定语义下的局部结构进行建模，要么在汇总信息时忽略异质性。另一方面，来自多种语义的表示形式未全面整合以获得多功能节点嵌入。为了解决该问题，我们通过引入多视图表示学习的概念，提出了一个具有多视图表示学习（名为MV-HETGNN）的异质图神经网络（称为MV-HETGNN）。所提出的模型由节点特征转换，特定于视图的自我图编码和自动多视图融合，以彻底学习复杂的结构和语义信息，以生成全面的节点表示。在三个现实世界的异质图数据集上进行的广泛实验表明，所提出的MV-HETGNN模型始终优于各种下游任务中所有最新的GNN基准，例如节点分类，节点群集和链接预测。

关于图表的深度学习最近吸引了重要的兴趣。然而，大多数作品都侧重于（半）监督学习，导致缺点包括重标签依赖，普遍性差和弱势稳健性。为了解决这些问题，通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习（SSL）已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同，图表上的SSL具有独家背景，设计理念和分类。在图表的伞下自我监督学习，我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架，数学上正式地规范图表SSL的范例。根据借口任务的目标，我们将这些方法分为四类：基于生成的，基于辅助性的，基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用，并总结了绘图SSL的常用数据集，评估基准，性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

Graph Neural Networks (GNNs) have become increasingly important in recent years due to their state-of-the-art performance on many important downstream applications. Existing GNNs have mostly focused on learning a single node representation, despite that a node often exhibits polysemous behavior in different contexts. In this work, we develop a persona-based graph neural network framework called PersonaSAGE that learns multiple persona-based embeddings for each node in the graph. Such disentangled representations are more interpretable and useful than a single embedding. Furthermore, PersonaSAGE learns the appropriate set of persona embeddings for each node in the graph, and every node can have a different number of assigned persona embeddings. The framework is flexible enough and the general design helps in the wide applicability of the learned embeddings to suit the domain. We utilize publicly available benchmark datasets to evaluate our approach and against a variety of baselines. The experiments demonstrate the effectiveness of PersonaSAGE for a variety of important tasks including link prediction where we achieve an average gain of 15% while remaining competitive for node classification. Finally, we also demonstrate the utility of PersonaSAGE with a case study for personalized recommendation of different entity types in a data management platform.

异质图具有多个节点和边缘类型，并且在语义上比同质图更丰富。为了学习这种复杂的语义，许多用于异质图的图形神经网络方法使用Metapaths捕获节点之间的多跳相互作用。通常，非目标节点的功能未纳入学习过程。但是，可以存在涉及多个节点或边缘的非线性高阶相互作用。在本文中，我们提出了Simplicial Graph注意网络（SGAT），这是一种简单的复杂方法，可以通过将非目标节点的特征放在简单上来表示这种高阶相互作用。然后，我们使用注意机制和上邻接来生成表示。我们凭经验证明了方法在异质图数据集上使用节点分类任务的方法的功效，并进一步显示了SGAT通过采用随机节点特征来提取结构信息的能力。数值实验表明，SGAT的性能优于其他当前最新的异质图学习方法。

Traditional network embedding primarily focuses on learning a continuous vector representation for each node, preserving network structure and/or node content information, such that off-the-shelf machine learning algorithms can be easily applied to the vector-format node representations for network analysis. However, the learned continuous vector representations are inefficient for large-scale similarity search, which often involves finding nearest neighbors measured by distance or similarity in a continuous vector space. In this paper, we propose a search efficient binary network embedding algorithm called BinaryNE to learn a binary code for each node, by simultaneously modeling node context relations and node attribute relations through a three-layer neural network. BinaryNE learns binary node representations through a stochastic gradient descent based online learning algorithm. The learned binary encoding not only reduces memory usage to represent each node, but also allows fast bit-wise comparisons to support faster node similarity search than using Euclidean distance or other distance measures. Extensive experiments and comparisons demonstrate that BinaryNE not only delivers more than 25 times faster search speed, but also provides comparable or better search quality than traditional continuous vector based network embedding methods. The binary codes learned by BinaryNE also render competitive performance on node classification and node clustering tasks. The source code of this paper is available at https://github.com/daokunzhang/BinaryNE.

最近，图神经网络显示了建模基于网络的推荐系统中复杂拓扑结构的优势。由于节点之间的各种相互作用以及来自各种类型的节点和边缘的大量语义，因此在多重异质网络中学习表达性节点表示的研究兴趣爆发。推荐系统中最重要的任务之一是预测特定边缘类型下两个节点之间的潜在连接（即关系）。尽管现有的研究利用明确的元数据来汇总邻居，但实际上，它们仅考虑了关系内部的元数据，因此无法通过相互关联信息来利用潜在的提升。此外，在各种关系下，尤其是在越来越多的节点和边缘类型的情况下，全面利用相互关系的元数据并不总是直接的。此外，两个节点之间不同关系的贡献很难衡量。为了应对挑战，我们提出了Hybridgnn，这是一种具有混合聚集流和分层的端到端GNN模型，以在多路复用方案中充分利用异质性。具体而言，Hybridgnn应用了一个随机的关系探索模块来利用不同关系之间的多重性属性。然后，我们的模型利用在关系内的元数据和随机探索下的混合聚集流以学习丰富的语义。为了探索不同聚合流的重要性并利用多重性属性，我们提出了一个新型的分层注意模块，该模块既利用了Metapath级别的注意力和关系级的关注。广泛的实验结果表明，与几个最先进的基线相比，Hybridgnn取得了最佳性能。

图表是一个宇宙数据结构，广泛用于组织现实世界中的数据。像交通网络，社交和学术网络这样的各种实际网络网络可以由图表代表。近年来，目睹了在网络中代表顶点的快速发展，进入低维矢量空间，称为网络表示学习。表示学习可以促进图形数据上的新算法的设计。在本调查中，我们对网络代表学习的当前文献进行了全面审查。现有算法可以分为三组：浅埋模型，异构网络嵌入模型，图形神经网络的模型。我们为每个类别审查最先进的算法，并讨论这些算法之间的基本差异。调查的一个优点是，我们系统地研究了不同类别的算法底层的理论基础，这提供了深入的见解，以更好地了解网络表示学习领域的发展。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

Graph is an important data representation which appears in a wide diversity of real-world scenarios. Effective graph analytics provides users a deeper understanding of what is behind the data, and thus can benefit a lot of useful applications such as node classification, node recommendation, link prediction, etc. However, most graph analytics methods suffer the high computation and space cost. Graph embedding is an effective yet efficient way to solve the graph analytics problem. It converts the graph data into a low dimensional space in which the graph structural information and graph properties are maximumly preserved. In this survey, we conduct a comprehensive review of the literature in graph embedding. We first introduce the formal definition of graph embedding as well as the related concepts. After that, we propose two taxonomies of graph embedding which correspond to what challenges exist in different graph embedding problem settings and how the existing work address these challenges in their solutions. Finally, we summarize the applications that graph embedding enables and suggest four promising future research directions in terms of computation efficiency, problem settings, techniques and application scenarios.