本文构成了新型的HyperGraph卷积神经网络基于聚类技术。该技术用于解决Citeseer数据集和CORA数据集的聚类问题。每个数据集都包含特征矩阵和HyperGraph的发射矩阵（即，由特征矩阵构造）。这种新颖的聚类方法利用了两个矩阵。最初，使用HyperGraph自动编码器将入射矩阵和特征矩阵从高维空间转换为低维空间。最后，我们将K-均值聚类技术应用于转换的矩阵。与其他经典聚类技术相比，基于Hypergraph卷积神经网络（CNN）的聚类技术在实验过程中的性能取得了更好的结果。

In recent years, spectral clustering has become one of the most popular modern clustering algorithms. It is simple to implement, can be solved efficiently by standard linear algebra software, and very often outperforms traditional clustering algorithms such as the k-means algorithm. On the first glance spectral clustering appears slightly mysterious, and it is not obvious to see why it works at all and what it really does. The goal of this tutorial is to give some intuition on those questions. We describe different graph Laplacians and their basic properties, present the most common spectral clustering algorithms, and derive those algorithms from scratch by several different approaches. Advantages and disadvantages of the different spectral clustering algorithms are discussed.

本文介绍了伯特嵌入法和图形卷积神经网络的新方法。采用这种组合来解决文本分类问题。最初，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集）中，以便将所有文本转换为数字向量。然后，图形卷积神经网络将应用于这些数字向量，以将这些文本分类为其AP的兴趣类/标签。实验表明，图形卷积神经网络模型的性能优于具有CLAS-SICE机器学习模型的BERT嵌入方法的组合的性能。

为了处理不规则的数据结构，许多数据科学家已经开发了图形卷积神经网络。但是，数据科学家只是主要集中于开发未指导图的深神网络方法。在本文中，我们将介绍用于定向超图的新型神经网络方法。换句话说，我们不仅将开发新型的定向超图神经网络方法，而且还将开发基于新颖的指导性超图的半监督学习方法。这些方法用于解决节点分类任务。实验中使用的两个数据集是Cora和Citeseer数据集。在经典的基于图形的半监督学习方法中，新颖的基于HyperGraph的半监督学习方法，用于解决此节点分类任务的新颖的定向超图神经网络方法，我们认识到新颖的定向HyperGraph神经网络成就最高精度。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

Clustering is a fundamental problem in network analysis that finds closely connected groups of nodes and separates them from other nodes in the graph, while link prediction is to predict whether two nodes in a network are likely to have a link. The definition of both naturally determines that clustering must play a positive role in obtaining accurate link prediction tasks. Yet researchers have long ignored or used inappropriate ways to undermine this positive relationship. In this article, We construct a simple but efficient clustering-driven link prediction framework(ClusterLP), with the goal of directly exploiting the cluster structures to obtain connections between nodes as accurately as possible in both undirected graphs and directed graphs. Specifically, we propose that it is easier to establish links between nodes with similar representation vectors and cluster tendencies in undirected graphs, while nodes in a directed graphs can more easily point to nodes similar to their representation vectors and have greater influence in their own cluster. We customized the implementation of ClusterLP for undirected and directed graphs, respectively, and the experimental results using multiple real-world networks on the link prediction task showed that our models is highly competitive with existing baseline models. The code implementation of ClusterLP and baselines we use are available at https://github.com/ZINUX1998/ClusterLP.

基于图形的群集在群集任务中扮演着重要作用。作为图形卷积网络（GCN），图形类型数据上的神经网络的变体已经实现了令人印象深刻的性能，发现GCN是否可用于在非图形数据上增加基于图形的聚类方法，即，一般数据。但是，鉴于$ N $示例，基于图形的聚类方法通常需要至少$ O（n ^ 2）$时间来构建图形，图表卷积需要密集图和$ uyn $ o（n ^ 2）$。 o（| \ mathcal {e} |）$ for稀疏的$ | \ mathcal {e} | $边。换句话说，基于图形的聚类和GCN患有严重的低效率问题。为了解决这个问题，进一步雇用GCN促进基于图形的聚类的能力，我们提出了一种新的聚类方法，奇迹。由于常规群集方案中未提供图形结构，首先通过引入生成图模型来展示如何将非图形数据集转换为图形，该模型用于构建GCN。从原始数据生成锚来构建二分的图形，使得图表卷积的计算复杂度从$ O（n ^ 2）$和$ o（| \ mathcal {e} |）$到$ o（n） $。群集的后续步骤可以轻松设计为$ O（n）$操作。有趣的是，锚天然导致暹罗的GCN架构。由锚构造的二分图是动态更新的，以利用数据后面的高级信息。最终，我们理论上证明简单的更新将导致退化，因此设计了特定的策略。

深度聚类最近引起了极大的关注。尽管取得了显着的进展，但以前的大多数深度聚类作品仍有两个局限性。首先，其中许多集中在某些基于分布的聚类损失上，缺乏通过对比度学习来利用样本（或增强）关系的能力。其次，他们经常忽略了间接样本结构信息，从而忽略了多尺度邻里结构学习的丰富可能性。鉴于这一点，本文提出了一种新的深聚类方法，称为图像聚类，其中包括对比度学习和多尺度图卷积网络（IcicleGCN），该网络（ICICELGCN）也弥合了卷积神经网络（CNN）和图形卷积网络（GCN）之间的差距。作为对比度学习与图像聚类任务的多尺度邻域结构学习之间的差距。所提出的IcicleGCN框架由四个主要模块组成，即基于CNN的主链，实例相似性模块（ISM），关节群集结构学习和实例重建模块（JC-SLIM）和多尺度GCN模块（M -GCN）。具体而言，在每个图像上执行了两个随机增强，使用两个重量共享视图的骨干网络用于学习增强样品的表示形式，然后将其馈送到ISM和JC-SLIM以进行实例级别和集群级别的对比度分别学习。此外，为了实施多尺度的邻域结构学习，通过（i）通过（i）层次融合的层相互作用和（ii）共同自适应学习确保他们的最后一层，同时对两个GCN和自动编码器进行了同时培训。层输出分布保持一致。多个图像数据集上的实验证明了IcicleGCN优于最先进的群集性能。

这项工作为聚类提供了无监督的深入判别分析。该方法基于深层神经网络，旨在最大程度地减少群集内差异，并以无监督的方式最大化集群间差异。该方法能够将数据投射到具有紧凑和不同分布模式的非线性低维潜在空间中，以便可以有效地识别数据簇。我们进一步提供了该方法的扩展，以便可以有效利用可用的图形信息来提高聚类性能。带有或没有图形信息的图像和非图像数据的广泛数值结果证明了所提出的方法的有效性。

在本文中，我们提出了一种新方法来检测具有归因顶点的无向图中的簇。目的是将不仅在结构连接性方面，而且在属性值方面相似的顶点分组。我们通过创建[6,38]中提出的其他顶点和边缘，将顶点之间的结构和属性相似。然后将增强图嵌入到与其拉普拉斯式相关的欧几里得空间中，在该空间中，应用了修改的K-均值算法以识别簇。修改后的k均值依赖于矢量距离度量，根据每个原始顶点，我们分配了合适的矢量值坐标集，这取决于结构连接性和属性相似性，因此每个原始图顶点都被认为是$ M+1的代表增强图的$顶点，如果$ m $是顶点属性的数量。为了定义坐标矢量，我们基于自适应AMG（代数多机）方法采用了我们最近提出的算法，该方法识别了嵌入欧几里得空间中的坐标方向，以代数平滑的矢量相对于我们的增强图Laplacian，从而扩展了laplacian，从而扩展了坐标。没有属性的图形的先前结果。我们通过与一些知名方法进行比较，分析了我们提出的聚类方法的有效性，这些方法可以免费获得软件实现，并与文献中报告的结果相比，在两种不同类型的广泛使用的合成图上以及在某些现实世界中的图形上。

基于图形的多视图聚类比大多数非格拉普方法都取得了更好的性能。但是，在许多实际情况下，没有给出数据的图结构，或者初始图的质量很差。此外，现有方法在很大程度上忽略了表征复杂固有相互作用的高阶邻域信息。为了解决这些问题，我们引入了一种称为高阶多视图聚类（HMVC）的方法，以探索通用数据的拓扑结构信息。首先，将图形过滤应用于编码结构信息，该信息将单个框架中的属性图数据和非图形数据统一处理。其次，利用到无限顺序的固有关系来丰富学习的图。第三，为了探索各种视图的一致和互补信息，提出了一种自适应图融合机制来实现共识图。关于非图形和归因图数据的全面实验结果表明，我们方法在各种最新技术方面的出色性能，包括一些深度学习方法。

超图允许使用多向高阶关系建模问题。然而，大多数现有超图的算法的计算成本可能严重取决于输入的超图尺寸。为了解决不断增加的计算挑战，可以通过积极聚合其顶点（节点）来预先处理给定的超图来促进图表粗化。然而，未经纳入启发式图粗化技术的最先进的超图分区（聚类）方法未得到优化，以保留超图的结构（全局）属性。在这项工作中，我们提出了一种有效的光谱超图粗化方案（HypersF），以保持超图的原始光谱（结构）特性。我们的方法利用了最近的强烈局部最大流量的聚类算法，用于检测最小化比例的超图形顶点集。为了进一步提高算法效率，我们通过利用与原始超图对应的二分形图的光谱聚类来提出分频和征服方案。我们从现实世界VLSI设计基准提取的各种超图的实验结果表明，与现有最先进的现有技术相比，所提出的超图粗略化算法可以显着提高超图和运行时效率的多线电导算法。

这项工作研究了经典的光谱群集算法，该算法嵌入了某些图$ g =（v_g，e_g）$的顶点，使用$ g $的某些矩阵的$ k $ eigenVectors纳入$ \ m athbb {r}^k $k $ - 分区$ v_g $ to $ k $簇。我们的第一个结果是对光谱聚类的性能进行更严格的分析，并解释了为什么它在某些条件下的作用比文献中研究的弱点要弱得多。对于第二个结果，我们表明，通过应用少于$ k $的特征向量来构建嵌入，光谱群集能够在许多实际情况下产生更好的输出；该结果是光谱聚类中的第一个结果。除了其概念性和理论意义外，我们工作的实际影响还通过对合成和现实世界数据集的经验分析证明，其中光谱聚类会产生可比或更好的结果，而较少$ k $ k $ eigenVectors。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

本文介绍了HyperGraph神经网络方法的新颖版本。该方法用于解决嘈杂的标签学习问题。首先，我们将PCA尺寸还原技术应用于图像数据集的特征矩阵，以减少图像数据集的特征矩阵中的“噪声”和冗余功能方法。然后，基于经典的半监督学习方法，经典的基于超毛图的半手法学习方法，图形神经网络，HyperGraph神经网络和我们提出的HyperGraph神经网络用于解决嘈杂的标签学习问题。评估和比较这五种方法的精度。实验结果表明，当噪声水平提高时，超图神经网络方法达到了最佳性能。此外，高图神经网络方法至少与图神经网络一样好。

Graph convolutional network (GCN) has been successfully applied to many graph-based applications; however, training a large-scale GCN remains challenging. Current SGD-based algorithms suffer from either a high computational cost that exponentially grows with number of GCN layers, or a large space requirement for keeping the entire graph and the embedding of each node in memory. In this paper, we propose Cluster-GCN, a novel GCN algorithm that is suitable for SGD-based training by exploiting the graph clustering structure. Cluster-GCN works as the following: at each step, it samples a block of nodes that associate with a dense subgraph identified by a graph clustering algorithm, and restricts the neighborhood search within this subgraph. This simple but effective strategy leads to significantly improved memory and computational efficiency while being able to achieve comparable test accuracy with previous algorithms. To test the scalability of our algorithm, we create a new Amazon2M data with 2 million nodes and 61 million edges which is more than 5 times larger than the previous largest publicly available dataset (Reddit). For training a 3-layer GCN on this data, Cluster-GCN is faster than the previous state-of-the-art VR-GCN (1523 seconds vs 1961 seconds) and using much less memory (2.2GB vs 11.2GB). Furthermore, for training 4 layer GCN on this data, our algorithm can finish in around 36 minutes while all the existing GCN training algorithms fail to train due to the out-of-memory issue. Furthermore, Cluster-GCN allows us to train much deeper GCN without much time and memory overhead, which leads to improved prediction accuracy-using a 5-layer Cluster-GCN, we achieve state-of-the-art test F1 score 99.36 on the PPI dataset, while the previous best result was 98.71 by [16]. Our codes are publicly available at https://github.com/google-research/google-research/ tree/master/cluster_gcn.

由于在建模相互依存系统中，由于其高效用，多层图已经在许多领域获得了大量的研究。然而，多层图的聚类，其旨在将图形节点划分为类别或社区，仍处于新生阶段。现有方法通常限于利用MultiView属性或多个网络，并忽略更复杂和更丰富的网络框架。为此，我们向多层图形聚类提出了一种名为Multidayer agal对比聚类网络（MGCCN）的多层图形聚类的通用和有效的AutoEncoder框架。 MGCCN由三个模块组成：（1）应用机制以更好地捕获节点与邻居之间的相关性以获得更好的节点嵌入。 （2）更好地探索不同网络中的一致信息，引入了对比融合策略。 （3）MGCCN采用自我监督的组件，可迭代地增强节点嵌入和聚类。对不同类型的真实图数据数据的广泛实验表明我们所提出的方法优于最先进的技术。

基于Web的交互可以经常由归因图表示，并且在这些图中的节点聚类最近受到了很多关注。多次努力已成功应用图形卷积网络（GCN），但由于GCNS已被显示出遭受过平滑问题的GCNS的精度一些限制。虽然其他方法（特别是基于拉普拉斯平滑的方法）已经报告了更好的准确性，但所有工作的基本限制都是缺乏可扩展性。本文通过将LAPLACIAN平滑与广义的PageRank相同，并将随机步行基于算法应用为可伸缩图滤波器来解决这一打开问题。这构成了我们可扩展的深度聚类算法RWSL的基础，其中通过自我监督的迷你批量培训机制，我们同时优化了一个深度神经网络，用于采样集群分配分配和AutoEncoder，用于群集导向的嵌入。使用6个现实世界数据集和6个聚类指标，我们表明RWSL实现了几个最近基线的结果。最值得注意的是，我们显示与所有其他深度聚类框架不同的RWSL可以继续以超过一百万个节点的图形扩展，即句柄。我们还演示了RWSL如何在仅使用单个GPU的18亿边缘的图表上执行节点聚类。

作为图表上链路预测的自然扩展，超链接预测的目的是推断超图中缺失的超链接，其中超链接可以连接两个以上的节点。超链接预测在从化学反应网络，社交通信网络到蛋白质 - 蛋白质相互作用网络的广泛系统中具有应用。在本文中，我们提供了有关超链接预测的系统和全面调查。我们提出了一种新的分类法，将现有的超链接预测方法分类为四类：基于相似性的基于概率，基于矩阵优化和基于深度学习的方法。为了比较来自不同类别的方法的性能，我们使用每个类别的代表性方法对各种超图应用进行了基准研究。值得注意的是，基于深度学习的方法比超链接预测中的其他方法占了上风。