节点之间有序序列的动态图在现实世界的工业应用中普遍存在电子商务和社交平台中。然而，由于数据的时间和结构依赖性和不规则性，因此，对动态图表的表示学习已经提出了很大的计算挑战，防止这些模型部署到现实世界的应用程序。为了解决这一挑战，我们提出了一种有效的算法，有效的动态图学习（边缘），它通过训练丢失选择性地表达某些时间依赖性，以改善计算中的并行性。我们展示了边缘可以扩展到数百万节点的动态图形，数亿个时间事件，实现新的最先进的（SOTA）性能。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

许多现实世界图包含时域信息。时间图神经网络在生成的动态节点嵌入中捕获时间信息以及结构和上下文信息。研究人员表明，这些嵌入在许多不同的任务中实现了最先进的表现。在这项工作中，我们提出了TGL，这是一个用于大规模脱机时间图神经网络训练的统一框架，用户可以使用简单的配置文件组成各种时间图神经网络。 TGL包括五个主要组件，一个临时采样器，一个邮箱，节点内存模块，存储器更新程序和消息传递引擎。我们设计了临时CSR数据结构和平行采样器，以有效地对颞邻邻居进行制作微型批次。我们提出了一种新颖的随机块调度技术，该技术可以减轻大批量训练时过时的节点存储器的问题。为了解决仅在小规模数据集上评估当前TGNN的局限性，我们介绍了两个具有0.2亿和13亿个时间边缘的大型现实世界数据集。我们在四个具有单个GPU的小规模数据集上评估了TGL的性能，以及两个具有多个GPU的大数据集，用于链接预测和节点分类任务。我们将TGL与五种方法的开源代码进行了比较，并表明TGL平均达到13倍的速度可实现相似或更高的精度。与基准相比，我们的时间平行采样器在多核CPU上平均达到173倍加速。在4-GPU机器上，TGL可以在1-10小时内训练一个超过10亿个时间边缘的时期。据我们所知，这是第一项提出了一个关于多个GPU的大规模时间图神经网络培训的一般框架的工作。

许多实际关系系统，如社交网络和生物系统，包含动态相互作用。在学习动态图形表示时，必须采用连续的时间信息和几何结构。主流工作通过消息传递网络（例如，GCN，GAT）实现拓扑嵌入。另一方面，时间演进通常通过在栅极机构中具有方便信息过滤的存储单元（例如，LSTM或GU）来表达。但是，由于过度复杂的编码，这种设计可以防止大规模的输入序列。这项工作从自我关注的哲学中学习，并提出了一种高效的基于频谱的神经单元，采用信息的远程时间交互。发达的频谱窗口单元（SWINIT）模型预测了具有保证效率的可扩展动态图形。该架构与一些构成随机SVD，MLP和图形帧卷积的一些简单的有效计算块组装。 SVD加MLP模块编码动态图事件的长期特征演进。帧卷积中的快速帧图形变换嵌入了结构动态。两种策略都提高了模型对可扩展分析的能力。特别地，迭代的SVD近似度将注意力的计算复杂性缩小到具有n个边缘和D边缘特征的动态图形的关注的计算复杂性，并且帧卷积的多尺度变换允许在网络训练中具有足够的可扩展性。我们的Swinit在各种在线连续时间动态图表学习任务中实现了最先进的性能，而与基线方法相比，可学习参数的数量可达七倍。

时间网络已被广泛用于建模现实世界中的复杂系统，例如金融系统和电子商务系统。在时间网络中，一组节点的联合邻居通常提供至关重要的结构信息，以预测它们是否可以在一定时间相互作用。但是，最新的时间网络的表示学习方法通​​常无法提取此类信息或取决于极具耗时的特征构建方法。为了解决该问题，这项工作提出了邻里感知的时间网络模型（NAT）。对于网络中的每个节点，NAT放弃了常用的基于单个矢量的表示，同时采用了新颖的词典型邻域表示。这样的词典表示记录了一组相邻节点作为键，并可以快速构建多个节点联合邻域的结构特征。我们还设计了称为N-CACHE的专用数据结构，以支持GPU上这些字典表示的并行访问和更新。 NAT在七个现实世界大规模的时间网络上进行了评估。 NAT不仅胜过所有尖端基线的平均分别为5.9％和6.0％，分别具有换电和电感链路预测准确性，而且还可以通过对采用联合结构特征和实现的基准的加速提高4.1-76.7来保持可扩展性。对基线无法采用这些功能的基线的加速1.6-4.0。代码的链接：https：//github.com/graph-com/neighborhood-aware-ware-temporal-network。

图形结构化数据通常在自然界中具有动态字符，例如，在许多现实世界中，链接和节点的添加。近年来见证了对这种图形数据进行建模的动态图神经网络所支付的越来越多的注意力，几乎所有现有方法都假设，当建立新的链接时，应通过学习时间动态来传播邻居节点的嵌入。新的信息。但是，这种方法遭受了这样的限制，如果新连接引入的节点包含嘈杂的信息，那么将其知识传播到其他节点是不可靠的，甚至导致模型崩溃。在本文中，我们提出了Adanet：通过增强动态图神经网络的强化知识适应框架。与以前的方法相反，一旦添加了新链接，就立即更新邻居节点的嵌入方式，Adanet试图自适应地确定由于涉及的新链接而应更新哪些节点。考虑到是否更新一个邻居节点的嵌入的决定将对其他邻居节点产生很大的影响，因此，我们将节点更新的选择作为序列决策问题，并通过强化学习解决此问题。通过这种方式，我们可以将知识自适应地传播到其他节点，以学习健壮的节点嵌入表示。据我们所知，我们的方法构成了通过强化学习的动态图神经网络来探索强大知识适应的首次尝试。在三个基准数据集上进行的广泛实验表明，Adanet可以实现最新的性能。此外，我们通过在数据集中添加不同程度的噪声来执行实验，并定量和定性地说明ADANET的鲁棒性。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

现代推荐系统需要适应用户偏好和项目人气的变化。这种问题被称为时间动态问题，它是推荐系统建模中的主要挑战之一。与流行的反复建模方法不同，我们通过使用基于轨迹的元学习来模型依赖性将一个名为LeNprec的新解决方案提出了一个名为LeNprec的新解决方案。 Leaprec通过命名为全局时间Leap（GTL）的两个补充组件来表征时间动态，并订购时间Leap（OTL）。通过设计，GTL通过找到无序时间数据的最短学习路径来学习长期模式。协同地，OTL通过考虑时间数据的顺序性质来学习短期模式。我们的实验结果表明，LeNPrec在几个数据集和推荐指标上始终如一地优于最先进的方法。此外，我们提供了GTL和OTL之间的相互作用的实证研究，显示了长期和短期建模的影响。

Optimization of directed acyclic graph (DAG) structures has many applications, such as neural architecture search (NAS) and probabilistic graphical model learning. Encoding DAGs into real vectors is a dominant component in most neural-network-based DAG optimization frameworks. Currently, most DAG encoders use an asynchronous message passing scheme which sequentially processes nodes according to the dependency between nodes in a DAG. That is, a node must not be processed until all its predecessors are processed. As a result, they are inherently not parallelizable. In this work, we propose a Parallelizable Attention-based Computation structure Encoder (PACE) that processes nodes simultaneously and encodes DAGs in parallel. We demonstrate the superiority of PACE through encoder-dependent optimization subroutines that search the optimal DAG structure based on the learned DAG embeddings. Experiments show that PACE not only improves the effectiveness over previous sequential DAG encoders with a significantly boosted training and inference speed, but also generates smooth latent (DAG encoding) spaces that are beneficial to downstream optimization subroutines. Our source code is available at \url{https://github.com/zehao-dong/PACE}

Machine Unerning是在收到删除请求时从机器学习（ML）模型中删除某些培训数据的影响的过程。虽然直接而合法，但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题，在图像和文本数据的域中提出了许多近似算法，其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中，并为每个碎片训练一个组成模型。但是，将SISA直接应用于图形数据可能会严重损害图形结构信息，从而导致的ML模型实用程序。在本文中，我们提出了Grapheraser，这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验，以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $（小数据集）至35.94 $ \ times $（大数据集）未学习时间的改进。另一方面，Grapheraser的实现最高62.5美元\％$更高的F1分数，我们提出的基于学习的聚合方法可达到高达$ 112 \％$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

由于长期没有事件，处理动态数据时，陈旧问题是一个众所周知的问题。由于仅当节点参与事件时才更新节点的内存，因此其内存变为陈旧。通常，它是指缺乏社会帐户的时间停用等事件。为了克服内存的陈旧问题问题，除节点内存外，还来自节点邻居内存的信息。受此启发的启发，我们设计了一个更新的嵌入模块，该模块除节点邻居外还插入最相似的节点。我们的方法获得了与TGN相似的结果，并略有改进。这可能表明在微调我们的超参数后，尤其是时间阈值并使用可学习的相似度度量后，可能会有所改善。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

Influence Maximization (IM) is a classical combinatorial optimization problem, which can be widely used in mobile networks, social computing, and recommendation systems. It aims at selecting a small number of users such that maximizing the influence spread across the online social network. Because of its potential commercial and academic value, there are a lot of researchers focusing on studying the IM problem from different perspectives. The main challenge comes from the NP-hardness of the IM problem and \#P-hardness of estimating the influence spread, thus traditional algorithms for overcoming them can be categorized into two classes: heuristic algorithms and approximation algorithms. However, there is no theoretical guarantee for heuristic algorithms, and the theoretical design is close to the limit. Therefore, it is almost impossible to further optimize and improve their performance. With the rapid development of artificial intelligence, the technology based on Machine Learning (ML) has achieved remarkable achievements in many fields. In view of this, in recent years, a number of new methods have emerged to solve combinatorial optimization problems by using ML-based techniques. These methods have the advantages of fast solving speed and strong generalization ability to unknown graphs, which provide a brand-new direction for solving combinatorial optimization problems. Therefore, we abandon the traditional algorithms based on iterative search and review the recent development of ML-based methods, especially Deep Reinforcement Learning, to solve the IM problem and other variants in social networks. We focus on summarizing the relevant background knowledge, basic principles, common methods, and applied research. Finally, the challenges that need to be solved urgently in future IM research are pointed out.

关于组合优化的机器学习的最新作品表明，基于学习的方法可以优于速度和性能方面的启发式方法。在本文中，我们考虑了在定向的无环图上找到最佳拓扑顺序的问题，重点是编译器中出现的记忆最小化问题。我们提出了一种基于端到端的机器学习方法，用于使用编码器框架，用于拓扑排序。我们的编码器是一种基于注意力的新图形神经网络体系结构，称为\ emph {topoformer}，它使用DAG的不同拓扑转换来传递消息。由编码器产生的节点嵌入被转换为节点优先级，解码器使用这些嵌入，以生成概率分布对拓扑顺序。我们在称为分层图的合成生成图的数据集上训练我们的模型。我们表明，我们的模型的表现优于或在PAR上，具有多个拓扑排序基线，同时在最多2K节点的合成图上明显更快。我们还在一组现实世界计算图上训练和测试我们的模型，显示了性能的改进。

Graph neural networks (GNNs) have received remarkable success in link prediction (GNNLP) tasks. Existing efforts first predefine the subgraph for the whole dataset and then apply GNNs to encode edge representations by leveraging the neighborhood structure induced by the fixed subgraph. The prominence of GNNLP methods significantly relies on the adhoc subgraph. Since node connectivity in real-world graphs is complex, one shared subgraph is limited for all edges. Thus, the choices of subgraphs should be personalized to different edges. However, performing personalized subgraph selection is nontrivial since the potential selection space grows exponentially to the scale of edges. Besides, the inference edges are not available during training in link prediction scenarios, so the selection process needs to be inductive. To bridge the gap, we introduce a Personalized Subgraph Selector (PS2) as a plug-and-play framework to automatically, personally, and inductively identify optimal subgraphs for different edges when performing GNNLP. PS2 is instantiated as a bi-level optimization problem that can be efficiently solved differently. Coupling GNNLP models with PS2, we suggest a brand-new angle towards GNNLP training: by first identifying the optimal subgraphs for edges; and then focusing on training the inference model by using the sampled subgraphs. Comprehensive experiments endorse the effectiveness of our proposed method across various GNNLP backbones (GCN, GraphSage, NGCF, LightGCN, and SEAL) and diverse benchmarks (Planetoid, OGB, and Recommendation datasets). Our code is publicly available at \url{https://github.com/qiaoyu-tan/PS2}

异构信息网络（HIN）捕获各种实体之间的复杂关系，并已广泛用于提高各种数据挖掘任务的有效性，例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识，可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序，手工制作方法的方法太繁琐，并且容易出错。为了解决这个问题，我们提出了基于加强学习的元路径选择（RMS）框架，以选择有效的元路径，并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径，RMS列举了基于加强学习（RL）的策略网络（代理），从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型，HREC，有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案，RMS-HREC，它自动使用有效的元路径。实验对实时数据集表明，我们的算法通过自动捕获重要元路径，可以显着提高推荐模型的性能。

最近从静态图中学习了最近的成功，但是尽管存在普遍存在，但从时间不断发展的图表中学习仍然具有挑战性。我们为特定于动态图的链接预测设计了新的，更严格的评估程序，这些预测反映了现实世界的考虑，并且可以更好地比较不同的方法的优势和劣势。特别是，我们创建了两种可视化技术，以了解随着时间的推移的重复图案。他们表明，以后的时间步骤重复了许多边缘。因此，我们提出了一个称为EdgeBank的纯记忆基线。它在多个设置中实现了令人惊讶的强劲性能，部分原因是当前评估设置中使用的简单负面边缘。因此，我们引入了另外两种具有挑战性的负面抽样策略，可以改善鲁棒性，并可以更好地匹配现实世界的应用程序。最后，我们从当前基准中缺少各种域中介绍了五个新的动态图数据集，从而为未来的研究提供了新的挑战和机会。

由于知识图表提供的丰富信息，基于路径的可解释的推荐系统的最新进展引起了更大的关注。最现有的可解释的建议仅利用静态知识图表并忽略动态用户项演进，导致不太令人信服和不准确的解释。虽然有一些作品，但意识到建模用户的时间顺序行为可以提高推荐器系统的性能和解释性，其中大多数只关注用户在路径内的顺序交互或独立和单独的推荐机制。在本文中，我们提出了一种新颖的时间元路径指导可解释的推荐利用加强学习（TMER-RL），它利用了连续项目之间的加强项 - 项目路径建模，其注意机制在动态知识图上顺序模拟动态用户项演进用于解释的建议。与使用繁重的经常性神经网络模拟时间信息的现有作品相比，我们提出了简单但有效的神经网络，以捕获用户的历史项目功能和基于路径的上下文，以表征下一个购买的项目。与最近的强大基线相比，两个真实数据集的TMMER广泛评估显示了最先进的表现。