图表无处不在地编码许多域中现实世界对象的关系信息。图形生成的目的是从类似于观察到的图形的分布中生成新图形，由于深度学习模型的最新进展，人们的关注越来越大。在本文中，我们对现有的图形生成文献进行了全面综述，从各种新兴方法到其广泛的应用领域。具体来说，我们首先提出了深图生成的问题，并与几个相关的图形学习任务讨论了它的差异。其次，我们根据模型架构将最新方法分为三类，并总结其生成策略。第三，我们介绍了深图生成的三个关键应用领域。最后，我们重点介绍了深图生成的未来研究中的挑战和机遇。

人工智能（AI）在过去十年中一直在改变药物发现的实践。各种AI技术已在广泛的应用中使用，例如虚拟筛选和药物设计。在本调查中，我们首先概述了药物发现，并讨论了相关的应用，可以减少到两个主要任务，即分子性质预测和分子产生。然后，我们讨论常见的数据资源，分子表示和基准平台。此外，为了总结AI在药物发现中的进展情况，我们介绍了在调查的论文中包括模型架构和学习范式的相关AI技术。我们预计本调查将作为有兴趣在人工智能和药物发现界面工作的研究人员的指南。我们还提供了GitHub存储库（HTTPS:///github.com/dengjianyuan/survey_survey_au_drug_discovery），其中包含文件和代码，如适用，作为定期更新的学习资源。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

Learning the underlying distribution of molecular graphs and generating high-fidelity samples is a fundamental research problem in drug discovery and material science. However, accurately modeling distribution and rapidly generating novel molecular graphs remain crucial and challenging goals. To accomplish these goals, we propose a novel Conditional Diffusion model based on discrete Graph Structures (CDGS) for molecular graph generation. Specifically, we construct a forward graph diffusion process on both graph structures and inherent features through stochastic differential equations (SDE) and derive discrete graph structures as the condition for reverse generative processes. We present a specialized hybrid graph noise prediction model that extracts the global context and the local node-edge dependency from intermediate graph states. We further utilize ordinary differential equation (ODE) solvers for efficient graph sampling, based on the semi-linear structure of the probability flow ODE. Experiments on diverse datasets validate the effectiveness of our framework. Particularly, the proposed method still generates high-quality molecular graphs in a limited number of steps.

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

We consider the problem of modelling high-dimensional distributions and generating new examples of data with complex relational feature structure coherent with a graph skeleton. The model we propose tackles the problem of generating the data features constrained by the specific graph structure of each data point by splitting the task into two phases. In the first it models the distribution of features associated with the nodes of the given graph, in the second it complements the edge features conditionally on the node features. We follow the strategy of implicit distribution modelling via generative adversarial network (GAN) combined with permutation equivariant message passing architecture operating over the sets of nodes and edges. This enables generating the feature vectors of all the graph objects in one go (in 2 phases) as opposed to a much slower one-by-one generations of sequential models, prevents the need for expensive graph matching procedures usually needed for likelihood-based generative models, and uses efficiently the network capacity by being insensitive to the particular node ordering in the graph representation. To the best of our knowledge, this is the first method that models the feature distribution along the graph skeleton allowing for generations of annotated graphs with user specified structures. Our experiments demonstrate the ability of our model to learn complex structured distributions through quantitative evaluation over three annotated graph datasets.

图形结构数据的深层生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可区分模型，可以在化学结构的离散和广阔空间中侧键入昂贵的搜索程序。我们介绍了Molgan，这是一种用于小分子图的隐式，无似然生成模型，它规避了对以前基于可能性的方法的昂贵图形匹配程序或节点订购启发式方法的需求。我们的方法适应生成对抗网络（GAN）直接在图形结构数据上操作。我们将方法与增强学习目标结合起来，以鼓励具有特定所需化学特性的分子产生。在QM9化学数据库的实验中，我们证明了我们的模型能够生成接近100％有效化合物。莫尔根（Molgan）与最近使用基于字符串的分子表示（微笑）表示的提案和基于似然的方法直接生成图的方法进行了比较。 https://github.com/nicola-decao/molgan上的代码

生成图形结构化数据需要学习图形的基础分布。然而，这是一个具有挑战性的问题，先前的图生成方法要么无法捕获图形的置换率属性，要么无法充分对节点和边缘之间的复杂依赖性进行建模，这对于生成现实世界图（例如分子）至关重要。为了克服此类局限性，我们为具有连续时间框架的图形提出了一种基于分数的新型生成模型。具体而言，我们提出了一个新的图扩散过程，该过程通过随机微分方程（SDE）系统建模节点和边缘的联合分布。然后，我们得出了针对建议的扩散过程量身定制的新的分数匹配目标，以估算关节对数密度相对于每个组件的梯度，并为SDE系统引入一个新的求解器，以从反向扩散过程中有效采样。我们验证了不同数据集的图形生成方法，在该数据集上，它要么在其上取得了比基线显着或竞争性能的。进一步的分析表明，我们的方法能够生成接近训练分布但不违反化学价值规则的分子，从而证明了SDE系统在建模节点边缘关系中的有效性。我们的代码可在https://github.com/harryjo97/gdss上找到。

Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.

在本文中，我们提出了多分辨率的等级图变分性Autiachoders（MGVAE），第一层级生成模型以多分辨率和等分的方式学习和生成图。在每个分辨率级别，MGVAE采用更高的顺序消息，以便在学习中对图进行编码，同时学习将其分配到互斥的集群中并赋予最终产生潜在分布的层次结构的较低分辨率。然后，MGVAE构造分层生成模型以改变地解码成粗糙的图形的层次。重要的是，我们提出的框架是关于节点排序的端到端排列等级。MGVAE通过多种生成任务实现竞争结果，包括一般图生成，分子产生，无监督的分子表示学习，以预测分子特性，引用图的链路预测，以及基于图的图像生成。

这项工作引入了离题，这是一种用于生成具有分类节点和边缘属性图的图形的离散denoising扩散模型。我们的模型定义了一个扩散过程，该过程逐步编辑了具有噪声（添加或删除边缘，更改类别）的图形以及学会恢复此过程的图形变压器网络。有了这两种成分，我们将分布学习将上的分布学习减少到一个简单的分类任务序列。我们通过提出一个新的马尔可夫噪声模型来进一步提高样品质量，该模型在扩散过程中保留节点和边缘类型的边际分布，并通过在每个扩散步骤中添加从嘈杂图中得出的辅助图理论特征。最后，我们提出了一个指导程序，以根据图形级特征调理生成。总体而言，离题可以在分子和非分子数据集上达到最新性能，在平面图数据集上，有效性提高了3倍。特别是，这是第一个模型，将鳞片缩放到包含130万个药物样分子的大型鳄梨调子数据集，而无需使用分子特异性表示，例如微笑或片段。

生物医学网络是与疾病网络的蛋白质相互作用的普遍描述符，从蛋白质相互作用，一直到医疗保健系统和科学知识。随着代表学习提供强大的预测和洞察的显着成功，我们目睹了表现形式学习技术的快速扩展，进入了这些网络的建模，分析和学习。在这篇综述中，我们提出了一个观察到生物学和医学中的网络长期原则 - 而在机器学习研究中经常出口 - 可以为代表学习提供概念基础，解释其当前的成功和限制，并告知未来进步。我们综合了一系列算法方法，即在其核心利用图形拓扑到将网络嵌入到紧凑的向量空间中，并捕获表示陈述学习证明有用的方式的广度。深远的影响包括鉴定复杂性状的变异性，单细胞的异心行为及其对健康的影响，协助患者的诊断和治疗以及制定安全有效的药物。

我们考虑一拍概率解码器，该解码器在分布上映射到集合或图形之前的矢量形状。这些功能可以集成到变分性自动化器（VAE），生成的对抗网络（GAN）或标准化流动中，并在药物发现中具有重要应用。设置和图形生成最常通过生成点（有时是边缘权重）i.i.d.从正态分布，使用变压器层或图形神经网络处理它们以及先前的向量。该架构旨在产生可交换的分布（集合的所有排列同样可能），但由于I.I.D的随机性，难以训练。一代。我们提出了一种新的对抗性定义，并表明，VAES和GAN中的交换性实际上是不必要的。然后，我们引入TOP-N，一个确定性，不可交换的集合创建机制，该创建机制学会从培训参考集中选择最相关的点。 Top-n可以替换i.i.d.在任何VAE或GaN中生成 - 它更容易训练，更好地捕获数据中的复杂依赖关系。 Top-n优于I.I.D在SetMnist重建时生成15％，生成较近合成分子数据集的真正分布的34％的集合，并且能够在经典QM9数据集上培训时产生更多样化的分子。随着一次性生成的改进基础，我们的算法有助于设计更有效的分子生成方法。

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

图形生成建模中讨论的最多的一个问题之一是表示的排序。一个解决方案包括使用等分性的生成功能，确保排序不变性。在讨论了这种功能的一些性质之后，我们提出了3G-GaN，这是一个依赖于GAN和等价函数的3级模型。该模型仍在开发中。但是，我们展示了一些鼓励探索性实验，并讨论仍有待解决的问题。

我们从光谱的角度解决图形生成问题，首先生成图形laplacian光谱的主要部分，然后构建与这些特征值和特征向量相匹配的图。光谱调节允许直接建模全局和局部图结构，并有助于克服单发图生成器的表达性和模式崩溃问题。我们的新颖的甘（Spectre）称为Spectre，可以使用一声模型来产生比以前可能更大的图。Spectre的表现优于最先进的深度自动回归发电机在建模忠诚方面，同时还避免了昂贵的顺序产生和对节点排序的依赖。一个很好的例子，在相当大的合成和现实图形中，Specter的幽灵比最佳竞争对手的最佳竞争对手的改进是4到170倍，该竞争对手不合适，比自回旋发电机快23至30倍。

最近，在对图形结构数据上应用深度神经网络有很大的成功。然而，大多数工作侧重于节点或图形级监督学习，例如节点，链接或图形分类或节点级无监督学习（例如节点群集）。尽管其应用广泛，但图表级无监督的学习尚未受到很多关注。这可能主要归因于图形的高表示复杂性，可以由n表示！等效邻接矩阵，其中n是节点的数量。在这项工作中，我们通过提出用于图形结构数据的置换不变变化自动码器来解决此问题。我们所提出的模型间接学习以匹配输入和输出图的节点排序，而不施加特定节点排序或执行昂贵的图形匹配。我们展示了我们提出模型对各种图形重建和生成任务的有效性，并评估了下游图形水平分类和回归提取的表示的表现力。

分子的产生，尤其是从头开始产生3D分子几何形状（即3D \ textit {de Novo} Generation）已成为药物设计中的一项基本任务。现有的基于扩散的3D分子生成方法可能会遭受性能不令人满意的性能，尤其是在产生大分子时。同时，产生的分子缺乏足够的多样性。本文提出了一个新的扩散模型，以应对这两个挑战。首先，原子关系不在分子的3D点云表示中。因此，现有生成模型很难捕获潜在的原子间力和丰富的局部约束。为了应对这一挑战，我们建议增强潜在的原子间力，并进一步涉及双重模棱两可的编码器，以编码不同强度的原子质力。其次，现有的基于扩散的模型基本上是沿数据密度梯度的几何元素。这样的过程在Langevin动力学的中间步骤中缺乏足够的探索。为了解决这个问题，我们在每个扩散/反向步骤中引入了一个分布控制变量，以实施彻底的探索并进一步改善发电多样性。对多个基准测试的广泛实验表明，所提出的模型明显优于无条件和条件生成任务的现有方法。我们还进行案例研究以帮助了解产生分子的理化特性。