这项工作引入了离题，这是一种用于生成具有分类节点和边缘属性图的图形的离散denoising扩散模型。我们的模型定义了一个扩散过程，该过程逐步编辑了具有噪声（添加或删除边缘，更改类别）的图形以及学会恢复此过程的图形变压器网络。有了这两种成分，我们将分布学习将上的分布学习减少到一个简单的分类任务序列。我们通过提出一个新的马尔可夫噪声模型来进一步提高样品质量，该模型在扩散过程中保留节点和边缘类型的边际分布，并通过在每个扩散步骤中添加从嘈杂图中得出的辅助图理论特征。最后，我们提出了一个指导程序，以根据图形级特征调理生成。总体而言，离题可以在分子和非分子数据集上达到最新性能，在平面图数据集上，有效性提高了3倍。特别是，这是第一个模型，将鳞片缩放到包含130万个药物样分子的大型鳄梨调子数据集，而无需使用分子特异性表示，例如微笑或片段。

这项工作引入了3D分子生成的扩散模型，该模型与欧几里得转化一样。我们的e（3）e象扩散模型（EDM）学会了通过均衡网络的扩散过程，该网络共同在连续（原子坐标）和分类特征（原子类型）上共同运行。此外，我们提供了一种概率分析，该分析使用我们的模型接受了分子的可能性计算。在实验上，所提出的方法显着优于先前关于生成样品质量和训练时效率的3D分子生成方法。

分子的产生，尤其是从头开始产生3D分子几何形状（即3D \ textit {de Novo} Generation）已成为药物设计中的一项基本任务。现有的基于扩散的3D分子生成方法可能会遭受性能不令人满意的性能，尤其是在产生大分子时。同时，产生的分子缺乏足够的多样性。本文提出了一个新的扩散模型，以应对这两个挑战。首先，原子关系不在分子的3D点云表示中。因此，现有生成模型很难捕获潜在的原子间力和丰富的局部约束。为了应对这一挑战，我们建议增强潜在的原子间力，并进一步涉及双重模棱两可的编码器，以编码不同强度的原子质力。其次，现有的基于扩散的模型基本上是沿数据密度梯度的几何元素。这样的过程在Langevin动力学的中间步骤中缺乏足够的探索。为了解决这个问题，我们在每个扩散/反向步骤中引入了一个分布控制变量，以实施彻底的探索并进一步改善发电多样性。对多个基准测试的广泛实验表明，所提出的模型明显优于无条件和条件生成任务的现有方法。我们还进行案例研究以帮助了解产生分子的理化特性。

我们考虑一拍概率解码器，该解码器在分布上映射到集合或图形之前的矢量形状。这些功能可以集成到变分性自动化器（VAE），生成的对抗网络（GAN）或标准化流动中，并在药物发现中具有重要应用。设置和图形生成最常通过生成点（有时是边缘权重）i.i.d.从正态分布，使用变压器层或图形神经网络处理它们以及先前的向量。该架构旨在产生可交换的分布（集合的所有排列同样可能），但由于I.I.D的随机性，难以训练。一代。我们提出了一种新的对抗性定义，并表明，VAES和GAN中的交换性实际上是不必要的。然后，我们引入TOP-N，一个确定性，不可交换的集合创建机制，该创建机制学会从培训参考集中选择最相关的点。 Top-n可以替换i.i.d.在任何VAE或GaN中生成 - 它更容易训练，更好地捕获数据中的复杂依赖关系。 Top-n优于I.I.D在SetMnist重建时生成15％，生成较近合成分子数据集的真正分布的34％的集合，并且能够在经典QM9数据集上培训时产生更多样化的分子。随着一次性生成的改进基础，我们的算法有助于设计更有效的分子生成方法。

我们从光谱的角度解决图形生成问题，首先生成图形laplacian光谱的主要部分，然后构建与这些特征值和特征向量相匹配的图。光谱调节允许直接建模全局和局部图结构，并有助于克服单发图生成器的表达性和模式崩溃问题。我们的新颖的甘（Spectre）称为Spectre，可以使用一声模型来产生比以前可能更大的图。Spectre的表现优于最先进的深度自动回归发电机在建模忠诚方面，同时还避免了昂贵的顺序产生和对节点排序的依赖。一个很好的例子，在相当大的合成和现实图形中，Specter的幽灵比最佳竞争对手的最佳竞争对手的改进是4到170倍，该竞争对手不合适，比自回旋发电机快23至30倍。

在本文中，我们提出了多分辨率的等级图变分性Autiachoders（MGVAE），第一层级生成模型以多分辨率和等分的方式学习和生成图。在每个分辨率级别，MGVAE采用更高的顺序消息，以便在学习中对图进行编码，同时学习将其分配到互斥的集群中并赋予最终产生潜在分布的层次结构的较低分辨率。然后，MGVAE构造分层生成模型以改变地解码成粗糙的图形的层次。重要的是，我们提出的框架是关于节点排序的端到端排列等级。MGVAE通过多种生成任务实现竞争结果，包括一般图生成，分子产生，无监督的分子表示学习，以预测分子特性，引用图的链路预测，以及基于图的图像生成。

Denoising diffusion probabilistic models and score matching models have proven to be very powerful for generative tasks. While these approaches have also been applied to the generation of discrete graphs, they have, so far, relied on continuous Gaussian perturbations. Instead, in this work, we suggest using discrete noise for the forward Markov process. This ensures that in every intermediate step the graph remains discrete. Compared to the previous approach, our experimental results on four datasets and multiple architectures show that using a discrete noising process results in higher quality generated samples indicated with an average MMDs reduced by a factor of 1.5. Furthermore, the number of denoising steps is reduced from 1000 to 32 steps leading to a 30 times faster sampling procedure.

Learning the underlying distribution of molecular graphs and generating high-fidelity samples is a fundamental research problem in drug discovery and material science. However, accurately modeling distribution and rapidly generating novel molecular graphs remain crucial and challenging goals. To accomplish these goals, we propose a novel Conditional Diffusion model based on discrete Graph Structures (CDGS) for molecular graph generation. Specifically, we construct a forward graph diffusion process on both graph structures and inherent features through stochastic differential equations (SDE) and derive discrete graph structures as the condition for reverse generative processes. We present a specialized hybrid graph noise prediction model that extracts the global context and the local node-edge dependency from intermediate graph states. We further utilize ordinary differential equation (ODE) solvers for efficient graph sampling, based on the semi-linear structure of the probability flow ODE. Experiments on diverse datasets validate the effectiveness of our framework. Particularly, the proposed method still generates high-quality molecular graphs in a limited number of steps.

图表无处不在地编码许多域中现实世界对象的关系信息。图形生成的目的是从类似于观察到的图形的分布中生成新图形，由于深度学习模型的最新进展，人们的关注越来越大。在本文中，我们对现有的图形生成文献进行了全面综述，从各种新兴方法到其广泛的应用领域。具体来说，我们首先提出了深图生成的问题，并与几个相关的图形学习任务讨论了它的差异。其次，我们根据模型架构将最新方法分为三类，并总结其生成策略。第三，我们介绍了深图生成的三个关键应用领域。最后，我们重点介绍了深图生成的未来研究中的挑战和机遇。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

生成图形结构化数据需要学习图形的基础分布。然而，这是一个具有挑战性的问题，先前的图生成方法要么无法捕获图形的置换率属性，要么无法充分对节点和边缘之间的复杂依赖性进行建模，这对于生成现实世界图（例如分子）至关重要。为了克服此类局限性，我们为具有连续时间框架的图形提出了一种基于分数的新型生成模型。具体而言，我们提出了一个新的图扩散过程，该过程通过随机微分方程（SDE）系统建模节点和边缘的联合分布。然后，我们得出了针对建议的扩散过程量身定制的新的分数匹配目标，以估算关节对数密度相对于每个组件的梯度，并为SDE系统引入一个新的求解器，以从反向扩散过程中有效采样。我们验证了不同数据集的图形生成方法，在该数据集上，它要么在其上取得了比基线显着或竞争性能的。进一步的分析表明，我们的方法能够生成接近训练分布但不违反化学价值规则的分子，从而证明了SDE系统在建模节点边缘关系中的有效性。我们的代码可在https://github.com/harryjo97/gdss上找到。

本文介绍了欧几里德对称的生成模型：E（n）等分反的归一化流量（E-NFS）。为了构建E-NFS，我们采用鉴别性E（n）图神经网络，并将它们集成为微分方程，以获得可逆的等式功能：连续时间归一化流量。我们展示了E-NFS在诸如DW4和LJ13的粒子系统中的文献中的基础和现有方法，以及QM9的分子在对数似然方面。据我们所知，这是第一次流动，共同生成3D中的分子特征和位置。

Generating molecules that bind to specific proteins is an important but challenging task in drug discovery. Previous works usually generate atoms in an auto-regressive way, where element types and 3D coordinates of atoms are generated one by one. However, in real-world molecular systems, the interactions among atoms in an entire molecule are global, leading to the energy function pair-coupled among atoms. With such energy-based consideration, the modeling of probability should be based on joint distributions, rather than sequentially conditional ones. Thus, the unnatural sequentially auto-regressive modeling of molecule generation is likely to violate the physical rules, thus resulting in poor properties of the generated molecules. In this work, a generative diffusion model for molecular 3D structures based on target proteins as contextual constraints is established, at a full-atom level in a non-autoregressive way. Given a designated 3D protein binding site, our model learns the generative process that denoises both element types and 3D coordinates of an entire molecule, with an equivariant network. Experimentally, the proposed method shows competitive performance compared with prevailing works in terms of high affinity with proteins and appropriate molecule sizes as well as other drug properties such as drug-likeness of the generated molecules.

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

We consider the problem of modelling high-dimensional distributions and generating new examples of data with complex relational feature structure coherent with a graph skeleton. The model we propose tackles the problem of generating the data features constrained by the specific graph structure of each data point by splitting the task into two phases. In the first it models the distribution of features associated with the nodes of the given graph, in the second it complements the edge features conditionally on the node features. We follow the strategy of implicit distribution modelling via generative adversarial network (GAN) combined with permutation equivariant message passing architecture operating over the sets of nodes and edges. This enables generating the feature vectors of all the graph objects in one go (in 2 phases) as opposed to a much slower one-by-one generations of sequential models, prevents the need for expensive graph matching procedures usually needed for likelihood-based generative models, and uses efficiently the network capacity by being insensitive to the particular node ordering in the graph representation. To the best of our knowledge, this is the first method that models the feature distribution along the graph skeleton allowing for generations of annotated graphs with user specified structures. Our experiments demonstrate the ability of our model to learn complex structured distributions through quantitative evaluation over three annotated graph datasets.

Graph generative models have broad applications in biology, chemistry and social science. However, modelling and understanding the generative process of graphs is challenging due to the discrete and high-dimensional nature of graphs, as well as permutation invariance to node orderings in underlying graph distributions. Current leading autoregressive models fail to capture the permutation invariance nature of graphs for the reliance on generation ordering and have high time complexity. Here, we propose a continuous-time generative diffusion process for permutation invariant graph generation to mitigate these issues. Specifically, we first construct a forward diffusion process defined by a stochastic differential equation (SDE), which smoothly converts graphs within the complex distribution to random graphs that follow a known edge probability. Solving the corresponding reverse-time SDE, graphs can be generated from newly sampled random graphs. To facilitate the reverse-time SDE, we newly design a position-enhanced graph score network, capturing the evolving structure and position information from perturbed graphs for permutation equivariant score estimation. Under the evaluation of comprehensive metrics, our proposed generative diffusion process achieves competitive performance in graph distribution learning. Experimental results also show that GraphGDP can generate high-quality graphs in only 24 function evaluations, much faster than previous autoregressive models.

最近，在对图形结构数据上应用深度神经网络有很大的成功。然而，大多数工作侧重于节点或图形级监督学习，例如节点，链接或图形分类或节点级无监督学习（例如节点群集）。尽管其应用广泛，但图表级无监督的学习尚未受到很多关注。这可能主要归因于图形的高表示复杂性，可以由n表示！等效邻接矩阵，其中n是节点的数量。在这项工作中，我们通过提出用于图形结构数据的置换不变变化自动码器来解决此问题。我们所提出的模型间接学习以匹配输入和输出图的节点排序，而不施加特定节点排序或执行昂贵的图形匹配。我们展示了我们提出模型对各种图形重建和生成任务的有效性，并评估了下游图形水平分类和回归提取的表示的表现力。

图形生成建模中讨论的最多的一个问题之一是表示的排序。一个解决方案包括使用等分性的生成功能，确保排序不变性。在讨论了这种功能的一些性质之后，我们提出了3G-GaN，这是一个依赖于GAN和等价函数的3级模型。该模型仍在开发中。但是，我们展示了一些鼓励探索性实验，并讨论仍有待解决的问题。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。