生成图形结构化数据需要学习图形的基础分布。然而，这是一个具有挑战性的问题，先前的图生成方法要么无法捕获图形的置换率属性，要么无法充分对节点和边缘之间的复杂依赖性进行建模，这对于生成现实世界图（例如分子）至关重要。为了克服此类局限性，我们为具有连续时间框架的图形提出了一种基于分数的新型生成模型。具体而言，我们提出了一个新的图扩散过程，该过程通过随机微分方程（SDE）系统建模节点和边缘的联合分布。然后，我们得出了针对建议的扩散过程量身定制的新的分数匹配目标，以估算关节对数密度相对于每个组件的梯度，并为SDE系统引入一个新的求解器，以从反向扩散过程中有效采样。我们验证了不同数据集的图形生成方法，在该数据集上，它要么在其上取得了比基线显着或竞争性能的。进一步的分析表明，我们的方法能够生成接近训练分布但不违反化学价值规则的分子，从而证明了SDE系统在建模节点边缘关系中的有效性。我们的代码可在https://github.com/harryjo97/gdss上找到。

Learning the underlying distribution of molecular graphs and generating high-fidelity samples is a fundamental research problem in drug discovery and material science. However, accurately modeling distribution and rapidly generating novel molecular graphs remain crucial and challenging goals. To accomplish these goals, we propose a novel Conditional Diffusion model based on discrete Graph Structures (CDGS) for molecular graph generation. Specifically, we construct a forward graph diffusion process on both graph structures and inherent features through stochastic differential equations (SDE) and derive discrete graph structures as the condition for reverse generative processes. We present a specialized hybrid graph noise prediction model that extracts the global context and the local node-edge dependency from intermediate graph states. We further utilize ordinary differential equation (ODE) solvers for efficient graph sampling, based on the semi-linear structure of the probability flow ODE. Experiments on diverse datasets validate the effectiveness of our framework. Particularly, the proposed method still generates high-quality molecular graphs in a limited number of steps.

Graph generative models have broad applications in biology, chemistry and social science. However, modelling and understanding the generative process of graphs is challenging due to the discrete and high-dimensional nature of graphs, as well as permutation invariance to node orderings in underlying graph distributions. Current leading autoregressive models fail to capture the permutation invariance nature of graphs for the reliance on generation ordering and have high time complexity. Here, we propose a continuous-time generative diffusion process for permutation invariant graph generation to mitigate these issues. Specifically, we first construct a forward diffusion process defined by a stochastic differential equation (SDE), which smoothly converts graphs within the complex distribution to random graphs that follow a known edge probability. Solving the corresponding reverse-time SDE, graphs can be generated from newly sampled random graphs. To facilitate the reverse-time SDE, we newly design a position-enhanced graph score network, capturing the evolving structure and position information from perturbed graphs for permutation equivariant score estimation. Under the evaluation of comprehensive metrics, our proposed generative diffusion process achieves competitive performance in graph distribution learning. Experimental results also show that GraphGDP can generate high-quality graphs in only 24 function evaluations, much faster than previous autoregressive models.

基于分数的生成模型（SGMS）已经证明了显着的合成质量。 SGMS依赖于扩散过程，逐渐将数据逐渐渗透到贸易分布，而生成式模型则学会去噪。除了数据分布本身，这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散，导致不必要的复杂的去噪流程，限制了生成的建模性能。根据与统计力学的联系，我们提出了一种新型危及阻尼Langevin扩散（CLD），并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散，其中辅助变量可以被视为耦合到数据变量的“速度”，如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标，并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数，而不是直接学习数据的分数。我们还导出了一种新的采样方案，用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解，并且可以随时用于高分辨率图像合成。项目页面和代码：https：//nv-tlabs.github.io/cld-sgm。

图表无处不在地编码许多域中现实世界对象的关系信息。图形生成的目的是从类似于观察到的图形的分布中生成新图形，由于深度学习模型的最新进展，人们的关注越来越大。在本文中，我们对现有的图形生成文献进行了全面综述，从各种新兴方法到其广泛的应用领域。具体来说，我们首先提出了深图生成的问题，并与几个相关的图形学习任务讨论了它的差异。其次，我们根据模型架构将最新方法分为三类，并总结其生成策略。第三，我们介绍了深图生成的三个关键应用领域。最后，我们重点介绍了深图生成的未来研究中的挑战和机遇。

分子的产生，尤其是从头开始产生3D分子几何形状（即3D \ textit {de Novo} Generation）已成为药物设计中的一项基本任务。现有的基于扩散的3D分子生成方法可能会遭受性能不令人满意的性能，尤其是在产生大分子时。同时，产生的分子缺乏足够的多样性。本文提出了一个新的扩散模型，以应对这两个挑战。首先，原子关系不在分子的3D点云表示中。因此，现有生成模型很难捕获潜在的原子间力和丰富的局部约束。为了应对这一挑战，我们建议增强潜在的原子间力，并进一步涉及双重模棱两可的编码器，以编码不同强度的原子质力。其次，现有的基于扩散的模型基本上是沿数据密度梯度的几何元素。这样的过程在Langevin动力学的中间步骤中缺乏足够的探索。为了解决这个问题，我们在每个扩散/反向步骤中引入了一个分布控制变量，以实施彻底的探索并进一步改善发电多样性。对多个基准测试的广泛实验表明，所提出的模型明显优于无条件和条件生成任务的现有方法。我们还进行案例研究以帮助了解产生分子的理化特性。

Denoising diffusion probabilistic models and score matching models have proven to be very powerful for generative tasks. While these approaches have also been applied to the generation of discrete graphs, they have, so far, relied on continuous Gaussian perturbations. Instead, in this work, we suggest using discrete noise for the forward Markov process. This ensures that in every intermediate step the graph remains discrete. Compared to the previous approach, our experimental results on four datasets and multiple architectures show that using a discrete noising process results in higher quality generated samples indicated with an average MMDs reduced by a factor of 1.5. Furthermore, the number of denoising steps is reduced from 1000 to 32 steps leading to a 30 times faster sampling procedure.

这项工作引入了离题，这是一种用于生成具有分类节点和边缘属性图的图形的离散denoising扩散模型。我们的模型定义了一个扩散过程，该过程逐步编辑了具有噪声（添加或删除边缘，更改类别）的图形以及学会恢复此过程的图形变压器网络。有了这两种成分，我们将分布学习将上的分布学习减少到一个简单的分类任务序列。我们通过提出一个新的马尔可夫噪声模型来进一步提高样品质量，该模型在扩散过程中保留节点和边缘类型的边际分布，并通过在每个扩散步骤中添加从嘈杂图中得出的辅助图理论特征。最后，我们提出了一个指导程序，以根据图形级特征调理生成。总体而言，离题可以在分子和非分子数据集上达到最新性能，在平面图数据集上，有效性提高了3倍。特别是，这是第一个模型，将鳞片缩放到包含130万个药物样分子的大型鳄梨调子数据集，而无需使用分子特异性表示，例如微笑或片段。

这项工作引入了3D分子生成的扩散模型，该模型与欧几里得转化一样。我们的e（3）e象扩散模型（EDM）学会了通过均衡网络的扩散过程，该网络共同在连续（原子坐标）和分类特征（原子类型）上共同运行。此外，我们提供了一种概率分析，该分析使用我们的模型接受了分子的可能性计算。在实验上，所提出的方法显着优于先前关于生成样品质量和训练时效率的3D分子生成方法。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

我们从光谱的角度解决图形生成问题，首先生成图形laplacian光谱的主要部分，然后构建与这些特征值和特征向量相匹配的图。光谱调节允许直接建模全局和局部图结构，并有助于克服单发图生成器的表达性和模式崩溃问题。我们的新颖的甘（Spectre）称为Spectre，可以使用一声模型来产生比以前可能更大的图。Spectre的表现优于最先进的深度自动回归发电机在建模忠诚方面，同时还避免了昂贵的顺序产生和对节点排序的依赖。一个很好的例子，在相当大的合成和现实图形中，Specter的幽灵比最佳竞争对手的最佳竞争对手的改进是4到170倍，该竞争对手不合适，比自回旋发电机快23至30倍。

在本文中，我们提出了多分辨率的等级图变分性Autiachoders（MGVAE），第一层级生成模型以多分辨率和等分的方式学习和生成图。在每个分辨率级别，MGVAE采用更高的顺序消息，以便在学习中对图进行编码，同时学习将其分配到互斥的集群中并赋予最终产生潜在分布的层次结构的较低分辨率。然后，MGVAE构造分层生成模型以改变地解码成粗糙的图形的层次。重要的是，我们提出的框架是关于节点排序的端到端排列等级。MGVAE通过多种生成任务实现竞争结果，包括一般图生成，分子产生，无监督的分子表示学习，以预测分子特性，引用图的链路预测，以及基于图的图像生成。

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

Molecular dynamics (MD) has long been the de facto choice for simulating complex atomistic systems from first principles. Recently deep learning models become a popular way to accelerate MD. Notwithstanding, existing models depend on intermediate variables such as the potential energy or force fields to update atomic positions, which requires additional computations to perform back-propagation. To waive this requirement, we propose a novel model called DiffMD by directly estimating the gradient of the log density of molecular conformations. DiffMD relies on a score-based denoising diffusion generative model that perturbs the molecular structure with a conditional noise depending on atomic accelerations and treats conformations at previous timeframes as the prior distribution for sampling. Another challenge of modeling such a conformation generation process is that a molecule is kinetic instead of static, which no prior works have strictly studied. To solve this challenge, we propose an equivariant geometric Transformer as the score function in the diffusion process to calculate corresponding gradients. It incorporates the directions and velocities of atomic motions via 3D spherical Fourier-Bessel representations. With multiple architectural improvements, we outperform state-of-the-art baselines on MD17 and isomers of C7O2H10 datasets. This work contributes to accelerating material and drug discovery.

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

本文介绍了欧几里德对称的生成模型：E（n）等分反的归一化流量（E-NFS）。为了构建E-NFS，我们采用鉴别性E（n）图神经网络，并将它们集成为微分方程，以获得可逆的等式功能：连续时间归一化流量。我们展示了E-NFS在诸如DW4和LJ13的粒子系统中的文献中的基础和现有方法，以及QM9的分子在对数似然方面。据我们所知，这是第一次流动，共同生成3D中的分子特征和位置。

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

我们的目标是将denoisis扩散隐式模型（DDIM）扩展到一般扩散模型〜（DMS）。我们没有像原始DDIM论文那样构建非马尔科夫no噪声过程，而是从数值的角度研究了DDIM的机制。我们发现，在求解相应的随机微分方程时，可以通过使用分数的一些特定近似值来获得DDIM。我们提出了DDIM加速效应的解释，该解释还解释了确定性抽样方案的优势，而不是随机采样方案进行快速采样。在此洞察力的基础上，我们将DDIM扩展到一般的DMS，并在参数化分数网络时进行了小而微妙的修改。当应用于批判性抑制的Langevin扩散模型时，最近提出的一种新型的扩散模型通过以速度增强扩散过程，我们的算法在CIFAR10上达到了2.28的FID分数，仅具有50个数量的得分功能评估（NFES）（NFES〜（NFES） ）和仅有27个NFE的FID分数为2.87，比所有具有相同NFE的现有方法要好。代码可从https://github.com/qsh-zh/gddim获得

基于分数的生成模型（SGMS）最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是，它们通常直接应用于数据空间，并且通常需要数千个网络评估来采样。在这里，我们提出了基于潜在的分数的生成模型（LSGM），这是一种在潜在空间中培训SGM的新方法，依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型，将SGMS应用于非连续数据，并在较小的空间中学习更顺畅的SGM，导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端，我们（i）我们（i）引入了适合于LSGM设置的新分数匹配目标，（ii）提出了一个新颖的分数函数参数化，允许SGM专注于关于简单正常的目标分布的不匹配，（III）分析了多种技术，用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10，优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上，LSGM在样品质量上与先前的SGMS相同，同时以两个数量级的采样时间表现出来。在模拟二进制图像中，LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。

图形结构数据的深层生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可区分模型，可以在化学结构的离散和广阔空间中侧键入昂贵的搜索程序。我们介绍了Molgan，这是一种用于小分子图的隐式，无似然生成模型，它规避了对以前基于可能性的方法的昂贵图形匹配程序或节点订购启发式方法的需求。我们的方法适应生成对抗网络（GAN）直接在图形结构数据上操作。我们将方法与增强学习目标结合起来，以鼓励具有特定所需化学特性的分子产生。在QM9化学数据库的实验中，我们证明了我们的模型能够生成接近100％有效化合物。莫尔根（Molgan）与最近使用基于字符串的分子表示（微笑）表示的提案和基于似然的方法直接生成图的方法进行了比较。 https://github.com/nicola-decao/molgan上的代码