基于AI的分子生成为大量生物医学科学和工程（例如抗体设计，水解酶工程或疫苗开发）提供了一种有希望的方法。由于分子受物理定律的管辖，所以关键的挑战是将先前的信息纳入训练程序中，以产生高质量和现实的分子。我们提出了一种简单而新颖的方法，以引导基于扩散的生成模型培训具有物理和统计的先验信息。这是通过构建物理知情的扩散桥，即保证在固定末端产生给定观察的随机过程来实现的。我们开发了一种基于Lyapunov函数的方法来构建和确定桥梁，并提出了许多有关高质量分子生成和均匀性促进的3D点云生成的信息丰富的先验桥的建议。通过全面的实验，我们表明我们的方法为3D生成任务提供了强大的方法，从而产生具有更好质量和稳定性得分的分子结构，并且具有更高质量的分布点云。

分子的产生，尤其是从头开始产生3D分子几何形状（即3D \ textit {de Novo} Generation）已成为药物设计中的一项基本任务。现有的基于扩散的3D分子生成方法可能会遭受性能不令人满意的性能，尤其是在产生大分子时。同时，产生的分子缺乏足够的多样性。本文提出了一个新的扩散模型，以应对这两个挑战。首先，原子关系不在分子的3D点云表示中。因此，现有生成模型很难捕获潜在的原子间力和丰富的局部约束。为了应对这一挑战，我们建议增强潜在的原子间力，并进一步涉及双重模棱两可的编码器，以编码不同强度的原子质力。其次，现有的基于扩散的模型基本上是沿数据密度梯度的几何元素。这样的过程在Langevin动力学的中间步骤中缺乏足够的探索。为了解决这个问题，我们在每个扩散/反向步骤中引入了一个分布控制变量，以实施彻底的探索并进一步改善发电多样性。对多个基准测试的广泛实验表明，所提出的模型明显优于无条件和条件生成任务的现有方法。我们还进行案例研究以帮助了解产生分子的理化特性。

基于扩散的生成模型最近取得了令人鼓舞的结果，但在概念理解，理论分析，算法改进和扩展到离散，结构化的，非欧盟域的扩展方面提出了一系列开放问题。这项工作试图重新研究整体框架，以获得更好的理论理解并为来自任意域的数据开发算法扩展。通过将扩散模型视为具有未观察到扩散轨迹的潜在变量模型，并应用最大的似然估计（MLE），并用辅助分布估算的潜在轨迹，我们表明，潜在轨迹的模型构建和插入的潜在轨迹构成了构建扩散桥的过程，从而实现了扩散桥梁的过程终点的确定性价值和约束，为此我们提供了系统的研究和一套工具。利用我们的框架，我们提出了1）对学习扩散生成模型的第一个理论错误分析，以及2）一种简单而统一的方法，用于从不同离散和受限域中学习数据。实验表明，我们的方法在生成图像，语义片段和3D点云方面表现出色。

我们提出了一个首次击中扩散模型（FHDM）的家族，该模型是深层生成模型，该模型以扩散过程生成数据，该过程在随机的首次击中时间终止。这产生了在预先指定的确定性时间终止的标准固定时间扩散模型的扩展。尽管标准扩散模型是为连续不受约束的数据而设计的，但FHDM自然设计用于在连续以及一系列离散和结构域上学习分布。此外，FHDM启用依赖实例的终止时间，并加速扩散过程，以更少的扩散步骤采样更高质量的数据。从技术上讲，我们通过根据DOOB的$ h $转换得出的有条件的首次击中过程（即桥）来训练FHDM，以最大的似然估计从观察到的数据增强的扩散轨迹（即桥梁），从而偏离了常用的使用时间反转机制。我们应用FHDM在各个领域中生成数据，例如点云（一般连续分布），地球上的气候和地理事件（球体上的连续分布），未加权图（二进制矩阵的分布）以及2D图像的分割图（高度图像（高） - 二维分配）。我们观察到与质量和速度的最新方法相比，相比之下。

这项工作引入了3D分子生成的扩散模型，该模型与欧几里得转化一样。我们的e（3）e象扩散模型（EDM）学会了通过均衡网络的扩散过程，该网络共同在连续（原子坐标）和分类特征（原子类型）上共同运行。此外，我们提供了一种概率分析，该分析使用我们的模型接受了分子的可能性计算。在实验上，所提出的方法显着优于先前关于生成样品质量和训练时效率的3D分子生成方法。

Generating molecules that bind to specific proteins is an important but challenging task in drug discovery. Previous works usually generate atoms in an auto-regressive way, where element types and 3D coordinates of atoms are generated one by one. However, in real-world molecular systems, the interactions among atoms in an entire molecule are global, leading to the energy function pair-coupled among atoms. With such energy-based consideration, the modeling of probability should be based on joint distributions, rather than sequentially conditional ones. Thus, the unnatural sequentially auto-regressive modeling of molecule generation is likely to violate the physical rules, thus resulting in poor properties of the generated molecules. In this work, a generative diffusion model for molecular 3D structures based on target proteins as contextual constraints is established, at a full-atom level in a non-autoregressive way. Given a designated 3D protein binding site, our model learns the generative process that denoises both element types and 3D coordinates of an entire molecule, with an equivariant network. Experimentally, the proposed method shows competitive performance compared with prevailing works in terms of high affinity with proteins and appropriate molecule sizes as well as other drug properties such as drug-likeness of the generated molecules.

Molecular dynamics (MD) has long been the de facto choice for simulating complex atomistic systems from first principles. Recently deep learning models become a popular way to accelerate MD. Notwithstanding, existing models depend on intermediate variables such as the potential energy or force fields to update atomic positions, which requires additional computations to perform back-propagation. To waive this requirement, we propose a novel model called DiffMD by directly estimating the gradient of the log density of molecular conformations. DiffMD relies on a score-based denoising diffusion generative model that perturbs the molecular structure with a conditional noise depending on atomic accelerations and treats conformations at previous timeframes as the prior distribution for sampling. Another challenge of modeling such a conformation generation process is that a molecule is kinetic instead of static, which no prior works have strictly studied. To solve this challenge, we propose an equivariant geometric Transformer as the score function in the diffusion process to calculate corresponding gradients. It incorporates the directions and velocities of atomic motions via 3D spherical Fourier-Bessel representations. With multiple architectural improvements, we outperform state-of-the-art baselines on MD17 and isomers of C7O2H10 datasets. This work contributes to accelerating material and drug discovery.

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

Molecular conformation generation aims to generate three-dimensional coordinates of all the atoms in a molecule and is an important task in bioinformatics and pharmacology. Previous methods usually first predict the interatomic distances, the gradients of interatomic distances or the local structures (e.g., torsion angles) of a molecule, and then reconstruct its 3D conformation. How to directly generate the conformation without the above intermediate values is not fully explored. In this work, we propose a method that directly predicts the coordinates of atoms: (1) the loss function is invariant to roto-translation of coordinates and permutation of symmetric atoms; (2) the newly proposed model adaptively aggregates the bond and atom information and iteratively refines the coordinates of the generated conformation. Our method achieves the best results on GEOM-QM9 and GEOM-Drugs datasets. Further analysis shows that our generated conformations have closer properties (e.g., HOMO-LUMO gap) with the groundtruth conformations. In addition, our method improves molecular docking by providing better initial conformations. All the results demonstrate the effectiveness of our method and the great potential of the direct approach. The code is released at https://github.com/DirectMolecularConfGen/DMCG

Diffusion models have emerged as a powerful tool for point cloud generation. A key component that drives the impressive performance for generating high-quality samples from noise is iteratively denoise for thousands of steps. While beneficial, the complexity of learning steps has limited its applications to many 3D real-world. To address this limitation, we propose Point Straight Flow (PSF), a model that exhibits impressive performance using one step. Our idea is based on the reformulation of the standard diffusion model, which optimizes the curvy learning trajectory into a straight path. Further, we develop a distillation strategy to shorten the straight path into one step without a performance loss, enabling applications to 3D real-world with latency constraints. We perform evaluations on multiple 3D tasks and find that our PSF performs comparably to the standard diffusion model, outperforming other efficient 3D point cloud generation methods. On real-world applications such as point cloud completion and training-free text-guided generation in a low-latency setup, PSF performs favorably.

这项工作引入了离题，这是一种用于生成具有分类节点和边缘属性图的图形的离散denoising扩散模型。我们的模型定义了一个扩散过程，该过程逐步编辑了具有噪声（添加或删除边缘，更改类别）的图形以及学会恢复此过程的图形变压器网络。有了这两种成分，我们将分布学习将上的分布学习减少到一个简单的分类任务序列。我们通过提出一个新的马尔可夫噪声模型来进一步提高样品质量，该模型在扩散过程中保留节点和边缘类型的边际分布，并通过在每个扩散步骤中添加从嘈杂图中得出的辅助图理论特征。最后，我们提出了一个指导程序，以根据图形级特征调理生成。总体而言，离题可以在分子和非分子数据集上达到最新性能，在平面图数据集上，有效性提高了3倍。特别是，这是第一个模型，将鳞片缩放到包含130万个药物样分子的大型鳄梨调子数据集，而无需使用分子特异性表示，例如微笑或片段。

Learning the underlying distribution of molecular graphs and generating high-fidelity samples is a fundamental research problem in drug discovery and material science. However, accurately modeling distribution and rapidly generating novel molecular graphs remain crucial and challenging goals. To accomplish these goals, we propose a novel Conditional Diffusion model based on discrete Graph Structures (CDGS) for molecular graph generation. Specifically, we construct a forward graph diffusion process on both graph structures and inherent features through stochastic differential equations (SDE) and derive discrete graph structures as the condition for reverse generative processes. We present a specialized hybrid graph noise prediction model that extracts the global context and the local node-edge dependency from intermediate graph states. We further utilize ordinary differential equation (ODE) solvers for efficient graph sampling, based on the semi-linear structure of the probability flow ODE. Experiments on diverse datasets validate the effectiveness of our framework. Particularly, the proposed method still generates high-quality molecular graphs in a limited number of steps.

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

生成图形结构化数据需要学习图形的基础分布。然而，这是一个具有挑战性的问题，先前的图生成方法要么无法捕获图形的置换率属性，要么无法充分对节点和边缘之间的复杂依赖性进行建模，这对于生成现实世界图（例如分子）至关重要。为了克服此类局限性，我们为具有连续时间框架的图形提出了一种基于分数的新型生成模型。具体而言，我们提出了一个新的图扩散过程，该过程通过随机微分方程（SDE）系统建模节点和边缘的联合分布。然后，我们得出了针对建议的扩散过程量身定制的新的分数匹配目标，以估算关节对数密度相对于每个组件的梯度，并为SDE系统引入一个新的求解器，以从反向扩散过程中有效采样。我们验证了不同数据集的图形生成方法，在该数据集上，它要么在其上取得了比基线显着或竞争性能的。进一步的分析表明，我们的方法能够生成接近训练分布但不违反化学价值规则的分子，从而证明了SDE系统在建模节点边缘关系中的有效性。我们的代码可在https://github.com/harryjo97/gdss上找到。

产生稳定材料的周期性结构是材料设计界的长期挑战。这个任务很难，因为稳定的材料只存在于原子的所有可能的周期性布置的低维子空间中：1）坐标必须位于量子力学限定的局部能量最小，而2）全球稳定性也需要遵循结构不同原子类型之间的复杂，但特定的粘合偏好。现有方法未能纳入这些因素，并且经常缺乏适当的侵略者。我们提出了一种晶体扩散变分性AutoEncoder（CDVAE），其捕获材料稳定性的物理感应偏差。通过从稳定材料的数据分布中学习，解码器在扩散过程中产生材料，其将原子坐标朝向较低能量状态移动并更新原子类型以满足邻居之间的粘接偏好。我们的模型还明确地编码了周期性边界的交互，尊重置换，转换，旋转和周期性修正。我们在三个任务中显着优于过去的方法：1）重建输入结构，2）产生有效，多样化和现实的材料和3）产生优化特定性质的材料。我们还为更广泛的机器学习界提供了几个标准数据集和评估指标。

In this work, we propose MEDICO, a Multi-viEw Deep generative model for molecule generation, structural optimization, and the SARS-CoV-2 Inhibitor disCOvery. To the best of our knowledge, MEDICO is the first-of-this-kind graph generative model that can generate molecular graphs similar to the structure of targeted molecules, with a multi-view representation learning framework to sufficiently and adaptively learn comprehensive structural semantics from targeted molecular topology and geometry. We show that our MEDICO significantly outperforms the state-of-the-art methods in generating valid, unique, and novel molecules under benchmarking comparisons. In particular, we showcase the multi-view deep learning model enables us to generate not only the molecules structurally similar to the targeted molecules but also the molecules with desired chemical properties, demonstrating the strong capability of our model in exploring the chemical space deeply. Moreover, case study results on targeted molecule generation for the SARS-CoV-2 main protease (Mpro) show that by integrating molecule docking into our model as chemical priori, we successfully generate new small molecules with desired drug-like properties for the Mpro, potentially accelerating the de novo design of Covid-19 drugs. Further, we apply MEDICO to the structural optimization of three well-known Mpro inhibitors (N3, 11a, and GC376) and achieve ~88% improvement in their binding affinity to Mpro, demonstrating the application value of our model for the development of therapeutics for SARS-CoV-2 infection.

本文介绍了欧几里德对称的生成模型：E（n）等分反的归一化流量（E-NFS）。为了构建E-NFS，我们采用鉴别性E（n）图神经网络，并将它们集成为微分方程，以获得可逆的等式功能：连续时间归一化流量。我们展示了E-NFS在诸如DW4和LJ13的粒子系统中的文献中的基础和现有方法，以及QM9的分子在对数似然方面。据我们所知，这是第一次流动，共同生成3D中的分子特征和位置。

Diffusion models have shown great promise for image generation, beating GANs in terms of generation diversity, with comparable image quality. However, their application to 3D shapes has been limited to point or voxel representations that can in practice not accurately represent a 3D surface. We propose a diffusion model for neural implicit representations of 3D shapes that operates in the latent space of an auto-decoder. This allows us to generate diverse and high quality 3D surfaces. We additionally show that we can condition our model on images or text to enable image-to-3D generation and text-to-3D generation using CLIP embeddings. Furthermore, adding noise to the latent codes of existing shapes allows us to explore shape variations.

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

基于结构的药物设计涉及发现具有对蛋白质袋的结构和化学互补性的配体分子。深度生成方法表明了在提出从划痕（De-Novo设计）的新型分子中的承诺，避免了化学空间的详尽虚拟筛选。大多数生成的de-novo模型未能包含详细的配体 - 蛋白质相互作用和3D袋结构。我们提出了一种新的监督模型，在离散的分子空间中与3D姿势共同产生分子图。分子在口袋内部构建原子原子，由来自晶体数据的结构信息引导。我们使用对接基准进行评估我们的模型，并发现引导生成将预测的结合亲和力提高了8％，并在基线上通过10％的药物相似分数提高了预测的结合亲和力。此外，我们的模型提出了具有超过一些已知配体的结合分数的分子，这可能在未来的湿式实验室研究中有用。