基于扩散的生成模型最近取得了令人鼓舞的结果，但在概念理解，理论分析，算法改进和扩展到离散，结构化的，非欧盟域的扩展方面提出了一系列开放问题。这项工作试图重新研究整体框架，以获得更好的理论理解并为来自任意域的数据开发算法扩展。通过将扩散模型视为具有未观察到扩散轨迹的潜在变量模型，并应用最大的似然估计（MLE），并用辅助分布估算的潜在轨迹，我们表明，潜在轨迹的模型构建和插入的潜在轨迹构成了构建扩散桥的过程，从而实现了扩散桥梁的过程终点的确定性价值和约束，为此我们提供了系统的研究和一套工具。利用我们的框架，我们提出了1）对学习扩散生成模型的第一个理论错误分析，以及2）一种简单而统一的方法，用于从不同离散和受限域中学习数据。实验表明，我们的方法在生成图像，语义片段和3D点云方面表现出色。

我们提出了一个首次击中扩散模型（FHDM）的家族，该模型是深层生成模型，该模型以扩散过程生成数据，该过程在随机的首次击中时间终止。这产生了在预先指定的确定性时间终止的标准固定时间扩散模型的扩展。尽管标准扩散模型是为连续不受约束的数据而设计的，但FHDM自然设计用于在连续以及一系列离散和结构域上学习分布。此外，FHDM启用依赖实例的终止时间，并加速扩散过程，以更少的扩散步骤采样更高质量的数据。从技术上讲，我们通过根据DOOB的$ h $转换得出的有条件的首次击中过程（即桥）来训练FHDM，以最大的似然估计从观察到的数据增强的扩散轨迹（即桥梁），从而偏离了常用的使用时间反转机制。我们应用FHDM在各个领域中生成数据，例如点云（一般连续分布），地球上的气候和地理事件（球体上的连续分布），未加权图（二进制矩阵的分布）以及2D图像的分割图（高度图像（高） - 二维分配）。我们观察到与质量和速度的最新方法相比，相比之下。

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

基于AI的分子生成为大量生物医学科学和工程（例如抗体设计，水解酶工程或疫苗开发）提供了一种有希望的方法。由于分子受物理定律的管辖，所以关键的挑战是将先前的信息纳入训练程序中，以产生高质量和现实的分子。我们提出了一种简单而新颖的方法，以引导基于扩散的生成模型培训具有物理和统计的先验信息。这是通过构建物理知情的扩散桥，即保证在固定末端产生给定观察的随机过程来实现的。我们开发了一种基于Lyapunov函数的方法来构建和确定桥梁，并提出了许多有关高质量分子生成和均匀性促进的3D点云生成的信息丰富的先验桥的建议。通过全面的实验，我们表明我们的方法为3D生成任务提供了强大的方法，从而产生具有更好质量和稳定性得分的分子结构，并且具有更高质量的分布点云。

逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程（SDE），Song等人提供。 （2021）证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反，解决Schr \“odinger桥问题（SB），即路径空间上的熵正常化的最佳运输问题，产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB（DSB），原始近似迭代比例拟合（IPF）程序来解决SB问题，并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。（2021），使用较短时间的灵活性间隔，随后的DSB迭代减少了前进（RESP。后向）SDE的最终时间边际之间的差异，相对于先前（RESP。数据）分布。除了生成的建模之外，DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟（Cuturi，2013）。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

我们考虑模拟扩散桥的问题，即被调节以在两个给定的状态下初始化和终止的扩散过程。扩散桥梁仿真在不同的科学领域具有应用，并对离散观察的扩散的统计推断起着至关重要的作用。众所周知，这是一个有挑战性的问题，在过去的二十年里受到了很多关注。在这项工作中，我们首先表明，如果可以在时间反转无条件的扩散过程，则可以模拟时间反转的扩散桥接过程。我们介绍了一个变分制剂，以了解这一依赖于得分匹配方法以规避诡计的逆转性。然后，我们考虑另一次迭代我们提出的方法，以近似Dooob的$ H $ -transform定义扩散桥过程。由于我们的方法通常适用于潜在的扩散过程的温和假设，因此可以轻松地用于改善现有方法和框架内的提案桥接过程。我们讨论算法考虑和扩展，并呈现一些数值结果。

基于得分的扩散模型是一类生成模型，其动力学由将噪声映射到数据中的随机微分方程描述。尽管最近的作品已经开始为这些模型奠定理论基础，但仍缺乏对扩散时间t的作用的分析理解。当前的最佳实践提倡大型T，以确保正向动力学使扩散足够接近已知和简单的噪声分布。但是，对于更好的分数匹配目标和更高的计算效率，应优选较小的t值。从扩散模型的各种解释开始，在这项工作中，我们量化了这一权衡，并提出了一种新方法，通过采用较小的扩散时间来提高培训和采样的质量和效率。实际上，我们展示了如何使用辅助模型来弥合理想和模拟正向动力学之间的间隙，然后进行标准的反向扩散过程。经验结果支持我们的分析；对于图像数据，我们的方法是竞争性W.R.T.根据标准样本质量指标和对数可能的样本。

我们为随机梯度Langevin Dynamics（SGLD）建立了一个急剧的均匀误差估计，该算法是一种流行的采样算法。在温和的假设下，我们获得了一个均匀的$ o（\ eta^2）$，限制了SGLD迭代与langevin扩散之间的KL差异，其中$ \ eta $是步骤尺寸（或学习率）。我们的分析也适用于不同的步骤尺寸。基于此，我们能够以wasserstein或总变异距离来获得SGLD迭代和Langevin扩散不变分布之间的距离的$ O（\ eta）$。

基于分数的生成模型（SGM）需要近似中间分布的分数$ \ nabla \ log p_t $以及前进过程的最终分布$ p_t $。这些近似值的理论基础仍然缺乏。我们发现SGM能够从基础（低维）数据歧管$ \ MATHCAL {M} $中产生样本的精确条件。这确保我们能够生成“正确的样本”。例如，以$ \ mathcal {m} $作为面部图像的子集，我们发现SGM稳健产生面部图像的条件，即使这些图像的相对频率可能无法准确表示真实数据生成分布。此外，该分析是了解SGMS的概括属性的第一步：采用$ \ Mathcal {M} $作为所有培训样本的集合，我们的结果提供了SGM何时记住其培训数据的精确描述。

基于得分的生成模型（SGM）通过运行时间转移的随机微分方程（SDE）从高斯白噪声中合成新数据样本，其漂移系数取决于某些概率分数。此类SDE的离散化通常需要大量的时间步骤，因此需要高计算成本。这是因为我们通过数学分析的分数的不良条件特性。我们表明，通过将数据分布分配到跨尺度的小波系数的条件概率的产物中，可以将SGMS大大加速。最终的小波得分生成模型（WSGM）在所有尺度上都以相同的时间步长合成小波系数，因此其时间复杂性随着图像大小而线性增长。这在数学上是在高斯分布上证明的，并在相变和自然图像数据集中的物理过程上以数值显示。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

Schr \“ Odinger Bridge（SB）是一个熵调控的最佳运输问题，与基于评分的生成模型（SGM）相比，在深层生成模型中，人们对其数学灵活性受到了越来越多的关注。但是，是否尚不清楚优化原理是否仍然不清楚SB的涉及深层生成模型的现代培训，这些模型通常依赖于构建对数类似目标的目标。这提出了有关SB模型作为生成应用的原则替代方案的问题。在这项工作中，我们提供了一个新颖的计算框架，用于基于前向后的随机微分方程理论的SB模型的似然训练 - 随机最佳控制中出现了一种数学方法论，将SB的最佳条件转换为一组SDE。至关重要的是，这些SDE可用于构建SB的SB目标目标，以构建SB的可能性目标。令人惊讶的是，这将SGM的特殊情况概括为特殊情况。这导致了新的Opmimi Zation原理继承了相同的SB最优性，但并没有失去现代生成训练技术的应用，我们表明所得的训练算法在生成MNIST，CEELBA和CIFAR10的现实图像方面取得了可比的结果。我们的代码可在https://github.com/ghliu/sb-fbsde上找到。

扩散（基于得分）生成模型已被广泛用于建模各种类型的复杂数据，包括图像，音频和点云。最近，已经揭示了前向后的随机微分方程（SDE）和基于扩散的模型之间的深厚连接，并提出了几种新的SDE变体（例如，Sub-VP，批判性抑制的Langevin）。尽管手工制作的固定前进SDE取得了经验成功，但仍未探索大量适当的正向SDE。在这项工作中，我们提出了一个通用框架，用于参数化扩散模型，尤其是正向SDE的空间部分。引入了一种抽象的形式主义，并具有理论保证，并且它与以前的扩散模型的联系得到了利用。我们从优化的角度展示了我们方法的理论优势。还提出了关于合成数据集，矿工和CIFAR10的数值实验，以验证我们框架的有效性。

随机梯度算法在大规模学习和推理问题中广泛用于优化和采样。但是，实际上，调整这些算法通常是使用启发式和反复试验而不是严格的，可概括的理论来完成的。为了解决理论和实践之间的这一差距，我们通过表征具有固定步长的非常通用的预处理随机梯度算法的迭代术的大样本行为来对调整参数的效果进行新的见解。在优化设置中，我们的结果表明，具有较大固定步长的迭代平均值可能会导致（局部）M-静态器的统计效率近似。在抽样环境中，我们的结果表明，通过适当的调整参数选择，限制固定协方差可以与Bernstein匹配 - 后验的von Mises限制，对模型错误指定后验的调整或MLE的渐近分布；而幼稚的调整极限与这些都不相对应。此外，我们认为可以在数据集对固定数量的通行证后获得基本独立的样本。我们使用模拟和真实数据通过多个实验来验证渐近样结果。总体而言，我们证明具有恒定步长的正确调整的随机梯度算法为获得点估计或后部样品提供了计算上有效且统计上健壮的方法。

Denoisis扩散模型是最近在图像和音频合成中表现出最新性能的生成模型。这样的模型近似从目标分布到参考密度（通常是高斯）的正向噪声过程的时间反转。尽管有很强的经验结果，但对此类模型的理论分析仍然有限。特别是，所有当前方法都至关重要地假设目标密度允许密度W.R.T.Lebesgue度量。这不涵盖在较低维歧管上支持目标分布或通过某些经验分布给出的设置。在本文中，我们通过在更通用的环境中为扩散模型提供第一个收敛结果来弥合这一差距。特别是，我们在目标数据分布与扩散模型的生成分布之间的订单距离距离距离范围距离上提供了定量界限。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

我们呈现路径积分采样器〜（PIS），一种新型算法，用于从非正规化概率密度函数中绘制样本。 PIS建立在SCHR \“odinger桥问题上，旨在恢复鉴于其初始分布和终端分布的扩散过程的最可能演变。PIS从初始分布中抽取样品，然后通过SCHR \”传播样本“少剂桥到达终端分布。应用Girsanov定理，通过简单的先前扩散，我们将PIS制定为随机最佳控制问题，其运行成本是根据目标分布选择控制能量和终端成本。通过将控件建模为神经网络，我们建立了一种可以训练结束到底的采样算法。在使用子最优控制时，我们在Wassersein距离方面提供了PIS的采样质量的理论典范。此外，路径积分理论用于计算样本的重要性权重，以补偿由控制器的次级最优性和时间离散化引起的偏差。我们通过关于各种任务的其他启动采样方法进行了实验证明了PIS的优势。

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。