基于分数的生成模型（SGM）需要近似中间分布的分数$ \ nabla \ log p_t $以及前进过程的最终分布$ p_t $。这些近似值的理论基础仍然缺乏。我们发现SGM能够从基础（低维）数据歧管$ \ MATHCAL {M} $中产生样本的精确条件。这确保我们能够生成“正确的样本”。例如，以$ \ mathcal {m} $作为面部图像的子集，我们发现SGM稳健产生面部图像的条件，即使这些图像的相对频率可能无法准确表示真实数据生成分布。此外，该分析是了解SGMS的概括属性的第一步：采用$ \ Mathcal {M} $作为所有培训样本的集合，我们的结果提供了SGM何时记住其培训数据的精确描述。

逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程（SDE），Song等人提供。 （2021）证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反，解决Schr \“odinger桥问题（SB），即路径空间上的熵正常化的最佳运输问题，产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB（DSB），原始近似迭代比例拟合（IPF）程序来解决SB问题，并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。（2021），使用较短时间的灵活性间隔，随后的DSB迭代减少了前进（RESP。后向）SDE的最终时间边际之间的差异，相对于先前（RESP。数据）分布。除了生成的建模之外，DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟（Cuturi，2013）。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

Denoisis扩散模型是最近在图像和音频合成中表现出最新性能的生成模型。这样的模型近似从目标分布到参考密度（通常是高斯）的正向噪声过程的时间反转。尽管有很强的经验结果，但对此类模型的理论分析仍然有限。特别是，所有当前方法都至关重要地假设目标密度允许密度W.R.T.Lebesgue度量。这不涵盖在较低维歧管上支持目标分布或通过某些经验分布给出的设置。在本文中，我们通过在更通用的环境中为扩散模型提供第一个收敛结果来弥合这一差距。特别是，我们在目标数据分布与扩散模型的生成分布之间的订单距离距离距离范围距离上提供了定量界限。

基于扩散的生成模型最近取得了令人鼓舞的结果，但在概念理解，理论分析，算法改进和扩展到离散，结构化的，非欧盟域的扩展方面提出了一系列开放问题。这项工作试图重新研究整体框架，以获得更好的理论理解并为来自任意域的数据开发算法扩展。通过将扩散模型视为具有未观察到扩散轨迹的潜在变量模型，并应用最大的似然估计（MLE），并用辅助分布估算的潜在轨迹，我们表明，潜在轨迹的模型构建和插入的潜在轨迹构成了构建扩散桥的过程，从而实现了扩散桥梁的过程终点的确定性价值和约束，为此我们提供了系统的研究和一套工具。利用我们的框架，我们提出了1）对学习扩散生成模型的第一个理论错误分析，以及2）一种简单而统一的方法，用于从不同离散和受限域中学习数据。实验表明，我们的方法在生成图像，语义片段和3D点云方面表现出色。

连续归一化流（CNF）是一类生成模型，可以通过求解普通的微分方程（ODE）将先验分布转换为模型分布。我们建议通过最大程度地减少概率路径差异（PPD）来训练CNF，这是CNF产生的概率密度路径与目标概率密度路径之间的新型差异家族。 PPD是使用对数质量保护公式制定的，该公式是线性的一阶部分微分方程，将对数目标概率和CNF的定义向量场进行配方。 PPD比现有方法具有多个关键好处：它避免了在迭代中解决颂歌的需求，很容易应用于歧管数据，比例到高维度，并与大型目标路径兼容，该目标路径在有限的时间内插值纯噪声和数据。从理论上讲，PPD显示为结合经典概率差异。从经验上讲，我们表明，通过最小化PPD实现最新的CNF在现有的低维歧管基准上获得了最新的可能性和样品质量，并且是生成模型以扩展到中度高维歧管的第一个示例。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

我们为基于分数的生成模型（SGM）（例如Denoising扩散概率模型（DDPM））提供理论收敛保证，该模型构成了大型现实世界中生成模型的骨干，例如DALL $ \ cdot $ E2。我们的主要结果是，假设有准确的分数估计值，此类SGM可以从本质上有效地从任何现实的数据分布中进行采样。与先前的作品相反，我们的结果（1）以$ l^2 $准确的分数估算（而不是$ l^\ infty $ -CACCRATE）保持； （2）不需要限制性的功能不平等条件，而这些条件排除了实质性的非con虫； （3）在所有相关问题参数中刻度缩放； （4）匹配兰格文扩散离散的最新复杂性保证，前提是得分误差足够小。我们认为这是SGM的经验成功的强有力理论理由。我们还基于严重阻尼的Langevin扩散（CLD）检查SGM。与传统的观点相反，我们提供了证据，表明CLD的使用不会降低SGM的复杂性。

为了克服拓扑限制并提高常规流量架构，吴，K \“ohler和No \'e的表达性引入了随机采样方法的随机标准化流程，该流程与随机取样方法相结合的确定性，可学习的流动变换。在本文中，我们考虑随机标准化流量一个马尔可夫链的观点。特别是，我们通过马尔可夫内核替换过渡密度，并通过氡-Nikodym衍生物建立证据，允许以声音方式结合没有密度的分布。此外，我们概括了从后部分布中抽样的结果逆问题所需。通过数值实施例证明了所提出的条件随机标准化流程的性能。

基于得分的生成模型（SGM）通过运行时间转移的随机微分方程（SDE）从高斯白噪声中合成新数据样本，其漂移系数取决于某些概率分数。此类SDE的离散化通常需要大量的时间步骤，因此需要高计算成本。这是因为我们通过数学分析的分数的不良条件特性。我们表明，通过将数据分布分配到跨尺度的小波系数的条件概率的产物中，可以将SGMS大大加速。最终的小波得分生成模型（WSGM）在所有尺度上都以相同的时间步长合成小波系数，因此其时间复杂性随着图像大小而线性增长。这在数学上是在高斯分布上证明的，并在相变和自然图像数据集中的物理过程上以数值显示。

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

我们提出了一个首次击中扩散模型（FHDM）的家族，该模型是深层生成模型，该模型以扩散过程生成数据，该过程在随机的首次击中时间终止。这产生了在预先指定的确定性时间终止的标准固定时间扩散模型的扩展。尽管标准扩散模型是为连续不受约束的数据而设计的，但FHDM自然设计用于在连续以及一系列离散和结构域上学习分布。此外，FHDM启用依赖实例的终止时间，并加速扩散过程，以更少的扩散步骤采样更高质量的数据。从技术上讲，我们通过根据DOOB的$ h $转换得出的有条件的首次击中过程（即桥）来训练FHDM，以最大的似然估计从观察到的数据增强的扩散轨迹（即桥梁），从而偏离了常用的使用时间反转机制。我们应用FHDM在各个领域中生成数据，例如点云（一般连续分布），地球上的气候和地理事件（球体上的连续分布），未加权图（二进制矩阵的分布）以及2D图像的分割图（高度图像（高） - 二维分配）。我们观察到与质量和速度的最新方法相比，相比之下。

去核扩散模型最近已成为强大的生成模型类别。它们提供最新的结果，不仅用于无条件模拟，而且还提供了解决在各种反问题中产生的条件模拟问题时。这些模型的一个局限性在于它们在生成时间上是计算密集型的，因为它们需要长期模拟扩散过程。进行无条件的模拟时，Schr \“生成建模的Odinger桥式公式会导致理论上接地的算法缩短生成时间，这与其他提出的加速技术互补。我们将Schr \'Edinger桥式桥式扩展到条件模拟。我们在各种应用程序上演示了这种新颖的方法，包括图像超分辨率，状态空间模型的最佳过滤以及预训练的网络的完善。我们的代码可以在https://github.com/vdeborto/cdsb上找到。

当使用有限的阶梯尺寸\ citep {shi20211undanding}时，Nesterov的加速梯度（NAG）进行优化的性能比其连续的时间限制（无噪声动力学Langevin）更好。这项工作探讨了该现象的采样对应物，并提出了一个扩散过程，其离散化可以产生基于梯度的MCMC方法。更确切地说，我们将NAG的优化器重新制定为强烈凸功能（NAG-SC）作为无Hessian的高分辨率ODE，将其高分辨率系数更改为超参数，注入适当的噪声，并将其离散化。新的超参数的加速效应是量化的，它不是由时间响应创造的人造效应。取而代之的是，在连续动力学级别和离散算法级别上，在$ w_2 $距离中以$ W_2 $距离的加速度均已定量确定。在对数符号和多模式案例中的经验实验也证明了这一加速度。

基于分数的生成建模（SGM）是一种从数据中学习概率分布并生成更多样本的非常成功的方法。我们证明了SGM背后的核心机械师的第一个多项式收敛保证：从概率密度$ p $中绘制样品估计（估计为$ \ nabla \ ln p $），该样本在$ l^2（p）中是准确的$。与以前的作品相比，我们不会产生误差，该错误会在时间上成倍增长或受到维度诅咒的影响。我们的保证对任何平滑分布都有效，并在多个一级取决于其对数sobolev常数。使用我们的保证，我们对基于分数的生成建模进行了理论分析，该模型将白色噪声输入转换为从不同噪声量表下得分估计的学习数据分布的样品。我们的分析将理论上的基础奠定了这样的观察，即在实践中需要进行退火，以生成好样品，因为我们的证明基本上取决于使用退火以在每个步骤中获得温暖的开始。此外，我们表明，与单独使用任何一部分相比，预测器 - 校正算法给出了更好的收敛性。

扩散模型是图像产生和似然估计的最新方法。在这项工作中，我们将连续的时间扩散模型推广到任意的Riemannian流形，并得出了可能性估计的变异框架。在计算上，我们提出了计算可能性估计中需要的黎曼分歧的新方法。此外，在概括欧几里得案例时，我们证明，最大化该变异的下限等效于Riemannian得分匹配。从经验上讲，我们证明了Riemannian扩散模型在各种光滑的歧管上的表达能力，例如球体，Tori，双曲线和正交组。我们提出的方法在所有基准测试基准上实现了新的最先进的可能性。

我们为不依赖数据分布满足功能不平等的数据分布或强烈的平滑度假设提供了多项式收敛保证。假设有$ l^2 $准确的分数估计，我们可以为任何有限支撑或足够衰减的尾巴的分布获得Wasserstein距离保证，以及具有进一步平滑度假设的电视保证。

估计数据分布的局部内在维度的大多数现有方法不能很好地扩展到高维数据。他们中的许多人依靠非参数最近的邻居方法，该方法受到维度的诅咒。我们试图通过提出一种新的问题来解决这一挑战：使用近似可能性（LIDL）的局部固有维度估计。我们的方法依赖于任意密度估计方法作为其子例程，因此通过利用最新的参数神经方法的进展来避免维度挑战，以进行可能性估计。我们仔细研究了所提出方法的经验特性，将其与我们的理论预测进行了比较，并表明LIDL在此问题的标准基准上产生竞争结果，并将其扩展到数千个维度。更重要的是，我们预计通过密度估计文献的持续进展，这种方法可以进一步改善。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。