基于得分的扩散模型是一类生成模型,其动力学由将噪声映射到数据中的随机微分方程描述。尽管最近的作品已经开始为这些模型奠定理论基础,但仍缺乏对扩散时间t的作用的分析理解。当前的最佳实践提倡大型T,以确保正向动力学使扩散足够接近已知和简单的噪声分布。但是,对于更好的分数匹配目标和更高的计算效率,应优选较小的t值。从扩散模型的各种解释开始,在这项工作中,我们量化了这一权衡,并提出了一种新方法,通过采用较小的扩散时间来提高培训和采样的质量和效率。实际上,我们展示了如何使用辅助模型来弥合理想和模拟正向动力学之间的间隙,然后进行标准的反向扩散过程。经验结果支持我们的分析;对于图像数据,我们的方法是竞争性W.R.T.根据标准样本质量指标和对数可能的样本。
translated by 谷歌翻译
尽管存在扩散模型的各种变化,但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解,但是直觉上,将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型(INDM)通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言,INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络,因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练,将INDM的学习曲线提高到了几乎最大的似然估计(MLE)训练,事实证明,这是具有身份流量的INDM的特殊情况。同样,训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中,INDM实现了Celeba的最新FID。
translated by 谷歌翻译
Schr \“ Odinger Bridge(SB)是一个熵调控的最佳运输问题,与基于评分的生成模型(SGM)相比,在深层生成模型中,人们对其数学灵活性受到了越来越多的关注。但是,是否尚不清楚优化原理是否仍然不清楚SB的涉及深层生成模型的现代培训,这些模型通常依赖于构建对数类似目标的目标。这提出了有关SB模型作为生成应用的原则替代方案的问题。在这项工作中,我们提供了一个新颖的计算框架,用于基于前向后的随机微分方程理论的SB模型的似然训练 - 随机最佳控制中出现了一种数学方法论,将SB的最佳条件转换为一组SDE。至关重要的是,这些SDE可用于构建SB的SB目标目标,以构建SB的可能性目标。令人惊讶的是,这将SGM的特殊情况概括为特殊情况。这导致了新的Opmimi Zation原理继承了相同的SB最优性,但并没有失去现代生成训练技术的应用,我们表明所得的训练算法在生成MNIST,CEELBA和CIFAR10的现实图像方面取得了可比的结果。我们的代码可在https://github.com/ghliu/sb-fbsde上找到。
translated by 谷歌翻译
逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程(SDE),Song等人提供。 (2021)证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反,解决Schr \“odinger桥问题(SB),即路径空间上的熵正常化的最佳运输问题,产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB(DSB),原始近似迭代比例拟合(IPF)程序来解决SB问题,并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。(2021),使用较短时间的灵活性间隔,随后的DSB迭代减少了前进(RESP。后向)SDE的最终时间边际之间的差异,相对于先前(RESP。数据)分布。除了生成的建模之外,DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟(Cuturi,2013)。
translated by 谷歌翻译
扩散模型的最新进展带来了图像生成任务的最新性能。然而,扩散模型的先前研究的经验结果意味着密度估计与样品产生性能之间存在逆相关性。本文研究了足够的经验证据,表明这种反相关发生,因为密度估计值显着造成了较小的扩散时间的贡献,而样品产生主要取决于大扩散时间。但是,在整个扩散时间内训练得分网络良好,因为损耗量表在每个扩散时间都显着不平衡。因此,为了成功训练,我们引入了软截断,这是一种普遍适用的扩散模型训练技术,将固定和静态截断的超参数软化为随机变量。在实验中,软截断可在CIFAR-10,Celeba,Celeba-HQ 256X256和STL-10数据集上实现最先进的性能。
translated by 谷歌翻译
基于扩散的生成模型最近取得了令人鼓舞的结果,但在概念理解,理论分析,算法改进和扩展到离散,结构化的,非欧盟域的扩展方面提出了一系列开放问题。这项工作试图重新研究整体框架,以获得更好的理论理解并为来自任意域的数据开发算法扩展。通过将扩散模型视为具有未观察到扩散轨迹的潜在变量模型,并应用最大的似然估计(MLE),并用辅助分布估算的潜在轨迹,我们表明,潜在轨迹的模型构建和插入的潜在轨迹构成了构建扩散桥的过程,从而实现了扩散桥梁的过程终点的确定性价值和约束,为此我们提供了系统的研究和一套工具。利用我们的框架,我们提出了1)对学习扩散生成模型的第一个理论错误分析,以及2)一种简单而统一的方法,用于从不同离散和受限域中学习数据。实验表明,我们的方法在生成图像,语义片段和3D点云方面表现出色。
translated by 谷歌翻译
基于分数的生成模型(SGMS)已经证明了显着的合成质量。 SGMS依赖于扩散过程,逐渐将数据逐渐渗透到贸易分布,而生成式模型则学会去噪。除了数据分布本身,这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散,导致不必要的复杂的去噪流程,限制了生成的建模性能。根据与统计力学的联系,我们提出了一种新型危及阻尼Langevin扩散(CLD),并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散,其中辅助变量可以被视为耦合到数据变量的“速度”,如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标,并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数,而不是直接学习数据的分数。我们还导出了一种新的采样方案,用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解,并且可以随时用于高分辨率图像合成。项目页面和代码:https://nv-tlabs.github.io/cld-sgm。
translated by 谷歌翻译
引入后二十年多,退火重要性采样(AIS)仍然是边际可能性估计的最有效方法之一。它依赖于一系列分布序列在可聊天的初始分布和利益的目标分布之间插值,我们从大约使用非均匀的马尔可夫链中模拟了分布。为了获得边际可能性的重要性采样估计,AIS引入了扩展的目标分布,以重新持续马尔可夫链提案。尽管已经大量努力通过更改AIS使用的提案分布,通过更改中间分布和相应的马尔可夫内核,但不被评估的问题是AIS使用方便但次优的扩展目标分布。这可能会阻碍其性能。我们在这里利用基于分数的生成建模(SGM)的最新进展来近似与Langevin和Hamiltonian Dynamics离散化相对应的AIS建议的最佳扩展目标分布。我们在许多合成基准分布和变异自动编码器上展示了这些新颖的,可区分的AIS程序。
translated by 谷歌翻译
扩散(基于得分)生成模型已被广泛用于建模各种类型的复杂数据,包括图像,音频和点云。最近,已经揭示了前向后的随机微分方程(SDE)和基于扩散的模型之间的深厚连接,并提出了几种新的SDE变体(例如,Sub-VP,批判性抑制的Langevin)。尽管手工制作的固定前进SDE取得了经验成功,但仍未探索大量适当的正向SDE。在这项工作中,我们提出了一个通用框架,用于参数化扩散模型,尤其是正向SDE的空间部分。引入了一种抽象的形式主义,并具有理论保证,并且它与以前的扩散模型的联系得到了利用。我们从优化的角度展示了我们方法的理论优势。还提出了关于合成数据集,矿工和CIFAR10的数值实验,以验证我们框架的有效性。
translated by 谷歌翻译
Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.
translated by 谷歌翻译
去核扩散模型最近已成为强大的生成模型类别。它们提供最新的结果,不仅用于无条件模拟,而且还提供了解决在各种反问题中产生的条件模拟问题时。这些模型的一个局限性在于它们在生成时间上是计算密集型的,因为它们需要长期模拟扩散过程。进行无条件的模拟时,Schr \“生成建模的Odinger桥式公式会导致理论上接地的算法缩短生成时间,这与其他提出的加速技术互补。我们将Schr \'Edinger桥式桥式扩展到条件模拟。我们在各种应用程序上演示了这种新颖的方法,包括图像超分辨率,状态空间模型的最佳过滤以及预训练的网络的完善。我们的代码可以在https://github.com/vdeborto/cdsb上找到。
translated by 谷歌翻译
去噪扩散概率模型(DDPMS)在没有对抗性训练的情况下实现了高质量的图像生成,但它们需要模拟Markov链以产生样品的许多步骤。为了加速采样,我们呈现去噪扩散隐式模型(DDIM),更有效的迭代类隐式概率模型,具有与DDPM相同的培训过程。在DDPMS中,生成过程被定义为Markovian扩散过程的反向。我们构建一类导致相同的训练目标的非马尔可瓦夫扩散过程,但其反向过程可能会更快地采样。我们经验证明,与DDPM相比,DDIM可以生产高质量的样本10倍以上$ 50 \时间$ 50 \倍。允许我们缩小对样本质量的计算,并可以直接执行语义有意义的图像插值潜在的空间。
translated by 谷歌翻译
基于分数的生成模型(SGMS)最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是,它们通常直接应用于数据空间,并且通常需要数千个网络评估来采样。在这里,我们提出了基于潜在的分数的生成模型(LSGM),这是一种在潜在空间中培训SGM的新方法,依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型,将SGMS应用于非连续数据,并在较小的空间中学习更顺畅的SGM,导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端,我们(i)我们(i)引入了适合于LSGM设置的新分数匹配目标,(ii)提出了一个新颖的分数函数参数化,允许SGM专注于关于简单正常的目标分布的不匹配,(III)分析了多种技术,用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10,优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上,LSGM在样品质量上与先前的SGMS相同,同时以两个数量级的采样时间表现出来。在模拟二进制图像中,LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。
translated by 谷歌翻译
过去的几年见证了扩散模型〜(DMS)在生成建模任务中生成高保真样本方面取得的巨大成功。 DM的主要局限性是其臭名昭著的缓慢采样程序,通常需要数百到数千至数千个的时间离散步骤,以达到所需的准确性。我们的目标是为DMS开发快速采样方法,该方法的步骤少得多,同时保留了高样本质量。为此,我们系统地分析了DMS中的采样程序,并确定影响样本质量的关键因素,其中离散化方法至关重要。通过仔细检查学习的扩散过程,我们提出了扩散指数积分取样器〜(DEIS)。它基于设计用于离散的普通微分方程(ODE)的指数积分器,并利用学习扩散过程的半线性结构来减少离散误差。所提出的方法可以应用于任何DMS,并可以在短短10个步骤中生成高保真样本。在我们的实验中,一个A6000 GPU大约需要3分钟才能从CIFAR10产生$ 50K $的图像。此外,通过直接使用预训练的DMS,当得分函数评估的数量〜(NFE)的数量有限时,我们实现了最先进的采样性能,例如,使用10 NFES,3.37 FID和9.74的4.17 FID,仅为9.74 CIFAR10上的15个NFE。代码可从https://github.com/qsh-zh/deis获得
translated by 谷歌翻译
扩散模型已成为深层生成建模的最有希望的框架之一。在这项工作中,我们探讨了不均匀扩散模型的潜力。我们表明,非均匀扩散会导致多尺度扩散模型,这些模型与多尺度归一化流的结构相似。我们从实验上发现,在相同或更少的训练时间中,多尺度扩散模型比标准均匀扩散模型获得更好的FID得分。更重要的是,它生成样品$ 4.4 $ 4.4美元的$ 4.4 $ $ 128 \ times 128 $分辨率。在使用更多量表的较高分辨率中,预计加速度将更高。此外,我们表明,不均匀的扩散导致有条件得分函数的新估计量,该估计函数以最新的条件降解估计量以PAR性能达到了PAR性能。我们的理论和实验性发现伴随着开源库MSDIFF,可以促进对非均匀扩散模型的进一步研究。
translated by 谷歌翻译
Score-based generative models learn a family of noise-conditional score functions corresponding to the data density perturbed with increasingly large amounts of noise. These perturbed data densities are tied together by the Fokker-Planck equation (FPE), a PDE governing the spatial-temporal evolution of a density undergoing a diffusion process. In this work, we derive a corresponding equation characterizing the noise-conditional scores of the perturbed data densities (i.e., their gradients), termed the score FPE. Surprisingly, despite impressive empirical performance, we observe that scores learned via denoising score matching (DSM) do not satisfy the underlying score FPE. We mathematically analyze three implications of satisfying the score FPE and a potential explanation for why the score FPE is not satisfied in practice. At last, we propose to regularize the DSM objective to enforce satisfaction of the score FPE, and show its effectiveness on synthetic data and MNIST.
translated by 谷歌翻译
我们提出了整流的流程,这是一种令人惊讶的简单学习方法(神经)的普通微分方程(ODE)模型,用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输,因此为生成建模和域转移提供了统一的解决方案,以及其他各种任务。涉及分配运输。整流流的想法是学习ode,以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的,该问题可以轻松地缩放到大型模型,而无需在标准监督学习之外引入额外的参数。直径是特殊的,因此是特殊的,因为它们是两个点之间的最短路径,并且可以精确模拟而无需时间离散,因此可以在计算上产生高效的模型。我们表明,从数据(称为整流)中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合,并证明是非侵入的凸面运输成本。此外,递归应用矫正使我们能够获得具有越来越直的路径的流动序列,可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中,我们表明,整流流对图像产生,图像到图像翻译和域的适应性表现出色。特别是,在图像生成和翻译上,我们的方法几乎产生了几乎直流的流,即使是单个Euler离散步骤,也会产生高质量的结果。
translated by 谷歌翻译
基于分数的生成模型在发电质量和可能性方面具有出色的性能。他们通过将参数化的分数网络与一阶数据得分功能匹配来建模数据分布。分数网络可用于定义ODE(“基于得分的扩散ode”),以进行精确的似然评估。但是,颂歌的可能性与得分匹配目标之间的关系尚不清楚。在这项工作中,我们证明,匹配一阶得分不足以通过在最大可能性和分数匹配目标之间显示差距来最大化ode的可能性。为了填补这一空白,我们表明,可以通过控制第一,第二和三阶得分匹配错误来界定颂歌的负可能性;我们进一步提出了一种新型的高阶denoising评分匹配方法,以实现基于得分的扩散ODE的最大似然训练。我们的算法确保高阶匹配误差受训练错误和较低级错误的限制。我们从经验上观察到,通过高阶匹配,基于得分的扩散频率在合成数据和CIFAR-10上都具有更好的可能性,同时保留了高生成质量。
translated by 谷歌翻译
基于得分的扩散模型已成为深度生成型号最有前途的框架之一。在这项工作中,我们对基于得分的扩散模型进行了学习条件概率分布的不同方法的系统比较和理论分析。特别是,我们证明了结果为条件分数最成功的估算之一提供了理论典范。此外,我们引入了多速扩散框架,这导致了一个新的估算器,用于条件得分,与先前的最先进的方法相提并论。我们的理论和实验结果伴随着开源库MSDIFF,允许应用和进一步研究多速扩散模型。
translated by 谷歌翻译
我们提出了一个首次击中扩散模型(FHDM)的家族,该模型是深层生成模型,该模型以扩散过程生成数据,该过程在随机的首次击中时间终止。这产生了在预先指定的确定性时间终止的标准固定时间扩散模型的扩展。尽管标准扩散模型是为连续不受约束的数据而设计的,但FHDM自然设计用于在连续以及一系列离散和结构域上学习分布。此外,FHDM启用依赖实例的终止时间,并加速扩散过程,以更少的扩散步骤采样更高质量的数据。从技术上讲,我们通过根据DOOB的$ h $转换得出的有条件的首次击中过程(即桥)来训练FHDM,以最大的似然估计从观察到的数据增强的扩散轨迹(即桥梁),从而偏离了常用的使用时间反转机制。我们应用FHDM在各个领域中生成数据,例如点云(一般连续分布),地球上的气候和地理事件(球体上的连续分布),未加权图(二进制矩阵的分布)以及2D图像的分割图(高度图像(高) - 二维分配)。我们观察到与质量和速度的最新方法相比,相比之下。
translated by 谷歌翻译