我们考虑模拟扩散桥的问题，即被调节以在两个给定的状态下初始化和终止的扩散过程。扩散桥梁仿真在不同的科学领域具有应用，并对离散观察的扩散的统计推断起着至关重要的作用。众所周知，这是一个有挑战性的问题，在过去的二十年里受到了很多关注。在这项工作中，我们首先表明，如果可以在时间反转无条件的扩散过程，则可以模拟时间反转的扩散桥接过程。我们介绍了一个变分制剂，以了解这一依赖于得分匹配方法以规避诡计的逆转性。然后，我们考虑另一次迭代我们提出的方法，以近似Dooob的$ H $ -transform定义扩散桥过程。由于我们的方法通常适用于潜在的扩散过程的温和假设，因此可以轻松地用于改善现有方法和框架内的提案桥接过程。我们讨论算法考虑和扩展，并呈现一些数值结果。

引入后二十年多，退火重要性采样（AIS）仍然是边际可能性估计的最有效方法之一。它依赖于一系列分布序列在可聊天的初始分布和利益的目标分布之间插值，我们从大约使用非均匀的马尔可夫链中模拟了分布。为了获得边际可能性的重要性采样估计，AIS引入了扩展的目标分布，以重新持续马尔可夫链提案。尽管已经大量努力通过更改AIS使用的提案分布，通过更改中间分布和相应的马尔可夫内核，但不被评估的问题是AIS使用方便但次优的扩展目标分布。这可能会阻碍其性能。我们在这里利用基于分数的生成建模（SGM）的最新进展来近似与Langevin和Hamiltonian Dynamics离散化相对应的AIS建议的最佳扩展目标分布。我们在许多合成基准分布和变异自动编码器上展示了这些新颖的，可区分的AIS程序。

基于扩散的生成模型最近取得了令人鼓舞的结果，但在概念理解，理论分析，算法改进和扩展到离散，结构化的，非欧盟域的扩展方面提出了一系列开放问题。这项工作试图重新研究整体框架，以获得更好的理论理解并为来自任意域的数据开发算法扩展。通过将扩散模型视为具有未观察到扩散轨迹的潜在变量模型，并应用最大的似然估计（MLE），并用辅助分布估算的潜在轨迹，我们表明，潜在轨迹的模型构建和插入的潜在轨迹构成了构建扩散桥的过程，从而实现了扩散桥梁的过程终点的确定性价值和约束，为此我们提供了系统的研究和一套工具。利用我们的框架，我们提出了1）对学习扩散生成模型的第一个理论错误分析，以及2）一种简单而统一的方法，用于从不同离散和受限域中学习数据。实验表明，我们的方法在生成图像，语义片段和3D点云方面表现出色。

去核扩散模型最近已成为强大的生成模型类别。它们提供最新的结果，不仅用于无条件模拟，而且还提供了解决在各种反问题中产生的条件模拟问题时。这些模型的一个局限性在于它们在生成时间上是计算密集型的，因为它们需要长期模拟扩散过程。进行无条件的模拟时，Schr \“生成建模的Odinger桥式公式会导致理论上接地的算法缩短生成时间，这与其他提出的加速技术互补。我们将Schr \'Edinger桥式桥式扩展到条件模拟。我们在各种应用程序上演示了这种新颖的方法，包括图像超分辨率，状态空间模型的最佳过滤以及预训练的网络的完善。我们的代码可以在https://github.com/vdeborto/cdsb上找到。

逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程（SDE），Song等人提供。 （2021）证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反，解决Schr \“odinger桥问题（SB），即路径空间上的熵正常化的最佳运输问题，产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB（DSB），原始近似迭代比例拟合（IPF）程序来解决SB问题，并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。（2021），使用较短时间的灵活性间隔，随后的DSB迭代减少了前进（RESP。后向）SDE的最终时间边际之间的差异，相对于先前（RESP。数据）分布。除了生成的建模之外，DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟（Cuturi，2013）。

本文与离散观察到的非线性扩散过程的在线过滤有关。我们的方法基于完全适应的辅助粒子滤波器，该滤芯涉及DOOB的$ h $转换通常是棘手的。我们提出了一个计算框架，通过使用非线性FEYNMAN-KAC公式和神经网络求解基础的落后Kolmogorov方程来近似这些$ H $转换。该方法允许在数据鉴别过程之前训练本地最佳的粒子过滤器。数值实验表明，在高度信息观察结果的制度中，当观测值在模型下极端，如果状态维度很大时，所提出的方法可以比引导粒子滤波器更有效的数量级。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

基于得分的生成模型在密度估计和生成建模任务上表现出最新的性能。这些模型通常假设数据几何形状是平坦的，但已开发出最近的扩展来合成生活在Riemannian歧管上的数据。现有的加速扩散模型采样方法通常不适用于Riemannian设置，基于Riemannian得分的方法尚未适应数据集插值的重要任务。为了克服这些问题，我们介绍了\ emph {riemannian扩散schr \“ odinger桥}。我们提出的方法概括了扩散的schr \“ \ cite {debortoli2021neurips}中引入的odinger桥，向非欧国性分数设置超出了Riemannian Score的模型，并扩展第一次逆转。我们验证我们提出的关于合成数据以及真实地球和气候数据的方法。

我们呈现路径积分采样器〜（PIS），一种新型算法，用于从非正规化概率密度函数中绘制样本。 PIS建立在SCHR \“odinger桥问题上，旨在恢复鉴于其初始分布和终端分布的扩散过程的最可能演变。PIS从初始分布中抽取样品，然后通过SCHR \”传播样本“少剂桥到达终端分布。应用Girsanov定理，通过简单的先前扩散，我们将PIS制定为随机最佳控制问题，其运行成本是根据目标分布选择控制能量和终端成本。通过将控件建模为神经网络，我们建立了一种可以训练结束到底的采样算法。在使用子最优控制时，我们在Wassersein距离方面提供了PIS的采样质量的理论典范。此外，路径积分理论用于计算样本的重要性权重，以补偿由控制器的次级最优性和时间离散化引起的偏差。我们通过关于各种任务的其他启动采样方法进行了实验证明了PIS的优势。

在这项工作中，我们考虑了对具有非负LEBESGUE密度的概率度量的预期估计，并且是最新的正常化常数。我们专注于通过失业不足的Langevin Dynamics开发一种无偏见的方法，由于统计和机器学习的应用，事实证明，该动态已被证明很受欢迎。特别是连续时间，可以构建动力学以承认感兴趣的概率作为固定度量。我们基于双随机估计而开发了一种新颖的方案，该方案仅需要访问动力学的时间限制版本，并且是实用算法中使用的动力学版本。我们证明，根据标准假设，我们的估计器具有有限的差异，并且具有有限的预期成本，或者具有有限的成本具有很高的可能性。为了说明我们的理论发现，我们提供了验证我们理论的数值实验，其中包括贝叶斯统计和统计物理学的挑战示例。

我们为随机梯度Langevin Dynamics（SGLD）建立了一个急剧的均匀误差估计，该算法是一种流行的采样算法。在温和的假设下，我们获得了一个均匀的$ o（\ eta^2）$，限制了SGLD迭代与langevin扩散之间的KL差异，其中$ \ eta $是步骤尺寸（或学习率）。我们的分析也适用于不同的步骤尺寸。基于此，我们能够以wasserstein或总变异距离来获得SGLD迭代和Langevin扩散不变分布之间的距离的$ O（\ eta）$。

基于得分的扩散模型是一类生成模型，其动力学由将噪声映射到数据中的随机微分方程描述。尽管最近的作品已经开始为这些模型奠定理论基础，但仍缺乏对扩散时间t的作用的分析理解。当前的最佳实践提倡大型T，以确保正向动力学使扩散足够接近已知和简单的噪声分布。但是，对于更好的分数匹配目标和更高的计算效率，应优选较小的t值。从扩散模型的各种解释开始，在这项工作中，我们量化了这一权衡，并提出了一种新方法，通过采用较小的扩散时间来提高培训和采样的质量和效率。实际上，我们展示了如何使用辅助模型来弥合理想和模拟正向动力学之间的间隙，然后进行标准的反向扩散过程。经验结果支持我们的分析；对于图像数据，我们的方法是竞争性W.R.T.根据标准样本质量指标和对数可能的样本。

在本文中，我们提出了一种高效的差异减少了马尔可夫链的附加功能，依赖于新颖的离散时间鞅表示。我们的方法是完全非渐近性的，不需要了解静止分布（甚至任何类型的遍义）或潜在密度的特定结构。通过严格分析所提出的算法的收敛性，我们表明其成本方差产品确实小于一个天真算法之一。Langevin型马尔可夫链蒙特卡罗（MCMC）方法说明了新方法的数值性能。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

蒙特卡洛方法和深度学习的组合最近导致了在高维度中求解部分微分方程（PDE）的有效算法。相关的学习问题通常被称为基于相关随机微分方程（SDE）的变异公式，可以使用基于梯度的优化方法最小化相应损失。因此，在各自的数值实现中，至关重要的是要依靠足够的梯度估计器，这些梯度估计器表现出较低的差异，以便准确，迅速地达到收敛性。在本文中，我们严格研究了在线性Kolmogorov PDE的上下文中出现的相应数值方面。特别是，我们系统地比较了现有的深度学习方法，并为其表演提供了理论解释。随后，我们建议的新方法在理论上和数字上都可以证明更健壮，从而导致了实质性的改进。

Schr \“ Odinger Bridge（SB）是一个熵调控的最佳运输问题，与基于评分的生成模型（SGM）相比，在深层生成模型中，人们对其数学灵活性受到了越来越多的关注。但是，是否尚不清楚优化原理是否仍然不清楚SB的涉及深层生成模型的现代培训，这些模型通常依赖于构建对数类似目标的目标。这提出了有关SB模型作为生成应用的原则替代方案的问题。在这项工作中，我们提供了一个新颖的计算框架，用于基于前向后的随机微分方程理论的SB模型的似然训练 - 随机最佳控制中出现了一种数学方法论，将SB的最佳条件转换为一组SDE。至关重要的是，这些SDE可用于构建SB的SB目标目标，以构建SB的可能性目标。令人惊讶的是，这将SGM的特殊情况概括为特殊情况。这导致了新的Opmimi Zation原理继承了相同的SB最优性，但并没有失去现代生成训练技术的应用，我们表明所得的训练算法在生成MNIST，CEELBA和CIFAR10的现实图像方面取得了可比的结果。我们的代码可在https://github.com/ghliu/sb-fbsde上找到。

我们提出了一个首次击中扩散模型（FHDM）的家族，该模型是深层生成模型，该模型以扩散过程生成数据，该过程在随机的首次击中时间终止。这产生了在预先指定的确定性时间终止的标准固定时间扩散模型的扩展。尽管标准扩散模型是为连续不受约束的数据而设计的，但FHDM自然设计用于在连续以及一系列离散和结构域上学习分布。此外，FHDM启用依赖实例的终止时间，并加速扩散过程，以更少的扩散步骤采样更高质量的数据。从技术上讲，我们通过根据DOOB的$ h $转换得出的有条件的首次击中过程（即桥）来训练FHDM，以最大的似然估计从观察到的数据增强的扩散轨迹（即桥梁），从而偏离了常用的使用时间反转机制。我们应用FHDM在各个领域中生成数据，例如点云（一般连续分布），地球上的气候和地理事件（球体上的连续分布），未加权图（二进制矩阵的分布）以及2D图像的分割图（高度图像（高） - 二维分配）。我们观察到与质量和速度的最新方法相比，相比之下。

我们提出了连续重复的退火流传输蒙特卡洛（CRAFT），该方法结合了顺序的蒙特卡洛（SMC）采样器（本身是退火重要性采样的概括）与使用归一化流量的变异推断。直接训练了归一化的流量，可用于使用KL差异进行每个过渡，以在退火温度之间运输。使用归一化流/SMC近似值估算了此优化目标。我们从概念上展示并使用多个经验示例，这些示例可以改善退火流运输蒙特卡洛（Arbel等，2021），并在其上建造，也可以在基于马尔可夫链蒙特卡洛（MCMC）基于基于的随机归一化流（Wu等人。2020）。通过将工艺纳入粒子MCMC中，我们表明，这种学识渊博的采样器可以在具有挑战性的晶格场理论示例中获得令人印象深刻的准确结果。

在本章中，我们确定了基本的几何结构，这些几何结构是采样，优化，推理和自适应决策问题的基础。基于此识别，我们得出了利用这些几何结构来有效解决这些问题的算法。我们表明，在这些领域中自然出现了广泛的几何理论，范围从测量过程，信息差异，泊松几何和几何整合。具体而言，我们解释了（i）如何利用汉密尔顿系统的符合性几何形状，使我们能够构建（加速）采样和优化方法，（ii）希尔伯特亚空间和Stein操作员的理论提供了一种通用方法来获得可靠的估计器，（iii）（iii）（iii）保留决策的信息几何形状会产生执行主动推理的自适应剂。在整个过程中，我们强调了这些领域之间的丰富联系。例如，推论借鉴了抽样和优化，并且自适应决策通过推断其反事实后果来评估决策。我们的博览会提供了基本思想的概念概述，而不是技术讨论，可以在本文中的参考文献中找到。

The purpose of this paper is to explore the use of deep learning for the solution of the nonlinear filtering problem. This is achieved by solving the Zakai equation by a deep splitting method, previously developed for approximate solution of (stochastic) partial differential equations. This is combined with an energy-based model for the approximation of functions by a deep neural network. This results in a computationally fast filter that takes observations as input and that does not require re-training when new observations are received. The method is tested on four examples, two linear in one and twenty dimensions and two nonlinear in one dimension. The method shows promising performance when benchmarked against the Kalman filter and the bootstrap particle filter.