本文与离散观察到的非线性扩散过程的在线过滤有关。我们的方法基于完全适应的辅助粒子滤波器,该滤芯涉及DOOB的$ h $转换通常是棘手的。我们提出了一个计算框架,通过使用非线性FEYNMAN-KAC公式和神经网络求解基础的落后Kolmogorov方程来近似这些$ H $转换。该方法允许在数据鉴别过程之前训练本地最佳的粒子过滤器。数值实验表明,在高度信息观察结果的制度中,当观测值在模型下极端,如果状态维度很大时,所提出的方法可以比引导粒子滤波器更有效的数量级。
translated by 谷歌翻译
The purpose of this paper is to explore the use of deep learning for the solution of the nonlinear filtering problem. This is achieved by solving the Zakai equation by a deep splitting method, previously developed for approximate solution of (stochastic) partial differential equations. This is combined with an energy-based model for the approximation of functions by a deep neural network. This results in a computationally fast filter that takes observations as input and that does not require re-training when new observations are received. The method is tested on four examples, two linear in one and twenty dimensions and two nonlinear in one dimension. The method shows promising performance when benchmarked against the Kalman filter and the bootstrap particle filter.
translated by 谷歌翻译
我们考虑模拟扩散桥的问题,即被调节以在两个给定的状态下初始化和终止的扩散过程。扩散桥梁仿真在不同的科学领域具有应用,并对离散观察的扩散的统计推断起着至关重要的作用。众所周知,这是一个有挑战性的问题,在过去的二十年里受到了很多关注。在这项工作中,我们首先表明,如果可以在时间反转无条件的扩散过程,则可以模拟时间反转的扩散桥接过程。我们介绍了一个变分制剂,以了解这一依赖于得分匹配方法以规避诡计的逆转性。然后,我们考虑另一次迭代我们提出的方法,以近似Dooob的$ H $ -transform定义扩散桥过程。由于我们的方法通常适用于潜在的扩散过程的温和假设,因此可以轻松地用于改善现有方法和框架内的提案桥接过程。我们讨论算法考虑和扩展,并呈现一些数值结果。
translated by 谷歌翻译
滤波方程控制给定部分,并且可能嘈杂,依次到达的信号过程的条件分布的演变。它们的数值近似在许多真实应用中起着核心作用,包括数字天气预报,金融和工程。近似滤波方程解决方案的一种经典方法是使用由Gyongy,Krylov,Legland,Legland,Legland的PDE启发方法,称为分裂方法,其中包括其他贡献者。该方法和其他基于PDE的方法,具有特别适用性来解决低维问题。在这项工作中,我们将这种方法与神经网络表示相结合。新方法用于产生信号过程的无通知条件分布的近似值。我们进一步开发递归归一化程序,以恢复信号过程的归一化条件分布。新方案可以在多个时间步骤中迭代,同时保持其渐近无偏见属性完整。我们用Kalman和Benes滤波器的数值近似结果测试神经网络近似。
translated by 谷歌翻译
本论文主要涉及解决深层(时间)高斯过程(DGP)回归问题的状态空间方法。更具体地,我们代表DGP作为分层组合的随机微分方程(SDES),并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP(SS-DGP)模型生成丰富的电视等级,与建模许多不规则信号/功能兼容。此外,由于他们的马尔可道结构,通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀(TME)方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers,其可以渐近地精确地预测随机微分方程(SDES)解决方案的平均值和协方差。此外,TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后,本文具有多种状态 - 空间(深)GPS的应用。这些应用主要包括(i)来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。
translated by 谷歌翻译
蒙特卡洛方法和深度学习的组合最近导致了在高维度中求解部分微分方程(PDE)的有效算法。相关的学习问题通常被称为基于相关随机微分方程(SDE)的变异公式,可以使用基于梯度的优化方法最小化相应损失。因此,在各自的数值实现中,至关重要的是要依靠足够的梯度估计器,这些梯度估计器表现出较低的差异,以便准确,迅速地达到收敛性。在本文中,我们严格研究了在线性Kolmogorov PDE的上下文中出现的相应数值方面。特别是,我们系统地比较了现有的深度学习方法,并为其表演提供了理论解释。随后,我们建议的新方法在理论上和数字上都可以证明更健壮,从而导致了实质性的改进。
translated by 谷歌翻译
我们确定有效的随机微分方程(SDE),用于基于精细的粒子或基于试剂的模拟的粗糙观察结果;然后,这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数,可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构(在这里,欧拉 - 玛鲁山和米尔斯坦);因此,我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型(例如平均场方程)可用时,它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程(SPDE)的现有数值集成方案也可以用于训练;我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹,可以在散落的快照数据上工作,并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。
translated by 谷歌翻译
在本文中,我们提出了一种基于深度学习的数值方案,用于强烈耦合FBSDE,这是由随机控制引起的。这是对深度BSDE方法的修改,其中向后方程的初始值不是一个免费参数,并且新的损失函数是控制问题的成本的加权总和,而差异项与与该的差异相吻合终端条件下的平均误差。我们通过一个数值示例表明,经典深度BSDE方法的直接扩展为FBSDE,失败了简单的线性季度控制问题,并激励新方法为何工作。在定期和有限性的假设上,对时间连续和时间离散控制问题的确切控制,我们为我们的方法提供了错误分析。我们从经验上表明,该方法收敛于三个不同的问题,一个方法是直接扩展Deep BSDE方法的问题。
translated by 谷歌翻译
Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.
translated by 谷歌翻译
轨迹推断旨在从其时间边缘的快照中恢复人群的动态。为了解决这项任务,Lavenant等人引入了相对于路径空间中的Wiener度量的最小渗透估计量。 ARXIV:2102.09204,并显示出从无限尺寸凸优化问题的解决方案中始终如一地恢复大型漂移扩散过程的动力学。在本文中,我们引入了无网算法来计算该估计器。我们的方法包括通过Schr \“ Odinger Bridges耦合的点云家族(每张快照),该桥也随着嘈杂的梯度下降而演变。我们研究了动力学的平均场限制,并证明了其与所需估计量的全局收敛。这导致了一种具有端到端理论保证的推理方法,可以解决轨迹推理的可解释模型。我们还提出了如何调整方法处理质量变化的方法,在处理单个单元RNA序列数据时,这是一个有用的扩展细胞可以分支并死亡。
translated by 谷歌翻译
粒子过滤是针对多种顺序推断任务的标准蒙特卡洛方法。粒子过滤器的关键成分是一组具有重要性权重的粒子,它们可以作为某些随机过程的真实后验分布的代理。在这项工作中,我们提出了连续的潜在粒子过滤器,该方法将粒子过滤扩展到连续时域。我们证明了如何将连续的潜在粒子过滤器用作依赖于学到的变异后验的推理技术的通用插件替换。我们对基于潜在神经随机微分方程的不同模型家族进行的实验表明,在推理任务中,连续时间粒子滤波在推理任务中的卓越性能,例如似然估计和各种随机过程的顺序预测。
translated by 谷歌翻译
非线性部分差分差异方程成功地用于描述自然科学,工程甚至金融中的广泛时间依赖性现象。例如,在物理系统中,Allen-Cahn方程描述了与相变相关的模式形成。相反,在金融中,黑色 - choles方程描述了衍生投资工具价格的演变。这种现代应用通常需要在经典方法无效的高维度中求解这些方程。最近,E,Han和Jentzen [1] [2]引入了一种有趣的新方法。主要思想是构建一个深网,该网络是根据科尔莫戈罗夫方程式下离散的随机微分方程样本进行训练的。该网络至少能够在数值上近似,在整个空间域中具有多项式复杂性的Kolmogorov方程的解。在这一贡献中,我们通过使用随机微分方程的不同离散方案来研究深网的变体。我们在基准的示例上比较了相关网络的性能,并表明,对于某些离散方案,可以改善准确性,而不会影响观察到的计算复杂性。
translated by 谷歌翻译
高维,部分观察和非线性随机过程的参数学习是方法论挑战。时空疾病传播系统提供了此类过程的示例,导致开放推理问题。我们提出了迭代的块粒子滤波器(IBPF)算法,用于学习具有一般状态空间,测量,过渡密度和图形结构的图形状态空间模型上的高维参数。在击败维度(COD),算法收敛和可能性最大化的诅咒时,获得了理论性能保证。在高度非线性和非高斯时空模型上进行麻疹传播的实验表明,迭代的集合卡尔曼滤波器算法(Li等人(2020))无效,迭代过滤算法(Ionides et al。(2015))受到损害。COD,而我们的IBPF算法在不同指标的各种实验中始终如一地击败COD。
translated by 谷歌翻译
求解高维局部微分方程是经济学,科学和工程的反复挑战。近年来,已经开发了大量的计算方法,其中大多数依赖于蒙特卡罗采样和基于深度学习的近似的组合。对于椭圆形和抛物线问题,现有方法可以广泛地分类为依赖于$ \ Texit {向后随机微分方程} $(BSDES)和旨在最小化回归$ L ^ 2 $ -Error( $ \ textit {物理信息的神经网络} $,pinns)。在本文中,我们审查了文献,并提出了一种基于新型$ \ Texit的方法{扩散丢失} $,在BSDES和Pinns之间插值。我们的贡献为对高维PDE的数值方法的统一理解开辟了门,以及结合BSDES和PINNS强度的实施方式。我们还向特征值问题提供概括并进行广泛的数值研究,包括计算非线性SCHR \“odinger运营商的地面状态和分子动态相关的委托功能的计算。
translated by 谷歌翻译
自Venkatakrishnan等人的开创性工作以来。 2013年,即插即用(PNP)方法在贝叶斯成像中变得普遍存在。这些方法通过将显式似然函数与预定由图像去噪算法隐式定义的明确定义,导出用于成像中的逆问题的最小均方误差(MMSE)或最大后验误差(MAP)估计器。文献中提出的PNP算法主要不同于他们用于优化或采样的迭代方案。在优化方案的情况下,一些最近的作品能够保证收敛到一个定点,尽管不一定是地图估计。在采样方案的情况下,据我们所知,没有已知的收敛证明。关于潜在的贝叶斯模型和估算器是否具有明确定义,良好的良好,并且具有支持这些数值方案所需的基本规律性属性,还存在重要的开放性问题。为了解决这些限制,本文开发了用于对PNP前锋进行贝叶斯推断的理论,方法和可忽略的会聚算法。我们介绍了两个算法:1)PNP-ULA(未调整的Langevin算法),用于蒙特卡罗采样和MMSE推断; 2)PNP-SGD(随机梯度下降)用于MAP推理。利用Markov链的定量融合的最新结果,我们为这两种算法建立了详细的收敛保证,在现实假设下,在去噪运营商使用的现实假设下,特别注意基于深神经网络的遣散者。我们还表明这些算法大致瞄准了良好的决策理论上最佳的贝叶斯模型。所提出的算法在几种规范问题上证明了诸如图像去纹,染色和去噪,其中它们用于点估计以及不确定的可视化和量化。
translated by 谷歌翻译
它已被广泛记录说粒子过滤器中的采样和重采样步骤不能差异化。介绍{\ itshape Reparameterisisisisisation技巧}以允许采样步骤重新重整为可微分功能。我们扩展{\ itshape Reparameterisisisation Trick}以包括重采样的随机输入,因此在此步骤之后限制了梯度计算中的不连续性。了解先前和可能性的梯度允许我们运行粒子马尔可夫链蒙特卡罗(P-MCMC)并在估算参数时使用No-U转样采样器(螺母)作为提案。我们将大都市调整后的Langevin算法(MALA)进行比较,汉密尔顿蒙特卡罗与不同数量的步骤和坚果。我们考虑两个状态空间模型,并表明坚果改善了马尔可夫链的混合,可以在较少的计算时间内产生更准确的结果。
translated by 谷歌翻译
顺序蒙特卡洛(SMC)是状态空间模型的推理算法,通过从一系列中间目标分布进行采样来近似后验。目标分布通常被选择为过滤分布,但是这些忽略了未来观察结果的信息,从而导致推理和模型学习的实际和理论局限性。我们介绍了SIXO,这种方法将学习近似平滑分布的目标,并结合了所有观测值的信息。关键思想是使用密度比估计来拟合将过滤分布扭曲到平滑分布中的功能。然后,我们将SMC与这些学习的目标一起使用,以定义模型和建议学习的变异目标。六体的产量可证明更紧密的对数边缘下限,并在各种域中提供了更准确的后验推断和参数估计。
translated by 谷歌翻译
神经随机微分方程(NSDES)模拟随机过程作为神经网络的漂移和扩散函数。尽管已知NSDE可以进行准确的预测,但到目前为止,其不确定性定量属性仍未探索。我们报告了经验发现,即从NSDE获得良好的不确定性估计是计算上的过度估计。作为一种补救措施,我们开发了一种计算负担得起的确定性方案,该方案在动力学受NSD管辖时准确地近似过渡内核。我们的方法引入了匹配算法的二维力矩:沿着神经净层和沿时间方向水平的垂直力,这受益于有效近似的原始组合。我们对过渡内核的确定性近似适用于培训和预测。我们在多个实验中观察到,我们方法的不确定性校准质量只有在引入高计算成本后才通过蒙特卡洛采样来匹配。由于确定性培训的数值稳定性,我们的方法还提高了预测准确性。
translated by 谷歌翻译
连续数据的优化问题出现在,例如强大的机器学习,功能数据分析和变分推理。这里,目标函数被给出为一个(连续)索引目标函数的系列 - 相对于概率测量集成的族聚集。这些问题通常可以通过随机优化方法解决:在随机切换指标执行关于索引目标函数的优化步骤。在这项工作中,我们研究了随机梯度下降算法的连续时间变量,以进行连续数据的优化问题。该所谓的随机梯度过程包括最小化耦合与确定索引的连续时间索引过程的索引目标函数的梯度流程。索引过程是例如,反射扩散,纯跳跃过程或紧凑空间上的其他L evy过程。因此,我们研究了用于连续数据空间的多种采样模式,并允许在算法的运行时进行模拟或流式流的数据。我们分析了随机梯度过程的近似性质,并在恒定下进行了长时间行为和遍历的学习率。我们以噪声功能数据的多项式回归问题以及物理知识的神经网络在多项式回归问题中结束了随机梯度过程的适用性。
translated by 谷歌翻译
High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.
translated by 谷歌翻译