最近，通过深度学习框架提取动态系统的数据驱动法则在各个领域都引起了很多关注。此外，越来越多的研究工作倾向于将确定性动力学系统转移到随机动力学系统上，尤其是由非高斯乘法噪声驱动的系统。但是，对于高斯病例，许多基于原木样式的算法不能直接扩展到非高斯场景，这些场景可能存在很高的错误和低收敛问题。在这项工作中，我们克服了其中的一些挑战，并确定由$ \ alpha $稳定的l \'evy噪声驱动的随机动力系统，仅来自随机的成对数据。我们的创新包括：（1）设计一种深度学习方法，以学习l \'evy诱发的噪声的漂移和扩散系数，并在所有值中使用$ \ alpha $，（2）学习复杂的乘法噪声，而无需限制小噪声强度，（（ 3）在一般输入数据假设下，即随机系统识别的端到端完整框架，即$ \ alpha $稳定的随机变量。最后，数值实验和与非本地KRAMERS-MOYAL公式与力矩生成功能的比较证实了我们方法的有效性。

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

从随机数据中揭示隐藏的动态是一个具有挑战性的问题，因为随机性参与了数据的发展。当在许多情况下没有随机数据的轨迹时，问题就变得非常复杂。在这里，我们提出了一种方法，可以根据fokker-planck（FP）方程的弱形式有效地建模随机数据的动力学，该方程控制了布朗工艺中密度函数的演变。将高斯函数作为弱形式的FP方程式的测试函数，我们将衍生物传递到高斯函数，从而将衍生物传递到高斯函数，从而通过数据的期望值近似弱形式。使用未知术语的字典表示，将线性系统构建，然后通过回归解决，从而揭示数据的未知动力学。因此，我们以弱搭配回归（WCK）方法为其三个关键组成部分命名该方法：弱形式，高斯核的搭配和回归。数值实验表明我们的方法是灵活而快速的，它在多维问题中揭示了几秒钟内的动力学，并且可以轻松地扩展到高维数据，例如20个维度。 WCR还可以正确地识别具有可变依赖性扩散和耦合漂移的复杂任务的隐藏动力学，并且性能很强，在添加噪声的情况下，在情况下达到了高精度。

This paper focuses on a stochastic system identification problem: given time series observations of a stochastic differential equation (SDE) driven by L\'{e}vy $\alpha$-stable noise, estimate the SDE's drift field. For $\alpha$ in the interval $[1,2)$, the noise is heavy-tailed, leading to computational difficulties for methods that compute transition densities and/or likelihoods in physical space. We propose a Fourier space approach that centers on computing time-dependent characteristic functions, i.e., Fourier transforms of time-dependent densities. Parameterizing the unknown drift field using Fourier series, we formulate a loss consisting of the squared error between predicted and empirical characteristic functions. We minimize this loss with gradients computed via the adjoint method. For a variety of one- and two-dimensional problems, we demonstrate that this method is capable of learning drift fields in qualitative and/or quantitative agreement with ground truth fields.

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

The purpose of this paper is to explore the use of deep learning for the solution of the nonlinear filtering problem. This is achieved by solving the Zakai equation by a deep splitting method, previously developed for approximate solution of (stochastic) partial differential equations. This is combined with an energy-based model for the approximation of functions by a deep neural network. This results in a computationally fast filter that takes observations as input and that does not require re-training when new observations are received. The method is tested on four examples, two linear in one and twenty dimensions and two nonlinear in one dimension. The method shows promising performance when benchmarked against the Kalman filter and the bootstrap particle filter.

滤波方程控制给定部分，并且可能嘈杂，依次到达的信号过程的条件分布的演变。它们的数值近似在许多真实应用中起着核心作用，包括数字天气预报，金融和工程。近似滤波方程解决方案的一种经典方法是使用由Gyongy，Krylov，Legland，Legland，Legland的PDE启发方法，称为分裂方法，其中包括其他贡献者。该方法和其他基于PDE的方法，具有特别适用性来解决低维问题。在这项工作中，我们将这种方法与神经网络表示相结合。新方法用于产生信号过程的无通知条件分布的近似值。我们进一步开发递归归一化程序，以恢复信号过程的归一化条件分布。新方案可以在多个时间步骤中迭代，同时保持其渐近无偏见属性完整。我们用Kalman和Benes滤波器的数值近似结果测试神经网络近似。

在本文中，我们专注于使用神经网络的时间序列数据的生成。通常情况下，输入时间序列数据仅实现了一个（通常是不规则采样）路径，这使得很难提取时间序列特征，并且其噪声结构比I.I.D更为复杂。类型。时间序列数据，尤其是来自水文，电信，经济学和金融的数据，也表现出长期记忆，也称为长期依赖性（LRD）。本文的主要目的是在神经网络的帮助下人为地生成时间序列，并考虑到路径的LRD。我们提出了FSDE-NET：神经分数随机微分方程网络。它通过使用大于一半的HURST索引的分数Brownian运动来概括神经随机微分方程模型，该方程式大于一半。我们得出FSDE-NET的求解器，并理论上分析了FSDE-NET溶液的存在和唯一性。我们对人工和实时序列数据进行的实验表明，FSDE-NET模型可以很好地复制分布属性。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

我们为随机梯度Langevin Dynamics（SGLD）建立了一个急剧的均匀误差估计，该算法是一种流行的采样算法。在温和的假设下，我们获得了一个均匀的$ o（\ eta^2）$，限制了SGLD迭代与langevin扩散之间的KL差异，其中$ \ eta $是步骤尺寸（或学习率）。我们的分析也适用于不同的步骤尺寸。基于此，我们能够以wasserstein或总变异距离来获得SGLD迭代和Langevin扩散不变分布之间的距离的$ O（\ eta）$。

我们介绍了一种从高维时间序列数据学习潜在随机微分方程（SDES）的方法。考虑到从较低维潜在未知IT \ ^ O过程产生的高维时间序列，所提出的方法通过自我监督的学习方法学习从环境到潜在空间的映射和潜在的SDE系数。使用变形AutiaceOders的框架，我们考虑基于SDE解决方案的Euler-Maruyama近似的数据的条件生成模型。此外，我们使用最近的结果对潜在变量模型的可识别性来表明，所提出的模型不仅可以恢复底层的SDE系数，还可以在无限数据的极限中恢复底层的SDE系数，也可以最大潜在潜在变量。我们通过多个模拟视频处理任务验证方法，其中底层SDE是已知的，并通过真实的世界数据集。

随着现代深层学习技术的快速发展，动态系统和神经网络的研究越来越多地利用了很多不同的方式。由于在现实世界观察中经常出现不确定性，因此SDES（随机微分方程）来发挥重要作用。更具体地，在本文中，我们使用配备神经网络的SDE集合来预测具有大跳跃性能和高概率分布偏移的嘈杂时间序列的长期趋势。我们的贡献是，首先，我们使用相位空间重建方法来提取时间序列数据的内在尺寸，以确定我们预测模型的输入结构。其次，我们探索由$ \ alpha $ -stable l \'evy motion驱动的SDE来模拟时间序列数据，通过神经网络近似来解决问题。第三，我们构建了达到多时间步长预测的注意机制。最后，我们通过将其应用于股票营销时间序列预测并显示结果优于几个基线深度学习模型来说明我们的方法。

为了克服拓扑限制并提高常规流量架构，吴，K \“ohler和No \'e的表达性引入了随机采样方法的随机标准化流程，该流程与随机取样方法相结合的确定性，可学习的流动变换。在本文中，我们考虑随机标准化流量一个马尔可夫链的观点。特别是，我们通过马尔可夫内核替换过渡密度，并通过氡-Nikodym衍生物建立证据，允许以声音方式结合没有密度的分布。此外，我们概括了从后部分布中抽样的结果逆问题所需。通过数值实施例证明了所提出的条件随机标准化流程的性能。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

We propose the tensorizing flow method for estimating high-dimensional probability density functions from the observed data. The method is based on tensor-train and flow-based generative modeling. Our method first efficiently constructs an approximate density in the tensor-train form via solving the tensor cores from a linear system based on the kernel density estimators of low-dimensional marginals. We then train a continuous-time flow model from this tensor-train density to the observed empirical distribution by performing a maximum likelihood estimation. The proposed method combines the optimization-less feature of the tensor-train with the flexibility of the flow-based generative models. Numerical results are included to demonstrate the performance of the proposed method.

在科学技术的许多领域中，从数据中提取理事物理学是一个关键挑战。方程发现的现有技术取决于输入和状态测量。但是，实际上，我们只能访问输出测量。我们在这里提出了一个新的框架，用于从输出测量中学习动态系统的物理学；这本质上将物理发现问题从确定性转移到随机域。提出的方法将输入模拟为随机过程，并将随机演算，稀疏学习算法和贝叶斯统计的概念融合在一起。特别是，我们将稀疏性结合起来，促进尖峰和平板先验，贝叶斯法和欧拉·马鲁山（Euler Maruyama）计划，以从数据中识别统治物理。最终的模型高效，可以进行稀疏，嘈杂和不完整的输出测量。在涉及完整状态测量和部分状态测量的几个数值示例中说明了所提出方法的功效和鲁棒性。获得的结果表明，拟议方法仅从产出测量中识别物理学的潜力。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

贝叶斯推理允许在贝叶斯神经网络的上下文中获取有关模型参数的有用信息，或者在贝叶斯神经网络的背景下。通常的Monte Carlo方法的计算成本，用于在贝叶斯推理中对贝叶斯推理的后验法律进行线性点的数量与数据点的数量进行线性。将其降低到这一成本的一小部分的一种选择是使用Langevin动态的未经调整的离散化来诉诸Mini-Batching，在这种情况下，只使用数据的随机分数来估计梯度。然而，这导致动态中的额外噪声，因此在马尔可夫链采样的不变度量上的偏差。我们倡导使用所谓的自适应Langevin动态，这是一种改进标准惯性Langevin动态，其动态摩擦力，可自动校正迷你批次引起的增加的噪声。我们调查假设适应性Langevin的假设（恒定协方差估计梯度的恒定协方差），这在贝叶斯推理的典型模型中不满足，并在这种情况下量化小型匹配诱导的偏差。我们还展示了如何扩展ADL，以便通过考虑根据参数的当前值来系统地减少后部分布的偏置。