We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a blackbox differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

我们提出了特征神经常规差分方程（C节点），该框架用于扩展神经常规微分方程（节点）之外的缺点。虽然节点模型将潜在状态的演变为对颂歌的解决方案，但是所提出的C节点模拟了潜在的潜在的演变作为其特征的一阶准线性部分微分方程（PDE）的解决方案，定义为PDE减少到ODES的曲线。反过来，还原允许应用标准框架，以解决PDE设置的杂散。另外，所提出的框架可以作为现有节点架构的扩展来投用，从而允许使用现有的黑盒颂歌求解器。我们证明了C节点框架通过展示不能由节点表示的功能来扩展经典节点，而是由C节点表示。我们通过在许多合成和实际数据场景中展示其性能，进一步研究了C节点框架的功效。经验结果展示了CIFAR-10，SVHN和MNIST数据集的提出方法提供的改进，如类似的计算预算作为现有节点方法。

在本文中，我们在用于生成时间序列建模的变形式自动统计器设置中实现神经常规方程。以对象为导向的代码方法是为了允许更容易的开发和研究以及本文中使用的所有代码可以在这里找到：https://github.com/simonmoesorensen/neural-ode-project最初是重新创建的结果与基线长短短期内存AutoEncoder相比的重建。然后用LSTM编码器扩展该模型，并受到弹簧振荡形式的时间序列组成的更复杂数据的攻击。该模型显示了承诺，并且能够为所有复杂的数据重建真正的轨迹，而不是基线模型的RMSE较小。然而，它能够捕获解码器中已知数据的时间序列的动态行为，但是对于弹簧数据的任何复杂性，不能够在真正的轨迹之后产生外推。最后进行了最终实验，其中模型也以68天的太阳能生产数据呈现，并且能够重建，即使在空间很少的数据时，也能够重建和基线。最后，将模型培训时间与基线进行比较。结果发现，对于少量数据，节点方法在训练中显着较慢，而不是基线，而对于较大量的数据，节点方法将在训练中等于或更快。本文以未来的工作部分结束，该部分描述了本文中提供的工作的许多自然扩展，其中示例正在研究输入数据的重要性，包括基线模型中的外推或测试更多特定的模型设置。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

Neural ordinary differential equations (neural ODEs) have emerged as a novel network architecture that bridges dynamical systems and deep learning. However, the gradient obtained with the continuous adjoint method in the vanilla neural ODE is not reverse-accurate. Other approaches suffer either from an excessive memory requirement due to deep computational graphs or from limited choices for the time integration scheme, hampering their application to large-scale complex dynamical systems. To achieve accurate gradients without compromising memory efficiency and flexibility, we present a new neural ODE framework, PNODE, based on high-level discrete adjoint algorithmic differentiation. By leveraging discrete adjoint time integrators and advanced checkpointing strategies tailored for these integrators, PNODE can provide a balance between memory and computational costs, while computing the gradients consistently and accurately. We provide an open-source implementation based on PyTorch and PETSc, one of the most commonly used portable, scalable scientific computing libraries. We demonstrate the performance through extensive numerical experiments on image classification and continuous normalizing flow problems. We show that PNODE achieves the highest memory efficiency when compared with other reverse-accurate methods. On the image classification problems, PNODE is up to two times faster than the vanilla neural ODE and up to 2.3 times faster than the best existing reverse-accurate method. We also show that PNODE enables the use of the implicit time integration methods that are needed for stiff dynamical systems.

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

最近的工作已经为简单的高斯分布建立了一个路径梯度估计量，并认为该路径梯度在变化分布接近确切目标分布的状态下尤其有益。但是，在许多应用中，这种制度无法通过简单的高斯分布来达到。在这项工作中，我们通过提出一个途径梯度估计量来克服这一关键限制，以使连续归一化流的表达性变异家族更加表现力。我们概述了一种有效的算法来计算该估计器并通过经验建立其出色的性能。

We show that standard ResNet architectures can be made invertible, allowing the same model to be used for classification, density estimation, and generation. Typically, enforcing invertibility requires partitioning dimensions or restricting network architectures. In contrast, our approach only requires adding a simple normalization step during training, already available in standard frameworks. Invertible ResNets define a generative model which can be trained by maximum likelihood on unlabeled data. To compute likelihoods, we introduce a tractable approximation to the Jacobian log-determinant of a residual block. Our empirical evaluation shows that invertible ResNets perform competitively with both stateof-the-art image classifiers and flow-based generative models, something that has not been previously achieved with a single architecture.

时间序列对齐方法要求高度表达，可区分和可逆的翘曲功能，这些功能保留时间拓扑，即差异性。可以通过普通微分方程（ODE）控制的速度场的集成来产生差异翘曲函数。基于梯度的优化框架包含差异转换需要根据模型参数（即灵敏度分析）计算微分方程解决方案的衍生物。不幸的是，深度学习框架通常缺乏自动差异兼容的灵敏度分析方法。和隐式功能，例如ODE的解决方案，都需要特殊护理。当前的解决方案吸引了伴随灵敏度方法，临时数值求解器或Resnet的Eulerian离散化。在这项工作中，我们在连续的分段（CPA）速度函数下呈现ODE溶液及其梯度的封闭式表达。我们提出了对CPU和GPU结果的高度优化实现。此外，我们在几个数据集上进行了广泛的实验，以验证模型对时间序列关节对齐的看不见数据的概括能力。结果在效率和准确性方面表现出显着改善。

我们提出了一种新颖的二阶优化框架，用于训练新兴的深度连续时间模型，特别是神经常规方程（神经杂物杂物）。由于他们的训练已经涉及昂贵的梯度计算来通过求解向后ode，因此导出有效的二阶方法变得高度不变。然而，灵感来自最近的最佳控制（OC）对训练深网络的解释，我们表明，可以采用称为差分编程的特定连续时间oC方法，以获得同一O（1 ）内存成本。我们进一步探索了二阶衍生品的低级别表示，并表明它导致借助基于Kronecker的分子化的有效的预处理更新。由此产生的方法 - 命名的snopt - 收敛于壁钟时间中的一阶基线的速度要快得多，并且改进仍然在各种应用中保持一致，例如，图像分类，生成流量和时间序列预测。我们的框架还实现了直接的架构优化，例如神经杂物的集成时间，具有二阶反馈策略，加强了OC视角作为深度学习中优化的原则性工具。我们的代码可在https://github.com/ghliu/snopt上获得。

我们提出了一种新的“泊松流”生成模型（PFGM），该模型将高维半球上的均匀分布映射到任何数据分布中。我们将数据点解释为$ z = 0 $超平面上的电荷，在增加额外尺寸$ z $的空间中，产生了高维电场（泊松方程解决方案的梯度）。我们证明，如果这些电荷沿电场线向上流动，则它们在$ z = 0 $平面中的初始分布将变成半径$ r $半球的分布，该分布在$ r \ to \ infty $限制中变成均匀。为了学习徒的转化，我们估计了增强空间中的归一化场。对于采样，我们设计了一种由物理上有意义的附加尺寸锚定的向后ode：当$ z $达到零时，样本击中了未加重的数据歧管。在实验上，PFGM在CIFAR-10上的正常流量模型中实现了当前的最新性能，其成立分数为9.68美元，而FID得分为2.48美元。它还可以与最先进的SDE方法相同，同时提供$ 10 \ times $至$ 20 \ $ 20 \ times $ $加速图像生成任务。此外，PFGM在较弱的网络体系结构上似乎更宽容估计误差，并且对Euler方法中的步骤大小稳健。该代码可在https://github.com/newbeeer/poisson_flow上找到。

我们介绍了两个块坐标下降算法，以解决使用普通微分方程（ODE）作为动态约束的优化问题。该算法无需实施直接或伴随的灵敏度分析方法来评估损失功能梯度。它们是由对原始问题重新制作的重新制作，作为与平等约束的等效优化问题。该算法自然遵循旨在根据ODE求解器恢复梯度定位算法的步骤，该算法明确解释了ODE溶液的灵敏度。在我们的第一个提出的算法中，我们避免通过将ODE求解器集成为隐式约束序列来明确求解ODE。在我们的第二个算法中，我们使用ODE求解器重置ODE解决方案，但没有直接使用伴随灵敏度分析方法。这两种算法都接受微型批量实施，并从基于GPU的并行化中显示出显着的效率优势。当应用于学习Cucker-Smale模型的参数时，我们演示了该算法的性能。将算法与基于具有敏感性分析能力的ODE求解器的梯度下降算法进行比较，使用Pytorch和JAX实现，具有各种状态数量的敏感性分析能力。实验结果表明，所提出的算法至少比Pytorch实现快4倍，并且比JAX实现快至少16倍。对于大版本的Cucker-Smale模型，JAX实现的速度比基于灵敏度分析的实现快数千倍。此外，我们的算法在培训和测试数据上都会产生更准确的结果。对于实施实时参数估计（例如诊断算法）的算法，计算效率的这种提高至关重要。

Methods based on ordinary differential equations (ODEs) are widely used to build generative models of time-series. In addition to high computational overhead due to explicitly computing hidden states recurrence, existing ODE-based models fall short in learning sequence data with sharp transitions - common in many real-world systems - due to numerical challenges during optimization. In this work, we propose LS4, a generative model for sequences with latent variables evolving according to a state space ODE to increase modeling capacity. Inspired by recent deep state space models (S4), we achieve speedups by leveraging a convolutional representation of LS4 which bypasses the explicit evaluation of hidden states. We show that LS4 significantly outperforms previous continuous-time generative models in terms of marginal distribution, classification, and prediction scores on real-world datasets in the Monash Forecasting Repository, and is capable of modeling highly stochastic data with sharp temporal transitions. LS4 sets state-of-the-art for continuous-time latent generative models, with significant improvement of mean squared error and tighter variational lower bounds on irregularly-sampled datasets, while also being x100 faster than other baselines on long sequences.

平均场游戏（MFGS）是针对具有大量交互代理的系统的建模框架。他们在经济学，金融和游戏理论中有应用。标准化流（NFS）是一个深层生成模型的家族，通过使用可逆映射来计算数据的可能性，该映射通常通过使用神经网络进行参数化。它们对于密度建模和数据生成很有用。尽管对这两种模型进行了积极的研究，但很少有人注意到两者之间的关系。在这项工作中，我们通过将NF的训练视为解决MFG来揭示MFGS和NFS之间的联系。这是通过根据试剂轨迹重新解决MFG问题的实现，并通过流量体系结构对所得MFG的离散化进行参数化。通过这种联系，我们探讨了两个研究方向。首先，我们采用表达的NF体系结构来准确地求解高维MFG，以避开传统数值方法中维度的诅咒。与其他深度学习方法相比，我们的基于轨迹的公式编码神经网络中的连续性方程，从而更好地近似人口动态。其次，我们对NFS进行运输成本的培训正规，并显示了控制模型Lipschitz绑定的有效性，从而获得了更好的概括性能。我们通过对各种合成和现实生活数据集的全面实验来展示数值结果。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

粒子过滤是针对多种顺序推断任务的标准蒙特卡洛方法。粒子过滤器的关键成分是一组具有重要性权重的粒子，它们可以作为某些随机过程的真实后验分布的代理。在这项工作中，我们提出了连续的潜在粒子过滤器，该方法将粒子过滤扩展到连续时域。我们证明了如何将连续的潜在粒子过滤器用作依赖于学到的变异后验的推理技术的通用插件替换。我们对基于潜在神经随机微分方程的不同模型家族进行的实验表明，在推理任务中，连续时间粒子滤波在推理任务中的卓越性能，例如似然估计和各种随机过程的顺序预测。

神经普通微分方程模型的动态系统，\ textit {ode}由神经网络学习。但是，ODE从根本上是不足以建模具有长期依赖性或不连续性的系统，这些系统在工程和生物系统中很常见。已经提出了更广泛的微分方程（DE）类作为补救措施，包括延迟微分方程和整数差异方程。此外，当通过分段强迫函数对硬质量和odes进行建模时，神经颂歌会遭受数值的不稳定性。在这项工作中，我们提出了\ textit {neural laplace}，这是一个学习不同类别的统一框架，包括上述所有类别。我们没有在时间域中对动态进行建模，而是在拉普拉斯域中对其进行建模，在拉普拉斯域中，可以将历史依赖性和时间的不连续性表示为复杂指数的求和。为了提高学习效率，我们使用Riemann Sphere的几何立体图来诱导Laplace域中的平滑度。在实验中，神经拉普拉斯在建模和推断DES类别的轨迹方面表现出卓越的性能，包括具有复杂历史依赖性和突然变化的DES类别。

The choice of approximate posterior distribution is one of the core problems in variational inference. Most applications of variational inference employ simple families of posterior approximations in order to allow for efficient inference, focusing on mean-field or other simple structured approximations. This restriction has a significant impact on the quality of inferences made using variational methods. We introduce a new approach for specifying flexible, arbitrarily complex and scalable approximate posterior distributions. Our approximations are distributions constructed through a normalizing flow, whereby a simple initial density is transformed into a more complex one by applying a sequence of invertible transformations until a desired level of complexity is attained. We use this view of normalizing flows to develop categories of finite and infinitesimal flows and provide a unified view of approaches for constructing rich posterior approximations. We demonstrate that the theoretical advantages of having posteriors that better match the true posterior, combined with the scalability of amortized variational approaches, provides a clear improvement in performance and applicability of variational inference.