不规则的时间序列数据在现实世界中很普遍，并且具有简单的复发性神经网络（RNN）的建模具有挑战性。因此，提出了一种结合使用普通微分方程（ODE）和RNN使用的模型（ODE-RNN），以模拟不规则时间序列的精度，但其计算成本很高。在本文中，我们通过使用不同的有效批处理策略提出了ODE-RNN的运行时间的改进。我们的实验表明，新模型将ODE-RNN的运行时间显着从2次降低到49次，具体取决于数据的不规则性，同时保持可比较的精度。因此，我们的模型可以对建模更大的不规则数据集建模。

Ordinary Differential Equations (ODE)-based models have become popular foundation models to solve many time-series problems. Combining neural ODEs with traditional RNN models has provided the best representation for irregular time series. However, ODE-based models require the trajectory of hidden states to be defined based on the initial observed value or the last available observation. This fact raises questions about how long the generated hidden state is sufficient and whether it is effective when long sequences are used instead of the typically used shorter sequences. In this article, we introduce CrossPyramid, a novel ODE-based model that aims to enhance the generalizability of sequences representation. CrossPyramid does not rely only on the hidden state from the last observed value; it also considers ODE latent representations learned from other samples. The main idea of our proposed model is to define the hidden state for the unobserved values based on the non-linear correlation between samples. Accordingly, CrossPyramid is built with three distinctive parts: (1) ODE Auto-Encoder to learn the best data representation. (2) Pyramidal attention method to categorize the learned representations (hidden state) based on the relationship characteristics between samples. (3) Cross-level ODE-RNN to integrate the previously learned information and provide the final latent state for each sample. Through extensive experiments on partially-observed synthetic and real-world datasets, we show that the proposed architecture can effectively model the long gaps in intermittent series and outperforms state-of-the-art approaches. The results show an average improvement of 10\% on univariate and multivariate datasets for both forecasting and classification tasks.

在本文中，我们在用于生成时间序列建模的变形式自动统计器设置中实现神经常规方程。以对象为导向的代码方法是为了允许更容易的开发和研究以及本文中使用的所有代码可以在这里找到：https://github.com/simonmoesorensen/neural-ode-project最初是重新创建的结果与基线长短短期内存AutoEncoder相比的重建。然后用LSTM编码器扩展该模型，并受到弹簧振荡形式的时间序列组成的更复杂数据的攻击。该模型显示了承诺，并且能够为所有复杂的数据重建真正的轨迹，而不是基线模型的RMSE较小。然而，它能够捕获解码器中已知数据的时间序列的动态行为，但是对于弹簧数据的任何复杂性，不能够在真正的轨迹之后产生外推。最后进行了最终实验，其中模型也以68天的太阳能生产数据呈现，并且能够重建，即使在空间很少的数据时，也能够重建和基线。最后，将模型培训时间与基线进行比较。结果发现，对于少量数据，节点方法在训练中显着较慢，而不是基线，而对于较大量的数据，节点方法将在训练中等于或更快。本文以未来的工作部分结束，该部分描述了本文中提供的工作的许多自然扩展，其中示例正在研究输入数据的重要性，包括基线模型中的外推或测试更多特定的模型设置。

像长期短期内存网络（LSTMS）和门控复发单元（GRUS）相同的经常性神经网络（RNN）是建模顺序数据的流行选择。它们的门控机构允许以来自传入观测的新信息在隐藏状态中编码的先前历史。在许多应用程序中，例如医疗记录，观察时间是不规则的并且携带重要信息。然而，LSTM和GRUS在观察之间假设恒定的时间间隔。为了解决这一挑战，我们提出了连续的经常性单位（CRU）-A神经结构，可以自然地处理观察之间的不规则时间间隔。 CRU的浇注机制采用卡尔曼滤波器的连续制剂，并且根据线性随机微分方程（SDE）和（2）潜伏状态在新观察进入时，在（1）之间的连续潜在传播之间的交替。在实证研究，我们表明CRU可以比神经常规差分方程（神经颂歌）的模型更好地插值不规则时间序列。我们还表明，我们的模型可以从IM-AGES推断动力学，并且卡尔曼有效地单挑出候选人的候选人，从而从嘈杂的观察中获得有价值的状态更新。

We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a blackbox differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.

Recurrent neural networks (RNNs) have brought a lot of advancements in sequence labeling tasks and sequence data. However, their effectiveness is limited when the observations in the sequence are irregularly sampled, where the observations arrive at irregular time intervals. To address this, continuous time variants of the RNNs were introduced based on neural ordinary differential equations (NODE). They learn a better representation of the data using the continuous transformation of hidden states over time, taking into account the time interval between the observations. However, they are still limited in their capability as they use the discrete transformations and a fixed discrete number of layers (depth) over an input in the sequence to produce the output observation. We intend to address this limitation by proposing RNNs based on differential equations which model continuous transformations over both depth and time to predict an output for a given input in the sequence. Specifically, we propose continuous depth recurrent neural differential equations (CDR-NDE) which generalizes RNN models by continuously evolving the hidden states in both the temporal and depth dimensions. CDR-NDE considers two separate differential equations over each of these dimensions and models the evolution in the temporal and depth directions alternatively. We also propose the CDR-NDE-heat model based on partial differential equations which treats the computation of hidden states as solving a heat equation over time. We demonstrate the effectiveness of the proposed models by comparing against the state-of-the-art RNN models on real world sequence labeling problems and data.

Methods based on ordinary differential equations (ODEs) are widely used to build generative models of time-series. In addition to high computational overhead due to explicitly computing hidden states recurrence, existing ODE-based models fall short in learning sequence data with sharp transitions - common in many real-world systems - due to numerical challenges during optimization. In this work, we propose LS4, a generative model for sequences with latent variables evolving according to a state space ODE to increase modeling capacity. Inspired by recent deep state space models (S4), we achieve speedups by leveraging a convolutional representation of LS4 which bypasses the explicit evaluation of hidden states. We show that LS4 significantly outperforms previous continuous-time generative models in terms of marginal distribution, classification, and prediction scores on real-world datasets in the Monash Forecasting Repository, and is capable of modeling highly stochastic data with sharp temporal transitions. LS4 sets state-of-the-art for continuous-time latent generative models, with significant improvement of mean squared error and tighter variational lower bounds on irregularly-sampled datasets, while also being x100 faster than other baselines on long sequences.

基于合奏的大规模模拟动态系统对于广泛的科学和工程问题至关重要。模拟中使用的常规数值求解器受到时间整合的步长显着限制，这会阻碍效率和可行性，尤其是在需要高精度的情况下。为了克服这一限制，我们提出了一种数据驱动的校正方法，该方法允许使用大型步骤，同时补偿了积分误差以提高精度。该校正器以矢量值函数的形式表示，并通过神经网络建模以回归相空间中的误差。因此，我们将校正神经矢量（Neurvec）命名。我们表明，Neurvec可以达到与传统求解器具有更大步骤尺寸的传统求解器相同的准确性。我们从经验上证明，Neurvec可以显着加速各种数值求解器，并克服这些求解器的稳定性限制。我们关于基准问题的结果，从高维问题到混乱系统，表明Neurvec能够捕获主要的误差项并保持整体预测的统计数据。

大多数机器学习方法都用作建模的黑匣子。我们可能会尝试从基于物理学的训练方法中提取一些知识，例如神经颂（普通微分方程）。神经ODE具有可能具有更高类的代表功能的优势，与黑盒机器学习模型相比，扩展的可解释性，描述趋势和局部行为的能力。这种优势对于具有复杂趋势的时间序列尤其重要。但是，已知的缺点是与自回归模型和长期术语内存（LSTM）网络相比，广泛用于数据驱动的时间序列建模的高训练时间。因此，我们应该能够平衡可解释性和训练时间，以在实践中应用神经颂歌。该论文表明，现代神经颂歌不能简化为时间序列建模应用程序的模型。将神经ODE的复杂性与传统的时间序列建模工具进行比较。唯一可以提取的解释是操作员的特征空间，这对于大型系统来说是一个不适的问题。可以使用不同的经典分析方法提取光谱，这些方法没有延长时间的缺点。因此，我们将神经ODE缩小为更简单的线性形式，并使用合并的神经网络和ODE系统方法对时间序列建模进行了新的视图。

虽然外源变量对时间序列分析的性能改善有重大影响，但在当前的连续方法中很少考虑这些序列间相关性和时间依赖性。多元时间序列的动力系统可以用复杂的未知偏微分方程（PDE）进行建模，这些方程（PDE）在科学和工程的许多学科中都起着重要作用。在本文中，我们提出了一个任意步骤预测的连续时间模型，以学习多元时间序列中的未知PDE系统，其管理方程是通过自我注意和封闭的复发神经网络参数化的。所提出的模型\下划线{变量及其对目标系列的影响。重要的是，使用特殊设计的正则化指南可以将模型简化为正则化的普通微分方程（ODE）问题，这使得可以触犯的PDE问题以获得数值解决方案，并且可行，以预测目标序列的多个未来值。广泛的实验表明，我们提出的模型可以在强大的基准中实现竞争精度：平均而言，它通过降低RMSE的$ 9.85 \％$和MAE的MAE $ 13.98 \％$的基线表现优于最佳基准，以获得任意步骤预测的MAE $。

深层剩余网络（RESNET）在各种现实世界应用中显示出最先进的性能。最近，重新聚集了重新分解模型并将其解释为连续的普通微分方程或神经模型的解决方案。在这项研究中，我们提出了一个具有层变化参数的神经通用的普通微分方程（神经 - 理）模型，以进一步扩展神经模块以近似离散的重新NET。具体而言，我们使用非参数B-Spline函数来参数化神经形成，以便可以轻松平衡模型复杂性和计算效率之间的权衡。证明重新结构和神经码模型是所提出的神经形模型的特殊情况。基于两个基准数据集，MNIST和CIFAR-10，我们表明，与标准神经模板相比，与层变化的神经形成更加灵活和通用。此外，神经学享有计算和记忆益处，同时在预测准确性方面具有相当的性能。

受微分方程式启发的深度学习是最近的研究趋势，它标志着许多机器学习任务的最先进的表现。其中，具有神经控制的微分方程（NCDE）的时间序列建模被认为是突破。在许多情况下，基于NCDE的模型不仅比复发性神经网络（RNN）提供了更好的准确性，而且还可以处理不规则的时间序列。在这项工作中，我们通过重新设计其核心部分，即从离散的时间序列输入产生连续路径来增强NCDES。 NCDE通常使用插值算法将离散的时间序列样本转换为连续路径。但是，我们向i）提出建议，使用编码器解码器体系结构生成另一个潜在的连续路径，该架构对应于NCDE的插值过程，即我们的基于神经网络的插值与现有的显式插值相对于现有的显式插值以及II）解码器的外推超出了原始数据的时域的外推。因此，我们的NCDE设计可以同时使用插值和外推信息进行下游机器学习任务。在我们使用5个现实世界数据集和12个基线的实验中，我们的外推和基于插值的NCDES超过了非平凡的边缘的现有基线。

Neural ordinary differential equations (neural ODEs) have emerged as a novel network architecture that bridges dynamical systems and deep learning. However, the gradient obtained with the continuous adjoint method in the vanilla neural ODE is not reverse-accurate. Other approaches suffer either from an excessive memory requirement due to deep computational graphs or from limited choices for the time integration scheme, hampering their application to large-scale complex dynamical systems. To achieve accurate gradients without compromising memory efficiency and flexibility, we present a new neural ODE framework, PNODE, based on high-level discrete adjoint algorithmic differentiation. By leveraging discrete adjoint time integrators and advanced checkpointing strategies tailored for these integrators, PNODE can provide a balance between memory and computational costs, while computing the gradients consistently and accurately. We provide an open-source implementation based on PyTorch and PETSc, one of the most commonly used portable, scalable scientific computing libraries. We demonstrate the performance through extensive numerical experiments on image classification and continuous normalizing flow problems. We show that PNODE achieves the highest memory efficiency when compared with other reverse-accurate methods. On the image classification problems, PNODE is up to two times faster than the vanilla neural ODE and up to 2.3 times faster than the best existing reverse-accurate method. We also show that PNODE enables the use of the implicit time integration methods that are needed for stiff dynamical systems.

在电子健康记录（EHRS）中，不规则的时间序列（ITS）自然发生，这是由于患者健康动态而自然发生，这是由于医院不规则的探访，疾病/状况以及每次访问时测量不同生命迹象的必要性。其目前的培训挑战机器学习算法主要建立在相干固定尺寸特征空间的假设上。在本文中，我们提出了一种新型的连续患者状态感知器模型，称为铜，以应对其在EHR中。铜使用感知器模型和神经普通微分方程（ODE）的概念来学习患者状态的连续时间动态，即输入空间的连续性和输出空间的连续性。神经ODES可以帮助铜生成常规的时间序列，以进食感知器模型，该模型具有处理多模式大规模输入的能力。为了评估所提出的模型的性能，我们在模仿III数据集上使用院内死亡率预测任务，并仔细设计实验来研究不规则性。将结果与证明所提出模型的功效的基准进行了比较。

在过去的几年里，通过微分方程激发的神经网络已经增殖。神经常规方程（节点）和神经控制微分方程（NCDE）是它们的两个代表性示例。理论上，NCDES提供比节点的时间序列数据更好的表示学习能力。特别地，已知NCDE适用于处理不规则的时间序列数据。然而，在采用关注之后，节点已成功扩展，但是尚未研究如何将注意力集成到NCDE中。为此，我们介绍了用于时间序列分类和预测的周度神经控制微分方程（ANCDES）的方法，其中使用了双nCDE：一个用于生成注意值，另一个用于改进下游机器学习任务的隐藏向量。我们用三个真实世界时间序列数据集和10个基线进行实验。丢弃一些值后，我们还进行不规则的时间序列实验。我们的方法一致地显示所有案例中的最佳准确性。我们的可视化还表明，通过专注于关键信息，所提出的注意机制如预期的工作。

异步时间序列是一个多元时间序列，在该时间序列中，所有通道都被观察到异步独立的，使得时间序列在对齐时极为稀疏。我们经常在具有复杂的观察过程（例如医疗保健，气候科学和天文学）的应用中观察到这种影响，仅举几例。由于异步性质，它们对深度学习体系结构构成了重大挑战，假定给他们的时间序列定期采样，完全观察并与时间对齐。本文提出了一个新颖的框架，我们称深卷积集功能（DCSF），该功能高度可扩展且有效，对于异步时间序列分类任务。随着深度学习体系结构的最新进展，我们引入了一个模型，该模型不变了，在此订单中呈现了时间序列的频道。我们探索卷积神经网络，该网络对定期采样和完全观察到的时间序列的紧密相关的问题分类进行了很好的研究，以编码设置元素。我们评估DCSF的ASTS分类和在线（每个时间点）ASTS分类。我们在多个现实世界和合成数据集上进行的广泛实验验证了建议的模型在准确性和运行时间方面的表现优于一系列最新模型。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

来自数据的顺序模式是各种时间序列预测任务的核心。深度学习模型大大优于许多传统模型，但是这些黑框模型通常缺乏预测和决策的解释性。为了揭示具有可理解的数学表达式的潜在趋势，科学家和经济学家倾向于使用部分微分方程（PDE）来解释顺序模式的高度非线性动力学。但是，它通常需要领域专家知识和一系列简化的假设，这些假设并不总是实用的，并且可能偏离不断变化的世界。是否可以动态地学习与数据的差异关系以解释时间不断发展的动态？在这项工作中，我们提出了一个学习框架，该框架可以自动从顺序数据中获取可解释的PDE模型。特别是，该框架由可学习的差分块组成，称为$ p $ blocks，事实证明，该框架能够近似于理论上随着时间不断变化的复杂连续功能。此外，为了捕获动力学变化，该框架引入了元学习控制器，以动态优化混合PDE模型的超参数。 《时代》系列预测金融，工程和健康数据的广泛实验表明，我们的模型可以提供有价值的解释性并实现与最先进模型相当的性能。从经验研究中，我们发现学习一些差异操作员可能会捕获无需大量计算复杂性的顺序动力学的主要趋势。

我们提出了一种新颖的二阶优化框架，用于训练新兴的深度连续时间模型，特别是神经常规方程（神经杂物杂物）。由于他们的训练已经涉及昂贵的梯度计算来通过求解向后ode，因此导出有效的二阶方法变得高度不变。然而，灵感来自最近的最佳控制（OC）对训练深网络的解释，我们表明，可以采用称为差分编程的特定连续时间oC方法，以获得同一O（1 ）内存成本。我们进一步探索了二阶衍生品的低级别表示，并表明它导致借助基于Kronecker的分子化的有效的预处理更新。由此产生的方法 - 命名的snopt - 收敛于壁钟时间中的一阶基线的速度要快得多，并且改进仍然在各种应用中保持一致，例如，图像分类，生成流量和时间序列预测。我们的框架还实现了直接的架构优化，例如神经杂物的集成时间，具有二阶反馈策略，加强了OC视角作为深度学习中优化的原则性工具。我们的代码可在https://github.com/ghliu/snopt上获得。

我们介绍了两个块坐标下降算法，以解决使用普通微分方程（ODE）作为动态约束的优化问题。该算法无需实施直接或伴随的灵敏度分析方法来评估损失功能梯度。它们是由对原始问题重新制作的重新制作，作为与平等约束的等效优化问题。该算法自然遵循旨在根据ODE求解器恢复梯度定位算法的步骤，该算法明确解释了ODE溶液的灵敏度。在我们的第一个提出的算法中，我们避免通过将ODE求解器集成为隐式约束序列来明确求解ODE。在我们的第二个算法中，我们使用ODE求解器重置ODE解决方案，但没有直接使用伴随灵敏度分析方法。这两种算法都接受微型批量实施，并从基于GPU的并行化中显示出显着的效率优势。当应用于学习Cucker-Smale模型的参数时，我们演示了该算法的性能。将算法与基于具有敏感性分析能力的ODE求解器的梯度下降算法进行比较，使用Pytorch和JAX实现，具有各种状态数量的敏感性分析能力。实验结果表明，所提出的算法至少比Pytorch实现快4倍，并且比JAX实现快至少16倍。对于大版本的Cucker-Smale模型，JAX实现的速度比基于灵敏度分析的实现快数千倍。此外，我们的算法在培训和测试数据上都会产生更准确的结果。对于实施实时参数估计（例如诊断算法）的算法，计算效率的这种提高至关重要。