使用黑框模型（例如神经普通微分方程（ODE））对动态系统的端到端学习为从数据中学习动力学的灵活框架提供了一个灵活的框架，而无需为动力学开出数学模型。不幸的是，这种灵活性是基于理解动态系统的成本，而该系统无处不在。此外，在各种条件（输入）（例如处理）或以某种方式分组（例如子人群的一部分）中收集了实验数据。了解这些系统输入对系统输出的影响对于具有动态系统的任何有意义的模型至关重要。为此，我们提出了一个结构化的潜在ode模型，该模型明确捕获了其潜在表示内的系统输入变化。在静态潜在变量规范的基础上，我们的模型学习了（独立的）随机因素，每个输入的系统输入的变异因素，从而将系统输入在潜在空间中的效果分开。该方法通过受控生成的时间序列数据提供了可行的建模，以实现新颖的输入组合（或扰动）。此外，我们提出了一种量化不确定性的灵活方法，利用分位数回归公式。在受到挑战的生物数据集上，在观测数据的受控生成和生物学上有意义的系统输入的推理中，对竞争基准的结果保持一致。

最近的机器学习进展已直接从数据中直接提出了对未知连续时间系统动力学的黑盒估计。但是，较早的作品基于近似ODE解决方案或点估计。我们提出了一种新型的贝叶斯非参数模型，该模型使用高斯工艺直接从数据中直接从数据中推断出未知ODE系统的后代。我们通过脱钩的功能采样得出稀疏的变异推断，以表示矢量场后代。我们还引入了一种概率的射击增强，以从任意长的轨迹中有效推断。该方法证明了计算矢量场后代的好处，预测不确定性得分优于多个ODE学习任务的替代方法。

纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言，在流行病学队列研究和临床登记处，我们面临的问题是在研究早期阶段中可以从数据中学到的问题，只有基线表征和一个后续测量。灵感来自最近的进步，允许将深度学习与动态建模相结合，我们调查这些方法是否可用于揭示复杂结构，特别是对于每个单独的两个观察时间点的极端小数据设置。然后，通过利用个体的相似性，可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器（VAES）如何作为深度学习方法，可以与普通微分方程（ODES）相关联用于动态建模，然后具体研究这种方法的可行性，即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务，以提供统计的视角。使用模拟数据，我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹，以及使用具有类似轨迹的个体群体，以及其崩溃的地方。结果表明，即使在极端的小数据设置中，这种动态深度学习方法也可能是有用的，但需要仔细调整。

Methods based on ordinary differential equations (ODEs) are widely used to build generative models of time-series. In addition to high computational overhead due to explicitly computing hidden states recurrence, existing ODE-based models fall short in learning sequence data with sharp transitions - common in many real-world systems - due to numerical challenges during optimization. In this work, we propose LS4, a generative model for sequences with latent variables evolving according to a state space ODE to increase modeling capacity. Inspired by recent deep state space models (S4), we achieve speedups by leveraging a convolutional representation of LS4 which bypasses the explicit evaluation of hidden states. We show that LS4 significantly outperforms previous continuous-time generative models in terms of marginal distribution, classification, and prediction scores on real-world datasets in the Monash Forecasting Repository, and is capable of modeling highly stochastic data with sharp temporal transitions. LS4 sets state-of-the-art for continuous-time latent generative models, with significant improvement of mean squared error and tighter variational lower bounds on irregularly-sampled datasets, while also being x100 faster than other baselines on long sequences.

从电子健康记录（EHR）数据中进行有效学习来预测临床结果，这通常是具有挑战性的，因为在不规则的时间段记录的特征和随访的损失以及竞争性事件（例如死亡或疾病进展）。为此，我们提出了一种生成的事实模型，即Survlatent Ode，该模型采用了基于基于微分方程的复发性神经网络（ODE-RNN）作为编码器，以有效地对不规则采样的输入数据进行潜在状态的动力学有效地参数化。然后，我们的模型利用所得的潜在嵌入来灵活地估计多个竞争事件的生存时间，而无需指定事件特定危害功能的形状。我们展示了我们在Mimic-III上的竞争性能，这是一种从重症监护病房收集的自由纵向数据集，预测医院死亡率以及DANA-FARBER癌症研究所（DFCI）的数据，以预测静脉血栓症（静脉血栓症（DFCI）（DFCI）（ VTE），是癌症患者的生命并发症，死亡作为竞争事件。幸存ODE优于分层VTE风险组的当前临床标准Khorana风险评分，同时提供临床上有意义且可解释的潜在表示。

物理学，生物学或医学中的经验观察时间序列通常由一些潜在的动态系统（DS）产生，这是科学兴趣的目标。收获机器学习方法越来越兴趣，以完全数据驱动，无人监督的方式重建这种潜在的DS。在许多科学领域，通常可以同时采样时间序列观察，例如，从许多数据模式中进行采样时间序列观察。典型神经科学实验中的电生理和行为时间序列。然而，用于重建DSS的当前机器学习工具通常只关注一个数据模型。在这里，我们提出了一种用于非线性DS识别和跨模态预测的多模态数据集成的一般框架。该框架基于动态可解释的复发性神经网络作为非线性DS的一般近似器，耦合到来自广义线性模型类的模态特定解码器模型集。预期最大化和模型培训的变分推理算法都是先进的和比较。我们在非线性DS基准上展示了我们的算法通过利用其他频道，我们的算法可以有效地补偿一个数据信道中的太吵或丢失的信息，并在实验神经科学数据上演示算法如何将不同的数据域链接到底层动态

计算生物学中的一个关键问题是发现基因表达变化，该基因表达会调节细胞命运跃迁，其中一种细胞类型变成另一种细胞类型。但是，每个单独的单个细胞都不能纵向跟踪，并且在同一时间内实时的单元可能处于过渡过程的不同阶段。这可以看作是从未知时代的观察结果中学习动态系统行为的问题。此外，单个祖细胞类型通常会分叉成多种儿童细胞类型，从而使模拟动力学的问题变得复杂。为了解决这个问题，我们开发了一种称为普通微分方程的变分混合物的方法。通过使用基因表达生物化学告知的简单odes家族来限制深层生成模型的可能性，我们可以同时推断每个细胞的潜在时间和潜在状态并预测其未来的基因表达状态。该模型可以解释为ODE的混合物，其参数在细胞状态的潜在空间中连续变化。与以前的方法相比，我们的方法极大地改善了单细胞基因表达数据的数据拟合，潜在时间推断和未来的细胞状态估计。

我们为身体和生存期的个体老化轨迹建立了一个计算模型，其中包含物理，功能和生物变量，并在人口统计学，生活方式和医学背景信息上进行调节。我们将现代机器学习技术与可解释的交互网络相结合，其中健康变量通过随机动力系统内的显式配对交互来耦合。我们的动态联合可解释网络（DJIN）模型可扩展到大型纵向数据集，是从基线健康状态的个体高维氏体健康轨迹和生存的预测性，并且在卫生变量之间的可解释网络的可解释网络。该网络识别健康变量之间的合理生理连接以及强烈连接的健康变量的集群。我们使用对老化（ELSA）数据的英语纵向研究培训我们的模型，并表明它比多个专用线性模型更好地进行健康结果和生存。我们将模型与灵活的低维潜空间模型进行比较，探讨准确模拟老化健康结果所需的维度。我们的Djin模型可用于生成易于历史的合成人员，以赋予缺失数据，并模拟未来的老化结果给出任意初始健康状态。

像长期短期内存网络（LSTMS）和门控复发单元（GRUS）相同的经常性神经网络（RNN）是建模顺序数据的流行选择。它们的门控机构允许以来自传入观测的新信息在隐藏状态中编码的先前历史。在许多应用程序中，例如医疗记录，观察时间是不规则的并且携带重要信息。然而，LSTM和GRUS在观察之间假设恒定的时间间隔。为了解决这一挑战，我们提出了连续的经常性单位（CRU）-A神经结构，可以自然地处理观察之间的不规则时间间隔。 CRU的浇注机制采用卡尔曼滤波器的连续制剂，并且根据线性随机微分方程（SDE）和（2）潜伏状态在新观察进入时，在（1）之间的连续潜在传播之间的交替。在实证研究，我们表明CRU可以比神经常规差分方程（神经颂歌）的模型更好地插值不规则时间序列。我们还表明，我们的模型可以从IM-AGES推断动力学，并且卡尔曼有效地单挑出候选人的候选人，从而从嘈杂的观察中获得有价值的状态更新。

粒子过滤是针对多种顺序推断任务的标准蒙特卡洛方法。粒子过滤器的关键成分是一组具有重要性权重的粒子，它们可以作为某些随机过程的真实后验分布的代理。在这项工作中，我们提出了连续的潜在粒子过滤器，该方法将粒子过滤扩展到连续时域。我们证明了如何将连续的潜在粒子过滤器用作依赖于学到的变异后验的推理技术的通用插件替换。我们对基于潜在神经随机微分方程的不同模型家族进行的实验表明，在推理任务中，连续时间粒子滤波在推理任务中的卓越性能，例如似然估计和各种随机过程的顺序预测。

物理启发的潜力模型为纯粹的数据驱动工具提供可解释的替代品，用于动态系统的推断。它们携带微分方程的结构和高斯过程的灵活性，产生可解释的参数和动态施加的潜在功能。然而，与这些模型相关联的现有推理技术依赖于在分析形式中很少可用的后内核术语的精确计算。大多数与从业者相关的应用程序，例如Hill方程或扩散方程，因此是棘手的。在本文中，我们通过提出对一般类非线性和抛物面部分微分方程潜力模型的变分解决方案来克服这些计算问题。此外，我们表明，神经操作员方法可以将我们的模型扩展到数千个实例，实现快速，分布式计算。我们通过在几个任务中实现竞争性能，展示了我们框架的效力和灵活性，其中核的核心不同程度的遗传性。

贝叶斯神经网络具有潜在变量（BNN + LVS）通过明确建模模型不确定性（通过网络权重）和环境暂停（通过潜在输入噪声变量）来捕获预测的不确定性。在这项工作中，我们首先表明BNN + LV具有严重形式的非可识别性：可以在模型参数和潜在变量之间传输解释性，同时拟合数据。我们证明，在无限数据的极限中，网络权重和潜变量的后部模式从地面真理渐近地偏离。由于这种渐近偏差，传统的推理方法可以在实践中，产量参数概括不确定和不确定的不确定性。接下来，我们开发一种新推断过程，明确地减轻了训练期间不可识别性的影响，并产生高质量的预测以及不确定性估计。我们展示我们的推理方法在一系列合成和实际数据集中改善了基准方法。

Temporal data like time series are often observed at irregular intervals which is a challenging setting for existing machine learning methods. To tackle this problem, we view such data as samples from some underlying continuous function. We then define a diffusion-based generative model that adds noise from a predefined stochastic process while preserving the continuity of the resulting underlying function. A neural network is trained to reverse this process which allows us to sample new realizations from the learned distribution. We define suitable stochastic processes as noise sources and introduce novel denoising and score-matching models on processes. Further, we show how to apply this approach to the multivariate probabilistic forecasting and imputation tasks. Through our extensive experiments, we demonstrate that our method outperforms previous models on synthetic and real-world datasets.

在本文中，我们提出了一种使用神经网络的生存分析模型，以及可伸缩优化算法。直接应用最大似然估计（MLE）缩短数据的一个关键技术挑战是评估目标函数及其梯度相对于模型参数需要计算积分。为了解决这一挑战，我们认识到，可以将用于审查数据的MEE视为差分方程约束优化问题，这是一种新颖的视角。在此连接之后，我们通过普通微分方程模拟事件时间的分布，并利用有效的颂歌求解器并伴随敏感性分析来数值评估可能性和梯度。使用这种方法，我们能够1）提供广泛的连续时间存活分布，无需强大的结构假设，2）使用神经网络获得强大的特征表示，3）允许在大规模应用中使用模型估计模型随机梯度下降。通过仿真研究和现实世界数据示例，我们展示了所提出的方法与现有的最先进的深度学习生存分析模型相比的有效性。已在HTTPS://github.com/Jiaqima/soden公开提供拟议的SODEN方法。

Latent variable models such as the Variational Auto-Encoder (VAE) have become a go-to tool for analyzing biological data, especially in the field of single-cell genomics. One remaining challenge is the interpretability of latent variables as biological processes that define a cell's identity. Outside of biological applications, this problem is commonly referred to as learning disentangled representations. Although several disentanglement-promoting variants of the VAE were introduced, and applied to single-cell genomics data, this task has been shown to be infeasible from independent and identically distributed measurements, without additional structure. Instead, recent methods propose to leverage non-stationary data, as well as the sparse mechanism shift assumption in order to learn disentangled representations with a causal semantic. Here, we extend the application of these methodological advances to the analysis of single-cell genomics data with genetic or chemical perturbations. More precisely, we propose a deep generative model of single-cell gene expression data for which each perturbation is treated as a stochastic intervention targeting an unknown, but sparse, subset of latent variables. We benchmark these methods on simulated single-cell data to evaluate their performance at latent units recovery, causal target identification and out-of-domain generalization. Finally, we apply those approaches to two real-world large-scale gene perturbation data sets and find that models that exploit the sparse mechanism shift hypothesis surpass contemporary methods on a transfer learning task. We implement our new model and benchmarks using the scvi-tools library, and release it as open-source software at \url{https://github.com/Genentech/sVAE}.

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

已经提出了神经常规差分方程（节点）作为流行深度学习模型的连续深度概括，例如残留网络（RESNET）。它们提供参数效率并在一定程度上在深度学习模型中自动化模型选择过程。然而，它们缺乏大量的不确定性建模和稳健性能力，这对于他们在几个现实世界应用中的使用至关重要，例如自主驾驶和医疗保健。我们提出了一种新颖的和独特的方法来通过考虑在ode求解器的结束时间$ t $上的分布来模拟节点的不确定性。所提出的方法，潜在的时间节点（LT节点）将$ T $视为潜在变量，并应用贝叶斯学习，以获得超过数据的$ $ $。特别地，我们使用变分推理来学习近似后的后验和模型参数。通过考虑来自后部的不同样本的节点表示来完成预测，并且可以使用单个向前通过有效地完成。由于$ t $隐含地定义节点的深度，超过$ t $的后部分发也会有助于节点的模型选择。我们还提出了一种自适应潜在的时间节点（Alt-Node），其允许每个数据点在终点上具有不同的后分布。 Alt-Node使用摊销变分推理来使用推理网络学习近似后的后验。我们展示了通过合成和几个现实世界图像分类数据的实验来建立不确定性和鲁棒性的提出方法的有效性。

在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

随着时间的流逝，估计反事实结果有可能通过协助决策者回答“假设”问题来解锁个性化医疗保健。现有的因果推理方法通常考虑观察和治疗决策之间的定期离散时间间隔，因此无法自然地模拟不规则采样的数据，这是实践中的共同环境。为了处理任意观察模式，我们将数据解释为基础连续时间过程中的样本，并建议使用受控微分方程的数学明确地对其潜在轨迹进行建模。这导致了一种新方法，即治疗效果神经控制的微分方程（TE-CDE），该方程可在任何时间点评估潜在的结果。此外，对抗性训练用于调整时间依赖性混杂，这在纵向环境中至关重要，这是常规时间序列中未遇到的额外挑战。为了评估解决此问题的解决方案，我们提出了一个基于肿瘤生长模型的可控仿真环境，以反映出各种临床方案的一系列场景。在所有模拟场景中，TE-CDE始终优于现有方法，并具有不规则采样。