Continuous-time Markov chains are used to model stochastic systems where transitions can occur at irregular times, e.g., birth-death processes, chemical reaction networks, population dynamics, and gene regulatory networks. We develop a method to learn a continuous-time Markov chain's transition rate functions from fully observed time series. In contrast with existing methods, our method allows for transition rates to depend nonlinearly on both state variables and external covariates. The Gillespie algorithm is used to generate trajectories of stochastic systems where propensity functions (reaction rates) are known. Our method can be viewed as the inverse: given trajectories of a stochastic reaction network, we generate estimates of the propensity functions. While previous methods used linear or log-linear methods to link transition rates to covariates, we use neural networks, increasing the capacity and potential accuracy of learned models. In the chemical context, this enables the method to learn propensity functions from non-mass-action kinetics. We test our method with synthetic data generated from a variety of systems with known transition rates. We show that our method learns these transition rates with considerably more accuracy than log-linear methods, in terms of mean absolute error between ground truth and predicted transition rates. We also demonstrate an application of our methods to open-loop control of a continuous-time Markov chain.

化学动力学和反应工程包括解除反应机制的现象学框架，优化反应性能和化学过程的合理设计。这里，我们利用前馈人工神经网络作为基础函数来解决由描述微蓄电图（MKMS）的差分代数方程（DAE）约束的常微分方程（杂物）。我们提出了一种代数框架，用于反应网络，基本反应类型和化学物种的数学描述和分类。在该框架下，我们证明了在正则化的多目标优化设置中同时训练了神经网络和动力学模型参数，通过估计来自合成实验数据的动力学参数来导致逆问题的解决方案。我们分析了一组方案，以确定可以从瞬态动力学数据检索动力学参数的程度，并评估方法的鲁棒性相对于统计噪声。这种反向动力学杂散的方法可以帮助基于瞬态数据阐明反应机制。

罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。

建模生物质的燃烧过程，如木材，草和作物，对野外和城市火灾行为的建模和预测至关重要。尽管重要的是，固体燃料的燃烧仍然很差，这可能部分归因于最固体燃料的未知化学动力学。最具可用的动力学模型建立在专业知识后，这需要化学洞察力和多年的经验。这项工作介绍了使用最近开发的化学反应神经网络（CRNN）自主地从热重分析仪（TGA）实验数据中自主发现生物质热解动力学模型的框架。该方法将CRNN模型掺入神经常微分方程的框架中，以预测TGA数据中的残余物质。除了基于神经网络的模型的灵活性之外，学习的CRNN模型是可解释的，通过将基本物理法则纳入神经网络结构的基本物理法，如大规模行动和阿列尼乌斯法则。然后可以将学习的CRNN模型转化为生物量化学动力学模型的经典形式，这有助于提取化学洞察和动力学模型将动力学模型集成到大规模的火灾模拟中。我们证明了框架在预测纤维素热解和氧化方面的有效性。这次成功的演示开辟了固体燃料的快速和自主化学动力学建模的可能性，例如野火燃料和工业聚合物。

有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

神经网络中的大多数工作都集中在给定一组协变量的情况下估计连续响应变量的条件平均值。在本文中，我们考虑使用神经网络估算有条件的分布函数，以审查和未经审查的数据。该算法建立在与时间依赖性协变量有关COX回归的数据结构上。在不施加任何模型假设的情况下，我们考虑了基于条件危险函数是唯一未知的非参数参数的损失函数，可以应用不明显的优化方法。通过仿真研究，我们显示了所提出的方法具有理想的性能，而部分可能性方法和传统的神经网络具有$ l_2 $损失产量的偏向估计，当模型假设违反。我们进一步用几个现实世界数据集说明了提出的方法。提出的方法的实现可在https://github.com/bingqing0729/nncde上获得。

This paper focuses on a stochastic system identification problem: given time series observations of a stochastic differential equation (SDE) driven by L\'{e}vy $\alpha$-stable noise, estimate the SDE's drift field. For $\alpha$ in the interval $[1,2)$, the noise is heavy-tailed, leading to computational difficulties for methods that compute transition densities and/or likelihoods in physical space. We propose a Fourier space approach that centers on computing time-dependent characteristic functions, i.e., Fourier transforms of time-dependent densities. Parameterizing the unknown drift field using Fourier series, we formulate a loss consisting of the squared error between predicted and empirical characteristic functions. We minimize this loss with gradients computed via the adjoint method. For a variety of one- and two-dimensional problems, we demonstrate that this method is capable of learning drift fields in qualitative and/or quantitative agreement with ground truth fields.

随着数据的不断增加，将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是，尽管这种黑盒模型具有灵活性和令人惊讶的准确性，但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型，这些模型仍然可以很好地推广。我们称为混合分析和建模（HAM）的范式。在这项工作中，我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法（COSTA）。这使我们能够开发出可以进行准确预测的模型，即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性，从而产生了总体可信赖的模型。

从时间序列数据中推断化学反应网络（CRN）是细胞水平上定量时间数据的可用性日益增长的挑战。这激发了算法的设计，以推断给定生化过程中观察到的分子物种之间的占主导反应，并有助于构建CRN模型结构和动力学。现有的基于ODE的推理方法，例如Sindy诉讼至少正方形回归，结合了稀疏性强制性惩罚，例如Lasso。但是，当仅在存在所有反应的野生型条件下提供输入时间序列时，我们观察到当前方法无法学习稀疏模型。结果：我们提出了一种Reactmine，这是一种CRN学习算法，该算法通过在有界深度的搜索树中以连续的方式推断反应来实现稀疏性，根据其动力学的差异对推断反应候选者进行排名，并重新计算CRN动力学参数在最后一遍中，整个痕迹对推断的CRN候选人进行排名。我们首先评估其在隐藏CRN基准的模拟数据上的性能，以及算法高参数敏感性分析，然后在两组真实的实验数据上进行评估：一组来自细胞周期和昼夜节律标记的蛋白质荧光视频，一个来自生物医学测量值。系统的昼夜节律生物标志物可能作用于外周器官中的时钟基因表达。我们表明，Reactmine通过检索Sindy失败的隐藏CRN以及通过与以前的研究一致的反应来取得成功。

海洋充满了称为浮游植物的微型微藻，它们共同负责与陆地上所有植物的光合作用。我们预测他们对变暖海洋的反应的能力取决于了解浮游植物种群的动态如何受环境条件变化的影响。研究浮游植物动力学的一种强大技术是流式细胞仪，它测量每秒成千上万个单个细胞的光学特性。如今，海洋学家能够实时收集流动的细胞仪数据，从而为他们提供了精细的分辨率，可以分配数千公里的浮游植物分布。当前的挑战之一是了解这些大小规模的变化如何与环境条件（例如养分可用性，温度，光线和洋流）有关。在本文中，我们提出了多元回归模型的新型稀疏混合物，以估计随着时间的变化浮游植物的亚群，同时识别预测这些亚种群观察到的变化的特定环境协变量。我们使用合成数据和在2017年春季在东北太平洋进行的海洋学巡游中收集的合成数据和实际观察结果证明了该方法的有用性和解释性。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

计算生物学中的一个关键问题是发现基因表达变化，该基因表达会调节细胞命运跃迁，其中一种细胞类型变成另一种细胞类型。但是，每个单独的单个细胞都不能纵向跟踪，并且在同一时间内实时的单元可能处于过渡过程的不同阶段。这可以看作是从未知时代的观察结果中学习动态系统行为的问题。此外，单个祖细胞类型通常会分叉成多种儿童细胞类型，从而使模拟动力学的问题变得复杂。为了解决这个问题，我们开发了一种称为普通微分方程的变分混合物的方法。通过使用基因表达生物化学告知的简单odes家族来限制深层生成模型的可能性，我们可以同时推断每个细胞的潜在时间和潜在状态并预测其未来的基因表达状态。该模型可以解释为ODE的混合物，其参数在细胞状态的潜在空间中连续变化。与以前的方法相比，我们的方法极大地改善了单细胞基因表达数据的数据拟合，潜在时间推断和未来的细胞状态估计。

解决扩大流行病学推断对复杂和异质模型的挑战，我们引入了泊松近似可能性（PAL）方法。 PAL是从有限人口，随机隔室模型的近似滤波方程中得出的，并且较大的人口限制驱动了最大PAL估计器的一致性。我们的理论结果似乎是基于大量的部分观察到的关于大量人群限制的部分随机隔室模型的第一个基于可能性的参数估计一致性结果。与基于仿真的方法（例如近似贝叶斯计算和顺序蒙特卡洛）相比，PALS易于实现，仅涉及基本算术操作，而无需调整参数。并快速评估，不需要模型的模拟，并且具有与人口规模无关的计算成本。通过示例，我们演示了PAL的如何：嵌入延迟的接受粒子马尔可夫链蒙特卡洛中以促进贝叶斯的推断；用于拟合流感的年龄结构化模型，利用Stan的自动分化；并应用于校准麻疹的空间元群模型。

Many scientific problems require identifying a small set of covariates that are associated with a target response and estimating their effects. Often, these effects are nonlinear and include interactions, so linear and additive methods can lead to poor estimation and variable selection. Unfortunately, methods that simultaneously express sparsity, nonlinearity, and interactions are computationally intractable -- with runtime at least quadratic in the number of covariates, and often worse. In the present work, we solve this computational bottleneck. We show that suitable interaction models have a kernel representation, namely there exists a "kernel trick" to perform variable selection and estimation in $O$(# covariates) time. Our resulting fit corresponds to a sparse orthogonal decomposition of the regression function in a Hilbert space (i.e., a functional ANOVA decomposition), where interaction effects represent all variation that cannot be explained by lower-order effects. On a variety of synthetic and real data sets, our approach outperforms existing methods used for large, high-dimensional data sets while remaining competitive (or being orders of magnitude faster) in runtime.

Cataloging the complex behaviors of dynamical systems can be challenging, even when they are well-described by a simple mechanistic model. If such a system is of limited analytical tractability, brute force simulation is often the only resort. We present an alternative, optimization-driven approach using tools from machine learning. We apply this approach to a novel, fully-optimizable, reaction-diffusion model which incorporates complex chemical reaction networks (termed "Dense Reaction-Diffusion Network" or "Dense RDN"). This allows us to systematically identify new states and behaviors, including pattern formation, dissipation-maximizing nonequilibrium states, and replication-like dynamical structures.

决策者需要在采用新的治疗政策之前预测结果的发展，该政策定义了何时以及如何连续地影响结果的治疗序列。通常，预测介入的未来结果轨迹的算法将未来治疗的固定顺序作为输入。这要么忽略了未来治疗对结果之前的结果的依赖性，要么隐含地假设已知治疗政策，因此排除了该政策未知或需要反事实分析的情况。为了应对这些局限性，我们开发了一种用于治疗和结果的联合模型，该模型允许估计处理策略和顺序治疗（OUT COMECTION数据）的影响。它可以回答有关治疗政策干预措施的介入和反事实查询，因为我们使用有关血糖进展的现实数据显示，并在此基础上进行了模拟研究。

了解复杂分子过程的动力学通常与长期稳定状态之间不经常过渡的研究有关。进行此类罕见事件采样的标准方法是使用轨迹空间中的随机步行生成过渡路径的集合。然而，这伴随着随后访问的路径之间的较强相关性和在平行采样过程中的内在难度之间存在很强的相关性。我们建议基于神经网络生成的配置的过渡路径采样方案。这些是采用归一化流量获得的，即能够从给定分布中生成非相关样品的神经网络类。使用这种方法，不仅删除了访问的路径之间的相关性，而且采样过程很容易平行。此外，通过调节归一化流，可以将配置的采样转向感兴趣的区域。我们表明，这允许解决过渡区域的热力学和动力学。

在许多环境环境中的风险管理需要了解驱动极端事件的机制。量化这种风险的有用指标是响应变量的极端分位数，该变量是基于描述气候，生物圈和环境状态的预测变量的。通常，这些分位数位于可观察数据的范围之内，因此，为了估算，需要在回归框架内规范参数极值模型。在这种情况下，经典方法利用预测变量和响应变量之间的线性或加性关系，并在其预测能力或计算效率中受苦；此外，它们的简单性不太可能捕获导致极端野火创造的真正复杂结构。在本文中，我们提出了一个新的方法学框架，用于使用人工中性网络执行极端分位回归，该网络能够捕获复杂的非线性关系并很好地扩展到高维数据。神经网络的“黑匣子”性质意味着它们缺乏从业者通常会喜欢的可解释性的理想特征。因此，我们将线性和加法模型的各个方面与深度学习相结合，以创建可解释的神经网络，这些神经网络可用于统计推断，但保留了高预测准确性。为了补充这种方法，我们进一步提出了一个新颖的点过程模型，以克服与广义极值分布类别相关的有限的下端问题。我们的统一框架的功效在具有高维预测器集的美国野火数据上说明了，我们说明了基于线性和基于样条的回归技术的预测性能的大幅改进。

人工神经网络今天具有广泛的应用程序，因为它们的高度灵活性和从数据中建模非线性功能的能力。但是，由于其黑盒性质，从小型数据集概括的能力差以及在培训期间的不一致的融合，神经网络的可信度受到限制。铝电解是一个复杂的非线性过程，具有许多相互关联的子处理。人工神经网络可能非常适合对铝电解过程进行建模，但是此过程的安全性最关键的性质需要值得信赖的模型。在这项工作中，稀疏的神经网络经过训练，以建模铝电解模拟器的系统动力学。与相应的密集神经网络相比，稀疏模型结构的模型复杂性显着降低。我们认为这使模型更容易解释。此外，实证研究表明，稀疏模型比密集的神经网络从小型训练集中概括得更好。此外，训练具有不同参数初始化的稀疏神经网络的合奏表明，模型会收敛到具有相似学习的输入特征的相似模型结构。