Cataloging the complex behaviors of dynamical systems can be challenging, even when they are well-described by a simple mechanistic model. If such a system is of limited analytical tractability, brute force simulation is often the only resort. We present an alternative, optimization-driven approach using tools from machine learning. We apply this approach to a novel, fully-optimizable, reaction-diffusion model which incorporates complex chemical reaction networks (termed "Dense Reaction-Diffusion Network" or "Dense RDN"). This allows us to systematically identify new states and behaviors, including pattern formation, dissipation-maximizing nonequilibrium states, and replication-like dynamical structures.

建模生物质的燃烧过程，如木材，草和作物，对野外和城市火灾行为的建模和预测至关重要。尽管重要的是，固体燃料的燃烧仍然很差，这可能部分归因于最固体燃料的未知化学动力学。最具可用的动力学模型建立在专业知识后，这需要化学洞察力和多年的经验。这项工作介绍了使用最近开发的化学反应神经网络（CRNN）自主地从热重分析仪（TGA）实验数据中自主发现生物质热解动力学模型的框架。该方法将CRNN模型掺入神经常微分方程的框架中，以预测TGA数据中的残余物质。除了基于神经网络的模型的灵活性之外，学习的CRNN模型是可解释的，通过将基本物理法则纳入神经网络结构的基本物理法，如大规模行动和阿列尼乌斯法则。然后可以将学习的CRNN模型转化为生物量化学动力学模型的经典形式，这有助于提取化学洞察和动力学模型将动力学模型集成到大规模的火灾模拟中。我们证明了框架在预测纤维素热解和氧化方面的有效性。这次成功的演示开辟了固体燃料的快速和自主化学动力学建模的可能性，例如野火燃料和工业聚合物。

化学动力学和反应工程包括解除反应机制的现象学框架，优化反应性能和化学过程的合理设计。这里，我们利用前馈人工神经网络作为基础函数来解决由描述微蓄电图（MKMS）的差分代数方程（DAE）约束的常微分方程（杂物）。我们提出了一种代数框架，用于反应网络，基本反应类型和化学物种的数学描述和分类。在该框架下，我们证明了在正则化的多目标优化设置中同时训练了神经网络和动力学模型参数，通过估计来自合成实验数据的动力学参数来导致逆问题的解决方案。我们分析了一组方案，以确定可以从瞬态动力学数据检索动力学参数的程度，并评估方法的鲁棒性相对于统计噪声。这种反向动力学杂散的方法可以帮助基于瞬态数据阐明反应机制。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

使用机器学习算法来预测复杂系统的行为正在蓬勃发展。但是，在包括燃烧在内的多物理问题中有效利用机器学习工具的关键是将它们与物理和计算机模型搭配使用。如果所有先验知识和物理约束都体现了这些工具的性能。换句话说，必须对科学方法进行调整，以使机器学习进入图片，并充分利用我们生成的大量数据，这要归功于数值计算的进步。本章回顾了一些开放的机会，用于应用燃烧系统的数据驱动的减少订单建模。提供了湍流燃烧数据，经验低维歧管（ELDM）识别，分类，回归和降低阶数模型中特征提取的示例。

我们介绍了一个名为统计信息的神经网络（SINN）的机器学习框架，用于从数据中学习随机动力学。从理论上讲，这种新的架构是受到随机系统的通用近似定理的启发，我们在本文中介绍了它，以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制，以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明，受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外，我们表明可以在时间粗粒的数据上训练所获得的减少阶模型，因此非常适合稀有事实模拟。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。

模式形成过程中拓扑和微观结构方案中过渡的识别和分类对于理解和制造许多应用领域中的微观结构精确的新型材料至关重要。不幸的是，相关的微观结构过渡可能取决于以微妙而复杂的方式取决于过程参数，而经典相变理论未捕获。尽管有监督的机器学习方法可能对识别过渡制度很有用，但他们需要标签，这些标签需要先验了解订单参数或描述这些过渡的相关结构。由动态系统的通用原理的激励，我们使用一种自我监督的方法来解决使用神经网络从观察到的微观结构中预测过程参数的反问题。这种方法不需要关于不同类别的微观结构模式或预测微观结构过渡的目标任务的预定义的，标记的数据。我们表明，执行逆问题预测任务的困难与发现微观结构制度的目标有关，因为微观结构模式的定性变化与我们自我监督问题的不确定性预测的变化相对应。我们通过在两个不同的模式形成过程中自动发现微观结构方案中的过渡来证明我们的方法的价值：两相混合物的旋律分解以及在薄膜物理蒸气沉积过程中二进制合金浓度调制的形成。这种方法为发现和理解看不见的或难以辨认的过渡制度开辟了一个有希望的途径，并最终用于控制复杂的模式形成过程。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

我们在强烈混合（混乱）方面基于能源持续的哈密顿动力学进行了优化的新框架，并在分析和数值上建立其关键特性。该原型是对出生式动力学的离散化，取决于目标函数，其平方相对速度限制。这类无摩擦，节能优化器毫不动摇地进行，直到自然放慢速度在最小的损失附近，这主要是系统的相位空间体积。我们从对动力台球等混乱系统的研究构建，我们制定了一种特定的算法，在机器学习和解决PDE解决任务（包括概括）方面具有良好的性能。它不能以高的局部最低限度停止，这是非凸损失功能的优势，并且比浅谷中的GD+动量更快。

由于它们在文本中建模长期依赖性的能力，变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能，但它们在自然语言处理领域之外的适用性是最小的。在这项工作中，我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法，可以将任何动态系统投影到矢量表示中，然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

机器学习模型的概括对数据，模型和学习算法具有复杂的依赖性。我们研究训练和测试性能，以及它们在不同数据集样本上的差异给出的概括差距，以理解其``典型''行为。我们得出了差距的表达式，作为模型之间协方差的函数参数分布和列车损耗以及平均测试性能的另一种表达，显示了测试概括仅取决于数据平均参数分布和数据平均损失。我们显示，对于大型模型参数分布，修改的概括差距为始终是非负的。通过进一步专门针对由随机梯度下降（SGD）产生的参数分布，以及一些近似值和建模考虑，我们能够预测有关通用差距和模型训练和测试性能如何变化为一个方面的一些方面SGD噪声的功能。我们基于RESNET体系结构对CIFAR10分类任务进行经验评估这些预测。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

在从蛋白质折叠到材料发现的许多领域中，采样分子系统的相空间 - 更普遍地是通过随机微分方程有效建模的复杂系统的相位空间。这些问题本质上通常是多尺度的：可以用少数“慢速”反应坐标参数参数的低维有效自由能表面来描述它们；其余的“快速”自由度填充了反应坐标值的平衡度量。有关此类问题的抽样程序用于估计有效的自由能差以及相对于条件平衡分布的合奏平均值；后者平均值导致有效减少动态模型的关闭。多年来，已经开发了增强的采样技术与分子模拟。引人入胜的类比是与机器学习领域（ML）产生的，在该领域中，生成的对抗网络可以从低维概率分布中产生高维样品。该样本生成从有关其低维表示的信息中返回模型状态的合理高维空间实现。在这项工作中，我们提出了一种方法，该方法将基于物理学的模拟和偏置方法与基于ML的条件生成对抗网络对条件分布进行采样，以实现相同的任务。我们调节精细规模实现的“粗糙描述符”可以先验地知道，也可以通过非线性维度降低来学习。我们建议这可能会带来两种方法的最佳功能：我们证明，夫妻CGAN具有基于物理学的增强采样技术的框架可以改善多尺度SDE动力学系统采样，甚至显示出对增加复杂性系统的希望。