建模生物质的燃烧过程，如木材，草和作物，对野外和城市火灾行为的建模和预测至关重要。尽管重要的是，固体燃料的燃烧仍然很差，这可能部分归因于最固体燃料的未知化学动力学。最具可用的动力学模型建立在专业知识后，这需要化学洞察力和多年的经验。这项工作介绍了使用最近开发的化学反应神经网络（CRNN）自主地从热重分析仪（TGA）实验数据中自主发现生物质热解动力学模型的框架。该方法将CRNN模型掺入神经常微分方程的框架中，以预测TGA数据中的残余物质。除了基于神经网络的模型的灵活性之外，学习的CRNN模型是可解释的，通过将基本物理法则纳入神经网络结构的基本物理法，如大规模行动和阿列尼乌斯法则。然后可以将学习的CRNN模型转化为生物量化学动力学模型的经典形式，这有助于提取化学洞察和动力学模型将动力学模型集成到大规模的火灾模拟中。我们证明了框架在预测纤维素热解和氧化方面的有效性。这次成功的演示开辟了固体燃料的快速和自主化学动力学建模的可能性，例如野火燃料和工业聚合物。

化学动力学和反应工程包括解除反应机制的现象学框架，优化反应性能和化学过程的合理设计。这里，我们利用前馈人工神经网络作为基础函数来解决由描述微蓄电图（MKMS）的差分代数方程（DAE）约束的常微分方程（杂物）。我们提出了一种代数框架，用于反应网络，基本反应类型和化学物种的数学描述和分类。在该框架下，我们证明了在正则化的多目标优化设置中同时训练了神经网络和动力学模型参数，通过估计来自合成实验数据的动力学参数来导致逆问题的解决方案。我们分析了一组方案，以确定可以从瞬态动力学数据检索动力学参数的程度，并评估方法的鲁棒性相对于统计噪声。这种反向动力学杂散的方法可以帮助基于瞬态数据阐明反应机制。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

Cataloging the complex behaviors of dynamical systems can be challenging, even when they are well-described by a simple mechanistic model. If such a system is of limited analytical tractability, brute force simulation is often the only resort. We present an alternative, optimization-driven approach using tools from machine learning. We apply this approach to a novel, fully-optimizable, reaction-diffusion model which incorporates complex chemical reaction networks (termed "Dense Reaction-Diffusion Network" or "Dense RDN"). This allows us to systematically identify new states and behaviors, including pattern formation, dissipation-maximizing nonequilibrium states, and replication-like dynamical structures.

人工神经网络今天具有广泛的应用程序，因为它们的高度灵活性和从数据中建模非线性功能的能力。但是，由于其黑盒性质，从小型数据集概括的能力差以及在培训期间的不一致的融合，神经网络的可信度受到限制。铝电解是一个复杂的非线性过程，具有许多相互关联的子处理。人工神经网络可能非常适合对铝电解过程进行建模，但是此过程的安全性最关键的性质需要值得信赖的模型。在这项工作中，稀疏的神经网络经过训练，以建模铝电解模拟器的系统动力学。与相应的密集神经网络相比，稀疏模型结构的模型复杂性显着降低。我们认为这使模型更容易解释。此外，实证研究表明，稀疏模型比密集的神经网络从小型训练集中概括得更好。此外，训练具有不同参数初始化的稀疏神经网络的合奏表明，模型会收敛到具有相似学习的输入特征的相似模型结构。

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

Deep operator networks (DeepONets) are powerful architectures for fast and accurate emulation of complex dynamics. As their remarkable generalization capabilities are primarily enabled by their projection-based attribute, we investigate connections with low-rank techniques derived from the singular value decomposition (SVD). We demonstrate that some of the concepts behind proper orthogonal decomposition (POD)-neural networks can improve DeepONet's design and training phases. These ideas lead us to a methodology extension that we name SVD-DeepONet. Moreover, through multiple SVD analyses, we find that DeepONet inherits from its projection-based attribute strong inefficiencies in representing dynamics characterized by symmetries. Inspired by the work on shifted-POD, we develop flexDeepONet, an architecture enhancement that relies on a pre-transformation network for generating a moving reference frame and isolating the rigid components of the dynamics. In this way, the physics can be represented on a latent space free from rotations, translations, and stretches, and an accurate projection can be performed to a low-dimensional basis. In addition to flexibility and interpretability, the proposed perspectives increase DeepONet's generalization capabilities and computational efficiencies. For instance, we show flexDeepONet can accurately surrogate the dynamics of 19 variables in a combustion chemistry application by relying on 95% less trainable parameters than the ones of the vanilla architecture. We argue that DeepONet and SVD-based methods can reciprocally benefit from each other. In particular, the flexibility of the former in leveraging multiple data sources and multifidelity knowledge in the form of both unstructured data and physics-informed constraints has the potential to greatly extend the applicability of methodologies such as POD and PCA.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

使用机器学习算法来预测复杂系统的行为正在蓬勃发展。但是，在包括燃烧在内的多物理问题中有效利用机器学习工具的关键是将它们与物理和计算机模型搭配使用。如果所有先验知识和物理约束都体现了这些工具的性能。换句话说，必须对科学方法进行调整，以使机器学习进入图片，并充分利用我们生成的大量数据，这要归功于数值计算的进步。本章回顾了一些开放的机会，用于应用燃烧系统的数据驱动的减少订单建模。提供了湍流燃烧数据，经验低维歧管（ELDM）识别，分类，回归和降低阶数模型中特征提取的示例。

物理知识的神经网络（PINNS）最近由于解决前进和反向问题的能力而受到了很多关注。为了训练与PINN相关的深层神经网络，通常会使用不同损失项的加权总和构建总损耗函数，然后尝试将其最小化。这种方法通常会成为解决刚性方程式的问题，因为它不能考虑自适应增量。许多研究报告说，PINN的性能不佳及其在模拟僵硬的普通差分条件（ODE）条件下模拟僵硬的化学活动问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统中失败的主要原因。在这里，我们通过提出减少损失函数的弱形式来解决这个问题，这导致了新的PINN结构（进一步称为还原Pinn），该结构利用降低的集成方法来使Pinn能够求解僵硬的化学动力学。所提出的还原细菌可以应用于涉及僵硬动力学的各种反应扩散系统。为此，我们将初始价值问题（IVP）转换为它们的等效积分形式，并使用物理知识的神经网络求解所得的积分方程。在我们派生的基于积分的优化过程中，只有一个术语，而没有明确合并与普通微分方程（ODE）和初始条件（ICS）相关的损失项。为了说明减少细菌的功能，我们用它来模拟多个僵硬/轻度的二阶频率。我们表明，还原的Pinn可准确捕获刚性标量颂歌的溶液。我们还针对线性ODES的硬质系统验证了还原的Pinn。

由于极大数量的参数和评估标准和再现性，机器学习长期以来被视为黑盒子，用于预测燃烧化学动力学和缺乏评估标准和再现性。目前的工作旨在了解关于深度神经网络（DNN）方法的两个基本问题：DNN需要的数据以及DNN方法的一般数据。采样和预处理确定DNN训练数据集，进一步影响DNN预测能力。目前的工作建议使用Box-Cox转换（BCT）来预处理燃烧数据。此外，这项工作比较了在没有预处理的情况下进行了不同的采样方法，包括蒙特卡罗方法，歧管采样，生成神经网络方法（Cycle-GaN）和新提出的多尺度采样。我们的研究结果表明，通过歧管数据训练的DNN可以以有限的配置捕获化学动力学，但不能对扰动牢固，这对于与流场联系的DNN是不可避免的。蒙特卡罗和循环甘套采样可以覆盖更宽的相位空间，但不能捕获小规模的中间物种，产生差的预测结果。基于没有特定火焰仿真数据的多尺度方法的三层DNN，允许在各种场景中预测化学动力学并在时间的演变期间保持稳定。该单个DNN易于用几个CFD代码实现并在各种燃烧器中验证，包括（1）。零维自动化，（2）。一维自由传播火焰，（3）。具有三重火焰结构的二维喷射火焰，和（4）。三维湍流升降火焰。结果证明了预先训练的DNN的令人满意的准确性和泛化能力。 DNN和示例代码的FORTRAN和PYTHON版本在补充中附加了再现性。

从时间序列数据中推断化学反应网络（CRN）是细胞水平上定量时间数据的可用性日益增长的挑战。这激发了算法的设计，以推断给定生化过程中观察到的分子物种之间的占主导反应，并有助于构建CRN模型结构和动力学。现有的基于ODE的推理方法，例如Sindy诉讼至少正方形回归，结合了稀疏性强制性惩罚，例如Lasso。但是，当仅在存在所有反应的野生型条件下提供输入时间序列时，我们观察到当前方法无法学习稀疏模型。结果：我们提出了一种Reactmine，这是一种CRN学习算法，该算法通过在有界深度的搜索树中以连续的方式推断反应来实现稀疏性，根据其动力学的差异对推断反应候选者进行排名，并重新计算CRN动力学参数在最后一遍中，整个痕迹对推断的CRN候选人进行排名。我们首先评估其在隐藏CRN基准的模拟数据上的性能，以及算法高参数敏感性分析，然后在两组真实的实验数据上进行评估：一组来自细胞周期和昼夜节律标记的蛋白质荧光视频，一个来自生物医学测量值。系统的昼夜节律生物标志物可能作用于外周器官中的时钟基因表达。我们表明，Reactmine通过检索Sindy失败的隐藏CRN以及通过与以前的研究一致的反应来取得成功。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

本研究介绍了混合过程建模和优化的广阔视角，将科学知识和数据分析在生物处理和化学工程中与科学引导机学习（SGML）方法相结合。我们将这种方法分为两大类。首先是指基于数据的ML模型的恭维的情况并使基于第一原理的科学的模型在预测中更准确，并且第二个对应于科学知识有助于使ML模型更加科学地保持的情况。我们对科学和工程文献进行了详细审查，与混合SGML方法有关，并提出了混合动力SGML模型的系统分类。为了应用ML改善基于科学的模型，我们呈现了直串行和并行混合建模的子类别及其组合，反向建模，阶阶建模，量化过程中的不确定性，甚至发现该过程的管理方程式的博览会模型。为了应用科学原则来改善ML模型，我们讨论科学导游的设计，学习和改进的子类别。对于每个子类别，我们确定其要求，优势和局限性以及其在生物处理和化学工程中的出版和潜在的应用领域。

随着数据的不断增加，将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是，尽管这种黑盒模型具有灵活性和令人惊讶的准确性，但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型，这些模型仍然可以很好地推广。我们称为混合分析和建模（HAM）的范式。在这项工作中，我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法（COSTA）。这使我们能够开发出可以进行准确预测的模型，即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性，从而产生了总体可信赖的模型。

在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。

生长率和生物量产量是微生物学研究中使用的关键描述符，以了解微生物物种如何应对环境变化的影响。其中，通常使用饲料基板的细胞计数和测量获得生物质产量估计。然而，这些数量扰动了测量噪声。也许最重要的是，根据需要评估产率的估计来自细胞计数的生物量依赖于假设的细胞重量。对这些假设的噪音和差异可能导致微生物响应的结论中的重大变化。本文提出了一种使用微生物生长的概率宏观化模型来解决这些挑战的方法。结果表明，可以开发一种模型以充分利用实验数据，放松假设并大大提高对小区权重的先验估计的鲁棒性，并提供关键参数的不确定性估计。该方法在特定情况研究的上下文中证明，并且在使用合成产生的微生物生长数据的若干场景中验证了估计特征。

分子照片开关是光激活药物的基础。关键的照片开关是偶氮苯，它表现出对光线的反式cis异构主义。顺式异构体的热半衰期至关重要，因为它控制着光诱导的生物学效应的持续时间。在这里，我们介绍了一种计算工具，用于预测偶氮苯衍生物的热半衰期。我们的自动化方法使用了经过量子化学数据训练的快速准确的机器学习潜力。在建立在良好的早期证据的基础上，我们认为热异构化是通过Intersystem Crossing介导的旋转来进行的，并将这种机制纳入我们的自动化工作流程。我们使用我们的方法来预测19,000种偶氮苯衍生物的热半衰期。我们探索障碍和吸收波长之间的趋势和权衡，并开源我们的数据和软件以加速光精神病学研究。

在本文中，我们对数值模拟的加速感兴趣。我们专注于高超音速行星再入问题，该问题涉及耦合流体动力学和化学反应。模拟化学反应需要大部分计算时间，但另一方面，无法避免获得准确的预测。我们面临成本效率和准确性之间的权衡：模拟代码必须足够有效地在操作环境中使用，但必须足够准确，以忠实地预测现象。为了解决这个权衡，我们设计了一个混合模拟代码，将传统的流体动态求解器与近似化学反应的神经网络耦合。当在大数据上下文中应用以及它们源于其矩阵矢量结构的效率时，我们依靠它们的力量来实现重要的加速因子（$ \ tims 10 $至$ \ times 18.6 $）。本文旨在解释我们如何在实践中设计这种具有成本效益的混合模拟代码。最重要的是，我们描述了确保准确性保证的方法论，使我们能够超越传统的替代建模，并将这些代码用作参考。