提出了一种基于深度学习的模型减少（DeepMR）用于简化化学动力学的方法，并使用高温自动点火，完全搅拌反应器（PSR）和一维自由传播的正庚烷/空气混合物的一致性。减少机制被建模为布尔空间的优化问题，其中布尔向量，与物种对应的每个条目表示减少的机制。优化目标是最小化给定考虑到一组预选的基准量的误差的机制尺寸。 DeepMR的关键思想是使用深度神经网络（DNN）来制定优化问题中的目标函数。为了有效地探索高维布尔空间，实现了一种迭代的DNN辅助数据采样和DNN训练过程。结果表明，DNN辅助显着提高了采样效率，仅为10 ^ {34}美元的样本中选择了10 ^ 5美元的样品，以实现足够的准确性。结果证明了DNN识别关键物种的能力，合理预测机制性能降低。训练有素的DNN通过解决反向优化问题，保证了最佳减少的机制。通过比较点火延迟时间，Laminar火焰速度，PSR的温度，得到的骨骼机制具有更少的物种（45种），但与通过路径通量分析（PFA）方法获得的骨骼机制（56种）相同的精度水平。另外，如果仅考虑大气，近化学计量条件（0.6和1.2之间的等效比），则骨骼机构可以进一步减少到28种。 DeepMR提供了一种进行模型减少的创新方法，并演示了燃烧区域中数据驱动方法的巨大潜力。

由于极大数量的参数和评估标准和再现性，机器学习长期以来被视为黑盒子，用于预测燃烧化学动力学和缺乏评估标准和再现性。目前的工作旨在了解关于深度神经网络（DNN）方法的两个基本问题：DNN需要的数据以及DNN方法的一般数据。采样和预处理确定DNN训练数据集，进一步影响DNN预测能力。目前的工作建议使用Box-Cox转换（BCT）来预处理燃烧数据。此外，这项工作比较了在没有预处理的情况下进行了不同的采样方法，包括蒙特卡罗方法，歧管采样，生成神经网络方法（Cycle-GaN）和新提出的多尺度采样。我们的研究结果表明，通过歧管数据训练的DNN可以以有限的配置捕获化学动力学，但不能对扰动牢固，这对于与流场联系的DNN是不可避免的。蒙特卡罗和循环甘套采样可以覆盖更宽的相位空间，但不能捕获小规模的中间物种，产生差的预测结果。基于没有特定火焰仿真数据的多尺度方法的三层DNN，允许在各种场景中预测化学动力学并在时间的演变期间保持稳定。该单个DNN易于用几个CFD代码实现并在各种燃烧器中验证，包括（1）。零维自动化，（2）。一维自由传播火焰，（3）。具有三重火焰结构的二维喷射火焰，和（4）。三维湍流升降火焰。结果证明了预先训练的DNN的令人满意的准确性和泛化能力。 DNN和示例代码的FORTRAN和PYTHON版本在补充中附加了再现性。

罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。

建模生物质的燃烧过程，如木材，草和作物，对野外和城市火灾行为的建模和预测至关重要。尽管重要的是，固体燃料的燃烧仍然很差，这可能部分归因于最固体燃料的未知化学动力学。最具可用的动力学模型建立在专业知识后，这需要化学洞察力和多年的经验。这项工作介绍了使用最近开发的化学反应神经网络（CRNN）自主地从热重分析仪（TGA）实验数据中自主发现生物质热解动力学模型的框架。该方法将CRNN模型掺入神经常微分方程的框架中，以预测TGA数据中的残余物质。除了基于神经网络的模型的灵活性之外，学习的CRNN模型是可解释的，通过将基本物理法则纳入神经网络结构的基本物理法，如大规模行动和阿列尼乌斯法则。然后可以将学习的CRNN模型转化为生物量化学动力学模型的经典形式，这有助于提取化学洞察和动力学模型将动力学模型集成到大规模的火灾模拟中。我们证明了框架在预测纤维素热解和氧化方面的有效性。这次成功的演示开辟了固体燃料的快速和自主化学动力学建模的可能性，例如野火燃料和工业聚合物。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

使用机器学习算法来预测复杂系统的行为正在蓬勃发展。但是，在包括燃烧在内的多物理问题中有效利用机器学习工具的关键是将它们与物理和计算机模型搭配使用。如果所有先验知识和物理约束都体现了这些工具的性能。换句话说，必须对科学方法进行调整，以使机器学习进入图片，并充分利用我们生成的大量数据，这要归功于数值计算的进步。本章回顾了一些开放的机会，用于应用燃烧系统的数据驱动的减少订单建模。提供了湍流燃烧数据，经验低维歧管（ELDM）识别，分类，回归和降低阶数模型中特征提取的示例。

机器学习（ML）模型需要经常在改变各种应用场景中更改数据集，包括数据估值和不确定量化。为了有效地重新培训模型，已经提出了线性近似方法，例如影响功能，以估计数据变化对模型参数的影响。但是，对于大型数据集的变化，这些方法变得不准确。在这项工作中，我们专注于凸起的学习问题，并提出了一般框架，用于学习使用神经网络进行不同训练集的优化模型参数。我们建议强制执行预测的模型参数，以通过正则化技术遵守最优性条件并保持效用，从而显着提高泛化。此外，我们严格地表征了神经网络的表现力，以近似凸起问题的优化器。经验结果展示了与最先进的准确高效的模型参数估计中提出的方法的优点。

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。

在本文中，我们对数值模拟的加速感兴趣。我们专注于高超音速行星再入问题，该问题涉及耦合流体动力学和化学反应。模拟化学反应需要大部分计算时间，但另一方面，无法避免获得准确的预测。我们面临成本效率和准确性之间的权衡：模拟代码必须足够有效地在操作环境中使用，但必须足够准确，以忠实地预测现象。为了解决这个权衡，我们设计了一个混合模拟代码，将传统的流体动态求解器与近似化学反应的神经网络耦合。当在大数据上下文中应用以及它们源于其矩阵矢量结构的效率时，我们依靠它们的力量来实现重要的加速因子（$ \ tims 10 $至$ \ times 18.6 $）。本文旨在解释我们如何在实践中设计这种具有成本效益的混合模拟代码。最重要的是，我们描述了确保准确性保证的方法论，使我们能够超越传统的替代建模，并将这些代码用作参考。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

人工神经网络今天具有广泛的应用程序，因为它们的高度灵活性和从数据中建模非线性功能的能力。但是，由于其黑盒性质，从小型数据集概括的能力差以及在培训期间的不一致的融合，神经网络的可信度受到限制。铝电解是一个复杂的非线性过程，具有许多相互关联的子处理。人工神经网络可能非常适合对铝电解过程进行建模，但是此过程的安全性最关键的性质需要值得信赖的模型。在这项工作中，稀疏的神经网络经过训练，以建模铝电解模拟器的系统动力学。与相应的密集神经网络相比，稀疏模型结构的模型复杂性显着降低。我们认为这使模型更容易解释。此外，实证研究表明，稀疏模型比密集的神经网络从小型训练集中概括得更好。此外，训练具有不同参数初始化的稀疏神经网络的合奏表明，模型会收敛到具有相似学习的输入特征的相似模型结构。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

由于固有的DNN预测误差，确保解决方案可行性是开发用于解决受约束优化问题的深度神经网络（DNN）方案的关键挑战。在本文中，我们提出了一种“预防性学习”的框架，以系统地保证DNN解决方案可行性的凸起约束和一般客观函数的问题。我们首先应用预测和重建设计，不仅保证平等约束，还可以利用它们来减少DNN预测的变量的数量。然后，作为关键方法贡献，我们系统地校准了DNN训练中使用的不等式约束，从而预测预测误差并确保所得到的解决方案仍然可行。我们表征校准量大和DNN尺寸，足以确保通用可行性。我们提出了一种新的敌对样本意识到培训算法，以改善DNN的最优性能而不牺牲可行性保证。总的来说，该框架提供了两个DNN。表征足够的DNN大小的第一个可以保证通用可行性，而来自所提出的培训算法的另一个进一步提高了最优性并同时保持DNN的通用可行性。我们应用预防性学习框架来开发Deepopf +，以解决网格运行中的基本DC最佳功率流量问题。它在确保在轻负载和重载制度中的可行性和获得一致的理想加速性能时，它可以改善现有的基于DNN的方案。仿真结果对IEEE案例-30 / 118/300测试用例显示DeepoPF +与最优性损失的最优损失和最高幅度计算加速度为100 \％$ 0.5％的可行解决方案，相比之下艺术迭代求解器。

基于可解释的机器学习，提出了一种名为InterOPT优化操作参数的算法，并通过优化页岩气体开发来证明。InterOpt由三个部分组成：神经网络用于构建矢量空间中实际钻孔和液压压裂过程的模拟器（即虚拟环境）；可解释的机器学习中的Sharpley价值方法用于分析每个井中地质和操作参数的影响（即单个井功能影响分析）；并进行集合随机最大似然（ENRML）以优化操作参数，以全面提高页岩气发展的效率并降低平均成本。在实验中，InterOPT根据其特定地质条件为每个井提供了不同的钻孔和破裂计划，并最终在104井的案例研究中获得了9.7％的平均成本降低9.7％。

这项工作解决了逆线优化，其中目标是推断线性程序的未知成本向量。具体地，我们考虑数据驱动的设置，其中可用数据是对应于线性程序的不同实例的最佳解决方案的嘈杂的观察。我们介绍了一个问题的新配方，与其他现有方法相比，允许恢复较少的限制性和一般更适当的可允许成本估算。可以表明，该逆优化问题产生有限数量的解决方案，并且我们开发了一个精确的两相算法来确定所有此类解决方案。此外，我们提出了一种有效的分解算法来解决问题的大实例。该算法自然地扩展到在线学习环境，可以用于提供成本估计的快速更新，因为新数据随着时间的推移可用。对于在线设置，我们进一步开发了一种有效的自适应采样策略，指导下一个样本的选择。所提出的方法的功效在涉及两种应用，客户偏好学习和生产计划的成本估算的计算实验中进行了证明。结果表明计算和采样努力的显着减少。

Cataloging the complex behaviors of dynamical systems can be challenging, even when they are well-described by a simple mechanistic model. If such a system is of limited analytical tractability, brute force simulation is often the only resort. We present an alternative, optimization-driven approach using tools from machine learning. We apply this approach to a novel, fully-optimizable, reaction-diffusion model which incorporates complex chemical reaction networks (termed "Dense Reaction-Diffusion Network" or "Dense RDN"). This allows us to systematically identify new states and behaviors, including pattern formation, dissipation-maximizing nonequilibrium states, and replication-like dynamical structures.

一场堆放堡拥堵游戏（SCG）是一个双重计划，领导者的目标是通过预测和操纵均衡状态来最大程度地提高自己的收益，在该状态下，追随者通过玩拥堵游戏而定居。大规模的SCG以其顽固性和复杂性而闻名。这项研究通过可区分的编程来处理SCG，该编程将机器学习的最新发展与常规方法结合在一起。核心思想以模仿logit动力学形成的进化路径代表低级平衡问题。它可以在朝着平衡的演化路径上使用自动分化，从而导致双环梯度下降算法。我们进一步表明，对低级平衡的固定可能是一个自我强加的计算障碍。取而代之的是，领导者只能沿着追随者的演变路径向前看几个步骤，同时通过共同进化过程更新其决策。启示产生了一种单循环算法，该算法在记忆消耗和计算时间方面都更有效。通过涵盖广泛基准问题的数值实验，我们发现单循环算法始终达到解决方案质量和效率之间的良好平衡，不仅优于标准的双环实现，而且优于文献中的其他方法。重要的是，我们的结果既突出了“充分期待”的浪费和“零预期”的危险。如果需要快速启发术来解决一个非常大的SCG，则提议的单环算法具有一步的外观，使其成为理想的候选人。

在整个计算科学中，越来越需要利用原始计算马力的持续改进，通过对蛮力的尺度锻炼的尺度增加，以增加网状元素数量的增加。例如，如果不考虑分子水平的相互作用，就不可能对纳米多孔介质的转运进行定量预测，即从紧密的页岩地层提取至关重要的碳氢化合物。同样，惯性限制融合模拟依赖于数值扩散来模拟分子效应，例如非本地转运和混合，而无需真正考虑分子相互作用。考虑到这两个不同的应用程序，我们开发了一种新颖的功能，该功能使用主动学习方法来优化局部细尺度模拟的使用来告知粗尺度流体动力学。我们的方法解决了三个挑战：预测连续性粗尺度轨迹，以推测执行新的精细分子动力学计算，动态地更新细度计算中的粗尺度，并量化神经网络模型中的不确定性。

我们提出了一个数据驱动的框架，以提高软组织结构分析中显式有限元方法的计算效率。编码器解码器长短期内存深神经网络是根据由显式，分布式有限元求解器产生的数据训练的。我们利用该网络预测共享节点处的同步位移，从而最大程度地减少处理器之间的通信量。我们执行广泛的数值实验，以量化提出的避免同步算法的准确性和稳定性。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术