与非线性二次调节剂（NLQR）问题相关的汉密尔顿 - 雅各比 - 贝尔曼部分微分方程（HJB PDE）的近似的深度学习方法。首先使用了依赖于州的Riccati方程控制法来生成一个梯度调制的合成数据集，以进行监督学习。根据HJB PDE的残差，最小化损耗函数的最小化成为一个温暖的开始。监督学习和残留最小化的结合避免了虚假解决方案，并减轻了仅监督学习方法的数据效率低下。数值测试验证了所提出的方法的不同优势。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

最近的研究表明，监督学习可以是为高维非线性动态系统设计最佳反馈控制器的有效工具。但是这些神经网络（NN）控制器的行为仍未得到很好的理解。在本文中，我们使用数值模拟来证明典型的测试精度度量没有有效地捕获NN控制器稳定系统的能力。特别是，具有高测试精度的一些NN不能稳定动态。为了解决这个问题，我们提出了两个NN架构，该架构在局部地近似线性二次调节器（LQR）。数值模拟确认了我们的直觉，即建议的架构可靠地产生稳定反馈控制器，而不会牺牲最佳状态。此外，我们介绍了描述这种NN控制系统的一些稳定性特性的初步理论结果。

最近的研究表明，监督学习可能是设计用于高维非线性动态系统的最佳反馈控制器的有效工具。但是神经网络控制器的行为仍然不太了解。特别是，一些具有高测试精度的神经网络甚至无法局部稳定动态系统。为了应对这一挑战，我们提出了几种新型的神经网络体系结构，我们显示出保证局部渐近稳定性，同时保留了学习最佳反馈政策半全球的近似能力。通过两个高维非线性最佳控制问题的数值模拟，将所提出的体系结构与标准的神经网络反馈控制器进行了比较：稳定不稳定的汉堡型部分偏差方程，以及无人驾驶汽车的高度和课程跟踪。模拟表明，即使经过良好的训练，标准的神经网络也可能无法稳定动力学，而所提出的体系结构始终至少在本地稳定。此外，发现拟议的控制器在测试中几乎是最佳的。

科学和工程学中的一个基本问题是设计最佳的控制政策，这些政策将给定的系统转向预期的结果。这项工作提出了同时求解给定系统状态和最佳控制信号的控制物理信息的神经网络（控制PINNS），在符合基础物理定律的一个阶段框架中。先前的方法使用两个阶段的框架，该框架首先建模然后按顺序控制系统。相比之下，控制PINN将所需的最佳条件纳入其体系结构和损耗函数中。通过解决以下开环的最佳控制问题来证明控制PINN的成功：（i）一个分析问题，（ii）一维热方程，以及（iii）二维捕食者捕食者问题。

Relying on recent research results on Neural ODEs, this paper presents a methodology for the design of state observers for nonlinear systems based on Neural ODEs, learning Luenberger-like observers and their nonlinear extension (Kazantzis-Kravaris-Luenberger (KKL) observers) for systems with partially-known nonlinear dynamics and fully unknown nonlinear dynamics, respectively. In particular, for tuneable KKL observers, the relationship between the design of the observer and its trade-off between convergence speed and robustness is analysed and used as a basis for improving the robustness of the learning-based observer in training. We illustrate the advantages of this approach in numerical simulations.

在科学和工程应用中，通常需要反复解决类似的计算问题。在这种情况下，我们可以利用先前解决的问题实例中的数据来提高查找后续解决方案的效率。这提供了一个独特的机会，可以将机器学习（尤其是元学习）和科学计算相结合。迄今为止，文献中已经提出了各种此类域特异性方法，但是设计这些方法的通用方法仍然不足。在本文中，我们通过制定一个通用框架来描述这些问题，并提出一种基于梯度的算法来以统一的方式解决这些问题。作为这种方法的说明，我们研究了迭代求解器的适应性参数的自适应生成，以加速微分方程的溶液。我们通过理论分析和数值实验来证明我们方法的性能和多功能性，包括应用于不可压缩流量模拟的应用以及参数估计的逆问题。

已经提出了物理信息神经网络（PINN）来学习偏微分方程（PDE）的解决方案。在PINN中，感兴趣的PDE及其边界条件的残余形式被归为复合目标函数，作为软惩罚。在这里，我们表明，将目标函数制定的这种特定方式是应用于不同种类PDE的PINN方法中严重限制的来源。为了解决这些局限性，我们提出了一个基于约束优化问题公式的多功能框架，在该框架中，我们使用增强的拉格朗日方法（ALM）来限制PDE的解决方案，并具有其边界条件和任何可能可用的高保真数据。我们的方法擅长于具有多保真数据融合的转发和反问题。我们通过将其应用于涉及多维PDE的几个远期和反向问题来证明物理和相等性约束深度学习框架的功效和多功能性。您的框架与最先进的框架相比，与最先进的框架提高了幅度的提高顺序。 ART物理信息的神经网络。

在本文中，我们提出了一种基于深度学习的数值方案，用于强烈耦合FBSDE，这是由随机控制引起的。这是对深度BSDE方法的修改，其中向后方程的初始值不是一个免费参数，并且新的损失函数是控制问题的成本的加权总和，而差异项与与该的差异相吻合终端条件下的平均误差。我们通过一个数值示例表明，经典深度BSDE方法的直接扩展为FBSDE，失败了简单的线性季度控制问题，并激励新方法为何工作。在定期和有限性的假设上，对时间连续和时间离散控制问题的确切控制，我们为我们的方法提供了错误分析。我们从经验上表明，该方法收敛于三个不同的问题，一个方法是直接扩展Deep BSDE方法的问题。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们提出了一种使用一组我们称为神经基函数（NBF）的神经网络来求解部分微分方程（PDE）的方法。这个NBF框架是POD DeepOnet操作方法的一种新颖的变化，我们将一组神经网络回归到降低的阶正合成分解（POD）基础上。然后将这些网络与分支网络结合使用，该分支网络摄入规定的PDE的参数以计算降低的订单近似值。该方法适用于高速流条件的稳态EULER方程（Mach 10-30），在该方程式中，我们考虑了围绕圆柱体的2D流，从而形成了冲击条件。然后，我们将NBF预测用作高保真计算流体动力学（CFD）求解器（CFD ++）的初始条件，以显示更快的收敛性。还将介绍用于培训和实施该算法的经验教训。

复杂物理动态的建模和控制在真实问题中是必不可少的。我们提出了一种新颖的框架，通常适用于通过用特殊校正器引入PDE解决方案操作员的代理模型来解决PDE受约束的最佳控制问题。所提出的框架的过程分为两个阶段：解决PDE约束（阶段1）的解决方案操作员学习并搜索最佳控制（阶段2）。一旦替代模型在阶段1训练，就可以在没有密集计算的阶段2中推断出最佳控制。我们的框架可以应用于数据驱动和数据的案例。我们展示了我们对不同控制变量的各种最优控制问题的成功应用，从泊松方程到汉堡方程的不同PDE约束。

操作员的学习框架由于其能够在两个无限尺寸功能空间之间学习非线性图和神经网络的利用能力，因此最近成为应用机器学习领域中最相关的领域之一。尽管这些框架在建模复杂现象方面具有极大的能力，但它们需要大量数据才能成功培训，这些数据通常是不可用或太昂贵的。但是，可以通过使用多忠诚度学习来缓解此问题，在这种学习中，通过使用大量廉价的低保真数据以及少量昂贵的高保真数据来训练模型。为此，我们开发了一个基于小波神经操作员的新框架，该框架能够从多保真数据集中学习。通过解决不同的问题，需要在两个忠诚度之间进行有效的相关性学习来证明开发模型的出色学习能力。此外，我们还评估了开发框架在不确定性定量中的应用。从这项工作中获得的结果说明了拟议框架的出色表现。

We propose characteristic-informed neural networks (CINN), a simple and efficient machine learning approach for solving forward and inverse problems involving hyperbolic PDEs. Like physics-informed neural networks (PINN), CINN is a meshless machine learning solver with universal approximation capabilities. Unlike PINN, which enforces a PDE softly via a multi-part loss function, CINN encodes the characteristics of the PDE in a general-purpose deep neural network trained with the usual MSE data-fitting regression loss and standard deep learning optimization methods. This leads to faster training and can avoid well-known pathologies of gradient descent optimization of multi-part PINN loss functions. If the characteristic ODEs can be solved exactly, which is true in important cases, the output of a CINN is an exact solution of the PDE, even at initialization, preventing the occurrence of non-physical outputs. Otherwise, the ODEs must be solved approximately, but the CINN is still trained only using a data-fitting loss function. The performance of CINN is assessed empirically in forward and inverse linear hyperbolic problems. These preliminary results indicate that CINN is able to improve on the accuracy of the baseline PINN, while being nearly twice as fast to train and avoiding non-physical solutions. Future extensions to hyperbolic PDE systems and nonlinear PDEs are also briefly discussed.

科学机器学习的最新作品已经恢复了将神经网络应用于部分微分方程（PDE）的兴趣。一种流行的方法是将理事PDE的残留形式及其边界条件汇总为训练神经网络的复合目标/损失函数的软惩罚，该损失函数通常称为物理信息信息信息信息，这是实体神经网络（PINN）。在本研究中，我们可视化学习参数的损失景观和分布，并解释目标功能的这种特殊表述可能会阻碍甚至在处理挑战性目标解决方案时阻碍收敛的方式。我们构建了一个纯粹的数据驱动损失函数，该损失函数既由边界损耗和域损耗组成。使用此数据驱动的损耗函数，并单独使用物理信息损失函数，然后我们使用相同的体系结构训练两个神经网络模型。我们表明，边界和域损失项之间无与伦比的尺度是绩效差的罪魁祸首。此外，我们评估了两种椭圆形问题的性能，具有日益复杂的目标解决方案。基于我们对它们的损失景观和学识渊博的参数分布的分析，我们观察到具有复合目标功能配方的物理知识神经网络会产生高度非convex损失表面，这些损失表面难以优化，并且更容易发生消失梯度的问题。 。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

大规模复杂动力系统的实时精确解决方案非常需要控制，优化，不确定性量化以及实践工程和科学应用中的决策。本文朝着这个方向做出了贡献，模型限制了切线流形学习（MCTANGENT）方法。 McTangent的核心是几种理想策略的协同作用：i）切线的学术学习，以利用神经网络速度和线条方法的准确性； ii）一种模型限制的方法，将神经网络切线与基础管理方程式进行编码； iii）促进长时间稳定性和准确性的顺序学习策略；和iv）数据随机方法，以隐式强制执行神经网络切线的平滑度及其对真相切线的可能性，以进一步提高麦克氏解决方案的稳定性和准确性。提供了半启发式和严格的论点，以分析和证明拟议的方法是合理的。提供了几个用于传输方程，粘性汉堡方程和Navier Stokes方程的数值结果，以研究和证明所提出的MCTANGENT学习方法的能力。

The Physics-Informed Neural Network (PINN) approach is a new and promising way to solve partial differential equations using deep learning. The $L^2$ Physics-Informed Loss is the de-facto standard in training Physics-Informed Neural Networks. In this paper, we challenge this common practice by investigating the relationship between the loss function and the approximation quality of the learned solution. In particular, we leverage the concept of stability in the literature of partial differential equation to study the asymptotic behavior of the learned solution as the loss approaches zero. With this concept, we study an important class of high-dimensional non-linear PDEs in optimal control, the Hamilton-Jacobi-Bellman(HJB) Equation, and prove that for general $L^p$ Physics-Informed Loss, a wide class of HJB equation is stable only if $p$ is sufficiently large. Therefore, the commonly used $L^2$ loss is not suitable for training PINN on those equations, while $L^{\infty}$ loss is a better choice. Based on the theoretical insight, we develop a novel PINN training algorithm to minimize the $L^{\infty}$ loss for HJB equations which is in a similar spirit to adversarial training. The effectiveness of the proposed algorithm is empirically demonstrated through experiments. Our code is released at https://github.com/LithiumDA/L_inf-PINN.

近年来，由于其网状柔性和计算效率，近年来，部分微分方程（PDE）的深度学习方法受到了很多关注。但是，到目前为止，大多数作品都集中在时间依赖性的非线性微分方程上。在这项工作中，我们用众所周知的物理知情神经网络分析了潜在问题，用于微分方程，边界上的约束很少（即，约束仅在几个点上）。这种分析促使我们引入了一种名为Finnet的新技术，用于通过将有限的差异纳入深度学习来解决微分方程。即使我们在训练过程中使用网格，预测阶段也不是网状的。我们通过解决各种方程式的实验来说明我们方法的有效性，这表明Finnet可以求解较低的错误率，即使Pinns不能，也可以工作。

在本文中，开发了用于求解具有delta功能奇异源的椭圆方程的浅丽兹型神经网络。目前的工作中有三个新颖的功能。即，（i）Delta函数奇异性自然删除，（ii）级别集合函数作为功能输入引入，（iii）它完全浅，仅包含一个隐藏层。我们首先介绍问题的能量功能，然后转换奇异源对沿界面的常规表面积分的贡献。以这种方式，可以自然删除三角洲函数，而无需引入传统正规化方法（例如众所周知的沉浸式边界方法）中常用的函数。然后将最初的问题重新重新审议为最小化问题。我们提出了一个带有一个隐藏层的浅丽兹型神经网络，以近似能量功能的全局最小化器。结果，通过最大程度地减少能源的离散版本的损耗函数来训练网络。此外，我们将界面的级别设置函数作为网络的功能输入，并发现它可以显着提高训练效率和准确性。我们执行一系列数值测试，以显示本方法的准确性及其在不规则域和较高维度中问题的能力。