关于使用物理信息的神经网络求解微分方程的广泛研究。尽管这种方法在许多情况下已被证明是有利的，但主要批评在于它缺乏分析误差范围。因此，它不如传统的同行（例如有限差异方法）可信。本文表明，可以在数学上得出在一类微分方程线性系统上训练的物理信息的神经网络的明确误差界限。更重要的是，评估此类误差界限仅需要评估感兴趣域上的微分方程残留无限规范。我们的工作显示了网络残差之间的联系，该网络残差被称为损耗函数，以及解决方案的绝对误差，这通常是未知的。我们的方法是半生态学的，并且独立于对网络的实际解决方案或复杂性或架构的了解。使用在线性ODE和线性ODES系统上制成的解决方案的方法，我们从经验上验证了错误评估算法，并证明实际误差严格存在于我们派生的界限内。

物理知识的神经网络（PINNS）最近由于解决前进和反向问题的能力而受到了很多关注。为了训练与PINN相关的深层神经网络，通常会使用不同损失项的加权总和构建总损耗函数，然后尝试将其最小化。这种方法通常会成为解决刚性方程式的问题，因为它不能考虑自适应增量。许多研究报告说，PINN的性能不佳及其在模拟僵硬的普通差分条件（ODE）条件下模拟僵硬的化学活动问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统中失败的主要原因。在这里，我们通过提出减少损失函数的弱形式来解决这个问题，这导致了新的PINN结构（进一步称为还原Pinn），该结构利用降低的集成方法来使Pinn能够求解僵硬的化学动力学。所提出的还原细菌可以应用于涉及僵硬动力学的各种反应扩散系统。为此，我们将初始价值问题（IVP）转换为它们的等效积分形式，并使用物理知识的神经网络求解所得的积分方程。在我们派生的基于积分的优化过程中，只有一个术语，而没有明确合并与普通微分方程（ODE）和初始条件（ICS）相关的损失项。为了说明减少细菌的功能，我们用它来模拟多个僵硬/轻度的二阶频率。我们表明，还原的Pinn可准确捕获刚性标量颂歌的溶液。我们还针对线性ODES的硬质系统验证了还原的Pinn。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。

在学习在模拟环境中执行电机任务时，必须允许神经网络探索其动作空间以发现新的潜在可行的解决方案。但是，在具有物理硬件的在线学习场景中，此探索必须受相关的安全考虑因素限制，以避免损坏代理的硬件和环境。我们的目标是通过培训一个神经网络来解决这个问题，我们将参考“安全网络”，以估算受控自主动态系统的吸引力（ROA）。因此，这种安全网络可以用于量化所提出的控制动作的相对安全性，并防止选择破坏性动作。在这里，我们通过培训人工神经网络（ANN）来表示我们的安全网络的发展，以代表几种自主动态系统基准问题的ROA。对该网络的培训是基于Lyapunov理论和神经解的局部微分方程（PDE）的神经解。通过学习近似包含感兴趣系统动态的特殊选择的PDE的粘度解决方案，安全网络学习近似特定函数，类似于Lyapunov函数，其零电平集是ROA的边界。我们培训我们的安全网络，以便在物理信息通知神经网络（PINN）方法的修改版本之后以半监督方式解决这些PDE，利用损失函数，以惩罚与PDE的初始和边界条件的分歧，以及非零残差和变分术语。在未来的工作中，我们打算在电机学习任务期间将这种技术应用于加强学习代理。

我们提出了一种基于物理知识的随机投影神经网络的数值方法，用于解决常微分方程（ODES）的初始值问题（IVPS）的解决方案，重点是僵硬的问题。我们使用具有径向基函数的单个隐藏层来解决一个极端学习机，其具有宽度均匀分布的随机变量，而输入和隐藏层之间的权重的值设置为等于1。通过构造非线性代数方程的系统来获得IVPS的数值解决方案，该系统由高斯-Nythto方法通过Gauss-Newton方法解决了输出权重，以调整集成时间间隔的简单自适应方案。为了评估其性能，我们应用了四个基准僵硬IVPS解决方案的提议方法，即预热罗宾逊，梵德，罗伯和雇用问题。我们的方法与基于Dormand-Prince对的自适应跳动-Kutta方法进行比较，以及基于数值差分公式的可变步骤可变序列多步解算器，如\ texttt {ode45}和\ texttt {ode15s}所实现的MATLAB功能分别。我们表明所提出的方案产生良好的近似精度，从而优于\ texttt {ode45}和\ texttt {ode15s}，尤其是在出现陡峭梯度的情况下。此外，我们的方法的计算时间与两种Matlab溶剂的计算时间用于实际目的。

普通微分方程和神经网络的组合，即神经普通微分方程（神经ode），已从各个角度广泛研究。但是，在神经ode中解密的数值整合仍然是一个开放的挑战，因为许多研究表明，数值整合会显着影响模型的性能。在本文中，我们提出了反修改的微分方程（IMDE），以阐明数值整合对训练神经模型的影响。 IMDE取决于学习任务和受雇的ODE求解器。结果表明，训练神经模型实际上返回IMDE的紧密近似值，而不是真实的ode。在IMDE的帮助下，我们推断出（i）学习模型与真实颂歌之间的差异是由离散误差和学习损失的总和界定的； （ii）使用非透明数值整合的神经颂歌理论上无法学习保护定律。进行了几项实验以在数值上验证我们的理论分析。

在本文中，我们研究了Wasserstein生成对抗网络（WGAN）的物理信息算法，用于偏微分方程溶液中的不确定性定量。通过在对抗网络歧视器中使用GroupsOrt激活函数，使用网络生成器来学习从初始/边界数据观察到的部分微分方程解决方案的不确定性。在温和的假设下，我们表明，当取得足够的样品数量时，计算机发电机的概括误差会收敛到网络的近似误差，概率很高。根据我们既定的错误约束，我们还发现我们的物理知识的WGAN对鉴别器的能力比发电机具有更高的要求。据报道，关于部分微分方程的合成示例的数值结果，以验证我们的理论结果，并证明如何获得偏微分方程溶液以及初始/边界数据的分布的不确定性定量。但是，内部所有点的不确定性量化理论的质量或准确性仍然是理论空缺，并且需要进行进一步研究。

从经典动力学系统到量子力学的许多领域，在许多领域的进步核心，有效，准确地求解微分方程。人们对使用物理知识的神经网络（PINN）来解决此类问题，这引起了人们的兴趣，因为它们比传统的数值方法提供了许多好处。尽管它们在求解微分方程方面的潜在好处，但仍在探索转移学习。在这项研究中，我们提出了转移学习PINN的一般框架，该框架对普通和部分微分方程的线性系统进行了单次推断。这意味着，可以在不重新培训整个网络的情况下即时获得许多未知微分方程的方法。我们通过解决了几个现实世界中的问题，例如一阶线性普通方程，泊松方程以及时间依赖时间依赖的schrodinger复合物配合物部分差分方程来证明拟议的深度学习方法的功效。

在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。

We present a unified hard-constraint framework for solving geometrically complex PDEs with neural networks, where the most commonly used Dirichlet, Neumann, and Robin boundary conditions (BCs) are considered. Specifically, we first introduce the "extra fields" from the mixed finite element method to reformulate the PDEs so as to equivalently transform the three types of BCs into linear forms. Based on the reformulation, we derive the general solutions of the BCs analytically, which are employed to construct an ansatz that automatically satisfies the BCs. With such a framework, we can train the neural networks without adding extra loss terms and thus efficiently handle geometrically complex PDEs, alleviating the unbalanced competition between the loss terms corresponding to the BCs and PDEs. We theoretically demonstrate that the "extra fields" can stabilize the training process. Experimental results on real-world geometrically complex PDEs showcase the effectiveness of our method compared with state-of-the-art baselines.

我们提出了一种基于具有子域（CENN）的神经网络的保守能量方法，其中允许通过径向基函数（RBF），特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比，接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高，更准确，更小的近双达，而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能，所提出的方法宫殿用于模拟代表性PDE，这些实施例包括强不连续性，奇异性，复杂边界，非线性和异质问题。此外，在处理异质问题时，它优于其他方法。

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

本文涉及一种特殊类型的Lyapunov功能，即Zubov方程的解决方案。这种功能可用于表征常微分方程的系统的吸引领域。我们派生并证明了Zubov等式的一体形式解决方案。对于数值计算，我们开发了两个数据驱动方法。一个基于差分方程的增强系统的集成;另一个是基于深度学习。前者对于具有相对低的状态空间尺寸的系统是有效的，并且后者是为高维问题开发的。深度学习方法应用于新英格兰10发电机电力系统模型。我们证明了电力系统的Lyapunov功能存在神经网络近似，使得近似误差是发电机数量的立方多项式。证明了作为n的函数的误差收敛速率，是神经元数量的函数。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

We propose, Monte Carlo Nonlocal physics-informed neural networks (MC-Nonlocal-PINNs), which is a generalization of MC-fPINNs in \cite{guo2022monte}, for solving general nonlocal models such as integral equations and nonlocal PDEs. Similar as in MC-fPINNs, our MC-Nonlocal-PINNs handle the nonlocal operators in a Monte Carlo way, resulting in a very stable approach for high dimensional problems. We present a variety of test problems, including high dimensional Volterra type integral equations, hypersingular integral equations and nonlocal PDEs, to demonstrate the effectiveness of our approach.

找到Reset中的参数的最佳配置是一个非凸显最小化问题，但一阶方法尽管如此，找到了过度分辨率制度的全局最优。通过将Reset的训练过程转化为梯度流部分微分方程（PDE）和检查该限制过程的收敛性能，我们研究了这种现象。假设激活函数为2美元 - 最佳或部分$ 1 $-homerence;正则Relu满足后一种条件。我们表明，如果Reset足够大，则深度和宽度根据代数上的准确性和置信水平，一阶优化方法可以找到适合培训数据的全局最小化器。

我们建立了对椭圆形问题的误差对空间中的椭圆状况的误差，以及不同的边界条件。对于Dirichlet边界条件，我们在通过边界损失方法中大致强制强制执行边界值时估计错误。我们的结果适用于任意和一般非线性类$ v \ subseteq h ^ 1（\ omega）$的ansatz函数，并估算依赖优化精度，ansatz类的近似能力和 - 在案例中Dirichlet边界值 - 惩罚强度$ \ lambda $。对于非基本边界条件，RITZ方法的误差与ansatz类的近似率相同的速率。对于基本边界条件，鉴于$ H ^ 1（\ OMEGA）$的近似率和$ l ^ 2（\ partial \ omega）$的$ l ^ 2（\ partial \ omega）$的近似率，最佳衰减率的估计错误是$ \ min（s / 2，r）$，通过选择$ \ lambda_n \ sim n ^ {s} $来实现。我们讨论了通过Relu网络给出的Ansatz类的影响以及与有限元函数的现有估计的关系。

The Physics-Informed Neural Network (PINN) approach is a new and promising way to solve partial differential equations using deep learning. The $L^2$ Physics-Informed Loss is the de-facto standard in training Physics-Informed Neural Networks. In this paper, we challenge this common practice by investigating the relationship between the loss function and the approximation quality of the learned solution. In particular, we leverage the concept of stability in the literature of partial differential equation to study the asymptotic behavior of the learned solution as the loss approaches zero. With this concept, we study an important class of high-dimensional non-linear PDEs in optimal control, the Hamilton-Jacobi-Bellman(HJB) Equation, and prove that for general $L^p$ Physics-Informed Loss, a wide class of HJB equation is stable only if $p$ is sufficiently large. Therefore, the commonly used $L^2$ loss is not suitable for training PINN on those equations, while $L^{\infty}$ loss is a better choice. Based on the theoretical insight, we develop a novel PINN training algorithm to minimize the $L^{\infty}$ loss for HJB equations which is in a similar spirit to adversarial training. The effectiveness of the proposed algorithm is empirically demonstrated through experiments. Our code is released at https://github.com/LithiumDA/L_inf-PINN.

在本文中，我们介绍了一种基于距离场的新方法，以确保物理知识的深神经网络中的边界条件。众所周知，满足网状紫外线和颗粒方法中的Dirichlet边界条件的挑战是众所周知的。该问题在物理信息的开发中也是相关的，用于解决部分微分方程的解。我们在人工神经网络中介绍几何意识的试验功能，以改善偏微分方程的深度学习培训。为此，我们使用来自建设性的实体几何（R函数）和广义的等级坐标（平均值潜在字段）的概念来构建$ \ phi $，对域边界的近似距离函数。要恰好施加均匀的Dirichlet边界条件，试验函数乘以\ PHI $乘以PINN近似，并且通过Transfinite插值的泛化用于先验满足的不均匀Dirichlet（必要），Neumann（自然）和Robin边界复杂几何形状的条件。在这样做时，我们消除了与搭配方法中的边界条件满意相关的建模误差，并确保以ritz方法点点到运动可视性。我们在具有仿射和弯曲边界的域上的线性和非线性边值问题的数值解。 1D中的基准问题，用于线性弹性，平面扩散和光束弯曲;考虑了泊松方程的2D，考虑了双音态方程和非线性欧克隆方程。该方法延伸到更高的尺寸，并通过在4D超立方套上解决彼此与均匀的Dirichlet边界条件求泊松问题来展示其使用。该研究提供了用于网眼分析的途径，以在没有域离散化的情况下在确切的几何图形上进行。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。