物理知识的神经网络（PINN）由于对复杂物理系统进行建模的能力而越来越多地使用。为了获得更好的表现力，在许多问题中需要越来越大的网络大小。当我们需要培训有限的内存，计算和能源资源的边缘设备上的Pinns时，这引起了挑战。为了实现Edge设备上的训练PINN，本文提出了基于张量培训分解的端到端压缩PINN。在求解Helmholtz方程时，我们提出的模型显着优于原始PINN，几乎没有参数，并且可以实现令人满意的预测，最多可容纳15美元$ \ times $ $总体参数。

随着计算能力的增加和机器学习的进步，基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络（PINN）最近出现并成功地在各种前进和逆PDES问题中取得了成功，其优异的特性，例如灵活性，无网格解决方案和无监督的培训。但是，它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器，物理知识的细胞表示（Pixel），优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构，以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外，所提出的方法在PINN中具有相同的好处，例如，使用相同的优化框架来解决前进和逆PDE问题，并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果，并表明像素达到了快速收敛速度和高精度。

作为深度学习的典型{Application}，物理知识的神经网络（PINN）{已成功用于找到部分微分方程（PDES）的数值解决方案（PDES），但是如何提高有限准确性仍然是PINN的巨大挑战。 。在这项工作中，我们引入了一种新方法，对称性增强物理学知情的神经网络（SPINN），其中PDE的谎言对称性诱导的不变表面条件嵌入PINN的损失函数中，以提高PINN的准确性。我们分别通过两组十组独立数值实验来测试SPINN的有效性，分别用于热方程，Korteweg-De Vries（KDV）方程和潜在的汉堡{方程式}，这表明Spinn的性能比PINN更好，而PINN的训练点和更简单的结构都更好神经网络。此外，我们讨论了Spinn的计算开销，以PINN的相对计算成本，并表明Spinn的训练时间没有明显的增加，甚至在某些情况下还不是PINN。

基于神经网络的求解部分微分方程的方法由于其简单性和灵活性来表示偏微分方程的解决方案而引起了相当大的关注。在训练神经网络时，网络倾向于学习与低频分量相对应的全局特征，而高频分量以较慢的速率（F原理）近似。对于解决方案包含广泛尺度的一类等式，由于无法捕获高频分量，网络训练过程可能会遭受缓慢的收敛性和低精度。在这项工作中，我们提出了一种分层方法来提高神经网络解决方案的收敛速率和准确性。所提出的方法包括多训练水平，其中引导新引入的神经网络来学习先前级别近似的残余。通过神经网络训练过程的性​​质，高级校正倾向于捕获高频分量。我们通过一套线性和非线性部分微分方程验证所提出的分层方法的效率和稳健性。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

在本文中，我们提出了用于求解非线性微分方程（NDE）的神经网络的物理知情训练（PIAT）。众所周知，神经网络的标准培训会导致非平滑函数。对抗训练（AT）是针对对抗攻击的既定防御机制，这也可能有助于使解决方案平滑。 AT包括通过扰动增强训练迷你批量，使网络输出不匹配所需的输出对手。与正式AT仅依靠培训数据不同，在这里，我们使用对抗网络体系结构中的自动差异来以非线性微分方程的形式编码管理物理定律。我们将PIAT与PIAT进行了比较，以指示我们方法在求解多达10个维度方面的有效性。此外，我们提出了重量衰减和高斯平滑，以证明PIAT的优势。代码存储库可从https://github.com/rohban-lab/piat获得。

物理知情的神经网络（PINN）已获得极大的流行，作为用于求解PDE的替代方法。尽管取得了经验的成功，但我们仍在对培训对梯度下降的这种约束的融合特性建立了解。众所周知，在没有明确的归纳偏见的情况下，神经网络可能会以样本有效的方式学习或近似简单且知名的功能。因此，从少数搭配点诱导的数值近似可能无法概括整个域。同时，符号形式可以表现出良好的概括，并具有可解释性为有用的副产品。但是，符号近似可能会同时简洁明了。因此，在这项工作中，我们探索了一种神经肌符号方法，以近似PDE的溶液。我们观察到我们的方法在几个简单的情况下起作用。我们说明了我们方法对Navier Stokes的功效：Kovasznay流动，其中有多个物理量的兴趣，该物理数量由非线性耦合PDE系统控制。域分裂现在已成为帮助PINNS近似复杂功能的流行技巧。我们观察到神经肌符号方法也可以帮助这种复杂的功能。我们在暂时变化的二维汉堡方程上展示了域分裂的辅助神经符号方法。最后，我们考虑了必须解决参数化PDE的PINN的情况，以改变初始条件和PDE系数的变化。超级核武器已证明有望克服这些挑战。我们表明，可以设计超启动的网络，以结合速度的好处和提高准确性。我们观察到，神经词近似值始终是1-2个数量级，而不是神经或符号近似值。

求解部分微分方程（PDE）是物理，生物学和化学领域的重要研究手段。作为数值方法的近似替代方法，Pinn受到了广泛的关注，并在许多领域发挥了重要作用。但是，Pinn使用完全连接的网络作为其模型，在时间和空间中，其合适能力和有限的外推能力有限。在本文中，我们提出了用于求解图形神经网络基础的部分微分方程的phygnnet，该方程由编码器，处理器和解码器块组成。特别是，我们将计算区域划分为常规网格，在网格上定义部分差分运算符，然后构建PDE损失以使网络优化以构建Phygnnet模型。更重要的是，我们对汉堡方程和热方程式进行比较实验以验证我们的方法，结果表明，与PINN相比，我们的方法在时间和空间区域具有更好的拟合能力和外推能力。

最先进的深神经网络（DNN）已广泛应用于各种现实世界应用，并实现了认知问题的显着性能。然而，架构中的DNNS宽度和深度的增量导致大量参数，以质询存储和内存成本，限制了DNN在资源受限平台上的使用，例如便携式设备。通过将冗余模型转换为紧凑的模型，压缩技术似乎是降低存储和存储器消耗的实用解决方案。在本文中，我们开发了一种非线性张量环网（NTRN），其中通过张量环分解压缩全连接和卷积层。此外，为了减轻压缩引起的精度损失，将非线性激活功能嵌入到压缩层内的张量收缩和卷积操作中。实验结果表明，使用两个基本神经网络，LENET-5和VGG-11在三个数据集，VIZ上使用两个基本的神经网络，LENET-5和VGG-11进行图像分类的有效性和优越性。 mnist，时尚mnist和cifar-10。

The identification of material parameters occurring in constitutive models has a wide range of applications in practice. One of these applications is the monitoring and assessment of the actual condition of infrastructure buildings, as the material parameters directly reflect the resistance of the structures to external impacts. Physics-informed neural networks (PINNs) have recently emerged as a suitable method for solving inverse problems. The advantages of this method are a straightforward inclusion of observation data. Unlike grid-based methods, such as the finite element method updating (FEMU) approach, no computational grid and no interpolation of the data is required. In the current work, we aim to further develop PINNs towards the calibration of the linear-elastic constitutive model from full-field displacement and global force data in a realistic regime. We show that normalization and conditioning of the optimization problem play a crucial role in this process. Therefore, among others, we identify the material parameters for initial estimates and balance the individual terms in the loss function. In order to reduce the dependence of the identified material parameters on local errors in the displacement approximation, we base the identification not on the stress boundary conditions but instead on the global balance of internal and external work. In addition, we found that we get a better posed inverse problem if we reformulate it in terms of bulk and shear modulus instead of Young's modulus and Poisson's ratio. We demonstrate that the enhanced PINNs are capable of identifying material parameters from both experimental one-dimensional data and synthetic full-field displacement data in a realistic regime. Since displacement data measured by, e.g., a digital image correlation (DIC) system is noisy, we additionally investigate the robustness of the method to different levels of noise.

Physics-informed neural networks (PINNs) have lately received significant attention as a representative deep learning-based technique for solving partial differential equations (PDEs). Most fully connected network-based PINNs use automatic differentiation to construct loss functions that suffer from slow convergence and difficult boundary enforcement. In addition, although convolutional neural network (CNN)-based PINNs can significantly improve training efficiency, CNNs have difficulty in dealing with irregular geometries with unstructured meshes. Therefore, we propose a novel framework based on graph neural networks (GNNs) and radial basis function finite difference (RBF-FD). We introduce GNNs into physics-informed learning to better handle irregular domains with unstructured meshes. RBF-FD is used to construct a high-precision difference format of the differential equations to guide model training. Finally, we perform numerical experiments on Poisson and wave equations on irregular domains. We illustrate the generalizability, accuracy, and efficiency of the proposed algorithms on different PDE parameters, numbers of collection points, and several types of RBFs.

部分微分方程（PDE）在研究大量科学和工程问题方面发挥着至关重要的作用。数值求解的非线性和/或高维PDE通常是一个具有挑战性的任务。灵感来自传统有限差分和有限元的方法和机器学习的新兴进步，我们提出了一个名为神经PDE的序列深度学习框架，这允许通过使用双向来自动学习从现有数据的任何时间依赖于现有数据的管理规则LSTM编码器，并预测下一个时间步长数据。我们所提出的框架的一个关键特征是，神经PDE能够同时学习和模拟多尺度变量。我们通过一维PDE的一系列示例测试神经PDE到高维和非线性复杂流体模型。结果表明，神经PDE能够学习初始条件，边界条件和差分运营商，而不知道PDE系统的特定形式。在我们的实验中，神经PDE可以有效地提取20个时期训练内的动态，并产生准确的预测。此外，与在学习PDE中的传统机器学习方法不同，例如CNN和MLP，这需要用于模型精度的巨大参数，神经PDE在所有时间步骤中共享参数，从而显着降低了计算复杂性并导致快速学习算法。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

部分微分方程（PDE）用于对科学和工程中的各种动力系统进行建模。深度学习的最新进展使我们能够以新的方式解决维度的诅咒，从而在更高的维度中解决它们。但是，深度学习方法受到训练时间和记忆的约束。为了解决这些缺点，我们实施了张量神经网络（TNN），这是一种量子启发的神经网络体系结构，利用张量网络的想法来改进深度学习方法。我们证明，与经典密集神经网络（DNN）相比，TNN提供了明显的参数节省，同时获得了与经典密集的神经网络相同的准确性。此外，我们还展示了如何以相同的精度来比DNN更快地训练TNN。我们通过将它们应用于求解抛物线PDE，特别是Black-Scholes-Barenblatt方程，该方程广泛用于金融定价理论，基于基准测试。还讨论了进一步的例子，例如汉密尔顿 - 雅各比 - 贝尔曼方程。

经常性的神经网络（RNNS）是用于顺序建模的强大工具，但通常需要显着的过分识别和正则化以实现最佳性能。这导致在资源限制的环境中部署大型RNN的困难，同时还引入了近似参数选择和培训的并发症。为了解决这些问题，我们介绍了一种“完全张化的”RNN架构，该架构使用轻质的张力列车（TT）分解在每个反复电池内联合编码单独的权重矩阵。该方法代表了一种重量共享的新形式，其减少了多个数量级的模型大小，同时与标准RNN相比保持相似或更好的性能。图像分类和扬声器验证任务的实验表明了减少推理时间和稳定模型培训和封闭表选择的进一步益处。

深度学习方法的应用加快了挑战性电流问题的分辨率，最近显示出令人鼓舞的结果。但是，电力系统动力学不是快照，稳态操作。必须考虑这些动力学，以确保这些模型提供的最佳解决方案遵守实用的动力约束，避免频率波动和网格不稳定性。不幸的是，由于其高计算成本，基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战，本文介绍了一种机器学习方法，以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络（GPINNS），并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力，以及不确定的参数，例如惯性和阻尼，以展示其在一系列电力系统应用中的潜力。

深入学习被证明是通过物理信息的神经网络（PINNS）求解部分微分方程（PDE）的有效工具。 Pinns将PDE残差嵌入到神经网络的损耗功能中，已成功用于解决各种前向和逆PDE问题。然而，第一代Pinns的一个缺点是它们通常具有许多训练点即使具有有限的准确性。在这里，我们提出了一种新的方法，梯度增强的物理信息的神经网络（GPInns），用于提高Pinns的准确性和培训效率。 GPInns利用PDE残差的梯度信息，并将梯度嵌入损耗功能。我们广泛地测试了GPinns，并证明了GPInns在前进和反向PDE问题中的有效性。我们的数值结果表明，GPInn比贴图更好地表现出较少的训练点。此外，我们将GPIn与基于残留的自适应细化（RAR）的方法组合，一种用于在训练期间自适应地改善训练点分布的方法，以进一步提高GPInn的性能，尤其是具有陡峭梯度的溶液的PDE。

科学和工程学中的一个基本问题是设计最佳的控制政策，这些政策将给定的系统转向预期的结果。这项工作提出了同时求解给定系统状态和最佳控制信号的控制物理信息的神经网络（控制PINNS），在符合基础物理定律的一个阶段框架中。先前的方法使用两个阶段的框架，该框架首先建模然后按顺序控制系统。相比之下，控制PINN将所需的最佳条件纳入其体系结构和损耗函数中。通过解决以下开环的最佳控制问题来证明控制PINN的成功：（i）一个分析问题，（ii）一维热方程，以及（iii）二维捕食者捕食者问题。

A simple nonrecursive form of the tensor decomposition in d dimensions is presented. It does not inherently suffer from the curse of dimensionality, it has asymptotically the same number of parameters as the canonical decomposition, but it is stable and its computation is based on lowrank approximation of auxiliary unfolding matrices. The new form gives a clear and convenient way to implement all basic operations efficiently. A fast rounding procedure is presented, as well as basic linear algebra operations. Examples showing the benefits of the decomposition are given, and the efficiency is demonstrated by the computation of the smallest eigenvalue of a 19-dimensional operator.

We shed light on a pitfall and an opportunity in physics-informed neural networks (PINNs). We prove that a multilayer perceptron (MLP) only with ReLU (Rectified Linear Unit) or ReLU-like Lipschitz activation functions will always lead to a vanished Hessian. Such a network-imposed constraint contradicts any second- or higher-order partial differential equations (PDEs). Therefore, a ReLU-based MLP cannot form a permissible function space for the approximation of their solutions. Inspired by this pitfall, we prove that a linear PDE up to the $n$-th order can be strictly satisfied by an MLP with $C^n$ activation functions when the weights of its output layer lie on a certain hyperplane, as called the out-layer-hyperplane. An MLP equipped with the out-layer-hyperplane becomes "physics-enforced", no longer requiring a loss function for the PDE itself (but only those for the initial and boundary conditions). Such a hyperplane exists not only for MLPs but for any network architecture tailed by a fully-connected hidden layer. To our knowledge, this should be the first PINN architecture that enforces point-wise correctness of a PDE. We give the closed-form expression of the out-layer-hyperplane for second-order linear PDEs and provide an implementation.