来自数据的顺序模式是各种时间序列预测任务的核心。深度学习模型大大优于许多传统模型，但是这些黑框模型通常缺乏预测和决策的解释性。为了揭示具有可理解的数学表达式的潜在趋势，科学家和经济学家倾向于使用部分微分方程（PDE）来解释顺序模式的高度非线性动力学。但是，它通常需要领域专家知识和一系列简化的假设，这些假设并不总是实用的，并且可能偏离不断变化的世界。是否可以动态地学习与数据的差异关系以解释时间不断发展的动态？在这项工作中，我们提出了一个学习框架，该框架可以自动从顺序数据中获取可解释的PDE模型。特别是，该框架由可学习的差分块组成，称为$ p $ blocks，事实证明，该框架能够近似于理论上随着时间不断变化的复杂连续功能。此外，为了捕获动力学变化，该框架引入了元学习控制器，以动态优化混合PDE模型的超参数。 《时代》系列预测金融，工程和健康数据的广泛实验表明，我们的模型可以提供有价值的解释性并实现与最先进模型相当的性能。从经验研究中，我们发现学习一些差异操作员可能会捕获无需大量计算复杂性的顺序动力学的主要趋势。

虽然外源变量对时间序列分析的性能改善有重大影响，但在当前的连续方法中很少考虑这些序列间相关性和时间依赖性。多元时间序列的动力系统可以用复杂的未知偏微分方程（PDE）进行建模，这些方程（PDE）在科学和工程的许多学科中都起着重要作用。在本文中，我们提出了一个任意步骤预测的连续时间模型，以学习多元时间序列中的未知PDE系统，其管理方程是通过自我注意和封闭的复发神经网络参数化的。所提出的模型\下划线{变量及其对目标系列的影响。重要的是，使用特殊设计的正则化指南可以将模型简化为正则化的普通微分方程（ODE）问题，这使得可以触犯的PDE问题以获得数值解决方案，并且可行，以预测目标序列的多个未来值。广泛的实验表明，我们提出的模型可以在强大的基准中实现竞争精度：平均而言，它通过降低RMSE的$ 9.85 \％$和MAE的MAE $ 13.98 \％$的基线表现优于最佳基准，以获得任意步骤预测的MAE $。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

拟合科学数据的部分微分方程（PDE）可以用可解释的机制来代表各种以数学为导向的受试者的物理定律。从科学数据中发现PDE的数据驱动的发现蓬勃发展，作为对自然界中复杂现象进行建模的新尝试，但是当前实践的有效性通常受数据的稀缺性和现象的复杂性的限制。尤其是，从低质量数据中发现具有高度非线性系数的PDE在很大程度上已经不足。为了应对这一挑战，我们提出了一种新颖的物理学指导学习方法，该方法不仅可以编码观察知识，例如初始和边界条件，而且还包含了基本的物理原理和法律来指导模型优化。我们从经验上证明，所提出的方法对数据噪声和稀疏性更为强大，并且可以将估计误差较大。此外，我们第一次能够发现具有高度非线性系数的PDE。凭借有希望的性能，提出的方法推动了PDE的边界，这可以通过机器学习模型来进行科学发现。

许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。

由于在许多领域的无与伦比的成功，例如计算机视觉，自然语言处理，推荐系统以及最近在模拟多物理问题和预测非线性动力学系统方面，深度学习引起了人们的关注。但是，建模和预测混乱系统的动态仍然是一个开放的研究问题，因为训练深度学习模型需要大数据，在许多情况下，这并不总是可用的。可以通过从模拟结果获得的其他信息以及执行混乱系统的物理定律来培训这样的深度学习者。本文考虑了极端事件及其动态，并提出了基于深层神经网络的优雅模型，称为基于知识的深度学习（KDL）。我们提出的KDL可以通过直接从动力学及其微分方程中对真实和模拟数据进行联合培训来学习控制混乱系统的复杂模式。这些知识被转移到模型和预测现实世界中的混乱事件，表现出极端行为。我们通过在三个实际基准数据集上进行评估来验证模型的效率：El Nino海面温度，San Juan登革热病毒感染和BJ {\ o} rn {\ o} ya每日降水，所有这些都受极端事件的控制'动态。利用对极端事件和基于物理的损失功能的先验知识来领导神经网络学习，我们即使在小型数据制度中也可以确保身体一致，可推广和准确的预测。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的，但是基于标准的物理建模的方法往往是过于简单的，诱导不可忽略的错误。在这项工作中，我们介绍了适当性框架，是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件：对我们有一些先验知识的动态的物理组件，以及物理模型错误的数据驱动组件核对。仔细制定学习问题，使得物理模型尽可能多地解释数据，而数据驱动组件仅描述了物理模型不能捕获的信息，不再少。这不仅为这种分解提供了存在和唯一性，而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验，每个代表不同的现象，即反应 - 扩散方程，波动方程和非线性阻尼摆锤，表明，空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

随着现代深层学习技术的快速发展，动态系统和神经网络的研究越来越多地利用了很多不同的方式。由于在现实世界观察中经常出现不确定性，因此SDES（随机微分方程）来发挥重要作用。更具体地，在本文中，我们使用配备神经网络的SDE集合来预测具有大跳跃性能和高概率分布偏移的嘈杂时间序列的长期趋势。我们的贡献是，首先，我们使用相位空间重建方法来提取时间序列数据的内在尺寸，以确定我们预测模型的输入结构。其次，我们探索由$ \ alpha $ -stable l \'evy motion驱动的SDE来模拟时间序列数据，通过神经网络近似来解决问题。第三，我们构建了达到多时间步长预测的注意机制。最后，我们通过将其应用于股票营销时间序列预测并显示结果优于几个基线深度学习模型来说明我们的方法。

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

大多数机器学习方法都用作建模的黑匣子。我们可能会尝试从基于物理学的训练方法中提取一些知识，例如神经颂（普通微分方程）。神经ODE具有可能具有更高类的代表功能的优势，与黑盒机器学习模型相比，扩展的可解释性，描述趋势和局部行为的能力。这种优势对于具有复杂趋势的时间序列尤其重要。但是，已知的缺点是与自回归模型和长期术语内存（LSTM）网络相比，广泛用于数据驱动的时间序列建模的高训练时间。因此，我们应该能够平衡可解释性和训练时间，以在实践中应用神经颂歌。该论文表明，现代神经颂歌不能简化为时间序列建模应用程序的模型。将神经ODE的复杂性与传统的时间序列建模工具进行比较。唯一可以提取的解释是操作员的特征空间，这对于大型系统来说是一个不适的问题。可以使用不同的经典分析方法提取光谱，这些方法没有延长时间的缺点。因此，我们将神经ODE缩小为更简单的线性形式，并使用合并的神经网络和ODE系统方法对时间序列建模进行了新的视图。

Multivariate time series forecasting constitutes important functionality in cyber-physical systems, whose prediction accuracy can be improved significantly by capturing temporal and multivariate correlations among multiple time series. State-of-the-art deep learning methods fail to construct models for full time series because model complexity grows exponentially with time series length. Rather, these methods construct local temporal and multivariate correlations within subsequences, but fail to capture correlations among subsequences, which significantly affect their forecasting accuracy. To capture the temporal and multivariate correlations among subsequences, we design a pattern discovery model, that constructs correlations via diverse pattern functions. While the traditional pattern discovery method uses shared and fixed pattern functions that ignore the diversity across time series. We propose a novel pattern discovery method that can automatically capture diverse and complex time series patterns. We also propose a learnable correlation matrix, that enables the model to capture distinct correlations among multiple time series. Extensive experiments show that our model achieves state-of-the-art prediction accuracy.

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

部分微分方程（PDE）在研究大量科学和工程问题方面发挥着至关重要的作用。数值求解的非线性和/或高维PDE通常是一个具有挑战性的任务。灵感来自传统有限差分和有限元的方法和机器学习的新兴进步，我们提出了一个名为神经PDE的序列深度学习框架，这允许通过使用双向来自动学习从现有数据的任何时间依赖于现有数据的管理规则LSTM编码器，并预测下一个时间步长数据。我们所提出的框架的一个关键特征是，神经PDE能够同时学习和模拟多尺度变量。我们通过一维PDE的一系列示例测试神经PDE到高维和非线性复杂流体模型。结果表明，神经PDE能够学习初始条件，边界条件和差分运营商，而不知道PDE系统的特定形式。在我们的实验中，神经PDE可以有效地提取20个时期训练内的动态，并产生准确的预测。此外，与在学习PDE中的传统机器学习方法不同，例如CNN和MLP，这需要用于模型精度的巨大参数，神经PDE在所有时间步骤中共享参数，从而显着降低了计算复杂性并导致快速学习算法。

这项工作探讨了物理驱动的机器学习技术运算符推理（IMIPF），以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值，而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的，然后通过主成分分析（PCA）投影到低维空间。在潜在空间中，设置了一个最小二乘问题以适合二次多项式操作员，该操作员随后在时间整合方案中使用，以便在同一空间中产生外推。解决后，将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差（NRMSE）度量评估了OPINF预测的质量，从中计算有效的预测时间（VPT）。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示，具有VPT范围的OPINF降低订单模型的有希望的预测能力，这些模型均超过了最先进的机器学习方法，例如返回和储层计算循环新的Neural网络[1 ]，以及马尔可夫神经操作员[2]。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

State estimation is important for a variety of tasks, from forecasting to substituting for unmeasured states in feedback controllers. Performing real-time state estimation for PDEs using provably and rapidly converging observers, such as those based on PDE backstepping, is computationally expensive and in many cases prohibitive. We propose a framework for accelerating PDE observer computations using learning-based approaches that are much faster while maintaining accuracy. In particular, we employ the recently-developed Fourier Neural Operator (FNO) to learn the functional mapping from the initial observer state and boundary measurements to the state estimate. By employing backstepping observer gains for previously-designed observers with particular convergence rate guarantees, we provide numerical experiments that evaluate the increased computational efficiency gained with FNO. We consider the state estimation for three benchmark PDE examples motivated by applications: first, for a reaction-diffusion (parabolic) PDE whose state is estimated with an exponential rate of convergence; second, for a parabolic PDE with exact prescribed-time estimation; and, third, for a pair of coupled first-order hyperbolic PDEs that modeling traffic flow density and velocity. The ML-accelerated observers trained on simulation data sets for these PDEs achieves up to three orders of magnitude improvement in computational speed compared to classical methods. This demonstrates the attractiveness of the ML-accelerated observers for real-time state estimation and control.

封闭形式的微分方程，包括部分微分方程和高阶普通微分方程，是科学家用来建模和更好地理解自然现象的最重要工具之一。直接从数据中发现这些方程是具有挑战性的，因为它需要在数据中未观察到的各种衍生物之间建模关系（\ textit {equation-data不匹配}），并且涉及在可能的方程式的巨大空间中搜索。当前的方法对方程式的形式做出了强烈的假设，因此未能发现许多知名系统。此外，其中许多通过估计衍生物来解决方程数据不匹配，这使得它们不足以噪音且不经常采样系统。为此，我们提出了D-Cipher，这对测量工件非常健壮，可以发现新的且非常通用的微分方程类别。我们进一步设计了一种新颖的优化程序Collie，以帮助D-Cipher搜索该课程。最后，我们从经验上证明，它可以发现许多众所周知的方程，这些方程超出了当前方法的功能。

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。