神经普通微分方程模型的动态系统，\ textit {ode}由神经网络学习。但是，ODE从根本上是不足以建模具有长期依赖性或不连续性的系统，这些系统在工程和生物系统中很常见。已经提出了更广泛的微分方程（DE）类作为补救措施，包括延迟微分方程和整数差异方程。此外，当通过分段强迫函数对硬质量和odes进行建模时，神经颂歌会遭受数值的不稳定性。在这项工作中，我们提出了\ textit {neural laplace}，这是一个学习不同类别的统一框架，包括上述所有类别。我们没有在时间域中对动态进行建模，而是在拉普拉斯域中对其进行建模，在拉普拉斯域中，可以将历史依赖性和时间的不连续性表示为复杂指数的求和。为了提高学习效率，我们使用Riemann Sphere的几何立体图来诱导Laplace域中的平滑度。在实验中，神经拉普拉斯在建模和推断DES类别的轨迹方面表现出卓越的性能，包括具有复杂历史依赖性和突然变化的DES类别。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。
translated by 谷歌翻译
在本文中，我们在用于生成时间序列建模的变形式自动统计器设置中实现神经常规方程。以对象为导向的代码方法是为了允许更容易的开发和研究以及本文中使用的所有代码可以在这里找到：https://github.com/simonmoesorensen/neural-ode-project最初是重新创建的结果与基线长短短期内存AutoEncoder相比的重建。然后用LSTM编码器扩展该模型，并受到弹簧振荡形式的时间序列组成的更复杂数据的攻击。该模型显示了承诺，并且能够为所有复杂的数据重建真正的轨迹，而不是基线模型的RMSE较小。然而，它能够捕获解码器中已知数据的时间序列的动态行为，但是对于弹簧数据的任何复杂性，不能够在真正的轨迹之后产生外推。最后进行了最终实验，其中模型也以68天的太阳能生产数据呈现，并且能够重建，即使在空间很少的数据时，也能够重建和基线。最后，将模型培训时间与基线进行比较。结果发现，对于少量数据，节点方法在训练中显着较慢，而不是基线，而对于较大量的数据，节点方法将在训练中等于或更快。本文以未来的工作部分结束，该部分描述了本文中提供的工作的许多自然扩展，其中示例正在研究输入数据的重要性，包括基线模型中的外推或测试更多特定的模型设置。
translated by 谷歌翻译
学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。
translated by 谷歌翻译
Relying on recent research results on Neural ODEs, this paper presents a methodology for the design of state observers for nonlinear systems based on Neural ODEs, learning Luenberger-like observers and their nonlinear extension (Kazantzis-Kravaris-Luenberger (KKL) observers) for systems with partially-known nonlinear dynamics and fully unknown nonlinear dynamics, respectively. In particular, for tuneable KKL observers, the relationship between the design of the observer and its trade-off between convergence speed and robustness is analysed and used as a basis for improving the robustness of the learning-based observer in training. We illustrate the advantages of this approach in numerical simulations.
translated by 谷歌翻译
大多数机器学习方法都用作建模的黑匣子。我们可能会尝试从基于物理学的训练方法中提取一些知识，例如神经颂（普通微分方程）。神经ODE具有可能具有更高类的代表功能的优势，与黑盒机器学习模型相比，扩展的可解释性，描述趋势和局部行为的能力。这种优势对于具有复杂趋势的时间序列尤其重要。但是，已知的缺点是与自回归模型和长期术语内存（LSTM）网络相比，广泛用于数据驱动的时间序列建模的高训练时间。因此，我们应该能够平衡可解释性和训练时间，以在实践中应用神经颂歌。该论文表明，现代神经颂歌不能简化为时间序列建模应用程序的模型。将神经ODE的复杂性与传统的时间序列建模工具进行比较。唯一可以提取的解释是操作员的特征空间，这对于大型系统来说是一个不适的问题。可以使用不同的经典分析方法提取光谱，这些方法没有延长时间的缺点。因此，我们将神经ODE缩小为更简单的线性形式，并使用合并的神经网络和ODE系统方法对时间序列建模进行了新的视图。
translated by 谷歌翻译
众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。
translated by 谷歌翻译
随机偏微分方程（SPDES）是在随机性影响下模拟动态系统的选择的数学工具。通过将搜索SPDE的温和解决方案作为神经定点问题，我们介绍了神经SPDE模型，以便从部分观察到的数据中使用（可能随机）的PDE溶液运营商。我们的模型为两类物理启发神经架构提供了扩展。一方面，它延伸了神经CDES，SDES，RDE - RNN的连续时间类似物，因为即使当后者在无限尺寸状态空间中演变时，它也能够处理进入的顺序信息。另一方面，它扩展了神经运营商 - 神经网络的概括到函数空间之间的模型映射 - 因为它可以用于学习解决方案运算符$（U_0，\ xi）\ MapSto U $同时上的SPDES初始条件$ u_0 $和驾驶噪声$ \ xi $的实现。神经SPDE是不变的，它可以使用基于记忆有效的隐式分化的反向化的训练，并且一旦接受训练，其评估比传统求解器快3个数量级。在包括2D随机Navier-Stokes方程的各种半线性SPDES的实验证明了神经间隙如何能够以更好的准确性学习复杂的时空动态，并仅使用适度的培训数据与所有替代模型相比。
translated by 谷歌翻译
We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a blackbox differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
我们提出了特征神经常规差分方程（C节点），该框架用于扩展神经常规微分方程（节点）之外的缺点。虽然节点模型将潜在状态的演变为对颂歌的解决方案，但是所提出的C节点模拟了潜在的潜在的演变作为其特征的一阶准线性部分微分方程（PDE）的解决方案，定义为PDE减少到ODES的曲线。反过来，还原允许应用标准框架，以解决PDE设置的杂散。另外，所提出的框架可以作为现有节点架构的扩展来投用，从而允许使用现有的黑盒颂歌求解器。我们证明了C节点框架通过展示不能由节点表示的功能来扩展经典节点，而是由C节点表示。我们通过在许多合成和实际数据场景中展示其性能，进一步研究了C节点框架的功效。经验结果展示了CIFAR-10，SVHN和MNIST数据集的提出方法提供的改进，如类似的计算预算作为现有节点方法。
translated by 谷歌翻译
物理启发的潜力模型为纯粹的数据驱动工具提供可解释的替代品，用于动态系统的推断。它们携带微分方程的结构和高斯过程的灵活性，产生可解释的参数和动态施加的潜在功能。然而，与这些模型相关联的现有推理技术依赖于在分析形式中很少可用的后内核术语的精确计算。大多数与从业者相关的应用程序，例如Hill方程或扩散方程，因此是棘手的。在本文中，我们通过提出对一般类非线性和抛物面部分微分方程潜力模型的变分解决方案来克服这些计算问题。此外，我们表明，神经操作员方法可以将我们的模型扩展到数千个实例，实现快速，分布式计算。我们通过在几个任务中实现竞争性能，展示了我们框架的效力和灵活性，其中核的核心不同程度的遗传性。
translated by 谷歌翻译
2020-10-09
预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的，但是基于标准的物理建模的方法往往是过于简单的，诱导不可忽略的错误。在这项工作中，我们介绍了适当性框架，是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件：对我们有一些先验知识的动态的物理组件，以及物理模型错误的数据驱动组件核对。仔细制定学习问题，使得物理模型尽可能多地解释数据，而数据驱动组件仅描述了物理模型不能捕获的信息，不再少。这不仅为这种分解提供了存在和唯一性，而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验，每个代表不同的现象，即反应 - 扩散方程，波动方程和非线性阻尼摆锤，表明，空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。
translated by 谷歌翻译
尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。
translated by 谷歌翻译
差分方程管理的学习动态对于预测和控制科学和工程系统来说至关重要。神经常规方程（节点）是一种与微分方程集成的深度学习模型，最近是由于其对不规则样本的鲁棒性及其对高维输入的灵活性而流行的学习动态。然而，节点的训练对数值求解器的精度敏感，这使得节点的收敛不稳定，特别是对于不稳定的动态系统。在本文中，为了减少对数值求解器的依赖，我们建议提高节点训练中的监督信号。具体地，我们预先训练神经差分运算符（NDO）以输出衍生物的估计用作额外的监督信号。 NDO在一类基础函数上预先培训，并将这些功能的轨迹样本之间的映射学习到其衍生物。为了利用来自NDO的轨迹信号和估计的衍生工具，我们提出了一种称为NDO-Node的算法，其中损耗函数包含两个术语：真正轨迹样本的适应性以及由输出的估计衍生物的适应度预先训练的NDO。各种动力学的实验表明，我们提出的NDO-Node可以一致地用一个预先训练的NDO来改善预测精度。特别是对于僵硬的杂散，我们观察到与其他正则化方法相比，NDO-Node可以更准确地捕获动态的过渡。
translated by 谷歌翻译