This paper considers the problem of data-driven prediction of partially observed systems using a recurrent neural network. While neural network based dynamic predictors perform well with full-state training data, prediction with partial observation during training phase poses a significant challenge. Here a predictor for partial observations is developed using an echo-state network (ESN) and time delay embedding of the partially observed state. The proposed method is theoretically justified with Taken's embedding theorem and strong observability of a nonlinear system. The efficacy of the proposed method is demonstrated on three systems: two synthetic datasets from chaotic dynamical systems and a set of real-time traffic data.
translated by 谷歌翻译
由有限信号传播速度引起的，许多复杂的系统具有可能诱导高维混沌行为的时间延迟并使预测复杂。这里，我们提出了一种适用于具有任意延迟的系统的物理网络的回声状态网络。在培训网络后，预测具有独特且足够长的延迟的系统，它已经学会了预测所有其他延迟的系统动态。简单地适应网络的拓扑使我们能够推断未训练的功能，例如高维混沌吸引子，分叉甚至多种能力，这些功能较短，延迟较长。因此，延迟系统和数据驱动机器学习的物理知识的融合产生了具有高泛化能力和前所未有的预测精度的模型。
translated by 谷歌翻译
要使用深神经网络预测罕见的极端事件，一个人遇到所谓的小数据问题，因为即使是长期观测通常常见的事件常见。在这里，我们研究了一种模型辅助框架，其中训练数据是从数值模拟获得的，而不是观察，具有来自极端事件的适当样本。但是，为了确保培训的网络在实践中适用，无法在完整的仿真数据上执行培训;相反，我们只使用可以在实践中测量的可观察量的小子集。我们调查这一模型辅助框架在三种不同动力系统（Rossler Larguger Or，Fitzhugh - Nagumo Model和湍流流体流量）和三种不同的深神经网络架构（前馈，长短期内存和储层计算）上的可行性）。在每种情况下，我们研究了预测准确性，稳健性对噪声，重复训练的再现性，以及对输入数据类型的敏感性。特别是，我们发现长期的短期内存网络是最强大的噪声，并产生相对准确的预测，同时需要最小的高考的微调。
translated by 谷歌翻译
在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
我们建议采用统计回归作为投影操作员，以使数据驱动以数据为基础的Mori-Zwanzig形式主义中的运营商学习。我们提出了一种原则性方法，用于为任何回归模型提取Markov和内存操作员。我们表明，线性回归的选择导致了基于Mori的投影操作员最近提出的数据驱动的学习算法，这是一种高阶近似Koopman学习方法。我们表明，更具表现力的非线性回归模型自然填补了高度理想化和计算有效的MORI投影操作符和最佳迄今为止计算上最佳的Zwanzig投影仪之间的差距。我们进行了数值实验，并提取了一系列基于回归的投影的运算符，包括线性，多项式，样条和基于神经网络的回归，随着回归模型的复杂性的增加而显示出渐进的改进。我们的命题提供了一个通用框架来提取内存依赖性校正，并且可以轻松地应用于文献中固定动力学系统的一系列数据驱动的学习方法。
translated by 谷歌翻译
储层计算网络（RCNS）已成功地作为学习和复杂决策任务的工具。尽管他们的效率和低培训成本，RCN的实际应用严重依赖于实证设计。在本文中，我们使用线性动力系统的实现理论开发一种设计RCN的算法。特别是，我们介绍了$ \ Alpha $ -stable实现的概念，并提供了一种有效的方法来修剪线性RCN的大小而不会恶化训练精度。此外，基于可控性和可观察性矩阵的概念，我们导出了线性RCN中隐藏节点数量的不可缩小的必要条件。利用线性RCN设计，我们提供了一种实现具有非线性激活功能的rcns的易操作步骤。最后，我们在预测时延系统和混沌系统上呈现数值实验，以验证提出的RCN设计方法并证明它们的功效。
translated by 谷歌翻译
数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今，可以准确预测复杂系统，例如天气，疾病模型或股市。预测方法通常被宣传为对控制有用，但是由于系统的复杂性，较大的数据集的需求以及增加的建模工作，这些细节经常没有得到解答。换句话说，自治系统的替代建模比控制系统要容易得多。在本文中，我们介绍了Quasimodo框架（量化模拟模拟模拟 - 优化），以将任意预测模型转换为控制系统，从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是，我们通过自动化动力学（产生混合企业控制问题）来贸易控制效率，以获取任意，即使用的自主替代建模技术。然后，我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加，性能保证仅依赖于使用的预测模型的准确性，而控制理论中的知识知识要求很少来解决复杂的控制问题。
translated by 谷歌翻译
数据驱动模型发现中的中央挑战是存在隐藏或潜伏的变量，这些变量不会直接测量，而是动态重要。 TAKENS的定理提供了在可能随时间延迟信息中增加这些部分测量的条件，导致吸引物，这是对原始全状态系统的扩散逻辑。然而，回到原始吸引子的坐标变换通常是未知的，并且学习嵌入空间中的动态仍然是几十年的开放挑战。在这里，我们设计自定义深度AutoEncoder网络，以学习从延迟嵌入空间的坐标转换到一个新的空间，其中可以以稀疏，封闭的形式表示动态。我们在Lorenz，R \“Ossler和Lotka-Volterra系统上，从单个测量变量的学习动态展示了这种方法。作为一个具有挑战性的例子，我们从混乱的水车视频中提取的单个标量变量中学到一个洛伦兹类似物得到的建模框架结合了深入的学习来揭示可解释建模的非线性动力学（SINDY）的揭示有效坐标和稀疏识别。因此，我们表明可以同时学习闭合模型和部分的坐标系观察到的动态。
translated by 谷歌翻译
提出了一种使用神经网络从顺序数据中学习时间延迟系统动力学的新型方法。具有训练延迟的神经网络用于近似延迟微分方程的右侧。我们通过离散时间历史记录并训练相应的神经普通微分方程（节点）来学习动力学，将延迟微分方程与普通微分方程联系起来。给出了使用Chaotic行为数据学习Mackey-Glass方程动力学的示例。在学习了非线性和时间延迟之后，我们证明了神经网络的分叉图与原始系统的分叉图相匹配。
translated by 谷歌翻译
水库计算机是一种使用高维动力系统进行计算的方式。构建水库计算机的一种方法是通过将一组非线性节点连接到网络中。由于网络在节点之间创建反馈，因此储库计算机具有内存。如果水库计算机是以一致的方式响应输入信号（计算的必要条件），则内存必须衰落;也就是说，初始条件的影响随着时间的推移而淡化。这个记忆持续多长时间很重要，对于确定水库计算机如何解决特定问题。在本文中，我描述了改变储层计算机中衰落内存的长度的方法。调整内存可能很重要，在某些问题中实现最佳结果;记忆力太多或太少的记忆会降低了计算的准确性。
translated by 谷歌翻译
我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。
translated by 谷歌翻译
在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。
translated by 谷歌翻译
基于量子的通信中的当前技术将量子数据的新集成与经典数据进行混合处理。但是，这些技术的框架仅限于单个经典或量子任务，这限制了它们在近期应用中的灵活性。我们建议在需要经典和量子输入的计算任务中利用量子储存器处理器来利用量子动力学。该模拟处理器包括一个量子点网络，其中量子数据被入射到网络中，并且经典数据通过一个连贯的字段刺激了网络进行编码。我们执行量子断层扫描和经典通道非线性均衡的多任务应用。有趣的是，可以通过对经典数据的反馈控制以闭环方式进行断层扫描。因此，如果经典输入来自动力学系统，则将该系统嵌入封闭环中，即使访问对外部经典输入的访问被中断也可以处理混合处理。最后，我们证明准备量子去极化通道是一种用于量子数据处理的新型量子机学习技术。
translated by 谷歌翻译
基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。
translated by 谷歌翻译
学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
从图像识别和对象检测到语音识别和机器翻译，神经网络已经证明是非常成功的广泛复杂任务。他们的成功之一是给出了适当的训练数据集的未来动态的技能。以前的研究表明，回声状态网络（ESNS）是如何成功地预测比Lyapunov时间长时间的混乱系统。本研究表明，显着的是，ESN可以成功地预测与训练集中包含的任何行为不同的动态行为。提供了用于流体动力学问题的证据，其中流动可以在层流（有序）和湍流（无序）的制度之间过渡。尽管仅受到湍流制度培训，但发现ESNS被发现预测层流行为。此外，还预先预测了湍流到层状和层流动转变的统计数据，并且讨论了ESN在作为转变过渡的早期预警系统中的效用。这些结果预计将广泛适用于在一系列物理，气候，生物，生态和金融模型中的数据行为建模，其特征在于在几个竞争状态之间存在折射点和突然过渡的存在。
translated by 谷歌翻译
机器学习方法最近被用作替代品或用于动态系统的物理/数学建模方法的帮助。为了开发一种用于建模和预测多尺度动力学的有效机器学习方法，我们通过使用异质性泄漏积分器（LI）神经元的复发网络提出了具有不同时间尺度的储层计算（RC）模型。我们在两个时间序列的预测任务中评估了所提出模型的计算性能，该任务与四个混乱的快速动力学系统有关。在仅从快速子系统提供输入数据的一步预测任务中，我们表明，所提出的模型比具有相同LI神经元的标准RC模型产生的性能更好。我们的分析表明，通过模型训练，适当，灵活地从储层动力学中选择了产生目标多尺度动力学的每个组件所需的时间尺度。在长期的预测任务中，我们证明了所提出的模型的闭环版本可以实现长期的预测，而与与参数相同的LI神经元相比，它可以实现长期预测。
translated by 谷歌翻译
储层计算是一种机器学习方法，可以生成动态系统的替代模型。它可以使用较少的可训练参数来学习基础动力系统，从而比竞争方法更少。最近，一种更简单的公式（称为下一代储层计算）可以去除许多算法的元掌握器，并识别出良好的传统储层计算机，从而进一步简化了训练。在这里，我们研究了一个特别具有挑战性的问题，即学习具有不同时间尺度和多个共存动态状态（吸引子）的动态系统。我们使用量化地面真相和预测吸引子的几何形状的指标比较了下一代和传统的储层计算机。对于所研究的四维系统，下一代储层计算方法使用$ \ sim 1.7 \ times $少培训数据，需要$ 10^3 \ times $ $ shorter $ shorter“热身”时间，具有$ \ \ \ \ \ \ \ \ \ \ \ \ \ SIM 100 \ times $与传统的储层计算机相比，预测共存吸引人特性的精度更高。此外，我们证明了它以高精度预测吸引力的盆地。这项工作为动态系统的这种新机器学习算法的出色学习能力提供了进一步的支持。
translated by 谷歌翻译
动态网络是多功能模型，可以描述各种行为，例如同步和反馈。但是，在现实世界中应用这些模型很难在现实世界中应用，因为与连接结构或局部动态有关的先前信息通常是未知的，并且必须根据网络状态的时间序列观察来推断。另外，节点之间耦合相互作用的影响进一步使局部节点动力学的隔离变得复杂。鉴于动态网络与经常性神经网络（RNN）之间的架构相似性，我们提出了一种基于通过时间（BPTT）算法的反向传播的网络推理方法，通常用于训练复发性神经网络。该方法旨在同时推断出纯粹从节点状态观察的连接性结构和局部节点动力学。首先使用神经网络构建局部节点动力学的近似值。这是与适应的BPTT算法交替使用的，可以通过基于先前构造的本地模型最小化动力网络的预测误差来回归相应的网络权重，直到达到收敛为止。发现该方法在识别洛伦兹，Chua和Fitzhugh-Nagumo振荡器的耦合网络的连通性结构方面是成功的。 Freerun的预测性能与所得的本地模型和权重相当，与具有嘈杂初始条件的真实系统相当。该方法还扩展到非惯性网络耦合，例如不对称的负耦合。
translated by 谷歌翻译