从图像识别和对象检测到语音识别和机器翻译,神经网络已经证明是非常成功的广泛复杂任务。他们的成功之一是给出了适当的训练数据集的未来动态的技能。以前的研究表明,回声状态网络(ESNS)是如何成功地预测比Lyapunov时间长时间的混乱系统。本研究表明,显着的是,ESN可以成功地预测与训练集中包含的任何行为不同的动态行为。提供了用于流体动力学问题的证据,其中流动可以在层流(有序)和湍流(无序)的制度之间过渡。尽管仅受到湍流制度培训,但发现ESNS被发现预测层流行为。此外,还预先预测了湍流到层状和层流动转变的统计数据,并且讨论了ESN在作为转变过渡的早期预警系统中的效用。这些结果预计将广泛适用于在一系列物理,气候,生物,生态和金融模型中的数据行为建模,其特征在于在几个竞争状态之间存在折射点和突然过渡的存在。
translated by 谷歌翻译
在本文中,我们考虑了与未知(或部分未知),非平稳性,潜在的嘈杂和混乱的时间演变相关的机器学习(ML)任务,以预测临界点过渡和长期尖端行为动力系统。我们专注于特别具有挑战性的情况,在过去的情况下,过去的动态状态时间序列主要是在状态空间的受限区域中,而要预测的行为会在ML未完全观察到的较大状态空间集中演变出来训练期间的模型。在这种情况下,要求ML预测系统能够推断出在训练过程中观察到的不同动态。我们研究了ML方法在多大程度上能够为此任务完成有用的结果以及它们失败的条件。通常,我们发现即使在极具挑战性的情况下,ML方法也出奇地有效,但是(正如人们所期望的)``需要``太多''的外推。基于科学知识的传统建模的ML方法,因此即使单独采取行动时,我们发现的混合预测系统也可以实现有用的预测。我们还发现,实现有用的结果可能需要使用使用非常仔细选择的ML超参数,我们提出了一个超参数优化策略来解决此问题。本文的主要结论是,基于ML (也许是由于临界点的穿越)包括在训练数据探索的集合中的动态。
translated by 谷歌翻译
Recent work has shown that machine learning (ML) models can be trained to accurately forecast the dynamics of unknown chaotic dynamical systems. Such ML models can be used to produce both short-term predictions of the state evolution and long-term predictions of the statistical patterns of the dynamics (``climate''). Both of these tasks can be accomplished by employing a feedback loop, whereby the model is trained to predict forward one time step, then the trained model is iterated for multiple time steps with its output used as the input. In the absence of mitigating techniques, however, this technique can result in artificially rapid error growth, leading to inaccurate predictions and/or climate instability. In this article, we systematically examine the technique of adding noise to the ML model input during training as a means to promote stability and improve prediction accuracy. Furthermore, we introduce Linearized Multi-Noise Training (LMNT), a regularization technique that deterministically approximates the effect of many small, independent noise realizations added to the model input during training. Our case study uses reservoir computing, a machine-learning method using recurrent neural networks, to predict the spatiotemporal chaotic Kuramoto-Sivashinsky equation. We find that reservoir computers trained with noise or with LMNT produce climate predictions that appear to be indefinitely stable and have a climate very similar to the true system, while reservoir computers trained without regularization are unstable. Compared with other types of regularization that yield stability in some cases, we find that both short-term and climate predictions from reservoir computers trained with noise or with LMNT are substantially more accurate. Finally, we show that the deterministic aspect of our LMNT regularization facilitates fast hyperparameter tuning when compared to training with noise.
translated by 谷歌翻译
经常性神经网络(RNNS)是强大的动态模型,广泛用于机器学习(ML)和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而,门控 - 即乘法 - 相互作用在真神经元中普遍存在,并且也是ML中最佳性能RNN的中心特征。在这里,我们表明Gating提供灵活地控制集体动态的两个突出特征:i)时间尺寸和ii)维度。栅极控制时间尺度导致新颖的稳定状态,网络用作灵活积分器。与以前的方法不同,Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪,从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变,其中输入将稳定的系统推向强的混沌活动,与通常稳定的输入效果相比。在这种转变之上,与添加剂RNN不同,关键点(拓扑复杂性)的增殖与混沌动力学的外观解耦(动态复杂性)。丰富的动态总结在相图中,从而为ML从业者提供了一个原理参数初始化选择的地图。
translated by 谷歌翻译
在本文中,我们证明了储层计算可用于学习浅水方程的动态。特别地,虽然储层计算的大多数先前的应用已经需要对特定轨迹的训练来说,以进一步预测沿着该轨迹的进化,我们展示了储层计算能力,以预测浅水方程的轨迹,初始条件下没有看到的初始条件培训过程。然而,在该设置中,我们发现网络的性能对于具有与训练数据集中的环境条件(例如总水质高度和平均速度)的初始条件恶化。为了避免这种缺陷,我们引入了一种转移学习方法,其中使用相关环境条件的小额额外训练步骤来改善预测。
translated by 谷歌翻译
众所周知,混乱的系统对预测的挑战是挑战,因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为,但对于许多耗散系统,长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题,即使状态空间是无限的维度,该集合是有限维度的。对于马尔可夫系统,长期轨迹的统计特性由解决方案操作员唯一确定,该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中,我们提出了一个机器学习框架,以学习耗散混沌系统的基础解决方案操作员,这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架,我们能够预测湍流Kolmogorov流动动力学的各种统计数据,雷诺数为5000。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
在本文中,我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数(DL-ROM)。所提出的DL-ROM具有非线性状态空间模型的格式,并采用具有长短期存储器(LSTM)的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统,其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合,用于预测横向方向自由振动球的非定常力和涡旋诱导的振动(VIV)锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识,输入功能包含一系列频率和幅度,其能够实现高效的DL-ROM,而无需用于低维建模的大量训练数据集。一旦训练,网络就提供了输入 - 输出动态的非线性映射,其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法(时代)集成,我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制,我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致,通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响,风险评估,适应和保护生物的关键。在这项工作中,我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络,对极长的8,000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的,因此我们强调概率预测和验证。我们证明,深度神经网络适用于法国持续持续14天的热浪,快速动态驱动器提前15天(500 hpa地球电位高度场),并且在慢速较长的交货时间内,慢速物理时间驱动器(土壤水分)。该方法很容易实现和通用。我们发现,深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现,当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时,2米温度场不包含任何新的有用统计信息。主要的科学信息是,训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点,例如罕见的事件模拟,以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
要使用深神经网络预测罕见的极端事件,一个人遇到所谓的小数据问题,因为即使是长期观测通常常见的事件常见。在这里,我们研究了一种模型辅助框架,其中训练数据是从数值模拟获得的,而不是观察,具有来自极端事件的适当样本。但是,为了确保培训的网络在实践中适用,无法在完整的仿真数据上执行培训;相反,我们只使用可以在实践中测量的可观察量的小子集。我们调查这一模型辅助框架在三种不同动力系统(Rossler Larguger Or,Fitzhugh - Nagumo Model和湍流流体流量)和三种不同的深神经网络架构(前馈,长短期内存和储层计算)上的可行性)。在每种情况下,我们研究了预测准确性,稳健性对噪声,重复训练的再现性,以及对输入数据类型的敏感性。特别是,我们发现长期的短期内存网络是最强大的噪声,并产生相对准确的预测,同时需要最小的高考的微调。
translated by 谷歌翻译
最近的研究表明,基于嘈杂输入的预测复发神经网络对时间序列的预测会产生一个预期的轨迹。我们检查了训练数据集和输入序列对网络预测质量的影响。我们提出并讨论了预测过程中观察到的噪声压缩的解释。我们还讨论了在神经科学环境中复发网络对生物体演变的重要性。
translated by 谷歌翻译
我们开发一种方法来构造来自表示基本上非线性(或不可连锁的)动态系统的数据集构成低维预测模型,其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动,稀疏,非线性模型获得为低维,吸引动力系统的光谱子纤维(SSM)的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡,涡旋脱落和水箱中的晃动的实验测量。我们发现,在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。
translated by 谷歌翻译
我们合并计算力学的因果状态(预测等同历史)的定义与再现 - 内核希尔伯特空间(RKHS)表示推断。结果是一种广泛适用的方法,可直接从系统行为的观察中迁移因果结构,无论它们是否超过离散或连续事件或时间。结构表示 - 有限或无限状态内核$ \ epsilon $ -Machine - 由减压变换提取,其提供了有效的因果状态及其拓扑。以这种方式,系统动态由用于在因果状态上的随机(普通或部分)微分方程表示。我们介绍了一种算法来估计相关的演化运营商。平行于Fokker-Plank方程,它有效地发展了因果状态分布,并通过RKHS功能映射在原始数据空间中进行预测。我们展示了这些技术,以及他们的预测能力,在离散时间的离散时间离散 - 有限的无限值Markov订单流程,其中有限状态隐藏马尔可夫模型与(i)有限或(ii)不可数 - 无限因果态和(iii)连续时间,由热驱动的混沌流产生的连续值处理。该方法在存在不同的外部和测量噪声水平和非常高的维数据存在下鲁棒地估计因果结构。
translated by 谷歌翻译
许多科学领域需要对复杂系统的时间行为的可靠预测。然而,这种强烈的兴趣是通过建模问题阻碍:通常,描述所考虑的系统物理学的控制方程是不可访问的,或者在已知时,它们的解决方案可能需要与预测时间约束不兼容的计算时间。如今,以通用功能格式近似复杂的系统,并从可用观察中通知IT Nihilo已成为一个常见的做法,如过去几年出现的巨大科学工作所示。许多基于深神经网络的成功示例已经可用,尽管易于忽视了模型和保证边缘的概括性。在这里,我们考虑长期内存神经网络,并彻底调查训练集的影响及其结构对长期预测的质量。利用ergodic理论,我们分析了保证物理系统忠实模型的先验的数据量。我们展示了根据系统不变的培训集的知情设计如何以及潜在的吸引子的结构,显着提高了所产生的模型,在积极学习的背景下开放研究。此外,将说明依赖于存储器能够的模型时内存初始化的非琐碎效果。我们的调查结果为有效数据驱动建模的任何复杂动态系统所需的数量和选择提供了基于证据的良好实践。
translated by 谷歌翻译
This work presents a set of neural network (NN) models specifically designed for accurate and efficient fluid dynamics forecasting. In this work, we show how neural networks training can be improved by reducing data complexity through a modal decomposition technique called higher order dynamic mode decomposition (HODMD), which identifies the main structures inside flow dynamics and reconstructs the original flow using only these main structures. This reconstruction has the same number of samples and spatial dimension as the original flow, but with a less complex dynamics and preserving its main features. We also show the low computational cost required by the proposed NN models, both in their training and inference phases. The core idea of this work is to test the limits of applicability of deep learning models to data forecasting in complex fluid dynamics problems. Generalization capabilities of the models are demonstrated by using the same neural network architectures to forecast the future dynamics of four different multi-phase flows. Data sets used to train and test these deep learning models come from Direct Numerical Simulations (DNS) of these flows.
translated by 谷歌翻译
数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今,可以准确预测复杂系统,例如天气,疾病模型或股市。预测方法通常被宣传为对控制有用,但是由于系统的复杂性,较大的数据集的需求以及增加的建模工作,这些细节经常没有得到解答。换句话说,自治系统的替代建模比控制系统要容易得多。在本文中,我们介绍了Quasimodo框架(量化模拟模拟模拟 - 优化),以将任意预测模型转换为控制系统,从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是,我们通过自动化动力学(产生混合企业控制问题)来贸易控制效率,以获取任意,即使用的自主替代建模技术。然后,我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加,性能保证仅依赖于使用的预测模型的准确性,而控制理论中的知识知识要求很少来解决复杂的控制问题。
translated by 谷歌翻译
储层计算机(RCS)是所有神经网络训练最快的计算机之一,尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势,同时仍能很好地处理顺序数据。但是,由于该模型对其超参数(HPS)的敏感性,RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难,传统网格搜索方法的成本呈指数增长,随着所考虑的HP数量,劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题,Rctorch是一种基于Pytorch的RC神经网络软件包,具有自动HP调整。在本文中,我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到,可以在https://rctorch.readthedocs.io/上找到文档。
translated by 谷歌翻译
时间序列数据的生成和分析与许多从经济学到流体力学的定量字段相关。在物理科学中,诸如亚稳态和连贯的组的结构,慢松弛过程,集体变量显性过渡途径或歧管流动流动的概率流动可能非常重视理解和表征系统的动力动力学和机械性质。 Deeptime是一种通用Python库,提供各种工具来估计基于时间序列数据的动态模型,包括传统的线性学习方法,例如马尔可夫状态模型(MSM),隐藏的马尔可夫模型和Koopman模型,以及内核和深度学习方法如vampnets和深msms。该库主要兼容Scikit-Searn,为这些不同的模型提供一系列估计器类,但与Scikit-Ge劳说相比,还提供了深度模型类,例如,在MSM的情况下,提供了多种分析方法来计算有趣的热力学,动力学和动态量,例如自由能,松弛时间和过渡路径。图书馆专为易于使用而设计,而且易于维护和可扩展的代码。在本文中,我们介绍了Deeptime软件的主要特征和结构。
translated by 谷歌翻译
在本文中,我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器,该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的,这些模型在训练过程中展开了更多求解器步骤。此外,我们基于湍流物理学引入损失项,以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景,一种均匀的腐烂湍流案例,一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比,我们的模型在长期A-posterii统计数据方面取得了重大改进,而无需将这些统计数据直接包含在学习目标中。在推论时,我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。
translated by 谷歌翻译
我们介绍了一个名为统计信息的神经网络(SINN)的机器学习框架,用于从数据中学习随机动力学。从理论上讲,这种新的架构是受到随机系统的通用近似定理的启发,我们在本文中介绍了它,以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制,以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明,受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外,我们表明可以在时间粗粒的数据上训练所获得的减少阶模型,因此非常适合稀有事实模拟。
translated by 谷歌翻译