设计具有高产和强可靠性的制造工艺依赖于罕见事件估计的有效方法。族记重要性分裂通过迭代选择和复制朝向罕见事件的实现来降低罕见事件概率估计的变化。当应用于需要修改后代实现的初始条件的确定性系统时，复制步骤很难。通常，将随机扰动应用于后代，以将它们的轨迹与父阶层分化。然而，这种随机扰动策略可能对某些系统有效，同时失败，防止概率估计的差异降低。该工作旨在使用诸如生成的对冲网络（GaN）的生成模型来解决这种限制，以产生与动态系统的吸引子一致的扰动。提出的GaN辅助重要性分裂方法（Ganisp）改善了所针对性的系统的方差减少。该方法的实现是在伴侣存储库中（https://github.com/nrel/ganisp）中的。
translated by 谷歌翻译
许多工程问题需要预测实现实现变异性或建模量的精致描述。在这种情况下，有必要采用未知高维空间的元素，其中可能具有数百万自由度。虽然存在能够具有具有已知形状的概率密度函数（PDF）的方法的方法，但是当分布未知时需要进行若干近似。在本文中，基础分布的采样方法以及底层分布的推动都是用一种称为生成对抗网络（GaN）的数据驱动方法，该方法列举了两个竞争的神经网络来生产可以有效地产生样本的网络从训练集分发。在实践中，通常需要从条件分布中绘制样品。当条件变量是连续的时，可以仅可用对应于调节变量的特定值的一个（如果有）数据点，这不足以估计条件分布。使用PDF的条件时刻的先验估计，处理此问题。这里比较两种方法，随机估计和外部神经网络，用于计算这些时刻;但是，可以使用任何优选的方法。在过滤的湍流流场的解构的情况下，证明了算法。结果表明，与最先进的方法相比，所提出的算法的所有版本有效地对目标条件分布进行了最小的影响，对样品的质量的影响最小。另外，该过程可以用作由连续变量的条件GaN（CGAN）产生的样本的分集的度量。
translated by 谷歌翻译
罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。
translated by 谷歌翻译
计算和实验能力的改进正在迅速增加常规产生的科学数据量。在受内存和计算强度约束的应用中，过大的数据集可能阻碍科学发现，使数据降低数据驱动方法的关键组件。数据集在两个方向上增长：数据点数及其维度。虽然数据压缩技术涉及减少维度，但这里的重点是减少数据点的数量。建议策略选择数据点，使得它们统一地跨越数据的相位空间。所提出的算法依赖于估计数据的概率图并使用它来构造接受概率。使用迭代方法来准确地估计当仅使用小型数据集的小子集来构造概率图时稀有数据点的概率。代替将相位空间融合以估计概率图，其功能形式近似于标准化流程。因此，该方法自然地延伸到高维数据集。所提出的框架被证明是一种可行的途径，以便在可以使用丰富的数据时实现数据有效的机器学习。该方法的实现是在伴随存储库中（https://github.com/nrer/phase-space-sampling）。
translated by 谷歌翻译
我们介绍了一个名为统计信息的神经网络（SINN）的机器学习框架，用于从数据中学习随机动力学。从理论上讲，这种新的架构是受到随机系统的通用近似定理的启发，我们在本文中介绍了它，以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制，以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明，受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外，我们表明可以在时间粗粒的数据上训练所获得的减少阶模型，因此非常适合稀有事实模拟。
translated by 谷歌翻译
了解复杂分子过程的动力学通常与长期稳定状态之间不经常过渡的研究有关。进行此类罕见事件采样的标准方法是使用轨迹空间中的随机步行生成过渡路径的集合。然而，这伴随着随后访问的路径之间的较强相关性和在平行采样过程中的内在难度之间存在很强的相关性。我们建议基于神经网络生成的配置的过渡路径采样方案。这些是采用归一化流量获得的，即能够从给定分布中生成非相关样品的神经网络类。使用这种方法，不仅删除了访问的路径之间的相关性，而且采样过程很容易平行。此外，通过调节归一化流，可以将配置的采样转向感兴趣的区域。我们表明，这允许解决过渡区域的热力学和动力学。
translated by 谷歌翻译
我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。
translated by 谷歌翻译
混沌系统中仿真预测的准确性严重依赖于预测初始化时系统状态的高质量估计。数据同化方法用于通过系统地结合噪音，不完整的观察和系统动态的数值模型来推断这些初始条件，以产生有效的估计方案。我们介绍了摊销同化，这是一种学习的框架，用于从嘈杂的观察序列中吸收动态系统，无需基础真理数据。我们通过使用可分辨率模拟来激励来自自我监控的自我监督剥夺到动态系统设置的强大结果来激励框架。跨几台基准系统的实验结果突出了我们对广泛使用的数据同化方法的提高效果。
translated by 谷歌翻译
我们使用生成的对抗网络（GaN）展示了一种数学上良好的湍流模型的合成建模方法。基于对遍历性的混沌，确定性系统的分析，我们概述了一个数学证据，即GaN实际上可以学习采样状态快照，从而形成混沌系统的不变度量。基于该分析，我们研究了从Lorenz吸引子开始的混沌系统的层次，然后继续与GaN的湍流模拟。作为培训数据，我们使用从大型涡流模拟（LES）获得的速度波动领域。详细研究了两种建筑：我们使用深卷积的GaN（DCGAN）来合成圆柱周围的湍流。我们还使用PIX2PIXHD架构模拟低压涡轮定子围绕的流量，用于条件DCGAN在定子前方的旋转唤醒位置上调节。解释了对抗性培训的设置和使用特定GAN架构的影响。从而表明，GaN在技术上挑战流动问题的基础上的训练日期是有效的模拟湍流。与经典的数值方法，特别是LES相比，GaN训练和推理时间显着下降，同时仍然在高分辨率下提供湍流流动。
translated by 谷歌翻译
社会和自然中的极端事件，例如大流行尖峰，流氓波浪或结构性失败，可能会带来灾难性的后果。极端的表征很困难，因为它们很少出现，这似乎是由良性的条件引起的，并且属于复杂且通常是未知的无限维系统。这种挑战使他们将其描述为“毫无意义”。我们通过将贝叶斯实验设计（BED）中的新型训练方案与深神经操作员（DNOS）合奏结合在一起来解决这些困难。这个模型不足的框架配对了一个床方案，该床方案积极选择数据以用近似于无限二二维非线性运算符的DNO集合来量化极端事件。我们发现，这个框架不仅清楚地击败了高斯流程（GPS），而且只有两个成员的浅色合奏表现最好； 2）无论初始数据的状态如何（即有或没有极端），都会发现极端； 3）我们的方法消除了“双研究”现象； 4）与逐步全球Optima相比，使用次优的采集点的使用不会阻碍床的性能； 5）蒙特卡洛的获取优于高量级的标准优化器。这些结论共同构成了AI辅助实验基础设施的基础，该基础设施可以有效地推断并查明从物理到社会系统的许多领域的关键情况。
translated by 谷歌翻译
在从蛋白质折叠到材料发现的许多领域中，采样分子系统的相空间 - 更普遍地是通过随机微分方程有效建模的复杂系统的相位空间。这些问题本质上通常是多尺度的：可以用少数“慢速”反应坐标参数参数的低维有效自由能表面来描述它们；其余的“快速”自由度填充了反应坐标值的平衡度量。有关此类问题的抽样程序用于估计有效的自由能差以及相对于条件平衡分布的合奏平均值；后者平均值导致有效减少动态模型的关闭。多年来，已经开发了增强的采样技术与分子模拟。引人入胜的类比是与机器学习领域（ML）产生的，在该领域中，生成的对抗网络可以从低维概率分布中产生高维样品。该样本生成从有关其低维表示的信息中返回模型状态的合理高维空间实现。在这项工作中，我们提出了一种方法，该方法将基于物理学的模拟和偏置方法与基于ML的条件生成对抗网络对条件分布进行采样，以实现相同的任务。我们调节精细规模实现的“粗糙描述符”可以先验地知道，也可以通过非线性维度降低来学习。我们建议这可能会带来两种方法的最佳功能：我们证明，夫妻CGAN具有基于物理学的增强采样技术的框架可以改善多尺度SDE动力学系统采样，甚至显示出对增加复杂性系统的希望。
translated by 谷歌翻译
Modeling the risk of extreme weather events in a changing climate is essential for developing effective adaptation and mitigation strategies. Although the available low-resolution climate models capture different scenarios, accurate risk assessment for mitigation and adaption often demands detail that they typically cannot resolve. Here, we develop a dynamic data-driven downscaling (super-resolution) method that incorporates physics and statistics in a generative framework to learn the fine-scale spatial details of rainfall. Our method transforms coarse-resolution ($0.25^{\circ} \times 0.25^{\circ}$) climate model outputs into high-resolution ($0.01^{\circ} \times 0.01^{\circ}$) rainfall fields while efficaciously quantifying uncertainty. Results indicate that the downscaled rainfall fields closely match observed spatial fields and their risk distributions.
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响，风险评估，适应和保护生物的关键。在这项工作中，我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络，对极长的8，000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的，因此我们强调概率预测和验证。我们证明，深度神经网络适用于法国持续持续14天的热浪，快速动态驱动器提前15天（500 hpa地球电位高度场），并且在慢速较长的交货时间内，慢速物理时间驱动器（土壤水分）。该方法很容易实现和通用。我们发现，深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现，当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时，2米温度场不包含任何新的有用统计信息。主要的科学信息是，训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点，例如罕见的事件模拟，以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
在本文中，我们考虑了与未知（或部分未知），非平稳性，潜在的嘈杂和混乱的时间演变相关的机器学习（ML）任务，以预测临界点过渡和长期尖端行为动力系统。我们专注于特别具有挑战性的情况，在过去的情况下，过去的动态状态时间序列主要是在状态空间的受限区域中，而要预测的行为会在ML未完全观察到的较大状态空间集中演变出来训练期间的模型。在这种情况下，要求ML预测系统能够推断出在训练过程中观察到的不同动态。我们研究了ML方法在多大程度上能够为此任务完成有用的结果以及它们失败的条件。通常，我们发现即使在极具挑战性的情况下，ML方法也出奇地有效，但是（正如人们所期望的）``需要``太多''的外推。基于科学知识的传统建模的ML方法，因此即使单独采取行动时，我们发现的混合预测系统也可以实现有用的预测。我们还发现，实现有用的结果可能需要使用使用非常仔细选择的ML超参数，我们提出了一个超参数优化策略来解决此问题。本文的主要结论是，基于ML （也许是由于临界点的穿越）包括在训练数据探索的集合中的动态。
translated by 谷歌翻译
开发了一种使用多个辅助变量的非静止空间建模算法。它将Geodatistics与Simitile随机林结合起来，以提供一种新的插值和随机仿真算法。本文介绍了该方法，并表明它具有与施加地统计学建模和定量随机森林的那些相似的一致性结果。该方法允许嵌入更简单的插值技术，例如Kriging，以进一步调节模型。该算法通过估计每个目标位置处的目标变量的条件分布来工作。这种分布的家庭称为目标变量的包络。由此，可以获得空间估计，定量和不确定性。还开发了一种从包络产生条件模拟的算法。随着它们从信封中的样本，因此通过相对变化的次要变量，趋势和可变性的相对变化局部地影响。
translated by 谷歌翻译
尽管有持续的改进，但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是，几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络（GAN）在超分辨率问题上取得了成功，即学习为粗图像添加精细的结构。 Leinonen等。 （2020年）先前使用GAN来产生重建的高分辨率大气场的集合，并给定较粗糙的输入数据。在本文中，我们证明了这种方法可以扩展到更具挑战性的问题，即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构，同时考虑不可忽略的预测错误。我们表明，甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时，可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数，功率谱信息和等级直方图（用于评估校准）的最佳现有缩减方法。我们测试了我们的模型，并表明它们在各种场景中的表现，包括大雨。
translated by 谷歌翻译
在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
我们合并计算力学的因果状态（预测等同历史）的定义与再现 - 内核希尔伯特空间（RKHS）表示推断。结果是一种广泛适用的方法，可直接从系统行为的观察中迁移因果结构，无论它们是否超过离散或连续事件或时间。结构表示 - 有限或无限状态内核$ \ epsilon $ -Machine - 由减压变换提取，其提供了有效的因果状态及其拓扑。以这种方式，系统动态由用于在因果状态上的随机（普通或部分）微分方程表示。我们介绍了一种算法来估计相关的演化运营商。平行于Fokker-Plank方程，它有效地发展了因果状态分布，并通过RKHS功能映射在原始数据空间中进行预测。我们展示了这些技术，以及他们的预测能力，在离散时间的离散时间离散 - 有限的无限值Markov订单流程，其中有限状态隐藏马尔可夫模型与（i）有限或（ii）不可数 - 无限因果态和（iii）连续时间，由热驱动的混沌流产生的连续值处理。该方法在存在不同的外部和测量噪声水平和非常高的维数据存在下鲁棒地估计因果结构。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。
translated by 谷歌翻译