物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
深度学习方法的应用加快了挑战性电流问题的分辨率,最近显示出令人鼓舞的结果。但是,电力系统动力学不是快照,稳态操作。必须考虑这些动力学,以确保这些模型提供的最佳解决方案遵守实用的动力约束,避免频率波动和网格不稳定性。不幸的是,由于其高计算成本,基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战,本文介绍了一种机器学习方法,以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络(GPINNS),并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力,以及不确定的参数,例如惯性和阻尼,以展示其在一系列电力系统应用中的潜力。
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
在科学的背景下,众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中,我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息,并使用数据驱动的机器学习方法。我们描述了一个数学对象,我们表示通用微分方程(UDE),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制,可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性,以处理随机性,延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集,这些训练机构高度优化,稳定硬化方程,并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
已经提出了物理信息神经网络(PINN)来学习偏微分方程(PDE)的解决方案。在PINN中,感兴趣的PDE及其边界条件的残余形式被归为复合目标函数,作为软惩罚。在这里,我们表明,将目标函数制定的这种特定方式是应用于不同种类PDE的PINN方法中严重限制的来源。为了解决这些局限性,我们提出了一个基于约束优化问题公式的多功能框架,在该框架中,我们使用增强的拉格朗日方法(ALM)来限制PDE的解决方案,并具有其边界条件和任何可能可用的高保真数据。我们的方法擅长于具有多保真数据融合的转发和反问题。我们通过将其应用于涉及多维PDE的几个远期和反向问题来证明物理和相等性约束深度学习框架的功效和多功能性。您的框架与最先进的框架相比,与最先进的框架提高了幅度的提高顺序。 ART物理信息的神经网络。
translated by 谷歌翻译
深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具,具有近似功能的高度灵活性。在本工作中,设计具有所需属性的功能,以近似PDE的解决方案。我们的方法基于后验误差估计,其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法,以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计,然后使用神经网络计算原始和伴随解决方案。本研究表明,即使具有相对较少的训练数据,这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点,并且还呈现了收敛增强技术
translated by 谷歌翻译
在本文中,我们提出了一种深度学习技术,用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络(AB-CRAN)。为了构建波传播数据的低维表示,我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型,用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架,用于波传播的低维学习。为了证明AB-Cran模型的有效性,我们考虑了三个基准问题,即一维线性对流,非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集,可以准确捕获波幅度,并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比,基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差,并提高了参数空间中的概括能力。
translated by 谷歌翻译
科学机器学习(Sciml)的出现在思路科学领域开辟了一个新的领域,通过在基于物理和数据建模的界面的界面中开发方法。为此,近年来介绍了物理知识的神经网络(Pinns),通过在所谓的焊点上纳入物理知识来应对培训数据的稀缺。在这项工作中,我们研究了Pinns关于用于强制基于物理惩罚术语的配偶数量的预测性能。我们表明Pinns可能会失败,学习通过定义来满足物理惩罚术语的琐碎解决方案。我们制定了一种替代的采样方法和新的惩罚术语,使我们能够在具有竞争性结果的数据稀缺设置中纠正Pinns中的核心问题,同时减少最多80 \%的基准问题所需的搭配数量。
translated by 谷歌翻译
基于神经网络的求解部分微分方程的方法由于其简单性和灵活性来表示偏微分方程的解决方案而引起了相当大的关注。在训练神经网络时,网络倾向于学习与低频分量相对应的全局特征,而高频分量以较慢的速率(F原理)近似。对于解决方案包含广泛尺度的一类等式,由于无法捕获高频分量,网络训练过程可能会遭受缓慢的收敛性和低精度。在这项工作中,我们提出了一种分层方法来提高神经网络解决方案的收敛速率和准确性。所提出的方法包括多训练水平,其中引导新引入的神经网络来学习先前级别近似的残余。通过神经网络训练过程的性​​质,高级校正倾向于捕获高频分量。我们通过一套线性和非线性部分微分方程验证所提出的分层方法的效率和稳健性。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
我们研究了科学计算的数值算法的元学习,它将一般算法结构的数学驱动,手工设计与特定的任务类的数据驱动的适应相结合。这表示从数值分析中的经典方法的偏离,这通常不具有这种基于学习的自适应。作为一个案例研究,我们开发了一种机器学习方法,基于Runge-Kutta(RK)Integrator架构,自动学习用于常用方程式(ODES)形式的初始值问题的有效求解器。通过组合神经网络近似和元学习,我们表明我们可以获得针对目标差分方程系的高阶集成商,而无需手头计算积分器系数。此外,我们证明,在某些情况下,我们可以获得古典RK方法的卓越性能。这可以归因于通过该方法识别和利用ode系列的某些属性。总的来说,这项工作展示了基于学习的基于学习的方法,用于设计差分方程的数值解的算法,一种方法可以容易地扩展到其他数值任务。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
部分微分方程(PDES)在科学和工程的许多学科中都是普遍的,难以解决。通常,PDE的闭合形式溶液不可用,数值近似方法是计算昂贵的。 PDE的参数在许多应用中是可变的,例如逆问题,控制和优化,风险评估和不确定性量化。在这些应用程序中,我们的目标是解决参数PDE而不是其中一个实例。我们所提出的方法,称为元 - 自动解码器(MAD),将参数PDES作为元学习问题求解,并利用\ Cite {Park2019DeepsDF}中的自动解码器结构来处理不同的任务/ PDE。从PDE管理方程和边界条件诱导的物理知识损失被用作不同任务的培训损失。疯狂的目标是学习一个良好的模型初始化,可以概括不同的任务,最终使未能学习的任务能够更快地学习。疯狂的灵感来自于(猜想)参数PDE解决方案的低维结构,并从流形学习的角度解释了我们的方法。最后,我们展示了疯狂的力量,虽然广泛的数值研究,包括汉堡等式,拉普尔斯方程和时域麦克斯韦方程。与其他深度学习方法相比,MAD表现出更快的收敛速度而不会失去准确性。
translated by 谷歌翻译
最近的机器学习(ML)和深度学习(DL)的发展增加了所有部门的机会。 ML是一种重要的工具,可以应用于许多学科,但其直接应用于土木工程问题可能是挑战性的。在实验室中模拟的土木工程应用程序通常在现实世界测试中失败。这通常归因于用于培训和测试ML模型的数据之间的数据不匹配以及它在现实世界中遇到的数据,称为数据偏移的现象。然而,基于物理的ML模型集成了数据,部分微分方程(PDE)和数学模型以解决数据移位问题。基于物理的ML模型训练,以解决监督学习任务,同时尊重一般非线性方程描述的任何给定的物理定律。基于物理的ML,它在许多科学学科中占据中心阶段,在流体动力学,量子力学,计算资源和数据存储中起着重要作用。本文综述了基于物理学的ML历史及其在土木工程中的应用。
translated by 谷歌翻译
我们提出了一种基于具有子域(CENN)的神经网络的保守能量方法,其中允许通过径向基函数(RBF),特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比,接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高,更准确,更小的近双达,而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能,所提出的方法宫殿用于模拟代表性PDE,这些实施例包括强不连续性,奇异性,复杂边界,非线性和异质问题。此外,在处理异质问题时,它优于其他方法。
translated by 谷歌翻译
物理知识的神经网络(PINNS)由于能力将物理定律纳入模型,在工程的各个领域都引起了很多关注。但是,对机械和热场之间涉及耦合的工业应用中PINN的评估仍然是一个活跃的研究主题。在这项工作中,我们提出了PINNS在非牛顿流体热机械问题上的应用,该问题通常在橡胶日历过程中考虑。我们证明了PINN在处理逆问题和不良问题时的有效性,这些问题是不切实际的,可以通过经典的数值离散方法解决。我们研究了传感器放置的影响以及无监督点对PINNS性能的分布,即从某些部分数据中推断出隐藏的物理领域的问题。我们还研究了PINN从传感器捕获的测量值中识别未知物理参数的能力。在整个工作中,还考虑了嘈杂测量的效果。本文的结果表明,在识别问题中,PINN可以仅使用传感器上的测量结果成功估算未知参数。在未完全定义边界条件的不足问题中,即使传感器的放置和无监督点的分布对PINNS性能产生了很大的影响,我们表明该算法能够从局部测量中推断出隐藏的物理。
translated by 谷歌翻译
最近在科学机器学习的工作已经开发出所谓的物理信息的神经网络(Pinn)模型。典型方法是将物理域知识纳入经验丢失功能的软限制,并使用现有的机器学习方法来培训模型。我们展示了,虽然现有的Pinn方法可以学习良好的模型,但它们可以轻松地未能学习相关的物理现象,甚至更复杂的问题。特别是,我们分析了众多不同的普遍物理兴趣的情况,包括使用对流,反应和扩散运营商学习微分方程。我们提供了证据表明Pinns中的软正规化,涉及基于PDE的差分运营商,可以引入许多微妙的问题,包括使问题更加不良。重要的是,我们表明,这些可能的失败模式不是由于NN架构中缺乏富有效力,但Pinn的设置使得损失景观很难优化。然后,我们描述了两个有希望的解决方案来解决这些故障模式。第一种方法是使用课程正则化,其中Pinn的丢失项从简单的PDE正则化开始,并且随着NN训练而变得逐渐变得更加复杂。第二种方法是将问题构成为序列到序列的学习任务,而不是学习一次性地预测整个时空。广泛的测试表明,与常规Pinn训练相比,我们可以通过这些方法实现最多1-2个数量级。
translated by 谷歌翻译
在这项工作中,我们介绍,证明并展示了纠正源期限方法(Costa) - 一种新的混合分析和建模(火腿)的新方法。 HAM的目标是将基于物理的建模(PBM)和数据驱动的建模(DDM)组合,以创建概括,值得信赖,准确,计算高效和自我不断发展的模型。 Costa通过使用深神经网络产生的纠正源期限增强PBM模型的控制方程来实现这一目标。在一系列关于一维热扩散的数值实验中,发现CostA在精度方面优于相当的DDM和PBM模型 - 通常通过几个数量级降低预测误差 - 同时也比纯DDM更好地概括。由于其灵活而稳定的理论基础,Costa提供了一种模块化框架,用于利用PBM和DDM中的新颖开发。其理论基础还确保了哥斯达队可以用来模拟由(确定性)部分微分方程所控制的任何系统。此外,Costa有助于在PBM的背景下解释DNN生成的源术语,这导致DNN的解释性改善。这些因素使哥斯达成为数据驱动技术的潜在门开启者,以进入先前为纯PBM保留的高赌注应用。
translated by 谷歌翻译
纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言,在流行病学队列研究和临床登记处,我们面临的问题是在研究早期阶段中可以从数据中学到的问题,只有基线表征和一个后续测量。灵感来自最近的进步,允许将深度学习与动态建模相结合,我们调查这些方法是否可用于揭示复杂结构,特别是对于每个单独的两个观察时间点的极端小数据设置。然后,通过利用个体的相似性,可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器(VAES)如何作为深度学习方法,可以与普通微分方程(ODES)相关联用于动态建模,然后具体研究这种方法的可行性,即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务,以提供统计的视角。使用模拟数据,我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹,以及使用具有类似轨迹的个体群体,以及其崩溃的地方。结果表明,即使在极端的小数据设置中,这种动态深度学习方法也可能是有用的,但需要仔细调整。
translated by 谷歌翻译
背景:洪水是世界上最常见的自然灾害,影响数亿岁的生活。因此,洪水预测是一项重要的重要努力,通常使用物理水流模拟实现,依赖于准确的地形升降映射。然而,这种基于求解部分微分方程的这种模拟是在大规模上计算上的禁止。这种可扩展性问题通常使用高程地图的粗网格表示,尽管这种表示可能扭曲了至关重要的地形细节,导致模拟中的显着不准确。贡献:我们训练一个深度神经网络,以执行地形地图的物理信息信息:我们优化地形地图的粗网格表示,以便洪水预测将匹配细网解决方案。对于成功的学习过程,我们专门为此任务配置数据集。我们证明,通过这种方法,可以实现计算成本的显着降低,同时保持准确的解决方案。参考实施伴随着该文件以及数据集再现的文档和代码。
translated by 谷歌翻译