不确定性量化(UQ)有助于基于收集的观察和不确定域知识来制定值得信赖的预测。随着各种应用中深度学习的增加,需要使深层模型更加可靠的高效UQ方法的需求。在可以从有效处理不确定性中受益的应用中,是基于深度学习的微分方程(DE)求解器。我们适应了几种最先进的UQ方法,以获得DE解决方案的预测性不确定性,并显示出四种不同类型的结果。
translated by 谷歌翻译
Physics-Informed Neural Networks (PINNs) are gaining popularity as a method for solving differential equations. While being more feasible in some contexts than the classical numerical techniques, PINNs still lack credibility. A remedy for that can be found in Uncertainty Quantification (UQ) which is just beginning to emerge in the context of PINNs. Assessing how well the trained PINN complies with imposed differential equation is the key to tackling uncertainty, yet there is lack of comprehensive methodology for this task. We propose a framework for UQ in Bayesian PINNs (B-PINNs) that incorporates the discrepancy between the B-PINN solution and the unknown true solution. We exploit recent results on error bounds for PINNs on linear dynamical systems and demonstrate the predictive uncertainty on a class of linear ODEs.
translated by 谷歌翻译
机器学习中的不确定性量化(UQ)目前正在引起越来越多的研究兴趣,这是由于深度神经网络在不同领域的快速部署,例如计算机视觉,自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近,还开发了各种机器学习模型,以解决科学计算领域的问题,并适用于计算科学和工程(CSE)。物理知识的神经网络和深层操作员网络是两个这样的模型,用于求解部分微分方程和学习操作员映射。在这方面,[45]中提供了专门针对科学机器学习(SCIML)模型量身定制的UQ方法的全面研究。然而,尽管具有理论上的优点,但这些方法的实施并不简单,尤其是在大规模的CSE应用程序中,阻碍了他们在研究和行业环境中的广泛采用。在本文中,我们提出了一个开源python图书馆(https://github.com/crunch-uq4mi),称为Neuraluq,并伴有教育教程,用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的,都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程,并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程,随后在四个不同的示例中证明了其适用性和效率,涉及动态系统以及高维参数和时间依赖性PDE。
translated by 谷歌翻译
There is a significant need for principled uncertainty reasoning in machine learning systems as they are increasingly deployed in safety-critical domains. A new approach with uncertainty-aware regression-based neural networks (NNs), based on learning evidential distributions for aleatoric and epistemic uncertainties, shows promise over traditional deterministic methods and typical Bayesian NNs, notably with the capabilities to disentangle aleatoric and epistemic uncertainties. Despite some empirical success of Deep Evidential Regression (DER), there are important gaps in the mathematical foundation that raise the question of why the proposed technique seemingly works. We detail the theoretical shortcomings and analyze the performance on synthetic and real-world data sets, showing that Deep Evidential Regression is a heuristic rather than an exact uncertainty quantification. We go on to propose corrections and redefinitions of how aleatoric and epistemic uncertainties should be extracted from NNs.
translated by 谷歌翻译
神经操作员是一种深层建筑,可以学会解决(即学习)部分微分方程(PDE)的非线性解决方案操作员。这些模型的当前艺术状态不能提供明确的不确定性量化。可以说,这是这种任务的问题,而不是机器学习中的其他地方,因为PDE通常描述的动态系统通常表现出微妙的多尺度结构,这会使人类难以发现错误。在这项工作中,我们首先在高斯过程的形式主义中首先提供了数学上详细的贝叶斯公式(线性)版本。然后,我们使用贝叶斯深度学习的近似方法将这种分析治疗扩展到一般的深层神经操作员。我们通过为神经操作员提供不确定性量化来扩展对神经操作员的先前结果。结果,我们的方法能够识别病例,并提供结构化的不确定性估计值,而神经操作员无法很好地预测。
translated by 谷歌翻译
基于神经网络的数据驱动操作员学习方案在计算力学中显示出巨大的潜力。 DeWonet是一种这样的神经网络体系结构,由于其出色的预测能力,它广泛赞赏。话虽如此,在确定性框架中设定的deponet架构面临过度拟合,概括不良和其不变形式的风险,因此无法量化与预测相关的不确定性。我们在本文中提出了一种用于操作员学习的跨贝叶斯迪维诺内特(VB-Deeponet),可以在很大程度上减轻deponet架构的这些局限性,并为用户提供有关预测阶段相关不确定性的更多信息。贝叶斯框架中设定的神经网络背后的关键思想是,神经网络的权重和偏见被视为概率分布而不是点估计,并且使用贝叶斯推理来更新其先前的分布。现在,为了管理与近似后验分布相关的计算成本,提出的VB-Deeponet使用\ textIt {变异推理}。与马尔可夫链蒙特卡洛方案不同,变异推理具有考虑高维后分布的能力,同时保持相关的计算成本较低。涵盖力学问题的不同示例,例如扩散反应,重力摆,对流扩散,以说明了所提出的VB-Deeponet的性能,并且在确定性框架中也对Deeponet集进行了比较。
translated by 谷歌翻译
线性系统发生在整个工程和科学中,最著名的是差分方程。在许多情况下,系统的强迫函数尚不清楚,兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中,强迫函数是自变量(通常是时间和空间)的未知函数,可以建模为高斯过程(GP)。在本文中,我们展示了如何使用GP内核的截断基础扩展,如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断,在许多情况下,计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法,并表明基础扩展方法与数量适中的基础向量相近。最后,我们展示了如何使用贝叶斯优化来推断非线性模型参数(例如内核长度尺度)的点估计值。
translated by 谷歌翻译
There are two major types of uncertainty one can model. Aleatoric uncertainty captures noise inherent in the observations. On the other hand, epistemic uncertainty accounts for uncertainty in the model -uncertainty which can be explained away given enough data. Traditionally it has been difficult to model epistemic uncertainty in computer vision, but with new Bayesian deep learning tools this is now possible. We study the benefits of modeling epistemic vs. aleatoric uncertainty in Bayesian deep learning models for vision tasks. For this we present a Bayesian deep learning framework combining input-dependent aleatoric uncertainty together with epistemic uncertainty. We study models under the framework with per-pixel semantic segmentation and depth regression tasks. Further, our explicit uncertainty formulation leads to new loss functions for these tasks, which can be interpreted as learned attenuation. This makes the loss more robust to noisy data, also giving new state-of-the-art results on segmentation and depth regression benchmarks.
translated by 谷歌翻译
我们制定了一类由物理驱动的深层变量模型(PDDLVM),以学习参数偏微分方程(PDES)的参数到解决方案(正向)和解决方案到参数(逆)图。我们的公式利用有限元方法(FEM),深神经网络和概率建模来组装一个深层概率框架,在该框架中,向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络,而引入的摊销变异家庭假定参数到解决方案网络,所有这些网络均经过联合培训。此外,所提出的方法不需要任何昂贵的PDE解决方案,并且仅在训练时间内对物理信息进行了信息,该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生,绕开了对FEM操作的需求,以相当的准确性,以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据,以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题,具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络(PINN)体系结构的有效性。与传统的FEM求解器相比,训练后,我们最多达到了三个数量级的速度,同时输出连贯的不确定性估计值。
translated by 谷歌翻译
对于许多工程应用,例如实时模拟或控制,潜在的非线性问题的传统解决方案技术通常是过于计算的。在这项工作中,我们提出了一种高效的深度学习代理框架,能够预测负载下的超弹性体的响应。代理模型采用特殊的卷积神经网络架构,所谓的U-Net的形式,其具有用有限元方法获得的力 - 位移数据训练。我们提出了框架的确定性和概率版本,并研究了三个基准问题。特别是,我们检查最大可能性和变分贝叶斯推论配方的能力,以评估解决方案的置信区间。
translated by 谷歌翻译
为了更好地了解大型神经网络的理论行为,有几项工程已经分析了网络宽度倾向于无穷大的情况。在该制度中,随机初始化的影响和训练神经网络的过程可以与高斯过程和神经切线内核等分析工具正式表达。在本文中,我们审查了在这种无限宽度神经网络中量化不确定性的方法,并将它们与贝叶斯推理框架中的高斯过程的关系进行比较。我们利用沿途使用几个等价结果,以获得预测不确定性的确切闭合性解决方案。
translated by 谷歌翻译
深度集合可以被视为最新的深度学习中不确定性量化的最先进的定量。虽然最初提出了该方法作为非贝叶斯技术,但支持其贝叶斯基础的论据也提出。我们表明,通过指定相应的假设,可以将深度集合视为近似贝叶斯方法。我们的研究结果导致改善的近似,导致不确定性的扩大的认识部分。数值示例表明改进的近似可能导致更可靠的不确定性。分析衍生确保易于计算结果。
translated by 谷歌翻译
贝叶斯神经网络(BNNS)通过考虑为每个输入的权重和采样不同模型的分布,提供了一种工具来估计神经网络的不确定性。在本文中,我们提出了一种称为变异神经网络的神经网络中不确定性估计的方法,该方法通过使用可学习的子层转换其输入来生成层的输出分布的参数,而是为层的输出分布生成参数。在不确定性质量估计实验中,我们表明VNN与通过反向传播方法相比,VNN比Monte Carlo辍学或贝叶斯获得更好的不确定性质量。
translated by 谷歌翻译
现代深度学习方法构成了令人难以置信的强大工具,以解决无数的挑战问题。然而,由于深度学习方法作为黑匣子运作,因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集,用于设计,实施,列车,使用和评估贝叶斯神经网络,即使用贝叶斯方法培训的随机人工神经网络。
translated by 谷歌翻译
深度学习的最新进展导致了可逆隐写术中的范式转变。可逆隐写术的基本支柱是可通过深神经网络实现的预测建模。然而,关于一些分发和嘈杂数据的推断存在非琐碎错误。鉴于此问题,我们建议根据贝叶斯深度学习理论框架考虑预测模型的不确定性。贝叶斯神经网络可以被视为自我意识的机器;也就是说,知道自己限制的机器。为了量化不确定性,我们通过随机向前通过Monte Carlo采样近似后预测分布。我们进一步表明,预测性不确定性可以解开炼热和认知的不确定性,并且这些数量可以以无人监督的方式学习。实验结果表明,贝叶斯的不确定性分析对书签容量变形性能的改善。
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
最近的机器学习进展已直接从数据中直接提出了对未知连续时间系统动力学的黑盒估计。但是,较早的作品基于近似ODE解决方案或点估计。我们提出了一种新型的贝叶斯非参数模型,该模型使用高斯工艺直接从数据中直接从数据中推断出未知ODE系统的后代。我们通过脱钩的功能采样得出稀疏的变异推断,以表示矢量场后代。我们还引入了一种概率的射击增强,以从任意长的轨迹中有效推断。该方法证明了计算矢量场后代的好处,预测不确定性得分优于多个ODE学习任务的替代方法。
translated by 谷歌翻译
区分和量化两种重要类型的不确定性,通常被称为炼狂和认识的想法,在过去几年里,在机器学习研究中受到了越来越关注。在本文中,我们考虑基于合并的不确定量化方法。区分不同类型的不确定感知学习算法,我们专注于基于所谓的信件集的贝叶斯方法和方法,这自然而然地从集合学习的角度来看。对于这两种方法,我们解决了如何量化炼体和认识性不确定性的问题。评估了相应措施的有效性,并在对拒绝选项进行分类的实证研究中进行了比较。
translated by 谷歌翻译