深度集合可以被视为最新的深度学习中不确定性量化的最先进的定量。虽然最初提出了该方法作为非贝叶斯技术，但支持其贝叶斯基础的论据也提出。我们表明，通过指定相应的假设，可以将深度集合视为近似贝叶斯方法。我们的研究结果导致改善的近似，导致不确定性的扩大的认识部分。数值示例表明改进的近似可能导致更可靠的不确定性。分析衍生确保易于计算结果。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

We introduce ensembles of stochastic neural networks to approximate the Bayesian posterior, combining stochastic methods such as dropout with deep ensembles. The stochastic ensembles are formulated as families of distributions and trained to approximate the Bayesian posterior with variational inference. We implement stochastic ensembles based on Monte Carlo dropout, DropConnect and a novel non-parametric version of dropout and evaluate them on a toy problem and CIFAR image classification. For CIFAR, the stochastic ensembles are quantitatively compared to published Hamiltonian Monte Carlo results for a ResNet-20 architecture. We also test the quality of the posteriors directly against Hamiltonian Monte Carlo simulations in a simplified toy model. Our results show that in a number of settings, stochastic ensembles provide more accurate posterior estimates than regular deep ensembles.

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

贝叶斯神经网络具有潜在变量（BNN + LVS）通过明确建模模型不确定性（通过网络权重）和环境暂停（通过潜在输入噪声变量）来捕获预测的不确定性。在这项工作中，我们首先表明BNN + LV具有严重形式的非可识别性：可以在模型参数和潜在变量之间传输解释性，同时拟合数据。我们证明，在无限数据的极限中，网络权重和潜变量的后部模式从地面真理渐近地偏离。由于这种渐近偏差，传统的推理方法可以在实践中，产量参数概括不确定和不确定的不确定性。接下来，我们开发一种新推断过程，明确地减轻了训练期间不可识别性的影响，并产生高质量的预测以及不确定性估计。我们展示我们的推理方法在一系列合成和实际数据集中改善了基准方法。

贝叶斯范式有可能解决深度神经网络的核心问题，如校准和数据效率低差。唉，缩放贝叶斯推理到大量的空间通常需要限制近似。在这项工作中，我们表明它足以通过模型权重的小子集进行推动，以便获得准确的预测后断。另一个权重被保存为点估计。该子网推断框架使我们能够在这些子集上使用表现力，否则难以相容的后近近似。特别是，我们将子网线性化LAPLACE作为一种简单，可扩展的贝叶斯深度学习方法：我们首先使用线性化的拉普拉斯近似来获得所有重量的地图估计，然后在子网上推断出全协方差高斯后面。我们提出了一个子网选择策略，旨在最大限度地保护模型的预测性不确定性。经验上，我们的方法对整个网络的集合和较少的表达后近似进行了比较。

随着我们远离数据，预测不确定性应该增加，因为各种各样的解释与鲜为人知的信息一致。我们引入了远距离感知的先验（DAP）校准，这是一种纠正训练域之外贝叶斯深度学习模型过度自信的方法。我们将DAPS定义为模型参数的先验分布，该模型参数取决于输入，通过其与训练集的距离度量。DAP校准对后推理方法不可知，可以作为后处理步骤进行。我们证明了其在各种分类和回归问题中对几个基线的有效性，包括旨在测试远离数据的预测分布质量的基准。

不确定性量化对于机器人感知至关重要，因为过度自信或点估计人员可以导致环境和机器人侵犯和损害。在本文中，我们评估了单视图监督深度学习中的不确定量化的可扩展方法，特别是MC辍学和深度集成。特别是对于MC辍学，我们探讨了阵列在架构中不同级别的效果。我们表明，在编码器的所有层中添加丢失会带来比文献中的其他变化更好的结果。此配置类似地执行与Deep Ensembles具有更低的内存占用，这是相关的简单。最后，我们探讨了伪RGBD ICP的深度不确定性，并展示其估计具有实际规模的准确的双视图相对运动的可能性。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

尽管基于卷积神经网络（CNN）的组织病理学图像的分类模型，但量化其不确定性是不可行的。此外，当数据偏置时，CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术，利用贝叶斯-CNN提供的不确定性，这显着提高了大部分测试数据的性能（约为77％的测试数据的准确性提高了约6％）。此外，我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据，并在低维特征空间中揭示数据的结构。我们表明，贝叶斯-CNN可以通过分别将假阴性和假阳性降低11％和7.7％的最先进的转移学习CNN（TL-CNN）来表现出远得更好。它具有仅为186万个参数的这种性能，而TL-CNN的参数仅为134.33亿。此外，我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹，并显着降低了误报和误报的数量（两者减少了3％）。我们还表明，通过执行McNemar的统计显着性测试，这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势，解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。

深度展开是一种基于深度学习的图像重建方法，它弥合了基于模型和纯粹的基于深度学习的图像重建方法之间的差距。尽管深层展开的方法实现了成像问题的最新性能，并允许将观察模型纳入重建过程，但它们没有提供有关重建图像的任何不确定性信息，这严重限制了他们在实践中的使用，尤其是用于安全 - 关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，该框架将观察模型纳入重建任务中，并能够基于深层展开和贝叶斯神经网络来量化认知和核心不确定性。我们证明了所提出的框架在磁共振成像和计算机断层扫描重建问题上的不确定性表征能力。我们研究了拟议框架提供的认知和态度不确定性信息的特征，以激发未来的研究利用不确定性信息来开发更准确，健壮，可信赖，不确定性，基于学习的图像重建和成像问题的分析方法。我们表明，所提出的框架可以提供不确定性信息，同时与最新的深层展开方法实现可比的重建性能。

虽然神经网络是强大的功能近似器，但底层建模假设最终定义了它们是参数化的假设类。在分类中，随着常用的SoftMax能够代表任何分类分布，这些假设很小。然而，在回归中，通常放置了要实现的连续分布类型的限制假设，如通过平均平均误差及其潜在的高斯度假的训练的主导选择。最近，建模前进允许对要建模的连续分布的类型无关，授予回归分类模型的灵活性。虽然过去的研究在表现方面强调了这种灵活的回归模型的益处，但在这里我们研究了模型选择对不确定性估计的影响。我们强调，根据模型拼写，炼狱不确定性没有妥善捕获，并且贝叶斯治疗错过的模型导致不可靠的认知不确定性估计。总体而言，我们的研究概述了回归中的建模选择如何影响不确定性估计，从而概述任何下游决策过程。

由于许多科学和工程领域的深层神经网络越来越多，建模和估计其不确定性已成为主要的重要性。已经研究了包括贝叶斯神经网络，合奏，确定性近似等各种方法。尽管关于深度学习中不确定性量化的垃圾越来越多，但不确定性估计的质量仍然是一个悬而未决的问题。在这项工作中，我们试图通过评估置信区的质量以及生成的样品代表未知目标分布的方式来评估几种算法在采样和回归任务上的性能。为此，考虑了几个采样和回归任务，并根据覆盖概率，内核化的Stein差异和最大平均差异进行比较所选算法。

Compared to point estimates calculated by standard neural networks, Bayesian neural networks (BNN) provide probability distributions over the output predictions and model parameters, i.e., the weights. Training the weight distribution of a BNN, however, is more involved due to the intractability of the underlying Bayesian inference problem and thus, requires efficient approximations. In this paper, we propose a novel approach for BNN learning via closed-form Bayesian inference. For this purpose, the calculation of the predictive distribution of the output and the update of the weight distribution are treated as Bayesian filtering and smoothing problems, where the weights are modeled as Gaussian random variables. This allows closed-form expressions for training the network's parameters in a sequential/online fashion without gradient descent. We demonstrate our method on several UCI datasets and compare it to the state of the art.

神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征进行贝叶斯线性回归来产生预测的不确定性。尽管他们受欢迎，但很少有作品专注于有条理地评估这些模型的预测性不确定性。在这项工作中，我们证明了NLMS的传统培训程序急剧低估了分发输入的不确定性，因此它们不能在风险敏感的应用中暂时部署。我们确定了这种行为的基本原因，并提出了一种新的培训框架，捕获下游任务的有用预测不确定性。

贝叶斯神经网络（BNNS）通过考虑为每个输入的权重和采样不同模型的分布，提供了一种工具来估计神经网络的不确定性。在本文中，我们提出了一种称为变异神经网络的神经网络中不确定性估计的方法，该方法通过使用可学习的子层转换其输入来生成层的输出分布的参数，而是为层的输出分布生成参数。在不确定性质量估计实验中，我们表明VNN与通过反向传播方法相比，VNN比Monte Carlo辍学或贝叶斯获得更好的不确定性质量。

量化监督学习模型的不确定性在制定更可靠的预测方面发挥着重要作用。认知不确定性，通常是由于对模型的知识不足，可以通过收集更多数据或精炼学习模型来减少。在过去的几年里，学者提出了许多认识的不确定性处理技术，这些技术可以大致分为两类，即贝叶斯和集合。本文对过去五年来提供了对监督学习的认识性不确定性学习技术的全面综述。因此，我们首先，将认知不确定性分解为偏见和方差术语。然后，介绍了认知不确定性学习技术以及其代表模型的分层分类。此外，提出了几种应用，例如计算机视觉（CV）和自然语言处理（NLP），然后讨论研究差距和可能的未来研究方向。

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。