深度神经网络是各种任务的强大预测因子。但是，它们不会直接捕捉不确定性。使用神经网络集合来量化不确定性与基于贝叶斯神经网络的方法具有竞争力，同时受益于更好的计算可扩展性。然而，神经网络的构建集合是一个具有挑战性的任务，因为除了为整个集合的每个成员选择正确的神经结构或超参数之外，还有增加训练每个模型的成本。我们提出了一种自动化方法，用于生成深神经网络的集合。我们的方法利用联合神经结构和封锁统计数据搜索来生成合奏。我们使用总方差定律来分解深度集成的预测方差，进入炼层（数据）和认知（模型）的不确定性。我们展示了AutodeUQ优于概率的概率BackProjagation，Monte Carlo辍学，深组合，无分配的集合以及多元回归基准的超集合方法。

贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

Deep neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks. Quantifying predictive uncertainty in NNs is a challenging and yet unsolved problem. Bayesian NNs, which learn a distribution over weights, are currently the state-of-the-art for estimating predictive uncertainty; however these require significant modifications to the training procedure and are computationally expensive compared to standard (non-Bayesian) NNs. We propose an alternative to Bayesian NNs that is simple to implement, readily parallelizable, requires very little hyperparameter tuning, and yields high quality predictive uncertainty estimates. Through a series of experiments on classification and regression benchmarks, we demonstrate that our method produces well-calibrated uncertainty estimates which are as good or better than approximate Bayesian NNs. To assess robustness to dataset shift, we evaluate the predictive uncertainty on test examples from known and unknown distributions, and show that our method is able to express higher uncertainty on out-of-distribution examples. We demonstrate the scalability of our method by evaluating predictive uncertainty estimates on ImageNet.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征进行贝叶斯线性回归来产生预测的不确定性。尽管他们受欢迎，但很少有作品专注于有条理地评估这些模型的预测性不确定性。在这项工作中，我们证明了NLMS的传统培训程序急剧低估了分发输入的不确定性，因此它们不能在风险敏感的应用中暂时部署。我们确定了这种行为的基本原因，并提出了一种新的培训框架，捕获下游任务的有用预测不确定性。

我们有兴趣估计深神经网络的不确定性，这些神经网络在许多科学和工程问题中起着重要作用。在本文中，我们提出了一个引人注目的新发现，即具有相同权重初始化的神经网络的合奏，在数据集中受到持续偏差的转移而训练会产生稍微不一致的训练模型，其中预测的差异是强大的指标。认知不确定性。使用神经切线核（NTK），我们证明了这种现象是由于NTK不变的部分而发生的。由于这是通过微不足道的输入转换来实现的，因此我们表明可以使用单个神经网络（使用我们称为$ \ delta- $ uq的技术）来近似它，从而通过边缘化效果来估计预测周围的不确定性偏见。我们表明，$ \ delta- $ uq的不确定性估计值优于各种基准测试的当前方法 - 异常拒绝，分配变化下的校准以及黑匣子功能的顺序设计优化。

贝叶斯神经网络（BNNS）通过考虑为每个输入的权重和采样不同模型的分布，提供了一种工具来估计神经网络的不确定性。在本文中，我们提出了一种称为变异神经网络的神经网络中不确定性估计的方法，该方法通过使用可学习的子层转换其输入来生成层的输出分布的参数，而是为层的输出分布生成参数。在不确定性质量估计实验中，我们表明VNN与通过反向传播方法相比，VNN比Monte Carlo辍学或贝叶斯获得更好的不确定性质量。

深度集合可以被视为最新的深度学习中不确定性量化的最先进的定量。虽然最初提出了该方法作为非贝叶斯技术，但支持其贝叶斯基础的论据也提出。我们表明，通过指定相应的假设，可以将深度集合视为近似贝叶斯方法。我们的研究结果导致改善的近似，导致不确定性的扩大的认识部分。数值示例表明改进的近似可能导致更可靠的不确定性。分析衍生确保易于计算结果。

不确定性量化对于机器人感知至关重要，因为过度自信或点估计人员可以导致环境和机器人侵犯和损害。在本文中，我们评估了单视图监督深度学习中的不确定量化的可扩展方法，特别是MC辍学和深度集成。特别是对于MC辍学，我们探讨了阵列在架构中不同级别的效果。我们表明，在编码器的所有层中添加丢失会带来比文献中的其他变化更好的结果。此配置类似地执行与Deep Ensembles具有更低的内存占用，这是相关的简单。最后，我们探讨了伪RGBD ICP的深度不确定性，并展示其估计具有实际规模的准确的双视图相对运动的可能性。

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

Configurable software systems are employed in many important application domains. Understanding the performance of the systems under all configurations is critical to prevent potential performance issues caused by misconfiguration. However, as the number of configurations can be prohibitively large, it is not possible to measure the system performance under all configurations. Thus, a common approach is to build a prediction model from a limited measurement data to predict the performance of all configurations as scalar values. However, it has been pointed out that there are different sources of uncertainty coming from the data collection or the modeling process, which can make the scalar predictions not certainly accurate. To address this problem, we propose a Bayesian deep learning based method, namely BDLPerf, that can incorporate uncertainty into the prediction model. BDLPerf can provide both scalar predictions for configurations' performance and the corresponding confidence intervals of these scalar predictions. We also develop a novel uncertainty calibration technique to ensure the reliability of the confidence intervals generated by a Bayesian prediction model. Finally, we suggest an efficient hyperparameter tuning technique so as to train the prediction model within a reasonable amount of time whilst achieving high accuracy. Our experimental results on 10 real-world systems show that BDLPerf achieves higher accuracy than existing approaches, in both scalar performance prediction and confidence interval estimation.

Accurate uncertainty quantification is necessary to enhance the reliability of deep learning models in real-world applications. In the case of regression tasks, prediction intervals (PIs) should be provided along with the deterministic predictions of deep learning models. Such PIs are useful or "high-quality'' as long as they are sufficiently narrow and capture most of the probability density. In this paper, we present a method to learn prediction intervals for regression-based neural networks automatically in addition to the conventional target predictions. In particular, we train two companion neural networks: one that uses one output, the target estimate, and another that uses two outputs, the upper and lower bounds of the corresponding PI. Our main contribution is the design of a loss function for the PI-generation network that takes into account the output of the target-estimation network and has two optimization objectives: minimizing the mean prediction interval width and ensuring the PI integrity using constraints that maximize the prediction interval probability coverage implicitly. Both objectives are balanced within the loss function using a self-adaptive coefficient. Furthermore, we apply a Monte Carlo-based approach that evaluates the model uncertainty in the learned PIs. Experiments using a synthetic dataset, six benchmark datasets, and a real-world crop yield prediction dataset showed that our method was able to maintain a nominal probability coverage and produce narrower PIs without detriment to its target estimation accuracy when compared to those PIs generated by three state-of-the-art neural-network-based methods.

开发准确，灵活和数值有效的不确定性量化（UQ）方法是机器学习中的基本挑战之一。以前，已经提出了一种名为Disco Nets的UQ方法（Bouchacourt等，2016），该方法通过最大程度地减少训练数据中所谓的能量评分来训练神经网络。该方法在计算机视觉中的手姿势估计任务上表现出了出色的性能，但是尚不清楚该方法是否可以很好地对表格数据进行回归，以及它如何与较新的高级UQ方法（例如NGBOOST）竞争。在本文中，我们提出了改进的迪斯科网络神经结构，该建筑接受了更稳定和平稳的训练。我们将这种方法基于其他现实世界表格数据集，并确认它具有竞争力甚至优于标准的UQ基准。我们还为使用能量评分学习预测分布的有效性提供了新的基本证明。此外，我们指出的是，迪斯科的原始形式忽略了认知的不确定性，只捕获了不确定性。我们为这个问题提出了一个简单的解决方案。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

尽管对安全机器学习的重要性，但神经网络的不确定性量化远未解决。估计神经不确定性的最先进方法通常是混合的，将参数模型与显式或隐式（基于辍学的）合并结合。我们采取另一种途径，提出一种新颖的回归任务的不确定量化方法，纯粹是非参数的。从技术上讲，它通过基于辍学的子网分布来捕获梯级不确定性。这是通过一个新目标来实现的，这使得标签分布与模型分布之间的Wasserstein距离最小化。广泛的经验分析表明，在生产更准确和稳定的不确定度估计方面，Wasserstein丢失在香草测试数据以及在分类转移的情况下表现出最先进的方法。

人工神经网络无法评估其预测的不确定性是对它们广泛使用的障碍。我们区分了两种类型的可学习不确定性：由于缺乏训练数据和噪声引起的观察不确定性而导致的模型不确定性。贝叶斯神经网络使用坚实的数学基础来学习其预测的模型不确定性。观察不确定性可以通过在这些网络中添加一层并增强其损失功能来计算观察不确定性。我们的贡献是将这些不确定性概念应用于预测过程监控任务中，以训练基于不确定性的模型以预测剩余时间和结果。我们的实验表明，不确定性估计值允许分化更多和不准确的预测，并在回归和分类任务中构建置信区间。即使在运行过程的早期阶段，这些结论仍然是正确的。此外，部署的技术是快速的，并产生了更准确的预测。学习的不确定性可以增加用户对其流程预测系统的信心，促进人类与这些系统之间的更好合作，并通过较小的数据集实现早期的实施。