在这项工作中，我们使用变分推论在无线电星系分类的模型预测中量化的认知性不确定性，并表明在标记无线电星系时，各个测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准，并表明稀疏事先产生更良好的校准不确定性估计。使用各个权重的后部分布，我们表明信噪比（SNR）排名允许将完全连接的层灌浆到30 \％的水平，而无需显着损失性能，并且这种修剪增加了预测性不确定性在模型中。最后，我们表明，与此领域的其他工作一样，我们经历了冷的后效。我们检查是否在我们的模型中调整成本函数以适应模型拼盘可以弥补这种效果，但发现它没有显着差异。我们还研究了原则数据增强的效果，并发现它改善了基线，但不会完全弥补观察到的效果。我们将其解释为寒冷的后效，因为我们的培训样本过于有效的策划导致可能性拼盘，并将其提高到未来无线电银行分类的潜在问题。

在这项工作中，我们使用变分推论来量化无线电星系分类的深度学习模型预测的不确定性程度。我们表明，当标记无线电星系时，个体测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准，并表明稀疏事先产生更良好的校准不确定性估计。使用单个重量的后部分布，我们表明我们可以通过从最低信噪比（SNR）中除去权重来修剪30％的完全连接的层权重，而无需显着损失性能。我们证明，可以使用基于Fisher信息的排名来实现更大程度的修剪，但我们注意到两种修剪方法都会影响Failaroff-Riley I型和II型无线电星系的不确定性校准。最后，我们表明，与此领域的其他工作相比，我们经历了冷的后效，因此后部必须缩小后加权以实现良好的预测性能。我们检查是否调整成本函数以适应模型拼盘可以弥补此效果，但发现它不会产生显着差异。我们还研究了原则数据增强的效果，并发现这改善了基线，而且还没有弥补观察到的效果。我们将其解释为寒冷的后效，因为我们的培训样本过于有效的策划导致可能性拼盘，并将其提高到未来无线电银行分类的潜在问题。

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

尽管基于卷积神经网络（CNN）的组织病理学图像的分类模型，但量化其不确定性是不可行的。此外，当数据偏置时，CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术，利用贝叶斯-CNN提供的不确定性，这显着提高了大部分测试数据的性能（约为77％的测试数据的准确性提高了约6％）。此外，我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据，并在低维特征空间中揭示数据的结构。我们表明，贝叶斯-CNN可以通过分别将假阴性和假阳性降低11％和7.7％的最先进的转移学习CNN（TL-CNN）来表现出远得更好。它具有仅为186万个参数的这种性能，而TL-CNN的参数仅为134.33亿。此外，我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹，并显着降低了误报和误报的数量（两者减少了3％）。我们还表明，通过执行McNemar的统计显着性测试，这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势，解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。

对于许多应用，分析机器学习模型的不确定性是必不可少的。尽管不确定性量化（UQ）技术的研究对于计算机视觉应用非常先进，但对时空数据的UQ方法的研究较少。在本文中，我们专注于在线手写识别的模型，这是一种特定类型的时空数据。数据是从传感器增强的笔中观察到的，其目标是对书面字符进行分类。我们基于两种突出的贝叶斯推理，平均高斯（赃物）和深层合奏的突出技术对核心（数据）和认知（模型）UQ进行了广泛的评估。在对模型的更好理解后，UQ技术可以在组合右手和左撇子作家（一个代表性不足的组）时检测分布数据和域的变化。

量化监督学习模型的不确定性在制定更可靠的预测方面发挥着重要作用。认知不确定性，通常是由于对模型的知识不足，可以通过收集更多数据或精炼学习模型来减少。在过去的几年里，学者提出了许多认识的不确定性处理技术，这些技术可以大致分为两类，即贝叶斯和集合。本文对过去五年来提供了对监督学习的认识性不确定性学习技术的全面综述。因此，我们首先，将认知不确定性分解为偏见和方差术语。然后，介绍了认知不确定性学习技术以及其代表模型的分层分类。此外，提出了几种应用，例如计算机视觉（CV）和自然语言处理（NLP），然后讨论研究差距和可能的未来研究方向。

There are two major types of uncertainty one can model. Aleatoric uncertainty captures noise inherent in the observations. On the other hand, epistemic uncertainty accounts for uncertainty in the model -uncertainty which can be explained away given enough data. Traditionally it has been difficult to model epistemic uncertainty in computer vision, but with new Bayesian deep learning tools this is now possible. We study the benefits of modeling epistemic vs. aleatoric uncertainty in Bayesian deep learning models for vision tasks. For this we present a Bayesian deep learning framework combining input-dependent aleatoric uncertainty together with epistemic uncertainty. We study models under the framework with per-pixel semantic segmentation and depth regression tasks. Further, our explicit uncertainty formulation leads to new loss functions for these tasks, which can be interpreted as learned attenuation. This makes the loss more robust to noisy data, also giving new state-of-the-art results on segmentation and depth regression benchmarks.

不确定性量化对于机器人感知至关重要，因为过度自信或点估计人员可以导致环境和机器人侵犯和损害。在本文中，我们评估了单视图监督深度学习中的不确定量化的可扩展方法，特别是MC辍学和深度集成。特别是对于MC辍学，我们探讨了阵列在架构中不同级别的效果。我们表明，在编码器的所有层中添加丢失会带来比文献中的其他变化更好的结果。此配置类似地执行与Deep Ensembles具有更低的内存占用，这是相关的简单。最后，我们探讨了伪RGBD ICP的深度不确定性，并展示其估计具有实际规模的准确的双视图相对运动的可能性。

生物关键是一种信号，可以从人体中连续测量，例如呼吸声，心脏活动（ECG），脑波（EEG）等，基于该信号，机器学习模型已经为自动疾病的非常有前途的性能开发检测和健康状态监测。但是，DataSet Shift，即，推理的数据分布因训练的分布而异，对于真实的基于生物信号的应用程序并不罕见。为了提高稳健性，具有不确定性资格的概率模型适于捕获预测的可靠性。然而，评估估计不确定性的质量仍然是一个挑战。在这项工作中，我们提出了一个框架来评估估计不确定性在捕获不同类型的生物数据集转换时估计的不确定性的能力。特别是，我们使用基于呼吸声和心电图信号的三个分类任务，以基准五个代表性的不确定性资格方法。广泛的实验表明，尽管集合和贝叶斯模型可以在数据集移位下提供相对更好的不确定性估计，但所有测试模型都无法满足可靠的预测和模型校准中的承诺。我们的工作为任何新开发的生物宣布分类器进行了全面评估，为全面评估铺平了道路。

贝叶斯范式有可能解决深度神经网络的核心问题，如校准和数据效率低差。唉，缩放贝叶斯推理到大量的空间通常需要限制近似。在这项工作中，我们表明它足以通过模型权重的小子集进行推动，以便获得准确的预测后断。另一个权重被保存为点估计。该子网推断框架使我们能够在这些子集上使用表现力，否则难以相容的后近近似。特别是，我们将子网线性化LAPLACE作为一种简单，可扩展的贝叶斯深度学习方法：我们首先使用线性化的拉普拉斯近似来获得所有重量的地图估计，然后在子网上推断出全协方差高斯后面。我们提出了一个子网选择策略，旨在最大限度地保护模型的预测性不确定性。经验上，我们的方法对整个网络的集合和较少的表达后近似进行了比较。

人工神经网络无法评估其预测的不确定性是对它们广泛使用的障碍。我们区分了两种类型的可学习不确定性：由于缺乏训练数据和噪声引起的观察不确定性而导致的模型不确定性。贝叶斯神经网络使用坚实的数学基础来学习其预测的模型不确定性。观察不确定性可以通过在这些网络中添加一层并增强其损失功能来计算观察不确定性。我们的贡献是将这些不确定性概念应用于预测过程监控任务中，以训练基于不确定性的模型以预测剩余时间和结果。我们的实验表明，不确定性估计值允许分化更多和不准确的预测，并在回归和分类任务中构建置信区间。即使在运行过程的早期阶段，这些结论仍然是正确的。此外，部署的技术是快速的，并产生了更准确的预测。学习的不确定性可以增加用户对其流程预测系统的信心，促进人类与这些系统之间的更好合作，并通过较小的数据集实现早期的实施。

Network pruning is a promising way to generate light but accurate models and enable their deployment on resource-limited edge devices. However, the current state-of-the-art assumes that the effective sub-network and the other superfluous parameters in the given network share the same distribution, where pruning inevitably involves a distribution truncation operation. They usually eliminate values near zero. While simple, it may not be the most appropriate method, as effective models may naturally have many small values associated with them. Removing near-zero values already embedded in model space may significantly reduce model accuracy. Another line of work has proposed to assign discrete prior over all possible sub-structures that still rely on human-crafted prior hypotheses. Worse still, existing methods use regularized point estimates, namely Hard Pruning, that can not provide error estimations and fail reliability justification for the pruned networks. In this paper, we propose a novel distribution-lossless pruning method, named DLLP, to theoretically find the pruned lottery within Bayesian treatment. Specifically, DLLP remodels the vanilla networks as discrete priors for the latent pruned model and the other redundancy. More importantly, DLLP uses Stein Variational Inference to approach the latent prior and effectively bypasses calculating KL divergence with unknown distribution. Extensive experiments based on small Cifar-10 and large-scaled ImageNet demonstrate that our method can obtain sparser networks with great generalization performance while providing quantified reliability for the pruned model.

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.

We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.

Demspter-Shafer证据理论中提出的不确定性量化的信念函数方法是基于对集合值观测的一般数学模型，称为随机集。设定值的预测是机器学习中不确定性的最自然表示。在本文中，我们介绍了一个基于对信仰功能的随机解释来模拟深度神经网络中的认知学习的概念。我们提出了一个新型的随机卷积神经网络，用于分类，该网络通过学习设置值的地面真实表示来为类别的分类产生分数。我们评估信仰功能的熵和距离度量的不同公式，作为这些随机集网络的可行损失函数。我们还讨论了评估认知预测质量和认知随机神经网络的表现的方法。我们通过实验证明，与传统的估计不确定性相比，认知方法可以产生更好的性能结果。

随着我们远离数据，预测不确定性应该增加，因为各种各样的解释与鲜为人知的信息一致。我们引入了远距离感知的先验（DAP）校准，这是一种纠正训练域之外贝叶斯深度学习模型过度自信的方法。我们将DAPS定义为模型参数的先验分布，该模型参数取决于输入，通过其与训练集的距离度量。DAP校准对后推理方法不可知，可以作为后处理步骤进行。我们证明了其在各种分类和回归问题中对几个基线的有效性，包括旨在测试远离数据的预测分布质量的基准。

神经网络中的不确定性量化有望增加AI系统的安全性，但目前尚不清楚培训集大小如何变化。在本文中，我们评估了七种在时尚Mnist和CiFar10上的不确定性方法，因为我们子样本并产生各种训练套装尺寸。我们发现校准误差和分配检测性能强烈依赖于训练集大小，大多数方法在具有小型训练集的测试集上被错误化。基于梯度的方法似乎估计了估计的认识性不确定性，并且是受训练集规模受影响最大的。我们希望我们的结果可以指导未来的不确定性量化研究，并帮助从业者根据其特定的可用数据选择方法。

We introduce ensembles of stochastic neural networks to approximate the Bayesian posterior, combining stochastic methods such as dropout with deep ensembles. The stochastic ensembles are formulated as families of distributions and trained to approximate the Bayesian posterior with variational inference. We implement stochastic ensembles based on Monte Carlo dropout, DropConnect and a novel non-parametric version of dropout and evaluate them on a toy problem and CIFAR image classification. For CIFAR, the stochastic ensembles are quantitatively compared to published Hamiltonian Monte Carlo results for a ResNet-20 architecture. We also test the quality of the posteriors directly against Hamiltonian Monte Carlo simulations in a simplified toy model. Our results show that in a number of settings, stochastic ensembles provide more accurate posterior estimates than regular deep ensembles.

在最近的文献中，在最近的文献中已经过度研究了不确定性估计，通常可以被归类为炼体不确定性和认知不确定性。在当前的炼拉内不确定性估计框架中，往往忽略了炼拉线性的不确定性是数据的固有属性，只能用一个无偏见的Oracle模型正确估计。由于在大多数情况下，Oracle模型无法访问，我们提出了一个新的采样和选择策略，在火车时间近似甲骨文模型以实现炼梯不确定性估计。此外，我们在基于双头的异源型梯级不确定性估计框架中显示了一种琐碎的解决方案，并引入了新的不确定性一致性损失，以避免它。对于认知不确定性估算，我们认为条件潜在变量模型中的内部变量是模拟预测分布的另一个认识性的不确定性，并探索了关于隐藏的真实模型的有限知识。我们验证了我们对密集预测任务的观察，即伪装对象检测。我们的研究结果表明，我们的解决方案实现了准确的确定性结果和可靠的不确定性估算。