高质量的校准不确定性估计对于众多现实世界应用至关重要，尤其是对于基于深度学习的部署的ML系统。虽然贝叶斯深度学习技术允许估计不确定性，但使用大规模数据集培训它们是一个昂贵的过程，并不总是会产生与非贝斯尼亚对应物竞争的模型。此外，许多已经经过培训和部署的高性能深度学习模型本质上都是非拜拜西亚人，并且不提供不确定性估计。为了解决这些问题，我们提出了贝叶斯cap，该贝内斯cap学习了冷冻模型的贝叶斯身份映射，从而估算了不确定性。 Bayescap是一种记忆效率的方法，可以在原始数据集的一小部分中进行训练，从而通过为预测提供了校准的不确定性估计，而没有（i）妨碍模型的性能和（ii），从而增强了预审预学的非bayesian计算机视觉模型。需要从头开始昂贵的型号。所提出的方法对各种架构和任务不可知。我们显示了我们方法对各种各样的任务的功效，这些任务具有多种架构，包括图像超分辨率，脱蓝色，内化和关键应用，例如医学图像翻译。此外，我们将派生的不确定性估计值应用于在自主驾驶深度估计等关键情况下检测分布样本。代码可在https://github.com/explainableml/bayescap上找到。

It is known that neural networks have the problem of being over-confident when directly using the output label distribution to generate uncertainty measures. Existing methods mainly resolve this issue by retraining the entire model to impose the uncertainty quantification capability so that the learned model can achieve desired performance in accuracy and uncertainty prediction simultaneously. However, training the model from scratch is computationally expensive and may not be feasible in many situations. In this work, we consider a more practical post-hoc uncertainty learning setting, where a well-trained base model is given, and we focus on the uncertainty quantification task at the second stage of training. We propose a novel Bayesian meta-model to augment pre-trained models with better uncertainty quantification abilities, which is effective and computationally efficient. Our proposed method requires no additional training data and is flexible enough to quantify different uncertainties and easily adapt to different application settings, including out-of-domain data detection, misclassification detection, and trustworthy transfer learning. We demonstrate our proposed meta-model approach's flexibility and superior empirical performance on these applications over multiple representative image classification benchmarks.

不确定性估计是评估计算机视觉中深度学习模型的稳健性的重要步骤，特别是在风险敏感区域时。然而，大多数最先进的深层学习模型未能获得不确定性估计或需要显着的修改（例如，制定适当的贝叶斯治疗）以获得它。最先前的方法无法从架子上取下任意模型，并在不培训或重新设计的情况下产生不确定性估计。为了解决这一差距，我们对培训的不确定性估算进行了系统的探索，以进行密集的回归，一个无法识别的，一个重要的问题，并提供理论建设证明这种估计。我们提出了三种简单且可扩展的方法来分析可容忍的扰动中训练网络的输出方差：推断 - 转换，推断噪声和推断出来。它们仅在推理期间运营，无需重新列车，重新设计或微调模型，通常是由最先进的不确定性估算方法所必需的。令人惊讶的是，即使不涉及这种在训练中的这种扰动，与训练所需的最先进方法相比，我们的方法也会产生可比或甚至更好的不确定性估计。

最近出现了一系列用于估计具有单个正向通行证的深神经网络中的认知不确定性的新方法，最近已成为贝叶斯神经网络的有效替代方法。在信息性表示的前提下，这些确定性不确定性方法（DUM）在检测到分布（OOD）数据的同时在推理时添加可忽略的计算成本时实现了强大的性能。但是，目前尚不清楚dums是否经过校准，可以无缝地扩展到现实世界的应用 - 这都是其实际部署的先决条件。为此，我们首先提供了DUMS的分类法，并在连续分配转移下评估其校准。然后，我们将它们扩展到语义分割。我们发现，尽管DUMS尺度到现实的视觉任务并在OOD检测方面表现良好，但当前方法的实用性受到分配变化下的校准不良而破坏的。

深度神经网络具有令人印象深刻的性能，但是他们无法可靠地估计其预测信心，从而限制了其在高风险领域中的适用性。我们表明，应用多标签的一VS损失揭示了分类的歧义并降低了模型的过度自信。引入的Slova（单标签One-Vs-All）模型重新定义了单个标签情况的典型单VS-ALL预测概率，其中只有一个类是正确的答案。仅当单个类具有很高的概率并且其他概率可忽略不计时，提议的分类器才有信心。与典型的SoftMax函数不同，如果所有其他类的概率都很小，Slova自然会检测到分布的样本。该模型还通过指数校准进行了微调，这使我们能够与模型精度准确地对齐置信分数。我们在三个任务上验证我们的方法。首先，我们证明了斯洛伐克与最先进的分布校准具有竞争力。其次，在数据集偏移下，斯洛伐克的性能很强。最后，我们的方法在检测到分布样品的检测方面表现出色。因此，斯洛伐克是一种工具，可以在需要不确定性建模的各种应用中使用。

在单眼深度估计中，图像上下文中的干扰（例如移动对象或反射材料）很容易导致错误的预测。因此，每个像素的不确定性估计是必要的，尤其是针对自动驾驶等安全至关重要的应用。我们提出了以深神经网络为代表的已经训练的已训练的深度估计模型的事后不确定性估计方法。不确定性是用辅助损失函数提取的梯度估计的。为了避免依靠地面真实信息来定义损失定义，我们根据图像的深度预测及其水平翻转的对应关系提出了辅助损失函数。我们的方法可在不需要重新训练神经网络的情况下，实现了Kitti和Nyu深度V2基准的最新不确定性估计结果。模型和代码可在https://github.com/jhornauer/grumodepth上公开获得。

随着我们远离数据，预测不确定性应该增加，因为各种各样的解释与鲜为人知的信息一致。我们引入了远距离感知的先验（DAP）校准，这是一种纠正训练域之外贝叶斯深度学习模型过度自信的方法。我们将DAPS定义为模型参数的先验分布，该模型参数取决于输入，通过其与训练集的距离度量。DAP校准对后推理方法不可知，可以作为后处理步骤进行。我们证明了其在各种分类和回归问题中对几个基线的有效性，包括旨在测试远离数据的预测分布质量的基准。

There are two major types of uncertainty one can model. Aleatoric uncertainty captures noise inherent in the observations. On the other hand, epistemic uncertainty accounts for uncertainty in the model -uncertainty which can be explained away given enough data. Traditionally it has been difficult to model epistemic uncertainty in computer vision, but with new Bayesian deep learning tools this is now possible. We study the benefits of modeling epistemic vs. aleatoric uncertainty in Bayesian deep learning models for vision tasks. For this we present a Bayesian deep learning framework combining input-dependent aleatoric uncertainty together with epistemic uncertainty. We study models under the framework with per-pixel semantic segmentation and depth regression tasks. Further, our explicit uncertainty formulation leads to new loss functions for these tasks, which can be interpreted as learned attenuation. This makes the loss more robust to noisy data, also giving new state-of-the-art results on segmentation and depth regression benchmarks.

超级分辨率是一个不良问题，其中基本真理的高分辨率图像仅代表合理解决方案的空间中的一种可能性。然而，主导范式是采用像素 - 明智的损失，例如L_1，其驱动预测模糊的平均值。当与对抗性损失相结合时，这导致了根本相互矛盾的目标，这降低了最终质量。我们通过重新审视L_1丢失来解决此问题，并表明它对应于单层条件流程。灵感来自这一关系，我们探讨了一般流动作为L_1目标的忠诚替代品。我们证明，在与对抗性损失结合时，更深流量的灵活性导致更好的视觉质量和一致性。我们对三个数据集和比例因子进行广泛的用户研究，其中我们的方法被证明了为光逼真的超分辨率优于最先进的方法。代码和培训的型号可在：git.io/adflow

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

预测不确定性估计对于在现实世界自治系统中部署深层神经网络至关重要。但是，大多数成功的方法是计算密集型的。在这项工作中，我们试图在自主驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法（DUM）只能部分满足其对复杂计算机视觉任务的可扩展性，这并不明显。在这项工作中，我们为高分辨率的语义分割推动了可扩展有效的DUM，它放松了Lipschitz约束通常会阻碍此类架构的实用性。我们通过利用在任意大小的可训练原型集上的区别最大化层来学习判别潜在空间。我们的方法在深层合奏，不确定性预测，图像分类，细分和单眼深度估计任务上取得了竞争成果。我们的代码可在https://github.com/ensta-u2is/ldu上找到

无监督的图像传输可用于医疗应用内和模式间转移，其中大量配对训练数据不丰富。为了确保从输入到目标域的结构映射，现有的未配对医疗图像转移的方法通常基于周期矛盾，由于学习了反向映射，导致了其他计算资源和不稳定。本文介绍了一种新颖的单向域映射方法，在整个培训过程中不需要配对数据。通过采用GAN体系结构和基于贴片不变性的新颖发电机损失来确保合理的转移。更确切地说，对发电机的输出进行了评估和比较，并在不同的尺度上进行了比较，这使人们对高频细节以及隐式数据增强进行了越来越多的关注。这个新颖的术语还提供了通过对斑块残差建模输入依赖性量表图来预测不确定性的机会。提出的方法在三个著名的医疗数据库上进行了全面评估。这些数据集的卓越精度与未配对图像转移的四种不同的最新方法相比，这表明了这种方法对不确定性感知的医学图像翻译的巨大潜力。建议的框架的实施在此处发布：https：//github.com/anger-man/unsupervise-image-image-transfer-and-uq。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.

现代的深层生成模型可以为从训练分布外部提取的输入分配很高的可能性，从而对开放世界部署中的模型构成威胁。尽管已经对定义新的OOD不确定性测试时间度量的研究进行了很多关注，但这些方法并没有从根本上改变生成模型在训练中的正则和优化。特别是，生成模型被证明过于依赖背景信息来估计可能性。为了解决这个问题，我们提出了一个新颖的OOD检测频率调查学习FRL框架，该框架将高频信息纳入培训中，并指导模型专注于语义相关的功能。 FRL有效地提高了广泛的生成架构的性能，包括变异自动编码器，Glow和PixelCNN ++。在一项新的大规模评估任务中，FRL实现了最先进的表现，表现优于强大的基线可能性遗憾，同时达到了147 $ \ times $ $ $ $ $ \ times $ a的推理速度。广泛的消融表明，FRL在保留图像生成质量的同时改善了OOD检测性能。代码可在https://github.com/mu-cai/frl上找到。

基于深度学习的图像重建方法在许多成像方式中表现出令人印象深刻的经验表现。这些方法通常需要大量的高质量配对训练数据，这在医学成像中通常不可用。为了解决这个问题，我们为贝叶斯框架内的学习重建提供了一种新颖的无监督知识转移范式。提出的方法分为两个阶段学习重建网络。第一阶段训练一个重建网络，其中包括一组有序对，包括椭圆的地面真相图像和相应的模拟测量数据。第二阶段微调在没有监督的情况下将经过验证的网络用于更现实的测量数据。通过构造，该框架能够通过重建图像传递预测性不确定性信息。我们在低剂量和稀疏视图计算机断层扫描上提出了广泛的实验结果，表明该方法与几种最先进的监督和无监督的重建技术具有竞争力。此外，对于与培训数据不同的测试数据，与仅在合成数据集中训练的学习方法相比，所提出的框架不仅在视觉上可以显着提高重建质量，而且在PSNR和SSIM方面也可以显着提高重建质量。

最近，深度学习中的不确定性估计已成为提高安全至关重要应用的可靠性和鲁棒性的关键领域。尽管有许多提出的方法要么关注距离感知模型的不确定性，要么是分布式检测的不确定性，要么是针对分布校准的输入依赖性标签不确定性，但这两种类型的不确定性通常都是必要的。在这项工作中，我们提出了用于共同建模模型和数据不确定性的HETSNGP方法。我们表明，我们提出的模型在这两种类型的不确定性之间提供了有利的组合，因此在包括CIFAR-100C，ImagEnet-C和Imagenet-A在内的一些具有挑战性的分发数据集上优于基线方法。此外，我们提出了HETSNGP Ensemble，这是我们方法的结合版本，该版本还对网络参数的不确定性进行建模，并优于其他集合基线。

深层模型的概率校准是在安全至关重要的应用（例如医学成像）中非常可取的。它通过将预测概率与测试数据中的实际准确性对齐，使深网的输出概率可解释。在图像分割中，精心校准的概率使放射科医生可以识别模型预测的分割不可靠的区域。这些不可靠的预测通常是由成像伪影或看不见的成像协议引起的室外（OOD）图像。不幸的是，大多数用于图像分割的先前校准方法在OOD图像上表现出色。为了减少面对OOD图像的校准误差，我们提出了一个新型的事后校准模型。我们的模型利用当地级别的扰动的像素敏感性以及在全球层面的形状先验信息。该模型在心脏MRI分割数据集上进行了测试，这些数据集包含来自看不见的成像协议中看不见的成像伪像和图像。与最新的校准算法相比，我们证明了校准误差减少。

Trusting the predictions of deep learning models in safety critical settings such as the medical domain is still not a viable option. Distentangled uncertainty quantification in the field of medical imaging has received little attention. In this paper, we study disentangled uncertainties in image to image translation tasks in the medical domain. We compare multiple uncertainty quantification methods, namely Ensembles, Flipout, Dropout, and DropConnect, while using CycleGAN to convert T1-weighted brain MRI scans to T2-weighted brain MRI scans. We further evaluate uncertainty behavior in the presence of out of distribution data (Brain CT and RGB Face Images), showing that epistemic uncertainty can be used to detect out of distribution inputs, which should increase reliability of model outputs.

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

我们使用条件扩散模型介绍调色板，这是一种简单而一般的框架，可用于图像到图像到图像转换。在四个具有挑战性的图像到图像转换任务（着色，染色，un折叠和JPEG减压），调色板优于强大的GaN和回归基线，并建立了新的最新状态。这是在没有特定于任务特定的超参数调整，架构定制或任何辅助损耗的情况下实现的，展示了理想的一般性和灵活性。我们揭示了使用$ l_2 $与vs. $ l_1 $损失在样本多样性上的越来越多的影响，并通过经验架构研究表明自我关注的重要性。重要的是，我们倡导基于想象项目的统一评估协议，并报告包括预先训练的Reset-50的FID，成立得分，分类准确度的多个样本质量评分，以及针对各种基线的参考图像的感知距离。我们预计这一标准化评估协议在推进图像到图像翻译研究方面发挥着关键作用。最后，我们表明，在3个任务（着色，染色，JPEG减压）上培训的单个通用调色板模型也表现或优于特定于任务专家的专家对应物。