贝叶斯神经网络（BNNS）通过提供认知不确定性的原则概率表示，有望在协变量转移下改善概括。但是，基于重量的BNN通常会在大规模体系结构和数据集的高计算复杂性上挣扎。基于节点的BNN最近被引入了可扩展的替代方案，该替代方案通过将每个隐藏节点乘以潜在的随机变量来诱导认知不确定性，同时学习权重的点刻度。在本文中，我们将这些潜在的噪声变量解释为训练过程中简单和域 - 不合时宜数据扰动的隐式表示，从而产生了由于输入损坏而导致协变量转移的BNN。我们观察到，隐性腐败的多样性取决于潜在变量的熵，并提出了一种直接的方法来增加训练期间这些变量的熵。我们评估了分布外图像分类基准测试的方法，并显示出由于输入扰动而导致的协变量转移下基于节点的BNN的不确定性估计。作为副作用，该方法还提供了针对嘈杂训练标签的鲁棒性。

对于神经网络的近似贝叶斯推断被认为是标准培训的强大替代品，通常在分发数据上提供良好的性能。然而，贝叶斯神经网络（BNNS）具有高保真近似推断的全批汉密尔顿蒙特卡罗在协变速下实现了较差的普遍，甚至表现不佳的经典估算。我们解释了这种令人惊讶的结果，展示了贝叶斯模型平均值实际上如何存在于协变量的情况下，特别是在输入特征中的线性依赖性导致缺乏后退的情况下。我们还展示了为什么相同的问题不会影响许多近似推理程序，或古典最大A-Bouthiori（地图）培训。最后，我们提出了改善BNN的鲁棒性的新型前锋，对许多协变量转变来源。

贝叶斯范式有可能解决深度神经网络的核心问题，如校准和数据效率低差。唉，缩放贝叶斯推理到大量的空间通常需要限制近似。在这项工作中，我们表明它足以通过模型权重的小子集进行推动，以便获得准确的预测后断。另一个权重被保存为点估计。该子网推断框架使我们能够在这些子集上使用表现力，否则难以相容的后近近似。特别是，我们将子网线性化LAPLACE作为一种简单，可扩展的贝叶斯深度学习方法：我们首先使用线性化的拉普拉斯近似来获得所有重量的地图估计，然后在子网上推断出全协方差高斯后面。我们提出了一个子网选择策略，旨在最大限度地保护模型的预测性不确定性。经验上，我们的方法对整个网络的集合和较少的表达后近似进行了比较。

独立训练的神经网络的集合是一种最新的方法，可以在深度学习中估算预测性不确定性，并且可以通过三角洲函数的混合物解释为后验分布的近似值。合奏的培训依赖于损失景观的非跨性别性和其单个成员的随机初始化，从而使后近似不受控制。本文提出了一种解决此限制的新颖和原则性的方法，最大程度地减少了函数空间中真实后验和内核密度估计器（KDE）之间的$ f $ divergence。我们从组合的角度分析了这一目标，并表明它在任何$ f $的混合组件方面都是supporular。随后，我们考虑了贪婪合奏结构的问题。从负$ f $ didivergence上的边际增益来量化后近似的改善，通过将新组件添加到KDE中得出，我们得出了集合方法的新型多样性项。我们的方法的性能在计算机视觉的分布外检测基准测试中得到了证明，该基准在多个数据集中训练的一系列架构中。我们方法的源代码可在https://github.com/oulu-imeds/greedy_ensembles_training上公开获得。

最近出现了一系列用于估计具有单个正向通行证的深神经网络中的认知不确定性的新方法，最近已成为贝叶斯神经网络的有效替代方法。在信息性表示的前提下，这些确定性不确定性方法（DUM）在检测到分布（OOD）数据的同时在推理时添加可忽略的计算成本时实现了强大的性能。但是，目前尚不清楚dums是否经过校准，可以无缝地扩展到现实世界的应用 - 这都是其实际部署的先决条件。为此，我们首先提供了DUMS的分类法，并在连续分配转移下评估其校准。然后，我们将它们扩展到语义分割。我们发现，尽管DUMS尺度到现实的视觉任务并在OOD检测方面表现良好，但当前方法的实用性受到分配变化下的校准不良而破坏的。

Modern machine learning methods including deep learning have achieved great success in predictive accuracy for supervised learning tasks, but may still fall short in giving useful estimates of their predictive uncertainty. Quantifying uncertainty is especially critical in real-world settings, which often involve input distributions that are shifted from the training distribution due to a variety of factors including sample bias and non-stationarity. In such settings, well calibrated uncertainty estimates convey information about when a model's output should (or should not) be trusted. Many probabilistic deep learning methods, including Bayesian-and non-Bayesian methods, have been proposed in the literature for quantifying predictive uncertainty, but to our knowledge there has not previously been a rigorous largescale empirical comparison of these methods under dataset shift. We present a largescale benchmark of existing state-of-the-art methods on classification problems and investigate the effect of dataset shift on accuracy and calibration. We find that traditional post-hoc calibration does indeed fall short, as do several other previous methods. However, some methods that marginalize over models give surprisingly strong results across a broad spectrum of tasks.

贝叶斯神经网络和深度集合代表了深入学习中不确定性量化的两种现代范式。然而，这些方法主要因内存低效率问题而争取，因为它们需要比其确定性对应物高出几倍的参数储存。为了解决这个问题，我们使用少量诱导重量增强每层的重量矩阵，从而将不确定性定量突出到这种低尺寸空间中。我们进一步扩展了Matheron的有条件高斯采样规则，以实现快速的重量采样，这使得我们的推理方法能够与合并相比保持合理的运行时间。重要的是，我们的方法在具有完全连接的神经网络和RESNET的预测和不确定性估算任务中实现了竞争性能，同时将参数大小减少到$单辆$ \ LEQ 24.3 \％$的参数大小神经网络。

We introduce ensembles of stochastic neural networks to approximate the Bayesian posterior, combining stochastic methods such as dropout with deep ensembles. The stochastic ensembles are formulated as families of distributions and trained to approximate the Bayesian posterior with variational inference. We implement stochastic ensembles based on Monte Carlo dropout, DropConnect and a novel non-parametric version of dropout and evaluate them on a toy problem and CIFAR image classification. For CIFAR, the stochastic ensembles are quantitatively compared to published Hamiltonian Monte Carlo results for a ResNet-20 architecture. We also test the quality of the posteriors directly against Hamiltonian Monte Carlo simulations in a simplified toy model. Our results show that in a number of settings, stochastic ensembles provide more accurate posterior estimates than regular deep ensembles.

深度神经网络易于对异常值过度自信的预测。贝叶斯神经网络和深度融合都已显示在某种程度上减轻了这个问题。在这项工作中，我们的目标是通过提议预测由高斯混合模型的后续的高斯混合模型来结合这两种方法的益处，该高斯混合模型包括独立培训的深神经网络的LAPPALL近似的加权和。该方法可以与任何一组预先训练的网络一起使用，并且与常规合并相比，只需要小的计算和内存开销。理论上我们验证了我们的方法从训练数据中的培训数据和虚拟化的基本线上的标准不确定量级基准测试中的“远离”的过度控制。

我们有兴趣估计深神经网络的不确定性，这些神经网络在许多科学和工程问题中起着重要作用。在本文中，我们提出了一个引人注目的新发现，即具有相同权重初始化的神经网络的合奏，在数据集中受到持续偏差的转移而训练会产生稍微不一致的训练模型，其中预测的差异是强大的指标。认知不确定性。使用神经切线核（NTK），我们证明了这种现象是由于NTK不变的部分而发生的。由于这是通过微不足道的输入转换来实现的，因此我们表明可以使用单个神经网络（使用我们称为$ \ delta- $ uq的技术）来近似它，从而通过边缘化效果来估计预测周围的不确定性偏见。我们表明，$ \ delta- $ uq的不确定性估计值优于各种基准测试的当前方法 - 异常拒绝，分配变化下的校准以及黑匣子功能的顺序设计优化。

众所周知，视觉分类模型在数据分布班面上遭受较差的校准。在本文中，我们对此问题采取了几何方法。我们提出几何灵敏度分解（GSD）将样本特征嵌入的标准分解为目标分类器的示例特征嵌入和角度相似度分解为依赖于实例和实例 - 独立的组件。实例相关组件捕获关于输入中的更改的敏感信息，而实例无关的组件仅表示仅用于最小化训练数据集的丢失的不敏感信息。灵感来自分解，我们分析了一个简单的扩展到当前的SoftMax-Linear模型，这在训练期间学会解开两个组件。在几种常见视觉模型上，脱谕式模型在面对配送（OOD）数据和腐败方面的标准校准度量上的其他校准方法表现出明显不那么复杂。具体而言，我们将当前技术超越30.8％的相对改善对预期校准误差的损坏的CIFAR100。代码在https://github.com/gt-ripl/geometric -sentivity-decomposition.git。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。

分批归一化（BN）是一种无处不在的技术，用于训练深层神经网络，可加速其收敛以达到更高的准确性。但是，我们证明了BN具有根本的缺点：它激励该模型依赖于训练（内域）数据高度特定的低变义特征，从而损害了室外示例的概括性能。在这项工作中，我们首先表明在各种架构上删除BN层会导致较低的域外和腐败错误，而造成较高的内域错误，因此我们首先研究了这种现象。然后，我们提出了反平衡老师（CT），该方法利用与老师的老师一起利用同一模型的冷冻副本，通过通过一致性损失功能实质上调整其权重来实现学生网络对强大表示的学习。该正则化信号有助于CT在不可预见的数据变化中表现良好，即使没有从目标域中的信息如先前的工作中。从理论上讲，我们在过度参数化的线性回归设置中显示了为什么归一化导致模型对这种内域特征的依赖，并通过验证CT的功效来证明CT的功效，从而在稳健性基准（例如CIFAR-10-C，CIFAR-10-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100）上表现出了疗效。和VLCS。

We propose SWA-Gaussian (SWAG), a simple, scalable, and general purpose approach for uncertainty representation and calibration in deep learning. Stochastic Weight Averaging (SWA), which computes the first moment of stochastic gradient descent (SGD) iterates with a modified learning rate schedule, has recently been shown to improve generalization in deep learning. With SWAG, we fit a Gaussian using the SWA solution as the first moment and a low rank plus diagonal covariance also derived from the SGD iterates, forming an approximate posterior distribution over neural network weights; we then sample from this Gaussian distribution to perform Bayesian model averaging. We empirically find that SWAG approximates the shape of the true posterior, in accordance with results describing the stationary distribution of SGD iterates. Moreover, we demonstrate that SWAG performs well on a wide variety of tasks, including out of sample detection, calibration, and transfer learning, in comparison to many popular alternatives including MC dropout, KFAC Laplace, SGLD, and temperature scaling.

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

我们表明，著名的混音的有效性[Zhang等，2018]，如果而不是将其用作唯一的学习目标，就可以进一步改善它，而是将其用作标准跨侧面损失的附加规则器。这种简单的变化不仅提供了太大的准确性，而且在大多数情况下，在各种形式的协变量转移和分布外检测实验下，在大多数情况下，混合量的预测不确定性估计质量都显着提高了。实际上，我们观察到混合物在检测出分布样本时可能会产生大量退化的性能，因为我们在经验上表现出来，因为它倾向于学习在整个过程中表现出高渗透率的模型。很难区分分布样本与近分离样本。为了显示我们的方法的功效（RegMixup），我们在视觉数据集（Imagenet＆Cifar-10/100）上提供了详尽的分析和实验，并将其与最新方法进行比较，以进行可靠的不确定性估计。

嵌套辍学是辍学操作的变体，能够根据训练期间的预定义重要性订购网络参数或功能。它已被探索：I。构造嵌套网络：嵌套网是神经网络，可以在测试时间（例如基于计算约束）中立即调整架构的架构。嵌套的辍学者隐含地对网络参数进行排名，生成一组子网络，从而使任何较小的子网络构成较大的子网络的基础。 ii。学习排序表示：应用于生成模型的潜在表示（例如自动编码器）对特征进行排名，从而在尺寸上执行密集表示的明确顺序。但是，在整个训练过程中，辍学率是固定为高参数的。对于嵌套网，当删除网络参数时，性能衰减在人类指定的轨迹中而不是从数据中学到的轨迹中。对于生成模型，特征的重要性被指定为恒定向量，从而限制了表示学习的灵活性。为了解决该问题，我们专注于嵌套辍学的概率对应物。我们提出了一个嵌套掉落（VND）操作，该操作以低成本绘制多维有序掩码的样品，为嵌套掉落的参数提供了有用的梯度。基于这种方法，我们设计了一个贝叶斯嵌套的神经网络，以了解参数分布的顺序知识。我们在不同的生成模型下进一步利用VND来学习有序的潜在分布。在实验中，我们表明所提出的方法在分类任务中的准确性，校准和室外检测方面优于嵌套网络。它还在数据生成任务上胜过相关的生成模型。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

在这项工作中，我们使用变分推论来量化无线电星系分类的深度学习模型预测的不确定性程度。我们表明，当标记无线电星系时，个体测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准，并表明稀疏事先产生更良好的校准不确定性估计。使用单个重量的后部分布，我们表明我们可以通过从最低信噪比（SNR）中除去权重来修剪30％的完全连接的层权重，而无需显着损失性能。我们证明，可以使用基于Fisher信息的排名来实现更大程度的修剪，但我们注意到两种修剪方法都会影响Failaroff-Riley I型和II型无线电星系的不确定性校准。最后，我们表明，与此领域的其他工作相比，我们经历了冷的后效，因此后部必须缩小后加权以实现良好的预测性能。我们检查是否调整成本函数以适应模型拼盘可以弥补此效果，但发现它不会产生显着差异。我们还研究了原则数据增强的效果，并发现这改善了基线，而且还没有弥补观察到的效果。我们将其解释为寒冷的后效，因为我们的培训样本过于有效的策划导致可能性拼盘，并将其提高到未来无线电银行分类的潜在问题。

现在众所周知，神经网络对其预测的信心很高，导致校准不良。弥补这一点的最常见的事后方法是执行温度缩放，这可以通过将逻辑缩放为固定值来调整任何输入的预测的信心。尽管这种方法通常会改善整个测试数据集中的平均校准，但无论给定输入的分类是否正确还是不正确，这种改进通常会降低预测的个人信心。有了这种见解，我们将方法基于这样的观察结果，即不同的样品通过不同的量导致校准误差，有些人需要提高其信心，而另一些则需要减少它。因此，对于每个输入，我们建议预测不同的温度值，从而使我们能够调整较细性的置信度和准确性之间的不匹配。此外，我们观察到了OOD检测结果的改善，还可以提取数据点的硬度概念。我们的方法是在事后应用的，因此使用很少的计算时间和可忽略不计的记忆足迹，并应用于现成的预训练的分类器。我们使用CIFAR10/100和TINY-IMAGENET数据集对RESNET50和WIDERESNET28-10架构进行测试，这表明在整个测试集中产生每数据点温度也有益于预期的校准误差。代码可在以下网址获得：https：//github.com/thwjoy/adats。