Demspter-Shafer证据理论中提出的不确定性量化的信念函数方法是基于对集合值观测的一般数学模型，称为随机集。设定值的预测是机器学习中不确定性的最自然表示。在本文中，我们介绍了一个基于对信仰功能的随机解释来模拟深度神经网络中的认知学习的概念。我们提出了一个新型的随机卷积神经网络，用于分类，该网络通过学习设置值的地面真实表示来为类别的分类产生分数。我们评估信仰功能的熵和距离度量的不同公式，作为这些随机集网络的可行损失函数。我们还讨论了评估认知预测质量和认知随机神经网络的表现的方法。我们通过实验证明，与传统的估计不确定性相比，认知方法可以产生更好的性能结果。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
区分和量化两种重要类型的不确定性，通常被称为炼狂和认识的想法，在过去几年里，在机器学习研究中受到了越来越关注。在本文中，我们考虑基于合并的不确定量化方法。区分不同类型的不确定感知学习算法，我们专注于基于所谓的信件集的贝叶斯方法和方法，这自然而然地从集合学习的角度来看。对于这两种方法，我们解决了如何量化炼体和认识性不确定性的问题。评估了相应措施的有效性，并在对拒绝选项进行分类的实证研究中进行了比较。
translated by 谷歌翻译
对不确定性的深入了解是在不确定性下做出有效决策的第一步。深度/机器学习（ML/DL）已被大大利用，以解决处理高维数据所涉及的复杂问题。但是，在ML/DL中，推理和量化不同类型的不确定性的探索少于其他人工智能（AI）领域。特别是，自1960年代以来，在KRR上已经研究了信仰/证据理论，以推理并衡量不确定性以提高决策效率。我们发现，只有少数研究利用了ML/DL中的信念/证据理论中的成熟不确定性研究来解决不同类型的不确定性下的复杂问题。在本调查论文中，我们讨论了一些流行的信念理论及其核心思想，这些理论涉及不确定性原因和类型，并量化它们，并讨论其在ML/DL中的适用性。此外，我们讨论了三种主要方法，这些方法在深度神经网络（DNN）中利用信仰理论，包括证据DNN，模糊DNN和粗糙的DNN，就其不确定性原因，类型和量化方法以及其在多元化问题中的适用性而言。域。根据我们的深入调查，我们讨论了见解，经验教训，对当前最新桥接信念理论和ML/DL的局限性，最后是未来的研究方向。
translated by 谷歌翻译
量化监督学习模型的不确定性在制定更可靠的预测方面发挥着重要作用。认知不确定性，通常是由于对模型的知识不足，可以通过收集更多数据或精炼学习模型来减少。在过去的几年里，学者提出了许多认识的不确定性处理技术，这些技术可以大致分为两类，即贝叶斯和集合。本文对过去五年来提供了对监督学习的认识性不确定性学习技术的全面综述。因此，我们首先，将认知不确定性分解为偏见和方差术语。然后，介绍了认知不确定性学习技术以及其代表模型的分层分类。此外，提出了几种应用，例如计算机视觉（CV）和自然语言处理（NLP），然后讨论研究差距和可能的未来研究方向。
translated by 谷歌翻译
现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。
translated by 谷歌翻译
在深神经网络中量化预测性不确定性的流行方法通常涉及一组权重或模型，例如通过合并或蒙特卡罗辍学。这些技术通常必须产生开销，必须培训多种模型实例，或者不会产生非常多样化的预测。该调查旨在熟悉基于证据深度学习的概念的替代类模型的读者：对于不熟悉的数据，他们承认“他们不知道的内容”并返回到先前的信仰。此外，它们允许在单个模型中进行不确定性估计，并通过参数化分布分布来转发传递。该调查重新承认现有工作，重点是在分类设置中的实现。最后，我们调查了相同范例的应用到回归问题。我们还对现有的方法进行了反思，并与现有方法相比，并提供最大的核心理论成果，以便通知未来的研究。
translated by 谷歌翻译
在这项工作中，我们使用变分推论来量化无线电星系分类的深度学习模型预测的不确定性程度。我们表明，当标记无线电星系时，个体测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准，并表明稀疏事先产生更良好的校准不确定性估计。使用单个重量的后部分布，我们表明我们可以通过从最低信噪比（SNR）中除去权重来修剪30％的完全连接的层权重，而无需显着损失性能。我们证明，可以使用基于Fisher信息的排名来实现更大程度的修剪，但我们注意到两种修剪方法都会影响Failaroff-Riley I型和II型无线电星系的不确定性校准。最后，我们表明，与此领域的其他工作相比，我们经历了冷的后效，因此后部必须缩小后加权以实现良好的预测性能。我们检查是否调整成本函数以适应模型拼盘可以弥补此效果，但发现它不会产生显着差异。我们还研究了原则数据增强的效果，并发现这改善了基线，而且还没有弥补观察到的效果。我们将其解释为寒冷的后效，因为我们的培训样本过于有效的策划导致可能性拼盘，并将其提高到未来无线电银行分类的潜在问题。
translated by 谷歌翻译
概率间隔是在不确定性下推理的有吸引力的工具。但是，与信仰功能不同，它们缺乏用于在实用工具理论框架中的决策中的自然概率转变。在本文中，我们提出了使用交叉路口概率，最初导致的变换，以便在不确定的几何方法的框架内进行信仰功能，作为最自然的这种转变。我们回顾其理由和定义，将其与其他概率间隔系统的其他候选者进行比较，讨论其作为一对简单的焦点的信任理由，并概述了概率间隔的可能决策框架，类似于可转移信仰功能的信仰模式。
translated by 谷歌翻译
尽管基于卷积神经网络（CNN）的组织病理学图像的分类模型，但量化其不确定性是不可行的。此外，当数据偏置时，CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术，利用贝叶斯-CNN提供的不确定性，这显着提高了大部分测试数据的性能（约为77％的测试数据的准确性提高了约6％）。此外，我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据，并在低维特征空间中揭示数据的结构。我们表明，贝叶斯-CNN可以通过分别将假阴性和假阳性降低11％和7.7％的最先进的转移学习CNN（TL-CNN）来表现出远得更好。它具有仅为186万个参数的这种性能，而TL-CNN的参数仅为134.33亿。此外，我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹，并显着降低了误报和误报的数量（两者减少了3％）。我们还表明，通过执行McNemar的统计显着性测试，这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势，解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。
translated by 谷歌翻译
象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。
translated by 谷歌翻译
现有的多视图分类算法专注于通过利用不同的视图来促进准确性，通常将它们集成到常见的随访任务中。尽管有效，但至关重要的是要确保多视图集成和最终决定的可靠性，尤其是对于嘈杂，腐败和分发数据的可靠性。动态评估不同样本的每种观点的可信度可以提供可靠的集成。这可以通过不确定性估计来实现。考虑到这一点，我们提出了一种新颖的多视图分类算法，称为受信任的多视图分类（TMC），通过在证据级别上动态整合不同的观点，为多视图学习提供了新的范式。提出的TMC可以通过考虑每种观点的证据来促进分类可靠性。具体而言，我们介绍了变异性差异来表征类概率的分布，该分布与不同观点的证据进行了参数，并与Dempster-Shafer理论集成在一起。统一的学习框架会引起准确的不确定性，因此，该模型具有可靠性和鲁棒性，以抵抗可能的噪音或腐败。理论和实验结果都证明了所提出的模型在准确性，鲁棒性和可信度方面的有效性。
translated by 谷歌翻译
这本简短的说明是对有条件熵和相互信息的量化和认知不确定性的量化的批判性讨论，这是最近在机器学习中提出的，从那时起就已经变得很普遍。更普遍地，我们质疑将完全不确定性加入到其核心和认知成分中的想法。
translated by 谷歌翻译
背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。
translated by 谷歌翻译
There are two major types of uncertainty one can model. Aleatoric uncertainty captures noise inherent in the observations. On the other hand, epistemic uncertainty accounts for uncertainty in the model -uncertainty which can be explained away given enough data. Traditionally it has been difficult to model epistemic uncertainty in computer vision, but with new Bayesian deep learning tools this is now possible. We study the benefits of modeling epistemic vs. aleatoric uncertainty in Bayesian deep learning models for vision tasks. For this we present a Bayesian deep learning framework combining input-dependent aleatoric uncertainty together with epistemic uncertainty. We study models under the framework with per-pixel semantic segmentation and depth regression tasks. Further, our explicit uncertainty formulation leads to new loss functions for these tasks, which can be interpreted as learned attenuation. This makes the loss more robust to noisy data, also giving new state-of-the-art results on segmentation and depth regression benchmarks.
translated by 谷歌翻译
在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
We introduce ensembles of stochastic neural networks to approximate the Bayesian posterior, combining stochastic methods such as dropout with deep ensembles. The stochastic ensembles are formulated as families of distributions and trained to approximate the Bayesian posterior with variational inference. We implement stochastic ensembles based on Monte Carlo dropout, DropConnect and a novel non-parametric version of dropout and evaluate them on a toy problem and CIFAR image classification. For CIFAR, the stochastic ensembles are quantitatively compared to published Hamiltonian Monte Carlo results for a ResNet-20 architecture. We also test the quality of the posteriors directly against Hamiltonian Monte Carlo simulations in a simplified toy model. Our results show that in a number of settings, stochastic ensembles provide more accurate posterior estimates than regular deep ensembles.
translated by 谷歌翻译
现代深层神经网络在医学图像分割任务中取得了显着进展。然而，最近观察到他们倾向于产生过于自信的估计，即使在高度不确定性的情况下，导致校准差和不可靠的模型。在这项工作中，我们介绍了错误的预测（MEEP）的最大熵，分割网络的培训策略，这些网络选择性地惩罚过度自信预测，仅关注错误分类的像素。特别是，我们设计了一个正规化术语，鼓励出于错误的预测，增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知，不会提高模型复杂性，并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准：脑磁共振图像（MRI）中的白质超强度病变，心脏MRI中的心房分段。实验结果表明，具有标准分割损耗的耦合MEEP不仅可以改善模型校准，而且还导致分割质量。
translated by 谷歌翻译
本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。
translated by 谷歌翻译
这项工作仔细研究了传统的机器学习方法通过可靠性和鲁棒性的镜头应用于无线通信问题。深度学习技术采用了常见的框架，并已知提供校准较差的决策，这些决策不会再现由训练数据规模的限制引起的真正不确定性。贝叶斯学习原则上能够解决这一缺点，但实际上，模型错误指定和异常值的存在损害。在无线通信设置中，这两个问题都普遍存在，其中机器学习模型的能力受资源限制的影响，培训数据受噪声和干扰的影响。在这种情况下，我们探讨了强大的贝叶斯学习框架的应用。经过教程式的贝叶斯学习介绍，我们就精确，校准和对异常值和错误指定的鲁棒性进行了强大的贝叶斯学习对几个重要的无线沟通问题的优点。
translated by 谷歌翻译