这本简短的说明是对有条件熵和相互信息的量化和认知不确定性的量化的批判性讨论，这是最近在机器学习中提出的，从那时起就已经变得很普遍。更普遍地，我们质疑将完全不确定性加入到其核心和认知成分中的想法。
translated by 谷歌翻译
区分和量化两种重要类型的不确定性，通常被称为炼狂和认识的想法，在过去几年里，在机器学习研究中受到了越来越关注。在本文中，我们考虑基于合并的不确定量化方法。区分不同类型的不确定感知学习算法，我们专注于基于所谓的信件集的贝叶斯方法和方法，这自然而然地从集合学习的角度来看。对于这两种方法，我们解决了如何量化炼体和认识性不确定性的问题。评估了相应措施的有效性，并在对拒绝选项进行分类的实证研究中进行了比较。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
Demspter-Shafer证据理论中提出的不确定性量化的信念函数方法是基于对集合值观测的一般数学模型，称为随机集。设定值的预测是机器学习中不确定性的最自然表示。在本文中，我们介绍了一个基于对信仰功能的随机解释来模拟深度神经网络中的认知学习的概念。我们提出了一个新型的随机卷积神经网络，用于分类，该网络通过学习设置值的地面真实表示来为类别的分类产生分数。我们评估信仰功能的熵和距离度量的不同公式，作为这些随机集网络的可行损失函数。我们还讨论了评估认知预测质量和认知随机神经网络的表现的方法。我们通过实验证明，与传统的估计不确定性相比，认知方法可以产生更好的性能结果。
translated by 谷歌翻译
Several recent works find empirically that the average test error of deep neural networks can be estimated via the prediction disagreement of models, which does not require labels. In particular, Jiang et al. (2022) show for the disagreement between two separately trained networks that this `Generalization Disagreement Equality' follows from the well-calibrated nature of deep ensembles under the notion of a proposed `class-aggregated calibration.' In this reproduction, we show that the suggested theory might be impractical because a deep ensemble's calibration can deteriorate as prediction disagreement increases, which is precisely when the coupling of test error and disagreement is of interest, while labels are needed to estimate the calibration on new datasets. Further, we simplify the theoretical statements and proofs, showing them to be straightforward within a probabilistic context, unlike the original hypothesis space view employed by Jiang et al. (2022).
translated by 谷歌翻译
在深神经网络中量化预测性不确定性的流行方法通常涉及一组权重或模型，例如通过合并或蒙特卡罗辍学。这些技术通常必须产生开销，必须培训多种模型实例，或者不会产生非常多样化的预测。该调查旨在熟悉基于证据深度学习的概念的替代类模型的读者：对于不熟悉的数据，他们承认“他们不知道的内容”并返回到先前的信仰。此外，它们允许在单个模型中进行不确定性估计，并通过参数化分布分布来转发传递。该调查重新承认现有工作，重点是在分类设置中的实现。最后，我们调查了相同范例的应用到回归问题。我们还对现有的方法进行了反思，并与现有方法相比，并提供最大的核心理论成果，以便通知未来的研究。
translated by 谷歌翻译
为什么普通语言模糊不清？我们认为，在合作扬声器没有完全了解世界的情况下，使用模糊表达可以在真实性（Gricean质量）和信息性之间提供最佳权衡（Gricean数量）。专注于诸如“周围”的近似的表达，这表明他们允许扬声器传达间接概率信息，这种信息可以使听众更准确地表示发言者可用的信息的信息。更精确的表达将是（之间的间隔“）。也就是说，模糊的句子可以比他们精确的对应物更有信息。我们对“周围”解释的概率处理，并提供了解释和使用“围绕” - 理性语音法（RSA）框架的典范。在我们的账户中，扬声器分配事项的形状不是由RSA框架标准用于模糊谓词的词汇不确定性模型的方式预测。我们利用我们的方法绘制关于模糊表达的语义灵活性的进一步教训及其对更精确的含义的不可缩短。
translated by 谷歌翻译
象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。
translated by 谷歌翻译
量化监督学习模型的不确定性在制定更可靠的预测方面发挥着重要作用。认知不确定性，通常是由于对模型的知识不足，可以通过收集更多数据或精炼学习模型来减少。在过去的几年里，学者提出了许多认识的不确定性处理技术，这些技术可以大致分为两类，即贝叶斯和集合。本文对过去五年来提供了对监督学习的认识性不确定性学习技术的全面综述。因此，我们首先，将认知不确定性分解为偏见和方差术语。然后，介绍了认知不确定性学习技术以及其代表模型的分层分类。此外，提出了几种应用，例如计算机视觉（CV）和自然语言处理（NLP），然后讨论研究差距和可能的未来研究方向。
translated by 谷歌翻译
决策树集合中汇总分类估计的一种常见方法是使用投票或平均每个类别的概率。后者考虑了不确定性估计值的可靠性（可以说，“不确定性的不确定性”）。更普遍的是，如何最好地结合来自多个来源的概率估计值，这是未知的。在本文中，我们研究了许多替代预测方法。我们的方法受到概率，信念功能和可靠分类的理论的启发，以及我们称证据积累的原则。我们对各种数据集的实验是基于随机决策树，该决策树保证了要组合的预测中的高度多样性。出乎意料的是，我们发现将平均值超过概率实际上很难击败。但是，证据积累在除小叶子以外的所有叶子上都表现出更好的结果。
translated by 谷歌翻译
通过定义和上限，通过定义和上限，分析了贝叶斯学习的最佳成绩性能，通过限定了最小的过度风险（MER）：通过从数据学习和最低预期损失可以实现的最低预期损失之间的差距认识到了。 MER的定义提供了一种原则状的方式来定义贝叶斯学习中的不同概念的不确定性，包括炼膜不确定性和最小的认知不确定性。提出了用于衍生MER的上限的两种方法。第一方法，通常适用于具有参数生成模型的贝叶斯学习，通过在模型参数之间的条件互信息和所观察到的数据预测的量之间的条件相互信息。它允许我们量化MER衰减随着更多数据可用而衰减为零的速率。在可实现的模型中，该方法还将MER与生成函数类的丰富性涉及，特别是二进制分类中的VC维度。具有参数预测模型的第二种方法，特别适用于贝叶斯学习，将MER与来自数据的模型参数的最小估计误差相关联。它明确地说明了模型参数估计中的不确定性如何转化为MER和最终预测不确定性。我们还将MER的定义和分析扩展到具有多个模型系列的设置以及使用非参数模型的设置。沿着讨论，我们在贝叶斯学习中的MER与频繁学习的过度风险之间建立了一些比较。
translated by 谷歌翻译
对不确定性的深入了解是在不确定性下做出有效决策的第一步。深度/机器学习（ML/DL）已被大大利用，以解决处理高维数据所涉及的复杂问题。但是，在ML/DL中，推理和量化不同类型的不确定性的探索少于其他人工智能（AI）领域。特别是，自1960年代以来，在KRR上已经研究了信仰/证据理论，以推理并衡量不确定性以提高决策效率。我们发现，只有少数研究利用了ML/DL中的信念/证据理论中的成熟不确定性研究来解决不同类型的不确定性下的复杂问题。在本调查论文中，我们讨论了一些流行的信念理论及其核心思想，这些理论涉及不确定性原因和类型，并量化它们，并讨论其在ML/DL中的适用性。此外，我们讨论了三种主要方法，这些方法在深度神经网络（DNN）中利用信仰理论，包括证据DNN，模糊DNN和粗糙的DNN，就其不确定性原因，类型和量化方法以及其在多元化问题中的适用性而言。域。根据我们的深入调查，我们讨论了见解，经验教训，对当前最新桥接信念理论和ML/DL的局限性，最后是未来的研究方向。
translated by 谷歌翻译
对于许多应用，分析机器学习模型的不确定性是必不可少的。尽管不确定性量化（UQ）技术的研究对于计算机视觉应用非常先进，但对时空数据的UQ方法的研究较少。在本文中，我们专注于在线手写识别的模型，这是一种特定类型的时空数据。数据是从传感器增强的笔中观察到的，其目标是对书面字符进行分类。我们基于两种突出的贝叶斯推理，平均高斯（赃物）和深层合奏的突出技术对核心（数据）和认知（模型）UQ进行了广泛的评估。在对模型的更好理解后，UQ技术可以在组合右手和左撇子作家（一个代表性不足的组）时检测分布数据和域的变化。
translated by 谷歌翻译
虽然神经网络是强大的功能近似器，但底层建模假设最终定义了它们是参数化的假设类。在分类中，随着常用的SoftMax能够代表任何分类分布，这些假设很小。然而，在回归中，通常放置了要实现的连续分布类型的限制假设，如通过平均平均误差及其潜在的高斯度假的训练的主导选择。最近，建模前进允许对要建模的连续分布的类型无关，授予回归分类模型的灵活性。虽然过去的研究在表现方面强调了这种灵活的回归模型的益处，但在这里我们研究了模型选择对不确定性估计的影响。我们强调，根据模型拼写，炼狱不确定性没有妥善捕获，并且贝叶斯治疗错过的模型导致不可靠的认知不确定性估计。总体而言，我们的研究概述了回归中的建模选择如何影响不确定性估计，从而概述任何下游决策过程。
translated by 谷歌翻译
在这项工作中，我们使用变分推论来量化无线电星系分类的深度学习模型预测的不确定性程度。我们表明，当标记无线电星系时，个体测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准，并表明稀疏事先产生更良好的校准不确定性估计。使用单个重量的后部分布，我们表明我们可以通过从最低信噪比（SNR）中除去权重来修剪30％的完全连接的层权重，而无需显着损失性能。我们证明，可以使用基于Fisher信息的排名来实现更大程度的修剪，但我们注意到两种修剪方法都会影响Failaroff-Riley I型和II型无线电星系的不确定性校准。最后，我们表明，与此领域的其他工作相比，我们经历了冷的后效，因此后部必须缩小后加权以实现良好的预测性能。我们检查是否调整成本函数以适应模型拼盘可以弥补此效果，但发现它不会产生显着差异。我们还研究了原则数据增强的效果，并发现这改善了基线，而且还没有弥补观察到的效果。我们将其解释为寒冷的后效，因为我们的培训样本过于有效的策划导致可能性拼盘，并将其提高到未来无线电银行分类的潜在问题。
translated by 谷歌翻译
深度集合可以被视为最新的深度学习中不确定性量化的最先进的定量。虽然最初提出了该方法作为非贝叶斯技术，但支持其贝叶斯基础的论据也提出。我们表明，通过指定相应的假设，可以将深度集合视为近似贝叶斯方法。我们的研究结果导致改善的近似，导致不确定性的扩大的认识部分。数值示例表明改进的近似可能导致更可靠的不确定性。分析衍生确保易于计算结果。
translated by 谷歌翻译
人工神经网络无法评估其预测的不确定性是对它们广泛使用的障碍。我们区分了两种类型的可学习不确定性：由于缺乏训练数据和噪声引起的观察不确定性而导致的模型不确定性。贝叶斯神经网络使用坚实的数学基础来学习其预测的模型不确定性。观察不确定性可以通过在这些网络中添加一层并增强其损失功能来计算观察不确定性。我们的贡献是将这些不确定性概念应用于预测过程监控任务中，以训练基于不确定性的模型以预测剩余时间和结果。我们的实验表明，不确定性估计值允许分化更多和不准确的预测，并在回归和分类任务中构建置信区间。即使在运行过程的早期阶段，这些结论仍然是正确的。此外，部署的技术是快速的，并产生了更准确的预测。学习的不确定性可以增加用户对其流程预测系统的信心，促进人类与这些系统之间的更好合作，并通过较小的数据集实现早期的实施。
translated by 谷歌翻译
对未来观察的预测是一个重要且具有挑战性的问题。分别量化预测不确定性使用预测区域和预测分布的两种主流方法，后者认为更具信息性，因为它可以执行其他与预测相关的任务。有效性的标准概念（我们在这里称为1型有效性）着重于预测区域的覆盖范围，而与预测分布执行的其他与预测相关的任务相关的有效性概念则缺乏。在这里，我们提出了一个新概念，称为2型有效性，与这些其他预测任务有关。我们建立了2型有效性和相干性能之间的联系，并表明为实现它而需要不精确的概率考虑因素。我们继续表明，可以通过将共形预测输出作为辅音合理性度量的轮廓函数来实现两种类型的预测有效性。我们还基于新的非参数推论模型构建提供了保形预测的替代表征，其中辅音的出现是自然的，并证明了其有效性。
translated by 谷歌翻译
贝叶斯脑假设假设大脑根据贝叶斯定理进行准确地运行统计分布。突触前囊泡释放神经递质的随机性失效可以让大脑从网络参数的后部分布中样本，被解释为认知不确定性。尚未显示出先前随机故障可能允许网络从观察到的分布中采样，也称为炼肠或残留不确定性。两个分布的采样使概率推断，高效搜索和创造性或生成问题解决。我们证明，在基于人口码的神经活动的解释下，可以用单独的突触衰竭来表示和对两种类型的分布进行分布。我们首先通过突触故障和横向抑制来定义生物学限制的神经网络和采样方案。在该框架内，我们派生基于辍学的认知不确定性，然后从突触功效证明了允许网络从任意，由接收层表示的分布来释放概率的分析映射。其次，我们的结果导致了本地学习规则，突触将适应其发布概率。我们的结果表明，在生物学限制的网络中，仅使用本地学习的突触失败率，与变分的贝叶斯推断相关的完整贝叶斯推断。
translated by 谷歌翻译
贝叶斯神经网络在许多应用程序问题（包括不确定性量化）中成功设计和优化了强大的神经网络模型。但是，随着最近的成功，对贝叶斯神经网络的信息理论理解仍处于早期阶段。相互信息是贝叶斯神经网络中一种不确定性度量的示例，以量化认知不确定性。尽管如此，尚无分析公式来描述它，这是了解贝叶斯深度学习框架的基本信息指标之一。在本文中，我们通过利用点过程熵的概念来得出模型参数和预测输出之间相互信息的分析公式。然后，作为应用程序，我们通过证明我们的分析公式可以在实践中进一步提高主动学习的性能，从而讨论DIRICHLET分布的参数估计，并显示其在主动学习不确定性度量中的实际应用。
translated by 谷歌翻译