概率间隔是在不确定性下推理的有吸引力的工具。但是,与信仰功能不同,它们缺乏用于在实用工具理论框架中的决策中的自然概率转变。在本文中,我们提出了使用交叉路口概率,最初导致的变换,以便在不确定的几何方法的框架内进行信仰功能,作为最自然的这种转变。我们回顾其理由和定义,将其与其他概率间隔系统的其他候选者进行比较,讨论其作为一对简单的焦点的信任理由,并概述了概率间隔的可能决策框架,类似于可转移信仰功能的信仰模式。
translated by 谷歌翻译
We introduce a general theory of epistemic random fuzzy sets for reasoning with fuzzy or crisp evidence. This framework generalizes both the Dempster-Shafer theory of belief functions, and possibility theory. Independent epistemic random fuzzy sets are combined by the generalized product-intersection rule, which extends both Dempster's rule for combining belief functions, and the product conjunctive combination of possibility distributions. We introduce Gaussian random fuzzy numbers and their multi-dimensional extensions, Gaussian random fuzzy vectors, as practical models for quantifying uncertainty about scalar or vector quantities. Closed-form expressions for the combination, projection and vacuous extension of Gaussian random fuzzy numbers and vectors are derived.
translated by 谷歌翻译
可渴望可以理解为ANSCOMBE和AUMANN的贝叶斯决策理论的扩展,以延伸到预期公用事业集。可取性的核心在于测量奖励的量表线性的假设。它是一个传统的假设,用于得出预期的效用模型,该模型与理性决策的一般表示相冲突。尤其是,阿莱斯(Allais)在1953年以著名的悖论指出了这一点。我们注意到,当我们将可取性视为逻辑理论时,公用事业量表起着封闭操作员的作用。该观察结果使我们能够通过通用闭合操作员表示实用程序量表来扩展到非线性情况。新理论直接以实际的非线性货币(货币)表达了奖励,这在野蛮的精神上很大程度上表达,同时可以说将基础假设削弱到最低限度。我们从一组赌博及其上价和高价(预防)的角度来表征新理论的主要特性。我们展示了Allais悖论如何在新理论中找到解决方案,并讨论了该理论中概率集的作用。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
机器学习通常以经典的概率理论为前提,这意味着聚集是基于期望的。现在有多种原因可以激励人们将经典概率理论作为机器学习的数学基础。我们系统地检查了一系列强大而丰富的此类替代品,即各种称为光谱风险度量,Choquet积分或Lorentz规范。我们提出了一系列的表征结果,并演示了使这个光谱家族如此特别的原因。在此过程中,我们证明了所有连贯的风险度量的自然分层,从它们通过利用重新安排不变性Banach空间理论的结果来诱导的上层概率。我们凭经验证明了这种新的不确定性方法如何有助于解决实用的机器学习问题。
translated by 谷歌翻译
当代企业在以不确定性,敌意和纯粹的数据量为特征的情况下广泛应用机器推理和人工智能提供了无限的机会。该论文开发了一个评估网络,作为在支持人类运营商的不确定性下进行高级融合和推理的图形系统。估值是(不确定的)知识和收集数据的数学表示形式,被表示为信用集,定义为不精确概率理论框架中的连贯间隔概率。具有这种信用集,组合和边缘化的基本操作被定义为满足评估代数的公理。讨论了信用估值网络的实际实施,并在一个小规模的示例中证明了其实用性。
translated by 谷歌翻译
Demspter-Shafer证据理论中提出的不确定性量化的信念函数方法是基于对集合值观测的一般数学模型,称为随机集。设定值的预测是机器学习中不确定性的最自然表示。在本文中,我们介绍了一个基于对信仰功能的随机解释来模拟深度神经网络中的认知学习的概念。我们提出了一个新型的随机卷积神经网络,用于分类,该网络通过学习设置值的地面真实表示来为类别的分类产生分数。我们评估信仰功能的熵和距离度量的不同公式,作为这些随机集网络的可行损失函数。我们还讨论了评估认知预测质量和认知随机神经网络的表现的方法。我们通过实验证明,与传统的估计不确定性相比,认知方法可以产生更好的性能结果。
translated by 谷歌翻译
每个已知的人工深神经网络(DNN)都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构(例如CNNS或LSTMS)对应于Giraud的堆栈。这种不变性应该是对概括属性的原因,即从约束下的学习数据中推断出来。纤维代表语义前类别(Culioli,Thom),在该类别上定义了人工语言,内部逻辑,直觉主义者,古典或线性(Girard)。网络的语义功能是其能够用这种语言表达理论的能力,以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel(1952)发现的措施。令人惊讶的是,上述语义结构通过封闭模型类别的几何纤维对象进行了分类,然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论(Martin-Loef)组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
对未来观察的预测是一个重要且具有挑战性的问题。分别量化预测不确定性使用预测区域和预测分布的两种主流方法,后者认为更具信息性,因为它可以执行其他与预测相关的任务。有效性的标准概念(我们在这里称为1型有效性)着重于预测区域的覆盖范围,而与预测分布执行的其他与预测相关的任务相关的有效性概念则缺乏。在这里,我们提出了一个新概念,称为2型有效性,与这些其他预测任务有关。我们建立了2型有效性和相干性能之间的联系,并表明为实现它而需要不精确的概率考虑因素。我们继续表明,可以通过将共形预测输出作为辅音合理性度量的轮廓函数来实现两种类型的预测有效性。我们还基于新的非参数推论模型构建提供了保​​形预测的替代表征,其中辅音的出现是自然的,并证明了其有效性。
translated by 谷歌翻译
统计决策问题是统计机器学习的基础。最简单的问题是二进制和多类分类以及类概率估计。其定义的核心是损失函数的选择,这是评估解决方案质量的手段。在本文中,我们从一个新的角度从基本的成分是具有特定结构的凸集,从而系统地开发了此类问题的损失函数理论。损耗函数定义为凸集的支持函数的子级别。因此,它是自动适当的(校准以估计概率)。这种观点提供了三个新颖的机会。它可以发展损失与(反)纳入之间的基本关系,而这似乎以前没有注意到。其次,它可以开发由凸集的计算诱导的损失的演算,从而允许不同损失之间的插值,因此是将损失定制到特定问题的潜在有用的设计工具。在此过程中,我们基于凸组集合的M-sums的现有结果,并大大扩展了现有的结果。第三,透视图导致了一种自然理论的“极性”(或“反向”)损失函数,这些函数源自凸集的极性二元,定义了损失,并形成了VOVK聚合算法的自然通用替代函数。
translated by 谷歌翻译
对不确定性的深入了解是在不确定性下做出有效决策的第一步。深度/机器学习(ML/DL)已被大大利用,以解决处理高维数据所涉及的复杂问题。但是,在ML/DL中,推理和量化不同类型的不确定性的探索少于其他人工智能(AI)领域。特别是,自1960年代以来,在KRR上已经研究了信仰/证据理论,以推理并衡量不确定性以提高决策效率。我们发现,只有少数研究利用了ML/DL中的信念/证据理论中的成熟不确定性研究来解决不同类型的不确定性下的复杂问题。在本调查论文中,我们讨论了一些流行的信念理论及其核心思想,这些理论涉及不确定性原因和类型,并量化它们,并讨论其在ML/DL中的适用性。此外,我们讨论了三种主要方法,这些方法在深度神经网络(DNN)中利用信仰理论,包括证据DNN,模糊DNN和粗糙的DNN,就其不确定性原因,类型和量化方法以及其在多元化问题中的适用性而言。域。根据我们的深入调查,我们讨论了见解,经验教训,对当前最新桥接信念理论和ML/DL的局限性,最后是未来的研究方向。
translated by 谷歌翻译
我们介绍了可以由具有Maxout单位的人造馈电神经网络表示的功能线性区域的数量。排名kaxout单元是一个函数,计算$ k $线性函数的最大值。对于具有单层Maxout单元的网络,线性区域对应于Minkowski多型的上顶点。我们根据热带超曲面的交点或部分Minkowski总和的上面数,以及任何输入维度的区域数,任何单位数量,任何等级,任何等级,任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,在有和没有偏见的情况下。基于这些结果,我们还为具有多层的网络获得了渐近的上限。
translated by 谷歌翻译
This work proposes a view of probability as a relative measure rather than an absolute one. To demonstrate this concept, we focus on finite outcome spaces and develop three fundamental axioms that establish requirements for relative probability functions. We then provide a library of examples of these functions and a system for composing them. Additionally, we discuss a relative version of Bayesian inference and its digital implementation. Finally, we prove the topological closure of the relative probability space, highlighting its ability to preserve information under limits.
translated by 谷歌翻译
Non-additive measures, also known as fuzzy measures, capacities, and monotonic games, are increasingly used in different fields. Applications have been built within computer science and artificial intelligence related to e.g. decision making, image processing, machine learning for both classification, and regression. Tools for measure identification have been built. In short, as non-additive measures are more general than additive ones (i.e., than probabilities), they have better modeling capabilities allowing to model situations and problems that cannot be modeled by the latter. See e.g. the application of non-additive measures and the Choquet integral to model both Ellsberg paradox and Allais paradox. Because of that, there is an increasing need to analyze non-additive measures. The need for distances and similarities to compare them is no exception. Some work has been done for defining $f$-divergence for them. In this work we tackle the problem of defining the optimal transport problem for non-additive measures. Distances for pairs of probability distributions based on the optimal transport are extremely used in practical applications, and they are being studied extensively for their mathematical properties. We consider that it is necessary to provide appropriate definitions with a similar flavour, and that generalize the standard ones, for non-additive measures. We provide definitions based on the M\"obius transform, but also based on the $(\max, +)$-transform that we consider that has some advantages. We will discuss in this paper the problems that arise to define the transport problem for non-additive measures, and discuss ways to solve them. In this paper we provide the definitions of the optimal transport problem, and prove some properties.
translated by 谷歌翻译
我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化,多面体理论和热带几何的技术,我们为普遍近似定理提供了数学逆向,这表明单个隐藏层足以用于学习任务。特别是,我们调查完全可增值功能是否完全可以通过添加更多层(没有限制大小)来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面,这个问题对算法和统计方面具有潜在的影响。然而,据我们所知,这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。
translated by 谷歌翻译
Uncertainty is prevalent in engineering design, statistical learning, and decision making broadly. Due to inherent risk-averseness and ambiguity about assumptions, it is common to address uncertainty by formulating and solving conservative optimization models expressed using measure of risk and related concepts. We survey the rapid development of risk measures over the last quarter century. From its beginning in financial engineering, we recount their spread to nearly all areas of engineering and applied mathematics. Solidly rooted in convex analysis, risk measures furnish a general framework for handling uncertainty with significant computational and theoretical advantages. We describe the key facts, list several concrete algorithms, and provide an extensive list of references for further reading. The survey recalls connections with utility theory and distributionally robust optimization, points to emerging applications areas such as fair machine learning, and defines measures of reliability.
translated by 谷歌翻译
支持向量机(SVM)是一种算法,该算法找到了超平面,最佳地将标记的数据点以$ \ mathbb {r} ^ n $分为正面和负类。该分离超平面裕度上的数据点称为支持向量。我们将支持向量的可能配置连接到Radon的定理,这提供了一组点可以分为两个类(正负)的保证,其凸壳相交。如果将正和负支持向量的凸壳投射到分离超平面上,则仅在超平面是最佳的,则投影在至少一个点中相交。此外,通过特定类型的一般位置,我们表明(a)支撑载体的投影凸船体在恰好一个点中相交,(b)支撑载体在扰动下稳定,(c)最多有$ n + 1 $支持向量,(d)每一个高达$ n + 1 $的支持向量是可能的。最后,我们执行研究预期的支持向量数及其配置的计算机模拟,用于随机生成的数据。我们观察到,随着该类型的随机生成的数据增加的距离增加,具有两个支持向量的配置成为最可能的配置。
translated by 谷歌翻译
这项正在进行的工作旨在为统计学习提供统一的介绍,从诸如GMM和HMM等经典模型到现代神经网络(如VAE和扩散模型)缓慢地构建。如今,有许多互联网资源可以孤立地解释这一点或新的机器学习算法,但是它们并没有(也不能在如此简短的空间中)将这些算法彼此连接起来,或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统,尽管对那些已经熟悉材料的人(如这些帖子的作者)不满意,但对新手的入境造成了重大障碍。同样,我的目的是将各种模型(尽可能)吸收到一个用于推理和学习的框架上,表明(以及为什么)如何以最小的变化将一个模型更改为另一个模型(其中一些是新颖的,另一些是文献中的)。某些背景当然是必要的。我以为读者熟悉基本的多变量计算,概率和统计以及线性代数。这本书的目标当然不是​​完整性,而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后,目标是补充而不是替换,诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本,该文本现在已经15岁了。
translated by 谷歌翻译
ALChour \“Ardenfors的AGM发布,Makinson继续代表与信仰变革有关的研究中的基石。Katsuno和Mendelzon(K&M)通过了AGM假设改变信仰基地,并在命题中的特征agm信仰基地修订有限签名的逻辑。我们概括了K&M在任意Tarskian逻辑中设置的(多个)基本修订版的方法,涵盖了具有经典模型 - 理论语义的所有逻辑,从而涵盖了知识表示和超越的各种逻辑。我们的通用配方适用于“基础”的各种概念(例如信仰集,任意或有限的句子或单句话)。核心结果是表示AGM基本修订运算符和某些“分配”之间双向对应的表示定理:函数映射信仰基础到总数 - 尚未传递 - “偏好”解释之间的关系。与此同时,我们为CAS提供了一个伴侣E当agm andodatience的AGM假设被遗弃时。我们还提供了所有逻辑的表征,我们的结果可以加强生产传递偏好关系的分配(如K&M的原始工作),根据语法依赖与独立性,引起了这种逻辑的两个表示定理。
translated by 谷歌翻译
我们在非参数二进制分类的一个对抗性训练问题之间建立了等价性,以及规范器是非识别范围功能的正则化风险最小化问题。由此产生的正常风险最小化问题允许在图像分析和基于图形学习中常常研究的$ L ^ 1 + $(非本地)$ \ Operatorvers {TV} $的精确凸松弛。这种重构揭示了丰富的几何结构,这反过来允许我们建立原始问题的最佳解决方案的一系列性能,包括存在最小和最大解决方案(以合适的意义解释),以及常规解决方案的存在(也以合适的意义解释)。此外,我们突出了对抗性训练和周长最小化问题的联系如何为涉及周边/总变化的正规风险最小化问题提供一种新颖的直接可解释的统计动机。我们的大部分理论结果与用于定义对抗性攻击的距离无关。
translated by 谷歌翻译