可渴望可以理解为ANSCOMBE和AUMANN的贝叶斯决策理论的扩展,以延伸到预期公用事业集。可取性的核心在于测量奖励的量表线性的假设。它是一个传统的假设,用于得出预期的效用模型,该模型与理性决策的一般表示相冲突。尤其是,阿莱斯(Allais)在1953年以著名的悖论指出了这一点。我们注意到,当我们将可取性视为逻辑理论时,公用事业量表起着封闭操作员的作用。该观察结果使我们能够通过通用闭合操作员表示实用程序量表来扩展到非线性情况。新理论直接以实际的非线性货币(货币)表达了奖励,这在野蛮的精神上很大程度上表达,同时可以说将基础假设削弱到最低限度。我们从一组赌博及其上价和高价(预防)的角度来表征新理论的主要特性。我们展示了Allais悖论如何在新理论中找到解决方案,并讨论了该理论中概率集的作用。
translated by 谷歌翻译
机器学习通常以经典的概率理论为前提,这意味着聚集是基于期望的。现在有多种原因可以激励人们将经典概率理论作为机器学习的数学基础。我们系统地检查了一系列强大而丰富的此类替代品,即各种称为光谱风险度量,Choquet积分或Lorentz规范。我们提出了一系列的表征结果,并演示了使这个光谱家族如此特别的原因。在此过程中,我们证明了所有连贯的风险度量的自然分层,从它们通过利用重新安排不变性Banach空间理论的结果来诱导的上层概率。我们凭经验证明了这种新的不确定性方法如何有助于解决实用的机器学习问题。
translated by 谷歌翻译
In this paper, we provide a theoretical framework to analyze an agent who misinterprets or misperceives the true decision problem she faces. Within this framework, we show that a wide range of behavior observed in experimental settings manifest as failures to perceive implications, in other words, to properly account for the logical relationships between various payoff relevant contingencies. We present behavioral characterizations corresponding to several benchmarks of logical sophistication and show how it is possible to identify which implications the agent fails to perceive. Thus, our framework delivers both a methodology for assessing an agent's level of contingent thinking and a strategy for identifying her beliefs in the absence full rationality.
translated by 谷歌翻译
ALChour \“Ardenfors的AGM发布,Makinson继续代表与信仰变革有关的研究中的基石。Katsuno和Mendelzon(K&M)通过了AGM假设改变信仰基地,并在命题中的特征agm信仰基地修订有限签名的逻辑。我们概括了K&M在任意Tarskian逻辑中设置的(多个)基本修订版的方法,涵盖了具有经典模型 - 理论语义的所有逻辑,从而涵盖了知识表示和超越的各种逻辑。我们的通用配方适用于“基础”的各种概念(例如信仰集,任意或有限的句子或单句话)。核心结果是表示AGM基本修订运算符和某些“分配”之间双向对应的表示定理:函数映射信仰基础到总数 - 尚未传递 - “偏好”解释之间的关系。与此同时,我们为CAS提供了一个伴侣E当agm andodatience的AGM假设被遗弃时。我们还提供了所有逻辑的表征,我们的结果可以加强生产传递偏好关系的分配(如K&M的原始工作),根据语法依赖与独立性,引起了这种逻辑的两个表示定理。
translated by 谷歌翻译
统计决策问题是统计机器学习的基础。最简单的问题是二进制和多类分类以及类概率估计。其定义的核心是损失函数的选择,这是评估解决方案质量的手段。在本文中,我们从一个新的角度从基本的成分是具有特定结构的凸集,从而系统地开发了此类问题的损失函数理论。损耗函数定义为凸集的支持函数的子级别。因此,它是自动适当的(校准以估计概率)。这种观点提供了三个新颖的机会。它可以发展损失与(反)纳入之间的基本关系,而这似乎以前没有注意到。其次,它可以开发由凸集的计算诱导的损失的演算,从而允许不同损失之间的插值,因此是将损失定制到特定问题的潜在有用的设计工具。在此过程中,我们基于凸组集合的M-sums的现有结果,并大大扩展了现有的结果。第三,透视图导致了一种自然理论的“极性”(或“反向”)损失函数,这些函数源自凸集的极性二元,定义了损失,并形成了VOVK聚合算法的自然通用替代函数。
translated by 谷歌翻译
我们在非参数二进制分类的一个对抗性训练问题之间建立了等价性,以及规范器是非识别范围功能的正则化风险最小化问题。由此产生的正常风险最小化问题允许在图像分析和基于图形学习中常常研究的$ L ^ 1 + $(非本地)$ \ Operatorvers {TV} $的精确凸松弛。这种重构揭示了丰富的几何结构,这反过来允许我们建立原始问题的最佳解决方案的一系列性能,包括存在最小和最大解决方案(以合适的意义解释),以及常规解决方案的存在(也以合适的意义解释)。此外,我们突出了对抗性训练和周长最小化问题的联系如何为涉及周边/总变化的正规风险最小化问题提供一种新颖的直接可解释的统计动机。我们的大部分理论结果与用于定义对抗性攻击的距离无关。
translated by 谷歌翻译
避免准确性主导和具有概率相干的信任之间存在着名的等价性(参见,例如,De Finetti 1974,Joyce 2009,Predd等,2009,Schervish等,2009,Pettigrew 2016)。但是,只有当定义凭据函数的一个命题时,才建立了这种等价。在本文中,我们在无限的一个命题上定义了债务函数时建立了准确支配和一致性之间的联系。特别是,我们建立了必要的结果,以延长概率主义的经典准确性争论,原本是由于乔伊斯(1998)到某些类别的无限命题,包括可计数无限分区。
translated by 谷歌翻译
预期风险最小化(ERM)是机器学习系统的核心。这意味着使用单个数字(其平均值)总结了损失分布中固有的风险。在本文中,我们提出了一种构建风险措施的一般方法,该方法表现出所需的尾巴敏感性,并可能取代ERM中的期望操作员。我们的方法依赖于具有所需尾巴行为的参考分布的规范,该分布与连贯上层概率的一对一对应关系。与此上层概率兼容的任何风险度量都显示出尾部灵敏度,该灵敏度可很好地调整为参考分布。作为一个具体的例子,我们专注于基于F-Divergence歧义集的差异风险度量,这是一种广泛的工具,用于促进机器学习系统的分布鲁棒性。例如,我们展示了基于kullback-leibler差异的歧义集与次指定随机变量的类别相关。我们阐述了差异风险度量和重新排列不变的Banach规范的联系。
translated by 谷歌翻译
我们介绍了统计实验的两种新的信息度量,它们概括和包含$ \ phi $ -diverences,积分概率指标,$ \ mathfrak {n} $ - distances(mmd)和$(f,\ gamma)$ divergences $ divergences在两个或多个分布之间。这使我们能够在信息的度量与统计决策问题的贝叶斯风险之间得出简单的几何关系,从而将变异的$ \ phi $ -divergence代表扩展到多个分布,以完全对称的方式。在马尔可夫运营商的行动下,新的分歧家庭被关闭,该家族产生了信息处理平等,这是经典数据处理不平等的完善和概括。这种平等使人深入了解假设类别在经典风险最小化中的重要性。
translated by 谷歌翻译
概率间隔是在不确定性下推理的有吸引力的工具。但是,与信仰功能不同,它们缺乏用于在实用工具理论框架中的决策中的自然概率转变。在本文中,我们提出了使用交叉路口概率,最初导致的变换,以便在不确定的几何方法的框架内进行信仰功能,作为最自然的这种转变。我们回顾其理由和定义,将其与其他概率间隔系统的其他候选者进行比较,讨论其作为一对简单的焦点的信任理由,并概述了概率间隔的可能决策框架,类似于可转移信仰功能的信仰模式。
translated by 谷歌翻译
AGM由Alchour \'{o} N,G \“{A} Rdenfors,并且Makinson继续代表与信仰变革相关的研究中的基石。我们概括了Katsuno和Mendelzon(KM)的方法来表征AGM基础修订从命题逻辑到任意单调逻辑中的(多个)基本修订。我们的核心结果是使用总共 - 尚未传递的分配的代表性定理 - “偏好”关系与信仰基础。我们还提供了所有逻辑的表征我们的结果可以加强预订分配(以KM原始工作)。
translated by 谷歌翻译
每个已知的人工深神经网络(DNN)都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构(例如CNNS或LSTMS)对应于Giraud的堆栈。这种不变性应该是对概括属性的原因,即从约束下的学习数据中推断出来。纤维代表语义前类别(Culioli,Thom),在该类别上定义了人工语言,内部逻辑,直觉主义者,古典或线性(Girard)。网络的语义功能是其能够用这种语言表达理论的能力,以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel(1952)发现的措施。令人惊讶的是,上述语义结构通过封闭模型类别的几何纤维对象进行了分类,然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论(Martin-Loef)组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
对未来观察的预测是一个重要且具有挑战性的问题。分别量化预测不确定性使用预测区域和预测分布的两种主流方法,后者认为更具信息性,因为它可以执行其他与预测相关的任务。有效性的标准概念(我们在这里称为1型有效性)着重于预测区域的覆盖范围,而与预测分布执行的其他与预测相关的任务相关的有效性概念则缺乏。在这里,我们提出了一个新概念,称为2型有效性,与这些其他预测任务有关。我们建立了2型有效性和相干性能之间的联系,并表明为实现它而需要不精确的概率考虑因素。我们继续表明,可以通过将共形预测输出作为辅音合理性度量的轮廓函数来实现两种类型的预测有效性。我们还基于新的非参数推论模型构建提供了保​​形预测的替代表征,其中辅音的出现是自然的,并证明了其有效性。
translated by 谷歌翻译
我们研究只有历史数据时设计最佳学习和决策制定公式的问题。先前的工作通常承诺要进行特定的数据驱动配方,并随后尝试建立样本外的性能保证。我们以相反的方式采取了相反的方法。我们首先定义一个明智的院子棒,以测量任何数据驱动的公式的质量,然后寻求找到最佳的这种配方。在非正式的情况下,可以看到任何数据驱动的公式可以平衡估计成本与实际成本的接近度的量度,同时保证了样本外的性能水平。考虑到可接受的样本外部性能水平,我们明确地构建了一个数据驱动的配方,该配方比任何其他享有相同样本外部性能的其他配方都更接近真实成本。我们展示了三种不同的样本外绩效制度(超大型制度,指数状态和次指数制度)之间存在,最佳数据驱动配方的性质会经历相变的性质。最佳数据驱动的公式可以解释为超级稳定的公式,在指数方面是一种熵分布在熵上稳健的公式,最后是次指数制度中的方差惩罚公式。这个最终的观察揭示了这三个观察之间的令人惊讶的联系,乍一看似乎是无关的,数据驱动的配方,直到现在仍然隐藏了。
translated by 谷歌翻译
在本文中,我们建立了模糊和优惠语义之间的联系,用于描述逻辑和自组织地图,这些地图已被提出为可能的候选人来解释类别概括的心理机制。特别是,我们表明,在训练之后的自组织地图的输入/输出行为可以通过模糊描述逻辑解释以及基于概念 - 方面的多次方法语义来描述逻辑解释以及考虑偏好的优先解释关于不同的概念,最近提出了排名和加权污染描述逻辑。可以通过模型检查模糊或优先解释来证明网络的属性。从模糊解释开始,我们还为此神经网络模型提供了概率账户。
translated by 谷歌翻译
在过去几年的几十年中,致力于更新稳定模型语义(AKA答案设置程序)下更新逻辑计划的问题,或者换句话说,表现出培养结果的问题 - 当它描述更改时,遵守逻辑程序。而最先进的方法是在古典逻辑背景下的相同基本的直觉和愿望被指导,他们基于根本不同的原则和方法,这阻止了可以拥抱两个信念的统一框架规则更新。在本文中,我们将概述与答案设置的编程更新相关的一些主要方法和结果,同时指出本主题研究的一些主要挑战。
translated by 谷歌翻译
我们基于电子价值开发假设检测理论,这是一种与p值不同的证据,允许毫不费力地结合来自常见场景中的几项研究的结果,其中决定执行新研究可能取决于以前的结果。基于E-V值的测试是安全的,即它们在此类可选的延续下保留I型错误保证。我们将增长速率最优性(GRO)定义为可选的连续上下文中的电力模拟,并且我们展示了如何构建GRO E-VARIABLE,以便为复合空缺和替代,强调模型的常规测试问题,并强调具有滋扰参数的模型。 GRO E值采取具有特殊前瞻的贝叶斯因子的形式。我们使用几种经典示例说明了该理论,包括一个样本安全T检验(其中右哈尔前方的右手前锋为GE)和2x2差价表(其中GRE之前与标准前沿不同)。分享渔业,奈曼和杰弗里斯·贝叶斯解释,电子价值观和相应的测试可以提供所有三所学校的追随者可接受的方法。
translated by 谷歌翻译
最近的工作突出了因果关系在设计公平决策算法中的作用。但是,尚不清楚现有的公平因果概念如何相互关系,或者将这些定义作为设计原则的后果是什么。在这里,我们首先将算法公平性的流行因果定义组装成两个广泛的家庭:(1)那些限制决策对反事实差异的影响的家庭; (2)那些限制了法律保护特征(如种族和性别)对决策的影响。然后,我们在分析和经验上表明,两个定义的家庭\ emph {几乎总是总是} - 从一种理论意义上讲 - 导致帕累托占主导地位的决策政策,这意味着每个利益相关者都有一个偏爱的替代性,不受限制的政策从大型自然级别中绘制。例如,在大学录取决定的情况下,每位利益相关者都不支持任何对学术准备和多样性的中立或积极偏好的利益相关者,将不利于因果公平定义的政策。的确,在因果公平的明显定义下,我们证明了由此产生的政策要求承认所有具有相同概率的学生,无论学术资格或小组成员身份如何。我们的结果突出了正式的局限性和因果公平的常见数学观念的潜在不利后果。
translated by 谷歌翻译
在逻辑中使用元规则,即其内容包含其他规则的规则,最近在非单调推理的情况下引起了人们的关注:第一个逻辑形式化和有效算法来计算此类理论的(元)扩展在Olivieri等人(2021年)中提出的这项工作通过考虑悬浮方面扩展了这种逻辑框架。由此产生的逻辑不仅能够建模政策,还可以解决许多法律系统中发生的知名方面。已经研究了我们刚才提到的应用区域中使用不良逻辑(DL)对元符号建模的使用。在这一研究中,上述研究并不关注元符号的一般计算特性。这项研究以两个主要贡献填补了这一空白。首先,我们介绍并形式化了两种具有元符号的可性义能逻辑的变体,以代表(1)具有能态模态的可d不平式元理论,(2)规则之间的两种不同类型的冲突:简单的冲突可不诚实的无义冲突和谨慎的冲突,谨慎的冲突和谨慎的冲突可义的义逻辑。其次,我们推进有效算法以计算两个变体的扩展。
translated by 谷歌翻译
Virtually all machine learning tasks are characterized using some form of loss function, and "good performance" is typically stated in terms of a sufficiently small average loss, taken over the random draw of test data. While optimizing for performance on average is intuitive, convenient to analyze in theory, and easy to implement in practice, such a choice brings about trade-offs. In this work, we survey and introduce a wide variety of non-traditional criteria used to design and evaluate machine learning algorithms, place the classical paradigm within the proper historical context, and propose a view of learning problems which emphasizes the question of "what makes for a desirable loss distribution?" in place of tacit use of the expected loss.
translated by 谷歌翻译