我们开发了一种自动变分方法,用于推导具有高斯过程(GP)先验和一般可能性的模型。该方法支持多个输出和多个潜在函数,不需要条件似然的详细知识,只需将其评估为ablack-box函数。使用高斯混合作为变分分布,我们表明使用来自单变量高斯分布的样本可以有效地估计证据下界及其梯度。此外,该方法可扩展到大数据集,这是通过使用诱导变量使用增广先验来实现的。支持最稀疏GP近似的方法,以及并行计算和随机优化。我们在小数据集,中等规模数据集和大型数据集上定量和定性地评估我们的方法,显示其在不同似然模型和稀疏性水平下的竞争力。在涉及航空延误预测和手写数字分类的大规模实验中,我们表明我们的方法与可扩展的GP回归和分类的最先进的硬编码方法相同。
translated by 谷歌翻译
我们提出了可预测性,可计算性和稳定性(PCS)框架,以从可以指导科学假设生成和实验设计的数据中提取可重复的知识。 PCS框架建立在机器学习的基础上,使用可预测性作为现实检查,评估数据收集,数据存储和算法设计中的计算考虑因素。它通过一个总体稳定性原则来增强PC,这大大扩展了传统的统计不确定性考虑因素。特别是,稳定性评估结果在数据科学生命周期中的选择(或扰动)方面的变化,包括问题制定,预处理,建模(数据和算法扰动),建模前后的探索性数据分析(EDA)。此外,我们开发PCS推理来研究数据结果的稳定性,并确定何时模型与相对简单的现象一致。我们将PCS推理与现有方法(例如选择性推理)在高维稀疏线性模型模拟中进行比较,以证明我们的方法在广泛的模拟设置范围内始终优于其他方法的ROC曲线。最后,我们提出了一个基于Rmarkdown,iPython或Jupyter Notebook的PCS文档,其中包含公开可用,可重现的代码和叙述,以支持人类在整个分析过程中做出的选择。 PCS工作流程和文档在Zenodo上提供的基因组学研究中得到了证明。
translated by 谷歌翻译
我们提出了一种新的Q函数运算符,用于时间差(TD)学习方法,明确编码关键域中重要罕见事件(SRE)的鲁棒性。我们称之为$ \ kappa $ -operator的运算符允许以基于模型的方式学习安全策略,而无需实际观察SRE。我们使用运算符$ \ kappa $引入单代理和多代理鲁棒的TD方法。我们利用广义马尔可夫决策过程理论证明了算子在最优安全Q函数上的收敛性。此外,我们证明了收敛到原始MDP的最佳Q函数,因为SRE的概率消失了。经验评估证明了基于$ \ kappa $的TD方法在早期学习阶段以及最终融合阶段的卓越表现。此外,我们展示了所提出的方法对小模型误差的鲁棒性,以及它在多智能体环境中的适用性。
translated by 谷歌翻译
机器学习模型在学习复杂模式方面取得了巨大成功,使他们能够对未观察到的数据进行预测。除了使用模型进行预测之外,解释模型所学知识的能力正在受到越来越多的关注。然而,这种增加的焦点导致了对可解释性概念的相当大的混淆。特别是,尚不清楚提出的各种解释方法是如何相关的,以及可以用什么共同概念来评估它们。我们的目标是通过在机器学习的背景下定义可解释性并引入用于讨论解释的预测,描述,相关(PDR)框架来解决这些问题。 PDR框架为评估提供了三个方面的需求:预测准确性,描述性准确性和相关性,相对于人类受众判断相关性。此外,为了帮助管理大量的解释方法,我们将现有技术的分类引入基于模型和后期的方法。类别,包括稀疏性,模块性和可模拟性的子组。 Todemonstrate实践者如何使用PDR框架来评估和理解解释,我们提供了许多真实的例子。这些例子突出了人们在讨论可解释性时所扮演的角色往往不被重视。最后,基于我们的框架,我们讨论了现有方法的限制和未来工作的方向。我们希望这项工作能够提供一个共同的词汇表,使得执业者和研究人员更容易讨论和选择全方位的解释方法。
translated by 谷歌翻译
我们介绍了SPFlow,这是一个开源Python库,为深度和可分析的概率模型(称为Sum-Product Networks(SPN))提供了推理,学习和操作例程的简单接口。该库允许用户通过数据和域特定语言(DSL)快速创建SPN。它有效地实现了几个概率推理程序,如计算边缘,条件和(近似)最可能的解释(MPE)以及采样以及用于SPN上的序列化,绘图和结构统计的实用程序。此外,文献中提出的许多用于学习SPN的结构和参数的算法在SPFlow中是可用的。此外,SPFlow具有极强的可扩展性和可自定义性,允许用户通过将自定义代码注入到面向功能的轻量级API框架中,迅速提取新的推理和学习例程。这是通过保留图形结构的内部Python表示在SPFlow中实现的,该图形结构还可以将SPN实际编译为TensorFlow图形,C,CUDA或FPGA自定义代码,从而大大加快计算速度。
translated by 谷歌翻译
人工智能,哲学和逻辑,以及作者的工作。这是对人工智能,哲学和逻辑与作者工作之间相互关系的简要(和个人)介绍。
translated by 谷歌翻译
在本文中,我们研究了深度强化学习过度拟合的问题。在RL中最常见的基准测试中,习惯上使用相同的环境进行训练和测试。这种做法对代理人的概括能力的了解相对较少。通过使用程序生成的环境构建分离训练和测试集来解决此问题。最值得注意的是,我们引入了一个名为CoinRun的新环境,它被设计为RL中泛化的基准。使用CoinRun,我们发现代理人适应了令人惊讶的大型训练集。 Wethen表明,更深层次的卷积体系结构可以改善泛化,就像传统上在监督学习中发现的一样,包括L2规则化,丢失,数据增加和批量规范化。
translated by 谷歌翻译
使用有限硬件在具有实时功能的应用程序中执行语义分段的能力非常重要。一种这样的应用是视觉鸟瞰图的解释,其需要四个全方位相机图像的这些语义分割。在本文中,我们提出了一种有效的语义分段,它根据运行时和硬件要求设定了新的标准。我们的两个主要贡献是通过并行化ArgMax层来减少运行时间,并通过将通道修剪方法应用于ENet模型来减少硬件需求。
translated by 谷歌翻译
群体级情绪识别(ER)是一个不断发展的研究领域,因为评估各种规模群体的需求正成为这些安全领域和社交媒体的兴趣所在。这项工作研究了人群视频的群体级别表达识别,其中信息不仅聚集在可变长度的帧序列上,而且聚合在每个帧内的一组面部上以产生聚合的识别结果。在本文中,我们提出了有效的深度特征级融合机制来模拟人群视频中的时空信息。此外,我们将我们提出的NVP融合机制扩展到时间NVP融合程序,以学习帧之间的时间信息。为了证明所提方法中每个组件的稳健性和有效性,进行了三个实验:(i)对AffectNet数据库进行评估,以对拟议的emoNet进行基准测试,以识别面部表情; (ii)评估EmotiW2018以建议深度特征级融合机制NVPF的基准; (iii)根据从社交媒体收集的627个视频组成的创新群组级人群视频情感(GECV)数据集,检查提议的TNVPF。 GECV数据集是视频的收集,其持续时间为20到20秒或更多受试者的人群的10到20秒,并且每个视频被标记为正,负或中性。
translated by 谷歌翻译
通过应用程序对无监督学习的激励,我们考虑了测量互信息的问题。最近的分析表明,相互信息的幼稚kNNestimatmat具有严重的统计限制,可以激发更精细的方法。在本文中,我们证明严重的统计学限制是任何测量方法所固有的。更具体地说,我们表明任何无分布的高置信度下限onmutual信息不能大于$ O(\ ln N)$,其中$ N $是数据样本的大小。我们还特别分析了Donsker-Varadhan对KLdivergence的下限,并表明,当考虑简单的统计考虑因素时,这个界限永远不会产生比$ \ nn N $更高的置信度值。虽然大的高置信度下限是不可能的,但实际上可以使用没有正式保证的估计量。我们建议将互信息表示为熵的差异,并使用交叉熵作为熵估计。我们观察到,尽管交叉熵只是熵的上界,但交叉熵估计以$ 1 / \ sqrt {N} $的速率收敛到真实的交叉熵。
translated by 谷歌翻译