我们开发了一种自动变分方法,用于推导具有高斯过程(GP)先验和一般可能性的模型。该方法支持多个输出和多个潜在函数,不需要条件似然的详细知识,只需将其评估为ablack-box函数。使用高斯混合作为变分分布,我们表明使用来自单变量高斯分布的样本可以有效地估计证据下界及其梯度。此外,该方法可扩展到大数据集,这是通过使用诱导变量使用增广先验来实现的。支持最稀疏GP近似的方法,以及并行计算和随机优化。我们在小数据集,中等规模数据集和大型数据集上定量和定性地评估我们的方法,显示其在不同似然模型和稀疏性水平下的竞争力。在涉及航空延误预测和手写数字分类的大规模实验中,我们表明我们的方法与可扩展的GP回归和分类的最先进的硬编码方法相同。
translated by 谷歌翻译
在本文中,我们提出了可利用性下降,一种新的算法,用于通过针对最坏情况的直接策略优化来计算具有不完全信息的双玩家零和广义形式游戏中的近似均衡。我们证明,当遵循这种优化时,玩家策略的可利用性渐近地收敛为零,因此当两个玩家都采用这种优化时,联合策略会收敛到纳西均衡。与虚构游戏(XFP)和反事实后悔化(CFR)不同,我们的融合结果与被优化的政策而不是平均政策有关。我们的实验表明,在四个基准游戏中,收敛率与XFP和CFR相当。使用函数逼近,我们发现我们的算法在两个游戏中执行表格版本,据我们所知,这是在这类算法中不完全信息游戏中的第一个这样的结果。
translated by 谷歌翻译
建筑能源管理领域近年来获得了大量的兴趣。该领域涉及将先进的传感器技术,通信和先进的控制算法相结合,以优化能源利用。强化学习是用于控制问题的最突出的机器学习算法之一,并且在建筑能源管理领域已经取得了许多成功的应用。本研究对与重建学习在开发自治建筑能源管理系统中的应用相关的文献进行了全面的综述。还概述了未来研究的主要方向和加强学习的挑战。
translated by 谷歌翻译
深度神经网络(DNN)已经在许多基准和问题域中产生了最先进的结果。但是,DNN的成功取决于其体系结构和超参数的正确配置。这样的配置是困难的,因此,DNN通常不会用于其充分的潜力。此外,商业应用中的DNN通常需要满足现实世界的设计约束,例如参数的大小或数量。 Tomake配置更容易,自动机器学习(AutoML)系统用于深度学习已经开发,主要侧重于优化超参数。本文将AutoML向前推进了一步。它引入了一种名为LEAF的进化AutoML框架,它不仅优化了超参数,还优化了网络架构和网络规模。 LEAF使用最先进的进化算法(EA)和分布式计算框架。医学图像分类和自然语言分析的实验结果表明,该框架可用于实现最先进的性能。特别是,LEAF证明了架构优化提供了超过超参数优化的显着推动,并且可以在性能较低的同时最小化网络。因此,LEAF为人工智能的民主化和改进奠定了基础,并使AI在未来的应用中具有实用性。
translated by 谷歌翻译
我们提出了可预测性,可计算性和稳定性(PCS)框架,以从可以指导科学假设生成和实验设计的数据中提取可重复的知识。 PCS框架建立在机器学习的基础上,使用可预测性作为现实检查,评估数据收集,数据存储和算法设计中的计算考虑因素。它通过一个总体稳定性原则来增强PC,这大大扩展了传统的统计不确定性考虑因素。特别是,稳定性评估结果在数据科学生命周期中的选择(或扰动)方面的变化,包括问题制定,预处理,建模(数据和算法扰动),建模前后的探索性数据分析(EDA)。此外,我们开发PCS推理来研究数据结果的稳定性,并确定何时模型与相对简单的现象一致。我们将PCS推理与现有方法(例如选择性推理)在高维稀疏线性模型模拟中进行比较,以证明我们的方法在广泛的模拟设置范围内始终优于其他方法的ROC曲线。最后,我们提出了一个基于Rmarkdown,iPython或Jupyter Notebook的PCS文档,其中包含公开可用,可重现的代码和叙述,以支持人类在整个分析过程中做出的选择。 PCS工作流程和文档在Zenodo上提供的基因组学研究中得到了证明。
translated by 谷歌翻译
机器学习模型在学习复杂模式方面取得了巨大成功,使他们能够对未观察到的数据进行预测。除了使用模型进行预测之外,解释模型所学知识的能力正在受到越来越多的关注。然而,这种增加的焦点导致了对可解释性概念的相当大的混淆。特别是,尚不清楚提出的各种解释方法是如何相关的,以及可以用什么共同概念来评估它们。我们的目标是通过在机器学习的背景下定义可解释性并引入用于讨论解释的预测,描述,相关(PDR)框架来解决这些问题。 PDR框架为评估提供了三个方面的需求:预测准确性,描述性准确性和相关性,相对于人类受众判断相关性。此外,为了帮助管理大量的解释方法,我们将现有技术的分类引入基于模型和后期的方法。类别,包括稀疏性,模块性和可模拟性的子组。 Todemonstrate实践者如何使用PDR框架来评估和理解解释,我们提供了许多真实的例子。这些例子突出了人们在讨论可解释性时所扮演的角色往往不被重视。最后,基于我们的框架,我们讨论了现有方法的限制和未来工作的方向。我们希望这项工作能够提供一个共同的词汇表,使得执业者和研究人员更容易讨论和选择全方位的解释方法。
translated by 谷歌翻译
我们介绍了SPFlow,这是一个开源Python库,为深度和可分析的概率模型(称为Sum-Product Networks(SPN))提供了推理,学习和操作例程的简单接口。该库允许用户通过数据和域特定语言(DSL)快速创建SPN。它有效地实现了几个概率推理程序,如计算边缘,条件和(近似)最可能的解释(MPE)以及采样以及用于SPN上的序列化,绘图和结构统计的实用程序。此外,文献中提出的许多用于学习SPN的结构和参数的算法在SPFlow中是可用的。此外,SPFlow具有极强的可扩展性和可自定义性,允许用户通过将自定义代码注入到面向功能的轻量级API框架中,迅速提取新的推理和学习例程。这是通过保留图形结构的内部Python表示在SPFlow中实现的,该图形结构还可以将SPN实际编译为TensorFlow图形,C,CUDA或FPGA自定义代码,从而大大加快计算速度。
translated by 谷歌翻译
人工智能,哲学和逻辑,以及作者的工作。这是对人工智能,哲学和逻辑与作者工作之间相互关系的简要(和个人)介绍。
translated by 谷歌翻译
在本文中,我们研究了深度强化学习过度拟合的问题。在RL中最常见的基准测试中,习惯上使用相同的环境进行训练和测试。这种做法对代理人的概括能力的了解相对较少。通过使用程序生成的环境构建分离训练和测试集来解决此问题。最值得注意的是,我们引入了一个名为CoinRun的新环境,它被设计为RL中泛化的基准。使用CoinRun,我们发现代理人适应了令人惊讶的大型训练集。 Wethen表明,更深层次的卷积体系结构可以改善泛化,就像传统上在监督学习中发现的一样,包括L2规则化,丢失,数据增加和批量规范化。
translated by 谷歌翻译
使用有限硬件在具有实时功能的应用程序中执行语义分段的能力非常重要。一种这样的应用是视觉鸟瞰图的解释,其需要四个全方位相机图像的这些语义分割。在本文中,我们提出了一种有效的语义分段,它根据运行时和硬件要求设定了新的标准。我们的两个主要贡献是通过并行化ArgMax层来减少运行时间,并通过将通道修剪方法应用于ENet模型来减少硬件需求。
translated by 谷歌翻译