我们提出了一种神经混合模型,该模型由在由深度可逆变换(即,正常化流动)计算的特征的一组上定义的线性模型组成。我们模型的一个吸引人的特性是,p(特征),特征密度和p(目标|特征),预测分布,可以在单个前馈传递中精确计算。我们表明,尽管存在可逆性约束,我们的混合模型可以实现与纯预测模型的相似性。然而,尽管存在混合优化目标,生成组件仍然是输入特征的良好模型。这提供了额外的功能,例如检测分发外输入和启用半监督学习。精确关联密度p(目标,特征)的可用性也使我们可以很好地计算许多量,使我们的混合模型成为概率深度学习的下行应用的有用构建块。
translated by 谷歌翻译
深度神经网络的辍学正规化已成为防止过度拟合的一种神秘的有效工具。其成功的解释范围从防止“共同适应”权重到它是廉价贝叶斯推理的一种形式。我们提出了一种新的框架,用于理解神经网络中的乘法噪声,考虑连续分布以及伯努利(即辍学)。我们证明了乘法噪声会导致网络权重的结构化收缩。我们通过尺度混合的重参数性而不是通过任何近似来推导等价。给出等价,我们然后表明,辍学的通常蒙特卡罗训练目标近似于边际MAP估计。我们在强收缩下分析这个MAP目标,表明扩展的参数化(即,可能性)比分层表示更稳定。最后,我们为ResNets,RNN和CNNs推导出了类似的先验,并将它们的等效实现显示为噪声。
translated by 谷歌翻译
机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
本文涉及在图形模型中估计模型参数。将其描述为信息几何优化问题,并引入包含额外元参数的解剖梯度下降策略。我们表明,我们的方法是图形模型中用于学习的着名EM方法的强有力替代方案。实际上,我们基于自然梯度的策略导致学习最终目标函数的最佳参数,而不是试图拟合可能与真实不对应的分布。我们支持我们的理论发现与金融市场中的趋势检测问题,并表明学习模型表现出更好的传统实践方法,并且不易过度拟合。
translated by 谷歌翻译
利用数据增强进行神经网络训练的一个关键挑战是从候选操作的大型搜索空间中选择有效的增强策略。适当选择的增强政策可以带来显着的泛化改进;然而,对于普通用户来说,最先进的方法如AutoAugment在计算上是不可行的。在本文中,我们引入了一种新的数据增强算法,即基于种群的增强(PBA),它生成非平稳增强策略,而不是固定的增强策略。我们证明了PBA可以与CIFAR-10,CIFAR-100和SVHN上的AutoAugment的性能相匹配,总体计算量减少了三个数量级。在CIFAR-10上,我们实现了1.46%的平均测试误差,这是对当前最先进技术的一点点改进。 PBA的代码是开源的,可以通过以下网址获得://github.com/arcelien/pba。
translated by 谷歌翻译
虽然目前的通用游戏(GGP)系统促进了用于游戏的人工智能(AI)的有用研究,但它们通常是特定的,并且计算效率低。在本文中,我们描述了一个名为Ludii的“ludemic”通用游戏系统的初始版本,该系统具有为AI研究人员以及相关领域的游戏设计师,历史学家,教育工作者和从业者提供有效工具的潜力。 Ludiidefines游戏作为ludemes的结构,即高级,易于理解的游戏概念。我们通过概述其主要优点来建立Ludii的基础:通用性,可扩展性,可理解性和效率。实验上,Ludii优于Tiltyard GGP存储库中所有可用游戏的基于命题网络的最有效的Game DescriptionLanguage(GDL)reasoners之一。
translated by 谷歌翻译
模块化子系统的组件正在投入使用,以便在交通,医疗保健和工业自动化等高风险,时间关键任务中执行传感,推理和决策。我们通过使用强化学习来指导组成系统的一组交互模块的配置,从而增加了整体计算系统效用的机会。在全系统范围内进行优化的挑战是一个组合问题。通过修改其配置来提高特定模块性能的本地尝试通常会导致系统性能的整体效用损失,因为下游模块的输入分布急剧变化。我们提出了metareasoning技术,它考虑了输入的丰富表示,监视整个管道的状态,并在运行中调整模块的配置,以最大化系统操作的效用。我们通过各种强化学习技术在现实世界和合成管道中显示出显着的改进。
translated by 谷歌翻译
选择性估计长期以来用于密度估计的统计工具。为了捕获关系表的丰富多变量分布,我们建议使用一种新型的高容量统计模型:深度似然模型。然而,这些模型的直接应用导致有限的估计器,其对于范围和通配符谓词的评估来说过于昂贵。为了制作真正可用的估算器,我们在可能性模型之上开发了蒙特卡罗集成方案,该方案可以使用数十个或更多过滤器来有效地处理范围查询。像经典概要一样,我们的估算器在没有监督的情况下总结了数据。与以前的解决方案不同,我们的估算器近似于联合数据分布,没有任何独立性假设。当在真实世界数据集上进行评估并与实际系统和主要技术家族进行比较时,我们的基于似然模型的估计器在尾部实现了单位数乘法误差,比第二种最佳方法提高了40-200 $ \次精度,并且是空间和运行时间效率高达。
translated by 谷歌翻译
我们提出了神经引导的RANSAC(NG-RANSAC),它是来自鲁棒优化的经典RANSAC算法的扩展。 NG-RANSAC使用先验信息来改进模型假设搜索,增加了寻找离群最小集的机会。以前的作品使用启发式的边信息,如手工制作的描述距离来指导假设搜索。相比之下,我们以原则的方式学习假设搜索,这样我们可以在训练期间优化任意任务丢失,从而大大改进经典的计算机视觉任务。我们提出了NG-RANSAC的两个进一步扩展。首先,使用inlier计数本身作为训练信号允许我们以自我监督的方式训练神经指导。其次,我们将神经引导与可区分的RANSAC结合起来构建神经网络,该神经网络关注输入数据的某些部分并使输出预测尽可能好。我们评估NG-RANSAC的各种计算机视觉任务,即对极几何的估计,地平线估计和相机重新定位。与最先进的学习者相比,我们可以获得优越或具有竞争力的结果,包括最新的学习者。
translated by 谷歌翻译
检测驾驶员的意图是自驾车的一项基本任务,是预测车道变更和停车等突发事件所必需的。转向信号灯和紧急闪光灯传达这样的意图,提供几秒钟的潜在关键反应时间。在本文中,我们建议通过使用深入神经网络来检测视频序列中的信号,该神经网络推导出空间和时间信息。我们对超过一百万帧的实验表明,在非常具有挑战性的情况下,每帧精度很高。
translated by 谷歌翻译