优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
自动驾驶是机器人和人工智能社区目前面临的最大问题之一,无论是在困难还是潜在的社会影响方面。预计自动驾驶车辆(SDV)可以防止道路交通事故并挽救数百万人的生命,同时改善更多人的生活和生活质量。然而,尽管有很多兴趣和许多在自治领域工作的行业参与者,但为了开发一种能够与最佳人类驾驶员相媲美的系统,还有许多工作要做。其中一个原因是交通行为的高度不确定性以及SDV在道路上可能遇到的大量情况,这使得创建完全可推广的系统变得非常困难。为了确保安全和高效的运营,自动驾驶汽车需要考虑到这种不确定性并预测其周围交通行为者的众多可能的行为。在这项工作中,我们解决了这个关键问题,并提出了一种方法来预测演员的多个可能轨迹,同时估计他们的概率。该方法将eachactor的周围环境编码为栅格图像,用作深度卷积网络的输入,自动导出任务的相关特征。随后进行广泛的离线评估和与最新基线的比较,以及封闭的课程测试,方法已成功部署到一支SDV车队。
translated by 谷歌翻译
尽管人类在日常生活中无处不在,但人工智能才刚刚开始在可能具有迄今为止最大的社会影响力方面取得进展,然后是自动驾驶的最新领域。在这项工作中,我们讨论了这个重要的主题,并解决了新兴领域的一个重要方面,即预测未来自主车辆周围状态的安全高效运营所必需的问题。我们引入了一种基于深度学习的方法,该方法考虑了当前的世界状态,并生成每个演员附近的栅格化表示。然后,深度卷积模型使用光栅图像来推断演员的未来移动,同时考虑预测任务的固有不确定性。对现实世界数据的广泛实验强烈提出了所提出方法的好处。此外,以下成功的测试系统被部署到一队自动驾驶车辆。
translated by 谷歌翻译
贝叶斯优化(BO)是指一种全局优化函数$ f $的方法,它只能通过点评估来访问。它通常用于评估$ f $的设置。 BO在机器学习中的常见情况是模型选择,其中不可能对统计模型的泛化性能进行分析建模,并且我们采用噪声和昂贵的训练和验证程序来选择最佳模型。传统的BO方法专注于欧几里德和类别域,在模型选择的上下文中,只允许调整机器学习算法的标量超参数。然而,随着对深度学习的兴趣激增,对校正网络\ emph {架构}的需求不断增加。在这项工作中,我们开发了NASBOT,一个基于高斯过程的BO框架,用于神经架构搜索。为了实现这一点,我们在神经网络体系结构的空间中开发了一个距离度量,可以通过最优的传输程序有效地计算。该距离可能对深度学习社区具有独立的兴趣,因为它可能在BO之外找到应用。我们证明NASBOT在多层感知器和卷积神经网络的几个基于交叉验证的模型选择任务中执行其他架构搜索的替代方案。
translated by 谷歌翻译
一般密度估计的基本任务$ p(x)$对机器学习非常敏感。在这项工作中,我们试图系统地描述密度估计的方法。从广义上讲,大多数现有方法可以分为使用:\ textit {a})自回归模型来估计链规则的条件因子,$ p(x_ {i} \,| \,x_ {i-1} ,\ ldots)$;或\ textit {b})简单基本分布的变量的非线性变换。在研究这些类别的特征的基础上,我们为每个类别提出了多种新方法。例如,我们提出了基于RNN的变换来模拟非马尔可夫的依赖关系。此外,通过对现实世界和合成数据的综合研究,我们展示了联合利用变量和自回归条件模型的变换,结果在性能上有了相当大的改进。我们在异常检测和图像建模中说明了我们的模型的使用。最后,我们介绍了一种用于学习分布族的新型数据驱动框架。
translated by 谷歌翻译
在许多科学和工程应用中,我们的任务是评估昂贵的黑盒功能$ f $。这个问题的传统设置只假设这个单一函数的可用性。但是,在许多情况下,可以获得$ f $的便宜近似值。例如,机器人的昂贵的现实世界行为可以通过acheap计算机模拟来近似。我们可以使用这些近似值来廉价地消除低功能值区域,并在尽可能小的区域中使用昂贵的$ f $评估并快速确定最佳值。我们将此任务形式化为\ emph {多保真}强盗问题,其中目标函数和近似值是从高斯过程中采样的。我们开发了基于上置信界限技术的MF-GP-UCB,anovel方法。在我们的理论分析中,我们证明它恰好表现出上述行为,并且比忽略多保真信息的策略更令人遗憾。实际上,MF-GP-UCB在几个合成和实际实验中优于这种天真策略和其他多保真方法。
translated by 谷歌翻译
Bayesian Optimisation (BO) is a technique used in optimising a$D$-dimensional function which is typically expensive to evaluate. While therehave been many successes for BO in low dimensions, scaling it to highdimensions has been notoriously difficult. Existing literature on the topic areunder very restrictive settings. In this paper, we identify two key challengesin this endeavour. We tackle these challenges by assuming an additive structurefor the function. This setting is substantially more expressive and contains aricher class of functions than previous work. We prove that, for additivefunctions the regret has only linear dependence on $D$ even though the functiondepends on all $D$ dimensions. We also demonstrate several other statisticaland computational benefits in our framework. Via synthetic examples, ascientific simulation and a face detection problem we demonstrate that ourmethod outperforms naive BO on additive functions and on several examples wherethe function is not additive.
translated by 谷歌翻译
Word向量表示是用于各种NLP和机器学习任务的良好开发工具,并且已知保留语言的重要语义和语法结构。但是它们容易携带和放大,这可能会在各种应用中实施歧视。在这项工作中,我们探索了一种新的简单方法,可以在嵌入中检测最具刻板性别的单词,并消除它们的偏见。我们验证名称是如何被掩盖性别偏见的载体,然后将其用作减弱偏差嵌入的工具。此外,我们扩展了这个名称的属性,以显示如何使用名称来检测嵌入中的其他类型的偏见,例如基于onrace,种族和年龄的偏差。
translated by 谷歌翻译
诸如冲击和温度变化之类的外部影响会影响视觉惯性传感器系统的校准,因此它们无法完全依赖工厂校准。由用户收集的短数据集执行的重新校准可能会产生较差的性能,因为某些参数的可观察性高度依赖于运动。此外,在资源受限的系统(例如移动电话)上,完全批量处理过长的会话很快变得非常昂贵。在本文中,我们通过引入信息理论度量来评估轨迹分段的信息内容来处理自校准问题,从而允许从数据集中选择信息最丰富的部分用于校准目的。通过这种方法,我们能够构建紧凑的校准数据集:(a)通过选择具有有限激动的长会话的分段或(b)从多个短会话中,其中单个会话不一定足以激发所有模式。四个不同环境中的真实实验表明,所提出的方法与批量校准方法具有相当的性能,但是,在与这些持续时间无关的恒定计算复杂度上。
translated by 谷歌翻译
我们开发了快速算法,用于在$ p> 2 $的加权图上求解变分和博弈理论的$ p $ -Laplace方程。最近提出了$ p $ -Laplacian for $ p> 2 $作为半监督学习问题中标准($ p = 2 $)图拉普拉斯算子的替代品,标签非常少,其中拉普拉斯图的最小化变得堕落。我们为变分和游戏理论公式提供了几种有效且可扩展的算法,并提供了合成数据的数值结果以及分类和回归问题,这些问题说明了$ p $ -Laplacian对于少量标签的半监督学习的有效性。
translated by 谷歌翻译