贝叶斯优化(BO)是指用于对昂贵的黑盒函数进行全局优化的一套技术,它使用函数的内省贝叶斯模型来有效地找到最优值。虽然BO已经在许多应用中成功应用,但现代优化任务迎来了传统方法失败的新挑战。在这项工作中,我们展示了Dragonfly,这是一个开源Python库,用于可扩展和强大的BO.Dragonfly包含多个最近开发的方法,允许BO应用于具有挑战性的现实世界环境;这些包括更好的处理更高维域的方法,当昂贵函数的廉价近似可用时处理多保真评估的方法,优化结构化组合空间的方法,例如神经网络架构的空间,以及处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,以及优化具有不同变量类型和附加约束的过复杂域。我们将Dragonfly与一套用于全局优化的其他软件包和算法进行比较,并证明当上述方法集成时,它们可以显着改善BO的性能。 Dragonfly图书馆可在dragonfly.github.io上找到。
translated by 谷歌翻译
优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
尽管人类在日常生活中无处不在,但人工智能才刚刚开始在可能具有迄今为止最大的社会影响力方面取得进展,然后是自动驾驶的最新领域。在这项工作中,我们讨论了这个重要的主题,并解决了新兴领域的一个重要方面,即预测未来自主车辆周围状态的安全高效运营所必需的问题。我们引入了一种基于深度学习的方法,该方法考虑了当前的世界状态,并生成每个演员附近的栅格化表示。然后,深度卷积模型使用光栅图像来推断演员的未来移动,同时考虑预测任务的固有不确定性。对现实世界数据的广泛实验强烈提出了所提出方法的好处。此外,以下成功的测试系统被部署到一队自动驾驶车辆。
translated by 谷歌翻译
一般密度估计的基本任务$ p(x)$对机器学习非常敏感。在这项工作中,我们试图系统地描述密度估计的方法。从广义上讲,大多数现有方法可以分为使用:\ textit {a})自回归模型来估计链规则的条件因子,$ p(x_ {i} \,| \,x_ {i-1} ,\ ldots)$;或\ textit {b})简单基本分布的变量的非线性变换。在研究这些类别的特征的基础上,我们为每个类别提出了多种新方法。例如,我们提出了基于RNN的变换来模拟非马尔可夫的依赖关系。此外,通过对现实世界和合成数据的综合研究,我们展示了联合利用变量和自回归条件模型的变换,结果在性能上有了相当大的改进。我们在异常检测和图像建模中说明了我们的模型的使用。最后,我们介绍了一种用于学习分布族的新型数据驱动框架。
translated by 谷歌翻译
Bayesian Optimisation (BO) is a technique used in optimising a$D$-dimensional function which is typically expensive to evaluate. While therehave been many successes for BO in low dimensions, scaling it to highdimensions has been notoriously difficult. Existing literature on the topic areunder very restrictive settings. In this paper, we identify two key challengesin this endeavour. We tackle these challenges by assuming an additive structurefor the function. This setting is substantially more expressive and contains aricher class of functions than previous work. We prove that, for additivefunctions the regret has only linear dependence on $D$ even though the functiondepends on all $D$ dimensions. We also demonstrate several other statisticaland computational benefits in our framework. Via synthetic examples, ascientific simulation and a face detection problem we demonstrate that ourmethod outperforms naive BO on additive functions and on several examples wherethe function is not additive.
translated by 谷歌翻译
我们通过学习原始音频的表示来探索无监督的语音识别预训练。 wav2vec接受大量未标记的音频数据的训练,然后使用所得到的表示来改进声学模型训练。我们通过噪声对比二进制分类任务预先训练一个简单的多层卷积神经网络。我们的WSJ实验在只有几小时的转录数据可用时,将基于字符的强对数滤波器组基线的WER降低了32%。我们认可nov92测试仪上的2.78%WER。这比文献中报道的最好的基于字符的系统Deep Speech 2更胜一筹,同时使用三个数量级的标记较少的训练数据。
translated by 谷歌翻译
事实核查是新闻业的一项重要任务;由于最近越来越多的关注和努力打击信息,其重要性得到了高度重视。在本文中,我们提出了一个自动事实检查平台,它给出了一个主张,它从文档集中检索相关的文本证据,预测每一个证据是否支持或驳斥该声明,并返回最终判决。我们描述了系统和用户界面的体系结构,重点关注为提高用户友好性和透明度而做出的选择。我们在新闻环境中对事实检查平台进行用户研究:我们将其与新闻文章的集合进行整合,并使用他们工作流程中记者的反馈来评估平台。我们发现平台的预测值在58%以上是正确的,59%的返回证据是相关的。
translated by 谷歌翻译
如今,轨道车辆本地化基于基础设施侧的Balises(信标)以及车载里程,以确定铁路段是否被占用。这种粗略锁定导致铁路网络的次优使用。新的铁路标准提出使用以铁路车辆为中心的移动块来增加网络的容量。然而,这种方法需要对所有车辆进行准确而稳健的位置和速度估算。在这项工作中,我们研究了当前视觉和视觉惯性运动估计框架对铁路应用的适用性,挑战和局限性。在工业,郊区和环境中记录的多个数据集中,对RTK-GPS地面实况进行了评估。我们的研究结果表明,立体视觉惯性测量法具有很大的潜力,可以提供精确的运动估计,因为它具有补充传感器模态,并且在与其他框架相比具有挑战性的情况下表现出优越的性能。
translated by 谷歌翻译
光学散射测量法是一种测量表面上周期性微米或纳米结构的尺寸和形状的方法。为此目的,通过数值模拟再现实验测量结果来获得结构的几何参数。我们将Bayesianoptimization的性能与不同的局部最小化算法进行比较,以解决这一数值优化问题。贝叶斯优化使用高斯过程回归来获得有希望的参数值。我们研究了如何使用预先计算的模拟结果来训练高斯过程并加速优化。
translated by 谷歌翻译
本文以前面使用组合分类语法(CCG)的工作为基础,为抽象含义表示(AMR)解析导出透明语法 - 语义接口。我们为CCG组合器定义了更适合于导出AMR图的新语义。特别地,我们定义了应用和组合组合的对称替代方案:这些组合要求组合的两个组成部分在一个AMR关系中重叠。我们还提供了一种新的语义类型提升,这是必要的强制结构。使用这些机制,我们建议对发明名词进行分析,这对于推导AMR图表提出了挑战。理论分析将有助于使用CCG进行强大而透明的AMR分析的未来工作。
translated by 谷歌翻译