贝叶斯优化(BO)是指用于对昂贵的黑盒函数进行全局优化的一套技术,它使用函数的内省贝叶斯模型来有效地找到最优值。虽然BO已经在许多应用中成功应用,但现代优化任务迎来了传统方法失败的新挑战。在这项工作中,我们展示了Dragonfly,这是一个开源Python库,用于可扩展和强大的BO.Dragonfly包含多个最近开发的方法,允许BO应用于具有挑战性的现实世界环境;这些包括更好的处理更高维域的方法,当昂贵函数的廉价近似可用时处理多保真评估的方法,优化结构化组合空间的方法,例如神经网络架构的空间,以及处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,以及优化具有不同变量类型和附加约束的过复杂域。我们将Dragonfly与一套用于全局优化的其他软件包和算法进行比较,并证明当上述方法集成时,它们可以显着改善BO的性能。 Dragonfly图书馆可在dragonfly.github.io上找到。
translated by 谷歌翻译
优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
尽管人类在日常生活中无处不在,但人工智能才刚刚开始在可能具有迄今为止最大的社会影响力方面取得进展,然后是自动驾驶的最新领域。在这项工作中,我们讨论了这个重要的主题,并解决了新兴领域的一个重要方面,即预测未来自主车辆周围状态的安全高效运营所必需的问题。我们引入了一种基于深度学习的方法,该方法考虑了当前的世界状态,并生成每个演员附近的栅格化表示。然后,深度卷积模型使用光栅图像来推断演员的未来移动,同时考虑预测任务的固有不确定性。对现实世界数据的广泛实验强烈提出了所提出方法的好处。此外,以下成功的测试系统被部署到一队自动驾驶车辆。
translated by 谷歌翻译
一般密度估计的基本任务$ p(x)$对机器学习非常敏感。在这项工作中,我们试图系统地描述密度估计的方法。从广义上讲,大多数现有方法可以分为使用:\ textit {a})自回归模型来估计链规则的条件因子,$ p(x_ {i} \,| \,x_ {i-1} ,\ ldots)$;或\ textit {b})简单基本分布的变量的非线性变换。在研究这些类别的特征的基础上,我们为每个类别提出了多种新方法。例如,我们提出了基于RNN的变换来模拟非马尔可夫的依赖关系。此外,通过对现实世界和合成数据的综合研究,我们展示了联合利用变量和自回归条件模型的变换,结果在性能上有了相当大的改进。我们在异常检测和图像建模中说明了我们的模型的使用。最后,我们介绍了一种用于学习分布族的新型数据驱动框架。
translated by 谷歌翻译
Bayesian Optimisation (BO) is a technique used in optimising a$D$-dimensional function which is typically expensive to evaluate. While therehave been many successes for BO in low dimensions, scaling it to highdimensions has been notoriously difficult. Existing literature on the topic areunder very restrictive settings. In this paper, we identify two key challengesin this endeavour. We tackle these challenges by assuming an additive structurefor the function. This setting is substantially more expressive and contains aricher class of functions than previous work. We prove that, for additivefunctions the regret has only linear dependence on $D$ even though the functiondepends on all $D$ dimensions. We also demonstrate several other statisticaland computational benefits in our framework. Via synthetic examples, ascientific simulation and a face detection problem we demonstrate that ourmethod outperforms naive BO on additive functions and on several examples wherethe function is not additive.
translated by 谷歌翻译
我们展示了如何计算平面曲线的圆形面积不变量,以及表面的球面体积不变量,分别用线和曲面积分计算。我们使用Divergence定理分别将面积和体积积分表示为线和曲面积分,与特定内核相对应;我们的结果也扩展到更高维的超曲面。得到的表面积分可以在三角网格上进行分析计算。这为计算三角形表面的球形体积变量提供了一种简单的计算算法,不需要对环境空间进行离散化。我们讨论了人类学中感兴趣的断骨碎片特征检测的潜在应用。
translated by 谷歌翻译
背景和目的:从快速同时弛豫测量成像(RSRI)获得合成髓鞘体积分数图(SyMVF)的当前算法具有潜在的问题,即它不包含来自周围像素的信息。本研究的目的是开发一种利用卷积神经网络(CNN)来克服这一问题的方法。方法:包括来自20名健康志愿者的RSRI和磁化传递图像。使用从磁化转移图像(MTMVI)计算的髓鞘体积指数图作为参考,训练CNN以将RSRI相关的度量图重建为amyelin体积相关指数(生成的髓鞘体积指数:GenMVI)图。对SyMVF和GenMVI图进行统计学比较,以确定它们与MTMVI图的相关性。我们基于以下方面评估相关性:(i)从164个基于图谱的ROI获得的平均值,以及(ii)在四种不同组织类型(皮质和皮质下灰质,白质和全脑)中定义的ROI的基于像素的比较。结果:对于基于图谱的ROI,与MTMVI图的整体相关性在GenMVI图中高于SyMVF图。在基于像素的比较中,与MTMVI图的相关性对于GenMVI图比对于SmaVF图更强,并且志愿者的分布差异在所有组织类型中都是显着的(Wilcoxon符号秩检验,P <.001)。结论:所提出的方法是有用的,因为它可以包含比现有方法更多的关于局部组织特性的特定信息。
translated by 谷歌翻译
理解大脑的神经科学方法是寻找和研究高度激活单个细胞或细胞群的优选刺激。机器学习的最新进展使得一系列方法能够合成优先刺激,导致人工或生物脑中的神经元强烈地发挥作用。 。这些方法称为激活最大化(AM)或通过优化的特征可视化。在本章中,我们(1)回顾了文献中现有的AM技术; (2)讨论AM的概率解释; (3)审查AM在调试和解释网络中的应用。
translated by 谷歌翻译
我们通过学习原始音频的表示来探索无监督的语音识别预训练。 wav2vec接受大量未标记的音频数据的训练,然后使用所得到的表示来改进声学模型训练。我们通过噪声对比二进制分类任务预先训练一个简单的多层卷积神经网络。我们的WSJ实验在只有几小时的转录数据可用时,将基于字符的强对数滤波器组基线的WER降低了32%。我们认可nov92测试仪上的2.78%WER。这比文献中报道的最好的基于字符的系统Deep Speech 2更胜一筹,同时使用三个数量级的标记较少的训练数据。
translated by 谷歌翻译
事实核查是新闻业的一项重要任务;由于最近越来越多的关注和努力打击信息,其重要性得到了高度重视。在本文中,我们提出了一个自动事实检查平台,它给出了一个主张,它从文档集中检索相关的文本证据,预测每一个证据是否支持或驳斥该声明,并返回最终判决。我们描述了系统和用户界面的体系结构,重点关注为提高用户友好性和透明度而做出的选择。我们在新闻环境中对事实检查平台进行用户研究:我们将其与新闻文章的集合进行整合,并使用他们工作流程中记者的反馈来评估平台。我们发现平台的预测值在58%以上是正确的,59%的返回证据是相关的。
translated by 谷歌翻译