贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此,对于深度神经网络中的超参数调整,即使是一些超参数设置评估验证错误所需的时间仍然是瓶颈。多保真优化有望减少对这些目标使用更便宜的代理 - 例如,使用训练点的子集训练网络的验证错误或者收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的多保真贝叶斯优化方法,重点是有效地优化迭代训练的监督学习模型的超参数。我们引入了一种新的采集功能,即跟踪感知知识梯度,它有效地利用了多个连续保真度控制和跟踪观察---保真序列中物镜的值,当使用训练迭代改变保真度时可用。我们提供了可用于优化我们的采集功能的可变方法,并展示了它为超神经网络和大规模内核学习的超参数调整提供了最先进的替代方案。
translated by 谷歌翻译
贝叶斯优化是一种优化目标函数的方法,需要花费很长时间(几分钟或几小时)来评估。它最适合于在小于20维的连续域上进行优化,并且在功能评估中容忍随机噪声。它构建了目标的替代品,并使用贝叶斯机器学习技术,高斯过程回归量化该替代品中的不确定性,然后使用从该代理定义的获取函数来决定在何处进行抽样。在本教程中,我们描述了贝叶斯优化的工作原理,包括高斯过程回归和三种常见的采集功能:预期改进,熵搜索和知识梯度。然后,我们讨论了更先进的技术,包括在并行,多保真和多信息源优化,昂贵的评估约束,随机环境条件,多任务贝叶斯优化以及包含衍生信息的情况下运行多功能评估。最后,我们讨论了贝叶斯优化软件和该领域未来的研究方向。在我们的教程材料中,我们提供了对噪声评估的预期改进的时间化,超出了无噪声设置,在更常用的情况下。这种概括通过正式的决策理论论证来证明,与先前的临时修改形成鲜明对比。
translated by 谷歌翻译
We consider parallel global optimization of derivative-free expensive-to-evaluate functions, and propose an efficient method based on stochastic approximation for implementing a conceptual Bayesian optimization algorithm proposed by Ginsbourger et al. (2007). At the heart of this algorithm is maximizing the information criterion called the "multi-points expected improvement", or the q-EI. To accomplish this, we use infinitessimal perturbation analysis (IPA) to construct a stochastic gradient estimator and show that this estimator is unbiased. We also show that the stochastic gradient ascent algorithm using the constructed gradient estimator converges to a stationary point of the q-EI surface, and therefore, as the number of multiple starts of the gradient ascent algorithm and the number of steps for each start grow large, the one-step Bayes optimal set of points is recovered. We show in numerical experiments that our method for maximizing the q-EI is faster than methods based on closed-form evaluation using high-dimensional integration, when considering many parallel function evaluations, and is comparable in speed when considering few. We also show that the resulting one-step Bayes optimal algorithm for parallel global optimization finds high-quality solutions with fewer evaluations than a heuristic based on approximately maximizing the q-EI. A high-quality open source implementation of this algorithm is available in the open source Metrics
translated by 谷歌翻译
有大量复杂的动态系统对我们的日常生活和社会至关重要但却难以理解,即使今天有可能感知和收集大量的实验数据,它们也是如此复杂和不断发展,以至于它们的动力不太可能将被详细了解。然而,通过计算工具,我们可以尝试最好地利用当前技术和可用数据。我们认为,最有用的模型将在有限的知识或多个假设的背景下考虑系统复杂性和可用数据之间的不平衡。生物细胞的复杂系统是在系统生物学中研究的这种系统的一个主要例子,并且激发了本文提出的方法。它们是作为DARPA快速威胁评估(RTA)计划的一部分而开发的,该计划涉及对影响人体细胞的毒素或药物的作用机制(MoA)的理解。结合使用高斯过程和抽象网络建模,我们提出了三种基本的不同的基于机器学习的方法来学习因果关系,并从高维时间序列数据中合成因果网络。虽然其他类型的数据可用并且已经在我们的RTA工作中进行了分析和整合,但我们关注的是本文中从高通量微阵列实验获得的转录组学(即基因表达)数据,以说明我们的算法的能力和局限性。我们的算法使得不同但总体上相对较少的生物学假设,因此它们适用于其他类型的生物数据,甚至可能适用于其他复杂系统,这些系统具有高维度但不具有生物学性质。
translated by 谷歌翻译
Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
在本文中,我们研究了随机环境中主要广义特征向量计算和典型相关分析的问题。我们提出了一个简单而有效的算法Gen-Oja来解决这些问题。我们证明了算法的全局收敛性,借鉴了理论混合马尔可夫链和两时间尺度随机逼近的思想,表明它达到了最优收敛速度。在这个过程中,我们开发工具来理解马尔可夫噪声的随机过程,这可能是独立的兴趣。
translated by 谷歌翻译
我们提供产生美丽诗歌的代码。我们的十四行星生成算法包括几个新的元素,改进了最先进的,导致节奏和鼓舞人心的诗歌。所讨论的工作是计算机生成的诗歌2018年PoetiX文学图灵测试奖的获得者。
translated by 谷歌翻译
生产软件一年中发现了数千个安全漏洞,这些漏洞要么公开报告给常见漏洞和暴露数据库,要么在内部用专有代码发现。漏洞通常以微妙的方式表现出来,这对于编写评论者或开发人员本身并不明显。利用丰富的开源代码进行分析,有机会了解可能直接从数据导致安全漏洞的错误模式。在本文中,我们使用机器学习提出了adata驱动的漏洞检测方法,特别适用于C和C ++程序。我们首先编译一个由数十万个开源函数组成的大型数据集,这些函数用标准分析器的输出标记。然后,我们将直接应用于源代码的方法与应用于从构建过程中提取的工件的方法进行比较,发现基于源的模型执行得更好。我们还将深层网络模型的应用与随机森林等更传统的模型进行了比较,发现最佳性能来自深层模型与基于树的模型相结合的特征。最终,我们的最高性能模型在精确回忆曲线0.49和ROC曲线下面积为0.87的条件下实现了分析。
translated by 谷歌翻译
我们考虑跟踪在分布式设置中超时演变的过程状态的问题,其中多个观察者各自观察状态的部分,这是具有广泛应用的基本信息处理问题。我们提出了一种云辅助方案,其中跟踪是在云上进行的。特别是,为了提供及时和准确的更新,并缓解云计算的落后问题,我们提出了编码分布式计算方法,其中编码观察分布在多个工作者上。所提出的方案基于卡尔曼滤波器的编码版本,该滤波器对利用纠删码编码的数据进行操作,使得可以通过由工作人员的子集计算的部分更新来估计状态。我们将所提出的方案应用于跟踪多个车辆的问题,并且表明它实现了与相应的未编码方案相比更高的精度,并且当更新间隔足够大时接近理想中心化方案的准确性。最后,我们要在信息时代和估计准确性之间进行权衡。
translated by 谷歌翻译
深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于模拟真实世界数据是必不可少的,并且可以通过将相关变量结合到模型来从DGP生成。先前关于DGP模型的工作已经引入了加性和使用变分推理,其中使用稀疏高斯过程和平均场高斯的组合用于近似后验。加性噪声衰减信号,并且高斯形式的变分布可能导致后验不准确。我们将噪声变量作为潜在协变量,并提出一种新颖的重要性加权目标,它利用分析结果并提供一种权衡计算的机制以提高准确性。我们的研究结果表明,重要加权目标在实践中运作良好,并且始终优于经典变分推理,尤其是对于更深层次的模型。
translated by 谷歌翻译