贝叶斯优化（BO）对评估昂贵的功能的全球优化表现出了巨大的希望，但是尽管取得了许多成功，但标准方法仍可能在高维度上挣扎。为了提高BO的性能，先前的工作建议将梯度信息纳入目标的高斯流程替代，从而产生了$ n $ nd $ nd $的内核矩阵，以$ d $ d $ dimensions中的$ n $观察。 na \“ intival”将这些矩阵乘以$ \ MATHCAL {o}（n^2d^2）$（resp。$ \ mathcal {o}（n^3d^3 $））的操作，它变成对于中等尺寸和样本量不可行。在这里，我们观察到众多的内核会产生结构化的矩阵，从而使精确的$ \ MATHCAL {O}（n^2d）$矩阵 - 矢量乘以梯度观察和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ {o}（n^2d^2）$用于Hessian观察。除了规范内核类别之外，我们得出了一种程序化方法来利用这种类型的结构进行转换和讨论的内核类的组合，该类别构成了一种结构意识到的自动差异算法。我们的方法几乎适用于所有规范内核，并自动扩展到复杂的内核，例如神经网络，径向基函数网络和光谱混合物内核，而无需任何其他衍生物，可以在将一阶BO缩放到高度的同时，使其具有灵活的，问题依赖性的建模$ D $。

强化学习（RL）旨在通过与环境的互动来找到最佳政策。因此，学习复杂行为需要大量的样本，这在实践中可能是持久的。然而，而不是系统地推理和积极选择信息样本，用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计，因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心，它构成了过去样本的目标的概率替代物，以推理信息的后来的随后。在本文中，我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型，该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法，我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外，我们突出了主动抽样对流行的RL基准测试的好处。

来自原子模拟数据的重建力场（FF）是一个挑战，因为准确的数据可能非常昂贵。在这里，机器学习（ML）模型可以帮助成为数据经济，因为可以使用基础对称性和物理保护定律成功限制它们。但是，到目前为止，每个针对ML模型新提出的描述符都需要进行繁琐且数学繁琐的重塑。因此，我们建议在ML建模过程中使用来自算法分化的现代技术 - 有效地以更高的计算效率的阶顺序自动地使用新颖的描述符或模型。这种范式的方法不仅可以使新的表示形式的多功能用法，对FF社区的有效计算（对FF社区的高价值都高），而且还可以简单地包含进一步的物理知识，例如高阶信息（例如〜Hessians） ，更复杂的部分微分方程约束等），甚至超出了提出的FF域。

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

我们制定自然梯度变推理（VI），期望传播（EP），和后线性化（PL）作为牛顿法用于优化贝叶斯后验分布的参数扩展。这种观点明确地把数值优化框架下的推理算法。我们表明，通用近似牛顿法从优化文献，即高斯 - 牛顿和准牛顿方法（例如，该BFGS算法），仍然是这种“贝叶斯牛顿”框架下有效。这导致了一套这些都保证以产生半正定协方差矩阵，不像标准VI和EP新颖算法。我们统一的观点提供了新的见解各种推理方案之间的连接。所有提出的方法适用于具有高斯事先和非共轭的可能性，这是我们与（疏）高斯过程和状态空间模型展示任何模型。

我们介绍了Hida-Mat'Ern内核的班级，这是整个固定式高斯 - 马尔可夫流程的整个空间的规范家庭协方差。它在垫子内核上延伸，通过允许灵活地构造具有振荡组件的过程。任何固定内核，包括广泛使用的平方指数和光谱混合核，要么直接在该类内，也是适当的渐近限制，展示了该类的一般性。利用其Markovian Nature，我们展示了如何仅使用内核及其衍生物来代表状态空间模型的过程。反过来，这使我们能够更有效地执行高斯工艺推论，并且侧面通常计算负担。我们还表明，除了进一步减少计算复杂性之外，我们还显示了如何利用状态空间表示的特殊属性。

Bayesian Optimization（Bo）是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是，有关客观函数计算的内部信息通常可用。例如，在使用模拟优化制造行的吞吐量时，除了整体吞吐量之外，我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法，因为它们将客观计算视为部分可观察且甚至可修改，将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法，专注于复合物镜功能的博，其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博，其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。

Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

Derivatives, mostly in the form of gradients and Hessians, are ubiquitous in machine learning. Automatic differentiation (AD), also called algorithmic differentiation or simply "autodiff", is a family of techniques similar to but more general than backpropagation for efficiently and accurately evaluating derivatives of numeric functions expressed as computer programs. AD is a small but established field with applications in areas including computational fluid dynamics, atmospheric sciences, and engineering design optimization. Until very recently, the fields of machine learning and AD have largely been unaware of each other and, in some cases, have independently discovered each other's results. Despite its relevance, general-purpose AD has been missing from the machine learning toolbox, a situation slowly changing with its ongoing adoption under the names "dynamic computational graphs" and "differentiable programming". We survey the intersection of AD and machine learning, cover applications where AD has direct relevance, and address the main implementation techniques. By precisely defining the main differentiation techniques and their interrelationships, we aim to bring clarity to the usage of the terms "autodiff", "automatic differentiation", and "symbolic differentiation" as these are encountered more and more in machine learning settings.

寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习，即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务，使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人，以前尚未应用于这个问题。然而，贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的，离散的受限搜索空间，包含无效配置。我们介绍了一种新颖的上下文方差探索因子，以及具有改进的可扩展性的新采集功能，与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能，以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现，我们证明我们的搜索策略概括了良好的良好，并始终如一地以广泛的保证金更优于其他搜索策略。

在不断努力提高产品质量和降低运营成本中，越来越多地部署计算建模以确定产品设计或配置的可行性。通过本地模型代理这些计算机实验的建模，仅考虑短程交互，诱导稀疏性，可以解决复杂输入输出关系的巨大分析。然而，缩小到地方规模的重点意味着必须一遍又一遍地重新学习全球趋势。在本文中，我们提出了一种框架，用于将来自全局敏感性分析的信息纳入代理模型作为输入旋转和重新扫描预处理步骤。我们讨论了基于内核回归的几个敏感性分析方法的关系在描述它们如何产生输入变量的转换之前。具体而言，我们执行输入扭曲，使得“翘曲模拟器”对所有输入方向同样敏感，释放本地模型以专注于本地动态。观测数据和基准测试功能的数值实验，包括来自汽车行业的高维计算机模拟器，提供了实证验证。

优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如，在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量，以找到高性能的排列。使用贝叶斯优化（BO）框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中，我们提出并评估了博的两个算法（BOPS）。首先，BOPS-T采用高斯工艺（GP）代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法，以选择评估的排列顺序。其次，BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法，以优化预期的改进采集功能。理论上，从理论上分析BOPS-T的性能，以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明，BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究，我们为社区提供了新的资源和现实世界基准。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。

贝叶斯优化是一种全球优化未知和昂贵目标的方法。它结合了替代贝叶斯回归模型与采集函数，以决定在哪里评估目标。典型的回归模型是具有固定协方差函数的高斯流程，但是，该过程无法表达事先的输入依赖性信息，特别是有关最佳位置的信息。固定模型的普遍性导致了通过信息丰富的均值功能利用先验信息的共同实践。在本文中，我们强调说，这些模型会导致性能差，尤其是在高维度中。我们提出了新颖的信息协方差函数，以利用非平稳性来编码搜索空间某些区域的偏好，并在优化期间自适应促进局部探索。我们证明，即使在弱的先验信息下，它们也可以在高维度中提高优化的样本效率。

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

我们开发了一个计算程序，以估计具有附加噪声的半摩托车高斯过程回归模型的协方差超参数。也就是说，提出的方法可用于有效估计相关误差的方差，以及基于最大化边际似然函数的噪声方差。我们的方法涉及适当地降低超参数空间的维度，以简化单变量的根发现问题的估计过程。此外，我们得出了边际似然函数及其衍生物的边界和渐近线，这对于缩小高参数搜索的初始范围很有用。使用数值示例，我们证明了与传统参数优化相比，提出方法的计算优势和鲁棒性。