Bayesian optimization (BO), while proved highly effective for many black-box function optimization tasks, requires practitioners to carefully select priors that well model their functions of interest. Rather than specifying by hand, researchers have investigated transfer learning based methods to automatically learn the priors, e.g. multi-task BO (Swersky et al., 2013), few-shot BO (Wistuba and Grabocka, 2021) and HyperBO (Wang et al., 2022). However, those prior learning methods typically assume that the input domains are the same for all tasks, weakening their ability to use observations on functions with different domains or generalize the learned priors to BO on different search spaces. In this work, we present HyperBO+: a pre-training approach for hierarchical Gaussian processes that enables the same prior to work universally for Bayesian optimization on functions with different domains. We propose a two-step pre-training method and analyze its appealing asymptotic properties and benefits to BO both theoretically and empirically. On real-world hyperparameter tuning tasks that involve multiple search spaces, we demonstrate that HyperBO+ is able to generalize to unseen search spaces and achieves lower regrets than competitive baselines.

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

采集函数是贝叶斯优化（BO）中的关键组成部分，通常可以写为在替代模型下对效用函数的期望。但是，为了确保采集功能是可以优化的，必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序，我们提出了不含可能性的BO（LFBO），这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模，而无需单独使用概率替代模型进行推断。我们表明，可以将计算LFBO中的采集函数缩小为优化加权分类问题，而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能，LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构，从而进一步改善了其遗憾。

贝叶斯优化（BO）已成为黑框函数的顺序优化。当BO用于优化目标函数时，我们通常可以访问对潜在相关功能的先前评估。这就提出了一个问题，即我们是否可以通过元学习（meta-bo）来利用这些先前的经验来加速当前的BO任务，同时确保稳健性抵抗可能破坏BO融合的潜在有害的不同任务。本文介绍了两种可扩展且可证明的稳健元算法：稳健的元高斯过程 - 加工置信度结合（RM-GP-UCB）和RM-GP-thompson采样（RM-GP-TS）。我们证明，即使某些或所有以前的任务与当前的任务不同，这两种算法在渐近上都是无重组的，并且证明RM-GP-UCB比RM-GP-TS具有更好的理论鲁棒性。我们还利用理论保证，通过通过在线学习最大程度地减少遗憾，优化分配给各个任务的权重，从而减少了相似任务的影响，从而进一步增强了稳健性。经验评估表明，（a）RM-GP-UCB在各种应用程序中都有效，一致地性能，（b）RM-GP-TS，尽管在理论上和实践中都比RM-GP-ucb稳健，但在实践中，在竞争性中表现出色某些方案具有较小的任务，并且在计算上更有效。

黑匣子优化需要指定搜索空间以探索解决方案，例如解决方案。 D维紧凑空间，此选择对于以合理的预算获得最佳结果至关重要。不幸的是，在许多应用中确定高质量的搜索空间可能具有挑战性。例如，当在给出有限的预算时调整机器学习管道的机器学习管道时，必须在不包括潜在有前途的地区之间进行平衡，并将搜索空间保持足够小以易于发动。这项工作的目标是激励 - 通过调整深度神经网络的示例应用程序 - 预测预算条件的搜索空间质量的问题，以及提供基于应用于a的实用程序功能的简单评分方法概率响应表面模型，类似于贝叶斯优化。我们表明我们所呈现的方法可以在各种情况下计算有意义的预算条件分数。我们还提供实验证据，即精确的分数可用于构建和修剪搜索空间。最终，我们认为评分搜索空间应该成为深度学习实验工作流程中的标准实践。

贝叶斯优化是一种全球优化未知和昂贵目标的方法。它结合了替代贝叶斯回归模型与采集函数，以决定在哪里评估目标。典型的回归模型是具有固定协方差函数的高斯流程，但是，该过程无法表达事先的输入依赖性信息，特别是有关最佳位置的信息。固定模型的普遍性导致了通过信息丰富的均值功能利用先验信息的共同实践。在本文中，我们强调说，这些模型会导致性能差，尤其是在高维度中。我们提出了新颖的信息协方差函数，以利用非平稳性来编码搜索空间某些区域的偏好，并在优化期间自适应促进局部探索。我们证明，即使在弱的先验信息下，它们也可以在高维度中提高优化的样本效率。

最大值熵搜索（MES）是贝叶斯优化（BO）的最先进的方法之一。在本文中，我们提出了一种用于受约束问题的MES的新型变型，通过信息下限（CMES-IBO）称为受约束的ME，其基于互信息的下限的蒙特卡罗（MC）估计器（MI）。我们首先定义定义最大值的MI，以便它可以在可行性方面结合不确定性。然后，我们得出了保证非消极性的MI的下限，而传统ME的受约束对应物可以是负的。我们进一步提供了理论分析，确保我们估算者的低变异性，从未针对任何现有的信息理论博进行调查。此外，使用条件MI，我们将CMES-1BO扩展到并联设置，同时保持所需的性质。我们展示了CMES-IBO对多个基准功能和真实问题的有效性。

贝叶斯优化是一种强大的范例，可以根据稀缺和嘈杂的数据优化黑盒功能。通过从相关任务转移学习，可以进一步提高其数据效率。虽然最近的转移模型META-META-GERSED基于大量数据，但在利用高斯过程（GPS）的闭合形式的闭合形式（GPS）的低数据制度方法中具有优势。在这种环境中，已经提出了几种分析易行的转移模型后索，但这些方法的相对优势并不熟知。在本文中，我们对转移学习的分层GP模型提供了一个统一视图，这使我们能够分析方法之间的关系。作为分析的一部分，我们开发了一种新颖的封闭式GP转移模型，适合在复杂性方面的现有方法。我们评估了大规模实验中不同方法的性能，并突出了不同转移学习方法的优势和弱点。

贝叶斯优化（BO）算法在涉及昂贵的黑盒功能的应用中表现出了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过采集函数和先前的功能（例如高斯过程）来估计查询点的实用性。然而，最近，通过密度比率估计（BORE）对BO进行重新制定允许将采集函数重新诠释为概率二进制分类器，从而消除了对函数的显式先验和提高可伸缩性的需求。在本文中，我们介绍了对孔的遗憾和算法扩展的理论分析，并提高了不确定性估计。我们还表明，通过将问题重新提交为近似贝叶斯推断，可以自然地扩展到批处理优化设置。所得算法配备了理论性能保证，并在一系列实验中对其他批处理基本线进行了评估。

当数据稀缺时，元学习可以通过利用相关的学习任务的先前经验来提高学习者的准确性。然而，现有方法具有不可靠的不确定性估计，通常过于自信。解决这些缺点，我们介绍了一个名为F-PACOH的新型元学习框架，该框架称为F-PACOH，该框架将Meta学习的前沿视为随机过程，并直接在函数空间中执行元级正则化。这使我们能够直接转向元学习者在元区域训练数据区域中对高至少认知不确定性的概率预测，从而获得良好的不确定性估计。最后，我们展示了我们的方法如何与顺序决策集成，其中可靠的不确定性量化是必要的。在我们对贝叶斯优化（BO）的元学习的基准研究中，F-PACOH显着优于所有其他元学习者和标准基线。

尽管当黑框功能昂贵时，样品效率是使用贝叶斯优化的主要动机，但基于II型最大可能性（ML-II）的标准方法可能会失败，并且在小样本试验中导致令人失望的性能。本文提供了三个令人信服的理由，以采用完全贝叶斯优化（FBO）作为替代方案。首先，ML-II的失败比使用人为设置的现有研究所隐含的更普遍。其次，FBO比ML-II更健壮，而且健壮性的价格几乎是微不足道的。第三，FBO变得易于实施，并且足够快，可以实用。本文使用相关实验支持该论点，这些实验反映了有关模型，算法和软件平台的当前实践。由于收益似乎超过了成本，因此研究人员应考虑为其应用采用FBO，以防止可能浪费宝贵的研究资源的潜在失败。

信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。

强化学习（RL）旨在通过与环境的互动来找到最佳政策。因此，学习复杂行为需要大量的样本，这在实践中可能是持久的。然而，而不是系统地推理和积极选择信息样本，用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计，因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心，它构成了过去样本的目标的概率替代物，以推理信息的后来的随后。在本文中，我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型，该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法，我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外，我们突出了主动抽样对流行的RL基准测试的好处。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。

In robotics, optimizing controller parameters under safety constraints is an important challenge. Safe Bayesian optimization (BO) quantifies uncertainty in the objective and constraints to safely guide exploration in such settings. Hand-designing a suitable probabilistic model can be challenging, however. In the presence of unknown safety constraints, it is crucial to choose reliable model hyper-parameters to avoid safety violations. Here, we propose a data-driven approach to this problem by meta-learning priors for safe BO from offline data. We build on a meta-learning algorithm, F-PACOH, capable of providing reliable uncertainty quantification in settings of data scarcity. As core contribution, we develop a novel framework for choosing safety-compliant priors in a data-riven manner via empirical uncertainty metrics and a frontier search algorithm. On benchmark functions and a high-precision motion system, we demonstrate that our meta-learned priors accelerate the convergence of safe BO approaches while maintaining safety.

贝叶斯优化（BO）是一种广泛使用的顺序方法，用于对复杂和昂贵计算的黑盒功能进行零阶优化。现有的BO方法假设功能评估（反馈）可立即或固定延迟后可用。在许多现实生活中的问题（例如在线建议，临床试验和超参数调谐）中，此类假设可能不实用，在随机延迟后可以提供反馈。为了从这些问题中的实验并行化中受益，学习者需要开始新的功能评估，而无需等待延迟反馈。在本文中，我们认为BO在随机延迟反馈问题下。我们提出了带有子线性后悔的算法，可以确保有效解决选择新功能查询的困境，同时等待随机延迟的反馈。在我们的结果的基础上，我们还为批处理和上下文高斯工艺匪徒做出了新的贡献。合成和现实生活数据集的实验验证了我们的算法的性能。

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

本文讨论了具有丰富记录数据的域中的政策选择问题，但互动预算有限。解决此问题将在行业，机器人和推荐领域中安全评估和部署离线强化学习政策等。已经提出了几种违规评估（OPE）技术以评估仅使用记录数据的策略的值。然而，OPE的评估与真实环境中的完整在线评估之间仍然存在巨大差距。然而，在实践中通常不可能进行大量的在线互动。为了克服这个问题，我们介绍了\ emph {主动脱机策略选择} - 一种新的顺序决策方法，将记录数据与在线交互相结合，以识别最佳策略。这种方法使用ope估计来热启动在线评估。然后，为了利用有限的环境相互作用，我们决定基于具有表示政策相似性的内核函数的贝叶斯优化方法来评估哪个策略。我们使用大量候选政策的多个基准，以表明所提出的方法提高了最先进的OPE估计和纯在线策略评估。