我们考虑使用昂贵的黑盒功能评估优化组合空间（例如，序列，树木和图形）的问题。例如，使用物理实验室实验优化用于药物设计的分子。贝叶斯优化（BO）是一种有效的框架，可以通过智能地选择由学习的代理模型引导的高实用程序的输入来解决这些问题。最近用于组合空间的BO方法是通过使用深生成模型（DGMS）学习结构的潜在表示来减少到连续空间。从连续空间的所选输入被解码为用于执行功能评估的离散结构。然而，潜在空间上的代理模型仅使用DGM学习的信息，这可能不具有所需的感应偏压来近似于目标黑盒功能。为了克服这篇缺点，本文提出了一种原则方法，称为梯子。关键的想法是定义一种新颖的结构耦合内核，该内核明确地将结构信息与解码结构与学习的潜空间表示进行了解，以获得更好的代理建模。我们对现实世界基准测试的实验表明，梯子显着改善了纬度的潜伏空间方法，并表现出更好或更好地与最先进的方法。
translated by 谷歌翻译
优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如，在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量，以找到高性能的排列。使用贝叶斯优化（BO）框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中，我们提出并评估了博的两个算法（BOPS）。首先，BOPS-T采用高斯工艺（GP）代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法，以选择评估的排列顺序。其次，BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法，以优化预期的改进采集功能。理论上，从理论上分析BOPS-T的性能，以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明，BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究，我们为社区提供了新的资源和现实世界基准。
translated by 谷歌翻译
我们介绍了一种组合变分AutiCencoders（VAE）和深度度量学习的方法，以通过高维和结构化输入空间执行贝叶斯优化（BO）。通过从深度度量学习中调整思路，我们使用BlackBox功能的标签指导来构建VAE潜在空间，促进高斯工艺拟合并产生改善的BO性能。重要的是，对于BO问题设置，我们的方法在半监督的制度中运行，其中只有少数标记的数据点。我们在三个现实世界任务中运行实验，在惩罚的LOGP分子生成基准上实现最先进的结果，只使用先前方法所需的标记数据的3％。作为一种理论贡献，我们提出了vae bo遗憾的证据。
translated by 谷歌翻译
We report a method to convert discrete representations of molecules to and from a multidimensional continuous representation. This model allows us to generate new molecules for efficient exploration and optimization through open-ended spaces of chemical compounds.
translated by 谷歌翻译
由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。
translated by 谷歌翻译
Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。
translated by 谷歌翻译
在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。
translated by 谷歌翻译
寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习，即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务，使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人，以前尚未应用于这个问题。然而，贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的，离散的受限搜索空间，包含无效配置。我们介绍了一种新颖的上下文方差探索因子，以及具有改进的可扩展性的新采集功能，与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能，以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现，我们证明我们的搜索策略概括了良好的良好，并始终如一地以广泛的保证金更优于其他搜索策略。
translated by 谷歌翻译
无监督和半监督的ML方法，例如变异自动编码器（VAE），由于其在分离的表述方面的能力以及找到具有复杂实验数据的潜在分类和回归的能力，因此在多个物理，化学和材料科学方面已广泛采用。 。像其他ML问题一样，VAE需要高参数调整，例如，平衡Kullback Leibler（KL）和重建项。但是，训练过程以及由此产生的歧管拓扑和连通性不仅取决于超参数，还取决于训练过程中的演变。由于在高维超参数空间中详尽搜索的效率低下，因此我们在这里探索了一种潜在的贝叶斯优化方法（ZBO）方法，用于用于无监督和半监测的ML的超参数轨迹优化，并证明了连接的ML，并证明VAE具有旋转不变。我们证明了这种方法的应用，用于寻找血浆纳米颗粒材料系统的MNIST和实验数据的联合离散和连续旋转不变表示。已广泛讨论了所提出的方法的性能，它允许对其他ML模型进行任何高维超参数调整或轨迹优化。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
优化逻辑合成期间电路的结果质量（QOR）是一种强大的挑战，需要探索指数大小的搜索空间。虽然专业设计的操作辅助揭示有效序列，但逻辑电路的复杂性的增加有利于自动化程序。灵感来自机器学习的成功，研究人员适应了逻辑合成应用的深度学习和加固学习。然而，成功的是，这些技术遭受了预防广泛采用的高样本复杂性。为了实现高效且可扩展的解决方案，我们提出沸腾，这是一种适应现代贝叶斯优化的第一算法，以导航合成操作的空间。沸腾不需要人类干预，并通过新颖的高斯工艺内核和信托区域约束收购有效地进行探索与利用。在EPFL基准测试的一组实验中，根据样本效率和QOR值，我们展示了与最先进的卓越的性能。
translated by 谷歌翻译
多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。
translated by 谷歌翻译
贝叶斯优化（BO）是一种基于替代物的全球优化策略，依靠高斯流程回归（GPR）模型来近似目标函数和采集功能，以建议候选点。众所周知，对于高维问题，BO不能很好地扩展，因为GPR模型需要更多的数据点才能实现足够的准确性，并且在高维度中，获取优化在计算上变得昂贵。最近的几项旨在解决这些问题的旨在，例如，实现在线变量选择的方法或对原始搜索空间的较低维度次级manifold进行搜索。本文提出了我们以前的PCA-BO的工作，该作品学习了线性子字节，因此提出了一种新颖的内核PCA辅助BO（KPCA-BO）算法，该算法将非线性子词嵌入搜索空间中并在搜索空间中执行BO这个子manifold。直观地，在较低维度的子序列上构建GPR模型有助于提高建模准确性，而无需从目标函数中获得更多数据。此外，我们的方法定义了较低维度的子元素的采集函数，从而使采集优化更易于管理。我们将KPCA-BO与香草bo的性能以及有关可可/BBOB基准套件的多模式问题的PCA-BO进行了比较。经验结果表明，在大多数测试问题上，KPCA-BO在收敛速度方面都优于BO，并且当维度增加时，这种好处变得更加显着。对于60D功能，KPCA-BO在许多测试用例中取得比PCA-BO更好的结果。与Vanilla BO相比，它有效地减少了训练GPR模型所需的CPU时间并优化与香草BO相比的采集功能。
translated by 谷歌翻译
贝叶斯优化（BO）与高斯工艺（GP）作为代理模型广泛用于优化分析且昂贵的函数。在本文中，我们提出了先前的卑鄙贝叶斯优化（Probo），以特定问题表达了古典博。首先，我们研究高斯过程的效果对古典博的收敛性的先前规范。我们发现前面的平均参数对所有先前组件之间的收敛具有最高影响。响应于此结果，我们将probo介绍为博的概括，其旨在使该方法更加强大地朝着先前的平均参数误操作。这是通过明确地通过先前的近无知模型进行GP来实现的实现。在核心的核心是一种新的采集功能，广义较低的置信度（GLCB）。我们在物质科学的真实问题上测试我们对古典博的方法，并观察Progo更快地收敛。关于多模式和WIGGLY目标功能的进一步实验证实了我们方法的优越性。
translated by 谷歌翻译
贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。
translated by 谷歌翻译
由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。
translated by 谷歌翻译
Decades of progress in simulation-based surrogate-assisted optimization and unprecedented growth in computational power have enabled researchers and practitioners to optimize previously intractable complex engineering problems. This paper investigates the possible benefit of a concurrent utilization of multiple simulation-based surrogate models to solve complex discrete optimization problems. To fulfill this, the so-called Self-Adaptive Multi-surrogate Assisted Efficient Global Optimization algorithm (SAMA-DiEGO), which features a two-stage online model management strategy, is proposed and further benchmarked on fifteen binary-encoded combinatorial and fifteen ordinal problems against several state-of-the-art non-surrogate or single surrogate assisted optimization algorithms. Our findings indicate that SAMA-DiEGO can rapidly converge to better solutions on a majority of the test problems, which shows the feasibility and advantage of using multiple surrogate models in optimizing discrete problems.
translated by 谷歌翻译
Deep learning models that leverage large datasets are often the state of the art for modelling molecular properties. When the datasets are smaller (< 2000 molecules), it is not clear that deep learning approaches are the right modelling tool. In this work we perform an extensive study of the calibration and generalizability of probabilistic machine learning models on small chemical datasets. Using different molecular representations and models, we analyse the quality of their predictions and uncertainties in a variety of tasks (binary, regression) and datasets. We also introduce two simulated experiments that evaluate their performance: (1) Bayesian optimization guided molecular design, (2) inference on out-of-distribution data via ablated cluster splits. We offer practical insights into model and feature choice for modelling small chemical datasets, a common scenario in new chemical experiments. We have packaged our analysis into the DIONYSUS repository, which is open sourced to aid in reproducibility and extension to new datasets.
translated by 谷歌翻译