贝叶斯优化（BO）是一种良好的方法，可以优化直接评估成本高昂的黑框函数。在本文中，我们解决了将专家知识纳入BO的问题，目的是进一步加速优化，到目前为止，该优化几乎没有得到关注。我们为这项任务设计了多任务学习体系结构，目的是共同吸引专家知识并最大程度地降低目标函数。特别是，这允许将专家知识转移到BO任务中。我们介绍了基于暹罗神经网络的特定体系结构，以处理来自成对查询的知识启发。具有模拟和实际人类专家的各种基准函数的实验表明，即使与目标函数相比，即使专家知识有偏见，提出的方法也会显着加速BO。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。
translated by 谷歌翻译
贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。
translated by 谷歌翻译
贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。
translated by 谷歌翻译
制造中的一个自主实验平台据说能够进行顺序搜索，以便自行为先进材料寻找合适的制造条件，甚至用于发现具有最小的人为干预的新材料。这种平台的智能控制的核心是政策指导顺序实验，即根据到目前为止所做的事情来决定在下次进行下一个实验的地方。此类政策不可避免地违反勘探，而目前的做法是利用预期改进标准或其变体的贝叶斯优化框架。我们讨论是否利用与直接观察相关的元素和惊喜程度来促进剥削与勘探有益。我们使用两个现有的惊喜指标设计了一个惊喜的反应政策，称为香农惊喜和贝叶斯惊喜。我们的分析表明，令人惊讶的反应政策似乎更适合于在资源限制下快速表征响应面或设计地点的整体景观。我们认为未来派自治实验平台需要这种能力。我们没有声称我们有一个完全自主的实验平台，但相信我们目前的努力揭示了新灯或提供了不同的视角，因为研究人员正在赛车提升各种原始自治实验系统的自主权。
translated by 谷歌翻译
贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。
translated by 谷歌翻译
Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。
translated by 谷歌翻译
信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。
translated by 谷歌翻译
尽管自动超参数优化（HPO）的所有好处，但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置，减少对HPO的信任，从而阻碍其广泛采用的决策过程。在这里，我们研究了HPO与可解释的机器学习（IML）方法（例如部分依赖图）的组合。但是，如果将这种方法天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法，该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明我们的方法返回对基础黑盒的更可靠的解释，而不会损失优化性能。
translated by 谷歌翻译
采集函数是贝叶斯优化（BO）中的关键组成部分，通常可以写为在替代模型下对效用函数的期望。但是，为了确保采集功能是可以优化的，必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序，我们提出了不含可能性的BO（LFBO），这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模，而无需单独使用概率替代模型进行推断。我们表明，可以将计算LFBO中的采集函数缩小为优化加权分类问题，而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能，LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构，从而进一步改善了其遗憾。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
我们考虑基于活动的运输模拟器的校准和不确定性分析问题。基于活动的模型（ABM）依靠单个旅行者行为的统计模型来预测大都市地区的高阶旅行模式。输入参数通常是使用最大似然从旅行者调查中估算的。我们开发了一种使用高斯工艺模拟器使用流量流数据校准这些参数的方法。我们的方法扩展了传统的模拟器，以处理运输模拟器的高维和非平稳性。我们介绍了一个深度学习维度降低模型，该模型与高斯工艺模型共同估计以近似模拟器。我们使用几个模拟示例以及校准伊利诺伊州布卢明顿的关键参数来证明方法。
translated by 谷歌翻译
当数据稀缺时，元学习可以通过利用相关的学习任务的先前经验来提高学习者的准确性。然而，现有方法具有不可靠的不确定性估计，通常过于自信。解决这些缺点，我们介绍了一个名为F-PACOH的新型元学习框架，该框架称为F-PACOH，该框架将Meta学习的前沿视为随机过程，并直接在函数空间中执行元级正则化。这使我们能够直接转向元学习者在元区域训练数据区域中对高至少认知不确定性的概率预测，从而获得良好的不确定性估计。最后，我们展示了我们的方法如何与顺序决策集成，其中可靠的不确定性量化是必要的。在我们对贝叶斯优化（BO）的元学习的基准研究中，F-PACOH显着优于所有其他元学习者和标准基线。
translated by 谷歌翻译
我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。
translated by 谷歌翻译
我们研究了全球优化因果关系变量的因果关系变量的问题，在该目标变量中可以进行干预措施。这个问题在许多科学领域都引起，包括生物学，运营研究和医疗保健。我们提出了因果熵优化（CEO），该框架概括了因果贝叶斯优化（CBO），以说明所有不确定性来源，包括由因果图结构引起的。首席执行官在因果效应的替代模型中以及用于通过信息理论采集函数选择干预措施的机制中纳入了因果结构的不确定性。所得算法自动交易结构学习和因果效应优化，同时自然考虑观察噪声。对于各种合成和现实世界的结构性因果模型，与CBO相比，CEO可以更快地与全局最佳达到融合，同时还可以学习图形。此外，我们的结构学习和因果优化的联合方法在顺序的结构学习优先方法上改善了。
translated by 谷歌翻译
2022-09-22
贝叶斯优化（BO）算法在涉及昂贵的黑盒功能的应用中表现出了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过采集函数和先前的功能（例如高斯过程）来估计查询点的实用性。然而，最近，通过密度比率估计（BORE）对BO进行重新制定允许将采集函数重新诠释为概率二进制分类器，从而消除了对函数的显式先验和提高可伸缩性的需求。在本文中，我们介绍了对孔的遗憾和算法扩展的理论分析，并提高了不确定性估计。我们还表明，通过将问题重新提交为近似贝叶斯推断，可以自然地扩展到批处理优化设置。所得算法配备了理论性能保证，并在一系列实验中对其他批处理基本线进行了评估。
translated by 谷歌翻译
使用复杂的数学方法建模的工程问题或者以昂贵的测试或实验为特征，占用有限预算或有限计算资源。此外，行业的实际情景，基于物流和偏好，对可以进行实验的方式施加限制。例如，材料供应可以仅在单次或计算模型的情况下仅实现少量实验，因此可以基于共享计算资源面临显着的等待时间。在这种情况下，一个人通常以允许最大化一个人的知识的方式进行实验，同时满足上述实际限制。实验顺序设计（Sdoe）是一种流行的方法套件，近年来越来越多的不同工程和实际问题。利用贝叶斯形式主义的普通战略是贝叶斯Sdoe，它通常在一步一步的一步中选择单一实验的一步或近视场景中最好的工作。在这项工作中，我们的目标是扩展SDOE策略，以批量输入查询实验或计算机代码。为此，我们利用基于深度加强学习（RL）的政策梯度方法，提出批次选择的查询，以考虑到整个预算。该算法保留了SDOE中固有的顺序性质，同时基于来自深rl域的任务的奖励元素。所提出的方法的独特能力是其应用于多个任务的能力，例如函数的优化，一旦其培训。我们展示了在合成问题上提出了算法的性能，以及挑战的高维工程问题。
translated by 谷歌翻译
自动化的HyperParameter优化（HPO）可以支持从业者在机器学习模型中获得峰值性能。然而，通常缺乏有价值的见解，以对不同的超参数对最终模型性能的影响。这种缺乏可解释性使得难以信任并理解自动化的HPO过程及其结果。我们建议使用可解释的机器学习（IML）从HPO中获得的实验数据与贝叶斯优化（BO）一起获得见解。 BO倾向于专注于具有潜在高性能配置的有前途的区域，从而诱导采样偏差。因此，许多IML技术，例如部分依赖曲线（PDP），承载产生偏置解释的风险。通过利用BO代理模型的后部不确定性，我们引入了具有估计置信带的PDP的变种。我们建议分区Quand参数空间以获得相关子区域的更自信和可靠的PDP。在一个实验研究中，我们为子区域内PDP的质量提高提供了定量证据。
translated by 谷歌翻译