由于毫米波通信中使用的非常狭窄的光束（MMWave），光束对准（BA）是一个关键问题。在这项工作中，我们研究了MMWave BA的问题，并根据机器学习策略贝叶斯优化（BO）提出了一种新颖的光束对齐方案。在这种情况下，我们将光束对齐问题视为黑匣子功能，然后使用BO找到可能的最佳光束对。在BA过程中，该策略利用了测量光束对的信息来预测最佳的光束对。此外，我们建议一种基于梯度增强回归树模型的新型BO算法。仿真结果证明了使用三种不同的替代模型，我们提出的BA方案的光谱效率性能。他们还表明，与正交匹配追踪（OMP）算法和基于汤普森采样的多臂Bandit（TS-MAB）方法相比，所提出的方案可以用小型开销实现光谱效率。
translated by 谷歌翻译
Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。
translated by 谷歌翻译
由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。
translated by 谷歌翻译
贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。
translated by 谷歌翻译
贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。
translated by 谷歌翻译
在处理多点测量时，即传统的黑盒优化方法效率低下，即，当控制域中的每个查询需要在次级域中的一组测量以计算目标时。在粒子加速器中，四极扫描的发射率调整是具有多点测量的优化示例。尽管发射率是高亮度机器（包括X射线激光器和线性碰撞者）的性能的关键参数，但综合优化通常受到调整所需的时间的限制。在这里，我们将最近提供的贝叶斯算法执行（BAX）扩展到具有多点测量的优化任务。 BAX通过在关节控制测量域中选择和建模各个点来实现样品效率。我们将BAX应用于Linac相干光源（LCLS）和晚期加速器实验测试II（Facet-II）粒子加速器的设施。在LCLS模拟环境中，我们表明BAX的效率提高了20倍，同时与传统优化方法相比，噪声也更强。此外，我们在LCLS和facet-II上运行了Bax，与Facet-II的手工调整发射率相匹配，并获得了比LCLS在LCLS上获得的最佳发射率低24％。我们预计我们的方法很容易适应其他类型的优化问题，这些优化问题涉及科学仪器中常见的多点测量。
translated by 谷歌翻译
由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。
translated by 谷歌翻译
Bayesian Optimization（Bo）是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是，有关客观函数计算的内部信息通常可用。例如，在使用模拟优化制造行的吞吐量时，除了整体吞吐量之外，我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法，因为它们将客观计算视为部分可观察且甚至可修改，将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法，专注于复合物镜功能的博，其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博，其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。
translated by 谷歌翻译
信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。
translated by 谷歌翻译
在本文中，我们描述了我们在QQ浏览器2021 AI算法竞争中解决自动超参数优化挑战的方法（ACM CIKM 2021 AnalyTiccup Track 2）。竞争组织者为黑匣子优化提供了匿名的现实工业任务和数据集。基于我们的开放式包装开放箱，我们采用贝叶斯优化框架进行配置采样和启发式早期停止策略。我们在初步和最终竞赛中赢得了0.938291和0.918753的初步和最终竞赛的第一名。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
强化学习（RL）旨在通过与环境的互动来找到最佳政策。因此，学习复杂行为需要大量的样本，这在实践中可能是持久的。然而，而不是系统地推理和积极选择信息样本，用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计，因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心，它构成了过去样本的目标的概率替代物，以推理信息的后来的随后。在本文中，我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型，该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法，我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外，我们突出了主动抽样对流行的RL基准测试的好处。
translated by 谷歌翻译
贝叶斯优化（BO）与高斯工艺（GP）作为代理模型广泛用于优化分析且昂贵的函数。在本文中，我们提出了先前的卑鄙贝叶斯优化（Probo），以特定问题表达了古典博。首先，我们研究高斯过程的效果对古典博的收敛性的先前规范。我们发现前面的平均参数对所有先前组件之间的收敛具有最高影响。响应于此结果，我们将probo介绍为博的概括，其旨在使该方法更加强大地朝着先前的平均参数误操作。这是通过明确地通过先前的近无知模型进行GP来实现的实现。在核心的核心是一种新的采集功能，广义较低的置信度（GLCB）。我们在物质科学的真实问题上测试我们对古典博的方法，并观察Progo更快地收敛。关于多模式和WIGGLY目标功能的进一步实验证实了我们方法的优越性。
translated by 谷歌翻译
贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
本文提出了一种对无线通信中的一类主动感测问题的深度学习方法，其中代理在预定数量的时间帧上与环境顺序地交互以收集信息，以便为最大化一些实用程序函数来执行感测或致动任务。在这样的主动学习设置中，代理需要根据到目前为止所做的观察结果来依次设计自适应感测策略。为了解决如此挑战的问题，其中历史观察的维度随着时间的推移而增加，我们建议使用长期短期记忆（LSTM）网络来利用观察序列中的时间相关性，并将每个观察映射到固定的尺寸状态信息矢量。然后，我们使用深神经网络（DNN）将LSTM状态映射到每个时间帧到下一个测量步骤的设计。最后，我们采用另一个DNN将最终的LSTM状态映射到所需的解决方案。我们调查了无线通信中建议框架的性能框架的性能。特别地，我们考虑用于MMWAVE光束对准的自适应波束形成问题和反射对准的自适应可重构智能表面感测问题。数值结果表明，所提出的深度主动传感策略优于现有的自适应或非一种非应用感测方案。
translated by 谷歌翻译
贝叶斯优化（BO）是一种基于替代物的全球优化策略，依靠高斯流程回归（GPR）模型来近似目标函数和采集功能，以建议候选点。众所周知，对于高维问题，BO不能很好地扩展，因为GPR模型需要更多的数据点才能实现足够的准确性，并且在高维度中，获取优化在计算上变得昂贵。最近的几项旨在解决这些问题的旨在，例如，实现在线变量选择的方法或对原始搜索空间的较低维度次级manifold进行搜索。本文提出了我们以前的PCA-BO的工作，该作品学习了线性子字节，因此提出了一种新颖的内核PCA辅助BO（KPCA-BO）算法，该算法将非线性子词嵌入搜索空间中并在搜索空间中执行BO这个子manifold。直观地，在较低维度的子序列上构建GPR模型有助于提高建模准确性，而无需从目标函数中获得更多数据。此外，我们的方法定义了较低维度的子元素的采集函数，从而使采集优化更易于管理。我们将KPCA-BO与香草bo的性能以及有关可可/BBOB基准套件的多模式问题的PCA-BO进行了比较。经验结果表明，在大多数测试问题上，KPCA-BO在收敛速度方面都优于BO，并且当维度增加时，这种好处变得更加显着。对于60D功能，KPCA-BO在许多测试用例中取得比PCA-BO更好的结果。与Vanilla BO相比，它有效地减少了训练GPR模型所需的CPU时间并优化与香草BO相比的采集功能。
translated by 谷歌翻译
网络物理系统（CPSS）通常是复杂且至关重要的；因此，确保系统的要求，即规格，很难满足。基于仿真的CPS伪造是一种实用的测试方法，可用于通过仅要求模拟正在测试的系统来提高对系统正确性的信心。由于每个仿真通常在计算上进行密集，因此一个重要的步骤是减少伪造规范所需的仿真数量。我们研究贝叶斯优化（BO），一种样本效率的方法，它学习了一个替代模型，该模型描述了可能的输入信号的参数化与规范评估之间的关系。在本文中，我们改善了使用BO的伪造；首先采用两种突出的BO方法，一种适合本地替代模型，另一个适合当地的替代模型，利用了用户的先验知识。其次，本文介绍了伪造功能的采集函数的表述。基准评估显示，使用BO的局部替代模型来伪造以前难以伪造的基准示例的显着改善。在伪造过程中使用先验知识被证明是在模拟预算有限时特别重要的。对于某些基准问题，采集功能的选择清楚地影响了成功伪造所需的模拟数量。
translated by 谷歌翻译
贝叶斯优化（BO）是优化昂贵的黑盒功能的有效方法。它已经推广到客观函数评估返回随机二进制反馈的情况，例如在给定测试中的成功/失败，或在不同参数设置之间的偏好。在许多真实情况下，客观函数可以在受控的“上下文”或“环境”中进行直接影响观察的“环境”。例如，可以直接改变用于评估系统性能的测试的“难度”。使用二进制反馈，上下文确定从每个观察中获得的信息。例如，如果测试过于容易/硬，系统将始终成功/失败，产生无关的二进制输出。在这里，我们将来自贝叶斯主动学习和优化的想法结合起来，以有效地选择每次迭代的最佳上下文和优化参数。我们展示了我们的算法的性能，并说明了如何用于解决视觉心理物理学中的具体应用：使用心理物理学测量，通过矫正镜片有效地改善患者的视觉。
translated by 谷歌翻译
工程设计传统上是手工执行的：专家根据过去的经验做出设计建议，然后对这些建议进行测试以符合某些目标规格。使用所谓的纪律模型首先通过计算机模拟进行合规性测试。这样的模型可以通过有限元分析，多机系统方法等实现。然后，考虑通过该模拟的设计进行物理原型。总体过程可能需要几个月的时间，并且在实践中是一笔巨大的成本。我们已经开发了一个贝叶斯优化系统，用于通过直接优化针对设计参数的目标规范来部分自动化此过程。所提出的方法是计算不需要的高维非线性函数的广义倒数的一般框架，例如梯度信息，这通常是从纪律模型中获得的。我们此外，基于（i）收敛到最佳满足所有指定设计标准的解决方案，或（ii）收敛到最小值解决方案，我们开发了两层收敛标准。我们证明了使用最先进的商业纪律模型的行业设置动机的车辆底盘设计问题所提出的方法。我们表明，所提出的方法是一般，可扩展和高效的，并且可以根据流行的贝叶斯优化软件包中的现有概念和子例程直接实现新颖的收敛标准。
translated by 谷歌翻译