在广泛的应用中存在针刺问题，包括罕见疾病预测，生态资源管理，欺诈检测和材料特性优化。当相对于数据集大小的最佳条件存在极端不平衡时，就会出现针中的问题。例如，在开放式材料项目数据库中，在146K总材料中，只有0.82％的泊松比为负。但是，当前的最新优化算法并未设计出能够找到这些具有挑战性的多维针中问题的解决方案，从而导致与全球最佳或pige孔变为当地最低限度的缓慢收敛。在本文中，我们提出了一种基于缩放记忆的初始化算法，标题为Zombi，该算法构建了常规的贝叶斯优化原则，以在更少的时间和更少的实验中快速有效地优化针中的针刺问题，并通过解决常见的融合和常见的融合和较少的实验。鸽子问题。 Zombi从先前表现最佳的评估实验中积极提取知识，以在采样搜索范围内迭代放大到全局最佳的“针”，然后预留出低表现的历史实验的记忆，以加速计算时间。我们验证了该算法在两种现实世界中的5维针中的性能上的性能：发现辅助泊松比的发现和发现高热电图的优点材料的发现。与传统的贝叶斯优化相比，Zombi算法显示了400倍的计算时间加速度，并有效地发现了100个以下实验的材料，高达3倍的材料比当前最新算法发现的材料高度优化。

由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。

从连续流体流生成液滴需要精确调谐设备以找到优化的控制参数条件。它在分析上棘手，以计算产生优化液滴的液滴生成设备的必要控制参数值。此外，随着流体流动的长度尺度变化，地层物理和诱导流量分解成液滴的优化条件也会改变。因此，单个比例积分衍生控制器太低，无法优化不同长度尺度或不同控制参数的设备，而分类机学习技术需要数天捕获并要求数百万滴图像。因此，问题提出，可以创建一个单一的方法，该方法普遍优化多个数据点的多个长度液滴，并且比以前的方法更快？在本文中，贝叶斯优化和计算机视觉反馈回路旨在快速可靠地发现在不同长度级设备中生成优化的液滴的控制参数值。该方法被证明在仅2.3小时内仅使用60张图像的最佳参数值会聚到比以前的方法快30倍。两种不同的长度尺度设备演示了模型实现：毫师喷墨设备和MiCof流体设备。

Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。

Perovskite Photovoltaics（PV）在过去十年方面取得了快速发展，方便小区实验室规模设备的电力转换效率;然而，成功的商业化仍然需要进一步发展低成本，可扩展和高通量的制造技术。开发新的制造技术的关键挑战之一是高维参数空间，并且可以使用机器学习（ML）来加速Perovskite PV缩放。在这里，我们介绍了一个ML引导框架，用于制造过程优化的顺序学习。我们在环境条件下将我们的方法应用于快速喷雾等离子体处理（RSPP）技术，用于钙钛矿薄膜。通过有限的筛选100条件工艺条件进行实验预算，我们证明了最佳设备的效率提高至18.5％，我们还通过实验发现了10个独特的条件，以生产超过17％效率的顶级设备，这是5比伪随机拉丁超立方体采样更高的成功率。我们的模型由三种创新启用：（a）通过将数据从现有的实验数据作为软限制将数据纳入实验过程之间的灵活知识转移; （b）在选择下一个实验时纳入主观人类观察和ML见解; （c）首先使用贝叶斯优化定位兴趣区域的自适应策略，然后对高效设备进行本地勘探。此外，在虚拟基准测试中，我们的框架在传统的实验方法（例如，一个可变的AT-AT-AT-A-A-Time采样）上，我们的框架更快地实现了有限的实验预算。

寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习，即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务，使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人，以前尚未应用于这个问题。然而，贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的，离散的受限搜索空间，包含无效配置。我们介绍了一种新颖的上下文方差探索因子，以及具有改进的可扩展性的新采集功能，与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能，以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现，我们证明我们的搜索策略概括了良好的良好，并始终如一地以广泛的保证金更优于其他搜索策略。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择，采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战，因此是理想的测试床，以了解贝叶斯优化的性能，并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中，包括流体动力学的知识，这些知识是未知的。这项调查的结果表明，要做出的选择与相对简单的功能不相关，而乐观的采集功能（例如上限限制）应首选更复杂的目标函数。此外，蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下，多点方法提供了更快的替代方法，但它可能需要进行更多的客观函数评估。

Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.

数据驱动的设计显示了加速材料发现的希望，但由于搜索化学，结构和合成方法的庞大设计空间的高昂成本，这是具有挑战性的。贝叶斯优化（BO）采用不确定性的机器学习模型来选择有前途的设计来评估，从而降低成本。但是，在材料设计中特别感兴趣的具有混合数值和分类变量的BO尚未得到很好的研究。在这项工作中，我们调查了使用混合变量对机器学习的不确定性量化的常见主义者和贝叶斯方法。然后，我们使用来自每个组的流行代表模型，基于森林的LOLO模型（频繁主义者）和潜在的可变高斯过程模型（贝叶斯）进行了对BO中其表现的系统比较研究。我们研究了这两个模型在数学函数优化的功效以及结构和功能材料的特性，在其中我们观察到与问题维度和复杂性有关的性能差异。通过研究机器学习模型的预测性和不确定性估计功能，我们可以解释观察到的性能差异。我们的结果为在材料设计中的混合变量BO中选择频繁和贝叶斯不确定性的机器学习模型提供了实用的指导。

Decades of progress in simulation-based surrogate-assisted optimization and unprecedented growth in computational power have enabled researchers and practitioners to optimize previously intractable complex engineering problems. This paper investigates the possible benefit of a concurrent utilization of multiple simulation-based surrogate models to solve complex discrete optimization problems. To fulfill this, the so-called Self-Adaptive Multi-surrogate Assisted Efficient Global Optimization algorithm (SAMA-DiEGO), which features a two-stage online model management strategy, is proposed and further benchmarked on fifteen binary-encoded combinatorial and fifteen ordinal problems against several state-of-the-art non-surrogate or single surrogate assisted optimization algorithms. Our findings indicate that SAMA-DiEGO can rapidly converge to better solutions on a majority of the test problems, which shows the feasibility and advantage of using multiple surrogate models in optimizing discrete problems.

贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。

贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

贝叶斯优化是一种顺序设计形式：使用适当灵活的非线性回归模型理想化输入 - 输出关系;符合初始实验活动的数据;设计并优化用于选择拟合模型（例如，通过预测方程）下的下一个实验条件的标准，以实现兴趣的结果（例如最小值）;在这些条件下获取输出并更新拟合后重复。在许多情况下，这种在新数据采集标准上的“内部优化”是麻烦的，因为它是非凸/高度多模态，可能是非可分子的，或者可能可能挫败数值优化器，尤其是当推理需要蒙特卡罗时。在这种情况下，在随机候选中，用离散的一个离散的一个不常见的情况并不罕见。在这里，我们提出了基于现有输入设计的Delaunay三角测量的候选者。除了详细构建这些“Tricands”之外，基于传统凸船库围绕的简单包装，我们基于所涉及的几何标准的性质促进了几个优势。然后，我们证明了与数值优化的采集和基于随机候选的替代品相比，特异性如何导致Tricands如何导致更好的贝叶斯优化性能。

强化学习（RL）旨在通过与环境的互动来找到最佳政策。因此，学习复杂行为需要大量的样本，这在实践中可能是持久的。然而，而不是系统地推理和积极选择信息样本，用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计，因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心，它构成了过去样本的目标的概率替代物，以推理信息的后来的随后。在本文中，我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型，该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法，我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外，我们突出了主动抽样对流行的RL基准测试的好处。

制造中的一个自主实验平台据说能够进行顺序搜索，以便自行为先进材料寻找合适的制造条件，甚至用于发现具有最小的人为干预的新材料。这种平台的智能控制的核心是政策指导顺序实验，即根据到目前为止所做的事情来决定在下次进行下一个实验的地方。此类政策不可避免地违反勘探，而目前的做法是利用预期改进标准或其变体的贝叶斯优化框架。我们讨论是否利用与直接观察相关的元素和惊喜程度来促进剥削与勘探有益。我们使用两个现有的惊喜指标设计了一个惊喜的反应政策，称为香农惊喜和贝叶斯惊喜。我们的分析表明，令人惊讶的反应政策似乎更适合于在资源限制下快速表征响应面或设计地点的整体景观。我们认为未来派自治实验平台需要这种能力。我们没有声称我们有一个完全自主的实验平台，但相信我们目前的努力揭示了新灯或提供了不同的视角，因为研究人员正在赛车提升各种原始自治实验系统的自主权。

许多昂贵的黑匣子优化问题对其输入敏感。在这些问题中，定位一个良好的设计区域更有意义，而不是一个可能的脆弱的最佳设计。昂贵的黑盒功能可以有效地优化贝叶斯优化，在那里高斯过程是在昂贵的功能之前的流行选择。我们提出了一种利用贝叶斯优化的强大优化方法，找到一种设计空间区域，其中昂贵的功能的性能对输入相对不敏感，同时保持质量好。这是通过从正在建模昂贵的功能的高斯进程的实现来实现这一点，并评估每个实现的改进。这些改进的期望可以用进化算法廉价地优化，以确定评估昂贵功能的下一个位置。我们描述了一个有效的过程来定位最佳预期改进。我们凭经验展示了评估候选不确定区域的昂贵功能的昂贵功能，该模型最不确定，或随机地产生最佳收敛与利用方案相比。我们在两个，五个和十个维度中说明了我们的六个测试功能的方法，并证明它能够优于来自文献的两种最先进的方法。我们还展示了我们的方法在4和8维中展示了两个真实问题，这涉及训练机器人臂，将物体推到目标上。