贝叶斯优化（Bayesopt）是查询有效连续优化的黄金标准。然而，决策变量的离散，高维质阻碍了其对药物设计的采用。我们开发了一种新方法（LAMBO），该方法通过判别性多任务高斯流程主管共同训练Denoising AutoCododer，从而使基于梯度的多目标采集功能优化了自动装编码器的潜在空间。这些采集功能使Lambo能够在多个设计回合上平衡探索探索折衷方案，并通过在Pareto边境上的许多不同地点优化序列来平衡客观权衡。我们在两个小分子设计任务上评估了兰博，并引入了优化\ emph {在硅}和\ emph {Inter {In Betro}特性的新任务。在我们的实验中，兰博的表现优于遗传优化者，并且不需要大量的预处理，表明贝叶诺斯对生物序列设计是实用且有效的。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

与靶蛋白具有高结合亲和力的药物样分子的产生仍然是药物发现中的一项困难和资源密集型任务。现有的方法主要采用强化学习，马尔可夫采样或以高斯过程为指导的深层生成模型，在生成具有高结合亲和力的分子时，通过基于计算量的物理学方法计算出的高结合亲和力。我们提出了对分子（豪华轿车）的潜在构成主义，它通过类似于Inceptionism的技术显着加速了分子的产生。豪华轿车采用序列的两个神经网络采用变异自动编码器生成的潜在空间和性质预测，从而使基于梯度的分子特性更快地基于梯度的反相比。综合实验表明，豪华轿车在基准任务上具有竞争力，并且在产生具有高结合亲和力的类似药物的化合物的新任务上，其最先进的技术表现出了最先进的技术，可针对两个蛋白质靶标达到纳摩尔范围。我们通过对绝对结合能的基于更准确的基于分子动力学的计算来证实这些基于对接的结果，并表明我们生成的类似药物的化合物之一的预测$ k_d $（结合亲和力的量度）为$ 6 \ cdot 10^ {-14} $ m针对人类雌激素受体，远远超出了典型的早期药物候选物和大多数FDA批准的药物的亲和力。代码可从https://github.com/rose-stl-lab/limo获得。

贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。

通过生成模型生成具有特定化学和生物学特性的新分子已成为药物发现的有希望的方向。但是，现有的方法需要大型数据集进行广泛的培训/微调，在现实世界中通常无法使用。在这项工作中，我们提出了一个新的基于检索的框架，用于可控分子生成。我们使用一系列的示例分子，即（部分）满足设计标准的分子，以引导预先训练的生成模型转向满足给定设计标准的合成分子。我们设计了一种检索机制，该机制将示例分子与输入分子融合在一起，该分子受到一个新的自我监督目标训练，该目标可以预测输入分子的最近邻居。我们还提出了一个迭代改进过程，以动态更新生成的分子和检索数据库，以更好地泛化。我们的方法不可知生成模型，不需要特定于任务的微调。关于从简单设计标准到设计与SARS-COV-2主蛋白酶结合的铅化合物的具有挑战性的现实世界情景的各种任务，我们证明了我们的方法外推出了远远超出检索数据库，并且比检索数据库更高，并且比更高的性能和更广泛的适用性以前的方法。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

我们解决了受控生成小分子的任务，该任务需要在某些约束（例如，与参考分子相似）下找到具有所需特性的新分子。在这里，我们介绍了Molmim，这是一种用于学习信息丰富且聚集的潜在空间的小分子药物发现的概率自动编码器。 Molmim通过共同信息机（MIM）学习训练，并提供可变长度微笑字符串的固定长度表示。由于编码器模型可以通过无效样品的``孔''来学习表示形式，因此我们在这里提出了训练程序的新型扩展，该过程促进了促进密集的潜在空间，并允许模型从潜在代码的随机扰动中采样有效分子。我们提供了Molmim与几个可变大小和固定尺寸的编码器模型的彻底比较，这表明了Molmim的上一代，如有效性，独特性和新颖性而言。然后，我们利用CMA-E，一种天真的黑盒和无梯度的搜索算法，是Molmim的潜在空间来实现属性引导分子优化的任务。我们实现了最新的单个属性优化任务以及多目标优化的具有挑战性的任务，从而提高了先前的成功率SOTA超过5 \％。我们将强有力的结果归因于莫尔米姆的潜在表示，这些表示在潜在空间中聚集了相似的分子，而CMA-ES通常用作基线优化方法。我们还证明了莫尔米姆在计算有限的制度中有利，使其成为这种情况的有吸引力的模型。

We report a method to convert discrete representations of molecules to and from a multidimensional continuous representation. This model allows us to generate new molecules for efficient exploration and optimization through open-ended spaces of chemical compounds.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

Machine learning methods have been used to accelerate the molecule optimization process. However, efficient search for optimized molecules satisfying several properties with scarce labeled data remains a challenge for machine learning molecule optimization. In this study, we propose MOMO, a multi-objective molecule optimization framework to address the challenge by combining learning of chemical knowledge with Pareto-based multi-objective evolutionary search. To learn chemistry, it employs a self-supervised codec to construct an implicit chemical space and acquire the continues representation of molecules. To explore the established chemical space, MOMO uses multi-objective evolution to comprehensively and efficiently search for similar molecules with multiple desirable properties. We demonstrate the high performance of MOMO on four multi-objective property and similarity optimization tasks, and illustrate the search capability of MOMO through case studies. Remarkably, our approach significantly outperforms previous approaches in optimizing three objectives simultaneously. The results show the optimization capability of MOMO, suggesting to improve the success rate of lead molecule optimization.

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

人工智能（AI）在过去十年中一直在改变药物发现的实践。各种AI技术已在广泛的应用中使用，例如虚拟筛选和药物设计。在本调查中，我们首先概述了药物发现，并讨论了相关的应用，可以减少到两个主要任务，即分子性质预测和分子产生。然后，我们讨论常见的数据资源，分子表示和基准平台。此外，为了总结AI在药物发现中的进展情况，我们介绍了在调查的论文中包括模型架构和学习范式的相关AI技术。我们预计本调查将作为有兴趣在人工智能和药物发现界面工作的研究人员的指南。我们还提供了GitHub存储库（HTTPS:///github.com/dengjianyuan/survey_survey_au_drug_discovery），其中包含文件和代码，如适用，作为定期更新的学习资源。

A long-standing goal of machine-learning-based protein engineering is to accelerate the discovery of novel mutations that improve the function of a known protein. We introduce a sampling framework for evolving proteins in silico that supports mixing and matching a variety of unsupervised models, such as protein language models, and supervised models that predict protein function from sequence. By composing these models, we aim to improve our ability to evaluate unseen mutations and constrain search to regions of sequence space likely to contain functional proteins. Our framework achieves this without any model fine-tuning or re-training by constructing a product of experts distribution directly in discrete protein space. Instead of resorting to brute force search or random sampling, which is typical of classic directed evolution, we introduce a fast MCMC sampler that uses gradients to propose promising mutations. We conduct in silico directed evolution experiments on wide fitness landscapes and across a range of different pre-trained unsupervised models, including a 650M parameter protein language model. Our results demonstrate an ability to efficiently discover variants with high evolutionary likelihood as well as estimated activity multiple mutations away from a wild type protein, suggesting our sampler provides a practical and effective new paradigm for machine-learning-based protein engineering.

加速生物序列设计的能力可以对医疗领域的进度产生重大影响。该问题可以作为一个全球优化问题，在该问题中，该目标是昂贵的黑盒功能，因此我们可以查询大量限制，并限制较少的回合。贝叶斯优化是解决此问题的原则方法。然而，生物序列的天文范围较大的状态空间使所有可能的序列都在不可行。在本文中，我们提出了Metarlbo，在其中我们通过元强化学习训练自回归的生成模型，以提出有希望的序列，以通过贝叶斯优化选择。我们提出了这个问题，因为它是在上一轮中获取的数据的采样子集引起的MDP分布上找到最佳策略的问题。我们的内部实验表明，与现有强大基准相比，对此类合奏的元学习提供了鲁棒性，可抵抗奖励错误指定和实现竞争成果。

Despite significant progress of generative models in the natural sciences, their controllability remains challenging. One fundamentally missing aspect of molecular or protein generative models is an inductive bias that can reflect continuous properties of interest. To that end, we propose the Regression Transformer (RT), a novel method that abstracts regression as a conditional sequence modeling problem. This introduces a new paradigm of multitask language models which seamlessly bridge sequence regression and conditional sequence generation. We thoroughly demonstrate that, despite using a nominal-scale training objective, the RT matches or surpasses the performance of conventional regression models in property prediction tasks of small molecules, proteins and chemical reactions. Critically, priming the same model with continuous properties yields a highly competitive conditional generative model that outperforms specialized approaches in a substructure-constrained, property-driven molecule generation benchmark. Our dichotomous approach is facilitated by a novel, alternating training scheme that enables the model to decorate seed sequences by desired properties, e.g., to optimize reaction yield. In sum, the RT is the first report of a multitask model that concurrently excels at predictive and generative tasks in biochemistry. This finds particular application in property-driven, local exploration of the chemical or protein space and could pave the road toward foundation models in material design. The code to reproduce all experiments of the paper is available at: https://github.com/IBM/regression-transformer

与单目标优化（SOO）相反，多目标优化（MOO）需要优化器才能找到Pareto Frontier，这是不受其他可行解决方案主导的可行解决方案的子集。在本文中，我们提出了Lamoo，这是一种新型的多目标优化器，它从观察到的样品中学习模型，以分区搜索空间，然后专注于可能包含帕累托前沿子集的有希望的区域。该分区基于优势数，该数字衡量了一个数据点与现有样本之间的帕累托边境的“多么近”。为了说明由于样本有限和模型不匹配而导致的可能分区错误，我们利用蒙特卡洛树搜索（MCT）利用有希望的区域，同时探索次优的区域，这些区域可能会以后可能包含良好的解决方案。从理论上讲，我们在某些假设下通过Lamoo证明了通过Lamoo进行学习空间分配的功效。从经验上讲，在Hypervolume（HV）基准上，一种受欢迎的MOO指标，Lamoo在多个现实世界中的MOO任务上大大优于强大的基线，在NASBENCH上，在NASBENCH上的神经体系结构的样品效率高达225％，对于Molecular，最高可用于10％设计。

我们介绍了一种组合变分AutiCencoders（VAE）和深度度量学习的方法，以通过高维和结构化输入空间执行贝叶斯优化（BO）。通过从深度度量学习中调整思路，我们使用BlackBox功能的标签指导来构建VAE潜在空间，促进高斯工艺拟合并产生改善的BO性能。重要的是，对于BO问题设置，我们的方法在半监督的制度中运行，其中只有少数标记的数据点。我们在三个现实世界任务中运行实验，在惩罚的LOGP分子生成基准上实现最先进的结果，只使用先前方法所需的标记数据的3％。作为一种理论贡献，我们提出了vae bo遗憾的证据。

我们考虑使用昂贵的黑盒功能评估优化组合空间（例如，序列，树木和图形）的问题。例如，使用物理实验室实验优化用于药物设计的分子。贝叶斯优化（BO）是一种有效的框架，可以通过智能地选择由学习的代理模型引导的高实用程序的输入来解决这些问题。最近用于组合空间的BO方法是通过使用深生成模型（DGMS）学习结构的潜在表示来减少到连续空间。从连续空间的所选输入被解码为用于执行功能评估的离散结构。然而，潜在空间上的代理模型仅使用DGM学习的信息，这可能不具有所需的感应偏压来近似于目标黑盒功能。为了克服这篇缺点，本文提出了一种原则方法，称为梯子。关键的想法是定义一种新颖的结构耦合内核，该内核明确地将结构信息与解码结构与学习的潜空间表示进行了解，以获得更好的代理建模。我们对现实世界基准测试的实验表明，梯子显着改善了纬度的潜伏空间方法，并表现出更好或更好地与最先进的方法。