机器人已用于各种自动化，但机器人的设计仍然主要是手动任务。我们试图提供设计工具来自动化机器人自己的设计。机器人设计自动化中的一个重要挑战是，大型且复杂的设计搜索空间随着组件的数量成倍增长，从而使优化难度和样本效率低下。在这项工作中，我们介绍了语法引导潜在空间优化（GLSO），该框架通过训练图形变量自动编码器（VAE）将设计自动化转换为低维连续优化问题，以学习图形结构的设计空间之间的映射和一个连续的潜在空间。这种转换允许在连续的潜在空间中进行优化，在这种情况下，通过应用诸如贝叶斯优化等算法，可以显着提高样品效率。 GLSO使用图形语法规则和机器人世界空间特征指导VAE训练VAE，从而使学习的潜在空间专注于有效的机器人，并且更容易探索优化算法。重要的是，可以重复使用训练有素的VAE来搜索专门针对多个不同任务的设计，而无需再培训。我们通过为模拟中的一组运动任务设计机器人来评估GLSO，并证明我们的方法优于相关的最新机器人设计自动化方法。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

We seek to automate the design of molecules based on specific chemical properties. In computational terms, this task involves continuous embedding and generation of molecular graphs. Our primary contribution is the direct realization of molecular graphs, a task previously approached by generating linear SMILES strings instead of graphs. Our junction tree variational autoencoder generates molecular graphs in two phases, by first generating a tree-structured scaffold over chemical substructures, and then combining them into a molecule with a graph message passing network. This approach allows us to incrementally expand molecules while maintaining chemical validity at every step. We evaluate our model on multiple tasks ranging from molecular generation to optimization. Across these tasks, our model outperforms previous state-of-the-art baselines by a significant margin.

模块化机器人可以在每天重新排列到新设计中，通过为每项新任务形成定制机器人来处理各种各样的任务。但是，重新配置的机制是不够的：每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策，但这种方法不可扩展，特别是给出了甚至一小组模块可以生成的大量设计。相反，我们创建了一个模块化策略框架，策略结构在硬件排列上有调节，并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图，其中节点作为模块和边缘作为它们之间的连接。给定机器人，它的设计图用于创建具有相同结构的策略图，其中每个节点包含一个深神经网络，以及通过共享参数的相同类型共享知识的模块（例如，Hexapod上的所有腿都相同网络参数）。我们开发了一种基于模型的强化学习算法，交织模型学习和轨迹优化，以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计，没有任何额外的学习。最后，我们展示了与模拟和真实机器人一起控制各种设计的政策。

机器人完成任务的能力在很大程度上取决于其物理设计。但是，确定最佳的物理设计及其相应的控制策略本质上是具有挑战性的。选择链接的数量，类型以及如何在组合设计空间中结果产生的自由，以及对该空间中任何设计的评估都需要得出其最佳控制器。在这项工作中，我们提出了N-LIMB，这是一种在大量形态上优化机器人设计和控制的有效方法。我们框架的核心是一种通用设计条件的控制策略，能够控制各种设计集。这项政策通过允许在设计中转移经验并降低评估新设计的成本，从而大大提高了我们方法的样本效率。我们训练这项政策，以最大程度地提高预期回报，而在设计的分布中，该政策同时更新为普遍政策下的高性能设计。通过这种方式，我们的方法收敛于设计分布，围绕高性能设计和控制器的控制器有效地进行了微调。我们在各种地形的一系列运动任务上展示了我们方法的潜力，并展示了发现小说和高性能的设计控制对。

我们考虑使用昂贵的黑盒功能评估优化组合空间（例如，序列，树木和图形）的问题。例如，使用物理实验室实验优化用于药物设计的分子。贝叶斯优化（BO）是一种有效的框架，可以通过智能地选择由学习的代理模型引导的高实用程序的输入来解决这些问题。最近用于组合空间的BO方法是通过使用深生成模型（DGMS）学习结构的潜在表示来减少到连续空间。从连续空间的所选输入被解码为用于执行功能评估的离散结构。然而，潜在空间上的代理模型仅使用DGM学习的信息，这可能不具有所需的感应偏压来近似于目标黑盒功能。为了克服这篇缺点，本文提出了一种原则方法，称为梯子。关键的想法是定义一种新颖的结构耦合内核，该内核明确地将结构信息与解码结构与学习的潜空间表示进行了解，以获得更好的代理建模。我们对现实世界基准测试的实验表明，梯子显着改善了纬度的潜伏空间方法，并表现出更好或更好地与最先进的方法。

We report a method to convert discrete representations of molecules to and from a multidimensional continuous representation. This model allows us to generate new molecules for efficient exploration and optimization through open-ended spaces of chemical compounds.

图表无处不在地编码许多域中现实世界对象的关系信息。图形生成的目的是从类似于观察到的图形的分布中生成新图形，由于深度学习模型的最新进展，人们的关注越来越大。在本文中，我们对现有的图形生成文献进行了全面综述，从各种新兴方法到其广泛的应用领域。具体来说，我们首先提出了深图生成的问题，并与几个相关的图形学习任务讨论了它的差异。其次，我们根据模型架构将最新方法分为三类，并总结其生成策略。第三，我们介绍了深图生成的三个关键应用领域。最后，我们重点介绍了深图生成的未来研究中的挑战和机遇。

机器人的形态和行为的互相适应变得与快速的3D-制造方法和高效的深强化学习算法的出现越来越重要。对于互相适应的方法应用到真实世界的一个主要挑战是由于模型和仿真不准确的模拟到现实的差距。然而，以前的工作主要集中在形态开发的分析模型，并用大量的用户群（微）模拟器的进化适应的研究，忽视的模拟到现实差距的存在和在现实世界中制造周期的成本。本文提出了一种新的办法，结合经典的高频率计算昂贵的图形神经网络的代理数据高效互相适应深层神经网络具有不同度的自由度数。在仿真结果表明，新方法可以通过有效的设计优化与离线强化学习相结合共同适应的生产周期这样一个有限的数量中的代理程序，它允许在今后的工作中直接应用到真实世界的互相适应任务评估

贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

从人类演示到机器人的动作重返是一种有效的方法，可以减少机器人编程的专业需求和工作量，但面临着人与机器人之间的差异导致的挑战。基于传统的优化的方法是耗时的，依赖良好的初始化，而最近使用前馈神经网络的研究遭受了不良的通知来看不见的运动。此外，他们忽略了人类骨骼和机器人结构中的拓扑信息。在本文中，我们提出了一种新的神经潜在优化方法来解决这些问题。潜在优化利用解码器来建立潜在空间和机器人运动空间之间的映射。之后，通过寻找最佳潜伏向量，可以获得满足机器人约束的重个结果。随着潜在优化，神经初始化利用编码器来提供更好初始化以更快，更好地收敛优化。人体骨架和机器人结构都被建模为更好地利用拓扑信息的图表。我们对重新靶向中文手语进行实验，涉及两只手臂和两只手，对关节中相对关系的额外要求。实验包括在模拟环境中的yumi，nao和辣椒和现实世界环境中的yumi重新定位各种人类示范。验证了所提出的方法的效率和准确性。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

基于深度学习的分子建模的最新进步令人兴奋地加速硅药发现。可获得血清的生成模型，构建原子原子和键合或逐片键的分子。然而，许多药物发现项目需要固定的支架以存在于所生成的分子中，并纳入该约束仅探讨了该约束。在这里，我们提出了一种基于图形的模型，其自然地支持支架作为生成过程的初始种子，这是可能的，因为它不调节在发电历史上。我们的实验表明，Moler与最先进的方法进行了相当的方法，在无约会的分子优化任务上，并且在基于脚手架的任务上优于它们，而不是比现有方法从培训和样本更快的数量级。此外，我们展示了许多看似小设计选择对整体性能的影响。

无监督和半监督的ML方法，例如变异自动编码器（VAE），由于其在分离的表述方面的能力以及找到具有复杂实验数据的潜在分类和回归的能力，因此在多个物理，化学和材料科学方面已广泛采用。 。像其他ML问题一样，VAE需要高参数调整，例如，平衡Kullback Leibler（KL）和重建项。但是，训练过程以及由此产生的歧管拓扑和连通性不仅取决于超参数，还取决于训练过程中的演变。由于在高维超参数空间中详尽搜索的效率低下，因此我们在这里探索了一种潜在的贝叶斯优化方法（ZBO）方法，用于用于无监督和半监测的ML的超参数轨迹优化，并证明了连接的ML，并证明VAE具有旋转不变。我们证明了这种方法的应用，用于寻找血浆纳米颗粒材料系统的MNIST和实验数据的联合离散和连续旋转不变表示。已广泛讨论了所提出的方法的性能，它允许对其他ML模型进行任何高维超参数调整或轨迹优化。

在药物发现中，分子优化是在所需药物性质方面将药物候选改变为更好的阶梯。随着近期人工智能的进展，传统上的体外过程越来越促进了Silico方法。我们以硅方法提出了一种创新的，以通过深生成模型制定分子并制定问题，以便产生优化的分子图。我们的生成模型遵循基于片段的药物设计的关键思想，并通过修改其小碎片来优化分子。我们的模型了解如何识别待优化的碎片以及如何通过学习具有良好和不良性质的分子的差异来修改此类碎片。在优化新分子时，我们的模型将学习信号应用于在片段的预测位置解码优化的片段。我们还将多个这样的模型构造成管道，使得管道中的每个模型能够优化一个片段，因此整个流水线能够在需要时改变多个分子片段。我们将我们的模型与基准数据集的其他最先进的方法进行比较，并证明我们的方法在中等分子相似度约束下具有超过80％的性质改善，在高分子相似度约束下具有超过80％的财产改善。 。

我们介绍了一种组合变分AutiCencoders（VAE）和深度度量学习的方法，以通过高维和结构化输入空间执行贝叶斯优化（BO）。通过从深度度量学习中调整思路，我们使用BlackBox功能的标签指导来构建VAE潜在空间，促进高斯工艺拟合并产生改善的BO性能。重要的是，对于BO问题设置，我们的方法在半监督的制度中运行，其中只有少数标记的数据点。我们在三个现实世界任务中运行实验，在惩罚的LOGP分子生成基准上实现最先进的结果，只使用先前方法所需的标记数据的3％。作为一种理论贡献，我们提出了vae bo遗憾的证据。

在最近，对表现良好的神经体系结构（NAS）的高效，自动化的搜索引起了人们的关注。因此，主要的研究目标是减少对神经体系结构进行昂贵评估的必要性，同时有效地探索大型搜索空间。为此，替代模型将体系结构嵌入了潜在的空间并预测其性能，而神经体系结构的生成模型则可以在生成器借鉴的潜在空间内基于优化的搜索。替代模型和生成模型都具有促进结构良好的潜在空间中的查询搜索。在本文中，我们通过利用有效的替代模型和生成设计的优势来进一步提高查询效率和有前途的建筑生成之间的权衡。为此，我们提出了一个与替代预测指标配对的生成模型，该模型迭代地学会了从越来越有希望的潜在子空间中生成样品。这种方法可导致非常有效和高效的架构搜索，同时保持查询量较低。此外，我们的方法允许以一种直接的方式共同优化准确性和硬件延迟等多个目标。我们展示了这种方法的好处，不仅是W.R.T.优化体系结构以提高最高分类精度，但在硬件约束和在单个NAS基准测试中的最新方法和多个目标的最先进方法的优化。我们还可以在Imagenet上实现最先进的性能。该代码可在http://github.com/jovitalukasik/ag-net上找到。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

Structure-based drug design (SBDD) aims to discover drug candidates by finding molecules (ligands) that bind tightly to a disease-related protein (targets), which is the primary approach to computer-aided drug discovery. Recently, applying deep generative models for three-dimensional (3D) molecular design conditioned on protein pockets to solve SBDD has attracted much attention, but their formulation as probabilistic modeling often leads to unsatisfactory optimization performance. On the other hand, traditional combinatorial optimization methods such as genetic algorithms (GA) have demonstrated state-of-the-art performance in various molecular optimization tasks. However, they do not utilize protein target structure to inform design steps but rely on a random-walk-like exploration, which leads to unstable performance and no knowledge transfer between different tasks despite the similar binding physics. To achieve a more stable and efficient SBDD, we propose Reinforced Genetic Algorithm (RGA) that uses neural models to prioritize the profitable design steps and suppress random-walk behavior. The neural models take the 3D structure of the targets and ligands as inputs and are pre-trained using native complex structures to utilize the knowledge of the shared binding physics from different targets and then fine-tuned during optimization. We conduct thorough empirical studies on optimizing binding affinity to various disease targets and show that RGA outperforms the baselines in terms of docking scores and is more robust to random initializations. The ablation study also indicates that the training on different targets helps improve performance by leveraging the shared underlying physics of the binding processes. The code is available at https://github.com/futianfan/reinforced-genetic-algorithm.