味道是遵循社会趋势和行为的风味行业的焦点。新调味剂和分子的研究和开发在该领域至关重要。另一方面，自然风味的发展在现代社会中起着至关重要的作用。鉴于此，目前的工作提出了一个基于科学机器学习的新颖框架，以在风味工程和行业中解决新的问题。因此，这项工作带来了一种创新的方法来设计新的自然风味分子。评估了有关合成可及性，原子数以及与天然或伪天然产物的相似性的分子。

The use of reinforcement learning has proven to be very promising for solving complex activities without human supervision during their learning process. However, their successful applications are predominantly focused on fictional and entertainment problems - such as games. Based on the above, this work aims to shed light on the application of reinforcement learning to solve this relevant real-world problem, the genome assembly. By expanding the only approach found in the literature that addresses this problem, we carefully explored the aspects of intelligent agent learning, performed by the Q-learning algorithm, to understand its suitability to be applied in scenarios whose characteristics are more similar to those faced by real genome projects. The improvements proposed here include changing the previously proposed reward system and including state space exploration optimization strategies based on dynamic pruning and mutual collaboration with evolutionary computing. These investigations were tried on 23 new environments with larger inputs than those used previously. All these environments are freely available on the internet for the evolution of this research by the scientific community. The results suggest consistent performance progress using the proposed improvements, however, they also demonstrate the limitations of them, especially related to the high dimensionality of state and action spaces. We also present, later, the paths that can be traced to tackle genome assembly efficiently in real scenarios considering recent, successfully reinforcement learning applications - including deep reinforcement learning - from other domains dealing with high-dimensional inputs.

过程合成经历了数字化和人工智能加速的破坏性转换。我们提出了一种基于最先进的演员批评逻辑的化学过程设计的增强学习算法。我们提出的算法代表化学过程作为图形，并使用图形卷积神经网络从过程图中学习。特别是，图形神经网络是在代理体系结构中实现的，以处理状态并做出决策。此外，我们实施了一个层次结构和混合决策过程来生成流程表，在该过程中，将单位操作迭代作为离散决策和相应的设计变量选择作为连续决策。我们证明了我们的方法在包括平衡反应，共聚物分离和回收的一个说明性案例研究中设计经济可行的流程表的潜力。结果显示在离散，连续和混合动作空间中快速学习。由于拟议的强化学习代理的灵活体系结构，该方法被预定为包括大型动作状态空间和在未来研究中处理模拟器的接口。

预计个性化医学预计最大化预期的药物效应并通过基于其遗传谱治疗患者最小化副作用。因此，重要的是基于疾病的遗传谱产生药物，特别是在抗癌药物发现中。然而，这是具有挑战性的，因为巨大的化学空间和癌症特性的变化需要巨大的时间资源来寻找适当的分子。因此，考虑遗传型材的高效和快速的搜索方法是抗癌药物的Novo分子设计所必需的。在这里，我们提出了一种更快的分子生成模型，具有遗传算法和树搜索癌症样本（FeStergts）。 FERSTERGTS以遗传算法和具有三个深神经网络的蒙特卡罗树搜索构建：监督学习，自培训和价值网络，并且它基于癌症样品的遗传谱产生抗癌分子。与其他方法相比，FERSTERGTS产生癌症样品特异性分子，癌症药物在有限数量的采样中所需的一般化学性质。我们预计Fastergts促成了抗癌药物。

深入强化学习（DRL）用于开发自主优化和定制设计的热处理过程，这些过程既对微观结构敏感又节能。与常规监督的机器学习不同，DRL不仅依赖于数据中的静态神经网络培训，但是学习代理人会根据奖励和惩罚元素自主开发最佳解决方案，并减少或没有监督。在我们的方法中，依赖温度的艾伦 - 卡恩模型用于相转换，用作DRL代理的环境，是其获得经验并采取自主决策的模型世界。 DRL算法的试剂正在控制系统的温度，作为用于合金热处理的模型炉。根据所需的相位微观结构为代理定义了微观结构目标。训练后，代理可以为各种初始微观结构状态生成温度时间曲线，以达到最终所需的微观结构状态。详细研究了代理商的性能和热处理概况的物理含义。特别是，该试剂能够控制温度以从各种初始条件开始达到所需的微观结构。代理在处理各种条件方面的这种能力为使用这种方法铺平了道路，也用于回收的导向热处理过程设计，由于杂质的侵入，初始组合物可能因批量而异，以及用于设计节能热处理。为了检验这一假设，将无罚款的代理人与考虑能源成本的代理人进行了比较。对能源成本的罚款是针对找到最佳温度时间剖面的代理的附加标准。

当预测不久的将来的环境中的要素状态时，Endley情况意识模型的最高级别称为投影。在网络安全状况的意识中，对高级持续威胁（APT）的投影需要预测APT的下一步。威胁正在不断变化，变得越来越复杂。由于受监督和无监督的学习方法需要APT数据集​​来投影APT的下一步，因此他们无法识别未知的APT威胁。在强化学习方法中，代理与环境相互作用，因此它可能会投射出已知和未知APT的下一步。到目前为止，尚未使用强化学习来计划APTS的下一步。在强化学习中，代理商使用先前的状态和行动来近似当前状态的最佳动作。当状态和行动的数量丰富时，代理人采用神经网络，该网络被称为深度学习来近似每个州的最佳动作。在本文中，我们提出了一个深厚的加固学习系统，以预测APT的下一步。随着攻击步骤之间的某种关系，我们采用长期短期记忆（LSTM）方法来近似每个状态的最佳动作。在我们提出的系统中，根据当前情况，我们将投影APT威胁的下一步。

人工智能（AI）在过去十年中一直在改变药物发现的实践。各种AI技术已在广泛的应用中使用，例如虚拟筛选和药物设计。在本调查中，我们首先概述了药物发现，并讨论了相关的应用，可以减少到两个主要任务，即分子性质预测和分子产生。然后，我们讨论常见的数据资源，分子表示和基准平台。此外，为了总结AI在药物发现中的进展情况，我们介绍了在调查的论文中包括模型架构和学习范式的相关AI技术。我们预计本调查将作为有兴趣在人工智能和药物发现界面工作的研究人员的指南。我们还提供了GitHub存储库（HTTPS:///github.com/dengjianyuan/survey_survey_au_drug_discovery），其中包含文件和代码，如适用，作为定期更新的学习资源。

PROteolysis TArgeting Chimeras (PROTACs) are an emerging therapeutic modality for degrading a protein of interest (POI) by marking it for degradation by the proteasome. Recent developments in artificial intelligence (AI) suggest that deep generative models can assist with the de novo design of molecules with desired properties, and their application to PROTAC design remains largely unexplored. We show that a graph-based generative model can be used to propose novel PROTAC-like structures from empty graphs. Our model can be guided towards the generation of large molecules (30--140 heavy atoms) predicted to degrade a POI through policy-gradient reinforcement learning (RL). Rewards during RL are applied using a boosted tree surrogate model that predicts a molecule's degradation potential for each POI. Using this approach, we steer the generative model towards compounds with higher likelihoods of predicted degradation activity. Despite being trained on sparse public data, the generative model proposes molecules with substructures found in known degraders. After fine-tuning, predicted activity against a challenging POI increases from 50% to >80% with near-perfect chemical validity for sampled compounds, suggesting this is a promising approach for the optimization of large, PROTAC-like molecules for targeted protein degradation.

虽然最近在许多科学领域都变得无处不在，但对其评估的关注较少。对于分子生成模型，最先进的是孤立或与其输入有关的输出。但是，它们的生物学和功能特性（例如配体 - 靶标相互作用）尚未得到解决。在这项研究中，提出了一种新型的生物学启发的基准，用于评估分子生成模型。具体而言，设计了三个不同的参考数据集，并引入了与药物发现过程直接相关的一组指标。特别是我们提出了一个娱乐指标，将药物目标亲和力预测和分子对接应用作为评估生成产量的互补技术。虽然所有三个指标均在测试的生成模型中均表现出一致的结果，但对药物目标亲和力结合和分子对接分数进行了更详细的比较，表明单峰预测器可能会导致关于目标结合在分子水平和多模式方法的错误结论，而多模式的方法是错误的结论。因此优选。该框架的关键优点是，它通过明确关注配体 - 靶标相互作用，将先前的物理化学域知识纳入基准测试过程，从而创建了一种高效的工具，不仅用于评估分子生成型输出，而且还用于丰富富含分子生成的输出。一般而言，药物发现过程。

图形结构数据的深层生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可区分模型，可以在化学结构的离散和广阔空间中侧键入昂贵的搜索程序。我们介绍了Molgan，这是一种用于小分子图的隐式，无似然生成模型，它规避了对以前基于可能性的方法的昂贵图形匹配程序或节点订购启发式方法的需求。我们的方法适应生成对抗网络（GAN）直接在图形结构数据上操作。我们将方法与增强学习目标结合起来，以鼓励具有特定所需化学特性的分子产生。在QM9化学数据库的实验中，我们证明了我们的模型能够生成接近100％有效化合物。莫尔根（Molgan）与最近使用基于字符串的分子表示（微笑）表示的提案和基于似然的方法直接生成图的方法进行了比较。 https://github.com/nicola-decao/molgan上的代码

由于能够产生与实际数据的显着统计相似性的高质量数据，生成的对抗性网络（GANS）最近在AI社区中引起了相当大的关注。从根本上，GaN是在训练中以越野方式训练的两个神经网络之间的游戏，以达到零和纳什均衡轮廓。尽管在过去几年中在GAN完成了改进，但仍有几个问题仍有待解决。本文评论了GANS游戏理论方面的文献，并解决了游戏理论模型如何应对生成模型的特殊挑战，提高GAN的表现。我们首先提出一些预备，包括基本GaN模型和一些博弈论背景。然后，我们将分类系统将最先进的解决方案分为三个主要类别：修改的游戏模型，修改的架构和修改的学习方法。分类基于通过文献中提出的游戏理论方法对基本GaN模型进行的修改。然后，我们探讨每个类别的目标，并讨论每个类别的最新作品。最后，我们讨论了这一领域的剩余挑战，并提出了未来的研究方向。

道路维护规划是道路资产管理的一个组成部分。维护和康复（M＆R）实践中的主要挑战之一是确定维护类型和时间。本研究提出了一种基于长期路面性能（LTPP）数据库的强化学习（RL）的框架，以确定M＆R实践的类型和时间。首先以所提出的算法开发预测DNN模型，其用作RL算法的环境。对于RL模型的策略估计，开发了DQN和PPO模型。然而，由于更好的收敛性和更高的样本效率，终点被选中了PPO。本研究中使用的指标是国际粗糙度指数（IRI）和车辙深度（RD）。最初，我们将裂化度量（cm）视为第三指示器，但是由于与其他指标相比的数据少得多，因此被排除在外，导致结果的准确性较低。此外，在成本效益计算（奖励）中，我们考虑了M＆R治疗的经济和环境影响。使用Palate 2.0软件评估了成本和环境影响。我们的方法是在德克萨斯州德克萨斯州的23公里长的六车道高速公路的假设案例研究中进行了测试。结果提出了一个20年的M＆R计划，其中道路状况保持在出色的条件范围。由于道路的早期阶段处于良好的服务水平，因此在第一年不需要重型维护实践。后来，经过重型的M＆R作用，有几个1-2岁的治疗方法。所有这些都表明拟议的计划具有逻辑结果。决策者和运输机构可以使用此计划进行更好的维护实践，以防止预算浪费，同时最大限度地减少环境影响。

近年来，近年来开发新药和治疗的成本上升导致了在生物分子设计中的优化技术方面进行了广泛的研究。目前，使用最广泛的生物分子设计方法是针对演化的，这是一种贪婪的爬山算法，用于模拟生物学进化。在本文中，我们提出了一种对RNA序列设计应用增强学习的新基准，其中目标函数被定义为序列的二级结构中的自由能。除了从标准库中进行每个强化学习算法的VANILLA实现外，我们还分析了每种算法的变体，我们修改了算法的奖励函数并调整了模型的超参数。我们展示了我们为这些算法做的消融分析的结果，以及指示批量批量性能的图表及其搜索RNA序列可能空间的能力。我们发现我们的DQN算法在此设置中最佳地执行，与之对比，其中PPO在所有测试算法中表现最佳。我们的结果应该对生物分子设计社区中的结果感兴趣，应作为涉及分子设计机器学习的未来实验的基线。

促性腺营养蛋白释放激素受体（GNRH1R）是治疗子宫疾病的有前途的治疗靶标。迄今为止，在临床研究中可以使用几个GNRH1R拮抗剂，而不满足多个财产约束。为了填补这一空白，我们旨在开发一个基于学习的框架，以促进有效，有效地发现具有理想特性的新的口服小型分子药物靶向GNRH1R。在目前的工作中，首先通过充分利用已知活性化合物和靶蛋白的结构的信息，首先提出了配体和结构组合模型，即LS-Molgen，首先提出了分子生成的方法，该信息通过其出色的性能证明了这一点。比分别基于配体或结构方法。然后，进行了A中的计算机筛选，包括活性预测，ADMET评估，分子对接和FEP计算，其中约30,000个生成的新型分子被缩小到8，以进行实验合成和验证。体外和体内实验表明，其中三个表现出有效的抑制活性（化合物5 IC50 = 0.856 nm，化合物6 IC50 = 0.901 nm，化合物7 IC50 = 2.54 nm对GNRH1R，并且化合物5在基本PK属性中表现良好例如半衰期，口服生物利用度和PPB等。我们认为，提议的配体和结构组合结合的分子生成模型和整个计算机辅助工作流程可能会扩展到从头开始的类似任务或铅优化的类似任务。

Machine learning methods have been used to accelerate the molecule optimization process. However, efficient search for optimized molecules satisfying several properties with scarce labeled data remains a challenge for machine learning molecule optimization. In this study, we propose MOMO, a multi-objective molecule optimization framework to address the challenge by combining learning of chemical knowledge with Pareto-based multi-objective evolutionary search. To learn chemistry, it employs a self-supervised codec to construct an implicit chemical space and acquire the continues representation of molecules. To explore the established chemical space, MOMO uses multi-objective evolution to comprehensively and efficiently search for similar molecules with multiple desirable properties. We demonstrate the high performance of MOMO on four multi-objective property and similarity optimization tasks, and illustrate the search capability of MOMO through case studies. Remarkably, our approach significantly outperforms previous approaches in optimizing three objectives simultaneously. The results show the optimization capability of MOMO, suggesting to improve the success rate of lead molecule optimization.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

There is an increasing need in our society to achieve faster advances in Science to tackle urgent problems, such as climate changes, environmental hazards, sustainable energy systems, pandemics, among others. In certain domains like chemistry, scientific discovery carries the extra burden of assessing risks of the proposed novel solutions before moving to the experimental stage. Despite several recent advances in Machine Learning and AI to address some of these challenges, there is still a gap in technologies to support end-to-end discovery applications, integrating the myriad of available technologies into a coherent, orchestrated, yet flexible discovery process. Such applications need to handle complex knowledge management at scale, enabling knowledge consumption and production in a timely and efficient way for subject matter experts (SMEs). Furthermore, the discovery of novel functional materials strongly relies on the development of exploration strategies in the chemical space. For instance, generative models have gained attention within the scientific community due to their ability to generate enormous volumes of novel molecules across material domains. These models exhibit extreme creativity that often translates in low viability of the generated candidates. In this work, we propose a workbench framework that aims at enabling the human-AI co-creation to reduce the time until the first discovery and the opportunity costs involved. This framework relies on a knowledge base with domain and process knowledge, and user-interaction components to acquire knowledge and advise the SMEs. Currently,the framework supports four main activities: generative modeling, dataset triage, molecule adjudication, and risk assessment.

在这项工作中，我们提出并评估了一种新的增强学习方法，紧凑体验重放（编者），它使用基于相似转换集的复发的预测目标值的时间差异学习，以及基于两个转换的经验重放的新方法记忆。我们的目标是减少在长期累计累计奖励的经纪人培训所需的经验。它与强化学习的相关性与少量观察结果有关，即它需要实现类似于文献中的相关方法获得的结果，这通常需要数百万视频框架来培训ATARI 2600游戏。我们举报了在八个挑战街机学习环境（ALE）挑战游戏中，为仅10万帧的培训试验和大约25,000次迭代的培训试验中报告了培训试验。我们还在与基线的同一游戏中具有相同的实验协议的DQN代理呈现结果。为了验证从较少数量的观察结果近似于良好的政策，我们还将其结果与从啤酒的基准上呈现的数百万帧中获得的结果进行比较。

在这里，我们报告了强化学习（RL）的案例研究实施，以自动化扫描传输电子显微镜（STEM）工作流程中的操作。为此，我们设计了一个虚拟的，典型的RL环境，以测试和开发网络，以自主对电子束进行自主对齐，而无需事先了解。使用此模拟器，我们评估了环境设计和算法超参数对对齐准确性和学习收敛的影响，从而显示了宽阔的超级参数空间的稳健收敛性。此外，我们在显微镜上部署了成功的模型，以验证该方法并演示设计适当的虚拟环境的价值。与模拟结果一致，微观RL模型在最小的训练后达到了与目标一致性的收敛。总体而言，结果表明，通过利用RL，可以自动化显微镜操作而无需广泛的算法设计，从而通过机器学习方法迈出了增强电子显微镜的又一步。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。