Humans have been able to tackle biosphere complexities by acting as ecosystem engineers, profoundly changing the flows of matter, energy and information. This includes major innovations that allowed to reduce and control the impact of extreme events. Modelling the evolution of such adaptive dynamics can be challenging given the potentially large number of individual and environmental variables involved. This paper shows how to address this problem by using fire as the source of external, bursting and wide fluctuations. Fire propagates on a spatial landscape where a group of agents harvest and exploit trees while avoiding the damaging effects of fire spreading. The agents need to solve a conflict to reach a group-level optimal state: while tree harvesting reduces the propagation of fires, it also reduces the availability of resources provided by trees. It is shown that the system displays two major evolutionary innovations that end up in an ecological engineering strategy that favours high biomass along with the suppression of large fires. The implications for potential A.I. management of complex ecosystems are discussed.

在空间显式的基于个别模型中捕获和模拟智能自适应行为仍然是研究人员持续的挑战。虽然收集了不断增长的现实行为数据，但存在很少的方法，可以量化和正式化关键的个人行为以及它们如何改变空间和时间。因此，通常使用的常用代理决策框架（例如事件条件 - 行动规则）通常只需要仅关注狭窄的行为范围。我们认为，这些行为框架通常不会反映现实世界的情景，并且未能捕捉如何以响应刺激而发展行为。对机器学习方法的兴趣增加了近年来模拟智能自适应行为的兴趣。在该区域中开始获得牵引的一种方法是增强学习（RL）。本文探讨了如何使用基于简单的捕食者 - 猎物代理的模型（ABM）来应用RL创建紧急代理行为。运行一系列模拟，我们证明了使用新型近端政策优化（PPO）算法培训的代理以展示现实世界智能自适应行为的性质，例如隐藏，逃避和觅食。

Multi-agent artificial intelligence research promises a path to develop intelligent technologies that are more human-like and more human-compatible than those produced by "solipsistic" approaches, which do not consider interactions between agents. Melting Pot is a research tool developed to facilitate work on multi-agent artificial intelligence, and provides an evaluation protocol that measures generalization to novel social partners in a set of canonical test scenarios. Each scenario pairs a physical environment (a "substrate") with a reference set of co-players (a "background population"), to create a social situation with substantial interdependence between the individuals involved. For instance, some scenarios were inspired by institutional-economics-based accounts of natural resource management and public-good-provision dilemmas. Others were inspired by considerations from evolutionary biology, game theory, and artificial life. Melting Pot aims to cover a maximally diverse set of interdependencies and incentives. It includes the commonly-studied extreme cases of perfectly-competitive (zero-sum) motivations and perfectly-cooperative (shared-reward) motivations, but does not stop with them. As in real-life, a clear majority of scenarios in Melting Pot have mixed incentives. They are neither purely competitive nor purely cooperative and thus demand successful agents be able to navigate the resulting ambiguity. Here we describe Melting Pot 2.0, which revises and expands on Melting Pot. We also introduce support for scenarios with asymmetric roles, and explain how to integrate them into the evaluation protocol. This report also contains: (1) details of all substrates and scenarios; (2) a complete description of all baseline algorithms and results. Our intention is for it to serve as a reference for researchers using Melting Pot 2.0.

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

我们考虑单个强化学习与基于事件驱动的代理商金融市场模型相互作用时学习最佳执行代理的学习动力。交易在事件时间内通过匹配引擎进行异步进行。最佳执行代理在不同级别的初始订单尺寸和不同尺寸的状态空间上进行考虑。使用校准方法考虑了对基于代理的模型和市场的影响，该方法探讨了经验性风格化事实和价格影响曲线的变化。收敛，音量轨迹和动作痕迹图用于可视化学习动力学。这表明了最佳执行代理如何在模拟的反应性市场框架内学习最佳交易决策，以及如何通过引入战略订单分类来改变模拟市场的反反应。

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。

本文重点介绍了大型城市网络的几个属性，这些属性可能会影响应用于交通信号控制的机器学习方法。特别是，我们表明，随着密度的增加，平均网络流往往独立于信号控制策略。到目前为止，这种属性一直存在于雷达之下，这意味着在拥挤的条件下训练时，深厚的增强学习（DRL）方法变得无效，并且可能解释了DRL在交通信号控制方面的成功有限。我们的结果适用于所有可能的网格网络，这要归功于基于两个网络参数的参数化：连续交通信号灯与预期绿色时间之间的预期距离和交叉点的转弯概率的比率。具有不同参数的网络对流量信号控制的响应非常不同。值得注意的是，我们发现没有控制（即随机政策）可以成为一个令人惊讶的大型网络家庭的有效控制策略。对于基线和DRL政策而言，转向概率的影响都非常重要。它还解释了这些策略观察到的对称性的丧失，这并不能由依赖走廊近似没有转弯的现有理论捕获。我们的发现还表明，监督的学习方法具有巨大的潜力，因为它们几乎不需要实例来制定出色的政策。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

在人类中，感知意识促进了来自感官输入的快速识别和提取信息。这种意识在很大程度上取决于人类代理人如何与环境相互作用。在这项工作中，我们提出了主动神经生成编码，用于学习动作驱动的生成模型的计算框架，而不会在动态环境中反正出错误（Backprop）。具体而言，我们开发了一种智能代理，即使具有稀疏奖励，也可以从规划的认知理论中汲取灵感。我们展示了我们框架与深度Q学习竞争力的几个简单的控制问题。我们的代理的强劲表现提供了有希望的证据，即神经推断和学习的无背方法可以推动目标定向行为。

Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.

深入强化学习（DRL）用于开发自主优化和定制设计的热处理过程，这些过程既对微观结构敏感又节能。与常规监督的机器学习不同，DRL不仅依赖于数据中的静态神经网络培训，但是学习代理人会根据奖励和惩罚元素自主开发最佳解决方案，并减少或没有监督。在我们的方法中，依赖温度的艾伦 - 卡恩模型用于相转换，用作DRL代理的环境，是其获得经验并采取自主决策的模型世界。 DRL算法的试剂正在控制系统的温度，作为用于合金热处理的模型炉。根据所需的相位微观结构为代理定义了微观结构目标。训练后，代理可以为各种初始微观结构状态生成温度时间曲线，以达到最终所需的微观结构状态。详细研究了代理商的性能和热处理概况的物理含义。特别是，该试剂能够控制温度以从各种初始条件开始达到所需的微观结构。代理在处理各种条件方面的这种能力为使用这种方法铺平了道路，也用于回收的导向热处理过程设计，由于杂质的侵入，初始组合物可能因批量而异，以及用于设计节能热处理。为了检验这一假设，将无罚款的代理人与考虑能源成本的代理人进行了比较。对能源成本的罚款是针对找到最佳温度时间剖面的代理的附加标准。

学习涉及时变和不断发展的系统动态的控制政策通常对主流强化学习算法构成了巨大的挑战。在大多数标准方法中，通常认为动作是一组刚性的，固定的选择，这些选择以预定义的方式顺序应用于状态空间。因此，在不诉诸于重大学习过程的情况下，学识渊博的政策缺乏适应动作集和动作的“行为”结果的能力。此外，标准行动表示和动作引起的状态过渡机制固有地限制了如何将强化学习应用于复杂的现实世界应用中，这主要是由于所得大的状态空间的棘手性以及缺乏概括的学术知识对国家空间未知部分的政策。本文提出了一个贝叶斯味的广义增强学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后将增强领域的概念作为物理启发的结构引入通过“极化体验颗粒颗粒建立） “维持在学习代理的工作记忆中。这些粒子有效地编码了以自组织方式随时间演变的动态学习体验。在强化领域之上，我们将进一步概括策略学习过程，以通过将过去的记忆视为具有隐式图结构来结合高级决策概念，在该结构中，过去的内存实例（或粒子）与决策之间的相似性相互联系。定义，因此，可以应用“关联记忆”原则来增强学习代理的世界模型。

安全是空中交通时的主要问题。通过成对分离最小值确保无人驾驶飞机（无人机）之间的飞行安全性，利用冲突检测和分辨方法。现有方法主要处理成对冲突，但由于交通密度的预期增加，可能会发生两个以上的无人机的遇到。在本文中，我们将多UAV冲突解决模型作为多功能加强学习问题。我们实现了一种基于图形神经网络的算法，配合代理可以与共同生成分辨率的操作进行通信。该模型在具有3和4个当前代理的情况下进行评估。结果表明，代理商能够通过合作策略成功解决多UV冲突。

多代理增强学习（MARL）最近在各个领域取得了巨大的成功。但是，借助黑盒神经网络架构，现有的MARL方法以不透明的方式做出决策，使人无法理解学习知识以及输入观察如何影响决策。我们的解决方案是混合经常性的软决策树（MixRTS），这是一种可解释的新型结构，可以通过决策树的根到叶子路径来表示明确的决策过程。我们在软决策树中引入了一种新颖的经常性结构，以解决部分观察性，并通过仅基于局部观察结果线性混合复发树的输出来估算关节作用值。理论分析表明，混合物在分解中保证具有添加性和单调性的结构约束。我们在一系列具有挑战性的Starcraft II任务上评估MixRT。实验结果表明，与广泛研究的基线相比，我们的可解释的学习框架获得了竞争性能，并提供了对决策过程的更直接的解释和领域知识。

集体行为在动物王国范围内普遍存在。然而，迄今为止，集体行为的发展和机械基础尚未正式建立。什么学会机制推动新生动物中集体行为的发展？在这里，我们使用了深度增强学习和好奇心驱动的学习 - 深深植根于心理和神经科学研究的两种学习机制 - 建立开发集体行为的新生人工代理。像新生动物一样，我们的代理商学习来自自然主义环境中的原始感官投入的集体行为。我们的代理商还学习没有外部奖励的集体行为，只使用内在的动机（好奇心）来推动学习。具体而言，当我们在具有组织中的自然视觉环境中提高人工剂时，该代理自发地发展为自我运动，对象识别，以及对组织的偏好，迅速学习集体行为所需的所有核心技能。这项工作桥接了高维感官输入和集体动作之间的划分，导致了集体动物行为的像素与动作模型。更一般地说，我们表明，两个通用学习机制 - 深度加强学习和好奇心驱动的学习 - 足以学习来自无监督的自然体验的集体行为。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

作为一个重要的心理和社会实验，迭代的囚犯困境（IPD）将合作或缺陷作为原子行动视为选择。我们建议研究迭代的囚犯困境（IPD）游戏中在线学习算法的行为，在那里我们研究了整个强化学习剂：多臂匪徒，上下文的强盗和钢筋学习。我们根据迭代囚犯的困境的比赛进行评估，其中多个特工可以以顺序竞争。这使我们能够分析由多个自私的独立奖励驱动的代理所学到的政策的动态，还使我们研究了这些算法适合人类行为的能力。结果表明，考虑当前的情况做出决定是这种社会困境游戏中最糟糕的情况。陈述了有关在线学习行为和临床验证的倍数，以此作为将人工智能算法与人类行为及其在神经精神病疾病中的异常状态联系起来的努力。