我们使用多机构系统来建模代理（代表公司）如何合作并适应业务“景观”，其中一些更具影响力的公司有能力塑造其他公司的景观。我们研究的景观是基于著名的Kauffman的NK模型，并增加了“塑造者”，这些公司可以为自己和所有其他玩家改变景观的特征。我们的工作调查了还可以赋予认知和体验式搜索的公司，以及与其他公司建立合作的能力，可以使用这些能力来更快，更熟练地适应。我们发现，在一个合作集团中，公司仍然必须有自己的想法，并抵制更强大的合作伙伴的直接模仿，以共同达到更好的高度。具有更大影响力成员的较大群体和群体通常会做得更好，因此有针对性的智能合作是有益的。这些结论是暂定的，我们的结果表明了对景观坚固性和“锻造性”的敏感性（即，塑造公司将改变景观的能力）。总体而言，我们的工作展示了计算机科学，演变和机器学习在这些复杂环境中为业务策略做出贡献的潜力。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

过去已经表明，与解决多模式问题生成器的解决实例相比，多座丘陵策略与标准遗传算法相比有利。我们扩展了这项工作，并验证遗传算法中多样性保存技术的利用是否改变了比较结果。在两种情况下，我们这样做：（1）​​目标是找到全局最佳距离时，（2）当目标是找到所有Optima时。进行了数学分析，用于多设山丘算法，并通过实证研究进行了经验研究，以求解多模式问题生成器的实例，其中包括山丘策略以及遗传算法的数量，并使用遗传算法进行了元素。尽管小甲基元素改善了遗传算法的性能，但它仍然不如这类问题上的多尽山关闭策略。还提出了一种理想化的细分策略，并认为它的性能应接近任何进化算法在此类问题上可以做到的。

2021年8月，圣达菲研究所举办了一个关于集体智力的研讨会，是智力项目基础的一部分。该项目旨在通过促进智能性质的跨学科研究来推进人工智能领域。该研讨会汇集了计算机科学家，生物学家，哲学家，社会科学家和其他人，以分享他们对多种代理人之间的互动产生的洞察力的见解 - 是否这些代理商是机器，动物或人类。在本报告中，我们总结了每个会谈和随后的讨论。我们还借出了许多关键主题，并确定未来研究的重要前沿。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

团队是人类成就的核心。在过去的半个世纪中，心理学家已经确定了五个跨文化有效的人格变量：神经质，外向性，开放性，尽职尽责和同意。前四个与团队绩效显示一致的关系。然而，令人愉快的（和谐，无私，谦虚和合作）表现出与团队绩效的无关紧要和高度可变的关系。我们通过计算建模解决这种不一致。基于代理的模型（ABM）用于预测人格特质对团队合作的影响，然后使用遗传算法来探索ABM的限制，以发现哪种特征与最佳和最差的表现相关，以解决与与最差的团队相关的问题，以解决与问题有关的问题。不同级别的不确定性（噪声）。探索所揭示的新依赖性通过分析迄今为止最大的团队绩效数据集的先前未观察到的数据来证实，其中包括593个团队中的3,698个个人，从事5,000多个没有不确定性的小组任务，在10年内收集了不确定性。我们的发现是，团队绩效和同意之间的依赖性受到任务不确定性的调节。以这种方式将进化计算与ABM相结合，为团队合作的科学研究，做出新的预测以及提高我们对人类行为的理解提供了一种新方法。我们的结果证实了计算机建模对发展理论的潜在实用性，并阐明了随着工作环境的越来越流畅和不确定的启示。

学习涉及时变和不断发展的系统动态的控制政策通常对主流强化学习算法构成了巨大的挑战。在大多数标准方法中，通常认为动作是一组刚性的，固定的选择，这些选择以预定义的方式顺序应用于状态空间。因此，在不诉诸于重大学习过程的情况下，学识渊博的政策缺乏适应动作集和动作的“行为”结果的能力。此外，标准行动表示和动作引起的状态过渡机制固有地限制了如何将强化学习应用于复杂的现实世界应用中，这主要是由于所得大的状态空间的棘手性以及缺乏概括的学术知识对国家空间未知部分的政策。本文提出了一个贝叶斯味的广义增强学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后将增强领域的概念作为物理启发的结构引入通过“极化体验颗粒颗粒建立） “维持在学习代理的工作记忆中。这些粒子有效地编码了以自组织方式随时间演变的动态学习体验。在强化领域之上，我们将进一步概括策略学习过程，以通过将过去的记忆视为具有隐式图结构来结合高级决策概念，在该结构中，过去的内存实例（或粒子）与决策之间的相似性相互联系。定义，因此，可以应用“关联记忆”原则来增强学习代理的世界模型。

4月20日至22日，在马德里（西班牙）举行的EVO* 2022会议上提交了末期摘要。这些论文介绍了正在进行的研究和初步结果，这些结果研究了对不同问题的不同方法（主要是进化计算）的应用，其中大多数是现实世界中的方法。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

在空间显式的基于个别模型中捕获和模拟智能自适应行为仍然是研究人员持续的挑战。虽然收集了不断增长的现实行为数据，但存在很少的方法，可以量化和正式化关键的个人行为以及它们如何改变空间和时间。因此，通常使用的常用代理决策框架（例如事件条件 - 行动规则）通常只需要仅关注狭窄的行为范围。我们认为，这些行为框架通常不会反映现实世界的情景，并且未能捕捉如何以响应刺激而发展行为。对机器学习方法的兴趣增加了近年来模拟智能自适应行为的兴趣。在该区域中开始获得牵引的一种方法是增强学习（RL）。本文探讨了如何使用基于简单的捕食者 - 猎物代理的模型（ABM）来应用RL创建紧急代理行为。运行一系列模拟，我们证明了使用新型近端政策优化（PPO）算法培训的代理以展示现实世界智能自适应行为的性质，例如隐藏，逃避和觅食。

基准套件提供了对进化算法解决问题能力的有用度量，但是组成问题通常太复杂了，无法清洁算法的优势和劣势。在这里，我们介绍了基准套件档案（``进化运行中的选择方案的诊断概述''），以实证分析有关剥削和探索重要方面的选择方案。利用从根本上是攀岩，但我们考虑两种情况：纯剥削，可以独立优化表示形式中的每个位置，并且受到限制的利用，在该位置之间，由于位置之间的相互作用，向上进展更加有限。当优化路径不太清楚时，需要探索；我们认为能够遵循多个独立的爬山途径和跨健身山谷的能力。这些场景的每种组合都会产生独特的适应性景观，有助于表征与给定选择方案相关的进化动力学。我们分析了六个流行的选择方案。锦标赛的选择和截断选择都在剥削指标方面表现出色，但在需要探索时表现不佳；相反，新颖的搜索在探索方面表现出色，但未能利用梯度。在克服欺骗时，健身共享表现良好，但在所有其他诊断方面都很差。非主导的分类是维持由居住在多个Optima居住的个体组成的不同人群的最佳选择，但努力有效利用梯度。词汇酶选择平衡搜索空间探索而不牺牲剥削，通常在诊断方面表现良好。我们的工作证明了诊断对快速建立对选择方案特征的直观理解的价值，然后可以将其用于改进或开发新的选择方法。

在复杂的协作任务上共同努力需要代理商协调他们的行为。在实际交互之前明确或完全执行此操作并不总是可能也不充分。代理人还需要不断了解他人的当前行动，并迅速适应自己的行为。在这里，我们调查我们称之为信仰共鸣的精神状态（意图，目标）的效率，自动协调过程如何导致协作的解决问题。我们为协作剂（HAICA）提出了分层有源推断的模型。它将高效的贝叶斯理论与基于预测处理和主动推断的感知动作系统相结合。通过让一个药物的推断精神状态影响另一个代理人的预测信念来实现信仰共振，从而实现了他自己的目标和意图。这样，推断的精神状态影响了代理人自己的任务行为，没有明确的协作推理。我们在超核域中实施和评估此模型，其中两个代理具有不同程度的信仰共振组合，以满足膳食订单。我们的结果表明，基于HAICA的代理商实现了与最近现有技术方法相当的团队表现，同时产生了更低的计算成本。我们还表明，信仰共振在环境中特别有益，代理商是对环境的不对称知识。结果表明，信仰共振和有效推断允许快速高效的代理协调，因此可以用作合作认知剂的结构块。

我们考虑单个强化学习与基于事件驱动的代理商金融市场模型相互作用时学习最佳执行代理的学习动力。交易在事件时间内通过匹配引擎进行异步进行。最佳执行代理在不同级别的初始订单尺寸和不同尺寸的状态空间上进行考虑。使用校准方法考虑了对基于代理的模型和市场的影响，该方法探讨了经验性风格化事实和价格影响曲线的变化。收敛，音量轨迹和动作痕迹图用于可视化学习动力学。这表明了最佳执行代理如何在模拟的反应性市场框架内学习最佳交易决策，以及如何通过引入战略订单分类来改变模拟市场的反反应。

全球综合合作对于限制全球温度的升高至关重要，同时继续经济发展，例如减少严重的不平等或实现长期经济增长。与N战略代理进行缓解气候变化的长期合作提出了一个复杂的游戏理论问题。例如，代理商可以谈判并达成气候协议，但是没有中央权力可以执行遵守这些协议。因此，设计谈判和协议框架以促进合作，允许所有代理人达到其个人政策目标并激励长期遵守，这一点至关重要。这是一个跨学科的挑战，要求在机器学习，经济学，气候科学，法律，政策，道德和其他领域进行研究人员之间的合作。特别是，我们认为机器学习是解决该领域复杂性的关键工具。为了促进这项研究，在这里，我们介绍了一个多区域综合评估模型，模拟全球气候和经济，可用于设计和评估不同谈判和协议框架的战略成果。我们还描述了如何使用多代理增强学习来使用水稻N训练理性剂。该框架是全球气候合作的基础，这是一个工作组协作和气候谈判和协议设计的竞争。在这里，我们邀请科学界使用Rice-N，机器学习，经济直觉和其他领域知识来设计和评估其解决方案。更多信息可以在www.ai4climatecoop.org上找到。

我们将仔细研究道德，并尝试以可能成为工具的抽象属性的形式提取见解。我们想将道德与游戏联系起来，谈论道德的表现，将好奇心引入竞争和协调良好的伦理学之间的相互作用，并提供可能统一实体汇总的可能发展的看法。所有这些都是由计算复杂性造成的长阴影，这对游戏来说是负面的。该分析是寻找建模方面的第一步，这些方面可能在AI伦理中用于将现代AI系统整合到人类社会中。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。

Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.

In this paper, we consider the problem of adjusting the exploration rate when using value-of-information-based exploration. We do this by converting the value-of-information optimization into a problem of finding equilibria of a flow for a changing exploration rate. We then develop an efficient path-following scheme for converging to these equilibria and hence uncovering optimal action-selection policies. Under this scheme, the exploration rate is automatically adapted according to the agent's experiences. Global convergence is theoretically assured. We first evaluate our exploration-rate adaptation on the Nintendo GameBoy games Centipede and Millipede. We demonstrate aspects of the search process. We show that our approach yields better policies in fewer episodes than conventional search strategies relying on heuristic, annealing-based exploration-rate adjustments. We then illustrate that these trends hold for deep, value-of-information-based agents that learn to play ten simple games and over forty more complicated games for the Nintendo GameBoy system. Performance either near or well above the level of human play is observed.