Monte Carlo树搜索（MCT）是一种用于搜索最佳决策的采样最佳方法。 MCTS的受欢迎程度是基于其挑战基于两位玩家的游戏的非凡结果，这是一个比国际象棋更难的游戏，直到最近被认为是人工智能方法的不可行。 MCTS的成功大大取决于树的构建方式，选择过程在这方面发挥着重要作用。证明是可靠的一个特定选择机制是基于树的上部置信度，通常称为UCT。通过考虑存储在MCT的统计树中的值，UCT试图平衡探索和利用。但是，MCTS UCT的一些调整是必要的工作。在这项工作中，我们使用进化算法（EAS）来发展数学表达式，以替代UCT数学表达式。我们比较了我们提出的方法，称为MCTS（ES-MCTS）中的演化策略，对MCTS UCT的五种变体，算法的三种变体，算法中的算法，以及卡尔卡松游戏中的随机控制器。我们还使用所提出的基于EA的控制器的变体，被称为MCTS的ES部分集成。我们展示了ES-MCTS控制器的方式如何优于所有这10个智能控制器，包括强大的MCTS UCT控制器。

蒙特卡洛树搜索（MCTS）是一种搜索最佳决策的最佳先入点方法。 MCT的成功在很大程度上取决于树木的建造方式，并且选择过程在其中起着基本作用。被证明是可靠的一种特殊选择机制是基于树木（UCT）的上限置信度范围。 UCT试图通过考虑存储在MCT的统计树中的值来平衡探索和剥削。但是，对MCTS UCT的一些调整对于这是必要的。在这项工作中，我们使用进化算法（EAS）以替代UCT公式并在MCT中使用进化的表达式来进化数学表达式。更具体地说，我们通过在MCTS方法（SIEA-MCT）中提出的语义启发的进化算法来发展表达式。这是受遗传编程（GP）语义的启发，其中使用健身案例被视为在GP中采用的要求。健身病例通常用于确定个体的适应性，可用于计算个体的语义相似性（或差异）。但是，MCT中没有健身案例。我们通过使用MCT的多个奖励值来扩展此概念，从而使我们能够确定个人及其语义的适应性。通过这样做，我们展示了SIEA-MCT如何能够成功地发展数学表达式，而数学表达式与UCT相比，无需调整这些演变的表达式而产生更好或竞争的结果。我们比较了提出的SIEA-MCT与MCTS算法，MCTS快速动作值估计算法的性能， *-minimax家族的三种变体，一个随机控制器和另外两种EA方法。我们始终展示SIEA-MCT在挑战性的Carcassonne游戏中如何优于大多数这些智能控制者。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

证明数字搜索（PNS）和蒙特卡洛树搜索（MCT）已成功地用于一系列游戏中的决策。本文提出了一种称为PN-MCTS的新方法，该方法通过将证明和调解数字的概念纳入MCT的UCT公式来结合这两种树搜索方法。实验结果表明，PN-MCTS在包括动作线，Minishogi，Knightthrough和Awari在内的多个游戏中优于基本MCT，达到了高达94.0％的获胜率。

人工智能，当与游戏进行合并时，使研究和推进领域的理想结构。多种代理游戏对每个代理具有多个控件，同时增加搜索复杂性的同时生成大量数据。因此，我们需要高级搜索方法来查找解决方案并创建人工智能代理。在本文中，我们提出了我们的小说进化蒙特卡罗树搜索（FEMCTS）代理商，借用从进化的Algorthims（EA）和Monte Carlo树搜索（MCT）的想法来玩Pommerman的比赛。它优于滚动地平线进化算法（Rhea）在高可观察性环境中显着，几乎和MCTS用于大多数游戏种子，在某些情况下表现优于它。

在许多游戏中，动作包括玩家制作的若干决定。这些决定可以被视为单独的动作，这在效率原因的多动作游戏中已经是一个常见的做法。播放器的这种划分进入一系列更简单/较低级别的移动，称为\ emph {拆分}。到目前为止，分裂移动已仅在顾问的直接案件中应用，此外，几乎没有研究揭示其对代理商的影响力量的影响。采取知识的视角，我们的目标是回答如何在Monte-Carlo树搜索（MCT）中有效地使用分裂移动，以及分裂设计对代理的实际影响是什么。本文提出了与任意分裂的动作有用的MCT的概括。我们设计了算法的几种变体，并尝试分别测量分离移动的影响，以分别对效率，MCT，模拟和基于动作的启发式的效率。测试是在一组棋盘游戏上进行，并使用常规的主台综合游戏进行播放形式主义进行，其中可以基于游戏的抽象描述自动派生不同粒度的分裂策略。结果以不同方式使用分流设计的代理行为概述。我们得出结论，拆分设计可能对单一以及多动作游戏有很大的利益。

2048 is a single-player stochastic puzzle game. This intriguing and addictive game has been popular worldwide and has attracted researchers to develop game-playing programs. Due to its simplicity and complexity, 2048 has become an interesting and challenging platform for evaluating the effectiveness of machine learning methods. This dissertation conducts comprehensive research on reinforcement learning and computer game algorithms for 2048. First, this dissertation proposes optimistic temporal difference learning, which significantly improves the quality of learning by employing optimistic initialization to encourage exploration for 2048. Furthermore, based on this approach, a state-of-the-art program for 2048 is developed, which achieves the highest performance among all learning-based programs, namely an average score of 625377 points and a rate of 72% for reaching 32768-tiles. Second, this dissertation investigates several techniques related to 2048, including the n-tuple network ensemble learning, Monte Carlo tree search, and deep reinforcement learning. These techniques are promising for further improving the performance of the current state-of-the-art program. Finally, this dissertation discusses pedagogical applications related to 2048 by proposing course designs and summarizing the teaching experience. The proposed course designs use 2048-like games as materials for beginners to learn reinforcement learning and computer game algorithms. The courses have been successfully applied to graduate-level students and received well by student feedback.

人工智能（AI）球员已经获得了像Go，国际象棋和奥赛罗（Reversi）这样的游戏的超人技能。换句话说，AI球员作为人类球员的对手变得太强。然后，我们不会与AI播放器一起玩棋盘游戏。为了娱乐人类球员，AI球员必须自动平衡其人类球员的技能。为了解决这个问题，我提出了一个具有动态难度调整的AI播放器的Alphadda，基于Alphazero。 alphadda包括一个深神经网络（DNN）和蒙特卡罗树搜索，如alphazero。 alphadda估计游戏状态的值仅使用DNN的板状态，并根据值改变其技能。 Alphadda可以仅使用游戏的状态调整Alphadda技能，而无需先验对对手的知识。在本研究中，Alphadda播放Connect4,6x6 othello，使用6x6尺寸板，与其他AI代理商使用6x6尺寸板，othello。其他AI代理商是alphazero，蒙特卡罗树搜索，minimax算法和随机播放器。本研究表明，除随机玩家外，alphadda实现了与其他AI代理的技能。 alphadda的DDA能力来自于从游戏状态的值的准确估计。我们将能够为任何游戏使用Alphadda的方法，因为DNN可以估计来自状态的值。

游戏历史悠久的历史悠久地作为人工智能进步的基准。最近，使用搜索和学习的方法在一系列完美的信息游戏中表现出强烈的表现，并且使用游戏理论推理和学习的方法对特定的不完美信息扑克变体表示了很强的性能。我们介绍游戏玩家，一个通用算法，统一以前的方法，结合导游搜索，自助学习和游戏理论推理。游戏播放器是实现大型完美和不完美信息游戏中强大实证性能的第一个算法 - 这是一项真正的任意环境算法的重要一步。我们证明了游戏玩家是声音，融合到完美的游戏，因为可用的计算时间和近似容量增加。游戏播放器在国际象棋上达到了强大的表现，然后击败了最强大的公开可用的代理商，在头上没有限制德克萨斯州扑克（Slumbot），击败了苏格兰院子的最先进的代理人，这是一个不完美的信息游戏，说明了引导搜索，学习和游戏理论推理的价值。

The highest grossing media franchise of all times, with over \$90 billion in total revenue, is Pokemon. The video games belong to the class of Japanese Role Playing Games (J-RPG). Developing a powerful AI agent for these games is very hard because they present big challenges to MinMax, Monte Carlo Tree Search and statistical Machine Learning, as they are vastly different from the well explored in AI literature games. An AI agent for one of these games means significant progress in AI agents for the entire class. Further, the key principles of such work can hopefully inspire approaches to several domains that require excellent teamwork under conditions of extreme uncertainty, including managing a team of doctors, robots or employees in an ever changing environment, like a pandemic stricken region or a war-zone. In this paper we first explain the mechanics of the game and we perform a game analysis. We continue by proposing unique AI algorithms based on our understanding that the two biggest challenges in the game are keeping a balanced team and dealing with three sources of uncertainty. Later on, we describe why evaluating the performance of such agents is challenging and we present the results of our approach. Our AI agent performed significantly better than all previous attempts and peaked at the 33rd place in the world, in one of the most popular battle formats, while running on only 4 single socket servers.

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

传统的增强学习（RL）环境通常在培训和测试阶段都相同。因此，当前的RL方法在很大程度上不能推广到概念上相似但与已训练的方法不同的测试环境，我们将其称为新型测试环境。为了将RL研究推向可以推广到新的测试环境的算法，我们介绍了砖Tic-TAC-TOE（BTTT）测试床，其中在测试环境中的砖位与训练环境中的砖位不同。使用BTTT环境上的圆形锦标赛，我们表明传统的RL国家搜索方法，例如Monte Carlo Tree Search（MCTS）和Minimax，比Alphazero更广泛地对新型测试环境更具概括性。令人惊讶的是，Alphazero已被证明可以在GO，Chess和Shogi等环境中实现超人的性能，这可能会导致人们认为它在新颖的测试环境中的性能很好。我们的结果表明，BTTT虽然很简单，但足够丰富，可以探索Alphazero的普遍性。我们发现，仅增加MCT的lookahead迭代是不足以使Alphazero推广到一些新型的测试环境。相反，增加各种培训环境有助于逐步改善所有可能的起始砖配置中的普遍性。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

哈纳比（Hanabi）是一款合作游戏，它带来了将其他玩家建模到最前沿的问题。在这个游戏中，协调的一组玩家可以利用预先建立的公约发挥出色的效果，但是在临时环境中进行比赛需要代理商适应其伴侣的策略，而没有以前的协调。在这种情况下评估代理需要各种各样的潜在伙伴人群，但是到目前为止，尚未以系统的方式考虑代理的行为多样性。本文提出了质量多样性算法作为有前途的算法类别，以生成多种人群为此目的，并使用MAP-ELITE生成一系列不同的Hanabi代理。我们还假设，在培训期间，代理商可以从多样化的人群中受益，并实施一个简单的“元策略”，以适应代理人的感知行为利基市场。我们表明，即使可以正确推断其伴侣的行为利基市场，即使培训其伴侣的行为利基市场，这种元策略也可以比通才策略更好地工作，但是在实践中，伴侣的行为取决于并干扰了元代理自己的行为，这表明是一条途径对于未来的研究，可以在游戏过程中表征另一个代理商的行为。

语义已成为遗传编程（GP）研究的关键话题。语义是指在数据集上运行时GP个体的输出（行为）。专注于单目标GP中语义多样性的大多数作品表明它在进化搜索方面是非常有益的。令人惊讶的是，在多目标GP（MOGP）中，在语义中进行了小型研究。在这项工作中，我们跨越我们对Mogp中语义的理解，提出SDO：基于语义的距离作为额外标准。这自然鼓励Mogp中的语义多样性。为此，我们在第一个帕累托前面的较密集的区域（最有前途的前沿）找到一个枢轴。然后，这用于计算枢轴与人群中的每个人之间的距离。然后将所得到的距离用作优化以优化以偏及语义分集的额外标准。我们还使用其他基于语义的方法作为基准，称为基于语义相似性的交叉和语义的拥挤距离。此外，我们也使用NSGA-II和SPEA2进行比较。我们使用高度不平衡二进制分类问题，一致地展示我们所提出的SDO方法如何产生更多非主导的解决方案和更好的多样性，导致更好的统计学显着的结果，与其他四种方法相比，使用超卓越症结果作为评估措施。

In recent years, Monte Carlo tree search (MCTS) has achieved widespread adoption within the game community. Its use in conjunction with deep reinforcement learning has produced success stories in many applications. While these approaches have been implemented in various games, from simple board games to more complicated video games such as StarCraft, the use of deep neural networks requires a substantial training period. In this work, we explore on-line adaptivity in MCTS without requiring pre-training. We present MCTS-TD, an adaptive MCTS algorithm improved with temporal difference learning. We demonstrate our new approach on the game miniXCOM, a simplified version of XCOM, a popular commercial franchise consisting of several turn-based tactical games, and show how adaptivity in MCTS-TD allows for improved performances against opponents.

4月20日至22日，在马德里（西班牙）举行的EVO* 2022会议上提交了末期摘要。这些论文介绍了正在进行的研究和初步结果，这些结果研究了对不同问题的不同方法（主要是进化计算）的应用，其中大多数是现实世界中的方法。

最近，开创性算法Alphago和Alphazero在游戏学习和深入的强化学习方面开始了一个新时代。尽管Alphago和Alphazero的成就 - 在超级人类层面上玩的GO和其他复杂游戏 - 确实令人印象深刻，但这些架构的缺点是它们需要高度的计算资源。许多研究人员正在寻找类似于alphazero但计算需求较低的方法，因此更容易重现。在本文中，我们选择了Alphazero的重要元素 - 蒙特卡洛树搜索（MCTS）计划阶段 - 并将其与时间差异（TD）学习剂相结合。我们首次将MCT包裹在TD N培训网络上，我们仅在测试时间使用此包装来创建多功能代理，从而使计算需求保持较低。我们将这种新体系结构应用于多个复杂游戏（Othello，Connectfour，Rubik的Cube），并显示了这种受alphazero启发的MCTS包装器所获得的优势。特别是，我们提出的结果是，该代理是第一个在标准硬件（无GPU或TPU）上训练的代理商，击败非常强大的Othello计划EDAX到包括7级（大多数其他学习中的学习中，从而只能失败EDAX至2级）。

In manufacturing, the production is often done on out-of-the-shelf manufacturing lines, whose underlying scheduling heuristics are not known due to the intellectual property. We consider such a setting with a black-box job-shop system and an unknown scheduling heuristic that, for a given permutation of jobs, schedules the jobs for the black-box job-shop with the goal of minimizing the makespan. Here, the jobs need to enter the job-shop in the given order of the permutation, but may take different paths within the job shop, which depends on the black-box heuristic. The performance of the black-box heuristic depends on the order of the jobs, and the natural problem for the manufacturer is to find an optimum ordering of the jobs. Facing a real-world scenario as described above, we engineer the Monte-Carlo tree-search for finding a close-to-optimum ordering of jobs. To cope with a large solutions-space in planning scenarios, a hierarchical Monte-Carlo tree search (H-MCTS) is proposed based on abstraction of jobs. On synthetic and real-life problems, H-MCTS with integrated abstraction significantly outperforms pure heuristic-based techniques as well as other Monte-Carlo search variants. We furthermore show that, by modifying the evaluation metric in H-MCTS, it is possible to achieve other optimization objectives than what the scheduling heuristics are designed for -- e.g., minimizing the total completion time instead of the makespan. Our experimental observations have been also validated in real-life cases, and our H-MCTS approach has been implemented in a production plant's controller.