This paper describes a Relevance-Zone pattern table (RZT) that can be used to replace a traditional transposition table. An RZT stores exact game values for patterns that are discovered during a Relevance-Zone-Based Search (RZS), which is the current state-of-the-art in solving L&D problems in Go. Positions that share the same pattern can reuse the same exact game value in the RZT. The pattern matching scheme for RZTs is implemented using a radix tree, taking into consideration patterns with different shapes. To improve the efficiency of table lookups, we designed a heuristic that prevents redundant lookups. The heuristic can safely skip previously queried patterns for a given position, reducing the overhead to 10% of the original cost. We also analyze the time complexity of the RZT both theoretically and empirically. Experiments show the overhead of traversing the radix tree in practice during lookup remain flat logarithmically in relation to the number of entries stored in the table. Experiments also show that the use of an RZT instead of a traditional transposition table significantly reduces the number of searched nodes on two data sets of 7x7 and 19x19 L&D Go problems.

目标实现问题是建立特定情况的谜题，具体情况。一个良好研究的一个例子是Go的生死（L＆D）问题的类别，这有助于玩家磨练他们识别区域安全的技能。许多以前的方法，如lambda搜索尝试首先移动null，然后派生所谓的相关区域（Rzs），外部不需要搜索。本文首先提出了一种基于RZ的基于RZ的方法，称为RZ的搜索（RZS），以解决L＆D问题。 RZS尝试在确定它们是否为HOC后移动之前移动。这意味着我们不需要依靠空移启发式，从而产生更优雅的算法，因此它也可以在我们的解决者中无缝地纳入Alphakero的超级人类水平。为了解决alphazero来解决，我们还提出了一种新的培训方法，称为Life（FTL）更快，这会修改Alphazero诱使它更快地获胜。我们使用RZS和FTL来解决L＆D问题，即在一个专业L＆D书中的106个问题中解决68，而以前的程序仅解决11。最后，我们讨论了这种方法是通用的，即RZS适用于解决棋盘游戏的许多其他目标。

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

证明数字搜索（PNS）和蒙特卡洛树搜索（MCT）已成功地用于一系列游戏中的决策。本文提出了一种称为PN-MCTS的新方法，该方法通过将证明和调解数字的概念纳入MCT的UCT公式来结合这两种树搜索方法。实验结果表明，PN-MCTS在包括动作线，Minishogi，Knightthrough和Awari在内的多个游戏中优于基本MCT，达到了高达94.0％的获胜率。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

游戏历史悠久的历史悠久地作为人工智能进步的基准。最近，使用搜索和学习的方法在一系列完美的信息游戏中表现出强烈的表现，并且使用游戏理论推理和学习的方法对特定的不完美信息扑克变体表示了很强的性能。我们介绍游戏玩家，一个通用算法，统一以前的方法，结合导游搜索，自助学习和游戏理论推理。游戏播放器是实现大型完美和不完美信息游戏中强大实证性能的第一个算法 - 这是一项真正的任意环境算法的重要一步。我们证明了游戏玩家是声音，融合到完美的游戏，因为可用的计算时间和近似容量增加。游戏播放器在国际象棋上达到了强大的表现，然后击败了最强大的公开可用的代理商，在头上没有限制德克萨斯州扑克（Slumbot），击败了苏格兰院子的最先进的代理人，这是一个不完美的信息游戏，说明了引导搜索，学习和游戏理论推理的价值。

The game of chess is the longest-studied domain in the history of artificial intelligence. The strongest programs are based on a combination of sophisticated search techniques, domain-specific adaptations, and handcrafted evaluation functions that have been refined by human experts over several decades. By contrast, the AlphaGo Zero program recently achieved superhuman performance in the game of Go by reinforcement learning from selfplay. In this paper, we generalize this approach into a single AlphaZero algorithm that can achieve superhuman performance in many challenging games. Starting from random play and given no domain knowledge except the game rules, AlphaZero convincingly defeated a world champion program in the games of chess and shogi (Japanese chess) as well as Go.The study of computer chess is as old as computer science itself. Charles Babbage, Alan Turing, Claude Shannon, and John von Neumann devised hardware, algorithms and theory to analyse and play the game of chess. Chess subsequently became a grand challenge task for a generation of artificial intelligence researchers, culminating in high-performance computer chess programs that play at a super-human level (1,2). However, these systems are highly tuned to their domain, and cannot be generalized to other games without substantial human effort, whereas general game-playing systems (3, 4) remain comparatively weak.A long-standing ambition of artificial intelligence has been to create programs that can instead learn for themselves from first principles (5, 6). Recently, the AlphaGo Zero algorithm achieved superhuman performance in the game of Go, by representing Go knowledge using deep convolutional neural networks (7, 8), trained solely by reinforcement learning from games

2048 is a single-player stochastic puzzle game. This intriguing and addictive game has been popular worldwide and has attracted researchers to develop game-playing programs. Due to its simplicity and complexity, 2048 has become an interesting and challenging platform for evaluating the effectiveness of machine learning methods. This dissertation conducts comprehensive research on reinforcement learning and computer game algorithms for 2048. First, this dissertation proposes optimistic temporal difference learning, which significantly improves the quality of learning by employing optimistic initialization to encourage exploration for 2048. Furthermore, based on this approach, a state-of-the-art program for 2048 is developed, which achieves the highest performance among all learning-based programs, namely an average score of 625377 points and a rate of 72% for reaching 32768-tiles. Second, this dissertation investigates several techniques related to 2048, including the n-tuple network ensemble learning, Monte Carlo tree search, and deep reinforcement learning. These techniques are promising for further improving the performance of the current state-of-the-art program. Finally, this dissertation discusses pedagogical applications related to 2048 by proposing course designs and summarizing the teaching experience. The proposed course designs use 2048-like games as materials for beginners to learn reinforcement learning and computer game algorithms. The courses have been successfully applied to graduate-level students and received well by student feedback.

在许多游戏中，动作包括玩家制作的若干决定。这些决定可以被视为单独的动作，这在效率原因的多动作游戏中已经是一个常见的做法。播放器的这种划分进入一系列更简单/较低级别的移动，称为\ emph {拆分}。到目前为止，分裂移动已仅在顾问的直接案件中应用，此外，几乎没有研究揭示其对代理商的影响力量的影响。采取知识的视角，我们的目标是回答如何在Monte-Carlo树搜索（MCT）中有效地使用分裂移动，以及分裂设计对代理的实际影响是什么。本文提出了与任意分裂的动作有用的MCT的概括。我们设计了算法的几种变体，并尝试分别测量分离移动的影响，以分别对效率，MCT，模拟和基于动作的启发式的效率。测试是在一组棋盘游戏上进行，并使用常规的主台综合游戏进行播放形式主义进行，其中可以基于游戏的抽象描述自动派生不同粒度的分裂策略。结果以不同方式使用分流设计的代理行为概述。我们得出结论，拆分设计可能对单一以及多动作游戏有很大的利益。

Gomoku，也被称为五连续五个，是一个经典的棋盘游戏，非常适合快速测试新颖的人工智能（AI）技术。旨在促进开发商愿意写一个新的GOMOKU球员，在本报告中，我们对主要游戏概念和策略进行了分析，这比现有的概念更广泛，更深入。此外，在讨论人工播放器的一般结构之后，我们展示并分析了一个名为Wine的强大的Gomoku播放器，其代码在互联网上自由地提供，这是一个卓越的例子，即如何组织现代球员。

决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。

最近，开创性算法Alphago和Alphazero在游戏学习和深入的强化学习方面开始了一个新时代。尽管Alphago和Alphazero的成就 - 在超级人类层面上玩的GO和其他复杂游戏 - 确实令人印象深刻，但这些架构的缺点是它们需要高度的计算资源。许多研究人员正在寻找类似于alphazero但计算需求较低的方法，因此更容易重现。在本文中，我们选择了Alphazero的重要元素 - 蒙特卡洛树搜索（MCTS）计划阶段 - 并将其与时间差异（TD）学习剂相结合。我们首次将MCT包裹在TD N培训网络上，我们仅在测试时间使用此包装来创建多功能代理，从而使计算需求保持较低。我们将这种新体系结构应用于多个复杂游戏（Othello，Connectfour，Rubik的Cube），并显示了这种受alphazero启发的MCTS包装器所获得的优势。特别是，我们提出的结果是，该代理是第一个在标准硬件（无GPU或TPU）上训练的代理商，击败非常强大的Othello计划EDAX到包括7级（大多数其他学习中的学习中，从而只能失败EDAX至2级）。

人工智能（AI）球员已经获得了像Go，国际象棋和奥赛罗（Reversi）这样的游戏的超人技能。换句话说，AI球员作为人类球员的对手变得太强。然后，我们不会与AI播放器一起玩棋盘游戏。为了娱乐人类球员，AI球员必须自动平衡其人类球员的技能。为了解决这个问题，我提出了一个具有动态难度调整的AI播放器的Alphadda，基于Alphazero。 alphadda包括一个深神经网络（DNN）和蒙特卡罗树搜索，如alphazero。 alphadda估计游戏状态的值仅使用DNN的板状态，并根据值改变其技能。 Alphadda可以仅使用游戏的状态调整Alphadda技能，而无需先验对对手的知识。在本研究中，Alphadda播放Connect4,6x6 othello，使用6x6尺寸板，与其他AI代理商使用6x6尺寸板，othello。其他AI代理商是alphazero，蒙特卡罗树搜索，minimax算法和随机播放器。本研究表明，除随机玩家外，alphadda实现了与其他AI代理的技能。 alphadda的DDA能力来自于从游戏状态的值的准确估计。我们将能够为任何游戏使用Alphadda的方法，因为DNN可以估计来自状态的值。

Monte Carlo树搜索（MCT）是一种用于搜索最佳决策的采样最佳方法。 MCTS的受欢迎程度是基于其挑战基于两位玩家的游戏的非凡结果，这是一个比国际象棋更难的游戏，直到最近被认为是人工智能方法的不可行。 MCTS的成功大大取决于树的构建方式，选择过程在这方面发挥着重要作用。证明是可靠的一个特定选择机制是基于树的上部置信度，通常称为UCT。通过考虑存储在MCT的统计树中的值，UCT试图平衡探索和利用。但是，MCTS UCT的一些调整是必要的工作。在这项工作中，我们使用进化算法（EAS）来发展数学表达式，以替代UCT数学表达式。我们比较了我们提出的方法，称为MCTS（ES-MCTS）中的演化策略，对MCTS UCT的五种变体，算法的三种变体，算法中的算法，以及卡尔卡松游戏中的随机控制器。我们还使用所提出的基于EA的控制器的变体，被称为MCTS的ES部分集成。我们展示了ES-MCTS控制器的方式如何优于所有这10个智能控制器，包括强大的MCTS UCT控制器。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

传统的增强学习（RL）环境通常在培训和测试阶段都相同。因此，当前的RL方法在很大程度上不能推广到概念上相似但与已训练的方法不同的测试环境，我们将其称为新型测试环境。为了将RL研究推向可以推广到新的测试环境的算法，我们介绍了砖Tic-TAC-TOE（BTTT）测试床，其中在测试环境中的砖位与训练环境中的砖位不同。使用BTTT环境上的圆形锦标赛，我们表明传统的RL国家搜索方法，例如Monte Carlo Tree Search（MCTS）和Minimax，比Alphazero更广泛地对新型测试环境更具概括性。令人惊讶的是，Alphazero已被证明可以在GO，Chess和Shogi等环境中实现超人的性能，这可能会导致人们认为它在新颖的测试环境中的性能很好。我们的结果表明，BTTT虽然很简单，但足够丰富，可以探索Alphazero的普遍性。我们发现，仅增加MCT的lookahead迭代是不足以使Alphazero推广到一些新型的测试环境。相反，增加各种培训环境有助于逐步改善所有可能的起始砖配置中的普遍性。

通过基于文本的符号表示棋盘游戏及其位置，可以实现NLP应用程序的可能性。语言模型可以帮助您深入了解各种有趣的问题，例如游戏的无监督学习规则，检测玩家的行为模式，玩家归因，并最终学习游戏以击败最新技术。在这项研究中，我们将BERT模型应用于简单的NIM游戏，以在噪音的存在下进行几次学习架构的噪声分析。我们通过三个虚拟玩家，即Nim Guru，Random Player和Q-Learner分析了模型性能。在第二部分中，我们将游戏学习语言模型应用于国际象棋游戏，以及一系列带有详尽百科全书开口的大师游戏。最后，我们已经表明，模型实际上可以学习国际象棋游戏的规则，并且可以在类别的评分级别上与Stockfish一起生存。

使用深度学习神经网络的AI发动机为分析传统棋盘游戏提供了出色的工具。在这里，我们有兴趣获得对古老游戏的新见解。为此，我们需要根据发动机的原始输出来定义新的数值度量。在本文中，我们开发了一种数值工具，用于以上下文敏感的方式进行自动移动性能评估并识别游戏功能。我们通过传递成本来衡量移动的紧迫性，这是石头当前配置和在同一董事会位置的假设传递之后的得分值差。在这里，我们研究了此度量的属性并描述了一些应用。

The success of AlphaZero (AZ) has demonstrated that neural-network-based Go AIs can surpass human performance by a large margin. Given that the state space of Go is extremely large and a human player can play the game from any legal state, we ask whether adversarial states exist for Go AIs that may lead them to play surprisingly wrong actions. In this paper, we first extend the concept of adversarial examples to the game of Go: we generate perturbed states that are ``semantically'' equivalent to the original state by adding meaningless moves to the game, and an adversarial state is a perturbed state leading to an undoubtedly inferior action that is obvious even for Go beginners. However, searching the adversarial state is challenging due to the large, discrete, and non-differentiable search space. To tackle this challenge, we develop the first adversarial attack on Go AIs that can efficiently search for adversarial states by strategically reducing the search space. This method can also be extended to other board games such as NoGo. Experimentally, we show that the actions taken by both Policy-Value neural network (PV-NN) and Monte Carlo tree search (MCTS) can be misled by adding one or two meaningless stones; for example, on 58\% of the AlphaGo Zero self-play games, our method can make the widely used KataGo agent with 50 simulations of MCTS plays a losing action by adding two meaningless stones. We additionally evaluated the adversarial examples found by our algorithm with amateur human Go players and 90\% of examples indeed lead the Go agent to play an obviously inferior action. Our code is available at \url{https://PaperCode.cc/GoAttack}.