我们报告了我们在解决20号长度和宽度的问题方面的成功。。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

我们训练一个代理人在加德纳Modichess游戏中竞争，这是一个在5x5板上的国际象棋的缩小变化。我们激励并应用了SOTA演员 - 评论家方法近端政策优化，具有广义优势估计。我们的初始任务围绕培训代理人反对随机代理。一旦我们获得合理的表现，我们就通过了Alphago通过了一个版本的迭代政策改进，以攻击代理人，以反对越来越强大的自身版本，并评估结果的绩效增益。最终的代理人达到了近（.97）对随机代理的完美赢利。我们还探讨了使用通过自行播放获得的位置的收集预先绘制网络的影响。

In recent years, Monte Carlo tree search (MCTS) has achieved widespread adoption within the game community. Its use in conjunction with deep reinforcement learning has produced success stories in many applications. While these approaches have been implemented in various games, from simple board games to more complicated video games such as StarCraft, the use of deep neural networks requires a substantial training period. In this work, we explore on-line adaptivity in MCTS without requiring pre-training. We present MCTS-TD, an adaptive MCTS algorithm improved with temporal difference learning. We demonstrate our new approach on the game miniXCOM, a simplified version of XCOM, a popular commercial franchise consisting of several turn-based tactical games, and show how adaptivity in MCTS-TD allows for improved performances against opponents.

Reinforcement learning is a machine learning approach based on behavioral psychology. It is focused on learning agents that can acquire knowledge and learn to carry out new tasks by interacting with the environment. However, a problem occurs when reinforcement learning is used in critical contexts where the users of the system need to have more information and reliability for the actions executed by an agent. In this regard, explainable reinforcement learning seeks to provide to an agent in training with methods in order to explain its behavior in such a way that users with no experience in machine learning could understand the agent's behavior. One of these is the memory-based explainable reinforcement learning method that is used to compute probabilities of success for each state-action pair using an episodic memory. In this work, we propose to make use of the memory-based explainable reinforcement learning method in a hierarchical environment composed of sub-tasks that need to be first addressed to solve a more complex task. The end goal is to verify if it is possible to provide to the agent the ability to explain its actions in the global task as well as in the sub-tasks. The results obtained showed that it is possible to use the memory-based method in hierarchical environments with high-level tasks and compute the probabilities of success to be used as a basis for explaining the agent's behavior.

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

我们介绍了DeepNash，这是一种能够学习从头开始播放不完美的信息游戏策略的自主代理，直到人类的专家级别。 Stratego是人工智能（AI）尚未掌握的少数标志性棋盘游戏之一。这个受欢迎的游戏具有$ 10^{535} $节点的巨大游戏树，即，$ 10^{175} $倍的$倍于GO。它具有在不完美的信息下需要决策的其他复杂性，类似于德克萨斯州Hold'em扑克，该扑克的游戏树较小（以$ 10^{164} $节点为单位）。 Stratego中的决策是在许多离散的动作上做出的，而动作与结果之间没有明显的联系。情节很长，在球员获胜之前经常有数百次动作，而Stratego中的情况则不能像扑克中那样轻松地分解成管理大小的子问题。由于这些原因，Stratego几十年来一直是AI领域的巨大挑战，现有的AI方法几乎没有达到业余比赛水平。 Deepnash使用游戏理论，无模型的深钢筋学习方法，而无需搜索，该方法学会通过自我播放来掌握Stratego。 DeepNash的关键组成部分的正则化NASH Dynamics（R-NAD）算法通过直接修改基础多项式学习动力学来收敛到近似NASH平衡，而不是围绕它“循环”。 Deepnash在Stratego中击败了现有的最先进的AI方法，并在Gravon Games平台上获得了年度（2022年）和历史前3名，并与人类专家竞争。

强化学习最近已成为解决棋盘游戏领域中复杂问题的非常强大的工具，其中通常需要代理来根据其自身的经验和收到的奖励来学习复杂的策略和移动。尽管RL胜过用于玩简单视频游戏和受欢迎的棋盘游戏的现有最新方法，但它尚未证明其在古代游戏中的能力。在这里，我们解决了一个这样的问题，在该问题中，我们使用不同的方法来训练代理商，即蒙特卡洛，Qlearning和Hir Hir Hight Sarsa能够学习最佳政策来发挥战略性的UR皇家游戏。我们游戏的状态空间很复杂，但是我们的代理商在玩游戏和学习重要的战略动作方面表现出令人鼓舞的结果。尽管很难得出结论，当接受有限的资源培训时，算法总体上的表现更好，但预计SARSA在学习最快的学习方面表现出了令人鼓舞的结果。

Quantum computing (QC) promises significant advantages on certain hard computational tasks over classical computers. However, current quantum hardware, also known as noisy intermediate-scale quantum computers (NISQ), are still unable to carry out computations faithfully mainly because of the lack of quantum error correction (QEC) capability. A significant amount of theoretical studies have provided various types of QEC codes; one of the notable topological codes is the surface code, and its features, such as the requirement of only nearest-neighboring two-qubit control gates and a large error threshold, make it a leading candidate for scalable quantum computation. Recent developments of machine learning (ML)-based techniques especially the reinforcement learning (RL) methods have been applied to the decoding problem and have already made certain progress. Nevertheless, the device noise pattern may change over time, making trained decoder models ineffective. In this paper, we propose a continual reinforcement learning method to address these decoding challenges. Specifically, we implement double deep Q-learning with probabilistic policy reuse (DDQN-PPR) model to learn surface code decoding strategies for quantum environments with varying noise patterns. Through numerical simulations, we show that the proposed DDQN-PPR model can significantly reduce the computational complexity. Moreover, increasing the number of trained policies can further improve the agent's performance. Our results open a way to build more capable RL agents which can leverage previously gained knowledge to tackle QEC challenges.

深度强化学习是一种解决各种环境中问题的技术，从Atari视频游戏到股票交易。该方法利用深度神经网络模型根据对特定环境的观察做出决策，以最大程度地提高奖励功能，该奖励功能可以纳入成本和实现目标的奖励。为了进行探路，奖励条件可以包括到达指定的目标区域以及运动成本。在这项工作中，对多个深Q网络（DQN）代理进行了培训，可以在可观察到的部分环境中运行，目的是在最小的旅行时间内到达目标区域。代理根据周围环境的视觉表示，因此具有观察环境的能力有限。进行DQN，DQN-GRU和DQN-LSTM之间的比较，以检查具有两种不同类型输入的每个模型功能。通过此评估，可以证明，通过等效训练和类似的模型体系结构，DQN模型能够超越其复发性对应物。

未用性的自治车辆（无人机）在过去的美国军事活动中对侦察和监督任务进行了重大贡献。随着无人机的普遍性增加，柜台上还有改进，使他们难以在感兴趣的领域成功获得宝贵的智能。因此，现代无人机可以在最大化他们的生存机会的同时实现他们的任务已经重要。在这项工作中，我们专门研究从指定开始到目标的识别短路的问题，同时收集所有奖励，避免随机移动到网格上的对手。我们还可以在军事环境中提供框架的可能应用，即自动伤员疏散。我们展示了三种方法来解决这个问题的比较：即我们实施一个深度Q学习模型，一个$ \ varepsilon $ -greedy表格Q学习模型，以及在线优化框架。我们的计算实验，使用具有随机对手的简单网格世界环境设计，展示这些方法如何工作，并在性能，准确性和计算时间方面进行比较。

使用规划算法和神经网络模型的基于模型的强化学习范例最近在不同的应用中实现了前所未有的结果，导致现在被称为深度增强学习的内容。这些代理非常复杂，涉及多个组件，可能会为研究产生挑战的因素。在这项工作中，我们提出了一个适用于这些类型代理的新模块化软件架构，以及一组建筑块，可以轻松重复使用和组装，以构建基于模型的增强学习代理。这些构建块包括规划算法，策略和丢失功能。我们通过将多个这些构建块组合实现和测试经过针对三种不同的测试环境的代理来说明这种架构的使用：Cartpole，Minigrid和Tictactoe。在我们的实施中提供的一个特定的规划算法，并且以前没有用于加强学习，我们称之为Imperage Minimax，在三个测试环境中取得了良好的效果。用这种架构进行的实验表明，规划算法，政策和损失函数的最佳组合依赖性严重问题。该结果提供了证据表明，拟议的架构是模块化和可重复使用的，对想要研究新环境和技术的强化学习研究人员有用。

可以通过玩游戏来训练代理商来回答困难的数学问题吗？我们考虑了整数可行性问题，这是决定线性方程和不平等系统是否具有具有整数值的解决方案的挑战。对于许多数学和计算机科学领域的应用，这是一个著名的NP完整问题。我们的论文描述了一个新颖的代数增强学习框架，该框架使代理商可以玩相当于整数可行性问题的游戏。我们解释了如何将整数可行性问题转换为具有固定保证金总和的一组阵列的游戏。游戏从初始状态（数组）开始，并采取法律举措使利润率保持不变，我们的目标是最终与零位置的零位置达到胜利状态。为了赢得比赛，玩家必须在初始状态和最终终端获胜状态之间找到一条路径。找到这样的获胜状态等同于解决整数可行性问题。关键代数成分是“基础轴向运输polyhedron的曲折理想的基础”。gr \'obner可以看作是游戏的一组连接移动（动作）。然后，我们提出了一种新型的RL方法，该方法训练代理以预测连续空间中的移动，以应对较大的动作空间。然后将连续的移动投射到一组法律移动上，以使该路径始终导致有效状态。作为概念的证明，我们在实验中证明了我们的代理商可以很好地发挥我们最简单的游戏版本，用于2向表。我们的工作突出了培训代理商通过当代机器学习方法来训练代理商玩游戏的潜力来解决非平凡的数学查询的潜力。

多基础强化学习（MARL）可以解决复杂的合作任务。但是，现有的MAL方法的效率在很大程度上取决于明确定义的奖励功能。具有稀疏奖励反馈的多项式任务尤其具有挑战性，这不仅是由于信用分配问题，而且还因为获得积极的奖励反馈的可能性较低。在本文中，我们设计了一个称为合作图（CG）的图形网络。合作图是两个简单的二分图的组合，即代理聚类子图（ACG）和指定子图（CDG）的群集。接下来，基于这种新颖的图形结构，我们提出了一个合作图多力增强学习（CG-MARL）算法，该算法可以有效地处理多基因任务中的稀疏奖励问题。在CG-MARL中，代理由合作图直接控制。政策神经网络经过培训，可以操纵这一合作图，并指导代理人以隐式的方式实现合作。 CG-MARL的层次结构特征为定制集群活动提供了空间，这是一个可扩展的界面，用于引入基本合作知识。在实验中，CG-MARL在稀疏奖励多基准基准中显示出最新的性能，包括抗侵袭拦截任务和多货车交付任务。

In recent years, neural networks have enjoyed a renaissance as function approximators in reinforcement learning. Two decades after Tesauro's TD-Gammon achieved near toplevel human performance in backgammon, the deep reinforcement learning algorithm DQN achieved human-level performance in many Atari 2600 games. The purpose of this study is twofold. First, we propose two activation functions for neural network function approximation in reinforcement learning: the sigmoid-weighted linear unit (SiLU) and its derivative function (dSiLU). The activation of the SiLU is computed by the sigmoid function multiplied by its input. Second, we suggest that the more traditional approach of using on-policy learning with eligibility traces, instead of experience replay, and softmax action selection with simple annealing can be competitive with DQN, without the need for a separate target network. We validate our proposed approach by, first, achieving new state-of-the-art results in both stochastic SZ-Tetris and Tetris with a small 10×10 board, using TD(λ) learning and shallow dSiLU network agents, and, then, by outperforming DQN in the Atari 2600 domain by using a deep Sarsa(λ) agent with SiLU and dSiLU hidden units.

十多年来，机器人技术和人造代理的使用已成为普遍的事物。测试新路径查找或搜索空间优化算法的性能也已成为挑战，因为它们需要模拟或环境来测试它们。具有人造代理的人工环境是测试这种算法的方法之一。游戏也已成为测试它们的环境。可以通过使用将根据环境中的算法来比较这些算法的性能提出。性能参数可以是，代理商能够在奖励行动和敌对行动之间区分多快。可以通过将代理放置在具有不同类型障碍的环境中，而代理的目标是达到最远的通过决定将避免所有障碍的行动做出决定。选择的环境是一种称为“脆弱鸟”的游戏。 E游戏是要使鸟飞过一组随机高度的管道。鸟必须在这些管道之间进行，并且不能击中顶部，底部或管道本身。在人造药物上强制执行的算法是增强拓扑的神经进化（整洁）和增强学习的算法。整洁的算法采用人工的初始群体，这些算法遵循遗传算法，请遵循“ n n”初始算法。一个目标功能，交叉，突变和增强拓扑结构。另一方面，提升方形学习记得状态，在该状态下采取的行动以及使用单个代理和深层学习网络采取的行动获得的奖励随着人造药物的初始种群的增加，整洁算法的性能不断提高。

建立能够参与与人类社会互动的自治代理是AI的主要挑战之一。在深度加强学习（DRL）领域内，这一目标激励了多种作品上体现语言使用。然而，目前的方法在非常简化和非多样化的社交场合中关注语言作为通信工具：语言的“自然”减少到高词汇大小和变异性的概念。在本文中，我们认为针对人类级别的AI需要更广泛的关键社交技能：1）语言在复杂和可变的社会环境中使用; 2）超越语言，在不断发展的社会世界内的多模式设置中的复杂体现通信。我们解释了认知科学的概念如何帮助AI向人类智力绘制路线图，重点关注其社会方面。作为第一步，我们建议将目前的研究扩大到更广泛的核心社交技能。为此，我们展示了使用其他（脚本）社会代理商的多个网格世界环境来评估DRL代理商社交技能的基准。然后，我们研究了最近的Sota DRL方法的限制，当时在Sowisai上进行测试并讨论熟练社会代理商的重要下一步。视频和代码可在https://sites.google.com/view/socialai找到。

Safety is still one of the major research challenges in reinforcement learning (RL). In this paper, we address the problem of how to avoid safety violations of RL agents during exploration in probabilistic and partially unknown environments. Our approach combines automata learning for Markov Decision Processes (MDPs) and shield synthesis in an iterative approach. Initially, the MDP representing the environment is unknown. The agent starts exploring the environment and collects traces. From the collected traces, we passively learn MDPs that abstractly represent the safety-relevant aspects of the environment. Given a learned MDP and a safety specification, we construct a shield. For each state-action pair within a learned MDP, the shield computes exact probabilities on how likely it is that executing the action results in violating the specification from the current state within the next $k$ steps. After the shield is constructed, the shield is used during runtime and blocks any actions that induce a too large risk from the agent. The shielded agent continues to explore the environment and collects new data on the environment. Iteratively, we use the collected data to learn new MDPs with higher accuracy, resulting in turn in shields able to prevent more safety violations. We implemented our approach and present a detailed case study of a Q-learning agent exploring slippery Gridworlds. In our experiments, we show that as the agent explores more and more of the environment during training, the improved learned models lead to shields that are able to prevent many safety violations.

Self-trained autonomous agents developed using machine learning are showing great promise in a variety of control settings, perhaps most remarkably in applications involving autonomous vehicles. The main challenge associated with self-learned agents in the form of deep neural networks, is their black-box nature: it is impossible for humans to interpret deep neural networks. Therefore, humans cannot directly interpret the actions of deep neural network based agents, or foresee their robustness in different scenarios. In this work, we demonstrate a method for probing which concepts self-learning agents internalise in the course of their training. For demonstration, we use a chess playing agent in a fast and light environment developed specifically to be suitable for research groups without access to enormous computational resources or machine learning models.