作为一个重要的心理和社会实验，迭代的囚犯困境（IPD）将合作或缺陷作为原子行动视为选择。我们建议研究迭代的囚犯困境（IPD）游戏中在线学习算法的行为，在那里我们研究了整个强化学习剂：多臂匪徒，上下文的强盗和钢筋学习。我们根据迭代囚犯的困境的比赛进行评估，其中多个特工可以以顺序竞争。这使我们能够分析由多个自私的独立奖励驱动的代理所学到的政策的动态，还使我们研究了这些算法适合人类行为的能力。结果表明，考虑当前的情况做出决定是这种社会困境游戏中最糟糕的情况。陈述了有关在线学习行为和临床验证的倍数，以此作为将人工智能算法与人类行为及其在神经精神病疾病中的异常状态联系起来的努力。

通常基于其一致行为和性能来评估人工行为代理，以便在环境中采取连续行动，以最大限度地提高累计奖励的一些概念。然而，现实生活中的人为决策通常涉及不同的策略和行为轨迹，这导致了同样的经验结果。通过各种神经系统和精神病疾病的临床文献激励，我们在此提出了一种更通用和灵活的参数框架，用于连续决策，涉及双流奖励处理机制。我们证明，该框架是灵活性的并且统一足以融合跨越多武装匪徒（MAB），上下文匪徒（CB）和加强学习（RL）的问题，该问题分解了不同级别的顺序决策过程。灵感来自于已知的奖励处理许多精神障碍的异常，我们的临床启发代理商在特定奖励分配的模拟任务中表现出有趣的行为轨迹和比较性能，这是一个捕获赌博任务中的人为决策的现实世界数据集，以及Pacman游戏在终身学习环境中跨越不同的奖励保单。

与传统的时间序列不同，人类决策的动作序列通常涉及许多认知过程，如信仰，欲望，意图和心理理论，即其他人在思考。这使得预测人类决策使得妥善治疗依据潜在的心理机制。我们建议基于长期短期内存网络（LSTM）使用经常性神经网络架构，以预测人类受试者在其决策中的每一步中采取的行动的时间序列，这是在本研究中的第一次应用这些方法领域。在这项研究中，我们将迭代囚犯困境的8个发表文献中的人类数据整理，包括168,386个个别决定，并将它们的后处理到8,257个行为轨迹，每个球员都有9个动作。同样，我们从10种不同公开的IOWA赌博任务实验与健康人类受试者进行了617个行动的轨迹。我们培训我们的预测网络，从这些出版的人类决策心理实验的行为数据上，并展示了在最先进的方法中展示了预测人类决策在诸如爱荷华州的单一代理场景中的人工决策轨迹赌博任务和多代理场景，如迭代囚犯的困境。在预测中，我们观察到，顶部表演者的权重倾向于具有更广泛的分布，并且LSTM网络中的更大偏差，这表明可能对每个组采用的策略分配的可能解释。

与社会推动者的强化学习的最新进展使此类模型能够在特定的互动任务上实现人级的绩效。但是，大多数交互式场景并不是单独的版本作为最终目标。取而代之的是，与人类互动时，这些代理人的社会影响是重要的，并且在很大程度上没有探索。在这方面，这项工作提出了一种基于竞争行为的社会影响的新颖强化学习机制。我们提出的模型汇总了客观和社会感知机制，以得出用于调节人造药物学习的竞争得分。为了调查我们提出的模型，我们使用厨师的帽子卡游戏设计了一个互动游戏场景，并研究竞争调制如何改变代理商的比赛风格，以及这如何影响游戏中人类玩家的体验。我们的结果表明，与普通代理人相比，与竞争对手的代理人相比，人类可以检测到特定的社会特征，这直接影响了后续游戏中人类玩家的表现。我们通过讨论构成人工竞争得分的不同社会和客观特征如何有助于我们的结果来结束我们的工作。

DeepMind的游戏理论与多代理团队研究多学科学习的几个方面，从计算近似值到游戏理论中的基本概念，再到在富裕的空间环境中模拟社会困境，并在困难的团队协调任务中培训3-D类人动物。我们小组的一个签名目的是使用DeepMind在DeepMind中提供的资源和专业知识，以深入强化学习来探索复杂环境中的多代理系统，并使用这些基准来提高我们的理解。在这里，我们总结了我们团队的最新工作，并提出了一种分类法，我们认为这重点介绍了多代理研究中许多重要的开放挑战。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

由于需要确保安全可靠的人工智能（AI），因此在过去几年中，机器伦理学受到了越来越多的关注。这两种在机器伦理中使用的主要理论是道义和功利主义伦理。另一方面，美德伦理经常被称为另一种伦理理论。尽管这种有趣的方法比流行的道德理论具有一定的优势，但由于其形式化，编纂和解决道德困境以训练良性剂的挑战，工程人工贤惠的媒介几乎没有努力。我们建议通过使用充满道德困境的角色扮演游戏来弥合这一差距。有几种这样的游戏，例如论文，生活很奇怪，主要角色遇到的情况必须通过放弃对他们所珍视的其他东西来选择正确的行动方案。我们从此类游戏中汲取灵感，以展示如何设计系统的角色扮演游戏来发展人造代理中的美德。使用现代的AI技术，例如基于亲和力的强化学习和可解释的AI，我们激励了扮演这种角色扮演游戏的良性代理，以及通过美德道德镜头对他们的决策进行检查。这种代理和环境的发展是朝着实际上正式化和证明美德伦理在伦理代理发展的价值的第一步。

强化学习（RL）和脑电脑接口（BCI）是过去十年一直在增长的两个领域。直到最近，这些字段彼此独立操作。随着对循环（HITL）应用的兴趣升高，RL算法已经适用于人类指导，从而产生互动强化学习（IRL）的子领域。相邻的，BCI应用一直很感兴趣在人机交互期间从神经活动中提取内在反馈。这两个想法通过将BCI集成到IRL框架中，将RL和BCI设置在碰撞过程中，通过将内在反馈可用于帮助培训代理商来帮助框架。这种交叉点被称为内在的IRL。为了进一步帮助，促进BCI和IRL的更深层次，我们对内在IRILL的审查有着重点在于其母体领域的反馈驱动的IRL，同时还提供有关有效性，挑战和未来研究方向的讨论。

This paper surveys the eld of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the eld and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but di ers considerably in the details and in the use of the word \reinforcement." The paper discusses central issues of reinforcement learning, including trading o exploration and exploitation, establishing the foundations of the eld via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.

实际经济体可以被视为一种顺序不完美信息游戏，具有许多异质，互动的各种代理类型的战略代理，例如消费者，公司和政府。动态一般均衡模型是在此类系统中建模经济活动，交互和结果的普通经济工具。然而，当所有代理商是战略和互动时，现有的分析和计算方法努力寻找明确的均衡，而联合学习是不稳定的并且具有挑战性。在其他人中，一个重要的原因是，一个经济代理人的行动可能会改变另一名代理人的奖励职能，例如，当公司更改价格或政府更改税收时，消费者的消费者的消费收入变化。我们表明，多代理深度加强学习（RL）可以发现稳定的解决方案，即通过使用结构的学习课程和高效的GPU，在经济模拟中，在经济仿真中，在经济模拟中，可以发现普遍存器类型的稳定解决方案。仿真和培训。概念上，我们的方法更加灵活，不需要不切实际的假设，例如市场清算，通常用于分析途径。我们的GPU实施使得能够在合理的时间范围内具有大量代理的经济体，例如，在一天内完成培训。我们展示了我们在实际商业周期模型中的方法，这是一个代表性的DGE模型系列，100名工人消费者，10家公司和政府税收和重新分配。我们通过近似最佳响应分析验证了学习的Meta-Game epsilon-Nash均衡，表明RL政策与经济直觉保持一致，我们的方法是建设性的，例如，通过明确地学习Meta-Game epsilon-Nash ePhilia的频谱打开RBC型号。

The reinforcement learning paradigm is a popular way to address problems that have only limited environmental feedback, rather than correctly labeled examples, as is common in other machine learning contexts. While significant progress has been made to improve learning in a single task, the idea of transfer learning has only recently been applied to reinforcement learning tasks. The core idea of transfer is that experience gained in learning to perform one task can help improve learning performance in a related, but different, task. In this article we present a framework that classifies transfer learning methods in terms of their capabilities and goals, and then use it to survey the existing literature, as well as to suggest future directions for transfer learning work.

通过观察自己的行为来了解决策者的优先事项对于在医疗保健等决策过程中的透明度和问责制至关重要。尽管传统的政策学习方法几乎总是假定行为的平稳性，但在实践中几乎不正确：随着临床专业人员随着时间的流逝，医学实践不断发展。例如，随着医学界对器官移植的理解多年来的发展，一个相关的问题是：实际的器官分配政策如何发展？为了给出答案，我们希望采用一种政策学习方法，该方法提供了可解释的决策代表，尤其是捕获代理商对世界的非统计知识，并以离线方式运作。首先，我们将决策者的不断发展的行为对上下文的强盗进行了建模，并正式化了背景匪徒（ICB）的问题。其次，我们提出了两种混凝土算法作为解决方案，学习代理行为的学习参数和非参数表示。最后，使用真实和模拟数据进行肝移植，我们说明了我们方法的适用性和解释性，以及基准测试并验证其准确性。

在空间显式的基于个别模型中捕获和模拟智能自适应行为仍然是研究人员持续的挑战。虽然收集了不断增长的现实行为数据，但存在很少的方法，可以量化和正式化关键的个人行为以及它们如何改变空间和时间。因此，通常使用的常用代理决策框架（例如事件条件 - 行动规则）通常只需要仅关注狭窄的行为范围。我们认为，这些行为框架通常不会反映现实世界的情景，并且未能捕捉如何以响应刺激而发展行为。对机器学习方法的兴趣增加了近年来模拟智能自适应行为的兴趣。在该区域中开始获得牵引的一种方法是增强学习（RL）。本文探讨了如何使用基于简单的捕食者 - 猎物代理的模型（ABM）来应用RL创建紧急代理行为。运行一系列模拟，我们证明了使用新型近端政策优化（PPO）算法培训的代理以展示现实世界智能自适应行为的性质，例如隐藏，逃避和觅食。

在这项工作中，我们询问并回答是什么使经典的强化学习合作。在社会困境情况下合作对于动物，人类和机器至关重要。尽管进化论揭示了促进合作的一系列机制，但代理商学习合作的条件受到争议。在这里，我们证明了多项式学习设置的哪些单个要素如何导致合作。具体而言，我们考虑了在经典环境中，在经典的环境中，具有一定的囚犯困境，并在经典的环境中使用Epsilon-Greedy探索进行了广泛使用的时间差异增强算法。两个学习代理中的每一个都学会了一种策略，该策略可以在最后一轮的两个代理商的行动选择上进行以下动作选择。我们发现，除了对未来奖励的高度关心，较低的勘探率和较小的学习率之外，这主要是加固学习过程的内在随机波动，最终合作率将最终的合作率翻了一番，高达80 \％。因此，固有的噪声不是迭代学习过程的必要邪恶。这是学习合作的关键资产。但是，我们还指出了合作行为的很高可能性与在合理的时间内实现这一目标之间的权衡。我们的发现与有目的地设计合作算法和调节不希望的犯罪效果有关。

Reinforcement learning (RL) is one of the most important branches of AI. Due to its capacity for self-adaption and decision-making in dynamic environments, reinforcement learning has been widely applied in multiple areas, such as healthcare, data markets, autonomous driving, and robotics. However, some of these applications and systems have been shown to be vulnerable to security or privacy attacks, resulting in unreliable or unstable services. A large number of studies have focused on these security and privacy problems in reinforcement learning. However, few surveys have provided a systematic review and comparison of existing problems and state-of-the-art solutions to keep up with the pace of emerging threats. Accordingly, we herein present such a comprehensive review to explain and summarize the challenges associated with security and privacy in reinforcement learning from a new perspective, namely that of the Markov Decision Process (MDP). In this survey, we first introduce the key concepts related to this area. Next, we cover the security and privacy issues linked to the state, action, environment, and reward function of the MDP process, respectively. We further highlight the special characteristics of security and privacy methodologies related to reinforcement learning. Finally, we discuss the possible future research directions within this area.

In the Markov decision process (MDP) formalization of reinforcement learning, a single adaptive agent interacts with an environment defined by a probabilistic transition function. In this solipsistic view, secondary agents can only be part of the environment and are therefore fixed in their behavior. The framework of Markov games allows us to widen this view to include multiple adaptive agents with interacting or competing goals. This paper considers a step in this direction in which exactly two agents with diametrically opposed goals share an environment. It describes a Q-learning-like algorithm for finding optimal policies and demonstrates its application to a simple two-player game in which the optimal policy is probabilistic.

AI代理应该能够与人类协调以解决任务。我们考虑培训加强学习（RL）代理的问题，而不使用任何人类数据，即在零射击设置中，使其能够与人类合作。标准RL代理商通过自我播放学习。不幸的是，这些代理商只知道如何与自己合作，通常不会与人类的看不见的伙伴表现良好。如何以零射时的方式训练强大的代理的方法仍然需要研究。从最大熵RL激励，我们推出了集中的人口熵目标，以便于学习各种各样的代理商，后来用于培训坚强的代理与看不见的合作伙伴合作。所提出的方法与基线方法相比，其有效性，包括自助PPO，在流行的过度烹制的游戏环境中，包括自行式PPO，标准群体的培训（PBT）和基于轨迹分集的PBT。我们还通过真实人类进行在线实验，并进一步证明了该方法在现实世界中的功效。显示实验结果的补充视频可在https://youtu.be/xh-fkd0aake上获得。