实际因果关系和紧密相关的责任归因概念对于负责任的决策至关重要。实际因果关系侧重于特定结果，并旨在确定对实现兴趣结果至关重要的决策（行动）。责任归因是互补的，旨在确定决策者（代理人）对此结果负责的程度。在本文中，我们研究了在不确定性下用于多代理顺序决策的广泛使用框架下的这些概念：分散的部分可观察到的马尔可夫决策过程（DEC-POMDPS）。在RL中显示了POMDP和结构因果模型（SCM）之间的对应关系之后，我们首先在DECPOMDPS和SCMS之间建立了联系。此连接使我们能够利用一种语言来描述先前工作中的实际因果关系，并研究DECOMDPS中实际因果关系的现有定义。鉴于某些众所周知的定义可能导致违反直觉的实际原因，我们引入了一个新颖的定义，该定义更明确地说明了代理人行为之间的因果关系。然后，我们根据实际因果关系转向责任归因，我们认为，在将责任归因于代理商时，重要的是要考虑代理人参与的实际原因数量以及操纵自己的责任程度的能力。在这些论点的激励下，我们介绍了一种责任归因方法，该方法扩展了先前的工作，同时考虑到上述考虑因素。最后，通过基于仿真的实验，我们比较了实际因果关系和责任归因方法的不同定义。经验结果证明了实际因果关系的定义与其对归因责任的影响之间的定性差异。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

本文有助于将读者介绍到多功能增强学习（MARL）领域及其与因果关系研究的方法的交叉。我们突出了Marl中的关键挑战，并在因因果方法如何协助解决它们的情况下讨论这些问题。我们促进了对Marl的'因果首先'的透视。具体而言，我们认为因果关系可以提高安全性，可解释性和稳健性，同时还为紧急行为提供了强烈的理论保障。我们讨论潜在的挑战解决方案，并使用这种背景激励未来的研究方向。

强化学习中的信用作业是衡量行动对未来奖励的影响的问题。特别是，这需要从运气中分离技能，即解除外部因素和随后的行动对奖励行动的影响。为实现这一目标，我们将来自因果关系的反事件的概念调整为无模型RL设置。关键思想是通过学习从轨迹中提取相关信息来应对未来事件的价值函数。我们制定了一系列政策梯度算法，这些算法使用这些未来条件的价值函数作为基准或批评，并表明它们是可怕的差异。为避免对未来信息的调理潜在偏见，我们将后视信息限制为不包含有关代理程序行为的信息。我们展示了我们对许多说明性和具有挑战性问题的算法的功效和有效性。

药物的因果模型已用于分析机器学习系统的安全性方面。但是，识别代理是非平凡的 - 通常只是由建模者假设而没有太多理由来实现因果模型 - 建模失败可能会导致安全分析中的错误。本文提出了对代理商的第一个正式因果定义 - 大约是代理人是制度，如果他们的行为以不同的方式影响世界，则可以改善其政策。由此，我们得出了第一个用于从经验数据中发现代理的因果发现算法，并提供了用于在因果模型和游戏理论影响图之间转换的算法。我们通过解决不正确的因果模型引起的一些混乱来证明我们的方法。

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

本文迈出了从实验中学习的逻辑的第一步。为此，我们调查了建模因果和（定性）认知推理的相互作用的正式框架。对于我们的方法至关重要是一种干预概念的想法，可以用作（真实或假设的）实验的正式表达。在第一步中，我们将众所周知的因果模型与代理人的认知状态的简单HITIKKA样式表示。在生成的设置中，不仅可以对关于变量值的知识以及干预措施如何影响它们，而且可以对其进行交谈，而且还可以谈论知识更新。由此产生的逻辑可以模拟关于思想实验的推理。但是，它无法解释从实验中学习，这显然是由它验证干预措施没有学习原则的事实。因此，在第二步中，我们实现更复杂的知识概念，该知识概念允许代理在进行实验时观察（测量）某些变量。该扩展系统确实允许从实验中学习。对于所有提出的逻辑系统，我们提供了一种声音和完整的公理化。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

结构方程式模型（SEM）可能是用于建模因果关系的最常用的框架。然而，正如我们所示，天真地将该框架延伸到无限的多个变量，例如，要为模型动态系统而导入几个问题。我们介绍GSEMS（广义SEM），灵活的SEM直接指定干预结果，其中（1）微分方程的系统可以以自然和直观的方式表示，（2）某些自然情况，不能由SEM表示，可以轻松表示，（3）SEM中实际因果关系的定义基本上没有变化。

关于人类是否有自由的辩论是几个世纪以来的争夺。虽然有良好的论据，基于我们目前对大自然法律的理解，虽然人类不可能自由的意志，但大多数人都相信他们。这种差异乞求解释。如果我们接受我们没有自由的意志，我们面临着两个问题：（1）虽然自由是一个非常常用的概念，每个人都直觉理解，我们实际提到的是，当我们说行动或选择时，我们实际上是什么？免费“或不是？而且，（2）为什么自由的信念会如此共同？这种信念来自哪里，它的目的是什么？在本文中，我们从加强学习（RL）的角度来看这些问题。 RL是最初为培训人工智能代理制定的框架。然而，它也可以用作人为决策和学习的计算模型，并通过这样做，我们建议通过观察人们的常识理解自由来回回答第一问题与信息熵密切相关RL代理的归一化行动值，而第二个可以通过代理人来制定本身的必要性，就像他们在处理时间信用分配问题时所做的那样做出决定。简而言之，我们建议通过将RL框架应用为人类学习的模型，这变得明显，为了让我们有效地学习并聪明，我们需要将自己视为自由意志。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

我们回顾了有关模型的文献，这些文献试图解释具有金钱回报的正常形式游戏所描述的社交互动中的人类行为。我们首先涵盖社会和道德偏好。然后，我们专注于日益增长的研究，表明人们对描述行动的语言做出反应，尤其是在激活道德问题时。最后，我们认为行为经济学正处于向基于语言的偏好转变的范式中，这将需要探索新的模型和实验设置。

This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.

在多机构强化学习（MARL）中，独立学习者是那些不观察系统中其他代理商的行为的学习者。由于信息的权力下放，设计独立的学习者将发挥均匀的态度是有挑战性的。本文研究了使用满足动态来指导独立学习者在随机游戏中近似平衡的可行性。对于$ \ epsilon \ geq 0 $，$ \ epsilon $ -SATISFICING策略更新规则是任何规则，指示代理在$ \ epsilon $ best-best-reversponding to to to the其余参与者的策略时不要更改其策略； $ \ epsilon $ -SATISFIFICING路径定义为当每个代理使用某些$ \ epsilon $ -SATISFIFICING策略更新规则来选择其下一个策略时，获得的联合策略序列。我们建立了关于$ \ epsilon $ - 偏离型路径的结构性结果，这些路径是$ \ epsilon $ equilibium in Symmetric $ n $ - 玩家游戏和带有两个玩家的一般随机游戏。然后，我们为$ n $玩家对称游戏提出了一种独立的学习算法，并为自我玩法的$ \ epsilon $ equilibrium提供了高可能性保证。此保证仅使用对称性，利用$ \ epsilon $ satisficing路径的先前未开发的结构。

This volume contains revised versions of the papers selected for the third volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI.

合作多代理设置中的标准问题设置是自我播放（SP），其目标是训练一个很好地合作的代理团队。但是，最佳SP政策通常包含任意惯例（“握手”），并且与其他受独立训练的代理商或人类不兼容。后者的Desiderata最近由Hu等人正式化。 2020年作为零射击协调（ZSC）设置，并以其其他游戏（OP）算法进行了部分解决，该算法在纸牌游戏Hanabi中显示出改进的ZSC和人类表现。 OP假设访问环境的对称性，并防止代理在训练过程中以相互不相容的方式破坏它们。但是，正如作者指出的那样，发现给定环境的对称性是一个计算困难的问题。取而代之的是，我们通过简单的K级推理（KLR）Costa Gomes等人表明。 2006年，我们可以同步训练所有级别，我们可以在哈纳比（Hanabi）获得竞争性的ZSC和临时团队表现，包括与类似人类的代理机器人配对。我们还引入了一种具有最佳响应（SYKLRBR）的新方法，即同步的K级推理，该方法通过共同培训最佳响应来进一步提高同步KLR的性能。

Besides the recent impressive results on reinforcement learning (RL), safety is still one of the major research challenges in RL. RL is a machine-learning approach to determine near-optimal policies in Markov decision processes (MDPs). In this paper, we consider the setting where the safety-relevant fragment of the MDP together with a temporal logic safety specification is given and many safety violations can be avoided by planning ahead a short time into the future. We propose an approach for online safety shielding of RL agents. During runtime, the shield analyses the safety of each available action. For any action, the shield computes the maximal probability to not violate the safety specification within the next $k$ steps when executing this action. Based on this probability and a given threshold, the shield decides whether to block an action from the agent. Existing offline shielding approaches compute exhaustively the safety of all state-action combinations ahead of time, resulting in huge computation times and large memory consumption. The intuition behind online shielding is to compute at runtime the set of all states that could be reached in the near future. For each of these states, the safety of all available actions is analysed and used for shielding as soon as one of the considered states is reached. Our approach is well suited for high-level planning problems where the time between decisions can be used for safety computations and it is sustainable for the agent to wait until these computations are finished. For our evaluation, we selected a 2-player version of the classical computer game SNAKE. The game represents a high-level planning problem that requires fast decisions and the multiplayer setting induces a large state space, which is computationally expensive to analyse exhaustively.

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。