我们将仔细研究道德，并尝试以可能成为工具的抽象属性的形式提取见解。我们想将道德与游戏联系起来，谈论道德的表现，将好奇心引入竞争和协调良好的伦理学之间的相互作用，并提供可能统一实体汇总的可能发展的看法。所有这些都是由计算复杂性造成的长阴影，这对游戏来说是负面的。该分析是寻找建模方面的第一步，这些方面可能在AI伦理中用于将现代AI系统整合到人类社会中。

我们回顾了有关模型的文献，这些文献试图解释具有金钱回报的正常形式游戏所描述的社交互动中的人类行为。我们首先涵盖社会和道德偏好。然后，我们专注于日益增长的研究，表明人们对描述行动的语言做出反应，尤其是在激活道德问题时。最后，我们认为行为经济学正处于向基于语言的偏好转变的范式中，这将需要探索新的模型和实验设置。

We are currently unable to specify human goals and societal values in a way that reliably directs AI behavior. Law-making and legal interpretation form a computational engine that converts opaque human values into legible directives. "Law Informs Code" is the research agenda capturing complex computational legal processes, and embedding them in AI. Similar to how parties to a legal contract cannot foresee every potential contingency of their future relationship, and legislators cannot predict all the circumstances under which their proposed bills will be applied, we cannot ex ante specify rules that provably direct good AI behavior. Legal theory and practice have developed arrays of tools to address these specification problems. For instance, legal standards allow humans to develop shared understandings and adapt them to novel situations. In contrast to more prosaic uses of the law (e.g., as a deterrent of bad behavior through the threat of sanction), leveraged as an expression of how humans communicate their goals, and what society values, Law Informs Code. We describe how data generated by legal processes (methods of law-making, statutory interpretation, contract drafting, applications of legal standards, legal reasoning, etc.) can facilitate the robust specification of inherently vague human goals. This increases human-AI alignment and the local usefulness of AI. Toward society-AI alignment, we present a framework for understanding law as the applied philosophy of multi-agent alignment. Although law is partly a reflection of historically contingent political power - and thus not a perfect aggregation of citizen preferences - if properly parsed, its distillation offers the most legitimate computational comprehension of societal values available. If law eventually informs powerful AI, engaging in the deliberative political process to improve law takes on even more meaning.

2021年8月，圣达菲研究所举办了一个关于集体智力的研讨会，是智力项目基础的一部分。该项目旨在通过促进智能性质的跨学科研究来推进人工智能领域。该研讨会汇集了计算机科学家，生物学家，哲学家，社会科学家和其他人，以分享他们对多种代理人之间的互动产生的洞察力的见解 - 是否这些代理商是机器，动物或人类。在本报告中，我们总结了每个会谈和随后的讨论。我们还借出了许多关键主题，并确定未来研究的重要前沿。

\ EMPH {人工智能}（AI）系统越来越多地参与影响我们生活的决策，确保自动决策是公平的，道德已经成为最优先事项。直观地，我们觉得类似人的决定，人工代理人的判断应该必然地以一些道德原则为基础。然而，如果有关决定所基础的所有有关因素的全部信息，可以真正伦理（人类或人为）和公平（根据任何道德理论）和公平（根据公平的任何概念）的规定在决策时。这提出了两个问题：（1）在设置中，我们依赖使用通过监督学习获得的分类器的AI系统，存在一些感应/泛化，即使在学习期间也可能不存在一些相关属性。 （2）根据游戏揭示任何 - 无论是道德的纯策略都不可避免地易于剥削，建模这些决定。此外，在许多游戏中，只能通过使用混合策略来获得纳什均衡，即实现数学上最佳结果，决定必须随机化。在本文中，我们认为，在监督学习设置中，存在至少以及确定性分类器的随机分类器，因此在许多情况下可能是最佳选择。我们支持我们的理论效果，具有一个实证研究，表明对随机人工决策者的积极社会态度，并讨论了与使用与当前的AI政策和标准化举措相关的随机分类器相关的一些政策和实施问题。

DeepMind的游戏理论与多代理团队研究多学科学习的几个方面，从计算近似值到游戏理论中的基本概念，再到在富裕的空间环境中模拟社会困境，并在困难的团队协调任务中培训3-D类人动物。我们小组的一个签名目的是使用DeepMind在DeepMind中提供的资源和专业知识，以深入强化学习来探索复杂环境中的多代理系统，并使用这些基准来提高我们的理解。在这里，我们总结了我们团队的最新工作，并提出了一种分类法，我们认为这重点介绍了多代理研究中许多重要的开放挑战。

现有的制定公平计算定义的努力主要集中在平等的分布概念上，在这种情况下，平等是由系统中给出的资源或决策定义的。然而，现有的歧视和不公正通常是社会关系不平等的结果，而不是资源分配不平等。在这里，我们展示了对公平和平等的现有计算和经济定义的优化，无法防止不平等的社会关系。为此，我们提供了一个在简单的招聘市场中具有自我融合平衡的示例，该市场在关系上不平等，但满足了现有的公平分布概念。在此过程中，我们引入了公然的关系不公平的概念，对完整信息游戏进行了讨论，并讨论了该定义如何有助于启动一种将关系平等纳入计算系统的新方法。

人工智能（AI）的价值分配问题询问我们如何确保人造系统的“价值”（即，客观函数）与人类的价值一致。在本文中，我认为语言交流（自然语言）是稳健价值对齐的必要条件。我讨论了这一主张的真相对试图确保AI系统价值一致的研究计划所带来的后果；或者，更谨慎地设计强大的有益或道德人造代理。

如果未来的AI系统在新的情况下是可靠的安全性，那么他们将需要纳入指导它们的一般原则，以便强烈地认识到哪些结果和行为将是有害的。这样的原则可能需要得到约束力的监管制度的支持，该法规需要广泛接受的基本原则。它们还应该足够具体用于技术实施。本文从法律中汲取灵感，解释了负面的人权如何履行此类原则的作用，并为国际监管制度以及为未来的AI系统建立技术安全限制的基础。

在这一荟萃术中，我们探索了道德人工智能（AI）设计实施的三个不同角度，包括哲学伦理观点，技术观点和通过政治镜头进行框架。我们的定性研究包括一篇文献综述，该综述通过讨论前面发表的对比度上下，自下而上和混合方法的价值和缺点，突出了这些角度的交叉引用。对该框架的小说贡献是政治角度，该角度构成了人工智能中的道德规范，要么由公司和政府决定，并通过政策或法律（来自顶部）强加于人，或者是人民要求的道德（从底部出现） ，以及自上而下，自下而上和混合技术，即AI在道德构造和考虑到其用户中的发展方式以及对世界的预期和意外后果和长期影响。作为自下而上的应用技术方法和AI伦理原则作为一种实际的自上而下方法，重点是强化学习。这项调查包括现实世界中的案例研究，以基于历史事实，当前的世界环境以及随之而来的现实，就AI的伦理和理论未来的思想实验进行了有关AI伦理和理论未来思想实验的哲学辩论。

人工智能（AI）有可能极大地改善社会，但是与任何强大的技术一样，它的风险和责任也增加。当前的AI研究缺乏有关如何管理AI系统（包括投机性长期风险）的长尾风险的系统讨论。请记住，AI可能是提高人类的长期潜力不可或缺的一部分，人们担心建立更聪明，更强大的AI系统最终可能会导致比我们更强大的系统。有人说这就像玩火，并推测这可能会造成生存风险（X风险）。为了增加这些讨论，我们回顾了来自危害分析和系统安全的时间测试概念的集合，这些概念旨在将大型流程引导到更安全的方向上。然后，我们讨论AI研究人员如何对AI系统的安全产生长期影响。最后，我们讨论如何稳健地塑造将影响安全和一般能力之间平衡的过程。

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

不可能的定理表明，如权利要求中所述，不能解决特定问题或一组问题。这些定理对人工智能有可能进行限制，特别是超级智能人员。因此，这些结果担任AI安全，AI政策和治理研究人员的指导方针，提醒和警告。这些可能在规范满足框架内的形式使某些长期问题的解决方案能够在不致力于一种选择的情况下进行规范化理论。在本文中，我们对AI领域的不盘定定理分为五类：扣除，欺诈性，归纳，权衡和难治性。我们发现某些定理太具体或具有限制应用的隐含假设。此外，我们为释放性的不公平添加了新的结果（定理），归纳类别中的第一个解释性相关结果。我们得出结论，扣除减免否认100％的保安。最后，我们给出了一些思想，以持有可解释性，可控性，价值对准，道德和团体决策的潜力。他们可以通过进一步调查来加深。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

人机互动和博弈论在相对隔离中，在彼此相对隔离三十年来发展了不同的信任理论。人机互动专注于信任模型的潜在尺寸，层，相关性和前一种，而游戏理论集中在奇异信任决策背后的心理学和策略。这两个领域都努力了解过度信任和信任校准，以及如何衡量信任期望，风险和脆弱性。本文介绍了关闭这些字段之间的差距的初始步骤。使用相互依存理论和社会心理学的见解和实验结果，这项工作开始分析大型游戏理论竞争数据集，以证明各种人类信任交互的最强预测因子是承诺和信任的相互依存导出的变量我们开发了。然后，它提出了对人类主题的第二次研究，以获得更现实的信任情景，涉及人类和人机信任。在竞争数据和我们的实验数据中，我们证明了相互依存的指标更好地捕获了博弈论所提出的理性或规范性心理推理的社会“超级”。这项工作进一步探讨了相互依存的理论 - 以其对承诺，胁迫和合作的关注 - 解决了人机信托内的许多拟议的基础构建和前所，在机器人取代人类时缩小了新的光线的关键相似之处和差异在信任互动中。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

生物学以及先进的人工智能（AIS）需要决定追求哪些目标。我们审查大自然的时间分配问题的解决方案，这是基于我们在省略的不断重新调整的分类权重机制作为情绪。人们观察到在系统到期的情况下，可用数量的情绪状态随着动物的认知能力而增加，筹集智力水平需要更大的行为选择。我们体验多种潜在冲突的感情的能力在于这一观点不是更原始的遗产，而是一种归属于在出生时不能指定的行为选项的值的通用机制。在这种观点中，情绪对于了解思想至关重要。为了具体性，我们提出并讨论了一种模仿功能水平情绪的框架。根据通过情绪化的（TAES）的时间分配，情绪被实施为抽象标准，例如满意，挑战和无聊，这有助于评估已经进行的活动。与代理商的“字符”进行比较所产生的经验性情绪，这在情绪状态的首选分布方面定义。通过优化选择各个任务的频率来实现代理的长期目标以使具有字符的经验。优化后，情感经验的统计数据变得静止。

即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中，我们面临各种工程挑战，因为它以有益的方式协调所体现的系统的行为至关重要，确保他们与我们以人为本的社会价值观的兼容性，并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说，引发系统工程将来自嵌入到体现系统的温室，并确保动态联合的可信度，这种情况意识到的情境意识，意图，探索，探险，不断发展，主要是不可预测的，越来越自主的体现系统在不确定，复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战，包括可信赖的体现系统，包括强大而人为的AI，认知架构，不确定性量化，值得信赖的自融化以及持续的分析和保证。

人工智能AI通过帮助降低成本，提高效率并使新的解决方案能够对复杂问题进行新的解决方案，可以为社会带来大量利益。使用佛罗里达如何将“InfoSphere”设计为起点，在本章中，我认为这个问题：设计的限制是什么，即社会概念设计的概念限制是什么？本章的主要论点是，虽然设计是一种有用的概念工具来塑造技术和社会，但设计未来社会的集体努力受到内部和外部因素的限制。通过唤起Hardin的思想实验，讨论了关于“公共悲剧”的思想试验来讨论的内部限制。此外，Hayek'Cosmos'和'Taxis'之间的经典区别用于划分设计的外部限制。最后，提出了五项设计原则，其旨在帮助政策制定者管理设计内部和外部约束。设计未来社会的成功方法需要通过允许诸如诸如肠和社会技术共存的空间来解释复杂系统的紧急性质。