规范有助于规范社会。规范可以是明确的(以结构化形式表示)或隐式。我们通过开发代理商来解决明确规范的出现,这些代理商在决定制裁和确定替代规范时提供了违反规范的解释。这些试剂使用遗传算法来生成规范和增强学习,以学习这些规范的价值。我们发现,应用解释会导致规范为代理提供更好的凝聚力和目标满意度。我们的结果对于具有不同慷慨态度的社会是稳定的。
translated by 谷歌翻译
支持用户日常生活的代理商不仅需要考虑用户的特征,还要考虑用户的社交状况。现有在包括社交环境的工作使用某种类型的情况提示作为信息处理技术的输入,以评估用户的预期行为。但是,研究表明,确定情况的含义非常重要,这是我们称之为社会状况理解的步骤。我们建议使用情境的心理特征,这些情况在社会科学中提出了将含义归因于情境,作为社会状况理解的基础。使用来自用户研究的数据,我们从两个角度评估了该建议。首先,从技术角度来看,我们表明,情况的心理特征可以用作预测社会情况优先级的投入,并且可以从社会状况的特征中预测情况的心理特征。其次,我们研究了理解步骤在人机含义制造中的作用。我们表明,心理特征可以成功地用作向用户解释议程管理个人助理代理商的决定的基础。
translated by 谷歌翻译
There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.
translated by 谷歌翻译
In this paper, we elaborate on the design and discuss the results of a multi-agent simulation that we have developed using the PSI cognitive architecture. We demonstrate that imbuing agents with intrinsic needs for group affiliation, certainty and competence will lead to the emergence of social behavior among agents. This behavior expresses itself in altruism toward in-group agents and adversarial tendencies toward out-group agents. Our simulation also shows how parameterization can have dramatic effects on agent behavior. Introducing an out-group bias, for example, not only made agents behave aggressively toward members of the other group, but it also increased in-group cohesion. Similarly, environmental and situational factors facilitated the emergence of outliers: agents from adversarial groups becoming close friends. Overall, this simulation showcases the power of psychological frameworks, in general, and the PSI paradigm, in particular, to bring about human-like behavioral patterns in an emergent fashion.
translated by 谷歌翻译
一个自治系统由制造商构建,在患有规范和法律的社会中运营,并与最终用户进行互动。所有这些行动者都是受自治系统行为影响的利益相关者。我们解决这些利益攸关方的道德观点的挑战可以集成在自治系统的行为中。我们提出了一个道德推荐组件,我们称之为JIMINY,它使用规范系统和正式论证的技术,以达到利益攸关方之间的道德协议。 JIMINY代表了使用规范系统的每个利益相关者的道德观点,并有三种解决涉及利益攸关方意见的道德困境。首先,JIMINY认为利益相关者的论据是如何彼此相关的,这可能已经解决了困境。其次,JIMINY结合了利益攸关方的规范性系统,使利益攸关方的合并专业知识可能解决困境。第三,只有当这两种其他方法失败时,JIMINY使用上下文敏感的规则来决定哪个利益相关者优先考虑。在抽象层面,这三种方法的特点是添加参数,参数之间的攻击以及争论之间的攻击。我们展示了JIMINY不仅可以用于道德推理和协作决策,而且还用于提供关于道德行为的解释。
translated by 谷歌翻译
为了协助游戏开发人员制作游戏NPC,我们展示了EvolvingBehavior,这是一种新颖的工具,用于基因编程,以在不真实的引擎4中发展行为树4.在初步评估中,我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现,在这种情况下,EvolvingBehavior能够产生行为,以实现设计师的目标。最后,我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径,以及行为树进化的挑战和困难。
translated by 谷歌翻译
我们介绍了Sparrow,这是一个寻求信息的对话代理,与提示的语言模型基线相比,训练有素,更有帮助,正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型,以帮助人类评估者判断代理人的行为。首先,为了使我们的代理人更有帮助和无害,我们将良好对话的要求分解为代理人应遵循的自然语言规则,并分别向评估者询问每个规则。我们证明,这种崩溃使我们能够收集对代理行为的更多针对性的人类判断,并允许更有效的规则条件奖励模型。其次,我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题,麻雀提供的证据支持了78%的时间。比基线比基线更享受麻雀,同时对人类的对抗性探测更具弹性,在探测时只有8%的时间违反了我们的规则。最后,我们进行了广泛的分析,表明尽管我们的模型学会遵守我们的规则,但它可以表现出分布偏见。
translated by 谷歌翻译
在复杂的协作任务上共同努力需要代理商协调他们的行为。在实际交互之前明确或完全执行此操作并不总是可能也不充分。代理人还需要不断了解他人的当前行动,并迅速适应自己的行为。在这里,我们调查我们称之为信仰共鸣的精神状态(意图,目标)的效率,自动协调过程如何导致协作的解决问题。我们为协作剂(HAICA)提出了分层有源推断的模型。它将高效的贝叶斯理论与基于预测处理和主动推断的感知动作系统相结合。通过让一个药物的推断精神状态影响另一个代理人的预测信念来实现信仰共振,从而实现了他自己的目标和意图。这样,推断的精神状态影响了代理人自己的任务行为,没有明确的协作推理。我们在超核域中实施和评估此模型,其中两个代理具有不同程度的信仰共振组合,以满足膳食订单。我们的结果表明,基于HAICA的代理商实现了与最近现有技术方法相当的团队表现,同时产生了更低的计算成本。我们还表明,信仰共振在环境中特别有益,代理商是对环境的不对称知识。结果表明,信仰共振和有效推断允许快速高效的代理协调,因此可以用作合作认知剂的结构块。
translated by 谷歌翻译
Multi-agent artificial intelligence research promises a path to develop intelligent technologies that are more human-like and more human-compatible than those produced by "solipsistic" approaches, which do not consider interactions between agents. Melting Pot is a research tool developed to facilitate work on multi-agent artificial intelligence, and provides an evaluation protocol that measures generalization to novel social partners in a set of canonical test scenarios. Each scenario pairs a physical environment (a "substrate") with a reference set of co-players (a "background population"), to create a social situation with substantial interdependence between the individuals involved. For instance, some scenarios were inspired by institutional-economics-based accounts of natural resource management and public-good-provision dilemmas. Others were inspired by considerations from evolutionary biology, game theory, and artificial life. Melting Pot aims to cover a maximally diverse set of interdependencies and incentives. It includes the commonly-studied extreme cases of perfectly-competitive (zero-sum) motivations and perfectly-cooperative (shared-reward) motivations, but does not stop with them. As in real-life, a clear majority of scenarios in Melting Pot have mixed incentives. They are neither purely competitive nor purely cooperative and thus demand successful agents be able to navigate the resulting ambiguity. Here we describe Melting Pot 2.0, which revises and expands on Melting Pot. We also introduce support for scenarios with asymmetric roles, and explain how to integrate them into the evaluation protocol. This report also contains: (1) details of all substrates and scenarios; (2) a complete description of all baseline algorithms and results. Our intention is for it to serve as a reference for researchers using Melting Pot 2.0.
translated by 谷歌翻译
Curiosity for machine agents has been a focus of lively research activity. The study of human and animal curiosity, particularly specific curiosity, has unearthed several properties that would offer important benefits for machine learners, but that have not yet been well-explored in machine intelligence. In this work, we conduct a comprehensive, multidisciplinary survey of the field of animal and machine curiosity. As a principal contribution of this work, we use this survey as a foundation to introduce and define what we consider to be five of the most important properties of specific curiosity: 1) directedness towards inostensible referents, 2) cessation when satisfied, 3) voluntary exposure, 4) transience, and 5) coherent long-term learning. As a second main contribution of this work, we show how these properties may be implemented together in a proof-of-concept reinforcement learning agent: we demonstrate how the properties manifest in the behaviour of this agent in a simple non-episodic grid-world environment that includes curiosity-inducing locations and induced targets of curiosity. As we would hope, our example of a computational specific curiosity agent exhibits short-term directed behaviour while updating long-term preferences to adaptively seek out curiosity-inducing situations. This work, therefore, presents a landmark synthesis and translation of specific curiosity to the domain of machine learning and reinforcement learning and provides a novel view into how specific curiosity operates and in the future might be integrated into the behaviour of goal-seeking, decision-making computational agents in complex environments.
translated by 谷歌翻译
人类的生态成功依赖于我们在合作社会群体中灵活地组织的特征能力。成功的团体采用实质性专业和劳动分工。与大多数其他动物不同,人类在生活中通过反复试验学习什么角色。但是,当某些关键角色比其他角色更具吸引力,并且个人是自私的,那么就会存在社会困难:每个人都希望其他人扮演关键但无人机的角色,因此他们可能会自由自在地接受一个付费的人更好的。但是,如果所有人都采取行动,并且关键作用没有填补,就会发生灾难。在这种情况下,学习最佳角色分布可能是不可能的。因此,一个基本的问题是:劳动分裂如何在自私自利的学习个人群体中出现?在这里,我们表明,通过引入一种社会规范模型,我们将其视为分散的社会制裁模式,自私自利的个人群体可以学习涉及所有关键角色的劳动力划分。这种社会规范是通过重新分配人口中的奖励来努力使反社会角色不利的,同时激励亲社会角色,而这些角色不像本质上一样付出。
translated by 谷歌翻译
事实证明,在学习环境中,社会智能代理(SIA)的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验,但是,另一方面,这是有代价的,因为该方案及其创作的复杂性可能变得霸道。在本文中,我们介绍了可解释的社会代理创作工具的概念,目的是分析社会代理的创作工具是否可以理解和解释。为此,我们检查了创作工具Fatima-Toolkit是否可以理解,并且从作者的角度来看,其创作步骤可以解释。我们进行了两项用户研究,以定量评估Fatima-Toolkit的解释性,可理解性和透明度,从场景设计师的角度来看。关键发现之一是,法蒂玛 - 库尔基特(Fatima-Toolkit)的概念模型通常是可以理解的,但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面,但仍需要取得进展,以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案,可以指导开发人员构建此类工具。
translated by 谷歌翻译
最后,这项工作将包括对解释的上下文形式的调查。在这项研究中,我们将包括一个时间障碍的方案,其中将测试不同水平的理解水平,以使我们能够评估合适且可理解的解释。为此,我们提出了不同的理解水平(lou)。用户研究将旨在比较不同的LOU在不同的互动环境中。将研究同时医院环境的用户研究。
translated by 谷歌翻译
在人类居住的环境中使用机器人的挑战是设计对人类互动引起的扰动且鲁棒的设计行为。我们的想法是用内在动机(IM)拟订机器人,以便它可以处理新的情况,并作为人类的真正社交,因此对人类互动伙伴感兴趣。人机互动(HRI)实验主要关注脚本或远程机器人,这是模拟特性,如IM来控制孤立的行为因素。本文介绍了一个“机器人学家”的研究设计,允许比较自主生成的行为彼此,而且首次评估机器人中基于IM的生成行为的人类感知。我们在受试者内部用户学习(n = 24),参与者与具有不同行为制度的完全自主的Sphero BB8机器人互动:一个实现自适应,本质上动机的行为,另一个是反应性的,但不是自适应。机器人及其行为是故意最小的,以专注于IM诱导的效果。与反应基线行为相比,相互作用后问卷的定量分析表明对尺寸“温暖”的显着提高。温暖被认为是人类社会认知中社会态度形成的主要维度。一种被认为是温暖(友好,值得信赖的)的人体验更积极的社交互动。
translated by 谷歌翻译
作为一个重要的心理和社会实验,迭代的囚犯困境(IPD)将合作或缺陷作为原子行动视为选择。我们建议研究迭代的囚犯困境(IPD)游戏中在线学习算法的行为,在那里我们研究了整个强化学习剂:多臂匪徒,上下文的强盗和钢筋学习。我们根据迭代囚犯的困境的比赛进行评估,其中多个特工可以以顺序竞争。这使我们能够分析由多个自私的独立奖励驱动的代理所学到的政策的动态,还使我们研究了这些算法适合人类行为的能力。结果表明,考虑当前的情况做出决定是这种社会困境游戏中最糟糕的情况。陈述了有关在线学习行为和临床验证的倍数,以此作为将人工智能算法与人类行为及其在神经精神病疾病中的异常状态联系起来的努力。
translated by 谷歌翻译
随着人工智能系统变得越来越强大和普遍,人们对机器的道德或缺乏道德的关注变得越来越关注。然而,向机器讲授道德是一项艰巨的任务,因为道德仍然是人类中最激烈的争论问题之一,更不用说AI了。但是,部署到数百万用户的现有AI系统已经在做出充满道德影响的决策,这构成了一个看似不可能的挑战:教学机器的道德意义,而人类继续努力努力。为了探索这一挑战,我们介绍了Delphi,这是一个基于深层神经网络的实验框架,直接训练了描述性道德判断,例如,“帮助朋友”通常是不错的,而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况,德尔菲(Delphi)表现出强大的概括能力,而现成的神经网络模型表现出明显差的判断,包括不公正的偏见,证实了对明确教学机器的道德意义的必要性。然而,德尔菲并不完美,表现出对普遍性偏见和不一致的敏感性。尽管如此,我们还是展示了不完美的Delphi的积极用例,包括在其他不完美的AI系统中将其用作组件模型。重要的是,我们根据著名的道德理论来解释Delphi的运营化,这使我们提出了重要的未来研究问题。
translated by 谷歌翻译
团队是人类成就的核心。在过去的半个世纪中,心理学家已经确定了五个跨文化有效的人格变量:神经质,外向性,开放性,尽职尽责和同意。前四个与团队绩效显示一致的关系。然而,令人愉快的(和谐,无私,谦虚和合作)表现出与团队绩效的无关紧要和高度可变的关系。我们通过计算建模解决这种不一致。基于代理的模型(ABM)用于预测人格特质对团队合作的影响,然后使用遗传算法来探索ABM的限制,以发现哪种特征与最佳和最差的表现相关,以解决与与最差的团队相关的问题,以解决与问题有关的问题。不同级别的不确定性(噪声)。探索所揭示的新依赖性通过分析迄今为止最大的团队绩效数据集的先前未观察到的数据来证实,其中包括593个团队中的3,698个个人,从事5,000多个没有不确定性的小组任务,在10年内收集了不确定性。我们的发现是,团队绩效和同意之间的依赖性受到任务不确定性的调节。以这种方式将进化计算与ABM相结合,为团队合作的科学研究,做出新的预测以及提高我们对人类行为的理解提供了一种新方法。我们的结果证实了计算机建模对发展理论的潜在实用性,并阐明了随着工作环境的越来越流畅和不确定的启示。
translated by 谷歌翻译
在过去的十年中,深入的强化学习(DRL)算法已经越来越多地使用,以解决各种决策问题,例如自动驾驶和机器人技术。但是,这些算法在部署在安全至关重要的环境中时面临着巨大的挑战,因为它们经常表现出错误的行为,可能导致潜在的关键错误。评估DRL代理的安全性的一种方法是测试它们,以检测可能导致执行过程中严重失败的故障。这就提出了一个问题,即我们如何有效测试DRL政策以确保其正确性和遵守安全要求。测试DRL代理的大多数现有作品都使用扰动代理的对抗性攻击。但是,这种攻击通常会导致环境的不切实际状态。他们的主要目标是测试DRL代理的鲁棒性,而不是测试代理商在要求方面的合规性。由于DRL环境的巨大状态空间,测试执行的高成本以及DRL算法的黑盒性质,因此不可能对DRL代理进行详尽的测试。在本文中,我们提出了一种基于搜索的强化学习代理(Starla)的测试方法,以通过有效地在有限的测试预算中寻找无法执行的代理执行,以测试DRL代理的策略。我们使用机器学习模型和专用的遗传算法来缩小搜索错误的搜索。我们将Starla应用于深Q学习剂,该Qualla被广泛用作基准测试,并表明它通过检测到与代理商策略相关的更多故障来大大优于随机测试。我们还研究了如何使用我们的搜索结果提取表征DRL代理的错误事件的规则。这些规则可用于了解代理失败的条件,从而评估其部署风险。
translated by 谷歌翻译
哈纳比(Hanabi)是一款合作游戏,它带来了将其他玩家建模到最前沿的问题。在这个游戏中,协调的一组玩家可以利用预先建立的公约发挥出色的效果,但是在临时环境中进行比赛需要代理商适应其伴侣的策略,而没有以前的协调。在这种情况下评估代理需要各种各样的潜在伙伴人群,但是到目前为止,尚未以系统的方式考虑代理的行为多样性。本文提出了质量多样性算法作为有前途的算法类别,以生成多种人群为此目的,并使用MAP-ELITE生成一系列不同的Hanabi代理。我们还假设,在培训期间,代理商可以从多样化的人群中受益,并实施一个简单的“元策略”,以适应代理人的感知行为利基市场。我们表明,即使可以正确推断其伴侣的行为利基市场,即使培训其伴侣的行为利基市场,这种元策略也可以比通才策略更好地工作,但是在实践中,伴侣的行为取决于并干扰了元代理自己的行为,这表明是一条途径对于未来的研究,可以在游戏过程中表征另一个代理商的行为。
translated by 谷歌翻译
我们将仔细研究道德,并尝试以可能成为工具的抽象属性的形式提取见解。我们想将道德与游戏联系起来,谈论道德的表现,将好奇心引入竞争和协调良好的伦理学之间的相互作用,并提供可能统一实体汇总的可能发展的看法。所有这些都是由计算复杂性造成的长阴影,这对游戏来说是负面的。该分析是寻找建模方面的第一步,这些方面可能在AI伦理中用于将现代AI系统整合到人类社会中。
translated by 谷歌翻译