本文使用JACAMO框架提供了多代理系统（MAS）的运行时验证（RV）方法。我们的目标是为MAS带来一层安全性。该层能够在系统执行过程中控制事件，而无需在每个代理的行为中进行特定的实现来识别事件。MAS已在混合智能的背景下使用。这种使用需要软件代理与人类之间的通信。在某些情况下，通过自然语言对话进行沟通。但是，这种沟通使我们引起了与控制对话流有关的关注，因此代理可以防止讨论主题的任何变化可能会损害其推理。我们证明了一个监视器的实施，该监视器旨在控制MAS中的对话流，该对话流通过自然语言与用户沟通以帮助医院病床分配的决策。

This volume contains revised versions of the papers selected for the third volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI.

本章的目的是提出一些回顾性分析编程抽象的演变，来自{\​​ em程序}，{\ em对象}，{\ em actors}，{\ em components}，{\ em services}，向上对于{\ em代理}，％有一些比较软件组件和代理（和多代理系统）的比较概念，所选方法是通过在一般历史角度替换它们的方法。选择具有三个轴/尺寸的一些常见参考：{\ EM动作选择}实体之间的一个实体，{\ EM耦合灵活性}，{\ em抽象级别}。我们确实可以观察到更高的灵活性（通过诸如{\ EM Connections}）和{\ EM Connections}的{\ EM Reification}等概念）和更高级别的{\ em抽象}的概念追求。组件，服务和代理的概念具有一些共同的目标（特别是{\ EM软件模块化和重新配置性}），具有多种代理系统，提高了{\ EM自治权}和{\ EM协调}的进一步概念。特别是通过{\ em自动组织}的概念以及使用{\ EM知识}。我们希望这一分析有助于突出一些激励编程抽象进程的基本力量，因此可以为未来编程抽象的反映提供一些种子。

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

机器人系统的长期自主权隐含地需要可靠的平台，这些平台能够自然处理硬件和软件故障，行为问题或缺乏知识。基于模型的可靠平台还需要在系统开发过程中应用严格的方法，包括使用正确的构造技术来实现机器人行为。随着机器人的自治水平的提高，提供系统可靠性的提供成本也会增加。我们认为，自主机器人的可靠性可靠性可以从几种认知功能，知识处理，推理和元评估的正式模型中受益。在这里，我们为自动机器人代理的认知体系结构的生成模型提出了案例，该模型订阅了基于模型的工程和可靠性，自主计算和知识支持机器人技术的原则。

AI的蓬勃发展提示建议，AI技术应该是“以人为本”。然而，没有明确的定义，对人工人工智能或短，HCAI的含义。本文旨在通过解决HCAI的一些基础方面来改善这种情况。为此，我们介绍了术语HCAI代理商，以指配备有AI组件的任何物理或软件计算代理，并与人类交互和/或协作。本文识别参与HCAI代理的五个主要概念组件：观察，要求，行动，解释和模型。我们看到HCAI代理的概念，以及其组件和功能，作为弥合人以人为本的AI技术和非技术讨论的一种方式。在本文中，我们专注于采用在人类存在的动态环境中运行的单一代理的情况分析。

即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中，我们面临各种工程挑战，因为它以有益的方式协调所体现的系统的行为至关重要，确保他们与我们以人为本的社会价值观的兼容性，并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说，引发系统工程将来自嵌入到体现系统的温室，并确保动态联合的可信度，这种情况意识到的情境意识，意图，探索，探险，不断发展，主要是不可预测的，越来越自主的体现系统在不确定，复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战，包括可信赖的体现系统，包括强大而人为的AI，认知架构，不确定性量化，值得信赖的自融化以及持续的分析和保证。

增强业务流程管理系统（ABPMS）是一类新兴的过程感知信息系统，可利用值得信赖的AI技术。ABPMS增强了业务流程的执行，目的是使这些过程更加适应性，主动，可解释和上下文敏感。该宣言为ABPMS提供了愿景，并讨论了需要克服实现这一愿景的研究挑战。为此，我们定义了ABPM的概念，概述了ABPMS中流程的生命周期，我们讨论了ABPMS的核心特征，并提出了一系列挑战以实现具有这些特征的系统。

本文介绍了多代理系统中混合代理的开发的尴尬架构。尴尬的代理商可以实时重新配置他们的计划，以便在不断变化的环境和社会环境下与社会角色要求保持一致。拟议的混合体系结构利用面向行为的设计（BOD）来开发具有反应性计划和完善的歌剧框架的代理，以提供组织，社交和互动定义，以验证和调整代理的行为。 Opera和Bod可以共同实现代理计划的实时调整，以实现不断发展的社会角色，同时为促进各个代理商的行为变化的互动提供了透明度的额外好处。我们介绍了这种体系结构，以激发传统的符号和基于行为的AI社区之间的桥接，在该社区中，这种合并的解决方案可以帮助MAS研究人员追求建立更强大，更强大的智能代理团队。我们使用DOTA2，这是一种成功取决于社交互动的游戏，作为证明我们提出的混合体系结构的示例实现的媒介。

本文介绍了逻辑代理的运行时间自检的全面框架，通过时间公理进行动态检查。通过使用定义为此目的的代理导向的间隔时间逻辑来指定这些公理。我们为此新逻辑定义了语法，语义和语用，专门针对代理的应用程序定制。在由此产生的框架中，我们包括并扩展过去的工作。

最近的自主代理和机器人的应用，如自动驾驶汽车，情景的培训师，勘探机器人和服务机器人带来了关注与当前生成人工智能（AI）系统相关的至关重要的信任相关挑战。尽管取得了巨大的成功，基于连接主义深度学习神经网络方法的神经网络方法缺乏解释他们对他人的决策和行动的能力。没有符号解释能力，它们是黑色盒子，这使得他们的决定或行动不透明，这使得难以信任它们在安全关键的应用中。最近对AI系统解释性的立场目睹了可解释的人工智能（XAI）的几种方法;然而，大多数研究都专注于应用于计算科学中的数据驱动的XAI系统。解决越来越普遍的目标驱动器和机器人的研究仍然缺失。本文评论了可解释的目标驱动智能代理和机器人的方法，重点是解释和沟通代理人感知功能的技术（示例，感官和愿景）和认知推理（例如，信仰，欲望，意图，计划和目标）循环中的人类。审查强调了强调透明度，可辨与和持续学习以获得解释性的关键策略。最后，本文提出了解释性的要求，并提出了用于实现有效目标驱动可解释的代理和机器人的路线图。

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

The concept of intelligent system has emerged in information technology as a type of system derived from successful applications of artificial intelligence. The goal of this paper is to give a general description of an intelligent system, which integrates previous approaches and takes into account recent advances in artificial intelligence. The paper describes an intelligent system in a generic way, identifying its main properties and functional components. The presented description follows a pragmatic approach to be used in an engineering context as a general framework to analyze and build intelligent systems. Its generality and its use is illustrated with real-world system examples and related with artificial intelligence methods.

作为工业机器人的一般趋势，正在开发或重新设计的安全功能越来越多的安全功能，而不是通过安全继电器或互锁电路等物理硬件处理。这一趋势强化了补充基于传统，基于输入的测试和质量手术的重要性，这些测试和质量程序在今天广泛应用于行业，具有正式的验证和模型检查方法。为此，本文侧重于ABB工业涂料机器人中的代表性安全关键系统，即高压静电控制系统（HVC）。 HVC产生的高压的实际收敛性，对于安全操作必不可少，使用新颖的和一般共同验证框架正式验证，其中硬件和软件模型通过平台映射相关。这种方法使得具有高度多样化和专业的工具的务实组合。本文的主要贡献包括有关如何在工具之间传输硬件抽象和验证结果的详细信息，以便验证系统级安全性。值得注意的是，本文中考虑的HVC应用程序具有相当通用的反馈控制器形式。因此，这里报告的共同验证框架和经验对跟踪设定值引用的任何网络物理系统也非常相关。

机器人操作系统（ROS）是用于构建机器人系统的广泛使用的框架。它提供了各种可重复使用的软件包和新开发项目的模式。开发人员如何将这些元素结合在一起，并将它们与自主行为的决策集成在一起。总体上最有价值的决策的特征是安全保证。在本研究预览中，我们提出了一种正式的方法，可以在ROS中产生安全的自主决策。我们首先描述了如何改善现有的静态验证方法，以验证多目标多代理决策。之后，我们描述了如何从改进的静态验证方法过渡到提出的运行时验证方法。该研究提案的初步实施得出了有希望的结果。

现代分布式系统受到耐故障算法的支持，例如可靠的广播和共识，即使系统的某些节点失败，也可以确保系统的正确操作。但是，分布式算法的开发是一个手动且复杂的过程，导致科学论文通常呈现单一算法或现有算法的变化。为了自动化开发此类算法的过程，这项工作提出了一种使用强化学习来生成正确且有效耐受性分布式分布式算法的智能代理。我们表明，我们的方法能够在仅12,000个学习剧集中生成正确的耐受性可靠的广播算法，而文献中的其他人则具有相同的性能。

This article presents a survey of literature in the area of Human-Robot Interaction (HRI), specifically on systems containing more than two agents (i.e., having multiple humans and/or multiple robots). We identify three core aspects of ``Multi-agent" HRI systems that are useful for understanding how these systems differ from dyadic systems and from one another. These are the Team structure, Interaction style among agents, and the system's Computational characteristics. Under these core aspects, we present five attributes of HRI systems, namely Team size, Team composition, Interaction model, Communication modalities, and Robot control. These attributes are used to characterize and distinguish one system from another. We populate resulting categories with examples from recent literature along with a brief discussion of their applications and analyze how these attributes differ from the case of dyadic human-robot systems. We summarize key observations from the current literature, and identify challenges and promising areas for future research in this domain. In order to realize the vision of robots being part of the society and interacting seamlessly with humans, there is a need to expand research on multi-human -- multi-robot systems. Not only do these systems require coordination among several agents, they also involve multi-agent and indirect interactions which are absent from dyadic HRI systems. Adding multiple agents in HRI systems requires advanced interaction schemes, behavior understanding and control methods to allow natural interactions among humans and robots. In addition, research on human behavioral understanding in mixed human-robot teams also requires more attention. This will help formulate and implement effective robot control policies in HRI systems with large numbers of heterogeneous robots and humans; a team composition reflecting many real-world scenarios.

分层多代理系统提供了分析，模型和模拟复杂系统的方便和相关的方式，这些方法由不同的抽象级别交互的大量实体组成。在本文中，我们引入了哈姆雷特（基于等级代理的机器学习平台），一个基于分层多种代理系统的混合机学习平台，促进了地理上和/或本地分布式机器学习实体的研究和民主化。所提出的系统模拟了一种机器学习解决方案，作为超图，并根据其先天的能力和学习技能自主地建立异质代理的多级结构。哈姆雷特辅助机器学习系统的设计和管理，并为研究社区提供分析功能，以通过灵活和可定制的查询评估现有和/或新算法/数据集。所提出的混合机器学习平台不承担对学习算法/数据集的类型的限制，并且理论上被证明是声音，并且具有多项式计算要求。此外，它是在120次训练和四个在24台机器学习算法和9个标准数据集上执行的四个广义批量测试任务的经验检查。提供的实验结果不仅在平台的一致性和正确性方面建立了信心，而且还证明了其测试和分析能力。

负责任的AI被广泛认为是我们时代最大的科学挑战之一，也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战，最近已经发布了许多AI伦理原则框架，AI系统应该符合这些框架。但是，没有进一步的最佳实践指导，从业者除了真实性之外没有什么。同样，在算法级别而不是系统级的算法上进行了重大努力，主要集中于数学无关的道德原则（例如隐私和公平）的一部分。然而，道德问题在开发生命周期的任何步骤中都可能发生，从而超过AI算法和模型以外的系统的许多AI，非AI和数据组件。为了从系统的角度操作负责任的AI，在本文中，我们采用了一种面向模式的方法，并根据系统的多媒体文献综述（MLR）的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上，我们专注于AI系统利益相关者可以在实践中采取的模式，以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组：多层次治理模式，可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。