本文描述了(r)ules(o)f(t)he(r)oad(a)dvisor,该代理提供了推荐的和可能从一组人级规则生成的动作。我们以形式和示例描述了Rotra的架构和设计。具体来说,我们使用Rotra正式化和实施英国“道路规则”,并描述如何将其纳入自动驾驶汽车中,从而可以内部推荐遵守道路规则。此外,根据《英国公路法典》(《道路规则》),规定规则是否必须采取行动,或者仅建议采取行动,以指示生成的可能的措施。利用该系统的好处包括能够适应不同司法管辖区的不同法规;允许从规则到行为的清晰可追溯性,并提供外部自动责任机制,可以检查在某些给定情况下是否遵守规则。通过具体的示例,对自动驾驶汽车的模拟显示如何通过将自动驾驶汽车放置在许多情况下,这些场景测试了汽车遵守道路规则的能力。合并该系统的自动驾驶汽车能够确保他们遵守道路和外部(法律或监管机构的规则透明工作,从而使汽车公司,司法管辖区和公众之间的信任更大。
translated by 谷歌翻译
一个自治系统由制造商构建,在患有规范和法律的社会中运营,并与最终用户进行互动。所有这些行动者都是受自治系统行为影响的利益相关者。我们解决这些利益攸关方的道德观点的挑战可以集成在自治系统的行为中。我们提出了一个道德推荐组件,我们称之为JIMINY,它使用规范系统和正式论证的技术,以达到利益攸关方之间的道德协议。 JIMINY代表了使用规范系统的每个利益相关者的道德观点,并有三种解决涉及利益攸关方意见的道德困境。首先,JIMINY认为利益相关者的论据是如何彼此相关的,这可能已经解决了困境。其次,JIMINY结合了利益攸关方的规范性系统,使利益攸关方的合并专业知识可能解决困境。第三,只有当这两种其他方法失败时,JIMINY使用上下文敏感的规则来决定哪个利益相关者优先考虑。在抽象层面,这三种方法的特点是添加参数,参数之间的攻击以及争论之间的攻击。我们展示了JIMINY不仅可以用于道德推理和协作决策,而且还用于提供关于道德行为的解释。
translated by 谷歌翻译
自动驾驶在过去十年中取得了重大的研究和发展中的重要里程碑。在道路上的自动车辆部署时,对该领域的兴趣越来越令人兴趣,承诺更安全,更生态的运输系统。随着计算强大的人工智能(AI)技术的兴起,自动车辆可以用高精度感测它们的环境,进行安全的实时决策,并在没有人类干预的情况下更可靠地运行。然而,在现有技术中,人类智能决策通常不可能理解,这种缺陷阻碍了这种技术在社会上可接受。因此,除了制造安全的实时决策之外,自治车辆的AI系统还需要解释如何构建这些决策,以便在许多司法管辖区兼容监管。我们的研究在开发可解释的人工智能(XAI)的自治车辆方法上阐明了全面的光芒。特别是,我们做出以下贡献。首先,我们在最先进的自主车辆行业的解释方面彻底概述了目前的差距。然后,我们显示了该领域的解释和解释接收器的分类。第三,我们为端到端自主驾驶系统的架构提出了一个框架,并证明了Xai在调试和调节这些系统中的作用。最后,作为未来的研究方向,我们提供了XAI自主驾驶方法的实地指南,可以提高运营安全性和透明度,以实现监管机构,制造商和所有参与利益相关者的公共批准。
translated by 谷歌翻译
随着自主系统成为我们日常生活的一部分,确保其信任度至关重要。有许多用于证明可信赖性的技术。所有这些技术的共同点是需要阐明规格。在本文中,我们对规格进行了广泛的看法,专注于顶级要求,包括但不限于功能,安全性,安全性和其他非功能性属性。本文的主要贡献是对于与指定可信度相关的自主系统社区的一系列高级智力挑战。我们还描述了有关自主系统的许多应用程序域的独特规范挑战。
translated by 谷歌翻译
汽车行业在过去几十年中见证了越来越多的发展程度;从制造手动操作车辆到具有高自动化水平的制造车辆。随着近期人工智能(AI)的发展,汽车公司现在雇用BlackBox AI模型来使车辆能够感知其环境,并使人类少或没有输入的驾驶决策。希望能够在商业规模上部署自治车辆(AV),通过社会接受AV成为至关重要的,并且可能在很大程度上取决于其透明度,可信度和遵守法规的程度。通过为AVS行为的解释提供对这些接受要求的遵守对这些验收要求的评估。因此,解释性被视为AVS的重要要求。 AV应该能够解释他们在他们运作的环境中的“见到”。在本文中,我们对可解释的自动驾驶的现有工作体系进行了全面的调查。首先,我们通过突出显示并强调透明度,问责制和信任的重要性来开放一个解释的动机;并审查与AVS相关的现有法规和标准。其次,我们识别并分类了参与发展,使用和监管的不同利益相关者,并引出了AV的解释要求。第三,我们对以前的工作进行了严格的审查,以解释不同的AV操作(即,感知,本地化,规划,控制和系统管理)。最后,我们确定了相关的挑战并提供建议,例如AV可解释性的概念框架。该调查旨在提供对AVS中解释性感兴趣的研究人员所需的基本知识。
translated by 谷歌翻译
即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中,我们面临各种工程挑战,因为它以有益的方式协调所体现的系统的行为至关重要,确保他们与我们以人为本的社会价值观的兼容性,并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说,引发系统工程将来自嵌入到体现系统的温室,并确保动态联合的可信度,这种情况意识到的情境意识,意图,探索,探险,不断发展,主要是不可预测的,越来越自主的体现系统在不确定,复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战,包括可信赖的体现系统,包括强大而人为的AI,认知架构,不确定性量化,值得信赖的自融化以及持续的分析和保证。
translated by 谷歌翻译
如果未来的AI系统在新的情况下是可靠的安全性,那么他们将需要纳入指导它们的一般原则,以便强烈地认识到哪些结果和行为将是有害的。这样的原则可能需要得到约束力的监管制度的支持,该法规需要广泛接受的基本原则。它们还应该足够具体用于技术实施。本文从法律中汲取灵感,解释了负面的人权如何履行此类原则的作用,并为国际监管制度以及为未来的AI系统建立技术安全限制的基础。
translated by 谷歌翻译
The optimal liability framework for AI systems remains an unsolved problem across the globe. In a much-anticipated move, the European Commission advanced two proposals outlining the European approach to AI liability in September 2022: a novel AI Liability Directive and a revision of the Product Liability Directive. They constitute the final, and much-anticipated, cornerstone of AI regulation in the EU. Crucially, the liability proposals and the EU AI Act are inherently intertwined: the latter does not contain any individual rights of affected persons, and the former lack specific, substantive rules on AI development and deployment. Taken together, these acts may well trigger a Brussels effect in AI regulation, with significant consequences for the US and other countries. This paper makes three novel contributions. First, it examines in detail the Commission proposals and shows that, while making steps in the right direction, they ultimately represent a half-hearted approach: if enacted as foreseen, AI liability in the EU will primarily rest on disclosure of evidence mechanisms and a set of narrowly defined presumptions concerning fault, defectiveness and causality. Hence, second, the article suggests amendments, which are collected in an Annex at the end of the paper. Third, based on an analysis of the key risks AI poses, the final part of the paper maps out a road for the future of AI liability and regulation, in the EU and beyond. This includes: a comprehensive framework for AI liability; provisions to support innovation; an extension to non-discrimination/algorithmic fairness, as well as explainable AI; and sustainability. I propose to jump-start sustainable AI regulation via sustainability impact assessments in the AI Act and sustainable design defects in the liability regime. In this way, the law may help spur not only fair AI and XAI, but potentially also sustainable AI (SAI).
translated by 谷歌翻译
We are currently unable to specify human goals and societal values in a way that reliably directs AI behavior. Law-making and legal interpretation form a computational engine that converts opaque human values into legible directives. "Law Informs Code" is the research agenda capturing complex computational legal processes, and embedding them in AI. Similar to how parties to a legal contract cannot foresee every potential contingency of their future relationship, and legislators cannot predict all the circumstances under which their proposed bills will be applied, we cannot ex ante specify rules that provably direct good AI behavior. Legal theory and practice have developed arrays of tools to address these specification problems. For instance, legal standards allow humans to develop shared understandings and adapt them to novel situations. In contrast to more prosaic uses of the law (e.g., as a deterrent of bad behavior through the threat of sanction), leveraged as an expression of how humans communicate their goals, and what society values, Law Informs Code. We describe how data generated by legal processes (methods of law-making, statutory interpretation, contract drafting, applications of legal standards, legal reasoning, etc.) can facilitate the robust specification of inherently vague human goals. This increases human-AI alignment and the local usefulness of AI. Toward society-AI alignment, we present a framework for understanding law as the applied philosophy of multi-agent alignment. Although law is partly a reflection of historically contingent political power - and thus not a perfect aggregation of citizen preferences - if properly parsed, its distillation offers the most legitimate computational comprehension of societal values available. If law eventually informs powerful AI, engaging in the deliberative political process to improve law takes on even more meaning.
translated by 谷歌翻译
There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.
translated by 谷歌翻译
知识表示和推理有悠久的历史,即研究如何通过机器对知识进行形式化,解释和语义分析。在自动化车辆领域,最近的进步表明,能够将相关知识形式化和利用相关知识作为处理交通界固有且复杂的环境的关键推动者。本文证明了本体论是a)对自动车辆环境中与关键相关的因素进行建模和形式化的强大工具。为此,我们利用著名的6层模型来创建环境环境的形式表示。在此表示形式中,本体论将域知识模型为逻辑公理,从而促进交通场景和场景中的关键因素的存在。为了执行自动分析,将联合描述逻辑和规则推理器与A-Priori谓词增强结合使用。我们详细介绍了模块化方法,提出了公开可用的实施,并通过大规模的无人机数据集评估了该方法的城市交通情况。
translated by 谷歌翻译
The concept of intelligent system has emerged in information technology as a type of system derived from successful applications of artificial intelligence. The goal of this paper is to give a general description of an intelligent system, which integrates previous approaches and takes into account recent advances in artificial intelligence. The paper describes an intelligent system in a generic way, identifying its main properties and functional components. The presented description follows a pragmatic approach to be used in an engineering context as a general framework to analyze and build intelligent systems. Its generality and its use is illustrated with real-world system examples and related with artificial intelligence methods.
translated by 谷歌翻译
背景信息:在过去几年中,机器学习(ML)一直是许多创新的核心。然而,包括在所谓的“安全关键”系统中,例如汽车或航空的系统已经被证明是非常具有挑战性的,因为ML的范式转变为ML带来完全改变传统认证方法。目的:本文旨在阐明与ML为基础的安全关键系统认证有关的挑战,以及文献中提出的解决方案,以解决它们,回答问题的问题如何证明基于机器学习的安全关键系统?'方法:我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述(SLR),涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题,被认为是ML认证的主要支柱:鲁棒性,不确定性,解释性,验证,安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题,并提取了提取的论文的总结。结果:单反结果突出了社区对该主题的热情,以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系,以加深域名研究。最后,它还说明了必须在上面提到的主要支柱之间建立连接的必要性,这些主要柱主要主要研究。结论:我们强调了目前部署的努力,以实现ML基于ML的软件系统,并讨论了一些未来的研究方向。
translated by 谷歌翻译
我们引入了责任感敏感安全性(RSS)的目标延长,这是一种基于规则的自动驾驶系统安全保证(ADS)的方法。制定RSS规则保证目标实现 - 除了原始RSS中的避免碰撞外,还需要进行长时间的操纵序列的复杂计划。为了应对复杂性,我们基于程序逻辑引入了一个构图推理框架,其中可以系统地为较小的子赛车制定RSS规则,并将它们组合起来以获取用于较大场景的RSS规则。作为框架的基础,我们介绍了一个程序逻辑DFHL,可满足连续的动态和安全条件。我们的框架介绍了基于DFHL的工作流程,用于导出目标感知RSS规则;我们也讨论其软件支持。我们在安全体系结构中使用RSS规则进行了实验评估。它的结果表明,目标感知RSS确实有效地实现了避免碰撞和目标实现目标。
translated by 谷歌翻译
这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面,并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献,即计算机视觉,深度学习,自动驾驶,可解释的AI(X-AI),这项调查可以解决几点。首先,它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义,上下文和动机,以及该应用程序特定的挑战。其次,以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三,详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后,确定并检查了剩余的开放挑战和潜在的未来研究方向。
translated by 谷歌翻译
This volume contains revised versions of the papers selected for the third volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI.
translated by 谷歌翻译
在这一荟萃术中,我们探索了道德人工智能(AI)设计实施的三个不同角度,包括哲学伦理观点,技术观点和通过政治镜头进行框架。我们的定性研究包括一篇文献综述,该综述通过讨论前面发表的对比度上下,自下而上和混合方法的价值和缺点,突出了这些角度的交叉引用。对该框架的小说贡献是政治角度,该角度构成了人工智能中的道德规范,要么由公司和政府决定,并通过政策或法律(来自顶部)强加于人,或者是人民要求的道德(从底部出现) ,以及自上而下,自下而上和混合技术,即AI在道德构造和考虑到其用户中的发展方式以及对世界的预期和意外后果和长期影响。作为自下而上的应用技术方法和AI伦理原则作为一种实际的自上而下方法,重点是强化学习。这项调查包括现实世界中的案例研究,以基于历史事实,当前的世界环境以及随之而来的现实,就AI的伦理和理论未来的思想实验进行了有关AI伦理和理论未来思想实验的哲学辩论。
translated by 谷歌翻译
自动驾驶汽车的一个主要挑战是安全,平稳地与其他交通参与者进行互动。处理此类交通交互的一种有希望的方法是为自动驾驶汽车配备与感知的控制器(IACS)。这些控制器预测,周围人类驾驶员将如何根据驾驶员模型对自动驾驶汽车的行为做出响应。但是,很少验证IACS中使用的驱动程序模型的预测有效性,这可能会限制IACS在简单的模拟环境之外的交互功能。在本文中,我们认为,除了评估IAC的互动能力外,还应在自然的人类驾驶行为上验证其潜在的驱动器模型。我们为此验证提出了一个工作流程,其中包括基于方案的数据提取和基于人为因素文献的两阶段(战术/操作)评估程序。我们在一项案例研究中证明了该工作流程,该案例研究对现有IAC复制的基于反向的基于学习的驱动程序模型。该模型仅在40%的预测中显示出正确的战术行为。该模型的操作行为与观察到的人类行为不一致。案例研究表明,有原则的评估工作流程是有用和需要的。我们认为,我们的工作流将支持为将来的自动化车辆开发适当的驾驶员模型。
translated by 谷歌翻译
事实证明,在学习环境中,社会智能代理(SIA)的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验,但是,另一方面,这是有代价的,因为该方案及其创作的复杂性可能变得霸道。在本文中,我们介绍了可解释的社会代理创作工具的概念,目的是分析社会代理的创作工具是否可以理解和解释。为此,我们检查了创作工具Fatima-Toolkit是否可以理解,并且从作者的角度来看,其创作步骤可以解释。我们进行了两项用户研究,以定量评估Fatima-Toolkit的解释性,可理解性和透明度,从场景设计师的角度来看。关键发现之一是,法蒂玛 - 库尔基特(Fatima-Toolkit)的概念模型通常是可以理解的,但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面,但仍需要取得进展,以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案,可以指导开发人员构建此类工具。
translated by 谷歌翻译
We argue that the attempt to build morality into machines is subject to what we call the Interpretation problem, whereby any rule we give the machine is open to infinite interpretation in ways that we might morally disapprove of, and that the interpretation problem in Artificial Intelligence is an illustration of Wittgenstein's general claim that no rule can contain the criteria for its own application. Using games as an example, we attempt to define the structure of normative spaces and argue that any rule-following within a normative space is guided by values that are external to that space and which cannot themselves be represented as rules. In light of this problem, we analyse the types of mistakes an artificial moral agent could make and we make suggestions about how to build morality into machines by getting them to interpret the rules we give in accordance with these external values, through explicit moral reasoning and the presence of structured values, the adjustment of causal power assigned to the agent and interaction with human agents, such that the machine develops a virtuous character and the impact of the interpretation problem is minimised.
translated by 谷歌翻译