确保未来变革性人工智能(TAI)或人工高智(ASI)系统的安全性存在几种不同的方法,以及不同方法的支持者对其在近期工作的重要性或有用性具有不同和辩论的索赔,以及未来的系统。高度可靠的代理设计(HRAD)是由机器智能研究所等领域的最具争议和雄心勃勃的方法之一,其中包括各种论点以及如何减少未来AI系统的风险。为了减少关于AI安全的辩论中的困惑,在这里,我们在米饭上建立了以前的讨论,该米饭收集并提出了四个中央论点,这些论点用于证明HRAD作为AI系统安全的路径。我们签下了争论(1)附带效用,(2)碎片灌注,(3)精确规范,(4)预测。这些中的每一个都具有不同的,部分冲突的索赔关于未来AI系统可能是风险的。我们已经根据发布和非正式文献的审查,并与对该主题职位的专家进行磋商,解释了假设和索赔。最后,我们简要概述了针对每种方法和整体议程的论据。
translated by 谷歌翻译
如果未来的AI系统在新的情况下是可靠的安全性,那么他们将需要纳入指导它们的一般原则,以便强烈地认识到哪些结果和行为将是有害的。这样的原则可能需要得到约束力的监管制度的支持,该法规需要广泛接受的基本原则。它们还应该足够具体用于技术实施。本文从法律中汲取灵感,解释了负面的人权如何履行此类原则的作用,并为国际监管制度以及为未来的AI系统建立技术安全限制的基础。
translated by 谷歌翻译
There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.
translated by 谷歌翻译
人工智能(AI)有可能极大地改善社会,但是与任何强大的技术一样,它的风险和责任也增加。当前的AI研究缺乏有关如何管理AI系统(包括投机性长期风险)的长尾风险的系统讨论。请记住,AI可能是提高人类的长期潜力不可或缺的一部分,人们担心建立更聪明,更强大的AI系统最终可能会导致比我们更强大的系统。有人说这就像玩火,并推测这可能会造成生存风险(X风险)。为了增加这些讨论,我们回顾了来自危害分析和系统安全的时间测试概念的集合,这些概念旨在将大型流程引导到更安全的方向上。然后,我们讨论AI研究人员如何对AI系统的安全产生长期影响。最后,我们讨论如何稳健地塑造将影响安全和一般能力之间平衡的过程。
translated by 谷歌翻译
在接下来的几十年中,人工通用情报(AGI)可能会超过人类在各种重要任务下的能力。该报告为为什么如果没有实质性采取行动来阻止它,AGI可能会利用他们的智能来追求目标,而这些目标是从人类的角度出发,可能会带来潜在的灾难性后果。该报告旨在涵盖激励对对齐问题的关注的关键论点,以尽可能简洁,具体和技术上的方式进行对齐问题。我认为,现实的培训过程可能会导致AGIS中未对准的目标,尤其是因为通过强化学习训练的神经网络将学会计划实现一系列目标;通过欺骗性追求未对准的目标获得更多奖励;并以破坏服从的方式概括。就像Cotra(2022)的较早报告中一样,我在参考说明性AGI培训过程中解释了我的主张,然后概述了解决问题的不同方面的可能的研究方向。
translated by 谷歌翻译
随着AI的进展继续前进,重要的是要知道高级系统将如何做出选择以及以什么方式失败。机器已经可以在某些领域中超越人类,并了解如何安全地构建可能在人类层面上具有或高于人类水平的能力的人特别关注。人们可能会怀疑,人为智能(AGI)和人为的超智能(ASI)系统应被建模为人类无法可靠地超越人类的东西。作为对这一假设的挑战,本文提出了阿喀琉斯高跟假说,该假设指出,即使是潜在的超级智能系统,也可能具有稳定的决策理论妄想,这会导致他们在对抗环境中做出明显的非理性决策。在对决策理论文献中相关困境和悖论的调查中,以此假设的背景讨论了许多潜在的致命弱点。为了理解这些弱点可能被植入系统的方式,做出了一些新颖的贡献。
translated by 谷歌翻译
保证案件旨在为其最高主张的真理提供合理的信心,这通常涉及安全或保障。那么一个自然的问题是,案件提供了“多少”信心?我们认为,置信度不能简化为单个属性或测量。取而代之的是,我们建议它应该基于以三种不同观点的属性为基础:正面,消极和残留疑问。积极的观点考虑了该案件的证据和总体论点结合起来的程度,以表明其主张的信念是正当的。我们为理由设置了一个高标准,要求它是不可行的。对此的主要积极度量是健全性,它将论点解释为逻辑证明。对证据的信心可以概率地表达,我们使用确认措施来确保证据的“权重”跨越了一定的阈值。此外,可以通过使用概率逻辑的参数步骤从证据中汇总概率,以产生我们所谓的索赔概率估值。负面观点记录了对案件的怀疑和挑战,通常表示为叛逆者及其探索和解决。保证开发商必须防止确认偏见,并应在制定案件时大力探索潜在的叛逆者,并应记录下来及其解决方案,以避免返工并帮助审阅者。残留疑问:世界不确定,因此并非所有潜在的叛逆者都可以解决。我们探索风险,可能认为它们是可以接受或不可避免的。但是,至关重要的是,这些判断是有意识的判断,并且在保证案例中记录下来。本报告详细介绍了这些观点,并指示了我们的保证2.0的原型工具集如何协助他们的评估。
translated by 谷歌翻译
人工智能(AI)的价值分配问题询问我们如何确保人造系统的“价值”(即,客观函数)与人类的价值一致。在本文中,我认为语言交流(自然语言)是稳健价值对齐的必要条件。我讨论了这一主张的真相对试图确保AI系统价值一致的研究计划所带来的后果;或者,更谨慎地设计强大的有益或道德人造代理。
translated by 谷歌翻译
我们分析了学习型号(如神经网络)本身是优化器时发生的学习优化的类型 - 我们将作为MESA优化的情况,我们在本文中介绍的新闻。我们认为,MESA优化的可能性为先进机器学习系统的安全和透明度提出了两个重要问题。首先,在什么情况下学习模型是优化的,包括当他们不应该?其次,当学习模型是优化器时,它的目标是什么 - 它将如何与损失函数不同,它训练的损失 - 并且如何对齐?在本文中,我们对这两个主要问题进行了深入的分析,并提供了未来研究的主题概述。
translated by 谷歌翻译
This volume contains revised versions of the papers selected for the third volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI.
translated by 谷歌翻译
We are currently unable to specify human goals and societal values in a way that reliably directs AI behavior. Law-making and legal interpretation form a computational engine that converts opaque human values into legible directives. "Law Informs Code" is the research agenda capturing complex computational legal processes, and embedding them in AI. Similar to how parties to a legal contract cannot foresee every potential contingency of their future relationship, and legislators cannot predict all the circumstances under which their proposed bills will be applied, we cannot ex ante specify rules that provably direct good AI behavior. Legal theory and practice have developed arrays of tools to address these specification problems. For instance, legal standards allow humans to develop shared understandings and adapt them to novel situations. In contrast to more prosaic uses of the law (e.g., as a deterrent of bad behavior through the threat of sanction), leveraged as an expression of how humans communicate their goals, and what society values, Law Informs Code. We describe how data generated by legal processes (methods of law-making, statutory interpretation, contract drafting, applications of legal standards, legal reasoning, etc.) can facilitate the robust specification of inherently vague human goals. This increases human-AI alignment and the local usefulness of AI. Toward society-AI alignment, we present a framework for understanding law as the applied philosophy of multi-agent alignment. Although law is partly a reflection of historically contingent political power - and thus not a perfect aggregation of citizen preferences - if properly parsed, its distillation offers the most legitimate computational comprehension of societal values available. If law eventually informs powerful AI, engaging in the deliberative political process to improve law takes on even more meaning.
translated by 谷歌翻译
不可能的定理表明,如权利要求中所述,不能解决特定问题或一组问题。这些定理对人工智能有可能进行限制,特别是超级智能人员。因此,这些结果担任AI安全,AI政策和治理研究人员的指导方针,提醒和警告。这些可能在规范满足框架内的形式使某些长期问题的解决方案能够在不致力于一种选择的情况下进行规范化理论。在本文中,我们对AI领域的不盘定定理分为五类:扣除,欺诈性,归纳,权衡和难治性。我们发现某些定理太具体或具有限制应用的隐含假设。此外,我们为释放性的不公平添加了新的结果(定理),归纳类别中的第一个解释性相关结果。我们得出结论,扣除减免否认100%的保安。最后,我们给出了一些思想,以持有可解释性,可控性,价值对准,道德和团体决策的潜力。他们可以通过进一步调查来加深。
translated by 谷歌翻译
大规模的语言技术越来越多地用于与人类在不同情况下的各种形式的交流中。这些技术的一种特殊用例是对话剂,它会根据提示和查询输出自然语言文本。这种参与方式提出了许多社会和道德问题。例如,将对话剂与人类规范或价值观相结合意味着什么?它们应该与哪些规范或价值观保持一致?如何实现这一目标?在本文中,我们提出了许多步骤来帮助回答这些问题。我们首先要对对话代理人和人类对话者之间语言交流的基础进行哲学分析。然后,我们使用此分析来识别和制定理想的对话规范,这些规范可以控制人类与对话代理之间的成功语言交流。此外,我们探讨了如何使用这些规范来使对话剂与在一系列不同的话语领域中的人类价值相结合。最后,我们讨论了我们对与这些规范和价值观一致的对话代理设计的建议的实际含义。
translated by 谷歌翻译
The increasing capabilities of artificial intelligence (AI) systems make it ever more important that we interpret their internals to ensure that their intentions are aligned with human values. Yet there is reason to believe that misaligned artificial intelligence will have a convergent instrumental incentive to make its thoughts difficult for us to interpret. In this article, I discuss many ways that a capable AI might circumvent scalable interpretability methods and suggest a framework for thinking about these potential future risks.
translated by 谷歌翻译
We argue that the attempt to build morality into machines is subject to what we call the Interpretation problem, whereby any rule we give the machine is open to infinite interpretation in ways that we might morally disapprove of, and that the interpretation problem in Artificial Intelligence is an illustration of Wittgenstein's general claim that no rule can contain the criteria for its own application. Using games as an example, we attempt to define the structure of normative spaces and argue that any rule-following within a normative space is guided by values that are external to that space and which cannot themselves be represented as rules. In light of this problem, we analyse the types of mistakes an artificial moral agent could make and we make suggestions about how to build morality into machines by getting them to interpret the rules we give in accordance with these external values, through explicit moral reasoning and the presence of structured values, the adjustment of causal power assigned to the agent and interaction with human agents, such that the machine develops a virtuous character and the impact of the interpretation problem is minimised.
translated by 谷歌翻译
我们认为,被认为是成功执行任务的处置的情报是由代理及其上下文组成的系统的属性。这是扩展智力的论点。我们认为,如果允许其上下文变化,通常不会保留代理的性能。因此,这种处置不是由代理人独自拥有的,而是由由代理及其上下文组成的系统所拥有的,我们将其配置为具有代理的代理。代理商的背景可能包括环境,其他代理,文化文物(例如语言,技术)或所有这些,就像人类和人工智能系统以及许多非人类动物一样。根据扩展情报的论点,我们认为智能是上下文结合的,任务局部和不可限制的代理商。我们的论文对在心理学和人工智能的背景下如何分析智力具有很大的影响。
translated by 谷歌翻译
Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.
translated by 谷歌翻译
即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中,我们面临各种工程挑战,因为它以有益的方式协调所体现的系统的行为至关重要,确保他们与我们以人为本的社会价值观的兼容性,并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说,引发系统工程将来自嵌入到体现系统的温室,并确保动态联合的可信度,这种情况意识到的情境意识,意图,探索,探险,不断发展,主要是不可预测的,越来越自主的体现系统在不确定,复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战,包括可信赖的体现系统,包括强大而人为的AI,认知架构,不确定性量化,值得信赖的自融化以及持续的分析和保证。
translated by 谷歌翻译
在流行媒体中,人造代理商的意识出现与同时实现人类或超人水平智力的那些相同的代理之间通常存在联系。在这项工作中,我们探讨了意识和智力之间这种看似直观的联系的有效性和潜在应用。我们通过研究与三种当代意识功能理论相关的认知能力:全球工作空间理论(GWT),信息生成理论(IGT)和注意力模式理论(AST)。我们发现,这三种理论都将有意识的功能专门与人类领域将军智力的某些方面联系起来。有了这个见解,我们转向人工智能领域(AI),发现尽管远未证明一般智能,但许多最先进的深度学习方法已经开始纳入三个功能的关键方面理论。确定了这一趋势后,我们以人类心理时间旅行的激励例子来提出方式,其中三种理论中每种理论的见解都可以合并为一个单一的统一和可实施的模型。鉴于三种功能理论中的每一种都可以通过认知能力来实现这一可能,因此,具有精神时间旅行的人造代理不仅具有比当前方法更大的一般智力,而且还与我们当前对意识功能作用的理解更加一致在人类中,这使其成为AI研究的有希望的近期目标。
translated by 谷歌翻译
随着AI系统变得更加强大,普遍存在,越来越多的辩论,关于保持他们的行为与人类更广泛的目标和需求保持一致。这种多学科和多利益相关者辩论必须解决许多问题,在这里我们检查了三个。第一个问题是澄清所需的利益相关者可能有利于AI系统的设计者,因为该技术存在实现它们。我们通过使用认知架构的框架使得这种技术主题更可访问。第二个问题是超越分析框架,将有用智能视为奖励最大化。为了支持这一移动,我们定义了几个AI认知架构,将奖励最大化与旨在改善对齐的其他技术元素组合。第三个问题是利益攸关方应如何校准与现代机器学习研究人员的互动。我们考虑机器学习中的时尚如何创造一个叙事的拉动,即技术和政策讨论的参与者应该意识到,因此他们可以弥补它。我们识别几种技术上易行但目前不合时宜的选择,以改善AI对齐。
translated by 谷歌翻译