Governments, industry, and academia have undertaken efforts to identify and mitigate harms in ML-driven systems, with a particular focus on social and ethical risks of ML components in complex sociotechnical systems. However, existing approaches are largely disjointed, ad-hoc and of unknown effectiveness. Systems safety engineering is a well established discipline with a track record of identifying and managing risks in many complex sociotechnical domains. We adopt the natural hypothesis that tools from this domain could serve to enhance risk analyses of ML in its context of use. To test this hypothesis, we apply a "best of breed" systems safety analysis, Systems Theoretic Process Analysis (STPA), to a specific high-consequence system with an important ML-driven component, namely the Prescription Drug Monitoring Programs (PDMPs) operated by many US States, several of which rely on an ML-derived risk score. We focus in particular on how this analysis can extend to identifying social and ethical risks and developing concrete design-level controls to mitigate them.
translated by 谷歌翻译
人类服务系统做出关键决策,影响社会中的个人。美国儿童福利系统做出了这样的决定,从筛查热线报告的报告报告,涉嫌虐待或忽视儿童保护性调查,使儿童接受寄养,再到将儿童返回永久家庭环境。这些对儿童生活的复杂而有影响力的决定取决于儿童福利决策者的判断。儿童福利机构一直在探索使用包括机器学习(ML)的经验,数据信息的方法来支持这些决策的方法。本文描述了ML支持儿童福利决策的概念框架。 ML框架指导儿童福利机构如何概念化ML可以解决的目标问题;兽医可用的管理数据用于构建ML;制定和开发ML规格,以反映机构正在进行的相关人群和干预措施;随着时间的流逝,部署,评估和监视ML作为儿童福利环境,政策和实践变化。道德考虑,利益相关者的参与以及避免框架的影响和成功的共同陷阱。从摘要到具体,我们描述了该框架的一种应用,以支持儿童福利决策。该ML框架虽然以儿童福利为中心,但可以推广用于解决其他公共政策问题。
translated by 谷歌翻译
The optimal liability framework for AI systems remains an unsolved problem across the globe. In a much-anticipated move, the European Commission advanced two proposals outlining the European approach to AI liability in September 2022: a novel AI Liability Directive and a revision of the Product Liability Directive. They constitute the final, and much-anticipated, cornerstone of AI regulation in the EU. Crucially, the liability proposals and the EU AI Act are inherently intertwined: the latter does not contain any individual rights of affected persons, and the former lack specific, substantive rules on AI development and deployment. Taken together, these acts may well trigger a Brussels effect in AI regulation, with significant consequences for the US and other countries. This paper makes three novel contributions. First, it examines in detail the Commission proposals and shows that, while making steps in the right direction, they ultimately represent a half-hearted approach: if enacted as foreseen, AI liability in the EU will primarily rest on disclosure of evidence mechanisms and a set of narrowly defined presumptions concerning fault, defectiveness and causality. Hence, second, the article suggests amendments, which are collected in an Annex at the end of the paper. Third, based on an analysis of the key risks AI poses, the final part of the paper maps out a road for the future of AI liability and regulation, in the EU and beyond. This includes: a comprehensive framework for AI liability; provisions to support innovation; an extension to non-discrimination/algorithmic fairness, as well as explainable AI; and sustainability. I propose to jump-start sustainable AI regulation via sustainability impact assessments in the AI Act and sustainable design defects in the liability regime. In this way, the law may help spur not only fair AI and XAI, but potentially also sustainable AI (SAI).
translated by 谷歌翻译
保证案件提出了一个明确且可辩护的论点,并得到证据支持,即系统将按照特定情况下的意图运行。通常,保证案例提出了一个论点,即系统在其预期的上下文中将是安全的。值得信赖的AI研究社区中的一项新兴建议是扩展和应用这种方法,以保证使用AI系统或自治系统(AI/AS)在特定情况下将是可接受的道德。在本文中,我们进一步提出了这一建议。我们通过为AI/AS提供基于原则的道德保证(PBEA)论点模式来做到这一点。 PBEA参数模式为推理给定AI/AS的整体道德可接受性提供了一个框架,它可能是特定道德保证案例的早期原型模板。构成PBEA论证模式基础的四个核心道德原则是:正义;福利;非遗憾;并尊重个人自主权。在整个过程中,我们将参数模式的阶段连接到AI/作为应用程序的示例。这有助于显示其最初的合理性。
translated by 谷歌翻译
机器学习(ML)系统的开发和部署可以用现代工具轻松执行,但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务,范围蠕变和未对准的目标,模型滥用和失败,以及昂贵的后果。另一方面,工程系统遵循明确定义的流程和测试标准,以简化高质量,可靠的结果的开发。极端是航天器系统,其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验(通过域名通过产品的研究),我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”(MLTRL)框架定义了一个原则的过程,以确保强大,可靠和负责的系统,同时为ML工作流程流线型,包括来自传统软件工程的关键区别。 MLTRL甚至更多,MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里,我们描述了通过生产化和部署在医学诊断,消费者计算机视觉,卫星图像和粒子物理学等领域,以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。
translated by 谷歌翻译
期望与成功采用AI来创新和改善业务之间仍然存在很大的差距。由于深度学习的出现,AI的采用率更为复杂,因为它经常结合大数据和物联网,从而影响数据隐私。现有的框架已经确定需要专注于以人为中心的设计,结合技术和业务/组织的观点。但是,信任仍然是一个关键问题,需要从一开始就设计。拟议的框架从以人为本的设计方法扩展,强调和维持基于该过程的信任。本文提出了负责人工智能(AI)实施的理论框架。拟议的框架强调了敏捷共同创造过程的协同业务技术方法。目的是简化AI的采用过程来通过在整个项目中参与所有利益相关者来创新和改善业务,以便AI技术的设计,开发和部署与人合作而不是孤立。该框架对基于分析文献综述,概念框架设计和从业者的中介专业知识的负责人AI实施提出了新的观点。该框架强调在以人为以人为中心的设计和敏捷发展中建立和维持信任。这种以人为中心的方式与设计原则的隐私相符和启用。该技术和最终用户的创建者正在共同努力,为业务需求和人类特征定制AI解决方案。关于采用AI来协助医院计划的说明性案例研究将证明该拟议框架适用于现实生活中的应用。
translated by 谷歌翻译
部署的AI系统通常不起作用。它们可以随意地构造,不加选择地部署并欺骗性地促进。然而,尽管有这一现实,但学者,新闻界和决策者对功能的关注很少。这导致技术和政策解决方案的重点是“道德”或价值一致的部署,通常会跳过先前的问题,即给定系统功能或完全提供任何好处。描述各种功能失败的危害,我们分析一组案例研究,以创建已知的AI功能问题的分类法。然后,我们指出的是政策和组织响应,这些策略和组织响应经常被忽略,并在功能成为重点后变得更容易获得。我们认为功能是一项有意义的AI政策挑战,是保护受影响社区免受算法伤害的必要第一步。
translated by 谷歌翻译
随着各种公开的AI伦理原则的共识,差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构(CSIRO)的研究人员和工程师的实践和经验,他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括:隐私保护和安全,可靠性和安全性,透明度和解释性,公平性,竞争性,责任,人以人为本的价值观和人类,社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后,提供了一系列组织响应,以支持实施高级AI道德原则。
translated by 谷歌翻译
Several policy options exist, or have been proposed, to further responsible artificial intelligence (AI) development and deployment. Institutions, including U.S. government agencies, states, professional societies, and private and public sector businesses, are well positioned to implement these policies. However, given limited resources, not all policies can or should be equally prioritized. We define and review nine suggested policies for furthering responsible AI, rank each policy on potential use and impact, and recommend prioritization relative to each institution type. We find that pre-deployment audits and assessments and post-deployment accountability are likely to have the highest impact but also the highest barriers to adoption. We recommend that U.S. government agencies and companies highly prioritize development of pre-deployment audits and assessments, while the U.S. national legislature should highly prioritize post-deployment accountability. We suggest that U.S. government agencies and professional societies should highly prioritize policies that support responsible AI research and that states should highly prioritize support of responsible AI education. We propose that companies can highly prioritize involving community stakeholders in development efforts and supporting diversity in AI development. We advise lower levels of prioritization across institutions for AI ethics statements and databases of AI technologies or incidents. We recognize that no one policy will lead to responsible AI and instead advocate for strategic policy implementation across institutions.
translated by 谷歌翻译
负责任的AI被广泛认为是我们时代最大的科学挑战之一,也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战,最近已经发布了许多AI伦理原则框架,AI系统应该符合这些框架。但是,没有进一步的最佳实践指导,从业者除了真实性之外没有什么。同样,在算法级别而不是系统级的算法上进行了重大努力,主要集中于数学无关的道德原则(例如隐私和公平)的一部分。然而,道德问题在开发生命周期的任何步骤中都可能发生,从而超过AI算法和模型以外的系统的许多AI,非AI和数据组件。为了从系统的角度操作负责任的AI,在本文中,我们采用了一种面向模式的方法,并根据系统的多媒体文献综述(MLR)的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上,我们专注于AI系统利益相关者可以在实践中采取的模式,以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组:多层次治理模式,可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。
translated by 谷歌翻译
为了调节机器学习驱动的系统(ML)系统,当前的审核过程主要集中于检测有害算法偏见。尽管这些策略已被证明具有影响力,但在审计过程中涉及ML驱动系统中伦理的文档中概述的一些价值仍然不足。这种未解决的值主要处理无法轻易量化的上下文因素。在本文中,我们开发了一个基于价值的评估框架,该框架不限于偏见审计,并涵盖了算法系统的重要道德原则。我们的框架提出了值的圆形布置,并具有两个双极尺寸,这些二极管尺寸使共同的动机和潜在的紧张局势明确。为了实现这些高级原则,然后将价值分解为特定的标准及其表现形式。但是,其中一些特定于价值的标准是相互排斥的,需要协商。与仅依靠ML研究人员和从业者的意见的其他一些其他审计框架相反,我们认为有必要包括利益相关者,这些利益相关者表现出各种观点,以系统地谈判和巩固价值和标准紧张局势。为此,我们将利益相关者绘制有不同的见解需求,并为将价值表现传达给他们的量身定制手段。因此,我们通过评估框架为当前的ML审计实践做出了贡献,该实践可视化价值之间的亲密关系和紧张局势,并给出了如何对其进行操作的准则,同时向广泛的利益相关者开放评估和审议过程。
translated by 谷歌翻译
人工智能(AI)治理调节行使权威和控制AI的管理。它旨在通过有效利用数据并最大程度地减少与AI相关的成本和风险来利用AI。尽管AI治理和AI伦理等主题在理论,哲学,社会和监管层面上进行了详尽的讨论,但针对公司和公司的AI治理工作有限。这项工作将AI产品视为系统,在该系统中,通过机器学习(ML)模型(培训)数据传递关键功能。我们通过在AI和相关领域(例如ML)合成文献来得出一个概念框架。我们的框架将AI治理分解为数据的治理,(ML)模型和(AI)系统沿着四个维度。它与现有的IT和数据治理框架和实践有关。它可以由从业者和学者都采用。对于从业者来说,主要是研究论文的综合,但从业者的出版物和监管机构的出版物也为实施AI治理提供了宝贵的起点,而对于学者来说,该论文强调了许多AI治理领域,值得更多关注。
translated by 谷歌翻译
人工智能(AI)继续在金融服务业中寻找更多众多,更关键的应用,引起公平和道德的AI作为一种行业范围的目标。虽然近年来,许多道德原则和准则已经出版,但他们缺乏解决建立道德AI解决方案时开发商面临的严重挑战。我们调查了围绕模型开发的实用和总体问题,从设计和实施复杂,缺乏工具,缺乏组织结构。我们展示了实际考虑如何揭示高级原则和混凝土之间的差距,部署AI应用,目的是从行业范围的对话谈论解决方案方法。
translated by 谷歌翻译
即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中,我们面临各种工程挑战,因为它以有益的方式协调所体现的系统的行为至关重要,确保他们与我们以人为本的社会价值观的兼容性,并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说,引发系统工程将来自嵌入到体现系统的温室,并确保动态联合的可信度,这种情况意识到的情境意识,意图,探索,探险,不断发展,主要是不可预测的,越来越自主的体现系统在不确定,复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战,包括可信赖的体现系统,包括强大而人为的AI,认知架构,不确定性量化,值得信赖的自融化以及持续的分析和保证。
translated by 谷歌翻译
拟议的欧洲人工智能法案(AIA)是第一次尝试详细阐述由任何主要全球经济开展的AI一般法律框架。因此,AIA可能成为如何调节AI系统(应当)的更大话语中的参考点。在本文中,我们描述并讨论了AIA中提出的两项初级执法机制:高风险AI系统的提供者预计会进行的符合性评估,以及提供者必须建立履行表现的市场后监测计划在整个寿命中的高风险AI系统。我们认为,AIA可以被解释为建立欧洲审计的欧洲生态系统的建议,尽管换句话说。我们的分析提供了两个主要贡献。首先,通过描述从现有文献借入的AI审计中借用的AIA中包含的执法机制,我们帮助AI系统的提供者了解它们如何证明在实践中遵守AIA所示的要求。其次,通过从审计视角审查AIA,我们寻求提供以前研究如何进一步改进AIA中概述的监管方法的可转让教训。我们通过突出AIA的七个方面来结束修正案(或简单澄清)会有所帮助。最重要的是,需要将模糊概念转化为可验证标准,并加强基于内部支票的符合性评估的体制保障措施。
translated by 谷歌翻译
连续的软件工程在许多领域已变得司空见惯。但是,在调节需要考虑其他问题的密集部门时,通常认为很难采用连续的开发方法,例如DevOps。在本文中,我们提出了一种将拉力请求用作设计控件的方法,并将这种方法应用于认证的医疗系统中的机器学习,这是一种新颖的技术,这是一种新颖的技术,旨在为机器学习系统增加解释性,作为监管审核跟踪。我们以前曾使用过一种工业系统来证明这种方法,以证明如何以连续的方式开发医疗系统。
translated by 谷歌翻译
机器学习(ML)技术在教育方面越来越普遍,从预测学生辍学,到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长,迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中,我们阐明了这一复杂的景观绘制,以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育(ML4ED)论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说,技术问题的提出,目标,方法和解释结果与手头的教育问题保持一致。我们发现,在ML生命周期的两个部分中存在跨学科的差距,并且尤其突出:从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期,这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究,以及对ML社会影响的批判性分析。具体而言,它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。
translated by 谷歌翻译
人工智能(AI)系统可以提供许多有益的功能,也可以提供不良事件的风险。一些AI系统可能会出现在社会规模上具有很高或灾难性后果的事件的风险。美国国家标准技术研究所(NIST)正在开发NIST人工智能风险管理框架(AI RMF),作为对AI开发人员和其他人的AI风险评估和管理的自愿指导。 NIST为了解决带有灾难性后果的事件的风险,表示有必要将高级原则转化为可操作的风险管理指导。在本文档中,我们提供了详细的可操作指示建议,旨在识别和管理具有很高或灾难性后果的事件的风险,旨在作为AI RMF版本1.0的NIST的风险管理实践资源(计划于2023年初发布),或适用于AI RMF用户或其他AI风险管理指南和标准。我们还为建议提供方法。我们为AI RMF 1.0提供了可行的指导建议:确定来自AI系统的潜在意外用途和滥用的风险;在风险评估和影响评估范围内包括灾难性风险因素;确定和减轻人权危害;并报告有关AI风险因素在内的信息,包括灾难性风险因素。此外,我们还为后来版本的AI RMF或补充出版物提供有关路线图的其他问题的建议。其中包括:提供AI RMF配置文件,并具有额外的多功能或通用AI的辅助指南。我们的目标是使这项工作成为具体的风险管理实践的贡献,并激发有关如何解决AI标准中灾难性风险和相关问题的建设性对话。
translated by 谷歌翻译
人工智能(AI)有可能极大地改善社会,但是与任何强大的技术一样,它的风险和责任也增加。当前的AI研究缺乏有关如何管理AI系统(包括投机性长期风险)的长尾风险的系统讨论。请记住,AI可能是提高人类的长期潜力不可或缺的一部分,人们担心建立更聪明,更强大的AI系统最终可能会导致比我们更强大的系统。有人说这就像玩火,并推测这可能会造成生存风险(X风险)。为了增加这些讨论,我们回顾了来自危害分析和系统安全的时间测试概念的集合,这些概念旨在将大型流程引导到更安全的方向上。然后,我们讨论AI研究人员如何对AI系统的安全产生长期影响。最后,我们讨论如何稳健地塑造将影响安全和一般能力之间平衡的过程。
translated by 谷歌翻译
如何将新兴和全面的技术(例如AI)整合到我们社会的结构和运营中是当代政治,科学和公众辩论的问题。它从不同学科中产生了大量的国际学术文献。本文分析了有关人工智能调节(AI)的学术辩论。该系统审查包括在2016年1月1日至2020年12月31日之间发表的73份同行评审期刊文章样本。分析集中于社会风险和危害,监管责任问题以及可能基于风险的政策框架在内和基于原则的方法。主要利益是拟议的监管方法和工具。提出了各种形式的干预措施,例如禁令,批准,标准设定和披露。对所包括论文的评估​​表明该领域的复杂性,这表明其早产和剩余的缺乏清晰度。通过对学术辩论进行结构性分析,我们在经验和概念上均可更好地理解AI和监管的联系以及基本规范性决策。科学建议与拟议的欧洲AI调节的比较说明了调节的特定方法,其优势和缺点。
translated by 谷歌翻译