在理想的世界中,部署的机器学习模式将增强我们的社会。我们希望这些模型能够提供对每个人受益的无偏见和道德决策。然而,这并非总是如此;问题从数据策核流程到模型的部署时出现。继续使用偏见的数据集和流程将对社区产生不利影响并提高成本来解决问题。在这项工作中,我们通过决策过程,研究人员需要在他们的项目之前,期间和之后考虑研究和社区的更广泛影响。在本文中,我们遵守部署AI往往被忽视的关键决策,争论使用公平取证来发现系统中的偏见和公平问题,请断言负责任的人类循环将问责部署的系统,最后,反思了探索具有有害社会影响的研究议程的必要性。我们检查视觉隐私研究,并绘制可以广泛应用于人工智能的课程。我们的目标是提供对机器学习管道的系统分析,以获得视觉隐私和偏见问题。通过这个管道,我们希望培养利益相关者(例如,研究人员,建模者,公司)意识,因为这些问题在各种机器学习阶段传播。
translated by 谷歌翻译
机器学习显着增强了机器人的能力,使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性,以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务,了解这种偏见的影响至关重要,以防止对某些人群的意外行为。在这项工作中,我们从跨学科的角度进行了关于机器人学习公平性的首次调查,该研究跨越了技术,道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例,我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义,道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作,我们旨在为公平机器人学习中的开创性发展铺平道路。
translated by 谷歌翻译
在每日新兴科学调查和发现的世界中,跨行业的机器学习的多产推出对于熟悉ML潜力的人来说令人惊讶。这种伦理集中研究的一致性既不是对源于同一申请的偏见和不公平问题的回应而产生的。对抗算法偏差的技术的公平研究现在比以往任何时候都更加支持。大部分公平研究已经开始生产工具,即机器学习从业者可以在设计其算法时审核偏差。尽管如此,在实践中缺乏应用这些公平解决方案。该系统审查提供了已经定义的算法偏置问题的深入摘要,并提出了公平解决空间。此外,本综述提供了对溶液空间的深入崩溃,自释放以来出现的溶液空间以及机器学习从业者,公平研究人员和机构利益攸关方提出的需求的分类。这些需求已经组织并向各方组织并解决了其实施,包括公平研究人员,产生ML算法的组织以及机器学习从业者自己。这些发现可以在未来使用,以弥合从业者和公平专家之间的差距,并告知创建可用的展示展示率工具包。
translated by 谷歌翻译
Motivated by mitigating potentially harmful impacts of technologies, the AI community has formulated and accepted mathematical definitions for certain pillars of accountability: e.g. privacy, fairness, and model transparency. Yet, we argue this is fundamentally misguided because these definitions are imperfect, siloed constructions of the human values they hope to proxy, while giving the guise that those values are sufficiently embedded in our technologies. Under popularized methods, tensions arise when practitioners attempt to achieve each pillar of fairness, privacy, and transparency in isolation or simultaneously. In this position paper, we push for redirection. We argue that the AI community needs to consider all the consequences of choosing certain formulations of these pillars -- not just the technical incompatibilities, but also the effects within the context of deployment. We point towards sociotechnical research for frameworks for the latter, but push for broader efforts into implementing these in practice.
translated by 谷歌翻译
为了调节机器学习驱动的系统(ML)系统,当前的审核过程主要集中于检测有害算法偏见。尽管这些策略已被证明具有影响力,但在审计过程中涉及ML驱动系统中伦理的文档中概述的一些价值仍然不足。这种未解决的值主要处理无法轻易量化的上下文因素。在本文中,我们开发了一个基于价值的评估框架,该框架不限于偏见审计,并涵盖了算法系统的重要道德原则。我们的框架提出了值的圆形布置,并具有两个双极尺寸,这些二极管尺寸使共同的动机和潜在的紧张局势明确。为了实现这些高级原则,然后将价值分解为特定的标准及其表现形式。但是,其中一些特定于价值的标准是相互排斥的,需要协商。与仅依靠ML研究人员和从业者的意见的其他一些其他审计框架相反,我们认为有必要包括利益相关者,这些利益相关者表现出各种观点,以系统地谈判和巩固价值和标准紧张局势。为此,我们将利益相关者绘制有不同的见解需求,并为将价值表现传达给他们的量身定制手段。因此,我们通过评估框架为当前的ML审计实践做出了贡献,该实践可视化价值之间的亲密关系和紧张局势,并给出了如何对其进行操作的准则,同时向广泛的利益相关者开放评估和审议过程。
translated by 谷歌翻译
随着各种公开的AI伦理原则的共识,差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构(CSIRO)的研究人员和工程师的实践和经验,他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括:隐私保护和安全,可靠性和安全性,透明度和解释性,公平性,竞争性,责任,人以人为本的价值观和人类,社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后,提供了一系列组织响应,以支持实施高级AI道德原则。
translated by 谷歌翻译
Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.
translated by 谷歌翻译
值得信赖的人工智能(AI)已成为一个重要的话题,因为在AI系统及其创造者中的信任已经丢失。研究人员,公司和政府具有远离技术开发,部署和监督的边缘化群体的长期和痛苦的历史。结果,这些技术对小群体的有用甚至有害。我们争辩说,渴望信任的任何AI开发,部署和监测框架必须纳入女权主义,非剥削参与性设计原则和强大,外部和持续监测和测试。我们还向考虑到透明度,公平性和问责制的可靠性方面的重要性,特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金,支持和赋予Grassroots组织,如AI Queer等基层组织开始,因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此,我们分享了对AI的性别方法,进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论,提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。
translated by 谷歌翻译
Problem statement: Standardisation of AI fairness rules and benchmarks is challenging because AI fairness and other ethical requirements depend on multiple factors such as context, use case, type of the AI system, and so on. In this paper, we elaborate that the AI system is prone to biases at every stage of its lifecycle, from inception to its usage, and that all stages require due attention for mitigating AI bias. We need a standardised approach to handle AI fairness at every stage. Gap analysis: While AI fairness is a hot research topic, a holistic strategy for AI fairness is generally missing. Most researchers focus only on a few facets of AI model-building. Peer review shows excessive focus on biases in the datasets, fairness metrics, and algorithmic bias. In the process, other aspects affecting AI fairness get ignored. The solution proposed: We propose a comprehensive approach in the form of a novel seven-layer model, inspired by the Open System Interconnection (OSI) model, to standardise AI fairness handling. Despite the differences in the various aspects, most AI systems have similar model-building stages. The proposed model splits the AI system lifecycle into seven abstraction layers, each corresponding to a well-defined AI model-building or usage stage. We also provide checklists for each layer and deliberate on potential sources of bias in each layer and their mitigation methodologies. This work will facilitate layer-wise standardisation of AI fairness rules and benchmarking parameters.
translated by 谷歌翻译
自动决策算法正在越来越多地做出或协助影响人类生活的决策。这些算法中有许多处理个人数据,以预测累犯,信用风险分析,使用面部识别识别个人等等。尽管有可能提高效率和有效性,但这种算法并非固有地摆脱偏见,不透明,缺乏解释性,恶意性等。鉴于这些算法的结果对个人和社会产生了重大影响,并且在部署后开放分析和竞争,因此必须在部署前考虑此类问题。正式审核是确保算法符合适当的问责制标准的一种方式。这项工作基于对文献和专家焦点小组研究的广泛分析,为系统问责制定基于人工智能决策系统的正式审核的系统问责制定了一个统一的框架。这项工作还建议系统卡作为记分卡,展示此类审核的结果。它由56个标准组成,该标准由四乘四分之四的矩阵组织,该矩阵由重点介绍(i)数据,(ii)模型,(iii)代码,(iv)系统的行组成,以及重点介绍(a)的列,(b )评估,(c)缓解和(d)保证。拟议的系统问责制基准反映了负责系统的最新开发,可作为算法审核的清单,并为未来研究的顺序工作铺平了道路。
translated by 谷歌翻译
由于机器学习(ML)越来越影响人们和社会,因此还增加了对其潜在的不良后果的认识。为了预测,预防和减轻不良的下游后果,我们何时何地以及如何在整个ML生命周期中引入何时以及如何危害。在本文中,我们提供了一个框架,它在机器学习,跨越数据收集,开发和部署中识别七个不同的下游危害来源。在这样做时,我们的目标是促进周围这些问题的更高效和精确的沟通,以及更加直接的应用程序接地方式来减轻它们。
translated by 谷歌翻译
Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.
translated by 谷歌翻译
随着全球人口越来越多的人口驱动世界各地的快速城市化,有很大的需要蓄意审议值得生活的未来。特别是,随着现代智能城市拥抱越来越多的数据驱动的人工智能服务,值得记住技术可以促进繁荣,福祉,城市居住能力或社会正义,而是只有当它具有正确的模拟补充时(例如竭尽全力,成熟机构,负责任治理);这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明,各种技术商业模式和特征实际上可以有助于极端主义,极化,错误信息和互联网成瘾等社会问题。鉴于这些观察,解决了确保了诸如未来城市技术基岩的安全,安全和可解释性的哲学和道德问题,以为未来城市的技术基岩具有至关重要的。在全球范围内,有能够更加人性化和以人为本的技术。在本文中,我们分析和探索了在人以人为本的应用中成功部署AI的安全,鲁棒性,可解释性和道德(数据和算法)挑战的关键挑战,特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查,并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制,陷阱和未来研究方向,以及如何填补当前的空白并导致更好的解决方案。我们认为,这种严谨的分析将为域名的未来研究提供基准。
translated by 谷歌翻译
过去十年已经看到人工智能(AI)的显着进展,这导致了用于解决各种问题的算法。然而,通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求,已经提出了说明的AI(Xai)以使AI更透明,从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论,但在Xai中发现了挑战和潜在的研究方向,这些挑战和研究方向被分散。因此,本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向:(1)基于机器学习生命周期的Xai挑战和研究方向,基于机器的挑战和研究方向阶段:设计,开发和部署。我们认为,我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。
translated by 谷歌翻译
业务分析(BA)的广泛采用带来了财务收益和提高效率。但是,当BA以公正的影响为决定时,这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应,对算法公平性的新兴研究涉及算法输出,这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象,尤其是那些在历史上被边缘化的人。公平性是根据法律合规,社会责任和效用是相关的;如果不充分和系统地解决,不公平的BA系统可能会导致社会危害,也可能威胁到组织自己的生存,其竞争力和整体绩效。本文提供了有关算法公平的前瞻性,注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后,我们对公用事业关系的详细讨论进行了详细的讨论,强调经常假设这两种构造之间经常是错误的或短视的。最后,我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。
translated by 谷歌翻译
我们生活中情绪的重要性和普及性使得情感计算了一个非常重要和充满活力的工作。自动情感识别(AER)和情感分析的系统可以是巨大进展的促进者(例如,改善公共卫生和商业),而且还有巨大伤害的推动者(例如,用于抑制持不同政见者和操纵选民)。因此,情感计算社区必须积极地与其创作的道德后果搞。在本文中,我已经从AI伦理和情感认可文学中综合和组织信息,以提出与AER相关的五十个道德考虑因素。值得注意的是,纸张捏出了隐藏在如何框架的假设,并且在经常对数据,方法和评估的选择中的选择。特别关注在隐私和社会群体上的AER对AER的影响。沿途,关键建议是针对负责任的航空制作的。纸张的目标是促进和鼓励更加思考为什么自动化,如何自动化,以及如何在建立AER系统之前判断成功。此外,该纸张作为情感认可的有用介绍文件(补充调查文章)。
translated by 谷歌翻译
在过去的几年中,涉及AI驱动警察工作的歧视性做法一直引起了很多争议,Compas,Predpol和Shotspotter等算法被指控不公平地影响少数群体。同时,机器学习中的公平性,尤其是计算机视觉的问题,已经成为越来越多的学术工作的主题。在本文中,我们研究了这些区域如何相交。我们提供有关这些实践如何存在的信息以及减轻它们的困难。然后,我们检查目前正在开发的三个应用程序,以了解它们对公平性构成的风险以及如何减轻这些风险。
translated by 谷歌翻译
Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.
translated by 谷歌翻译
近年来,关于机器学习,AI伦理和算法审核的公平性的讨论增加了。许多实体已经开发了框架指南,以建立公平和问责制的基线标题。但是,尽管讨论增加了,但在实践中仍然很难执行算法和数据审核。许多开源审核工具都可以使用,但是用户并不总是知道这些工具,它们对它们有用或如何访问它们。模型审核和评估并不经常强调机器学习的技能。也有法律原因积极采用这些工具,这些工具超出了对机器学习中更公平的渴望。在我们高度联系的全球社会中,有积极的公众感知和善意问题。对这些工具的更高认识以及积极利用它们的原因可能对AI和机器学习产品的程序员,数据科学家,工程师,研究人员,用户和消费者的整个连续性有所帮助。对于每个人来说,重要的是要更好地了解输入和输出差异,它们的发生方式以及可以在机器和深度学习中促进命运(公平,问责制,透明和道德)的能力。自由访问开源审计工具的能力消除了在机器学习的最基本水平上公平评估的障碍。本文旨在强化迫切需要实际使用这些工具,并为此提供动力。本文突出显示的示例性工具是带有软件或代码碱存储库的开源工具,可立即在全球任何人使用。
translated by 谷歌翻译
人类服务系统做出关键决策,影响社会中的个人。美国儿童福利系统做出了这样的决定,从筛查热线报告的报告报告,涉嫌虐待或忽视儿童保护性调查,使儿童接受寄养,再到将儿童返回永久家庭环境。这些对儿童生活的复杂而有影响力的决定取决于儿童福利决策者的判断。儿童福利机构一直在探索使用包括机器学习(ML)的经验,数据信息的方法来支持这些决策的方法。本文描述了ML支持儿童福利决策的概念框架。 ML框架指导儿童福利机构如何概念化ML可以解决的目标问题;兽医可用的管理数据用于构建ML;制定和开发ML规格,以反映机构正在进行的相关人群和干预措施;随着时间的流逝,部署,评估和监视ML作为儿童福利环境,政策和实践变化。道德考虑,利益相关者的参与以及避免框架的影响和成功的共同陷阱。从摘要到具体,我们描述了该框架的一种应用,以支持儿童福利决策。该ML框架虽然以儿童福利为中心,但可以推广用于解决其他公共政策问题。
translated by 谷歌翻译