随着人工智能的兴起，算法已经变得更好地从培训数据中学习基本模式，包括基于性别，种族等基于性别的社会偏见。部署此类算法对招聘，医疗保健，执法等领域的部署已经提高了严重的领域。对机器学习算法中的公平，问责制，信任和解释性的关注。为了减轻这个问题，我们提出了D-Bias，这是一种视觉交互式工具，它体现了人类在循环AI方法，以审核和减轻表格数据集的社交偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系，并作为注入域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平指标来检测对群体（例如女性或亚组）的偏见。此后，用户可以通过在不公平的因果边缘作用来减轻偏见。对于每种相互作用，例如弱化/删除有偏见的因果边缘，系统使用一种新方法来模拟基于当前因果模型的新（cla依）数据集。用户可以在视觉上评估其相互作用对不同公平指标，公用事业指标，数据失真和基础数据分布的影响。一旦满足，他们就可以下载依据的数据集并将其用于任何下游应用程序以进行更公正的预测。我们通过对3个数据集进行实验以及一项正式的用户研究来评估D偏差。我们发现，与不同公平指标的基线偏差方法相比，D偏差有助于显着降低偏差，同时几乎没有数据失真和效用较小的损失。此外，我们基于人类的方法极大地超过了关于信任，解释性和问责制的自动方法。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

了解机器学习（ML）管道不同阶段的多重公平性增强干预措施的累积效应是公平文献的关键且毫无疑问的方面。这些知识对于数据科学家/ML从业人员设计公平的ML管道可能很有价值。本文通过进行了一项广泛的经验研究迈出了探索该领域的第一步，其中包括60种干预措施，9个公平指标，2个公用事业指标（准确性和F1得分），跨4个基准数据集。我们定量分析实验数据，以衡量多种干预措施对公平，公用事业和人口群体的影响。我们发现，采用多种干预措施会导致更好的公平性和更低的效用，而不是个人干预措施。但是，添加更多的干预措施并不总是会导致更好的公平或更差的公用事业。达到高性能（F1得分）以及高公平的可能性随大的干预措施增加。不利的一面是，我们发现提高公平的干预措施会对不同的人群群体，尤其是特权群体产生负面影响。这项研究强调了对新的公平指标的必要性，这些指标是对不同人口群体的影响，除了群体之间的差异。最后，我们提供了一系列干预措施的列表，这些措施为不同的公平和公用事业指标做得最好，以帮助设计公平的ML管道。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

解决公平问题对于安全使用机器学习算法来支持对人们的生活产生关键影响的决策，例如雇用工作，儿童虐待，疾病诊断，贷款授予等。过去十年，例如统计奇偶校验和均衡的赔率。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的想法，即使用因果关系对于适当解决公平问题是必要的。本文研究了基于因果关系的公平概念的详尽清单，并研究了其在现实情况下的适用性。由于大多数基于因果关系的公平概念都是根据不可观察的数量（例如干预措施和反事实）来定义的，因此它们在实践中的部署需要使用观察数据来计算或估计这些数量。本文提供了有关从观察数据（包括可识别性（Pearl的SCM框架））和估计（潜在结果框架）中推断出因果量的不同方法的全面报告。该调查论文的主要贡献是（1）指南，旨在在特定的现实情况下帮助选择合适的公平概念，以及（2）根据Pearl的因果关系阶梯的公平概念的排名，表明它很难部署。实践中的每个概念。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

A significant body of research in the data sciences considers unfair discrimination against social categories such as race or gender that could occur or be amplified as a result of algorithmic decisions. Simultaneously, real-world disparities continue to exist, even before algorithmic decisions are made. In this work, we draw on insights from the social sciences brought into the realm of causal modeling and constrained optimization, and develop a novel algorithmic framework for tackling pre-existing real-world disparities. The purpose of our framework, which we call the "impact remediation framework," is to measure real-world disparities and discover the optimal intervention policies that could help improve equity or access to opportunity for those who are underserved with respect to an outcome of interest. We develop a disaggregated approach to tackling pre-existing disparities that relaxes the typical set of assumptions required for the use of social categories in structural causal models. Our approach flexibly incorporates counterfactuals and is compatible with various ontological assumptions about the nature of social categories. We demonstrate impact remediation with a hypothetical case study and compare our disaggregated approach to an existing state-of-the-art approach, comparing its structure and resulting policy recommendations. In contrast to most work on optimal policy learning, we explore disparity reduction itself as an objective, explicitly focusing the power of algorithms on reducing inequality.

机器学习模型被批评反映了培训数据中的不公平偏见。我们通过直接引入公平的学习算法来解决这一目标，而不是通过介绍公平的学习算法来解决公平的合成数据，使任何下游学习者都是公平的。从不公平数据生成公平的合成数据 - 同时对潜在的数据生成过程（DGP）留下真实 - 是非微不足道的。在本文中，我们引入了Decaf：用于表格数据的GaN的公平合成数据发生器。通过Decaf，我们将DGP显式作为发电机的输入层中的结构因果模型嵌入，允许在其因果父母上重建每个变量。此过程启用推理时间扩大，其中可以策略性地删除偏置边缘以满足用户定义的公平要求。 Decaf框架是多功能的，与几个公平的定义兼容。在我们的实验中，我们表明Decaf成功地消除了不希望的偏见和 - 与现有方法相比 - 能够产生高质量的合成数据。此外，我们为发电机的收敛和下游模型的公平提供理论担保。

因果推理在人类如何理解世界并在日常生活中做出决策中具有必不可少的作用。虽然20美元的$ Century Science是因为使因果的主张过于强大且无法实现，但第21美元的$ Century是由因果关系的数学化和引入非确定性原因概念的因果关系的重返标志的。 \ cite {illari2011look}。除了其流行病学，政治和社会科学方面的常见用例外，因果关系对于在法律和日常意义上评估自动决定的公平性至关重要。我们提供了为什么因果关系对于公平评估特别重要的论点和例子。特别是，我们指出了非因果预测的社会影响以及依赖因果主张的法律反歧视过程。最后，我们讨论了在实际情况以及可能的解决方案中应用因果关系的挑战和局限性。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

一再证明机器学习可以提供不同的结果，其中人群的亚组（例如，由年龄，性别或其他敏感属性定义）是系统地处于不利因果的。先前的文献集中在通过统计程序检测此类差异，以确定敏感属性何时提出了先验的敏感属性。但是，这限制了数据集具有高维度的现实世界设置，最重要的是，敏感属性可能未知。作为一种补救措施，我们提出了一个名为“自动差异位置”（ALD）的数据驱动框架，旨在在机器学习中找到差异。 ALD满足机器学习实践的几种要求：ALD（1）适用于任意机器学习分类器； （2）操作不同的差异定义（例如，统计奇偶校验或均衡赔率）； （3）处理分类和连续预测因子； （4）适合处理高维设置； （5）甚至确定了由于相交性而引起的差异，其中差异是由复杂和多路相互作用引起的（例如，年龄高于60岁和女性）。 ALD会产生可解释的公平报告作为输出。我们证明了基于合成和现实世界数据集的ALD的有效性。结果，ALD帮助算法公平性的从业者和研究人员检测机器学习算法的差异，因此可以减轻不同的甚至不公平的结果。此外，ALD支持从业者进行算法审核并保护个人免受歧视。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

对性别或种族偏见等偏见的研究是社会和行为科学中的重要话题。但是，文献中并不总是清楚地定义偏见的概念。偏见的定义通常是模棱两可的，或者根本不提供定义。要精确研究偏见，重要的是要有明确的偏见概念。我们建议将偏见定义为不合理的直接因果效应。我们建议将差异密切相关的概念定义为包括偏见的直接或间接因果效应。我们提出的定义可用于以更严格和系统的方式研究偏见和差异。我们将对偏见和差异的定义与人工智能文献中引入的各种公平定义进行了比较。我们还在两个案例研究中说明了我们的定义，重点是警察枪击案中的科学和种族偏见。我们提出的定义旨在更好地欣赏偏见和差异研究的因果关系。希望这也会导致人们对此类研究的政策含义有了深刻的了解。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

机器学习（ML）生命周期涉及一系列迭代步骤，从有效的收集和准备数据，包括复杂的特征工程流程，对结果的演示和改进，各种步骤中的各种算法选择。特征工程尤其可以对ML非常有益，导致许多改进，例如提高预测结果，降低计算时间，减少过度噪音，并提高培训期间所采取的决策背后的透明度。尽管如此，虽然存在多个视觉分析工具来监控和控制ML生命周期的不同阶段（特别是与数据和算法相关的阶段），但功能工程支持仍然不足。在本文中，我们提出了FightEnvi，一种专门设计用于协助特征工程过程的视觉分析系统。我们建议的系统可帮助用户选择最重要的功能，将原始功能转换为强大的替代方案，并进行不同的特征生成组合。此外，数据空间切片允许用户探索本地和全局尺度上的功能的影响。 Feationenvi利用多种自动特征选择技术;此外，它目视指导用户有统计证据的关于每个特征的影响（或功能的子集）。最终结果是通过多种验证度量评估的重新设计的重新设计特征。用两种用例和案例研究证明了FeatureenVI的有用性和适用性。我们还向评估我们系统的有效性以及评估我们系统的有效性的观众报告反馈。

由于决策越来越依赖机器学习和（大）数据，数据驱动AI系统的公平问题正在接受研究和行业的增加。已经提出了各种公平知识的机器学习解决方案，该解决方案提出了数据，学习算法和/或模型输出中的公平相关的干预措施。然而，提出新方法的重要组成部分正在经验上对其进行验证在代表现实和不同的设置的基准数据集上。因此，在本文中，我们概述了用于公平知识机器学习的真实数据集。我们专注于表格数据作为公平感知机器学习的最常见的数据表示。我们通过识别不同属性之间的关系，特别是w.r.t.来开始分析。受保护的属性和类属性，使用贝叶斯网络。为了更深入地了解数据集中的偏见和公平性，我们调查使用探索性分析的有趣关系。