当机器学习算法做出有偏见的决定时，了解差异来源以解释为什么存在偏见会很有帮助。在此方面，我们研究了量化每个单独特征对观察到的差异的贡献的问题。如果我们可以访问决策模型，则一种潜在的方法（从解释性文献中的基于干预的方法启发）是改变每个单独的功能（同时保持其他功能），并使用结果变化的差异来量化其贡献。但是，我们可能无法访问该模型，也无法测试/审核其输出以单独变化的功能。此外，该决定可能并不总是是输入特征（例如，在循环中）的确定性函数。对于这些情况，我们可能需要使用纯粹的分布（即观察性）技术来解释贡献，而不是介入。我们提出一个问题：当确切的决策机制无法访问时，每个单独特征对在决策中观察到的差异的“潜在”贡献是什么？我们首先提供规范的示例（思想实验），以说明解释贡献的分布和介入方法之间的差异，以及何时更适合。当无法干预输入时，我们通过利用一种称为部分信息分解的信息理论中的作品来量化有关最终决策和单个特征中存在的受保护属性的“冗余”统计依赖性。我们还进行了一个简单的案例研究，以显示如何应用该技术来量化贡献。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

在本文中，我们介绍了一个公平的可解释框架，用于测量和解释分布级别的分类和回归模型中的偏差。在我们的工作中，受到dwork等人的想法。 （2012），我们使用Wassersein指标测量跨子群分布的模型偏差。 Wassersein度量标准的传输理论表征使我们考虑到模型分布的偏置的迹象，这反过来又会产生模型偏差分解为正和负组件。要了解预测因子如何促进模型偏差，我们介绍和理论上表征称为偏置解释的偏置预测器归因，并调查它们的稳定性。我们还为偏见解释提供了制定，以考虑缺失值的影响。此外，由于\ v {s} Trumbelj和Kononenko（2014）和Lundberg和Lee（2017）的动机，我们通过采用合作博弈论构建了添加剂偏见解释，并调查了它们的性质。

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

机器学习模型，尤其是人工神经网络，越来越多地用于为在各个领域的高风险场景中（从金融服务，公共安全和医疗保健服务）提供信息。尽管神经网络在许多情况下都取得了出色的性能，但它们的复杂性质引起了人们对现实情况下的可靠性，可信赖性和公平性的关注。结果，已经提出了几种A-tostori解释方法来突出影响模型预测的特征。值得注意的是，Shapley的价值 - 一种满足几种理想特性的游戏理论数量 - 在机器学习解释性文献中获得了知名度。然而，更传统上，在统计学习中的特征是通过有条件独立性正式化的，而对其进行测试的标准方法是通过有条件的随机测试（CRT）。到目前为止，有关解释性和特征重要性的这两个观点已被认为是独特的和独立的。在这项工作中，我们表明基于沙普利的解释方法和针对特征重要性的有条件独立性测试密切相关。更确切地说，我们证明，通过类似于CRT的程序实现了一组特定的条件独立性测试，评估了Shapley系数量，以执行特定的条件独立性测试，但用于不同的零假设。此外，获得的游戏理论值上限限制了此类测试的$ p $值。结果，我们授予大型Shapley系数具有精确的统计意义，并具有控制I型错误。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

测量黑匣子预测算法中变量重要性的最流行方法是利用合成输入，这些输入结合了来自多个受试者的预测变量。这些输入可能是不可能的，身体上不可能的，甚至在逻辑上是不可能的。结果，对这种情况的预测可以基于数据，这与对黑匣子的训练非常不同。我们认为，当解释使用此类值时，用户不能相信预测算法的决定的解释。取而代之的是，我们主张一种称为同类沙普利的方法，该方法基于经济游戏理论，与大多数其他游戏理论方法不同，它仅使用实际观察到的数据来量化可变重要性。莎普利队的同伙通过缩小判断的主题的缩小，被认为与一个或多个功能上的目标主题相似。如果使用它来缩小队列对队列平均值有很大的不同，则功能很重要。我们在算法公平问题上进行了说明，其中必须将重要性归因于未经训练模型的保护变量。对于每个主题和每个预测变量，我们可以计算该预测因子对受试者的预测响应或对其实际响应的重要性。这些值可以汇总，例如在所有黑色受试者上，我们提出了一个贝叶斯引导程序来量化个人和骨料莎普利值的不确定性。

A significant body of research in the data sciences considers unfair discrimination against social categories such as race or gender that could occur or be amplified as a result of algorithmic decisions. Simultaneously, real-world disparities continue to exist, even before algorithmic decisions are made. In this work, we draw on insights from the social sciences brought into the realm of causal modeling and constrained optimization, and develop a novel algorithmic framework for tackling pre-existing real-world disparities. The purpose of our framework, which we call the "impact remediation framework," is to measure real-world disparities and discover the optimal intervention policies that could help improve equity or access to opportunity for those who are underserved with respect to an outcome of interest. We develop a disaggregated approach to tackling pre-existing disparities that relaxes the typical set of assumptions required for the use of social categories in structural causal models. Our approach flexibly incorporates counterfactuals and is compatible with various ontological assumptions about the nature of social categories. We demonstrate impact remediation with a hypothetical case study and compare our disaggregated approach to an existing state-of-the-art approach, comparing its structure and resulting policy recommendations. In contrast to most work on optimal policy learning, we explore disparity reduction itself as an objective, explicitly focusing the power of algorithms on reducing inequality.

现有的可解释AI和可解释的ML的方法无法解释统计单元的输出变量值的变化，以说明输入值的变化以及“机制”的变化（将输入转换为输出的函数）的变化。我们提出了两种基于反事实的方法，用于使用游戏理论中的沙普利值的概念来解释各种输入粒度的单位级变化。这些方法满足了对任何单位级别更改归因方法所需的两个关键公理。通过模拟，我们研究了所提出方法的可靠性和可扩展性。我们从案例研究中获得了明智的结果，该案例研究确定了美国个人收入变化的驱动力。

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

本文是我们早期工作的伴侣纸Miroshnikov等。（2021）在公平的解释性上引入偏见解释。在目前的工作中，我们提出了一种基于与基于Wasserstein的公平度量的公平回归分布的后处理模型的构建偏置缓解方法。通过识别为偏差贡献最大的预测变量列表，我们通过减轻源自这些预测器的偏差来降低问题的维度。后处理方法涉及通过平衡正面和负偏差解释并允许回归偏差减小来重塑预测器分布。我们设计一种使用贝叶斯优化的算法来构建在后处理模型的家庭上的偏置性能高效边界，从中选择了最佳模型。我们的小说方法在低维空间中进行了优化，避免了昂贵的模型再培训。

解释AI系统是对高性能模型的发展以及由用户放置在其中的信任的基础。福利框架可解释性具有强大的普遍适用性，结合其精确，严谨的基础：它为AI解释性提供了一种常见的模型 - 不可知论性，并且唯一满足一组直观的数学公理。但是，福利值在一个重要方面过于限制：它们忽略了数据中的所有因果结构。我们介绍了一种更少的限制性框架，不对称的福利值（ASV），其严格地建立在一组公理上，适用于任何AI系统，并且足够灵活地融合已知数据所遵守的任何因果结构。我们证明ASVS可以（i）通过结合因果信息来改善模型解释，（ii）在模型预测中提供不公平歧视的明确测试，（iii）在时间序列模型中顺序增量解释，（iv）支持特征 - 无需模型再培训的选择研究。

我们的神经科学和临床应用程序的激励，我们经验检查信息流的观察措施是否可以提出干预措施。我们通过在机器学习的公平性的背景下对人工神经网络进行实验来进行，目标是通过干预措施在系统中诱导公平。使用我们最近开发的$ M $-Information Flow框架，我们测量真实标签的信息流（负责精度，并且需要），并单独地，有关受保护属性的信息流（负责偏见，因此负责不希望的是培训的神经网络边缘。然后，我们通过修剪将流量幅度与干预这些边缘的效果进行比较。我们表明，携带较大信息流的修剪边缘有关受保护的属性在更大程度上会降低输出的偏差。这表明$ M $ -Information流程可以有意义地建议干预措施，以肯定的方式回答标题的问题。我们还评估了不同干预策略的偏见准确性权衡，分析了人们如何使用所需和不期望的信息的估计（这里，准确性和偏置流量）来告知保存前者的干预，同时减少后者。

我们研究公平的机器学习（ML）设置，其中“上游”模型开发人员的任务是生产公平的ML模型，该模型将被几个类似但独特的“下游”用户使用。这种设置引入了新的挑战，这些挑战因许多现有的公平干预措施而尚未解决，这与现有的批评相呼应，即当前方法并非在现实世界公平的ML用例的多元化需求中广泛适用。为此，我们通过采用基于分配的公平分类视图来解决向上/下流设置。具体而言，我们引入了一种新的公平定义，分布奇偶校验，该定义衡量了跨受保护组的结果分布的差异，并提出了一种后处理方法，以使用最佳运输技术来最大程度地减少此措施。我们证明我们的方法能够为所有下游用户，跨各种公平定义创造更公平的成果，并在推理时间内在未标记的数据上工作。我们通过与几种类似方法和四个基准任务进行比较，通过比较实验验证了这一主张。最终，我们认为可以通过开发特定的干预措施来产生更公平的分类结果。

我们提出了一个新的因果贡献的概念，它描述了在DAG中目标节点上的节点的“内在”部分。我们显示，在某些情况下，现有的因果量化方法无法完全捕获此概念。通过以上游噪声术语递归地将每个节点写入每个节点，我们将每个节点添加的内部信息分开从其祖先所获得的每个节点添加的内部信息。要将内在信息解释为因果贡献，我们考虑“结构保留干预”，该介绍每个节点随机化，以一种模仿通常依赖父母的方式，也不会扰乱观察到的联合分布。为了获得跨越节点的任意排序的措施，我们提出了基于福利的对称化。我们描述了对方差和熵的贡献分析，但可以类似地定义对其他目标度量的贡献。

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

解决公平问题对于安全使用机器学习算法来支持对人们的生活产生关键影响的决策，例如雇用工作，儿童虐待，疾病诊断，贷款授予等。过去十年，例如统计奇偶校验和均衡的赔率。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的想法，即使用因果关系对于适当解决公平问题是必要的。本文研究了基于因果关系的公平概念的详尽清单，并研究了其在现实情况下的适用性。由于大多数基于因果关系的公平概念都是根据不可观察的数量（例如干预措施和反事实）来定义的，因此它们在实践中的部署需要使用观察数据来计算或估计这些数量。本文提供了有关从观察数据（包括可识别性（Pearl的SCM框架））和估计（潜在结果框架）中推断出因果量的不同方法的全面报告。该调查论文的主要贡献是（1）指南，旨在在特定的现实情况下帮助选择合适的公平概念，以及（2）根据Pearl的因果关系阶梯的公平概念的排名，表明它很难部署。实践中的每个概念。

Shap是一种衡量机器学习模型中可变重要性的流行方法。在本文中，我们研究了用于估计外形评分的算法，并表明它是功能性方差分析分解的转换。我们使用此连接表明，在Shap近似中的挑战主要与选择功能分布的选择以及估计的$ 2^p $ ANOVA条款的数量有关。我们认为，在这种情况下，机器学习解释性和敏感性分析之间的联系是有照明的，但是直接的实际后果并不明显，因为这两个领域面临着不同的约束。机器学习的解释性问题模型可评估，但通常具有数百个（即使不是数千个）功能。敏感性分析通常处理物理或工程的模型，这些模型可能非常耗时，但在相对较小的输入空间上运行。