机器学习模型的解释性一直是机器学习系统安全部署的重要领域。一种特殊的方法是将模型决策归因于人类可以理解的高级概念。但是，这种基于概念的深度神经网络（DNN）的解释性主要在图像域上进行了研究。在本文中，我们通过提供有关如何在表格数据上定义概念的想法，将概念归因方法（概念归因方法）扩展到表格学习。在具有基本概念解释和现实世界数据集的合成数据集中，我们显示了方法在生成与人类水平直觉相匹配的可解释性结果方面的有效性。最重要的是，我们提出了一个基于TCAV的公平性概念，该概念量化了哪个DNN层学习的表示形式，从而导致对模型的偏见。另外，我们从经验上证明了基于TCAV的公平性与群体公平概念，人口统计学的关系。

The interpretation of deep learning models is a challenge due to their size, complexity, and often opaque internal state. In addition, many systems, such as image classifiers, operate on low-level features rather than high-level concepts. To address these challenges, we introduce Concept Activation Vectors (CAVs), which provide an interpretation of a neural net's internal state in terms of human-friendly concepts. The key idea is to view the high-dimensional internal state of a neural net as an aid, not an obstacle. We show how to use CAVs as part of a technique, Testing with CAVs (TCAV), that uses directional derivatives to quantify the degree to which a user-defined concept is important to a classification result-for example, how sensitive a prediction of zebra is to the presence of stripes. Using the domain of image classification as a testing ground, we describe how CAVs may be used to explore hypotheses and generate insights for a standard image classification network as well as a medical application.

机器学习模型的增加越来越多地提出了这些模型的可靠性问题。目前具有限制数据的测试实践通常不足。在本文中，我们为自动化测试数据合成提供了一种框架，以测试黑盒ML / DL型号。我们解决了利用模型不可知覆盖标准生成现实用户可控数据的重要挑战，以测试各种属性，基本上是增加对机器学习模型的信任。我们通过实验展示了我们技术的有效性。

Interpretability provides a means for humans to verify aspects of machine learning (ML) models and empower human+ML teaming in situations where the task cannot be fully automated. Different contexts require explanations with different properties. For example, the kind of explanation required to determine if an early cardiac arrest warning system is ready to be integrated into a care setting is very different from the type of explanation required for a loan applicant to help determine the actions they might need to take to make their application successful. Unfortunately, there is a lack of standardization when it comes to properties of explanations: different papers may use the same term to mean different quantities, and different terms to mean the same quantity. This lack of a standardized terminology and categorization of the properties of ML explanations prevents us from both rigorously comparing interpretable machine learning methods and identifying what properties are needed in what contexts. In this work, we survey properties defined in interpretable machine learning papers, synthesize them based on what they actually measure, and describe the trade-offs between different formulations of these properties. In doing so, we enable more informed selection of task-appropriate formulations of explanation properties as well as standardization for future work in interpretable machine learning.

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

随着计算机视觉应用程序的最新增长，尚未探索它们的公平和公正性问题。有大量证据表明，训练数据中存在的偏差反映在模型中，甚至放大。图像数据集的许多以前的方法偏见，包括基于增强数据集的模型，在计算上实现的计算昂贵。在这项研究中，我们提出了一个快速有效的模型，以通过重建并最大程度地减少预期变量之间的统计依赖性来消除图像数据集。我们的体系结构包括重建图像的U-NET，并结合了预先训练的分类器，该分类器会惩罚目标属性和受保护属性之间的统计依赖性。我们在Celeba数据集上评估了我们提出的模型，将结果与最先进的偏见方法进行比较，并证明该模型实现了有希望的公平性 - 精确性组合。

在许多机器学习应用中已经显示了歧视，该应用程序要求在与道德相关的领域（例如面部识别，医学诊断和刑事判决）中部署之前进行足够的公平测试。现有的公平测试方法主要设计用于识别个人歧视，即对个人的歧视。然而，作为另一种广泛的歧视类型，对群体歧视（大多数隐藏）的测试却少得多。为了解决差距，在这项工作中，我们提出了测试，一种可解释的测试方法，它系统地识别和措施隐藏了一个神经网络的隐藏（我们称为“微妙”群体歧视}，该神经网络的特征是敏感特征的条件。一个神经网络，TestsgDFirst自动生成可解释的规则集，该规则集将输入空间分为两组，以暴露模型的组歧视。鉴于，Testsgdalso提供了基于对输入空间进行采样的估计组公平得分，以衡量确定的SIXTEL组歧视程度，这可以确保准确地达到错误的限制。我们评估了在包括结构化数据和文本数据在内的流行数据集中训练的测试多个神经网络模型。实验结果表明，测试有效地有效地识别和测量了如此微妙的群体歧视，以至于该测试效率以前从未透露过。矿石，我们表明，测试的测试结果指南生成新样品的测试结果，以通过可忽略不计的准确性下降来减轻这种歧视。

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

本文提出了一种称为前向组合传播（FCP）的算法，以说明在结构化模式识别问题上运行的前馈神经网络的预测。在所提出的FCP算法中，每个神经元由表示该神经元中的每个问题特征的作用的组合载体描述。使用给定的输入实例初始化构成向量，随后通过整个网络传播，直到我们到达输出层。值得一提的是，一旦完成网络的训练网络，就会执行该算法。每个组成值的符号指示相应的特征是否激发或抑制神经元，而绝对值会定量这种影响。旨在验证FCP算法的正确性，我们开发了一个关于偏见检测的案例研究，在其最先进的问题中，地面真理是已知的。仿真结果表明，构图值与保护特征的预期行为密切对齐。

AI系统可以在决策过程中创建，传播，支持和自动化偏见。为了减轻偏见的决策，我们俩都需要了解偏见的起源，并定义算法做出公平决定的含义。大多数群体公平概念通过计算输出上的统计指标来评估模型的结果平等。我们认为，这些输出指标会遇到内在障碍，并提出了一种互补的方法，该方法与对治疗平等的关注度的越来越多。通过通过规范逆设计（Lucid）找到不公平性，我们生成一个规范集，该集合显示了给定优选输出的模型所需的输入。该规范集揭示了模型的内部逻辑，并通过反复询问决策过程来暴露潜在的不道德偏见。我们评估了UCI成人和Compas数据集的LUCID，发现规范集检测到的一些偏见与输出指标的偏见不同。结果表明，通过将重点转移到治疗平等并研究算法的内部工作原理中，规范集是对算法公平评估工具箱的宝贵补充。

去年的特征是不透明的自动决策支持系统（例如深神经网络（DNNS））激增。尽管它们具有出色的概括和预测技能，但其功能不允许对其行为获得详细的解释。由于不透明的机器学习模型越来越多地用于在关键环境中做出重要的预测，因此危险是创建和使用不合理或合法的决策。因此，关于赋予机器学习模型具有解释性的重要性有一个普遍的共识。可解释的人工智能（XAI）技术可以用来验证和认证模型输出，并以可信赖，问责制，透明度和公平等理想的概念来增强它们。本指南旨在成为任何具有计算机科学背景的受众的首选手册，旨在获得对机器学习模型的直观见解，并伴随着笔直，快速和直观的解释。本文旨在通过在其特定的日常型号，数据集和用例中应用XAI技术来填补缺乏引人注目的XAI指南。图1充当读者的流程图/地图，应帮助他根据自己的数据类型找到理想的使用方法。在每章中，读者将找到所提出的方法的描述，以及在生物医学应用程序和Python笔记本上使用的示例。它可以轻松修改以应用于特定应用程序。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

作为深度图像分类应用，例如，人脸识别，在我们日常生活中越来越普遍，他们的公平问题提高了越来越多的关注。因此，在部署之前全面地测试这些应用的公平性是至关重要的。现有的公平测试方法遭受以下限制：1）适用性，即它们仅适用于结构化数据或文本，而无需处理图像分类应用的语义水平中的高维和抽象域采样; 2）功能，即，它们在不提供测试标准的情况下产生不公平的样本，以表征模型的公平性充足。为了填补差距，我们提出了Deepfait，是专门为深图图像分类应用而设计的系统公平测试框架。 Deepfait由几种重要组成部分组成，实现了对深度图像分类应用的有效公平测试的重要组成部分：1）神经元选择策略，用于识别与公平相关神经元的神经元; 2）一组多粒度充足度指标，以评估模型的公平性; 3）测试选择算法有效地修复公平问题。我们对广泛采用的大型面部识别应用，即VGGFace和Fairface进行了实验。实验结果证实，我们的方法可以有效地识别公平相关的神经元，表征模型的公平性，并选择最有价值的测试用例来减轻模型的公平问题。

文献中已经提出了各种公平限制，以减轻小组级统计偏见。它们的影响已在很大程度上评估了与一组敏感属性（例如种族或性别）相对应的不同人群。尽管如此，社区尚未观察到足够的探索，以实例限制公平的限制。基于影响功能的概念，该措施表征了训练示例对目标模型及其预测性能的影响，这项工作研究了施加公平性约束时训练示例的影响。我们发现，在某些假设下，关于公平限制的影响功能可以分解为训练示例的内核组合。提出的公平影响功能的一种有希望的应用是确定可疑的训练示例，这些训练示例可能通过对其影响得分进行排名来导致模型歧视。我们通过广泛的实验证明，对一部分重量数据示例进行培训会导致违反公平性的侵犯，而准确性的权衡。

为了减轻模型中不希望的偏差的影响，几种方法建议预先处理输入数据集，以通过防止敏感属性的推断来减少歧视风险。不幸的是，这些预处理方法中的大多数导致一代新分布与原始分布有很大不同，因此通常导致不切实际的数据。作为副作用，这种新的数据分布意味着需要重新训练现有模型才能做出准确的预测。为了解决这个问题，我们提出了一种新颖的预处理方法，我们将根据保护组的分布转换为所选目标一个，并具有附加的隐私约束，其目的是防止敏感敏感的推断属性。更确切地说，我们利用Wasserstein Gan和Attgan框架的最新作品来实现数据点的最佳运输以及强制保护属性推断的歧视器。我们提出的方法可以保留数据的可解释性，并且可以在不定义敏感组的情况下使用。此外，我们的方法可以专门建模现有的最新方法，从而提出对这些方法的统一观点。最后，关于真实和合成数据集的一些实验表明，我们的方法能够隐藏敏感属性，同时限制数据的变形并改善了后续数据分析任务的公平性。

机器学习模型被批评反映了培训数据中的不公平偏见。我们通过直接引入公平的学习算法来解决这一目标，而不是通过介绍公平的学习算法来解决公平的合成数据，使任何下游学习者都是公平的。从不公平数据生成公平的合成数据 - 同时对潜在的数据生成过程（DGP）留下真实 - 是非微不足道的。在本文中，我们引入了Decaf：用于表格数据的GaN的公平合成数据发生器。通过Decaf，我们将DGP显式作为发电机的输入层中的结构因果模型嵌入，允许在其因果父母上重建每个变量。此过程启用推理时间扩大，其中可以策略性地删除偏置边缘以满足用户定义的公平要求。 Decaf框架是多功能的，与几个公平的定义兼容。在我们的实验中，我们表明Decaf成功地消除了不希望的偏见和 - 与现有方法相比 - 能够产生高质量的合成数据。此外，我们为发电机的收敛和下游模型的公平提供理论担保。

尽管促进机器学习（ML）公平的最新进展激增，但现有的主流方法主要需要培训或填充神经网络的整个权重以满足公平标准。但是，由于较大的计算和存储成本，低数据效率和模型隐私问题，对于那些大规模训练的模型来说，这通常是不可行的。在本文中，我们提出了一种称为FairreProgragr的新的通用公平学习范式，该范式结合了模型重编程技术。具体而言，Fairreprogrogram考虑了固定的神经模型，而是将输入一组扰动（称为公平触发器）附加到，该触发触发器在Min-Max公式下朝着公平标准调整为公平触发器。我们进一步介绍了一个信息理论框架，该框架解释了为什么以及在什么条件下，使用公平触发器可以实现公平目标。我们从理论和经验上都表明，公平触发器可以通过提供错误的人口统计信息来有效地掩盖固定ML模型的输出预测中的人口偏见，从而阻碍模型利用正确的人口统计信息来进行预测。对NLP和CV数据集进行的广泛实验表明，与在两个广泛使用的公平标准下，基于培训成本和数据依赖性的基于重新培训的方法相比，我们的方法可以实现更好的公平性改进。

Algorithmic fairness is becoming increasingly important in data mining and machine learning. Among others, a foundational notation is group fairness. The vast majority of the existing works on group fairness, with a few exceptions, primarily focus on debiasing with respect to a single sensitive attribute, despite the fact that the co-existence of multiple sensitive attributes (e.g., gender, race, marital status, etc.) in the real-world is commonplace. As such, methods that can ensure a fair learning outcome with respect to all sensitive attributes of concern simultaneously need to be developed. In this paper, we study the problem of information-theoretic intersectional fairness (InfoFair), where statistical parity, a representative group fairness measure, is guaranteed among demographic groups formed by multiple sensitive attributes of interest. We formulate it as a mutual information minimization problem and propose a generic end-to-end algorithmic framework to solve it. The key idea is to leverage a variational representation of mutual information, which considers the variational distribution between learning outcomes and sensitive attributes, as well as the density ratio between the variational and the original distributions. Our proposed framework is generalizable to many different settings, including other statistical notions of fairness, and could handle any type of learning task equipped with a gradient-based optimizer. Empirical evaluations in the fair classification task on three real-world datasets demonstrate that our proposed framework can effectively debias the classification results with minimal impact to the classification accuracy.

尽管在最近的文献中提出了几种类型的事后解释方法（例如，特征归因方法），但在系统地以有效且透明的方式进行系统基准测试这些方法几乎没有工作。在这里，我们介绍了OpenXai，这是一个全面且可扩展的开源框架，用于评估和基准测试事后解释方法。 OpenXAI由以下关键组件组成：（i）灵活的合成数据生成器以及各种现实世界数据集，预训练的模型和最新功能属性方法的集合，（ii）开源实现22个定量指标，用于评估忠诚，稳定性（稳健性）和解释方法的公平性，以及（iii）有史以来第一个公共XAI XAI排行榜对基准解释。 OpenXAI很容易扩展，因为用户可以轻松地评估自定义说明方法并将其纳入我们的排行榜。总体而言，OpenXAI提供了一种自动化的端到端管道，该管道不仅简化并标准化了事后解释方法的评估，而且还促进了基准这些方法的透明度和可重复性。 OpenXAI数据集和数据加载程序，最先进的解释方法的实现和评估指标以及排行榜，可在https://open-xai.github.io/上公开获得。