代表学习算法为讨论有关滋扰因素的输入数据的不变表示提供了机会。许多作者利用此类策略来学习公平表示，即删除有关敏感属性的信息的向量。这些方法很有吸引力，因为它们可以解释为最大程度地减少神经层的激活与敏感属性之间的相互信息。但是，这种方法的理论基础依赖于无限准确的对手的计算或最小化相互信息估计的变异上限。在本文中，我们提出了一种直接计算神经层和敏感属性之间相互信息的方法。我们采用随机激活的二进制神经网络，使我们可以将神经元视为随机变量。然后，我们能够在层和敏感属性之间计算（不绑定）相互信息，并在梯度下降期间使用此信息作为正则化因子。我们表明，该方法与公平表示学习中的艺术状态相比，与完全精确的神经网络相比，学习的表示形式显示出更高的不变性水平。

安全部署到现实世界的机器学习模式通常是一个具有挑战性的过程。从特定地理位置获得的数据训练的模型往往会在询问其他地方获得的数据时失败，在仿真中培训的代理可以在部署在现实世界或新颖的环境中进行适应时，以及适合于拟合的神经网络人口可能会将一些选择偏见纳入其决策过程。在这项工作中，我们描述了（i）通过（i）识别和描述了不同误差来源的新信息 - 理论观点的数据转移问题，（ii）比较最近域概括和公平探讨的一些最有前景的目标分类文献。从我们的理论分析和实证评估中，我们得出结论，需要通过关于观察到的数据，用于校正的因素的仔细考虑和数据生成过程的结构来指导模型选择程序。

消除偏见的同时保留所有与任务相关的信息对于公平表示学习方法具有挑战性，因为它们会产生随机或退化表示w.r.t.当敏感属性与标签相关时，标记。现有的作品提议将标签信息注入学习程序以克服此类问题。但是，并不总是满足观察到的标签是清洁的假设。实际上，标签偏见被认为是引起歧视的主要来源。换句话说，公平的预处理方法忽略了在学习过程或评估阶段中标签中编码的歧视。这一矛盾给了学识渊博的表示的公平性。为了避免此问题，我们探讨了以下问题：\ emph {我们可以学习可预测的公平表示，可预测到仅访问不可靠标签的潜在理想公平标签吗？}在这项工作中，我们建议\ textbf {d} e- \ textbf { \ textbf {r} \ textbf {f} ernenses（dbrf）框架的b} iased \ textbf {r} ePresentation学习，该框架将敏感信息从非敏感属性中解散，同时使学习的表示形式可预测到理想的公平标签，而不是观察到的偏见。我们通过信息理论概念（例如相互信息和信息瓶颈）制定了偏见的学习框架。核心概念是，当敏感信息受益于不可靠标签的预测时，DBRF提倡不使用不可靠的标签进行监督。综合数据和现实世界数据的实验结果表明，DBRF有效地学习了对理想标签的偏见表示。

At the core of insurance business lies classification between risky and non-risky insureds, actuarial fairness meaning that risky insureds should contribute more and pay a higher premium than non-risky or less-risky ones. Actuaries, therefore, use econometric or machine learning techniques to classify, but the distinction between a fair actuarial classification and "discrimination" is subtle. For this reason, there is a growing interest about fairness and discrimination in the actuarial community Lindholm, Richman, Tsanakas, and Wuthrich (2022). Presumably, non-sensitive characteristics can serve as substitutes or proxies for protected attributes. For example, the color and model of a car, combined with the driver's occupation, may lead to an undesirable gender bias in the prediction of car insurance prices. Surprisingly, we will show that debiasing the predictor alone may be insufficient to maintain adequate accuracy (1). Indeed, the traditional pricing model is currently built in a two-stage structure that considers many potentially biased components such as car or geographic risks. We will show that this traditional structure has significant limitations in achieving fairness. For this reason, we have developed a novel pricing model approach. Recently some approaches have Blier-Wong, Cossette, Lamontagne, and Marceau (2021); Wuthrich and Merz (2021) shown the value of autoencoders in pricing. In this paper, we will show that (2) this can be generalized to multiple pricing factors (geographic, car type), (3) it perfectly adapted for a fairness context (since it allows to debias the set of pricing components): We extend this main idea to a general framework in which a single whole pricing model is trained by generating the geographic and car pricing components needed to predict the pure premium while mitigating the unwanted bias according to the desired metric.

Algorithmic fairness is becoming increasingly important in data mining and machine learning. Among others, a foundational notation is group fairness. The vast majority of the existing works on group fairness, with a few exceptions, primarily focus on debiasing with respect to a single sensitive attribute, despite the fact that the co-existence of multiple sensitive attributes (e.g., gender, race, marital status, etc.) in the real-world is commonplace. As such, methods that can ensure a fair learning outcome with respect to all sensitive attributes of concern simultaneously need to be developed. In this paper, we study the problem of information-theoretic intersectional fairness (InfoFair), where statistical parity, a representative group fairness measure, is guaranteed among demographic groups formed by multiple sensitive attributes of interest. We formulate it as a mutual information minimization problem and propose a generic end-to-end algorithmic framework to solve it. The key idea is to leverage a variational representation of mutual information, which considers the variational distribution between learning outcomes and sensitive attributes, as well as the density ratio between the variational and the original distributions. Our proposed framework is generalizable to many different settings, including other statistical notions of fairness, and could handle any type of learning task equipped with a gradient-based optimizer. Empirical evaluations in the fair classification task on three real-world datasets demonstrate that our proposed framework can effectively debias the classification results with minimal impact to the classification accuracy.

瓶颈问题是一系列重要的优化问题，最近在机器学习和信息理论领域引起了人们的关注。它们被广泛用于生成模型，公平的机器学习算法，对隐私保护机制的设计，并在各种多用户通信问题中作为信息理论性能界限出现。在这项工作中，我们提出了一个普通的优化问题家族，称为复杂性 - 裸露的瓶颈（俱乐部）模型，该模型（i）提供了一个统一的理论框架，该框架将大多数最先进的文献推广到信息理论隐私模型（ii）建立了对流行的生成和判别模型的新解释，（iii）构建了生成压缩模型的新见解，并且（iv）可以在公平的生成模型中使用。我们首先将俱乐部模型作为复杂性约束的隐私性优化问题。然后，我们将其与密切相关的瓶颈问题（即信息瓶颈（IB），隐私渠道（PF），确定性IB（DIB），条件熵瓶颈（CEB）和有条件的PF（CPF）连接。我们表明，俱乐部模型概括了所有这些问题以及大多数其他信息理论隐私模型。然后，我们通过使用神经网络来参数化相关信息数量的变异近似来构建深层俱乐部（DVCLUB）模型。在这些信息数量的基础上，我们提出了监督和无监督的DVClub模型的统一目标。然后，我们在无监督的设置中利用DVClub模型，然后将其与最先进的生成模型（例如变异自动编码器（VAE），生成对抗网络（GAN）以及Wasserstein Gan（WGAN）连接起来，Wasserstein自动编码器（WAE）和对抗性自动编码器（AAE）通过最佳运输（OT）问题模型。然后，我们证明DVCLUB模型也可以用于公平表示学习问题，其目标是在机器学习模型的训练阶段减轻不希望的偏差。我们对彩色命名和Celeba数据集进行了广泛的定量实验，并提供了公共实施，以评估和分析俱乐部模型。

我们的神经科学和临床应用程序的激励，我们经验检查信息流的观察措施是否可以提出干预措施。我们通过在机器学习的公平性的背景下对人工神经网络进行实验来进行，目标是通过干预措施在系统中诱导公平。使用我们最近开发的$ M $-Information Flow框架，我们测量真实标签的信息流（负责精度，并且需要），并单独地，有关受保护属性的信息流（负责偏见，因此负责不希望的是培训的神经网络边缘。然后，我们通过修剪将流量幅度与干预这些边缘的效果进行比较。我们表明，携带较大信息流的修剪边缘有关受保护的属性在更大程度上会降低输出的偏差。这表明$ M $ -Information流程可以有意义地建议干预措施，以肯定的方式回答标题的问题。我们还评估了不同干预策略的偏见准确性权衡，分析了人们如何使用所需和不期望的信息的估计（这里，准确性和偏置流量）来告知保存前者的干预，同时减少后者。

在神经网络中，与任务相关的信息由神经元组共同表示。但是，对信息分布在单个神经元之间的特定方式尚不清楚：虽然部分只能从特定的单个神经元中获得，但其他部分是由多个神经元冗余或协同携带的。我们展示了部分信息分解（PID）是信息理论的最新扩展，可以解散这些贡献。由此，我们介绍了“代表性复杂性”的度量，该量度量化了访问跨多个神经元信息的难度。我们展示了这种复杂性如何直接适用于较小的层。对于较大的层，我们提出了子采样和粗粒程序，并证明了后者的相应边界。从经验上讲，为了量化解决MNIST任务的深度神经网络，我们观察到，代表性复杂性通过连续的隐藏层和过度训练都会降低。总体而言，我们建议代表性复杂性作为分析神经表示结构的原则且可解释的摘要统计量。

设计机器学习算法准确但公平，而不是基于任何敏感属性进行区分，对于社会接受对关键应用的AI至关重要。在本文中，我们提出了一种新颖的公平表示方法，称为R \'enyi公平信息瓶颈方法（RFIB），该方法包含了代表性的效用，公平性和紧凑性的约束，并将其应用于图像分类。我们方法的一个关键属性是，与大多数先前的工作相比，我们认为人口统计学奇偶ant和均衡的赔率是公平的约束，从而使对这两个标准的满意度更加细致。利用各种方法，我们表明我们的目标产生了涉及经典信息瓶颈（IB）措施的损失函数，并根据r \'enyi nyi nyi差异$ \ alpha $在共同信息上的r \'enyi差异ib术语IB术语测量紧凑度上建立上限在输入及其编码嵌入之间。在三个不同的图像数据集（Eyepacs，celeba和Fairface）上进行实验，我们研究了$ \ alpha $参数的影响以及其他两个可调IB参数对实现效用/公平性权衡目标的影响，并表明$ \ \ \ \ Alpha $参数提供了一个额外的自由度，可用于控制表示的紧凑性。我们使用各种效用，公平性和复合效用/公平指标评估方法的性能，表明RFIB的表现优于当前最新方法。

We present a variational approximation to the information bottleneck of Tishby et al. (1999). This variational approach allows us to parameterize the information bottleneck model using a neural network and leverage the reparameterization trick for efficient training. We call this method "Deep Variational Information Bottleneck", or Deep VIB. We show that models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness to adversarial attack.

机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益，但该模型可以表现出对少数民族群体的偏见，并导致决策过程中的公平问题，导致对个人和社会的严重负面影响。近年来，已经开发了各种技术来减轻机器学习模型的偏差。其中，加工方法已经增加了社区的关注，在模型设计期间直接考虑公平，以诱导本质上公平的模型，从根本上减轻了产出和陈述中的公平问题。在本调查中，我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方，我们将它们分类为明确和隐性的方法，前者直接在培训目标中纳入公平度量，后者重点介绍精炼潜在代表学习。最后，我们在讨论该社区中的研究挑战来讨论调查，以激励未来的探索。

共同信息（MI）已被广泛用作训练神经网络的损失正规化程序。当学习高维数据的分解或压缩表示时，这特别有效。但是，差异熵（DE）是信息的另一种基本衡量标准，在神经网络培训中尚未发现广泛使用。尽管DE提供了比MI的可能更广泛的应用程序，但现成的DE估计器要么是非可区分的，在计算上是棘手的，要么无法适应基础分布的变化。这些缺点使它们无法在神经网络培训中用作正规化器。为了解决DE先前提出的估计器中的缺点，我们在这里介绍了刀具，这是一个完全参数化的，基于DE的基于核的估计器。我们方法的灵活性还使我们能够为条件（离散变量或连续变量）以及MI构建基于刀的估计器。我们从经验上验证了高维合成数据的方法，并进一步应用它来指导神经网络的现实任务培训。我们对各种任务的实验，包括视觉域的适应性，文本公平分类和文本微调，证明了基于刀的估计的有效性。代码可以在https://github.com/g-pichler/knife上找到。

在高赌注域中的机器学习工具的实际应用通常被调节为公平，因此预测目标应该满足相对于受保护属性的奇偶校验的一些定量概念。然而，公平性和准确性之间的确切权衡并不完全清楚，即使是对分类问题的基本范式也是如此。在本文中，我们通过在任何公平分类器的群体误差之和中提供较低的界限，在分类设置中表征统计奇偶校验和准确性之间的固有权衡。我们不可能的定理可以被解释为公平的某种不确定性原则：如果基本率不同，那么符合统计奇偶校验的任何公平分类器都必须在至少一个组中产生很大的错误。我们进一步扩展了这一结果，以便在学习公平陈述的角度下给出任何（大约）公平分类者的联合误差的下限。为了表明我们的下限是紧张的，假设Oracle访问贝叶斯（潜在不公平）分类器，我们还构造了一种返回一个随机分类器的算法，这是最佳和公平的。有趣的是，当受保护的属性可以采用超过两个值时，这个下限的扩展不承认分析解决方案。然而，在这种情况下，我们表明，通过解决线性程序，我们可以通过解决我们作为电视 - 重心问题的术语，电视距离的重心问题来有效地计算下限。在上面，我们证明，如果集团明智的贝叶斯最佳分类器是关闭的，那么学习公平的表示导致公平的替代概念，称为准确性奇偶校验，这使得错误率在组之间关闭。最后，我们还在现实世界数据集上进行实验，以确认我们的理论发现。

尽管机器学习模式的发展迅速和巨大成功，但广泛的研究暴露了继承潜在歧视和培训数据的社会偏见的缺点。这种现象阻碍了他们在高利益应用上采用。因此，已经采取了许多努力开发公平机器学习模型。其中大多数要求在培训期间提供敏感属性以学习公平的模型。然而，在许多现实世界应用中，由于隐私或法律问题，获得敏感的属性通常是不可行的，这挑战了现有的公平策略。虽然每个数据样本的敏感属性未知，但我们观察到训练数据中通常存在一些与敏感属性高度相关的非敏感功能，这可以用于缓解偏差。因此，在本文中，我们研究了一种探索与学习公平和准确分类器的敏感属性高度相关的特征的新问题。理论上我们通过最小化这些相关特征与模型预测之间的相关性，我们可以学习一个公平的分类器。基于这种动机，我们提出了一种新颖的框架，该框架同时使用这些相关的特征来准确预测和执行公平性。此外，该模型可以动态调整每个相关功能的正则化权重，以平衡其对模型分类和公平性的贡献。现实世界数据集的实验结果证明了拟议模型用于学习公平模型的效力，具有高分类准确性。

尽管大规模的经验风险最小化（ERM）在各种机器学习任务中取得了高精度，但公平的ERM受到公平限制与随机优化的不兼容的阻碍。我们考虑具有离散敏感属性以及可能需要随机求解器的可能性大型模型和数据集的公平分类问题。现有的内部处理公平算法在大规模设置中要么是不切实际的，因为它们需要在每次迭代时进行大量数据，要么不保证它们会收敛。在本文中，我们开发了第一个具有保证收敛性的随机内处理公平算法。对于人口统计学，均衡的赔率和公平的机会均等的概念，我们提供了算法的略有变化，称为Fermi，并证明这些变化中的每一个都以任何批次大小收敛于随机优化。从经验上讲，我们表明Fermi适合具有多个（非二进制）敏感属性和非二进制目标的随机求解器，即使Minibatch大小也很小，也可以很好地表现。广泛的实验表明，与最先进的基准相比，FERMI实现了所有经过测试的设置之间的公平违规和测试准确性之间最有利的权衡，该基准是人口统计学奇偶校验，均衡的赔率，均等机会，均等机会。这些好处在小批量的大小和非二元分类具有大量敏感属性的情况下尤其重要，这使得费米成为大规模问题的实用公平算法。

为了减轻模型中不希望的偏差的影响，几种方法建议预先处理输入数据集，以通过防止敏感属性的推断来减少歧视风险。不幸的是，这些预处理方法中的大多数导致一代新分布与原始分布有很大不同，因此通常导致不切实际的数据。作为副作用，这种新的数据分布意味着需要重新训练现有模型才能做出准确的预测。为了解决这个问题，我们提出了一种新颖的预处理方法，我们将根据保护组的分布转换为所选目标一个，并具有附加的隐私约束，其目的是防止敏感敏感的推断属性。更确切地说，我们利用Wasserstein Gan和Attgan框架的最新作品来实现数据点的最佳运输以及强制保护属性推断的歧视器。我们提出的方法可以保留数据的可解释性，并且可以在不定义敏感组的情况下使用。此外，我们的方法可以专门建模现有的最新方法，从而提出对这些方法的统一观点。最后，关于真实和合成数据集的一些实验表明，我们的方法能够隐藏敏感属性，同时限制数据的变形并改善了后续数据分析任务的公平性。

由于其在不同领域的应用继续扩大和多样化，因此机器学习的公平正在越来越越来越受到关注。为了减轻不同人口组之间的区分模型行为，我们介绍了一种新的后处理方法来通过组感知阈值适应优化多个公平性约束。我们建议通过优化从分类模型输出的概率分布估计的混淆矩阵来学习每个人口统计组的自适应分类阈值。由于我们仅需要模型输出的估计概率分布而不是分类模型结构，我们的后处理模型可以应用于各种分类模型，并以模型 - 不可知方式提高公平性并确保隐私。这甚至允许我们在后处理现有的公平方法，以进一步提高准确性和公平性之间的权衡。此外，我们的模型具有低计算成本。我们为我们的优化算法的收敛性提供严格的理论分析和我们方法的准确性和公平性之间的权衡。我们的方法理论上使得能够在与现有方法相同的情况下的近最优性的更好的上限。实验结果表明，我们的方法优于最先进的方法，并获得最接近理论精度公平折衷边界的结果。

实际上，决策算法通常经过表现出各种偏见的数据培训。决策者通常旨在根据假定或期望公正的基础真相目标做出决策，即同样分布在社会显着的群体中。在许多实际设置中，无法直接观察到地面真相，相反，我们必须依靠数据中的地面真相（即偏置标签）的有偏见的代理度量。此外，通常会选择性地标记数据，即，即使是有偏见的标签，也仅对获得积极决策的数据的一小部分观察到。为了克服标签和选择偏见，最近的工作提议学习随机性，通过i）在每个时间步长的在线培训新政策，ii）执行公平性作为绩效的限制。但是，现有方法仅使用标记的数据，忽略了大量未标记的数据，因此在不同时间学到的决策策略的不稳定性和差异很大。在本文中，我们提出了一种基于实用公平决策的各种自动编码器的新方法。我们的方法学习了一个无偏的数据表示，利用标记和未标记的数据，并使用表示形式在在线过程中学习策略。使用合成数据，我们从经验上验证我们的方法根据差异较低的地面真相会收敛到最佳（公平）策略。在现实世界实验中，我们进一步表明，我们的培训方法不仅提供了更稳定的学习过程，而且还产生了比以前的方法更高的公平性和效用的政策。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

在结果决策中使用机器学习模型通常会加剧社会不平等，特别是对种族和性别定义的边缘化群体成员产生不同的影响。 ROC曲线（AUC）下的区域被广泛用于评估机器学习中评分功能的性能，但与其他性能指标相比，在算法公平性中进行了研究。由于AUC的成对性质，定义基于AUC的组公平度量是成对依赖性的，并且可能涉及\ emph {group}和\ emph {group} aucs。重要的是，仅考虑一种AUC类别不足以减轻AUC优化的不公平性。在本文中，我们提出了一个最小值学习和偏置缓解框架，该框架既包含组内和组间AUC，同时保持实用性。基于这个Rawlsian框架，我们设计了一种有效的随机优化算法，并证明了其收敛到最小组级AUC。我们对合成数据集和现实数据集进行了数值实验，以验证Minimax框架的有效性和所提出的优化算法。