由于它们对社会决策产生至关重要的影响，因此AI算法不仅应该是准确的，而且应该是公平的。在公平性AI的各种算法中，学习公平代表（LFR）的目标是在诸如性别和种族等敏感变量方面找到公平的代表，并受到了很多关注。对于LFR，对抗训练方案通常像生成对抗网络类型算法一样使用。但是，歧视者的选择是在没有理由的情况下进行的。在本文中，我们为LFR提出了一种新的对抗训练方案，其中使用具有特定参数鉴别因子家族的积分概率度量（IPM）。提出的LFR算法的最显着结果是其关于最终预测模型公平性的理论保证，尚未考虑。也就是说，我们在表示的公平性与在表示顶部建立的预测模型的公平性之间得出了理论关系（即将表示形式用作输入）。此外，通过数值实验，我们表明我们提出的LFR算法在计算上更轻且更稳定，并且最终的预测模型具有竞争性或优于其他LFR算法，使用更复杂的鉴别器。

由于它们对社会决策产生至关重要的影响，因此AI算法不仅应该是准确的，而且应该是公平的。在公平性AI的各种算法中，通过最大程度地降低受特定公平限制的经验风险（例如，跨熵）来学习预测模型。但是，为避免计算困难，给定的公平限制被替代公平限制代替，因为0-1损失被分类问题的凸替代损失所取代。在本文中，我们调查了现有的替代公平限制的有效性，并提出了一种称为幻灯片的新替代公平约束，该公平性在计算上是可行的，并且在渐近上有效，从而使学识渊博的模型无效地满足公平性约束并实现快速融合率。数值实验证实，幻灯片适用于各种基准数据集。

尽管大规模的经验风险最小化（ERM）在各种机器学习任务中取得了高精度，但公平的ERM受到公平限制与随机优化的不兼容的阻碍。我们考虑具有离散敏感属性以及可能需要随机求解器的可能性大型模型和数据集的公平分类问题。现有的内部处理公平算法在大规模设置中要么是不切实际的，因为它们需要在每次迭代时进行大量数据，要么不保证它们会收敛。在本文中，我们开发了第一个具有保证收敛性的随机内处理公平算法。对于人口统计学，均衡的赔率和公平的机会均等的概念，我们提供了算法的略有变化，称为Fermi，并证明这些变化中的每一个都以任何批次大小收敛于随机优化。从经验上讲，我们表明Fermi适合具有多个（非二进制）敏感属性和非二进制目标的随机求解器，即使Minibatch大小也很小，也可以很好地表现。广泛的实验表明，与最先进的基准相比，FERMI实现了所有经过测试的设置之间的公平违规和测试准确性之间最有利的权衡，该基准是人口统计学奇偶校验，均衡的赔率，均等机会，均等机会。这些好处在小批量的大小和非二元分类具有大量敏感属性的情况下尤其重要，这使得费米成为大规模问题的实用公平算法。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

直到最近，研究人员才试图提供可证明的群体公平保证的分类算法。这些算法中的大多数都受到训练和部署数据遵循相同分布的要求造成的骚扰。本文提出了一种输入 - 不合时宜的团体公平算法，即Fairsmooth，用于改善分类模型的公平性，同时保持显着的预测准确性。开发了一种高斯参数平滑方法，以将基本分类器转换为平滑版本。通过仅使用有关该组的数据来学习一个最佳的单个平滑分类器，并且通过平均所有单个平滑的参数来生成所有组的总体平滑分类器。通过利用非线性功能分析的理论，将平滑的分类器重新构成NemyTSKII操作员的输出函数。进行理论分析是为了得出Nemytskii操作员的平滑状态并诱导特征差异的平滑歧管。从理论上讲，我们证明了平滑歧管具有一个全局LIPSCHITZ常数，该常数独立于输入数据的域，该域衍生了输入 - 不合时式认证的组公平性。

尽管现代的大规模数据集通常由异质亚群（例如，多个人口统计组或多个文本语料库）组成 - 最小化平均损失的标准实践并不能保证所有亚人群中均匀的低损失。我们提出了一个凸面程序，该过程控制给定尺寸的所有亚群中最差的表现。我们的程序包括有限样本（非参数）收敛的保证，可以保证最坏的亚群。从经验上讲，我们观察到词汇相似性，葡萄酒质量和累犯预测任务，我们最糟糕的程序学习了对不看到看不见的亚人群的模型。

Many problems in causal inference and economics can be formulated in the framework of conditional moment models, which characterize the target function through a collection of conditional moment restrictions. For nonparametric conditional moment models, efficient estimation often relies on preimposed conditions on various measures of ill-posedness of the hypothesis space, which are hard to validate when flexible models are used. In this work, we address this issue by proposing a procedure that automatically learns representations with controlled measures of ill-posedness. Our method approximates a linear representation defined by the spectral decomposition of a conditional expectation operator, which can be used for kernelized estimators and is known to facilitate minimax optimal estimation in certain settings. We show this representation can be efficiently estimated from data, and establish L2 consistency for the resulting estimator. We evaluate the proposed method on proximal causal inference tasks, exhibiting promising performance on high-dimensional, semi-synthetic data.

我们考虑为多类分类任务生产公平概率分类器的问题。我们以“投射”预先培训（且可能不公平的）分类器在满足目标群体对要求的一组模型上的“投影”来提出这个问题。新的投影模型是通过通过乘法因子后处理预训练的分类器的输出来给出的。我们提供了一种可行的迭代算法，用于计算投影分类器并得出样本复杂性和收敛保证。与最先进的基准测试的全面数值比较表明，我们的方法在准确性权衡曲线方面保持了竞争性能，同时在大型数据集中达到了有利的运行时。我们还在具有多个类别，多个相互保护组和超过1M样本的开放数据集上评估了我们的方法。

分发概括是将模型从实验室转移到现实世界时的关键挑战之一。现有努力主要侧重于源和目标域之间建立不变的功能。基于不变的功能，源域上的高性能分类可以在目标域上同样良好。换句话说，不变的功能是\ emph {transcorable}。然而，在实践中，没有完全可转换的功能，并且一些算法似乎学习比其他算法更学习“更可转移”的特征。我们如何理解和量化此类\ EMPH {可转录性}？在本文中，我们正式定义了一种可以量化和计算域泛化的可转换性。我们指出了与域之间的常见差异措施的差异和连接，例如总变化和Wassersein距离。然后，我们证明我们可以使用足够的样本估计我们的可转换性，并根据我们的可转移提供目标误差的新上限。经验上，我们评估现有算法学习的特征嵌入的可转换性，以获得域泛化。令人惊讶的是，我们发现许多算法并不完全学习可转让的功能，尽管很少有人仍然可以生存。鉴于此，我们提出了一种用于学习可转移功能的新算法，并在各种基准数据集中测试，包括RotationMnist，PACS，Office和Wilds-FMOW。实验结果表明，该算法在许多最先进的算法上实现了一致的改进，证实了我们的理论发现。

协方差估计在功能数据分析中普遍存在。然而，对多维域的功能观测的情况引入了计算和统计挑战，使标准方法有效地不适用。为了解决这个问题，我们将“协方差网络”（CoVNet）介绍为建模和估算工具。 Covnet模型是“Universal” - 它可用于近似于达到所需精度的任何协方差。此外，该模型可以有效地拟合到数据，其神经网络架构允许我们在实现中采用现代计算工具。 Covnet模型还承认了一个封闭形式的实体分解，可以有效地计算，而不构建协方差本身。这有助于在CoVnet的背景下轻松存储和随后操纵协方差。我们建立了拟议估计者的一致性，得出了汇合速度。通过广泛的仿真研究和休息状态FMRI数据的应用，证明了所提出的方法的有用性。

概率分布之间的差异措施是统计推理和机器学习的核心。在许多应用中，在不同的空格上支持感兴趣的分布，需要在数据点之间进行有意义的对应。激励明确地将一致的双向图编码为差异措施，这项工作提出了一种用于匹配的新型不平衡的Monge最佳运输制剂，达到异构体，在不同空间上的分布。我们的配方由于公制空间之间的Gromov-Haussdrow距离而受到了原则放松，并且采用了两个周期一致的地图，将每个分布推向另一个分布。我们研究了拟议的差异的结构性，并且特别表明它将流行的循环一致的生成对抗网络（GaN）框架捕获为特殊情况，从而提供理论解释它。通过计算效率激励，然后我们将差异括起来并将映射限制为参数函数类。由此产生的核化版本被创建为广义最大差异（GMMD）。研究了GMMD的经验估计的收敛速率，并提供了支持我们理论的实验。

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

由于其在不同领域的应用继续扩大和多样化，因此机器学习的公平正在越来越越来越受到关注。为了减轻不同人口组之间的区分模型行为，我们介绍了一种新的后处理方法来通过组感知阈值适应优化多个公平性约束。我们建议通过优化从分类模型输出的概率分布估计的混淆矩阵来学习每个人口统计组的自适应分类阈值。由于我们仅需要模型输出的估计概率分布而不是分类模型结构，我们的后处理模型可以应用于各种分类模型，并以模型 - 不可知方式提高公平性并确保隐私。这甚至允许我们在后处理现有的公平方法，以进一步提高准确性和公平性之间的权衡。此外，我们的模型具有低计算成本。我们为我们的优化算法的收敛性提供严格的理论分析和我们方法的准确性和公平性之间的权衡。我们的方法理论上使得能够在与现有方法相同的情况下的近最优性的更好的上限。实验结果表明，我们的方法优于最先进的方法，并获得最接近理论精度公平折衷边界的结果。

我们提出了一种学习在某些协变量反事实变化下不变的预测因子的方法。当预测目标受到不应影响预测因子输出的协变量影响时，此方法很有用。例如，对象识别模型可能会受到对象本身的位置，方向或比例的影响。我们解决了训练预测因素的问题，这些预测因素明确反对反对这种协变量的变化。我们提出了一个基于条件内核均值嵌入的模型不合稳定项，以在训练过程中实现反事实的不变性。我们证明了我们的方法的健全性，可以处理混合的分类和连续多变量属性。关于合成和现实世界数据的经验结果证明了我们方法在各种环境中的功效。

We study a natural extension of classical empirical risk minimization, where the hypothesis space is a random subspace of a given space. In particular, we consider possibly data dependent subspaces spanned by a random subset of the data, recovering as a special case Nystrom approaches for kernel methods. Considering random subspaces naturally leads to computational savings, but the question is whether the corresponding learning accuracy is degraded. These statistical-computational tradeoffs have been recently explored for the least squares loss and self-concordant loss functions, such as the logistic loss. Here, we work to extend these results to convex Lipschitz loss functions, that might not be smooth, such as the hinge loss used in support vector machines. This unified analysis requires developing new proofs, that use different technical tools, such as sub-gaussian inputs, to achieve fast rates. Our main results show the existence of different settings, depending on how hard the learning problem is, for which computational efficiency can be improved with no loss in performance.

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

尽管算法公平最近取得了进步，但通过广义线性模型（GLM）实现公平性的方法论，尽管GLM在实践中广泛使用，但尚待探索。在本文中，我们基于预期的结果或对数类似物的均衡介绍了两个公平标准。我们证明，对于GLMS，这两个标准都可以通过基于GLM的线性组件的凸惩罚项来实现，从而允许有效优化。我们还得出了由此产生的公平GLM估计器的理论特性。为了从经验上证明所提出的公平GLM的功效，我们将其与其他众所周知的公平预测方法进行了比较，以用于二进制分类和回归的广泛基准数据集。此外，我们证明了公平的GLM可以为二进制和连续结果以外的一系列响应变量产生公平的预测。

There is intense interest in applying machine learning to problems of causal inference in fields such as healthcare, economics and education. In particular, individual-level causal inference has important applications such as precision medicine. We give a new theoretical analysis and family of algorithms for predicting individual treatment effect (ITE) from observational data, under the assumption known as strong ignorability. The algorithms learn a "balanced" representation such that the induced treated and control distributions look similar. We give a novel, simple and intuitive generalization-error bound showing that the expected ITE estimation error of a representation is bounded by a sum of the standard generalization-error of that representation and the distance between the treated and control distributions induced by the representation. We use Integral Probability Metrics to measure distances between distributions, deriving explicit bounds for the Wasserstein and Maximum Mean Discrepancy (MMD) distances. Experiments on real and simulated data show the new algorithms match or outperform the state-of-the-art.

算法公平旨在识别和校正机器学习算法中的偏差源。混淆，确保公平往往以准确性为止。我们在这项工作中提供正式工具，以便在算法公平中调和这一基本紧张。具体而言，我们将帕累托最优性的概念从多目标优化中寻求神经网络分类器的公平准确性帕累托。我们证明许多现有的算法公平方法正在执行所谓的线性标定方案，其具有恢复帕累托最佳解决方案的严重限制。相反，与线性方案相比，我们将Chebyshev标准化方案从理论上提供优越，并且在恢复Pareto最佳解决方案时没有更加计算繁重。

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。