由于它们对社会决策产生至关重要的影响，因此AI算法不仅应该是准确的，而且应该是公平的。在公平性AI的各种算法中，通过最大程度地降低受特定公平限制的经验风险（例如，跨熵）来学习预测模型。但是，为避免计算困难，给定的公平限制被替代公平限制代替，因为0-1损失被分类问题的凸替代损失所取代。在本文中，我们调查了现有的替代公平限制的有效性，并提出了一种称为幻灯片的新替代公平约束，该公平性在计算上是可行的，并且在渐近上有效，从而使学识渊博的模型无效地满足公平性约束并实现快速融合率。数值实验证实，幻灯片适用于各种基准数据集。

由于它们对社会决策产生至关重要的影响，因此AI算法不仅应该是准确的，而且应该是公平的。在公平性AI的各种算法中，学习公平代表（LFR）的目标是在诸如性别和种族等敏感变量方面找到公平的代表，并受到了很多关注。对于LFR，对抗训练方案通常像生成对抗网络类型算法一样使用。但是，歧视者的选择是在没有理由的情况下进行的。在本文中，我们为LFR提出了一种新的对抗训练方案，其中使用具有特定参数鉴别因子家族的积分概率度量（IPM）。提出的LFR算法的最显着结果是其关于最终预测模型公平性的理论保证，尚未考虑。也就是说，我们在表示的公平性与在表示顶部建立的预测模型的公平性之间得出了理论关系（即将表示形式用作输入）。此外，通过数值实验，我们表明我们提出的LFR算法在计算上更轻且更稳定，并且最终的预测模型具有竞争性或优于其他LFR算法，使用更复杂的鉴别器。

尽管大规模的经验风险最小化（ERM）在各种机器学习任务中取得了高精度，但公平的ERM受到公平限制与随机优化的不兼容的阻碍。我们考虑具有离散敏感属性以及可能需要随机求解器的可能性大型模型和数据集的公平分类问题。现有的内部处理公平算法在大规模设置中要么是不切实际的，因为它们需要在每次迭代时进行大量数据，要么不保证它们会收敛。在本文中，我们开发了第一个具有保证收敛性的随机内处理公平算法。对于人口统计学，均衡的赔率和公平的机会均等的概念，我们提供了算法的略有变化，称为Fermi，并证明这些变化中的每一个都以任何批次大小收敛于随机优化。从经验上讲，我们表明Fermi适合具有多个（非二进制）敏感属性和非二进制目标的随机求解器，即使Minibatch大小也很小，也可以很好地表现。广泛的实验表明，与最先进的基准相比，FERMI实现了所有经过测试的设置之间的公平违规和测试准确性之间最有利的权衡，该基准是人口统计学奇偶校验，均衡的赔率，均等机会，均等机会。这些好处在小批量的大小和非二元分类具有大量敏感属性的情况下尤其重要，这使得费米成为大规模问题的实用公平算法。

尽管学习已成为现代信息处理的核心组成部分，但现在有足够的证据表明它可以导致偏见，不安全和有偏见的系统。因此，对学习要求施加要求至关重要，尤其是在达到社会，工业和医疗领域的关键应用程序时。但是，大多数现代统计问题的非跨性别性只有通过限制引入而加剧。尽管通常可以使用经验风险最小化来学习良好的无约束解决方案，即使获得满足统计约束的模型也可能具有挑战性。更重要的是，一个好。在本文中，我们通过在经验双重领域中学习来克服这个问题，在经验的双重领域中，统计学上的统计学习问题变得不受限制和确定性。我们通过界定经验二元性差距来分析这种方法的概括特性 - 即，我们的近似，可拖动解决方案与原始（非凸）统计问题的解决方案之间的差异 - 并提供实用的约束学习算法。这些结果建立了与经典学习理论的约束，从而可以明确地在学习中使用约束。我们说明了这种理论和算法受到速率受限的学习应用，这是在公平和对抗性鲁棒性中产生的。

该工作研究限制了随机函数是凸的，并表示为随机函数的组成。问题是在公平分类，公平回归和排队系统设计的背景下出现的。特别令人感兴趣的是甲骨文提供组成函数的随机梯度的大规模设置，目标是用最小对Oracle的调用来解决问题。由于组成形式，Oracle提供的随机梯度不会产生目标或约束梯度的无偏估计。取而代之的是，我们通过跟踪内部函数评估来构建近似梯度，从而导致准差鞍点算法。我们证明，所提出的算法几乎可以肯定地找到最佳和可行的解决方案。我们进一步确定所提出的算法需要$ \ MATHCAL {O}（1/\ EPSILON^4）$数据样本，以便获得$ \ epsilon $ -Approximate-approximate-apptroximate Pointal点，同时也确保零约束违反。该结果与无约束问题的随机成分梯度下降方法的样品复杂性相匹配，并改善了受约束设置的最著名样品复杂性结果。在公平分类和公平回归问题上测试了所提出的算法的功效。数值结果表明，根据收敛速率，所提出的算法优于最新算法。

我们在具有不对称损耗功能的数据丰富的环境中研究了二元选择问题。经济学学文献涵盖非参数二元选择问题，但在富含数据的环境中没有提供计算上有吸引力的解决方案。机器学习文献具有许多算法，但主要集中在独立于协变量的损耗功能上。我们表明，通过基于损失的损失的重量或最先进的机器学习技术，可以通过非常简单的损失的重量来实现关于与一般损失函数的二元成果的理论上有效决策。我们将我们的分析应用于审前拘留中的种族正义。

针对社会福利计划中个人的干预措施的主要问题之一是歧视：个性化治疗可能导致跨年龄，性别或种族等敏感属性的差异。本文解决了公平有效的治疗分配规则的设计问题。我们采用了第一次的非遗憾视角，没有危害：我们选择了帕累托边境中最公平的分配。我们将优化投入到混合构成线性程序公式中，可以使用现成的算法来解决。我们对估计的政策功能的不公平性和在帕累托前沿的不公平保证在一般公平概念下的不公平性范围内得出了遗憾。最后，我们使用教育经济学的应用来说明我们的方法。

最近的研究表明，看似公平的机器学习模型在为对人们的生活或福祉产生影响的决策提供信息（例如，涉及教育，就业和贷款的申请）可能会在长期内无意中增加社会不平等。这是因为先前的公平意识算法仅考虑静态公平限制，例如机会均等或人口统计奇偶。但是，强制执行这种类型的限制可能会导致模型对处境不利的个人和社区产生负面影响。我们介绍ELF（执行长期公平性），这是第一个分类算法，可提供高信任公平保证，以长期或延迟影响。我们证明，ELF返回不公平解决方案的概率小于用户指定的公差，并且（在轻度假设下），如果有足够的培训数据，ELF能够找到并返回公平的解决方案，如果存在一个公平的解决方案。我们通过实验表明，我们的算法可以成功缓解长期不公平。

我们提出了简单的主动采样和重新重量策略，以优化最小最大公平性，可以应用于通过损耗最小化学习的任何分类或回归模型。我们的方法背后的关键直觉是在每个TIMESTEP中使用来自当前模型中最差的组的DataPoint，以更新模型。实施的易于实现和我们稳健的制定的一般性使其成为提高糟糕表现群体的模型性能的有吸引力的选择。对于凸起的学习问题，如线性或逻辑回归，我们提供了对我们的策略的细粒度分析，证明了其收敛速度对Min-Max Fair解决方案。

在负面的感知问题中，我们给出了$ n $数据点$（{\ boldsymbol x} _i，y_i）$，其中$ {\ boldsymbol x} _i $是$ d $ -densional vector和$ y_i \ in \ { + 1，-1 \} $是二进制标签。数据不是线性可分离的，因此我们满足自己的内容，以找到最大的线性分类器，具有最大的\ emph {否定}余量。换句话说，我们想找到一个单位常规矢量$ {\ boldsymbol \ theta} $，最大化$ \ min_ {i \ le n} y_i \ langle {\ boldsymbol \ theta}，{\ boldsymbol x} _i \ rangle $ 。这是一个非凸优化问题（它相当于在Polytope中找到最大标准矢量），我们在两个随机模型下研究其典型属性。我们考虑比例渐近，其中$ n，d \ to \ idty $以$ n / d \ to \ delta $，并在最大边缘$ \ kappa _ {\ text {s}}（\ delta）上证明了上限和下限）$或 - 等效 - 在其逆函数$ \ delta _ {\ text {s}}（\ kappa）$。换句话说，$ \ delta _ {\ text {s}}（\ kappa）$是overparametization阈值：以$ n / d \ le \ delta _ {\ text {s}}（\ kappa） - \ varepsilon $一个分类器实现了消失的训练错误，具有高概率，而以$ n / d \ ge \ delta _ {\ text {s}}（\ kappa）+ \ varepsilon $。我们在$ \ delta _ {\ text {s}}（\ kappa）$匹配，以$ \ kappa \ to - \ idty $匹配。然后，我们分析了线性编程算法来查找解决方案，并表征相应的阈值$ \ delta _ {\ text {lin}}（\ kappa）$。我们观察插值阈值$ \ delta _ {\ text {s}}（\ kappa）$和线性编程阈值$ \ delta _ {\ text {lin {lin}}（\ kappa）$之间的差距，提出了行为的问题其他算法。

我们考虑为多类分类任务生产公平概率分类器的问题。我们以“投射”预先培训（且可能不公平的）分类器在满足目标群体对要求的一组模型上的“投影”来提出这个问题。新的投影模型是通过通过乘法因子后处理预训练的分类器的输出来给出的。我们提供了一种可行的迭代算法，用于计算投影分类器并得出样本复杂性和收敛保证。与最先进的基准测试的全面数值比较表明，我们的方法在准确性权衡曲线方面保持了竞争性能，同时在大型数据集中达到了有利的运行时。我们还在具有多个类别，多个相互保护组和超过1M样本的开放数据集上评估了我们的方法。

We introduce a tunable loss function called $\alpha$-loss, parameterized by $\alpha \in (0,\infty]$, which interpolates between the exponential loss ($\alpha = 1/2$), the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$), for the machine learning setting of classification. Theoretically, we illustrate a fundamental connection between $\alpha$-loss and Arimoto conditional entropy, verify the classification-calibration of $\alpha$-loss in order to demonstrate asymptotic optimality via Rademacher complexity generalization techniques, and build-upon a notion called strictly local quasi-convexity in order to quantitatively characterize the optimization landscape of $\alpha$-loss. Practically, we perform class imbalance, robustness, and classification experiments on benchmark image datasets using convolutional-neural-networks. Our main practical conclusion is that certain tasks may benefit from tuning $\alpha$-loss away from log-loss ($\alpha = 1$), and to this end we provide simple heuristics for the practitioner. In particular, navigating the $\alpha$ hyperparameter can readily provide superior model robustness to label flips ($\alpha > 1$) and sensitivity to imbalanced classes ($\alpha < 1$).

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

转移学习或域适应性与机器学习问题有关，在这些问题中，培训和测试数据可能来自可能不同的概率分布。在这项工作中，我们在Russo和Xu发起的一系列工作之后，就通用错误和转移学习算法的过量风险进行了信息理论分析。我们的结果也许表明，也许正如预期的那样，kullback-leibler（kl）Divergence $ d（\ mu || \ mu'）$在$ \ mu $和$ \ mu'$表示分布的特征中起着重要作用。培训数据和测试测试。具体而言，我们为经验风险最小化（ERM）算法提供了概括误差上限，其中两个分布的数据在训练阶段都可用。我们进一步将分析应用于近似的ERM方法，例如Gibbs算法和随机梯度下降方法。然后，我们概括了与$ \ phi $ -Divergence和Wasserstein距离绑定的共同信息。这些概括导致更紧密的范围，并且在$ \ mu $相对于$ \ mu' $的情况下，可以处理案例。此外，我们应用了一套新的技术来获得替代的上限，该界限为某些学习问题提供了快速（最佳）的学习率。最后，受到派生界限的启发，我们提出了Infoboost算法，其中根据信息测量方法对源和目标数据的重要性权重进行了调整。经验结果表明了所提出的算法的有效性。

我们认为随机梯度下降及其在繁殖内核希尔伯特空间中二进制分类问题的平均变体。在使用损失函数的一致性属性的传统分析中，众所周知，即使在条件标签概率上假设低噪声状态时，预期的分类误差也比预期风险更慢。因此，最终的速率为sublinear。因此，重要的是要考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，随机梯度下降的指数收敛速率在强烈的低噪声条件下显示，但前提是理论分析仅限于平方损耗函数，这对于二元分类任务来说是不足的。在本文中，我们在随机梯度下降的最后阶段中显示了预期分类误差的指数收敛性，用于在相似的假设下进行一类宽类可区分的凸损失函数。至于平均的随机梯度下降，我们表明相同的收敛速率来自训练的早期阶段。在实验中，我们验证了对$ L_2 $调查的逻辑回归的分析。

机器学习中的歧视通常沿多个维度（又称保护属性）出现；因此，希望确保\ emph {交叉公平} - 即，没有任何子组受到歧视。众所周知，确保\ emph {边际公平}对于每个维度而言，独立不够。但是，由于亚组的指数数量，直接测量数据交叉公平性是不可能的。在本文中，我们的主要目标是通过统计分析详细了解边际和交叉公平之间的关系。我们首先确定一组足够的条件，在这些条件下可以获得确切的关系。然后，在一般情况下，我们证明了相交公平性的高概率的界限（通过边际公平和其他有意义的统计量很容易计算）。除了它们的描述价值之外，我们还可以利用这些理论界限来得出一种启发式，从而通过以相关的方式选择了我们描述相交子组的保护属性来改善交叉公平的近似和边界。最后，我们测试了实际和合成数据集的近似值和界限的性能。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

尽管现代的大规模数据集通常由异质亚群（例如，多个人口统计组或多个文本语料库）组成 - 最小化平均损失的标准实践并不能保证所有亚人群中均匀的低损失。我们提出了一个凸面程序，该过程控制给定尺寸的所有亚群中最差的表现。我们的程序包括有限样本（非参数）收敛的保证，可以保证最坏的亚群。从经验上讲，我们观察到词汇相似性，葡萄酒质量和累犯预测任务，我们最糟糕的程序学习了对不看到看不见的亚人群的模型。

我们提出了一种惩罚的非参数方法，以使用整流器二次单元（REEND）激活了深层神经网络，以估计不可分割的模型中的分位数回归过程（QRP），并引入了新的惩罚函数，以实施对瓦解回归曲线的非交叉。我们为估计的QRP建立了非反应过量的风险界限，并在轻度平滑度和规律性条件下得出估计的QRP的平均综合平方误差。为了建立这些非反应风险和估计误差范围，我们还使用$ s> 0 $及其衍生物及其衍生物使用所需的激活的神经网络开发了一个新的错误，用于近似$ c^s $平滑功能。这是必需网络的新近似结果，并且具有独立的兴趣，并且可能在其他问题中有用。我们的数值实验表明，所提出的方法具有竞争性或胜过两种现有方法，包括使用再现核和随机森林的方法，用于非参数分位数回归。

We study a natural extension of classical empirical risk minimization, where the hypothesis space is a random subspace of a given space. In particular, we consider possibly data dependent subspaces spanned by a random subset of the data, recovering as a special case Nystrom approaches for kernel methods. Considering random subspaces naturally leads to computational savings, but the question is whether the corresponding learning accuracy is degraded. These statistical-computational tradeoffs have been recently explored for the least squares loss and self-concordant loss functions, such as the logistic loss. Here, we work to extend these results to convex Lipschitz loss functions, that might not be smooth, such as the hinge loss used in support vector machines. This unified analysis requires developing new proofs, that use different technical tools, such as sub-gaussian inputs, to achieve fast rates. Our main results show the existence of different settings, depending on how hard the learning problem is, for which computational efficiency can be improved with no loss in performance.