ROC曲线下的区域（又称AUC）是评估分类器不平衡数据的性能的选择。 AUC最大化是指通过直接最大化其AUC分数来学习预测模型的学习范式。它已被研究了二十年来，其历史可以追溯到90年代后期，从那时起，大量工作就致力于最大化。最近，对大数据和深度学习的深度最大化的随机AUC最大化已受到越来越多的关注，并对解决现实世界中的问题产生了巨大的影响。但是，据我们所知，没有对AUC最大化的相关作品进行全面调查。本文旨在通过回顾过去二十年来审查文献来解决差距。我们不仅给出了文献的整体看法，而且还提供了从配方到算法和理论保证的不同论文的详细解释和比较。我们还确定并讨论了深度AUC最大化的剩余和新兴问题，并就未来工作的主题提供建议。

在这个扩展的抽象，我们将介绍和讨论的机会和挑战AUC最大化（又名\下划线{\ BF d}由一个新的深度学习方法所带来的EEP \下划线{\ BF A} UC \下划线{\ BF中号} aximization或{\ BF DAM}）对于医学图像分类。由于AUC（ROC曲线下面积又名）是一个标准的性能度量医用图像的分类，因此直接优化AUC可以实现用于学习比最小化传统损耗函数（例如，交叉熵损失）深神经网络具有更好的性能。最近，出现了采用深AUC最大化为大型医疗图像分类的一种趋势。在本文中，我们将通过突出讨论这些最近的研究结果（一）通过随机非凸优化算法大坝带来的进步; （ii）在各种医用图像的分类问题的有希望的结果。然后，我们将讨论医学图像分类DAM的挑战和机遇从三个方面，功能学，大规模优化，学习值得信赖的AI模式。

X-fisk是一个介绍的术语，以代表组成量度或目标家族，其中每个数据点与一组数据点显式或隐式进行比较，以定义风险函数。它包括许多广泛使用的措施或目标在一定的召回水平上的精确度，对比目标等处于最高$ K $的位置。尽管在机器学习，计算机视觉，信息检索等文献中已经研究了这些措施/目标及其优化算法，但优化了这些措施/目标在深度学习方面遇到了一些独特的挑战。在这份技术报告中，我们通过重点关注其算法基础，调查了最近对深X风险优化（DXO）的严格努力。我们介绍了一类技术，以优化X风险以进行深度学习。我们分别将DXO分别属于非凸端优化的非凸优化问题的三个特殊家族，分别分别属于Min-Max优化，非凸组成优化和非Convex Bilevel优化。对于每个问题家族，我们提出了一些强大的基线算法及其复杂性，这将激发进一步的研究以改善现有结果。关于提出的结果和未来研究的讨论在最后进行。在www.libauc.org的libauc库中实现了用于优化各种X风险的有效算法。

在本文中，我们提出了适用于深度学习的单向和双向部分AUC（PAUC）最大化的系统和高效的基于梯度的方法。我们通过使用分布强大的优化（DRO）来定义每个单独的积极数据的损失，提出了PAUC替代目标的新公式。我们考虑了两种DRO的配方，其中一种是基于条件 - 价值风险（CVAR），该风险（CVAR）得出了PAUC的非平滑但精确的估计器，而另一个基于KL差异正则DRO产生不确定的dro。但是PAUC的平滑（软）估计器。对于单向和双向PAUC最大化，我们提出了两种算法，并证明了它们分别优化其两种配方的收敛性。实验证明了所提出的算法对PAUC最大化的有效性，以对各种数据集进行深度学习。

本文重点介绍了解决光滑非凸强凹入最小问题的随机方法，这导致了由于其深度学习中的潜在应用而受到越来越长的关注（例如，深度AUC最大化，分布鲁棒优化）。然而，大多数现有算法在实践中都很慢，并且它们的分析围绕到几乎静止点的收敛。我们考虑利用Polyak-\ L Ojasiewicz（PL）条件来设计更快的随机算法，具有更强的收敛保证。尽管已经用于设计许多随机最小化算法的PL条件，但它们对非凸敏最大优化的应用仍然罕见。在本文中，我们提出并分析了基于近端的跨越时代的方法的通用框架，许多众所周知的随机更新嵌入。以{\ BF原始物镜差和二元间隙}的方式建立快速收敛。与现有研究相比，（i）我们的分析基于一个新的Lyapunov函数，包括原始物理差距和正则化功能的二元间隙，（ii）结果更加全面，提高了更好的依赖性的速率不同假设下的条件号。我们还开展深层和非深度学习实验，以验证我们的方法的有效性。

在本文中，我们提出了一种实用的在线方法，用于解决具有非凸面目标的一类分布稳健优化（DRO），这在机器学习中具有重要应用，以改善神经网络的稳健性。在文献中，大多数用于解决DRO的方法都基于随机原始方法。然而，DRO的原始方法患有几个缺点：（1）操纵对应于数据尺寸的高维双变量是昂贵的; （2）他们对网上学习不友好，其中数据顺序地发表。为了解决这些问题，我们考虑一类具有KL发散正则化的Dual变量的DRO，将MIN-MAX问题转换为组成最小化问题，并提出了无需较大的批量批量的无需线在线随机方法。我们建立了所提出的方法的最先进的复杂性，而无需多达\ L Ojasiewicz（PL）条件。大规模深度学习任务（i）的实证研究表明，我们的方法可以将培训加速超过2次，而不是基线方法，并在带有$ \ SIM $ 265K图像的大型数据集上节省培训时间。 （ii）验证DRO对实证数据集上的经验风险最小化（ERM）的最高表现。独立兴趣，所提出的方法也可用于解决与最先进的复杂性的随机成分问题家族。

在本文中，我们研究了多块最小双重双层优化问题，其中上层是非凸线的最小值最小值目标，而下层级别是一个强烈的凸目标，并且有多个双重变量块和下层级别。问题。由于交织在一起的多块最小双重双重结构，每次迭代处的计算成本可能高高，尤其是在大量块中。为了应对这一挑战，我们提出了一种单循环随机随机算法，该算法需要在每次迭代时仅恒定数量的块进行更新。在对问题的一些温和假设下，我们建立了$ \ Mathcal {o}（1/\ Epsilon^4）$的样本复杂性，用于查找$ \ epsilon $ - 稳定点。这匹配了在一般无偏见的随机甲骨文模型下求解随机非convex优化的最佳复杂性。此外，我们在多任务深度AUC（ROC曲线下）最大化和多任务深度部分AUC最大化中提供了两种应用。实验结果验证了我们的理论，并证明了我们方法对数百个任务问题的有效性。

ROC（AUROC）和精密召回曲线（AUPRC）的区域是用于评估不平衡问题的分类性能的常见度量。与AUROC相比，AUPRC是一个更合适的度量，用于高度不平衡的数据集。虽然已经广泛研究了Auroc的随机优化，但Auprc的原则随机优化已经很少被探索。在这项工作中，我们提出了一个原则的技术方法来优化Auprc进行深度学习。我们的方法是基于最大化平均精度（AP），这是Auprc的一个非偏见点估计器。我们将目标分为{\ IT依赖的组成函数}的总和，内部函数取决于外层的随机变量。通过利用随机成分优化的最新进展，我们提出了具有{\ IT可提供的收敛保证的皂的适应性和非自适应随机算法。图像和图表数据集的广泛实验结果表明，我们所提出的方法在AUPRC方面占据了对不平衡问题的现有方法。据我们所知，我们的工作代表了第一次尝试使用可提供的融合优化AUPRC。 SOAP已在Libauc库中在〜\ URL {https://libauc.org/}中实现。

最近的作品揭示了设计损失功能的基本范式，该损失功能与骨料损失不同。单个损失衡量样本上模型的质量，而总损失结合了每个训练样本的个体损失/分数。两者都有一个共同的过程，将一组单个值集合到单个数值值。排名顺序反映了设计损失时个人价值观之间最基本的关系。此外，可以将损失分解成单个术语的合奏的可分解性成为组织损失/得分的重要特性。这项调查对机器学习中的基于等级的可分解损失进行了系统的全面审查。具体而言，我们提供了损失功能的新分类法，遵循总损失和个人损失的观点。我们确定聚合器以形成此类损失，这是集合功能的示例。我们将基于等级的分解损失组织为八类。遵循这些类别，我们回顾有关基于等级的总损失和基于等级的个人损失的文献。我们描述了这些损失的一般公式，并将其与现有的研究主题联系起来。我们还建议未来的研究方向涵盖基于等级的可分解损失的未开发，剩余和新兴问题。

In this paper, we tackle a novel federated learning (FL) problem for optimizing a family of X-risks, to which no existing FL algorithms are applicable. In particular, the objective has the form of $\mathbb E_{z\sim S_1} f(\mathbb E_{z'\sim S_2} \ell(w; z, z'))$, where two sets of data $S_1, S_2$ are distributed over multiple machines, $\ell(\cdot)$ is a pairwise loss that only depends on the prediction outputs of the input data pairs $(z, z')$, and $f(\cdot)$ is possibly a non-linear non-convex function. This problem has important applications in machine learning, e.g., AUROC maximization with a pairwise loss, and partial AUROC maximization with a compositional loss. The challenges for designing an FL algorithm lie in the non-decomposability of the objective over multiple machines and the interdependency between different machines. To address the challenges, we propose an active-passive decomposition framework that decouples the gradient's components with two types, namely active parts and passive parts, where the active parts depend on local data that are computed with the local model and the passive parts depend on other machines that are communicated/computed based on historical models and samples. Under this framework, we develop two provable FL algorithms (FeDXL) for handling linear and nonlinear $f$, respectively, based on federated averaging and merging. We develop a novel theoretical analysis to combat the latency of the passive parts and the interdependency between the local model parameters and the involved data for computing local gradient estimators. We establish both iteration and communication complexities and show that using the historical samples and models for computing the passive parts do not degrade the complexities. We conduct empirical studies of FeDXL for deep AUROC and partial AUROC maximization, and demonstrate their performance compared with several baselines.

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

在结果决策中使用机器学习模型通常会加剧社会不平等，特别是对种族和性别定义的边缘化群体成员产生不同的影响。 ROC曲线（AUC）下的区域被广泛用于评估机器学习中评分功能的性能，但与其他性能指标相比，在算法公平性中进行了研究。由于AUC的成对性质，定义基于AUC的组公平度量是成对依赖性的，并且可能涉及\ emph {group}和\ emph {group} aucs。重要的是，仅考虑一种AUC类别不足以减轻AUC优化的不公平性。在本文中，我们提出了一个最小值学习和偏置缓解框架，该框架既包含组内和组间AUC，同时保持实用性。基于这个Rawlsian框架，我们设计了一种有效的随机优化算法，并证明了其收敛到最小组级AUC。我们对合成数据集和现实数据集进行了数值实验，以验证Minimax框架的有效性和所提出的优化算法。

在本文中，我们考虑基于移动普通（SEMA）的广泛使用但不完全了解随机估计器，其仅需要{\ bf是一般无偏的随机oracle}。我们展示了Sema在一系列随机非凸优化问题上的力量。特别是，我们分析了基于SEMA的SEMA的{\ BF差异递归性能的各种随机方法（现有或新提出），即三个非凸优化，即标准随机非凸起最小化，随机非凸强烈凹入最小最大优化，随机均方优化。我们的贡献包括：（i）对于标准随机非凸起最小化，我们向亚当风格方法（包括ADAM，AMSGRAD，Adabound等）提供了一个简单而直观的融合证明，随着越来越大的“势头” “一阶时刻的参数，它给出了一种替代但更自然的方式来保证亚当融合; （ii）对于随机非凸强度凹入的最小值优化，我们介绍了一种基于移动平均估计器的单环原始 - 双随机动量和自适应方法，并确定其Oracle复杂性$ O（1 / \ epsilon ^ 4）$不使用大型批量大小，解决文献中的差距; （iii）对于随机双脚优化，我们介绍了一种基于移动平均估计器的单环随机方法，并确定其Oracle复杂性$ \ widetilde o（1 / \ epsilon ^ 4）$，而无需计算Hessian矩阵的SVD，改善最先进的结果。对于所有这些问题，我们还建立了使用随机梯度估计器的差异递减结果。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

ROC曲线（AUC）下的面积是机器学习的关键指标，它评估了所有可能的真实正率（TPR）和假阳性率（FPRS）的平均性能。基于以下知识：熟练的分类器应同时拥抱高的TPR和低FPR，我们转向研究一个更通用的变体，称为双向部分AUC（TPAUC），其中只有$ \ Mathsf {Tpr} \ ge ge ge ge \ alpha，\ mathsf {fpr} \ le \ beta $包含在该区域中。此外，最近的工作表明，TPAUC与现有的部分AUC指标基本上不一致，在该指标中，只有FPR范围受到限制，为寻求解决方案以利用高TPAUC开辟了一个新问题。在此激励的情况下，我们在本文中提出了优化该新指标的第一个试验。本课程的关键挑战在于难以通过端到端随机训练进行基于梯度的优化，即使有适当的替代损失选择。为了解决这个问题，我们提出了一个通用框架来构建替代优化问题，该问题支持有效的端到端培训，并深入学习。此外，我们的理论分析表明：1）替代问题的目标函数将在轻度条件下实现原始问题的上限，2）优化替代问题会导致TPAUC的良好概括性能，并且具有很高的可能性。最后，对几个基准数据集的实证研究表达了我们框架的功效。

成对目标范例是机器学习的重要方面。使用成对目标功能的机器学习方法的示例包括面部识别，度量学习，两分性学习，多个内核学习以及曲线下面积（AUC）最大化的差异网络。与点学习相比，成对学习的样本量随样本数量的数量二次增长，从而使其复杂性增长。研究人员主要通过使用在线学习系统来应对这一挑战。然而，最近的研究为平滑损失功能提供了自适应样本量训练，作为融合和复杂性方面的更好策略，但没有全面的理论研究。在一项独特的研究方面，重要性抽样引发了有限的角度最小化的极大兴趣。这是因为随机梯度方差，这会导致收敛大大减慢。在本文中，我们将自适应样本量和对成对学习的重要性采样技术结合在一起，并保证非平滑凸成对损失函数的收敛保证。特别是，使用扩展的训练集对模型进行随机训练，以针对从稳定性边界得出的预定义数量的迭代。此外，我们证明在每次迭代时进行采样相反的实例会降低梯度的方差，从而加速收敛。 AUC最大化中各种数据集的实验证实了理论结果。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.

梯度下降上升（GDA），最简单的单环路算法用于非凸起最小化优化，广泛用于实际应用，例如生成的对抗网络（GANS）和对抗性训练。尽管其理想的简单性，最近的工作表明了理论上的GDA的较差收敛率，即使在一侧对象的强凹面也是如此。本文为两个替代的单环算法建立了新的收敛结果 - 交替GDA和平滑GDA - 在温和的假设下，目标对一个变量的polyak-lojasiewicz（pl）条件满足Polyak-lojasiewicz（pl）条件。我们证明，找到一个$ \ epsilon $ -stationary点，（i）交替的GDA及其随机变体（没有迷你批量），分别需要$ o（\ kappa ^ {2} \ epsilon ^ { - 2}）$和$ o（\ kappa ^ {4} \ epsilon ^ {-4}）$迭代，而（ii）平滑gda及其随机变体（没有迷你批次）分别需要$ o（\ kappa \ epsilon ^ { - 2}） $和$ o（\ kappa ^ {2} \ epsilon ^ { - 4}）$迭代。后者大大改善了Vanilla GDA，并在类似的环境下给出了单环算法之间的最佳已知复杂性结果。我们进一步展示了这些算法在训练GAN和强大的非线性回归中的经验效率。

许多实际优化问题涉及不确定的参数，这些参数具有概率分布，可以使用上下文特征信息来估算。与首先估计不确定参数的分布然后基于估计优化目标的标准方法相反，我们提出了一个\ textIt {集成条件估计 - 优化}（ICEO）框架，该框架估计了随机参数的潜在条件分布同时考虑优化问题的结构。我们将随机参数的条件分布与上下文特征之间的关系直接建模，然后以与下游优化问题对齐的目标估算概率模型。我们表明，我们的ICEO方法在适度的规律性条件下渐近一致，并以概括范围的形式提供有限的性能保证。在计算上，使用ICEO方法执行估计是一种非凸面且通常是非差异的优化问题。我们提出了一种通用方法，用于近似从估计的条件分布到通过可区分函数的最佳决策的潜在非差异映射，这极大地改善了应用于非凸问题的基于梯度的算法的性能。我们还提供了半代理案例中的多项式优化解决方案方法。还进行了数值实验，以显示我们在不同情况下的方法的经验成功，包括数据样本和模型不匹配。