ROC曲线（AUROC）下的区域已大力应用于分类不平衡，此外，与深度学习技术相结合。但是，没有现有的工作为同行选择适当的深度AUROC最大化技术提供合理的信息。在这项工作中，我们从三个方面填补了这一空白。 （i）我们基准具有各种损失函数，具有不同的算法选择，用于深度AUROC优化问题。我们研究了两类损失功能：成对损失和复合损失，其中包括10个损失函数。有趣的是，我们发现综合损失是一种创新的损失函数类别，比训练收敛和测试概括视角的成对损失表现出更具竞争力的性能。然而，带有更损坏的标签的数据有利于成对的对称损失。 （ii）此外，我们基准并强调了基本算法选择，例如正采样率，正则化，归一化/激活和优化器。主要发现包括：较高的阳性采样率可能对深度AUROC最大化有益；不同的数据集有利于不同的正规化权重；适当的归一化技术，例如Sigmoid和$ \ ell_2 $得分归一化，可以提高模型性能。 （iii）为了优化方面，我们基于成对和复合损失的SGD型，动量类型和ADAM型优化器。我们的发现表明，尽管从训练的角度来看，亚当型方法更具竞争力，但从测试角度来看，它并不优于其他方法。

在本文中，我们提出了适用于深度学习的单向和双向部分AUC（PAUC）最大化的系统和高效的基于梯度的方法。我们通过使用分布强大的优化（DRO）来定义每个单独的积极数据的损失，提出了PAUC替代目标的新公式。我们考虑了两种DRO的配方，其中一种是基于条件 - 价值风险（CVAR），该风险（CVAR）得出了PAUC的非平滑但精确的估计器，而另一个基于KL差异正则DRO产生不确定的dro。但是PAUC的平滑（软）估计器。对于单向和双向PAUC最大化，我们提出了两种算法，并证明了它们分别优化其两种配方的收敛性。实验证明了所提出的算法对PAUC最大化的有效性，以对各种数据集进行深度学习。

ROC（AUROC）和精密召回曲线（AUPRC）的区域是用于评估不平衡问题的分类性能的常见度量。与AUROC相比，AUPRC是一个更合适的度量，用于高度不平衡的数据集。虽然已经广泛研究了Auroc的随机优化，但Auprc的原则随机优化已经很少被探索。在这项工作中，我们提出了一个原则的技术方法来优化Auprc进行深度学习。我们的方法是基于最大化平均精度（AP），这是Auprc的一个非偏见点估计器。我们将目标分为{\ IT依赖的组成函数}的总和，内部函数取决于外层的随机变量。通过利用随机成分优化的最新进展，我们提出了具有{\ IT可提供的收敛保证的皂的适应性和非自适应随机算法。图像和图表数据集的广泛实验结果表明，我们所提出的方法在AUPRC方面占据了对不平衡问题的现有方法。据我们所知，我们的工作代表了第一次尝试使用可提供的融合优化AUPRC。 SOAP已在Libauc库中在〜\ URL {https://libauc.org/}中实现。

ROC曲线下的区域（又称AUC）是评估分类器不平衡数据的性能的选择。 AUC最大化是指通过直接最大化其AUC分数来学习预测模型的学习范式。它已被研究了二十年来，其历史可以追溯到90年代后期，从那时起，大量工作就致力于最大化。最近，对大数据和深度学习的深度最大化的随机AUC最大化已受到越来越多的关注，并对解决现实世界中的问题产生了巨大的影响。但是，据我们所知，没有对AUC最大化的相关作品进行全面调查。本文旨在通过回顾过去二十年来审查文献来解决差距。我们不仅给出了文献的整体看法，而且还提供了从配方到算法和理论保证的不同论文的详细解释和比较。我们还确定并讨论了深度AUC最大化的剩余和新兴问题，并就未来工作的主题提供建议。

In this paper, we present a simple yet effective method (ABSGD) for addressing the data imbalance issue in deep learning. Our method is a simple modification to momentum SGD where we leverage an attentional mechanism to assign an individual importance weight to each gradient in the mini-batch. Unlike many existing heuristic-driven methods for tackling data imbalance, our method is grounded in {\it theoretically justified distributionally robust optimization (DRO)}, which is guaranteed to converge to a stationary point of an information-regularized DRO problem. The individual-level weight of a sampled data is systematically proportional to the exponential of a scaled loss value of the data, where the scaling factor is interpreted as the regularization parameter in the framework of information-regularized DRO. Compared with existing class-level weighting schemes, our method can capture the diversity between individual examples within each class. Compared with existing individual-level weighting methods using meta-learning that require three backward propagations for computing mini-batch stochastic gradients, our method is more efficient with only one backward propagation at each iteration as in standard deep learning methods. To balance between the learning of feature extraction layers and the learning of the classifier layer, we employ a two-stage method that uses SGD for pretraining followed by ABSGD for learning a robust classifier and finetuning lower layers. Our empirical studies on several benchmark datasets demonstrate the effectiveness of the proposed method.

本文重点介绍了解决光滑非凸强凹入最小问题的随机方法，这导致了由于其深度学习中的潜在应用而受到越来越长的关注（例如，深度AUC最大化，分布鲁棒优化）。然而，大多数现有算法在实践中都很慢，并且它们的分析围绕到几乎静止点的收敛。我们考虑利用Polyak-\ L Ojasiewicz（PL）条件来设计更快的随机算法，具有更强的收敛保证。尽管已经用于设计许多随机最小化算法的PL条件，但它们对非凸敏最大优化的应用仍然罕见。在本文中，我们提出并分析了基于近端的跨越时代的方法的通用框架，许多众所周知的随机更新嵌入。以{\ BF原始物镜差和二元间隙}的方式建立快速收敛。与现有研究相比，（i）我们的分析基于一个新的Lyapunov函数，包括原始物理差距和正则化功能的二元间隙，（ii）结果更加全面，提高了更好的依赖性的速率不同假设下的条件号。我们还开展深层和非深度学习实验，以验证我们的方法的有效性。

In this paper, we tackle a novel federated learning (FL) problem for optimizing a family of X-risks, to which no existing FL algorithms are applicable. In particular, the objective has the form of $\mathbb E_{z\sim S_1} f(\mathbb E_{z'\sim S_2} \ell(w; z, z'))$, where two sets of data $S_1, S_2$ are distributed over multiple machines, $\ell(\cdot)$ is a pairwise loss that only depends on the prediction outputs of the input data pairs $(z, z')$, and $f(\cdot)$ is possibly a non-linear non-convex function. This problem has important applications in machine learning, e.g., AUROC maximization with a pairwise loss, and partial AUROC maximization with a compositional loss. The challenges for designing an FL algorithm lie in the non-decomposability of the objective over multiple machines and the interdependency between different machines. To address the challenges, we propose an active-passive decomposition framework that decouples the gradient's components with two types, namely active parts and passive parts, where the active parts depend on local data that are computed with the local model and the passive parts depend on other machines that are communicated/computed based on historical models and samples. Under this framework, we develop two provable FL algorithms (FeDXL) for handling linear and nonlinear $f$, respectively, based on federated averaging and merging. We develop a novel theoretical analysis to combat the latency of the passive parts and the interdependency between the local model parameters and the involved data for computing local gradient estimators. We establish both iteration and communication complexities and show that using the historical samples and models for computing the passive parts do not degrade the complexities. We conduct empirical studies of FeDXL for deep AUROC and partial AUROC maximization, and demonstrate their performance compared with several baselines.

Precision-Recall曲线（AUPRC）下区域的随机优化是机器学习的关键问题。尽管已经对各种算法进行了广泛研究以进行AUPRC优化，但仅在多Query情况下保证了概括。在这项工作中，我们介绍了随机AUPRC优化的一次性概括中的第一个试验。对于更庞大的概括范围，我们专注于算法依赖性概括。我们目的地都有算法和理论障碍。从算法的角度来看，我们注意到，仅当采样策略偏见时，大多数现有随机估计器才会偏向，并且由于不可兼容性而不稳定。为了解决这些问题，我们提出了一个具有卓越稳定性的采样率不变的无偏随机估计器。最重要的是，AUPRC优化是作为组成优化问题配制的，并提出了随机算法来解决此问题。从理论的角度来看，算法依赖性概括分析的标准技术不能直接应用于这种列表的组成优化问题。为了填补这一空白，我们将模型稳定性从实例损失扩展到列表损失，并弥合相应的概括和稳定性。此外，我们构建状态过渡矩阵以描述稳定性的复发，并通过矩阵频谱简化计算。实际上，关于三个图像检索数据集的实验结果谈到了我们框架的有效性和健全性。

在本文中，我们提出了一种实用的在线方法，用于解决具有非凸面目标的一类分布稳健优化（DRO），这在机器学习中具有重要应用，以改善神经网络的稳健性。在文献中，大多数用于解决DRO的方法都基于随机原始方法。然而，DRO的原始方法患有几个缺点：（1）操纵对应于数据尺寸的高维双变量是昂贵的; （2）他们对网上学习不友好，其中数据顺序地发表。为了解决这些问题，我们考虑一类具有KL发散正则化的Dual变量的DRO，将MIN-MAX问题转换为组成最小化问题，并提出了无需较大的批量批量的无需线在线随机方法。我们建立了所提出的方法的最先进的复杂性，而无需多达\ L Ojasiewicz（PL）条件。大规模深度学习任务（i）的实证研究表明，我们的方法可以将培训加速超过2次，而不是基线方法，并在带有$ \ SIM $ 265K图像的大型数据集上节省培训时间。 （ii）验证DRO对实证数据集上的经验风险最小化（ERM）的最高表现。独立兴趣，所提出的方法也可用于解决与最先进的复杂性的随机成分问题家族。

X-fisk是一个介绍的术语，以代表组成量度或目标家族，其中每个数据点与一组数据点显式或隐式进行比较，以定义风险函数。它包括许多广泛使用的措施或目标在一定的召回水平上的精确度，对比目标等处于最高$ K $的位置。尽管在机器学习，计算机视觉，信息检索等文献中已经研究了这些措施/目标及其优化算法，但优化了这些措施/目标在深度学习方面遇到了一些独特的挑战。在这份技术报告中，我们通过重点关注其算法基础，调查了最近对深X风险优化（DXO）的严格努力。我们介绍了一类技术，以优化X风险以进行深度学习。我们分别将DXO分别属于非凸端优化的非凸优化问题的三个特殊家族，分别分别属于Min-Max优化，非凸组成优化和非Convex Bilevel优化。对于每个问题家族，我们提出了一些强大的基线算法及其复杂性，这将激发进一步的研究以改善现有结果。关于提出的结果和未来研究的讨论在最后进行。在www.libauc.org的libauc库中实现了用于优化各种X风险的有效算法。

本文研究了一系列组成函数的随机优化，其中每个汇总的内部函数与相应的求和指数耦合。我们将这个问题家族称为有限和耦合的组成优化（FCCO）。它在机器学习中具有广泛的应用，用于优化非凸或凸组成措施/目标，例如平均精度（AP），p-norm推动，列表排名损失，邻居组成分析（NCA），深度生存分析，深层可变模型等等，这应该得到更精细的分析。然而，现有的算法和分析在一个或其他方面受到限制。本文的贡献是为非凸和凸目标的简单随机算法提供全面的收敛分析。我们的关键结果是通过使用带有微型批次的基于移动平均的估计器，通过并行加速提高了Oracle的复杂性。我们的理论分析还展示了通过对外部和内部水平相等大小的批量来改善实际实现的新见解。关于AP最大化，NCA和P-norm推动的数值实验证实了该理论的某些方面。

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

深度神经网络（DNN）对于对培训期间的样品大大减少的课程进行更多错误是臭名昭着的。这种类别不平衡在临床应用中普遍存在，并且对处理非常重要，因为样品较少的类通常对应于临界病例（例如，癌症），其中错误分类可能具有严重后果。不要错过这种情况，通过设定更高的阈值，需要以高真正的阳性率（TPRS）运行二进制分类器，但这是类别不平衡问题的非常高的假阳性率（FPRS）的成本。在课堂失衡下的现有方法通常不会考虑到这一点。我们认为，通过在高TPRS处于阳性的错误分类时强调减少FPRS，应提高预测准确性，即赋予阳性，即批判性，类样本与更高的成本相关。为此，我们将DNN的训练训练为二进制分类作为约束优化问题，并引入一种新的约束，可以通过在高TPR处优先考虑FPR减少来强制ROC曲线（AUC）下强制实施最大面积的新约束。我们使用增强拉格朗日方法（ALM）解决了由此产生的受限优化问题。超越二进制文件，我们还提出了两个可能的延长了多级分类问题的建议约束。我们使用内部医学成像数据集，CIFAR10和CIFAR100呈现基于图像的二元和多级分类应用的实验结果。我们的结果表明，该方法通过在关键类别的准确性上获得了大多数病例的拟议方法，同时降低了非关键类别样本的错误分类率。

多级分类是机器学习应用中最常见的任务之一，其中数据由许多类标签之一标记。已经提出了许多损失功能，包括多级分类，包括两个众所周知的分类，即跨熵（CE）损失和CRAMMER-歌手（CS）损失（AKA。SVM损失）。虽然CS丢失广泛用于传统机器学习任务，但CE损失通常是多级深度学习任务的默认选择。还有CS损失和CE损失的最高$ k $ Vally，提出促进学习分类器，以实现更好的高度K $准确性。尽管如此，它仍然仍然不清楚这些不同损失之间的关系，这阻碍了我们对不同情景期望的理解。在本文中，我们通过提出新的损失函数，提出了CS / CE损失的统一视图，以及它们平滑的顶级k $型号，这些损失函数可以比CS / CE损失更好，当给定的标签信息不完整时和吵。通过利用分布稳健的优化（DRO）框架来定义名为{标签分布稳健的（LDR）丢失}的新的平滑损失函数以将不确定性模拟给定标签信息中的不确定性，其中捕获了真正类标签的不确定性使用通过函数规则化的每个标签的分布权重。

通常根据准确性评估分类任务。但是，准确性是不连续的，不能使用梯度上升直接优化。流行方法最大程度地减少了跨凝性，铰链损失或其他替代损失，这可能导致次优结果。在本文中，我们通过将随机性引入模型的输出并优化预期准确性，即随机模型的准确性来提出一个新的优化框架。图像分类的广泛实验表明，提出的优化方法是广泛使用分类损失的强大替代方法。

我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。

成对学习是指损失函数取决于一对情况的学习任务。它实例化了许多重要的机器学习任务，如双级排名和度量学习。一种流行的方法来处理成对学习中的流数据是在线梯度下降（OGD）算法，其中需要将当前实例配对以前具有足够大的尺寸的先前实例的电流实例，因此遭受可扩展性问题。在本文中，我们提出了用于成对学习的简单随机和在线梯度下降方法。与现有研究的显着差异是，我们仅将当前实例与前一个构建梯度方向配对，这在存储和计算复杂性中是有效的。我们为凸和非凸起的展示结果，优化和泛化误差界以及平滑和非光滑问题都开发了新颖的稳定性结果，优化和泛化误差界限。我们引入了新颖的技术来解耦模型的依赖性和前一个例子在优化和泛化分析中。我们的研究解决了使用具有非常小的固定尺寸的缓冲集开发OGD的有意义的泛化范围的开放问题。我们还扩展了我们的算法和稳定性分析，以便为成对学习开发差异私有的SGD算法，这显着提高了现有结果。

虽然深度学习（DL）是渴望数据的，并且通常依靠广泛的标记数据来提供良好的性能，但主动学习（AL）通过从未标记的数据中选择一小部分样本进行标签和培训来降低标签成本。因此，近年来，在有限的标签成本/预算下，深入的积极学习（DAL）是可行的解决方案，可在有限的标签成本/预算下最大化模型性能。尽管已经开发了大量的DAL方法并进行了各种文献综述，但在公平比较设置下对DAL方法的性能评估尚未可用。我们的工作打算填补这一空白。在这项工作中，我们通过重新实现19种引用的DAL方法来构建DAL Toolkit，即Deepal+。我们调查和分类与DAL相关的作品，并构建经常使用的数据集和DAL算法的比较实验。此外，我们探讨了影响DAL功效的一些因素（例如，批处理大小，训练过程中的时期数），这些因素为研究人员设计其DAL实验或执行DAL相关应用程序提供了更好的参考。

神经体系结构搜索（NAS）的主要挑战之一是有效地对体系结构的性能进行排名。绩效排名者的主流评估使用排名相关性（例如，肯德尔的tau），这对整个空间都同样关注。但是，NAS的优化目标是识别顶级体系结构，同时对搜索空间中其他体系结构的关注更少。在本文中，我们从经验和理论上都表明，标准化的累积累积增益（NDCG）对于排名者来说是一个更好的指标。随后，我们提出了一种新算法Acenas，该算法直接通过Lambdarank优化NDCG。它还利用体重共享NAS产生的弱标签来预先培训排名，以便进一步降低搜索成本。对12个NAS基准和大规模搜索空间进行的广泛实验表明，我们的方法始终超过SOTA NAS方法，精度提高了3.67％，搜索成本降低了8倍。