在这个扩展的抽象，我们将介绍和讨论的机会和挑战AUC最大化（又名\下划线{\ BF d}由一个新的深度学习方法所带来的EEP \下划线{\ BF A} UC \下划线{\ BF中号} aximization或{\ BF DAM}）对于医学图像分类。由于AUC（ROC曲线下面积又名）是一个标准的性能度量医用图像的分类，因此直接优化AUC可以实现用于学习比最小化传统损耗函数（例如，交叉熵损失）深神经网络具有更好的性能。最近，出现了采用深AUC最大化为大型医疗图像分类的一种趋势。在本文中，我们将通过突出讨论这些最近的研究结果（一）通过随机非凸优化算法大坝带来的进步; （ii）在各种医用图像的分类问题的有希望的结果。然后，我们将讨论医学图像分类DAM的挑战和机遇从三个方面，功能学，大规模优化，学习值得信赖的AI模式。

ROC曲线下的区域（又称AUC）是评估分类器不平衡数据的性能的选择。 AUC最大化是指通过直接最大化其AUC分数来学习预测模型的学习范式。它已被研究了二十年来，其历史可以追溯到90年代后期，从那时起，大量工作就致力于最大化。最近，对大数据和深度学习的深度最大化的随机AUC最大化已受到越来越多的关注，并对解决现实世界中的问题产生了巨大的影响。但是，据我们所知，没有对AUC最大化的相关作品进行全面调查。本文旨在通过回顾过去二十年来审查文献来解决差距。我们不仅给出了文献的整体看法，而且还提供了从配方到算法和理论保证的不同论文的详细解释和比较。我们还确定并讨论了深度AUC最大化的剩余和新兴问题，并就未来工作的主题提供建议。

X-fisk是一个介绍的术语，以代表组成量度或目标家族，其中每个数据点与一组数据点显式或隐式进行比较，以定义风险函数。它包括许多广泛使用的措施或目标在一定的召回水平上的精确度，对比目标等处于最高$ K $的位置。尽管在机器学习，计算机视觉，信息检索等文献中已经研究了这些措施/目标及其优化算法，但优化了这些措施/目标在深度学习方面遇到了一些独特的挑战。在这份技术报告中，我们通过重点关注其算法基础，调查了最近对深X风险优化（DXO）的严格努力。我们介绍了一类技术，以优化X风险以进行深度学习。我们分别将DXO分别属于非凸端优化的非凸优化问题的三个特殊家族，分别分别属于Min-Max优化，非凸组成优化和非Convex Bilevel优化。对于每个问题家族，我们提出了一些强大的基线算法及其复杂性，这将激发进一步的研究以改善现有结果。关于提出的结果和未来研究的讨论在最后进行。在www.libauc.org的libauc库中实现了用于优化各种X风险的有效算法。

在本文中，我们提出了适用于深度学习的单向和双向部分AUC（PAUC）最大化的系统和高效的基于梯度的方法。我们通过使用分布强大的优化（DRO）来定义每个单独的积极数据的损失，提出了PAUC替代目标的新公式。我们考虑了两种DRO的配方，其中一种是基于条件 - 价值风险（CVAR），该风险（CVAR）得出了PAUC的非平滑但精确的估计器，而另一个基于KL差异正则DRO产生不确定的dro。但是PAUC的平滑（软）估计器。对于单向和双向PAUC最大化，我们提出了两种算法，并证明了它们分别优化其两种配方的收敛性。实验证明了所提出的算法对PAUC最大化的有效性，以对各种数据集进行深度学习。

ROC（AUROC）和精密召回曲线（AUPRC）的区域是用于评估不平衡问题的分类性能的常见度量。与AUROC相比，AUPRC是一个更合适的度量，用于高度不平衡的数据集。虽然已经广泛研究了Auroc的随机优化，但Auprc的原则随机优化已经很少被探索。在这项工作中，我们提出了一个原则的技术方法来优化Auprc进行深度学习。我们的方法是基于最大化平均精度（AP），这是Auprc的一个非偏见点估计器。我们将目标分为{\ IT依赖的组成函数}的总和，内部函数取决于外层的随机变量。通过利用随机成分优化的最新进展，我们提出了具有{\ IT可提供的收敛保证的皂的适应性和非自适应随机算法。图像和图表数据集的广泛实验结果表明，我们所提出的方法在AUPRC方面占据了对不平衡问题的现有方法。据我们所知，我们的工作代表了第一次尝试使用可提供的融合优化AUPRC。 SOAP已在Libauc库中在〜\ URL {https://libauc.org/}中实现。

In this paper, we tackle a novel federated learning (FL) problem for optimizing a family of X-risks, to which no existing FL algorithms are applicable. In particular, the objective has the form of $\mathbb E_{z\sim S_1} f(\mathbb E_{z'\sim S_2} \ell(w; z, z'))$, where two sets of data $S_1, S_2$ are distributed over multiple machines, $\ell(\cdot)$ is a pairwise loss that only depends on the prediction outputs of the input data pairs $(z, z')$, and $f(\cdot)$ is possibly a non-linear non-convex function. This problem has important applications in machine learning, e.g., AUROC maximization with a pairwise loss, and partial AUROC maximization with a compositional loss. The challenges for designing an FL algorithm lie in the non-decomposability of the objective over multiple machines and the interdependency between different machines. To address the challenges, we propose an active-passive decomposition framework that decouples the gradient's components with two types, namely active parts and passive parts, where the active parts depend on local data that are computed with the local model and the passive parts depend on other machines that are communicated/computed based on historical models and samples. Under this framework, we develop two provable FL algorithms (FeDXL) for handling linear and nonlinear $f$, respectively, based on federated averaging and merging. We develop a novel theoretical analysis to combat the latency of the passive parts and the interdependency between the local model parameters and the involved data for computing local gradient estimators. We establish both iteration and communication complexities and show that using the historical samples and models for computing the passive parts do not degrade the complexities. We conduct empirical studies of FeDXL for deep AUROC and partial AUROC maximization, and demonstrate their performance compared with several baselines.

学习优化在接收器操作特性曲线（AUC）下的区域，近年来引起了不平衡数据的显着关注。虽然有几种AUC优化方法，但由于其成对学习风格，缩放UP OP优化仍然是一个开放问题。最大化大规模数据集中的AUC可以被视为非凸和昂贵的问题。灵感来自成对学习的特征，构建了具有从大型数据集采样的小型数据集的廉价AUC优化任务，以促进原始，大规模和昂贵的AUC优化任务的AUC准确性。本文开发了一种进化的多任务框架（称为EMTAUC），以充分利用构造的便宜和昂贵的任务之间的信息，以获得更高的性能。在EMTAUC中，一个任务是优化来自采样数据集的AUC，另一个任务是从原始数据集中最大化AUC。此外，由于包含有限知识的廉价任务，提出了一种动态调整廉价任务数据结构的策略，以引入更多知识，进入多任务定量的AUC优化环境。在一系列二进制分类数据集上评估所提出的方法的性能。实验结果表明，EMTAUC对单一任务方法和在线方法具有竞争力。可以在HTTPS://github.com/xiaofangxd/emtauc访问EMTAUC的补充材料和源代码。

在本文中，我们研究了多块最小双重双层优化问题，其中上层是非凸线的最小值最小值目标，而下层级别是一个强烈的凸目标，并且有多个双重变量块和下层级别。问题。由于交织在一起的多块最小双重双重结构，每次迭代处的计算成本可能高高，尤其是在大量块中。为了应对这一挑战，我们提出了一种单循环随机随机算法，该算法需要在每次迭代时仅恒定数量的块进行更新。在对问题的一些温和假设下，我们建立了$ \ Mathcal {o}（1/\ Epsilon^4）$的样本复杂性，用于查找$ \ epsilon $ - 稳定点。这匹配了在一般无偏见的随机甲骨文模型下求解随机非convex优化的最佳复杂性。此外，我们在多任务深度AUC（ROC曲线下）最大化和多任务深度部分AUC最大化中提供了两种应用。实验结果验证了我们的理论，并证明了我们方法对数百个任务问题的有效性。

Computer vision and machine learning are playing an increasingly important role in computer-assisted diagnosis; however, the application of deep learning to medical imaging has challenges in data availability and data imbalance, and it is especially important that models for medical imaging are built to be trustworthy. Therefore, we propose TRUDLMIA, a trustworthy deep learning framework for medical image analysis, which adopts a modular design, leverages self-supervised pre-training, and utilizes a novel surrogate loss function. Experimental evaluations indicate that models generated from the framework are both trustworthy and high-performing. It is anticipated that the framework will support researchers and clinicians in advancing the use of deep learning for dealing with public health crises including COVID-19.

有效的代表学习是提高医学图像分析模型性能的关键。在培训深度学习模型中，常常必须在性能和信任之间进行妥协，这两者都对于医学应用至关重要。此外，用跨熵损失优化的模型往往遭受少数阶级的多数阶级和过于谨慎的无责任的过度交流。在这项工作中，我们将新的代理损失与自我监督学习进行了全新的替代损失，用于使用射线照相图像的Covid-19患者的计算机辅助筛查。此外，我们采用了新的量化分数来衡量模型的可信度。对特征学习方法和损失功能的性能和信任进行了消融研究。比较表明，利用新的替代损失对自我监督模型可以生产出高性能和值得信赖的标签有效的网络。

最近的作品揭示了设计损失功能的基本范式，该损失功能与骨料损失不同。单个损失衡量样本上模型的质量，而总损失结合了每个训练样本的个体损失/分数。两者都有一个共同的过程，将一组单个值集合到单个数值值。排名顺序反映了设计损失时个人价值观之间最基本的关系。此外，可以将损失分解成单个术语的合奏的可分解性成为组织损失/得分的重要特性。这项调查对机器学习中的基于等级的可分解损失进行了系统的全面审查。具体而言，我们提供了损失功能的新分类法，遵循总损失和个人损失的观点。我们确定聚合器以形成此类损失，这是集合功能的示例。我们将基于等级的分解损失组织为八类。遵循这些类别，我们回顾有关基于等级的总损失和基于等级的个人损失的文献。我们描述了这些损失的一般公式，并将其与现有的研究主题联系起来。我们还建议未来的研究方向涵盖基于等级的可分解损失的未开发，剩余和新兴问题。

ROC曲线（AUROC）下的区域已大力应用于分类不平衡，此外，与深度学习技术相结合。但是，没有现有的工作为同行选择适当的深度AUROC最大化技术提供合理的信息。在这项工作中，我们从三个方面填补了这一空白。 （i）我们基准具有各种损失函数，具有不同的算法选择，用于深度AUROC优化问题。我们研究了两类损失功能：成对损失和复合损失，其中包括10个损失函数。有趣的是，我们发现综合损失是一种创新的损失函数类别，比训练收敛和测试概括视角的成对损失表现出更具竞争力的性能。然而，带有更损坏的标签的数据有利于成对的对称损失。 （ii）此外，我们基准并强调了基本算法选择，例如正采样率，正则化，归一化/激活和优化器。主要发现包括：较高的阳性采样率可能对深度AUROC最大化有益；不同的数据集有利于不同的正规化权重；适当的归一化技术，例如Sigmoid和$ \ ell_2 $得分归一化，可以提高模型性能。 （iii）为了优化方面，我们基于成对和复合损失的SGD型，动量类型和ADAM型优化器。我们的发现表明，尽管从训练的角度来看，亚当型方法更具竞争力，但从测试角度来看，它并不优于其他方法。

在结果决策中使用机器学习模型通常会加剧社会不平等，特别是对种族和性别定义的边缘化群体成员产生不同的影响。 ROC曲线（AUC）下的区域被广泛用于评估机器学习中评分功能的性能，但与其他性能指标相比，在算法公平性中进行了研究。由于AUC的成对性质，定义基于AUC的组公平度量是成对依赖性的，并且可能涉及\ emph {group}和\ emph {group} aucs。重要的是，仅考虑一种AUC类别不足以减轻AUC优化的不公平性。在本文中，我们提出了一个最小值学习和偏置缓解框架，该框架既包含组内和组间AUC，同时保持实用性。基于这个Rawlsian框架，我们设计了一种有效的随机优化算法，并证明了其收敛到最小组级AUC。我们对合成数据集和现实数据集进行了数值实验，以验证Minimax框架的有效性和所提出的优化算法。

As machine learning being used increasingly in making high-stakes decisions, an arising challenge is to avoid unfair AI systems that lead to discriminatory decisions for protected population. A direct approach for obtaining a fair predictive model is to train the model through optimizing its prediction performance subject to fairness constraints, which achieves Pareto efficiency when trading off performance against fairness. Among various fairness metrics, the ones based on the area under the ROC curve (AUC) are emerging recently because they are threshold-agnostic and effective for unbalanced data. In this work, we formulate the training problem of a fairness-aware machine learning model as an AUC optimization problem subject to a class of AUC-based fairness constraints. This problem can be reformulated as a min-max optimization problem with min-max constraints, which we solve by stochastic first-order methods based on a new Bregman divergence designed for the special structure of the problem. We numerically demonstrate the effectiveness of our approach on real-world data under different fairness metrics.

成对目标范例是机器学习的重要方面。使用成对目标功能的机器学习方法的示例包括面部识别，度量学习，两分性学习，多个内核学习以及曲线下面积（AUC）最大化的差异网络。与点学习相比，成对学习的样本量随样本数量的数量二次增长，从而使其复杂性增长。研究人员主要通过使用在线学习系统来应对这一挑战。然而，最近的研究为平滑损失功能提供了自适应样本量训练，作为融合和复杂性方面的更好策略，但没有全面的理论研究。在一项独特的研究方面，重要性抽样引发了有限的角度最小化的极大兴趣。这是因为随机梯度方差，这会导致收敛大大减慢。在本文中，我们将自适应样本量和对成对学习的重要性采样技术结合在一起，并保证非平滑凸成对损失函数的收敛保证。特别是，使用扩展的训练集对模型进行随机训练，以针对从稳定性边界得出的预定义数量的迭代。此外，我们证明在每次迭代时进行采样相反的实例会降低梯度的方差，从而加速收敛。 AUC最大化中各种数据集的实验证实了理论结果。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

本文重点介绍了解决光滑非凸强凹入最小问题的随机方法，这导致了由于其深度学习中的潜在应用而受到越来越长的关注（例如，深度AUC最大化，分布鲁棒优化）。然而，大多数现有算法在实践中都很慢，并且它们的分析围绕到几乎静止点的收敛。我们考虑利用Polyak-\ L Ojasiewicz（PL）条件来设计更快的随机算法，具有更强的收敛保证。尽管已经用于设计许多随机最小化算法的PL条件，但它们对非凸敏最大优化的应用仍然罕见。在本文中，我们提出并分析了基于近端的跨越时代的方法的通用框架，许多众所周知的随机更新嵌入。以{\ BF原始物镜差和二元间隙}的方式建立快速收敛。与现有研究相比，（i）我们的分析基于一个新的Lyapunov函数，包括原始物理差距和正则化功能的二元间隙，（ii）结果更加全面，提高了更好的依赖性的速率不同假设下的条件号。我们还开展深层和非深度学习实验，以验证我们的方法的有效性。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

背景：宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描（OCT）作为宫颈疾病检测的非侵入性，高分辨率成像技术。然而，OCT图像注释是知识密集型和耗时的，这阻碍了基于深度学习的分类模型的培训过程。目的：本研究旨在基于自我监督学习，开发一种计算机辅助诊断（CADX）方法来对体内宫颈OCT图像进行分类。方法：除了由卷积神经网络（CNN）提取的高电平语义特征外，建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果：在用于检测高风险疾病的二元分类任务中，包括高级鳞状上皮病变和宫颈癌，我们的方法实现了0.9798加号或减去0.0157的面积曲线值，灵敏度为91.17加或对于OCT图像贴片，减去4.99％，特异性为93.96加仑或减去4.72％;此外，它在测试集上的四位医学专家中表现出两种。此外，我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53％的敏感性和97.37％的特异性。结论：所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型，并基于纹理特征提供更好的可解释性，其在“见和治疗”的临床协议中具有很大的潜力。

在本文中，我们提出了一种实用的在线方法，用于解决具有非凸面目标的一类分布稳健优化（DRO），这在机器学习中具有重要应用，以改善神经网络的稳健性。在文献中，大多数用于解决DRO的方法都基于随机原始方法。然而，DRO的原始方法患有几个缺点：（1）操纵对应于数据尺寸的高维双变量是昂贵的; （2）他们对网上学习不友好，其中数据顺序地发表。为了解决这些问题，我们考虑一类具有KL发散正则化的Dual变量的DRO，将MIN-MAX问题转换为组成最小化问题，并提出了无需较大的批量批量的无需线在线随机方法。我们建立了所提出的方法的最先进的复杂性，而无需多达\ L Ojasiewicz（PL）条件。大规模深度学习任务（i）的实证研究表明，我们的方法可以将培训加速超过2次，而不是基线方法，并在带有$ \ SIM $ 265K图像的大型数据集上节省培训时间。 （ii）验证DRO对实证数据集上的经验风险最小化（ERM）的最高表现。独立兴趣，所提出的方法也可用于解决与最先进的复杂性的随机成分问题家族。