医学图像分类已在医学图像分析中广泛采用。但是，由于难以在医疗领域收集和标记数据，医疗图像数据集通常受到高度影响。为了解决这个问题，先前的工作利用类样本作为重新加权或重新采样的先验，但特征表示通常仍然不够歧视。在本文中，我们采用对比度学习来解决长尾医疗失衡问题。具体而言，我们首先提出类别原型和对抗性原型，以产生代表性的对比对。然后，提出了原型重新校准策略来解决高度不平衡的数据分布。最后，统一的原始损失旨在训练我们的框架。总体框架，即作为原型的对比学习（PROCO），以端到端方式统一为单级管道，以减轻医学图像分类中的不平衡问题，这也是与现有作品的独特进步当他们遵循传统的两阶段管道时。对两个高度平衡的医学图像分类数据集进行了广泛的实验表明，我们的方法的表现优于现有的最新方法。

深度神经网络在严重的类不平衡数据集上的表现不佳。鉴于对比度学习的有希望的表现，我们提出了重新平衡的暹罗对比度采矿（RESCOM）来应对不平衡的识别。基于数学分析和仿真结果，我们声称监督的对比学习在原始批次和暹罗批次水平上都遭受双重失衡问题，这比长尾分类学习更为严重。在本文中，在原始批处理水平上，我们引入了级别平衡的监督对比损失，以分配不同类别的自适应权重。在暹罗批次级别，我们提出了一个级别平衡的队列，该队列维持所有类的键相同。此外，我们注意到，相对于对比度逻辑的不平衡对比损失梯度可以将其分解为阳性和负面因素，易于阳性和易于负面因素将使对比度梯度消失。我们建议有监督的正面和负面对挖掘，以获取信息对的对比度计算并改善表示形式学习。最后，为了大致最大程度地提高两种观点之间的相互信息，我们提出了暹罗平衡的软性软件，并与一阶段训练的对比损失结合。广泛的实验表明，在多个长尾识别基准上，RESCON优于先前的方法。我们的代码和模型可公开可用：https：//github.com/dvlab-research/rescom。

现实世界中的数据通常遵循长尾巴的分布，其中一些多数类别占据了大多数数据，而大多数少数族裔类别都包含有限数量的样本。分类模型最小化跨凝结的努力来代表和分类尾部类别。尽管已经对学习无偏分类器的学习问题进行了充分的研究，但代表不平衡数据的方法却没有探索。在本文中，我们专注于表示不平衡数据的表示。最近，受到监督的对比学习最近在平衡数据上表现出了有希望的表现。但是，通过我们的理论分析，我们发现对于长尾数据，它未能形成常规的单纯形，这是代表学习的理想几何配置。为了纠正SCL的优化行为并进一步改善了长尾视觉识别的性能，我们提出了平衡对比度学习（BCL）的新型损失。与SCL相比，我们在BCL：类平均水平方面有两个改进，可以平衡负类的梯度贡献。课堂组合，允许所有类都出现在每个迷你批次中。提出的平衡对比度学习（BCL）方法满足形成常规单纯形的条件并有助于跨透明拷贝的优化。配备了BCL，提出的两分支框架可以获得更强的特征表示，并在诸如CIFAR-10-LT，CIFAR-100-LT，Imagenet-LT和Inaturalist2018之类的长尾基准数据集上实现竞争性能。我们的代码可在\ href {https://github.com/flamiezhu/bcl} {this url}中获得。

联合学习（FL），使不同的医疗机构或客户能够在没有数据隐私泄漏的情况下进行协作培训模型，最近在医学成像社区中引起了极大的关注。尽管已经对客户间数据异质性进行了彻底的研究，但由于存在罕见疾病，阶级失衡问题仍然不足。在本文中，我们提出了一个新型的FL框架，用于医学图像分类，尤其是在处理罕见疾病的数据异质性方面。在Fedrare中，每个客户在本地训练一个模型，以通过客户内部监督对比度学习提取高度分离的潜在特征，以进行分类。考虑到有限的稀有疾病数据，我们建立了积极的样本队列以进行增强（即数据重采样）。 Fedrare中的服务器将从客户端收集潜在功能，并自动选择最可靠的潜在功能作为发送给客户的指南。然后，每个客户都会通过局部间的对比损失共同训练，以使其潜在特征与完整课程的联合潜在特征保持一致。通过这种方式，跨客户的参数/特征差异有效地最小化，从而可以更好地收敛和性能改进。关于皮肤病变诊断的公共可用数据集的实验结果表明，Fedrare的表现出色。在四个客户没有罕见病样本的10客户联合环境下，Fedrare的平均水平准确度平均增长了9.60％和5.90％，与FedAvg和FedAvg的基线框架和FedArt方法分别相比。考虑到在临床情况下存在罕见疾病的董事会，我们认为Fedrare将使未来的FL框架设计受益于医学图像分类。本文的源代码可在https://github.com/wnn2000/fedrare上公开获得。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

局部表示学习是促进组织病理学整体幻灯片图像分析的性能的关键挑战。先前的表示学习方法遵循监督学习范式。但是，大规模WSIS的手动注释是耗时且劳动力密集的。因此，自我监督的对比学习最近引起了密集的关注。目前的对比学习方法将每个样本视为一个类别，这遭受了类碰撞问题，尤其是在组织病理学图像分析的领域。在本文中，我们提出了一个新颖的对比表示学习框架，称为病变感染对比学习（LACL），用于组织病理学整个幻灯片图像分析。我们基于内存库结构建立了病变队列，以存储不同类别WSIS的表示形式，这使对比模型可以在训练过程中选择性定义负面对。此外，我们设计了一个队列改进策略，以净化病变队列中存储的表示形式。实验结果表明，LACL在不同数据集上学习在组织病理学图像表示学习中的最佳性能，并且在不同的WSI分类基准下的最先进方法优于最先进的方法。该代码可在https://github.com/junl21/lacl上获得。

大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是，现实世界中的视频数据通常会表现出不平衡的长尾巴分布，从而导致模型偏见对头等阶层，并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法，以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布（类内部分布）和各种数据（类间分布）的总体分布，以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模，该模型可以共同考虑头等阶层和尾部类别，并将知识从头等阶层显着转移，以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。

在本文中，我们提出了广义参数对比度学习（GPACO/PACO），该学习在不平衡和平衡数据上都很好地工作。基于理论分析，我们观察到，受监督的对比损失倾向于偏向高频类别，从而增加了学习不平衡的学习难度。我们从优化的角度介绍了一组参数班的可学习中心，以重新平衡。此外，我们在平衡的环境下分析了GPACO/PACO损失。我们的分析表明，GPACO/PACO可以适应地增强同一等级样品的强度，因为将更多的样品与相应的中心一起拉在一起并有益于艰难的示例学习。长尾基准测试的实验表明了长尾识别的新最先进。在完整的Imagenet上，与MAE模型相比，从CNN到接受GPACO损失训练的视觉变压器的模型显示出更好的泛化性能和更强的鲁棒性。此外，GPACO可以应用于语义分割任务，并在4个最受欢迎的基准测试中观察到明显的改进。我们的代码可在https://github.com/dvlab-research/parametric-contrastive-learning上找到。

Cross entropy loss has served as the main objective function for classification-based tasks. Widely deployed for learning neural network classifiers, it shows both effectiveness and a probabilistic interpretation. Recently, after the success of self supervised contrastive representation learning methods, supervised contrastive methods have been proposed to learn representations and have shown superior and more robust performance, compared to solely training with cross entropy loss. However, cross entropy loss is still needed to train the final classification layer. In this work, we investigate the possibility of learning both the representation and the classifier using one objective function that combines the robustness of contrastive learning and the probabilistic interpretation of cross entropy loss. First, we revisit a previously proposed contrastive-based objective function that approximates cross entropy loss and present a simple extension to learn the classifier jointly. Second, we propose a new version of the supervised contrastive training that learns jointly the parameters of the classifier and the backbone of the network. We empirically show that our proposed objective functions show a significant improvement over the standard cross entropy loss with more training stability and robustness in various challenging settings.

当1）培训数据集的类别分布P（Y）时，机器学习模型无法在现实世界应用程序上表现良好。现有方法无法处理存在两个问题的方案，但是对于现实世界应用程序来说，这很常见。在这项研究中，我们向前迈出了一步，研究了域转移下的长尾分类问题。我们设计了三个新颖的核心功能块，包括分布校准的分类损失，视觉语义映射和语义相似性引导性增强。此外，我们采用了一个元学习框架，该框架集成了这三个区块，以改善对看不见的目标域的域概括。为此问题提出了两个新的数据集，称为AWA2-LTS和Imagenet-LTS。我们在两个数据集上评估了我们的方法，并且广泛的实验结果表明，我们提出的方法可以比最新的长尾/域概括方法和组合实现优越的性能。源代码和数据集可以在我们的项目页面https://xiaogu.site/ltds上找到。

由顺序训练和元训练阶段组成的两阶段训练范式已广泛用于当前的几次学习（FSL）研究。这些方法中的许多方法都使用自我监督的学习和对比度学习来实现新的最新结果。但是，在FSL培训范式的两个阶段，对比度学习的潜力仍未得到充分利用。在本文中，我们提出了一个新颖的基于学习的框架，该框架将对比度学习无缝地整合到两个阶段中，以提高少量分类的性能。在预训练阶段，我们提出了特征向量与特征映射和特征映射与特征映射的形式的自我监督对比损失，该图形与特征映射使用全局和本地信息来学习良好的初始表示形式。在元训练阶段，我们提出了一种跨视图的情节训练机制，以对同一情节的两个不同视图进行最近的质心分类，并采用基于它们的距离尺度对比度损失。这两种策略迫使模型克服观点之间的偏见并促进表示形式的可转让性。在三个基准数据集上进行的广泛实验表明，我们的方法可以实现竞争成果。

自我监督的学习在表示视觉和文本数据的表示方面取得了巨大的成功。但是，当前的方法主要在经过良好策划的数据集中验证，这些数据集未显示现实世界的长尾分布。在损失的角度或模型观点中，重新平衡的重新平衡是为了考虑自我监督的长尾学习的最新尝试，类似于被监督的长尾学习中的范式。然而，没有标签的帮助，由于尾巴样品发现或启发式结构设计的限制，这些探索并未显示出预期的明显希望。与以前的作品不同，我们从替代角度（即数据角度）探索了这个方向，并提出了一种新颖的增强对比度学习（BCL）方法。具体而言，BCL利用深神经网络的记忆效果自动推动对比度学习中样本视图的信息差异，这更有效地增强了标签 - unaware环境中的长尾学习。对一系列基准数据集进行的广泛实验证明了BCL对几种最新方法的有效性。我们的代码可在https://github.com/mediabrain-sjtu/bcl上找到。

在现实世界中，医疗数据集通常表现出长尾数据分布（即，一些类占据大多数数据，而大多数类都很少有一些样本），这导致挑战的不平衡学习场景。例如，估计有超过40种不同的视网膜疾病，无论发生了多种发病率，然而，来自全球患者队列的超过30多种条件非常罕见，这导致基于深度学习的筛选典型的长尾学习问题楷模。此外，视网膜中可能存在多种疾病，这导致多标签情景并为重新采样策略带来标签共生问题。在这项工作中，我们提出了一种新颖的框架，利用了视网膜疾病的先验知识，以便在等级 - 明智的约束下培训模型的更强大的代表。然后，首先引入了一个实例 - 明智的类平衡的采样策略和混合知识蒸馏方式，以从长尾的多标签分布中学习。我们的实验培训超过一百万个样品的视网膜数据集展示了我们所提出的方法的优越性，这些方法优于所有竞争对手，并显着提高大多数疾病的识别准确性，特别是那些罕见的疾病。

现有的图形神经网络（GNNS）通常会在平衡的情况下平衡，节点分布平衡。但是，在现实情况下，我们经常遇到一些案例，使几个类（即头等阶层）主导其他类（即尾巴类）以及节点学位的观点，因此天真地应用现有GNN最终最终落在概括尾巴案例。尽管最近的研究提出了处理图表上长尾情况的方法，但它们仅着眼于班级长尾或长尾巴。在本文中，我们为培训GNN的新框架提出了一个新的框架，称为图形长尾专家（LTE4G），该框架共同考虑了长尾级别的长尾和节点分类的长尾。核心思想是将专家GNN模型分配给以平衡方式分配的节点的每个子集，考虑到班级和程度的长尾。在为每个平衡子集培训了专家之后，我们采用知识蒸馏来获得两名班级学生，即校学生和尾巴班级学生，每个学生分别负责在校课和尾部课程中分别对节点进行分类。我们证明，LTE4G的表现优于在手动和自然不平衡图上评估的节点分类中的各种最新方法。可以在https://github.com/sukwonyun/lte4g上找到LTE4G的源代码。

不平衡的数据对基于深度学习的分类模型构成挑战。解决不平衡数据的最广泛使用的方法之一是重新加权，其中训练样本与损失功能的不同权重相关。大多数现有的重新加权方法都将示例权重视为可学习的参数，并优化了元集中的权重，因此需要昂贵的双重优化。在本文中，我们从分布的角度提出了一种基于最佳运输（OT）的新型重新加权方法。具体而言，我们将训练集视为其样品上的不平衡分布，该分布由OT运输到从元集中获得的平衡分布。训练样品的权重是分布不平衡的概率质量，并通过最大程度地减少两个分布之间的ot距离来学习。与现有方法相比，我们提出的一种方法可以脱离每次迭代时的体重学习对相关分类器的依赖性。图像，文本和点云数据集的实验表明，我们提出的重新加权方法具有出色的性能，在许多情况下实现了最新的结果，并提供了一种有希望的工具来解决不平衡的分类问题。

深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。

我们提出了一种称为分配 - 均衡损失的新损失功能，用于展示长尾类分布的多标签识别问题。与传统的单标分类问题相比，由于两个重要问题，多标签识别问题通常更具挑战性，即标签的共同发生以及负标签的主导地位（当被视为多个二进制分类问题时）。分配 - 平衡损失通过对标准二进制交叉熵丢失的两个关键修改来解决这些问题：1）重新平衡考虑标签共发生造成的影响的重量的新方法，以及2）负耐受规则化以减轻负标签的过度抑制。 Pascal VOC和Coco的实验表明，使用这种新损失功能训练的模型可实现现有方法的显着性能。代码和型号可在：https://github.com/wutong16/distributionbalancedloss。

无监督的域自适应人重新识别（重新ID）任务是一个挑战，因为与常规域自适应任务不同，人物重新ID中的源域数据和目标域数据之间没有重叠，这导致一个重要的领域差距。最先进的无监督的RE-ID方法使用基于内存的对比损耗训练神经网络。然而，通过将每个未标记的实例视为类来执行对比学习，作为类将导致阶级冲突的问题，并且由于在存储库中更新时不同类别的实例数量的差异，更新强度是不一致的。为了解决此类问题，我们提出了对人的重新ID的原型字典学习，其能够通过一个训练阶段利用源域数据和目标域数据，同时避免类碰撞问题和群集更新强度不一致的问题原型字典学习。为了减少模型上域间隙的干扰，我们提出了一个本地增强模块，以改善模型的域适应而不增加模型参数的数量。我们在两个大型数据集上的实验证明了原型字典学习的有效性。 71.5 \％地图是在市场到Duke任务中实现的，这是与最先进的无监督域自适应RE-ID方法相比的2.3 \％的改进。它在Duke-to-Market任务中实现了83.9 \％地图，而与最先进的无监督的自适应重新ID方法相比，该任务在4.4 \％中提高了4.4％。

通过各种面部操作技术产生，由于安全问题，面部伪造检测引起了不断的关注。以前的作品总是根据交叉熵损失将面部伪造检测作为分类问题，这强调了类别级别差异，而不是真实和假面之间的基本差异，限制了看不见的域中的模型概括。为了解决这个问题，我们提出了一种新颖的面部伪造检测框架，名为双重对比学习（DCL），其特殊地构建了正负配对数据，并在不同粒度下进行了设计的对比学习，以学习广义特征表示。具体地，结合硬样品选择策略，首先提出通过特别构造实例对来促进与之相关的鉴别特征学习的任务相关的对比学习策略。此外，为了进一步探索基本的差异，引入内部内部对比学习（INL-ICL），以通过构建内部实例构建局部区域对来关注伪造的面中普遍存在的局部内容不一致。在若干数据集上的广泛实验和可视化证明了我们对最先进的竞争对手的方法的概括。

现实世界数据通常遵循长尾分布，这使得现有分类算法的性能较大。关键问题是尾类别中的样本未能描绘其级别的多种多样性。人类可以想象在新的姿势，场景和观看角度的样本，即使是第一次看到此类别也是如此。灵感来自于此，我们提出了一种新的基于推理的隐式语义数据增强方法，可以从其他类借用转换方向。由于每个类别的协方差矩阵表示特征转换方向，因此我们可以从类似类别中采样新的方向以产生绝对不同的实例。具体地，首先采用长尾分布式数据来训练骨干和分类器。然后，估计每个类别的协方差矩阵，构建知识图形以存储任何两个类别的关系。最后，通过从知识图中的所有类似类别传播信息，自适应地增强尾样本。 CiFar-100-LT，想象 - LT和Inattations 2018上的实验结果表明了我们所提出的方法的有效性与最先进的方法相比。