青光眼是可能导致盲目的眼科疾病之一，早期检测和治疗非常重要。眼底图像和光学相干性断层扫描（OCT）图像均为广泛使用的诊断青光眼的方式。然而，现有的青光眼分级方法主要利用单一的方式，忽略眼底和OCT之间的互补信息。在本文中，我们提出了一个有效的多种式监督对比的对比学习框架，名为Corolla，用于青光眼分级。通过层分割以及厚度计算和投影，从原始OCT卷中提取视网膜厚度图，并用作更换的模态，导致更有效的计算，内存使用较少。鉴于医学图像样本的高结构和分布相似之处，我们采用了监督的对比学习，以提高模型的歧视力，更好地融合。此外，对成对的眼底图像和厚度图的特征级融合以提高诊断精度。在Gamma DataSet上，与最先进的方法相比，我们的Corolla框架达到了压倒性的青光眼分级性能。

医学图像分割或计算voxelwise语义面具是一个基本又具有挑战性的任务，用于计算体素级语义面具。为了提高编码器 - 解码器神经网络在大型临床队列中执行这项任务的能力，对比学习提供了稳定模型初始化和增强编码器而无需标签的机会。然而，多个目标对象（具有不同的语义含义）可能存在于单个图像中，这使得适应传统的对比学习方法从普遍的“图像级分类”到“像素级分段”中的问题。在本文中，我们提出了一种简单的语义感知对比学习方法，利用注意掩模来推进多对象语义分割。简而言之，我们将不同的语义对象嵌入不同的群集而不是传统的图像级嵌入。我们在与内部数据和Miccai挑战2015 BTCV数据集中的多器官医学图像分段任务中评估我们提出的方法。与目前的最先进的培训策略相比，我们拟议的管道分别产生了两种医学图像分割队列的骰子评分的大幅提高5.53％和6.09％（P值<0.01）。通过Pascal VOC 2012 DataSet进一步评估了所提出的方法的性能，并在MiOU（P值<0.01）上实现了2.75％的大幅提高。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开

Modality representation learning is an important problem for multimodal sentiment analysis (MSA), since the highly distinguishable representations can contribute to improving the analysis effect. Previous works of MSA have usually focused on multimodal fusion strategies, and the deep study of modal representation learning was given less attention. Recently, contrastive learning has been confirmed effective at endowing the learned representation with stronger discriminate ability. Inspired by this, we explore the improvement approaches of modality representation with contrastive learning in this study. To this end, we devise a three-stages framework with multi-view contrastive learning to refine representations for the specific objectives. At the first stage, for the improvement of unimodal representations, we employ the supervised contrastive learning to pull samples within the same class together while the other samples are pushed apart. At the second stage, a self-supervised contrastive learning is designed for the improvement of the distilled unimodal representations after cross-modal interaction. At last, we leverage again the supervised contrastive learning to enhance the fused multimodal representation. After all the contrast trainings, we next achieve the classification task based on frozen representations. We conduct experiments on three open datasets, and results show the advance of our model.

多模式信息在医疗任务中经常可用。通过结合来自多个来源的信息，临床医生可以做出更准确的判断。近年来，在临床实践中使用了多种成像技术进行视网膜分析：2D眼底照片，3D光学相干断层扫描（OCT）和3D OCT血管造影等。我们的论文研究了基于深度学习的三种多模式信息融合策略，以求解视网膜视网膜分析任务：早期融合，中间融合和分层融合。常用的早期和中间融合很简单，但不能完全利用模式之间的互补信息。我们开发了一种分层融合方法，该方法着重于将网络多个维度的特征组合在一起，并探索模式之间的相关性。这些方法分别用于使用公共伽马数据集（Felcus Photophs和OCT）以及Plexelite 9000（Carl Zeis Meditec Inc.）的私人数据集，将这些方法应用于青光眼和糖尿病性视网膜病变分类。我们的分层融合方法在病例中表现最好，并为更好的临床诊断铺平了道路。

由顺序训练和元训练阶段组成的两阶段训练范式已广泛用于当前的几次学习（FSL）研究。这些方法中的许多方法都使用自我监督的学习和对比度学习来实现新的最新结果。但是，在FSL培训范式的两个阶段，对比度学习的潜力仍未得到充分利用。在本文中，我们提出了一个新颖的基于学习的框架，该框架将对比度学习无缝地整合到两个阶段中，以提高少量分类的性能。在预训练阶段，我们提出了特征向量与特征映射和特征映射与特征映射的形式的自我监督对比损失，该图形与特征映射使用全局和本地信息来学习良好的初始表示形式。在元训练阶段，我们提出了一种跨视图的情节训练机制，以对同一情节的两个不同视图进行最近的质心分类，并采用基于它们的距离尺度对比度损失。这两种策略迫使模型克服观点之间的偏见并促进表示形式的可转让性。在三个基准数据集上进行的广泛实验表明，我们的方法可以实现竞争成果。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

脑膜瘤等级的术前和非侵入性预测在临床实践中很重要，因为它直接影响临床决策。更重要的是，脑膜瘤中的大脑侵袭（即，在相邻脑组织中存在肿瘤组织）是脑膜瘤分级的独立标准，并影响了治疗策略。尽管据报道已经努力解决这两个任务，但其中大多数依赖于手工制作的功能，并且没有尝试同时利用这两个预测任务。在本文中，我们提出了一种新型的任务意识到的对比学习算法，以共同预测来自多模式MRI的脑膜瘤等级和脑部侵袭。基于基本的多任务学习框架，我们的关键思想是采用对比度学习策略，以将图像功能分解为特定于任务的功能和任务遵守功能，并明确利用其固有的连接以改善两个预测任务的功能表示形式。在这项回顾性研究中，收集了一个MRI数据集，通过病理分析，有800名患者（含有148个高级，62名侵袭）患有脑膜瘤。实验结果表明，所提出的算法的表现优于替代性多任务学习方法，其AUCS分别为0：8870和0：9787，分别用于预测脑膜瘤等级和脑部侵袭。该代码可在https://github.com/isdling/predicttcl上找到。

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。

为医学图像评估构建准确和强大的人工智能系统，不仅需要高级深度学习模型的研究和设计，还需要创建大型和策划的注释训练示例。然而，构造这种数据集通常非常昂贵 - 由于注释任务的复杂性和解释医学图像所需的高度专业知识（例如，专家放射科医师）。为了对此限制来说，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征自我监督学习方法。为此目的，我们利用各种方式的大超过100,000,000个医学图像的大型训练数据集，包括放射线照相，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导在各种下游任务的监督和混合自我监督/监督制度的模型培训。我们突出了这种策略对射线照相，CT和MR：1的挑战性图像评估问题的许多优点，与最先进的（例如，检测3-7％的AUC升压为3-7％胸部射线照相扫描的异常和脑CT的出血检测）; 2）与使用无预先训练（例如，83％，在培训MR扫描MR扫描中的脑转移的模型时，在训练期间训练期间的模型收敛在训练期间的培训期高达85％。 3）对各种图像增强的鲁棒性增加，例如在场中看到的数据变化的强度变化，旋转或缩放反射。

计算机辅助X射线肺炎病变识别对于准确诊断肺炎很重要。随着深度学习的出现，肺炎的识别准确性得到了极大的改善，但是由于胸部X射线的模糊外观，仍然存在一些挑战。在本文中，我们提出了一个深度学习框架，称为基于注意力的对比度学习，用于治疗X射线肺炎病变识别（表示为深肺炎）。我们采用自我监督的对比学习策略来预先培训模型，而无需使用额外的肺炎数据来完全挖掘有限的可用数据集。为了利用医生精心贴出的病变区域的位置信息，我们提出了面具引导的硬注意策略和特征学习，并具有对比度调节策略，这些策略分别应用于注意力图和提取功能，以指导模型以指导模型将更多注意力集中在病变区域，其中包含更多歧视性特征以改善识别性能。此外，我们采用班级平衡的损失，而不是传统的跨凝性作为分类的损失函数，以解决数据集中不同类别肺炎之间严重类失衡的问题。实验结果表明，我们提出的框架可以用作可靠的计算机辅助肺炎诊断系统，以帮助医生更好地诊断肺炎病例。

我们解决了几次拍摄语义分割（FSS）的问题，该问题旨在通过一些带有一些注释的样本分段为目标图像中的新型类对象。尽管通过结合基于原型的公制学习来进行最近的进步，但由于其特征表示差，现有方法仍然显示出在极端内部对象变化和语义相似的类别对象下的有限性能。为了解决这个问题，我们提出了一种针对FSS任务定制的双重原型对比学习方法，以有效地捕获代表性的语义。主要思想是通过增加阶级距离来鼓励原型更差异，同时减少了原型特征空间中的课堂距离。为此，我们首先向类别特定的对比丢失丢失具有动态原型字典，该字典字典存储在训练期间的类感知原型，从而实现相同的类原型和不同的类原型是不同的。此外，我们通过压缩每集内语义类的特征分布来提高类别无话的对比损失，以提高未经看不见的类别的概念能力。我们表明，所提出的双重原型对比学习方法优于Pascal-5i和Coco-20i数据集的最先进的FSS方法。该代码可用于：https：//github.com/kwonjunn01/dpcl1。

具有病理注释的计算机断层扫描（CT）样品很难获得。结果，计算机辅助诊断（CAD）算法在小型数据集（例如带有1,018个样本的LIDC-IDRI）上进行了培训，从而限制了其准确性和可靠性。在过去的五年中，通过二维（2D）和三维（3D）自我监督学习（SSL）算法为CT病变的无监督表示量身定制了几项作品。 2D算法很难捕获3D信息，并且现有的3D算法在计算上很重。轻巧的3D SSL仍然是要探索的边界。在本文中，我们提出了螺旋形对比度学习（SCL），该学习以计算有效的方式产生3D表示。 SCL首先使用信息保护螺旋变换将3D病变转换为2D平面，然后使用2D对比度学习学习转换不变的特征。为了进行增强，我们考虑自然图像增强和医疗图像增强。我们通过在嵌入层上训练分类头来评估SCL。实验结果表明，对于无监督的代表性学习，SCL在LIDC-IDRI（89.72％），LNDB（82.09％）和天奇（90.16％）上实现了最先进的准确性。使用10％的带计算的注释数据，SCL的性能与监督学习算法的性能相当（Lidc-Idri的85.75％比85.03％，78.20％vs. 73.44％的LNDB和87.85％vs. 83.34％vs. 83.34％and。天奇，分别）。同时，与其他3D SSL算法相比，SCL将计算工作减少了66.98％，这证明了该方法在无监督的预训练中的效率。

从一个非常少数标记的样品中学习新颖的课程引起了机器学习区域的越来越高。最近关于基于元学习或转移学习的基于范例的研究表明，良好特征空间的获取信息可以是在几次拍摄任务上实现有利性能的有效解决方案。在本文中，我们提出了一种简单但有效的范式，该范式解耦了学习特征表示和分类器的任务，并且只能通过典型的传送学习培训策略从基类嵌入体系结构的特征。为了在每个类别内保持跨基地和新类别和辨别能力的泛化能力，我们提出了一种双路径特征学习方案，其有效地结合了与对比特征结构的结构相似性。以这种方式，内部级别对齐和级别的均匀性可以很好地平衡，并且导致性能提高。三个流行基准测试的实验表明，当与简单的基于原型的分类器结合起来时，我们的方法仍然可以在电感或转换推理设置中的标准和广义的几次射击问题达到有希望的结果。

有了大规模标记的数据集，深度学习在医学图像分割方面已取得了重大成功。但是，由于广泛的专业知识要求和昂贵的标签工作，在临床实践中获取大量注释是具有挑战性的。最近，对比学习表明，在未标记的数据上进行视觉表示学习的能力很强，在许多领域中实现了令人印象深刻的性能与监督的学习。在这项工作中，我们提出了一个新型的多尺度多视图全球对比度学习（MMGL）框架，以彻底探索不同尺度的全球和局部特征，并观察到可靠的对比度学习表现，从而通过有限的注释来改善细分性能。在MM-WHS数据集上进行的广泛实验证明了MMGL框架对半监视的心脏图像分割的有效性，从而超过了最先进的对比度学习方法，这是通过较大的余量。

对比学习被出现为强大的代表学习方法，促进各种下游任务，特别是当监督数据有限时。如何通过数据增强构建有效的对比样本是其成功的关键。与视觉任务不同，语言任务中尚未对对比学习进行对比学习的数据增强方法。在本文中，我们提出了一种使用文本摘要构建语言任务的对比样本的新方法。我们使用这些样本进行监督的对比学习，以获得更好的文本表示，这极大地利用了具有有限注释的文本分类任务。为了进一步改进该方法，除了交叉熵损失之外，我们将从不同类中的样本混合并添加一个名为MIXSUM的额外正则化。真实世界文本分类数据集（Amazon-5，Yelp-5，AG新闻和IMDB）的实验展示了基于摘要的数据增强和MIXSUM正规化的提议对比学习框架的有效性。

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

组织病理学图像的出现取决于组织类型，染色和数字化过程。这些因素因来源而异，是域转移问题的潜在原因。由于这个问题，尽管深度学习模型在计算病理学中取得了巨大的成功，但在特定领域训练的模型当我们将其应用于另一个领域时，仍可能会表现出色。为了克服这一点，我们提出了一种称为PatchShuffling的新扩展，并为预训练的深度学习模型而被称为Impash的新型自我监视的对比学习框架。使用这些，我们获得了一个RESNET50编码器，该编码器可以提取对域移位抗性的图像表示。我们通过使用其他域普通化技术来比较了我们的派生表示形式，它们通过将它们用于结直肠组织图像的跨域分类。我们表明，所提出的方法优于其他传统的组织学领域适应和最先进的自我监督学习方法。代码可在以下网址获得：https：//github.com/trinhvg/impash。