在过去几年中，无监督的学习取得了很大的进展，特别是通过对比的自我监督学习。用于基准测试自我监督学习的主导数据集已经想象，最近的方法正在接近通过完全监督培训实现的性能。然而，ImageNet DataSet在很大程度上是以对象为中心的，并且目前尚不清楚这些方法的广泛不同的数据集和任务，这些方法是非以对象为中心的，例如数字病理学。虽然自我监督的学习已经开始在这个领域探讨了令人鼓舞的结果，但有理由看起来更接近这个环境与自然图像和想象成的不同。在本文中，我们对组织病理学进行了对比学学习的深入分析，引脚指向对比物镜的表现如何不同，由于组织病理学数据的特征。我们提出了一些考虑因素，例如对比目标和超参数调整的观点。在大量的实验中，我们分析了组织分类的下游性能如何受到这些考虑因素的影响。结果指出了对比学习如何减少数字病理中的注释工作，但需要考虑特定的数据集特征。为了充分利用对比学习目标，需要不同的视野和超参数校准。我们的结果为实现组织病理学应用的自我监督学习的全部潜力铺平了道路。

自我监督的预训练似乎是在转移学习预培训的有利替代方案。通过在借口任务上综合注释，自我划分允许在对目标任务进行细微调整之前对大量伪标签进行预训练模型。在这项工作中，我们评估了诊断皮肤病变的自学意识，将三个自我监管的管道与具有挑战性的监督基线进行了比较，该管道包括五个测试数据集，其中包括分布式和分布样品的五个测试数据集。我们的结果表明，自学在改善准确性和降低结果的可变性方面都具有竞争力。自我划分证明，对于低训练数据方案（$ <1 \，500 $和$ <150 $样本）而言，它特别有用，在该方案中，其稳定结果的能力对于提供合理的结果至关重要。

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

近年来，随着深度神经网络方法的普及，手术计算机视觉领域经历了相当大的突破。但是，用于培训的标准全面监督方法需要大量的带注释的数据，从而实现高昂的成本；特别是在临床领域。已经开始在一般计算机视觉社区中获得吸引力的自我监督学习（SSL）方法代表了对这些注释成本的潜在解决方案，从而使仅从未标记的数据中学习有用的表示形式。尽管如此，SSL方法在更复杂和有影响力的领域（例如医学和手术）中的有效性仍然有限且未开发。在这项工作中，我们通过在手术计算机视觉的背景下研究了四种最先进的SSL方法（Moco V2，Simclr，Dino，SWAV），以解决这一关键需求。我们对这些方法在cholec80数据集上的性能进行了广泛的分析，以在手术环境理解，相位识别和工具存在检测中为两个基本和流行的任务。我们检查了它们的参数化，然后在半监督设置中相对于训练数据数量的行为。如本工作所述和进行的那样，将这些方法的正确转移到手术中，可以使SSL的一般用途获得可观的性能 - 相位识别率高达7％，而在工具存在检测方面，则具有20％ - 半监督相位识别方法高达14％。该代码将在https://github.com/camma-public/selfsupsurg上提供。

高质量注释的医学成像数据集的稀缺性是一个主要问题，它与医学成像分析领域的机器学习应用相撞并阻碍了其进步。自我监督学习是一种最近的培训范式，可以使学习强大的表示无需人类注释，这可以被视为有效的解决方案，以解决带注释的医学数据的稀缺性。本文回顾了自我监督学习方法的最新研究方向，用于图像数据，并将其专注于其在医学成像分析领域的应用。本文涵盖了从计算机视野领域的最新自我监督学习方法，因为它们适用于医学成像分析，并将其归类为预测性，生成性和对比性方法。此外，该文章涵盖了40个在医学成像分析中自学学习领域的最新研究论文，旨在阐明该领域的最新创新。最后，本文以该领域的未来研究指示结束。

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies, either at the image or the feature level, improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e. the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing memory requirements, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection, and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.Project page: https://europe.naverlabs.com/mochi 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。

Well-annotated medical datasets enable deep neural networks (DNNs) to gain strong power in extracting lesion-related features. Building such large and well-designed medical datasets is costly due to the need for high-level expertise. Model pre-training based on ImageNet is a common practice to gain better generalization when the data amount is limited. However, it suffers from the domain gap between natural and medical images. In this work, we pre-train DNNs on ultrasound (US) domains instead of ImageNet to reduce the domain gap in medical US applications. To learn US image representations based on unlabeled US videos, we propose a novel meta-learning-based contrastive learning method, namely Meta Ultrasound Contrastive Learning (Meta-USCL). To tackle the key challenge of obtaining semantically consistent sample pairs for contrastive learning, we present a positive pair generation module along with an automatic sample weighting module based on meta-learning. Experimental results on multiple computer-aided diagnosis (CAD) problems, including pneumonia detection, breast cancer classification, and breast tumor segmentation, show that the proposed self-supervised method reaches state-of-the-art (SOTA). The codes are available at https://github.com/Schuture/Meta-USCL.

这项工作提出了一种新型的自我监督的预训练方法，以学习有效的表示，而没有在组织病理学医学图像上使用放大倍率的因素进行标签。其他最先进的工作主要集中在完全监督的学习方法上，这些学习方法严重依赖人类注释。但是，标记和未标记数据的稀缺性是组织病理学的长期挑战。当前，没有标签的表示学习仍未探索组织病理学领域。提出的方法是放大事先的对比相似性（MPC），可以通过利用放大倍率，电感转移和减少人类先验的宽度乳腺癌数据集中的无标签来进行自我监督的学习。当仅20％的标签用于微调和表现以前的工作中，在完全监督的学习环境中，该方法与恶性分类的最新学习相匹配。它提出了一个假设，并提供了经验证据来支持，从而减少人类优先导致自学​​中有效表示学习。这项工作的实施可在github-https：//github.com/prakashchhipa/magnification-prior-self-supervised-method上在线获得。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

监督学习可以学习大型代表性空间，这对于处理困难的学习任务至关重要。然而，由于模型的设计，经典图像分类方法争取在处理小型数据集时概括为新的问题和新情况。事实上，监督学习可能失去图像特征的位置，这导致在非常深刻的架构中的监督崩溃。在本文中，我们调查了如何有效地对未标记数据的强大和充分增强的自我监督，可以有效地培训神经网络的第一层，甚至比监督学习更好，无需数百万标记的数据。主要目标是通过获取通用任务 - 不可知的低级功能来断开像素数据与注释的连接。此外，我们调查视觉变形金刚（VIV）并表明，从自我监督架构中得出的低级功能可以提高这种紧急架构的鲁棒性和整体性能。我们在最小的开源数据集STL-​​10上评估了我们的方法，当从自我监督的学习架构输入到vit而不是原始时，我们获得了从41.66％的显着提升到83.25％。图片。

自我监督的视觉表示学习最近引起了重大的研究兴趣。虽然一种评估自我监督表示的常见方法是通过转移到各种下游任务，但我们研究了衡量其可解释性的问题，即了解原始表示中编码的语义。我们将后者提出为估计表示和手动标记概念空间之间的相互信息。为了量化这一点，我们介绍了一个解码瓶颈：必须通过简单的预测变量捕获信息，将概念映射到表示空间中的簇。我们称之为反向线性探测的方法为表示表示的语义敏感。该措施还能够检测出表示何时包含概念的组合（例如“红色苹果”），而不仅仅是单个属性（独立的“红色”和“苹果”）。最后，我们建议使用监督分类器自动标记大型数据集，以丰富用于探测的概念的空间。我们使用我们的方法来评估大量的自我监督表示形式，通过解释性对它们进行排名，并通过线性探针与标准评估相比出现的差异，并讨论了一些定性的见解。代码为：{\ Scriptsize {\ url {https://github.com/iro-cp/ssl-qrp}}}}}。

最近，电子学习平台已经发展为学生可以发表疑问（用智能手机拍摄的快照）并在几分钟内解决的地方。但是，这些平台的质量差异很大的学生寄出疑问的数量显着增加，这不仅给教师导航解决方案带来了挑战，还增加了每个疑问的分辨率时间。两者都是不可接受的，因为高度怀疑的时间阻碍了学生学习进度的学习。这需要方法来自动识别存储库中是否存在类似的疑问，然后将其作为验证和与学生沟通的合理解决方案。监督的学习技术（如暹罗建筑）需要标签来识别比赛，这是不可行的，因为标签稀缺且昂贵。因此，在这项工作中，我们基于通过自我监督技术学到的表示形式开发了符合范式的标签不足的疑问。在BYOL的先前理论见解（Bootstrap您自己的潜在空间）的基础上，我们提出了Custom Byol，将特定于域特异性的增强与对比目标结合在一起，而不是各种适当构建的数据视图。结果强调，与BYOL和监督学习实例相比，Custom Byol分别将TOP-1匹配精度提高了大约6 \％和5 \％。我们进一步表明，基于BYOL的学习实例在标准杆上的性能比人类标签更好。

H＆E载玻片中的细胞识别是必不可少的先决条件，可以为进一步的病理分析铺平道路，包括组织分类，癌症分级和表型预测。但是，使用深度学习技术执行此类任务需要大型的细胞级注释数据集。尽管以前的研究已经调查了组织分类中对比度自我监督方法的性能，但该类别算法在细胞鉴定和聚类中的实用性仍然未知。在这项工作中，我们通过提出对比度细胞表示学习（CCRL）模型来研究了在细胞聚类中自学学习（SSL）的实用性。通过全面的比较，我们表明该模型可以通过来自不同组织类型的两个数据集的大幅度优于所有当前可用的细胞聚类模型。更有趣的是，结果表明，我们提出的模型在几个单元格类别中运作良好，而SSL模型的实用性主要在具有大量类别的自然图像数据集的背景下显示（例如Imagenet）。本研究中提出的无监督表示学习方法消除了细胞分类任务中数据注释的耗时步骤，这使我们能够在与以前的方法相比更大的数据集上训练我们的模型。因此，考虑到有希望的结果，这种方法可以为自动细胞表示学习打开新的途径。