目的：医生可以手动检测胃炎的胃X射线图像，这是耗时且昂贵的。本文提出了一种自我监督的学习方法来解决这个问题。这项研究旨在使用一些注释的胃X射线图像来验证拟议的自我监督学习方法在胃炎检测中的有效性。方法：在本文中，我们提出了一种新的方法，该方法可以执行明确的自我监督学习，并从胃X射线图像中学习判别性表示。在数据集中对使用建议方法训练的模型进行了微调，并具有一些带注释的胃X射线图像。将五种自我监督的学习方法，即Simsiam，Byol，Pirl-Jigsaw，Pirl Rotation和Simc​​lr，与所提出的方法进行了比较。此外，将三种先前的方法与提议的方法进行了比较。结果：拟议的方法$'$ s的谐波平均值得分的灵敏度和特异性分别为10、20、30和40名患者的注释数据分别为0.875、0.911、0.915和0.931。所提出的方法优于所有比较方法，包括五个自我监督学习和先前的三种方法。实验结果表明，使用一些带注释的胃X射线图像，该方法在胃炎检测中的有效性。结论：拟议的自我监督学习方法显示了使用一些注释的胃X射线图像在胃炎检测中的潜在临床用途。

Purpose: Considering several patients screened due to COVID-19 pandemic, computer-aided detection has strong potential in assisting clinical workflow efficiency and reducing the incidence of infections among radiologists and healthcare providers. Since many confirmed COVID-19 cases present radiological findings of pneumonia, radiologic examinations can be useful for fast detection. Therefore, chest radiography can be used to fast screen COVID-19 during the patient triage, thereby determining the priority of patient's care to help saturated medical facilities in a pandemic situation. Methods: In this paper, we propose a new learning scheme called self-supervised transfer learning for detecting COVID-19 from chest X-ray (CXR) images. We compared six self-supervised learning (SSL) methods (Cross, BYOL, SimSiam, SimCLR, PIRL-jigsaw, and PIRL-rotation) with the proposed method. Additionally, we compared six pretrained DCNNs (ResNet18, ResNet50, ResNet101, CheXNet, DenseNet201, and InceptionV3) with the proposed method. We provide quantitative evaluation on the largest open COVID-19 CXR dataset and qualitative results for visual inspection. Results: Our method achieved a harmonic mean (HM) score of 0.985, AUC of 0.999, and four-class accuracy of 0.953. We also used the visualization technique Grad-CAM++ to generate visual explanations of different classes of CXR images with the proposed method to increase the interpretability. Conclusions: Our method shows that the knowledge learned from natural images using transfer learning is beneficial for SSL of the CXR images and boosts the performance of representation learning for COVID-19 detection. Our method promises to reduce the incidence of infections among radiologists and healthcare providers.

Background and objective: COVID-19 and its variants have caused significant disruptions in over 200 countries and regions worldwide, affecting the health and lives of billions of people. Detecting COVID-19 from chest X-Ray (CXR) images has become one of the fastest and easiest methods for detecting COVID-19 since the common occurrence of radiological pneumonia findings in COVID-19 patients. We present a novel high-accuracy COVID-19 detection method that uses CXR images. Methods: Our method consists of two phases. One is self-supervised learning-based pertaining; the other is batch knowledge ensembling-based fine-tuning. Self-supervised learning-based pretraining can learn distinguished representations from CXR images without manually annotated labels. On the other hand, batch knowledge ensembling-based fine-tuning can utilize category knowledge of images in a batch according to their visual feature similarities to improve detection performance. Unlike our previous implementation, we introduce batch knowledge ensembling into the fine-tuning phase, reducing the memory used in self-supervised learning and improving COVID-19 detection accuracy. Results: On two public COVID-19 CXR datasets, namely, a large dataset and an unbalanced dataset, our method exhibited promising COVID-19 detection performance. Our method maintains high detection accuracy even when annotated CXR training images are reduced significantly (e.g., using only 10% of the original dataset). In addition, our method is insensitive to changes in hyperparameters. Conclusions: The proposed method outperforms other state-of-the-art COVID-19 detection methods in different settings. Our method can reduce the workloads of healthcare providers and radiologists.

背景和目标：需要分享医疗数据以实现医疗保健信息的跨机构流量并构建高准确的计算机辅助诊断系统。但是，大量的医疗数据集，保存深度卷积神经网络（DCNN）模型的大量记忆以及患者的隐私保护是可能导致医疗数据共享效率低下的问题。因此，本研究提出了一种新型的软标签数据集蒸馏方法，用于医疗数据共享。方法：所提出的方法提炼医疗图像数据的有效信息，并生成几个带有不同数据分布的压缩图像，以供匿名医疗数据共享。此外，我们的方法可以提取DCNN模型的基本权重，以减少保存训练有素的模型以进行有效的医疗数据共享所需的内存。结果：所提出的方法可以将数万张图像压缩为几个软标签图像，并将受过训练的模型的大小减少到其原始大小的几百分之一。蒸馏后获得的压缩图像已在视觉上匿名化；因此，它们不包含患者的私人信息。此外，我们可以通过少量压缩图像实现高检测性能。结论：实验结果表明，所提出的方法可以提高医疗数据共享的效率和安全性。

由于存在隐私保护问题以及传输和存储许多高分辨率医疗图像的巨大成本，因此在医院之间共享医疗数据集很具有挑战性。但是，数据集蒸馏可以合成一个小数据集，从而使对其进行训练的模型与原始大型数据集实现了可比的性能，这显示了解决现有的医疗共享问题的潜力。因此，本文提出了一种基于数据集蒸馏的新型医学数据集共享方法。Covid-19胸部X射线图像数据集的实验结果表明，即使使用稀缺的匿名胸部X射线图像，我们的方法也可以达到高检测性能。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

深度学习模型的培训通常需要大量的注释数据，以实现有效的收敛和泛化。然而，获得高质量的注释是一种借鉴和昂贵的过程，因为需要专家放射科学家进行标签任务。在医学图像分析中的半监督学习的研究是至关重要的，因为获得未标记的图像的昂贵比以获得专家放射科医师标记的图像更便宜。基本上，半监督方法利用大量未标记的数据来实现比仅使用小组标记图像更好的训练收敛和泛化。在本文中，我们提出了自我监督的平均教师进行半监督（S $ ^ 2 $ MTS $ ^ 2 $）学习，将自我监督的卑鄙教师预训练与半监督微调相结合。 S $ ^ 2 $ MTS $ ^ 2 $的主要创新是基于联合对比学习的自我监督的平均教师预培训，它使用无限数量的正查询和关键特征来改善平均值 - 老师代表。然后使用具有半监督学习的指数移动平均教师框架进行微调。我们从胸部X-ray14和Chexpert的多标签分类问题上验证了S $ ^ 2 $ MTS $ ^ 2 $，以及iC2018的多级分类，在那里我们表明它优于前一个SOTA半监督的学习方法通过大幅度。

We introduce Bootstrap Your Own Latent (BYOL), a new approach to selfsupervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected. 3

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.

糖尿病性视网膜病变（DR）是发达国家工人衰老人群中失明的主要原因之一，这是由于糖尿病的副作用降低了视网膜的血液供应。深度神经网络已被广泛用于自动化系统中，以在眼底图像上进行DR分类。但是，这些模型需要大量带注释的图像。在医疗领域，专家的注释昂贵，乏味且耗时。结果，提供了有限数量的注释图像。本文提出了一种半监督的方法，该方法利用未标记的图像和标记的图像来训练一种检测糖尿病性视网膜病的模型。提出的方法通过自我监督的学习使用无监督的预告片，然后使用一小部分标记的图像和知识蒸馏来监督微调，以提高分类任务的性能。在Eyepacs测试和Messidor-2数据集中评估了此方法，仅使用2％的Eyepacs列车标记图像，分别使用0.94和0.89 AUC。

背景：宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描（OCT）作为宫颈疾病检测的非侵入性，高分辨率成像技术。然而，OCT图像注释是知识密集型和耗时的，这阻碍了基于深度学习的分类模型的培训过程。目的：本研究旨在基于自我监督学习，开发一种计算机辅助诊断（CADX）方法来对体内宫颈OCT图像进行分类。方法：除了由卷积神经网络（CNN）提取的高电平语义特征外，建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果：在用于检测高风险疾病的二元分类任务中，包括高级鳞状上皮病变和宫颈癌，我们的方法实现了0.9798加号或减去0.0157的面积曲线值，灵敏度为91.17加或对于OCT图像贴片，减去4.99％，特异性为93.96加仑或减去4.72％;此外，它在测试集上的四位医学专家中表现出两种。此外，我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53％的敏感性和97.37％的特异性。结论：所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型，并基于纹理特征提供更好的可解释性，其在“见和治疗”的临床协议中具有很大的潜力。

这项工作提出了一种新型的自我监督的预训练方法，以学习有效的表示，而没有在组织病理学医学图像上使用放大倍率的因素进行标签。其他最先进的工作主要集中在完全监督的学习方法上，这些学习方法严重依赖人类注释。但是，标记和未标记数据的稀缺性是组织病理学的长期挑战。当前，没有标签的表示学习仍未探索组织病理学领域。提出的方法是放大事先的对比相似性（MPC），可以通过利用放大倍率，电感转移和减少人类先验的宽度乳腺癌数据集中的无标签来进行自我监督的学习。当仅20％的标签用于微调和表现以前的工作中，在完全监督的学习环境中，该方法与恶性分类的最新学习相匹配。它提出了一个假设，并提供了经验证据来支持，从而减少人类优先导致自学​​中有效表示学习。这项工作的实施可在github-https：//github.com/prakashchhipa/magnification-prior-self-supervised-method上在线获得。

转移学习已成为减轻医疗分类任务中缺乏标记数据的标准做法。虽然FineEning使用受监督的想象佩尔预押的下游任务预磨损的功能是简单的，并且在许多作品中进行了广泛的调查，但对自我监督预测的有用性很少有研究。在本文中，我们评估了通过从三种自我监督技术（SIMCLR，SWAV和DINO）对所选医疗分类任务的三种自我监控技术（SIMCLRR，SWAV和DINO）初始化的模型的性能来评估想象成自我监督的可转换性。所选择的任务涵盖Sentinel腋窝淋巴结图像中的肿瘤检测，眼底图像中的糖尿病视网膜病变分类以及胸部X射线图像中的多种病理条件分类。我们展示了自我监督的佩戴模型产生比其监督对应物更丰富的嵌入式，这鉴于线性评估和FineTuning均有益处下游任务。例如，考虑到在织物上的数据的线性评估，我们在糖尿病视网膜病变分类任务中看到高达14.79％的提高，肿瘤分类任务中的5.4％，肺炎中的7.03％AUC检测和9.4％的AUC在胸部X射线的病理条件下检测。此外，我们将动态视觉元嵌入（DVME）引入端到端的转移学习方法，融合来自多种型号的佩尔净化的嵌入物。我们表明，与使用单个掠过的模型方法相比，DVME获得的集体表示导致所选任务的性能的显着改进，并且可以推广到预磨料模型的任何组合。

胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。

预训练为深入学习支持的X线射线分析中最近的成功奠定了基础。它通过在源域上进行大规模完全监督或自我监督的学习来学习可转移的图像表示。然而，监督的预培训需要复杂和劳动密集的两级人类辅助注释过程，而自我监督的学习不能与监督范例竞争。为了解决这些问题，我们提出了一个跨监督的方法，命名为审查监督（指的）的自由文本报告，该报告从射线照相中获取来自原始放射学报告的自由监督信号。该方法采用了视觉变压器，旨在从每个患者研究中的多种视图中学习联合表示。在极其有限的监督下，引用其在4个众所周知的X射线数据集上的转移学习和自我监督学习对应。此外，甚至是基于具有人辅助结构标签的射线照相的源区的甚至超越方法。因此，有可能取代规范的预训练方法。

石油和天然气行业中的相似性学习问题旨在构建一个模型，该模型估算以记录数据的间隔测量之间的相似性。以前的尝试主要基于经验规则，因此我们的目标是自动化此过程并排除昂贵且耗时的专家标签。相似性学习的方法之一是自学学习（SSL）。与监督范式相反，该数据几乎不需要标签。因此，即使缺乏或稀缺，我们也可以学习此类模型。如今，大多数SSL方法都是对比和非对抗性的。但是，由于可能对正和负样本进行错误的标记，对比度方法的扩展并不能很好地扩展到对象的数量。非对比度方法不依赖负样本。这种方法在计算机视觉中积极使用。我们为时间序列数据引入了非对比度SSL。特别是，我们建立在Byol和Barlow双胞胎方法的基础上，这些方法避免使用负对，仅专注于匹配正对。这些方法的关键部分是增强策略。存在时间序列的不同增强，而它们对性能的影响可能是正面的和负面的。我们对BYOL和BARLOW双胞胎的增强策略和适应性，使我们能够比其他自我监督的方法（仅ARI $ = 0.34 $）实现更高的质量（ARI $ = 0.49 $），证明了拟议中的非对比性自我的有用性间隔相似性问题和时间序列表示总体学习的监督方法。

医学图像分析的申请遭受了医学专家正确注释的大量数据的急性短缺。监督的学习算法需要大量平衡数据才能学习稳健的表示。经常有监督的学习算法需要各种技术来处理不平衡的数据。另一方面，自我监督的学习算法在数据中是强大的，并且能够学习强大的表示。在这项工作中，我们使用梯度积累技术训练3D BYOL自制模型，以处理自我监督算法中通常需要的批处理中的大量样品。据我们所知，这项工作是该领域中第一个此类工作之一。我们比较了通过当代自我监督预训练的预训练方法以及用动力学400预训练的预训练的RESNET3D-18比较通过实验在ACL泪受损伤检测的下游任务中获得的结果。从下游任务实验中，很明显，所提出的框架优于现有基线。

在亲自重新识别（REID）中，最近的研究已经验证了未标记的人图像上的模型的预训练要比ImageNet上要好得多。但是，这些研究直接应用了为图像分类设计的现有自我监督学习（SSL）方法，用于REID，而无需在框架中进行任何适应。这些SSL方法将本地视图的输出（例如红色T恤，蓝色短裤）与同时的全球视图相匹配，从而丢失了很多细节。在本文中，我们提出了一种特定于REID的预训练方法，部分意识的自我监督预训练（PASS），该方法可以生成零件级别的功能以提供细粒度的信息，并且更适合REID。通行证将图像分为几个局部区域，每个区域随机裁剪的本地视图都有特定的可学习[部分]令牌。另一方面，所有地方区域的[部分]也附加到全球视图中。通行证学习以匹配同一[部分]上本地视图的输出和全局视图。也就是说，从本地区域获得的本地视图的[部分]仅与从全球视图中学到的相应[部分]相匹配。结果，每个[部分]可以专注于图像的特定局部区域，并提取该区域的细粒度信息。实验显示通行证在Market1501和MSMT17上的新最先进的表演以及各种REID任务（例如Vanilla vit-s/16）通过Pass Achieves 92.2 \％/90.2 \％/88.5 \％地图准确性，例如Vanilla vit-s/16在Market1501上进行监督/UDA/USL REID。我们的代码可在https://github.com/casia-iva-lab/pass-reid上找到。

监督的机器学习为各种计算机视觉问题提供了最新的解决方案。但是，对大量标记的培训数据的需求限制了这些算法在稀缺或昂贵的情况下的这些算法的功能。自我监督的学习提供了一种方法，可以通过对未标记数据的特定域进行预处理模型来降低对手动注释数据的需求。在这种方法中，标记的数据完全需要用于微调下游任务的模型。医疗图像细分是一个标签数据需要专家知识并收集大型标记数据集的领域。因此，自我监督的学习算法有望在该领域进行实质性改进。尽管如此，自我监督的学习算法很少用于预识医学图像分割网络。在本文中，我们详细阐述并分析了对下游医学图像分割的监督和自我监督预审方法的有效性，重点是收敛和数据效率。我们发现，对自然图像和目标域特异性图像进行自我监督的预测会导致最快，最稳定的下游收敛性。在我们对ACDC心脏分割数据集的实验中，与Imagenet预处理的模型相比，这种预处理的方法可实现4-5倍的微调收敛。我们还表明，这种方法需要在域特异性数据上进行少于五个时期的预处理，以在下游收敛时间进行这种改进。最后，我们发现，在低数据方案中，有监督的Imagenet预处理达到了最佳准确性，需要少于100个带注释的样品才能实现接近最小误差。

人们普遍认为，污渍差异引起的颜色变化是组织病理学图像分析的关键问题。现有方法采用颜色匹配，染色分离，污渍转移或它们的组合以减轻污渍变化问题。在本文中，我们提出了一种用于组织病理学图像分析的新型染色自适应自我监督学习（SASSL）方法。我们的SASSL将一个域 - 交流训练模块集成到SSL框架中，以学习独特的特征，这些功能对各种转换和污渍变化都具有鲁棒性。所提出的SASSL被视为域不变特征提取的一般方法，可以通过对特定下游任务的特征进行细微调整特征来灵活地与任意下游组织病理学图像分析模块（例如核/组织分割）结合。我们进行了有关公开可用的病理图像分析数据集的实验，包括熊猫，乳腺癌和camelyon16数据集，以实现最先进的性能。实验结果表明，所提出的方法可以鲁棒地提高模型的特征提取能力，并在下游任务中实现稳定的性能改善。