深度学习方法实现了对放射学图像进行分类的最新性能，但依赖于需要专家资源密集型注释的大型标签数据集。半监督学习和积极学习都可以用于减轻这种注释负担。但是，对于多标签医学图像分类，将半监督和主动学习方法的优势结合起来的工作有限。在这里，我们介绍了一种基于一致性的新型半监督证据活跃学习框架（CSEAL）。具体而言，我们利用基于证据和主观逻辑理论的预测不确定性来开发一种端到端的综合方法，该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们采用我们的方法来增强四种基于一致性的半监督学习方法：伪标记，虚拟对抗性培训，卑鄙的老师和不老师。对多标签胸部X射线分类任务的广泛评估表明，CSEAL在两个领先的半监督活跃学习基线方面取得了实质性改进。此外，班级分解的结果表明，我们的方法可以大大提高标记样品较少的稀有异常的准确性。

大型标记数据集的可用性是深度学习成功的关键组成部分。但是，大型数据集上的标签通常很耗时且昂贵。主动学习是一个研究领域，通过选择最重要的标签样本来解决昂贵的标签问题。基于多样性的采样算法被称为基于表示的主动学习方法的组成部分。在本文中，我们介绍了一种新的基于多样性的初始数据集选择算法，以选择有效学习环境中初始标记的最有用的样本集。自我监督的表示学习用于考虑初始数据集选择算法中样品的多样性。此外，我们提出了一种新型的主动学习查询策略，该策略使用基于多样性的基于一致性的嵌入方式采样。通过考虑基于一致性的嵌入方案中多样性的一致性信息，该方法可以在半监督的学习环境中选择更多信息的样本来标记。比较实验表明，通过利用未标记的数据的多样性，与先前的主动学习方法相比，该提出的方法在CIFAR-10和CALTECH-101数据集上取得了令人信服的结果。

Even though active learning forms an important pillar of machine learning, deep learning tools are not prevalent within it. Deep learning poses several difficulties when used in an active learning setting. First, active learning (AL) methods generally rely on being able to learn and update models from small amounts of data. Recent advances in deep learning, on the other hand, are notorious for their dependence on large amounts of data. Second, many AL acquisition functions rely on model uncertainty, yet deep learning methods rarely represent such model uncertainty. In this paper we combine recent advances in Bayesian deep learning into the active learning framework in a practical way. We develop an active learning framework for high dimensional data, a task which has been extremely challenging so far, with very sparse existing literature. Taking advantage of specialised models such as Bayesian convolutional neural networks, we demonstrate our active learning techniques with image data, obtaining a significant improvement on existing active learning approaches. We demonstrate this on both the MNIST dataset, as well as for skin cancer diagnosis from lesion images (ISIC2016 task).

医疗IM年龄分析（MIA）中的有效半监督学习（SSL）必须解决两个挑战：1）在多级（例如病变分类）和多标签（例如，多疾病诊断）问题上， 2）处理不平衡的学习（因为疾病患病率的高度）。解释SSL MIA的一个策略基于伪标签策略，但是有几个缺点。伪标签具有比一致性学习比一致性的精度，它没有针对多级和多标签问题的特定设计，并且可以通过不平衡的学习来挑战。在本文中，与通过阈值选择自信的伪标签的传统方法不同，我们提出了一种新的SSL算法，称为ANT-CURICULUM伪标签（ACPL），这引入了新颖的技术选择信息，改善培训平衡并允许模型。为多标签和多级问题工作，并通过准确的分类器组合估算伪标签（提高伪标签精度）。我们运行广泛的实验，以评估两种公共医学图像分类基准的ACPL：胸部X射线14用于胸部疾病的多标签分类和SISIC2018用于皮肤病变多级分类。我们的方法在两个数据集上胜过以前的SOTA SSL方法。

大型，注释的数据集在医学图像分析中不广泛使用，这是由于时间，成本和标记大型数据集相关的挑战。未标记的数据集更容易获取，在许多情况下，专家可以为一小部分图像提供标签是可行的。这项工作提出了一个信息理论的主动学习框架，该框架可以根据评估数据集中最大化预期信息增益（EIG）来指导未标记池的最佳图像选择。实验是在两个不同的医学图像分类数据集上进行的：多类糖尿病性视网膜病变量表分类和多级皮肤病变分类。结果表明，通过调整EIG来说明班级不平衡，我们提出的适应预期信息增益（AEIG）的表现优于几个流行的基线，包括基于多样性的核心和基于不确定性的最大熵抽样。具体而言，AEIG仅占总体表现的95％，只有19％的培训数据，而其他活跃的学习方法则需要约25％。我们表明，通过仔细的设计选择，我们的模型可以集成到现有的深度学习分类器中。

半监督的学习受到了最近的关注，因为它减轻了对大量标签数据的需求，这些数据通常很昂贵，需要专家知识并耗时收集。深度半监督分类的最新发展已经达到了前所未有的表现，而受监督和半监督学习之间的差距一直在挑战。这种绩效的改善是基于包含众多技术技巧，强大的增强技术和具有多项损失功能的昂贵优化方案。我们提出了一个新的框架，即laplacenet，以进行深度半监督分类，该分类大大降低了模型的复杂性。我们利用一种混合方法，在该方法中，通过将图表上的laplacian能量最小化来产生伪标记。然后，这些伪标签被用来迭代训练神经网络骨架。在几个基准数据集上，我们的模型优于深度半监督分类的最先进方法。此外，我们在理论上考虑了强大化对神经网络的应用，并证明使用多样采样方法对半监督学习的使用是合理的。我们通过严格的实验证明，多样采样增强方法可以改善概括并降低网络对增强的敏感性。

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning (S 4 L) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that S 4 L and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.

本文涉及分割中的伪标记。我们的贡献是四倍。首先，我们提出了伪标签的新表述，作为一种预期最大化（EM）算法，用于清晰的统计解释。其次，我们纯粹基于原始伪标记，即Segpl，提出了一种半监督的医学图像分割方法。我们证明，SEGPL是针对针对2D多级MRI MRI脑肿瘤分段任务和3D二进制CT肺部肺血管分段任务的半监督分割的最新一致性正则方法的竞争方法。与先前方法相比，SEGPL的简单性允许更少的计算成本。第三，我们证明了SEGPL的有效性可能源于其稳健性抵抗分布噪声和对抗性攻击。最后，在EM框架下，我们通过变异推理引入了SEGPL的概率概括，该推论学习了训练期间伪标记的动态阈值。我们表明，具有变异推理的SEGPL可以通过金标准方法深度集合在同步时执行不确定性估计。

深度学习模型的培训通常需要大量的注释数据，以实现有效的收敛和泛化。然而，获得高质量的注释是一种借鉴和昂贵的过程，因为需要专家放射科学家进行标签任务。在医学图像分析中的半监督学习的研究是至关重要的，因为获得未标记的图像的昂贵比以获得专家放射科医师标记的图像更便宜。基本上，半监督方法利用大量未标记的数据来实现比仅使用小组标记图像更好的训练收敛和泛化。在本文中，我们提出了自我监督的平均教师进行半监督（S $ ^ 2 $ MTS $ ^ 2 $）学习，将自我监督的卑鄙教师预训练与半监督微调相结合。 S $ ^ 2 $ MTS $ ^ 2 $的主要创新是基于联合对比学习的自我监督的平均教师预培训，它使用无限数量的正查询和关键特征来改善平均值 - 老师代表。然后使用具有半监督学习的指数移动平均教师框架进行微调。我们从胸部X-ray14和Chexpert的多标签分类问题上验证了S $ ^ 2 $ MTS $ ^ 2 $，以及iC2018的多级分类，在那里我们表明它优于前一个SOTA半监督的学习方法通过大幅度。

尽管在许多自然语言处理（NLP）任务中进行了预先训练的语言模型（LMS），但它们需要过多标记的数据来进行微调以实现令人满意的性能。为了提高标签效率，研究人员采取了活跃的学习（AL），而大多数事先工作则忽略未标记数据的潜力。要释放未标记数据的强大功能以获得更好的标签效率和模型性能，我们开发ATM，一个新的框架，它利用自我训练来利用未标记的数据，并且对于特定的AL算法不可知，用作改善现有的插件模块Al方法。具体地，具有高不确定性的未标记数据暴露于Oracle以进行注释，而具有低不确定性的人则可用于自培训。为了缓解自我训练中的标签噪声传播问题，我们设计一个简单且有效的基于动量的内存库，可以动态地从所有轮次汇总模型预测。通过广泛的实验，我们证明了ATM优于最强大的积极学习和自我训练基线，平均将标签效率提高51.9％。

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

虽然注释大量的数据以满足复杂的学习模型，但对于许多现实世界中的应用程序可能会过于良好。主动学习（AL）和半监督学习（SSL）是两个有效但经常被隔离的方法，可以减轻渴望数据的问题。最近的一些研究探索了将AL和SSL相结合以更好地探测未标记数据的潜力。但是，几乎所有这些当代的SSL-AL作品都采用了简单的组合策略，忽略了SSL和AL的固有关系。此外，在处理大规模，高维数据集时，其他方法则遭受高计算成本。通过标记数据的行业实践的激励，我们提出了一种基于创新的基于不一致的虚拟对抗性积极学习（理想）算法，以进一步研究SSL-AL的潜在优势，并实现Al和SSL的相互增强，即SSL，即SSL宣传标签信息，以使标签信息无标记的样本信息并为Al提供平滑的嵌入，而AL排除了具有不一致的预测和相当不确定性的样品。我们通过不同粒度的增强策略（包括细粒度的连续扰动探索和粗粒数据转换）来估计未标记的样品的不一致。在文本和图像域中，广泛的实验验证了所提出的算法的有效性，并将其与最先进的基线进行了比较。两项实际案例研究可视化应用和部署所提出的数据采样算法的实际工业价值。

半监督学习在医疗领域取得了重大进展，因为它减轻了收集丰富的像素的沉重负担，用于针对语义分割任务。现有的半监督方法增强了利用从有限标记数据获得的现有知识从未标记数据提取功能的能力。然而，由于标记数据的稀缺性，模型提取的特征在监督学习中受到限制，并且对未标记数据的预测质量也无法保证。两者都将妨碍一致培训。为此，我们提出了一种新颖的不确定性感知计划，以使模型自动学习地区。具体而言，我们采用Monte Carlo采样作为获得不确定性地图的估计方法，该方法可以作为损失损失的重量，以强制根据监督学习和无监督学习的特征将模型专注于有价值的区域。同时，在后退过程中，我们通过增强不同任务之间的梯度流动，联合无监督和监督损失来加速网络的融合。定量地，我们对三个挑战的医疗数据集进行了广泛的实验。实验结果表明，最先进的对应物的理想改善。

现有突出物体检测模型的成功依赖于大像素标记的训练数据集。如何，收集这样的数据集不仅耗时，而且非常昂贵。为了减少标签负担，我们研究半监督的突出物体检测，并通过识别具有较小自信预测的像素来将其作为未标记的数据集像素级置信度估计问题。具体地，我们在有效的潜在空间探索之前引入了一种新的潜在变量模型，以获得有效的潜伏空间探索，导致更可靠的置信度图。通过拟议的策略，未标记的图像可以有效地参与模型培训。实验结果表明，与原始培训数据集仅有1/16的注释，与最先进的完全监督模型相比，所提出的解决方案实现了竞争性能。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

在社区中广泛调查了语义分割，其中最先进的技术基于监督模型。这些模型报告了前所未有的性能，以需要大量的高质量细分面具。为了获得这种注释是非常昂贵的并且特别是在需要像素级注释的语义分割中。在这项工作中，我们通过提出作为半监督语义细分的三级自我训练框架的整体解决方案来解决这个问题。我们技术的关键思想是提取伪掩模统计信息，以减少预测概率的不确定性，同时以多任务方式执行分段一致性。我们通过三级解决方案实现这一目标。首先，我们训练分割网络以产生粗糙的伪掩模，预测概率非常不确定。其次，我们使用一个多任务模型来减少伪掩模的不确定性，该模型强制利用数据丰富的数据统计信息。我们将采用现有方法与半监督语义分割的现有方法进行比较，并在广泛的实验中展示其最先进的性能。

在构建医学成像数据集以进行深度学习方面，要注释下一步是一个具有挑战性的问题。解决这个问题的有前途的方法之一是主动学习（AL）。但是，关于哪些AL算法和采集功能最有用的数据集，AL一直很难破解。同样，当要开始的数据零标记时，问题会加剧，首先要标记哪个卷。这就是AL中的冷启动问题。我们针对3D图像分割提出了两种新型策略。首先，我们通过提出代理任务，然后利用从代理任务产生的不确定性来解决冷门问题，以对要注释的未标记数据进行排名。其次，我们为每个主动迭代制作了一个两阶段的学习框架，其中未标记的数据在第二阶段也被用作半监督的微调策略。我们展示了我们对来自医学分割十项全能的两个著名大型公共数据集的方法的希望。结果表明，数据和半监督框架的初始选择都显示出几种AL策略的显着改善。

深度神经网络对物体检测达到了高精度，但它们的成功铰链大量标记数据。为了减少标签依赖性，已经提出了各种主动学习策略，通常基于探测器的置信度。但是，这些方法偏向于高性能类，并且可以导致获取的数据集不是测试集数据的代表不好。在这项工作中，我们提出了一个统一的主动学习框架，这考虑了探测器的不确定性和鲁棒性，确保网络在所有类中表现良好。此外，我们的方法利用自动标记来抑制潜在的分布漂移，同时提高模型的性能。 Pascal VOC07 ​​+ 12和MS-Coco的实验表明，我们的方法始终如一地优于各种活跃的学习方法，在地图中产生高达7.7％，或降低标记成本的82％。代码将在接受纸张时发布。

神经网络在医疗图像分割任务上的成功通常依赖于大型标记的数据集用于模型培训。但是，由于数据共享和隐私问题，获取和手动标记大型医疗图像集是资源密集的，昂贵的，有时是不切实际的。为了应对这一挑战，我们提出了一个通用的对抗数据增强框架Advchain，旨在提高培训数据对医疗图像分割任务的多样性和有效性。 AdvChain通过动态数据增强来增强数据，从而产生随机链接的光线像和几何转换，以类似于现实而又具有挑战性的成像变化以扩展训练数据。通过在培训期间共同优化数据增强模型和分割网络，可以生成具有挑战性的示例，以增强下游任务的网络可推广性。所提出的对抗数据增强不依赖生成网络，可以用作通用分割网络中的插件模块。它在计算上是有效的，适用于低声监督和半监督学习。我们在两个MR图像分割任务上分析和评估该方法：心脏分割和前列腺分割具有有限的标记数据。结果表明，所提出的方法可以减轻对标记数据的需求，同时提高模型泛化能力，表明其在医学成像应用中的实际价值。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.