本文认为，从医学角度来看，主动学习更加明智。实际上，疾病在患者队列中以不同的形式表现出来。现有的框架主要使用数学结构来设计基于不确定性或基于多样性的方法来选择最有用的样本。但是，这种算法并不能自然地表现出医疗界和医疗保健提供者的使用。因此，如果有的话，它们在临床环境中的部署非常有限。为此，我们提出了一个框架，将临床见解纳入了可以与现有算法合并的主动学习样本选择过程中。我们可解释的主动学习框架捕获了患者的多种疾病表现，以提高OCT分类的泛化表现。经过全面的实验，我们报告说，将患者洞察力纳入活跃的学习框架中，可以产生匹配或超过两个架构上的五个常用范式，其中一个数据集具有患者分布不平衡的数据集。此外，该框架将其集成到现有的医疗实践中，因此可以由医疗保健提供者使用。

大型，注释的数据集在医学图像分析中不广泛使用，这是由于时间，成本和标记大型数据集相关的挑战。未标记的数据集更容易获取，在许多情况下，专家可以为一小部分图像提供标签是可行的。这项工作提出了一个信息理论的主动学习框架，该框架可以根据评估数据集中最大化预期信息增益（EIG）来指导未标记池的最佳图像选择。实验是在两个不同的医学图像分类数据集上进行的：多类糖尿病性视网膜病变量表分类和多级皮肤病变分类。结果表明，通过调整EIG来说明班级不平衡，我们提出的适应预期信息增益（AEIG）的表现优于几个流行的基线，包括基于多样性的核心和基于不确定性的最大熵抽样。具体而言，AEIG仅占总体表现的95％，只有19％的培训数据，而其他活跃的学习方法则需要约25％。我们表明，通过仔细的设计选择，我们的模型可以集成到现有的深度学习分类器中。

自动基于图像的疾病严重程度估计通常使用离散（即量化）严重性标签。由于图像含糊不清，因此通常很难注释离散标签。一个更容易的替代方法是使用相对注释，该注释比较图像对之间的严重程度。通过使用带有相对注释的学习对框架，我们可以训练一个神经网络，该神经网络估计与严重程度相关的等级分数。但是，所有可能对的相对注释都是过敏的，因此，适当的样品对选择是强制性的。本文提出了深层贝叶斯的主动学习与级别，该级别训练贝叶斯卷积神经网络，同时自动选择合适的对进行相对注释。我们通过对溃疡性结肠炎的内窥镜图像进行实验证实了该方法的效率。此外，我们确认我们的方法即使在严重的类失衡中也很有用，因为它可以自动从次要类中选择样本。

Sepsis is a deadly condition affecting many patients in the hospital. Recent studies have shown that patients diagnosed with sepsis have significant mortality and morbidity, resulting from the body's dysfunctional host response to infection. Clinicians often rely on the use of Sequential Organ Failure Assessment (SOFA), Systemic Inflammatory Response Syndrome (SIRS), and the Modified Early Warning Score (MEWS) to identify early signs of clinical deterioration requiring further work-up and treatment. However, many of these tools are manually computed and were not designed for automated computation. There have been different methods used for developing sepsis onset models, but many of these models must be trained on a sufficient number of patient observations in order to form accurate sepsis predictions. Additionally, the accurate annotation of patients with sepsis is a major ongoing challenge. In this paper, we propose the use of Active Learning Recurrent Neural Networks (ALRts) for short temporal horizons to improve the prediction of irregularly sampled temporal events such as sepsis. We show that an active learning RNN model trained on limited data can form robust sepsis predictions comparable to models using the entire training dataset.

眼睛的临床诊断是对多种数据模式进行的，包括标量临床标签，矢量化生物标志物，二维底面图像和三维光学相干性层析成像（OCT）扫描。临床从业者使用所有可用的数据模式来诊断和治疗糖尿病性视网膜病（DR）或糖尿病黄斑水肿（DME）等眼部疾病。在眼科医学领域启用机器学习算法的使用需要研究治疗期内所有相关数据之间的关系和相互作用。现有的数据集受到限制，因为它们既不提供数据，也没有考虑数据模式之间的显式关系建模。在本文中，我们介绍了用于研究以上限制的视觉眼睛语义（橄榄）数据集的眼科标签。这是第一个OCT和近IIR眼底数据集，其中包括临床标签，生物标记标签，疾病标签和时间序列的患者治疗信息，来自相关临床试验。该数据集由1268个近红外图像组成，每个图像至少具有49个10月扫描和16个生物标志物，以及4个临床标签和DR或DME的疾病诊断。总共有96张眼睛的数据在至少两年的时间内平均，每只眼睛平均治疗66周和7次注射。我们在医学图像分析中为橄榄数据集进行了橄榄数据集的实用性，并为核心和新兴机器学习范式提供了基准和具体研究方向。

大型标记数据集的可用性是深度学习成功的关键组成部分。但是，大型数据集上的标签通常很耗时且昂贵。主动学习是一个研究领域，通过选择最重要的标签样本来解决昂贵的标签问题。基于多样性的采样算法被称为基于表示的主动学习方法的组成部分。在本文中，我们介绍了一种新的基于多样性的初始数据集选择算法，以选择有效学习环境中初始标记的最有用的样本集。自我监督的表示学习用于考虑初始数据集选择算法中样品的多样性。此外，我们提出了一种新型的主动学习查询策略，该策略使用基于多样性的基于一致性的嵌入方式采样。通过考虑基于一致性的嵌入方案中多样性的一致性信息，该方法可以在半监督的学习环境中选择更多信息的样本来标记。比较实验表明，通过利用未标记的数据的多样性，与先前的主动学习方法相比，该提出的方法在CIFAR-10和CALTECH-101数据集上取得了令人信服的结果。

由于标记医学图像数据是一个昂贵且劳动密集型的过程，因此近年来，Active学习在医学图像分割领域中广受欢迎。文献中已经提出了各种积极的学习策略，但是它们的有效性高度取决于数据集和培训方案。为了促进现有策略的比较，并为评估新策略提供了基准，我们评估了从医学分割的十项全能中的三个数据集上的几种著名的活跃学习策略的性能。此外，我们考虑了专门针对3D图像数据量身定制的扎实的采样策略。我们证明，随机和踩踏的采样都是强大的基准，并讨论了研究方法的优势和缺点。为了允许其他研究人员将他们的工作与我们的结果进行比较，我们提供了一个开源框架，以在各种医疗分割数据集上对主动学习策略进行基准测试。

我们为图像分类提出了一个高度数据效率的主动学习框架。我们的新框架结合了：（1）卷积神经网络的无监督表示学习和（2）Gaussian Process（GP）方法，以实现高度数据和标记有效分类。此外，由于没有标签和（2）GP的贝叶斯性质所学的（1）功能，这两个元素对普遍且具有挑战性的阶级不平衡问题的敏感性不太敏感。 GP提供的不确定性估计可以通过根据不确定性对样本进行排名和选择性标记样品来表现出较高的不确定性，从而实现主动学习。我们将这种新颖的组合应用于Covid-19胸部X射线分类和Nerthus结肠镜检查分类的严重不平衡病例。我们只证明这一点。需要10％的标记数据来达到培训所有可用标签的准确性。我们还将模型架构和建议的框架应用于具有预期成功的更广泛的数据集。

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

我们介绍了有监督的对比度积极学习（SCAL），并根据功能相似性（功能IM）和基于主成分分析的基于特征重建误差（FRE）提出有效的活动学习策略，以选择具有不同特征表示的信息性数据示例。我们证明了我们提出的方法可实现最新的准确性，模型校准并减少在图像分类任务上平衡和不平衡数据集的主动学习设置中的采样偏差。我们还评估了模型的鲁棒性，从主动学习环境中不同查询策略得出的分配转移。使用广泛的实验，我们表明我们提出的方法的表现优于高性能密集型方法，从而使平均损坏误差降低了9.9％，在数据集偏移下的预期校准误差降低了7.2％，而AUROC降低了8.9％的AUROC。检测。

虽然深度学习（DL）是渴望数据的，并且通常依靠广泛的标记数据来提供良好的性能，但主动学习（AL）通过从未标记的数据中选择一小部分样本进行标签和培训来降低标签成本。因此，近年来，在有限的标签成本/预算下，深入的积极学习（DAL）是可行的解决方案，可在有限的标签成本/预算下最大化模型性能。尽管已经开发了大量的DAL方法并进行了各种文献综述，但在公平比较设置下对DAL方法的性能评估尚未可用。我们的工作打算填补这一空白。在这项工作中，我们通过重新实现19种引用的DAL方法来构建DAL Toolkit，即Deepal+。我们调查和分类与DAL相关的作品，并构建经常使用的数据集和DAL算法的比较实验。此外，我们探讨了影响DAL功效的一些因素（例如，批处理大小，训练过程中的时期数），这些因素为研究人员设计其DAL实验或执行DAL相关应用程序提供了更好的参考。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

通过选择最具信息丰富的样本，已证明主动学习可用于最小化标记成本。但是，现有的主动学习方法在诸如不平衡或稀有类别的现实方案中不适用于未标记集中的分发数据和冗余。在这项工作中，我们提出了类似的（基于子模块信息措施的主动学习），使用最近提出的子模块信息措施（SIM）作为采集函数的统一主动学习框架。我们认为类似的不仅在标准的主动学习中工作，而且还可以轻松扩展到上面考虑的现实设置，并充当活动学习的一站式解决方案，可以扩展到大型真实世界数据集。凭经验，我们表明，在罕见的课程的情况下，在罕见的阶级和〜5％ - 10％的情况下，在罕见的几个图像分类任务的情况下，相似显着优异的活动学习算法像CiFar-10，Mnist和Imagenet。类似于Distil Toolkit的一部分：“https://github.com/decile-team/distil”。

尽管深入学习对监督点云语义细分的成功取得了成功，但获得大规模的逐点手动注释仍然是一个重大挑战。为了减轻巨大的注释负担，我们提出了一个基于区域和多样性的积极学习（REDAL），这是许多深度学习方法的一般框架，旨在自动选择用于标签获取的信息丰富和多样化的子场所。观察到只有一小部分带注释的区域足以通过深度学习的方式理解3D场景，我们使用SoftMax熵，颜色不连续性和结构复杂性来衡量子场所区域的信息。还开发了一种多样性的选择算法，以避免通过在查询批次中选择信息性但相似的区域而产生的多余注释。广泛的实验表明，我们的方法的表现高于先前的活跃学习策略，并且我们达到了90％的全面监督学习，而S3DIS和Semantickitti数据集则需要不到15％和5％的注释。我们的代码可在https://github.com/tsunghan-wu/redal上公开获取。

这项研究的目的是开发一个强大的基于深度学习的框架，以区分Covid-19，社区获得的肺炎（CAP）和基于使用各种方案和放射剂量在不同成像中心获得的胸部CT扫描的正常病例和正常情况。我们表明，虽然我们的建议模型是在使用特定扫描协议仅从一个成像中心获取的相对较小的数据集上训练的，但该模型在使用不同技术参数的多个扫描仪获得的异质测试集上表现良好。我们还表明，可以通过无监督的方法来更新模型，以应对火车和测试集之间的数据移动，并在从其他中心接收新的外部数据集时增强模型的鲁棒性。我们采用了合奏体系结构来汇总该模型的多个版本的预测。为了初始培训和开发目的，使用了171 Covid-19、60 CAP和76个正常情况的内部数据集，其中包含使用恒定的标准辐射剂量扫描方案从一个成像中心获得的体积CT扫描。为了评估模型，我们回顾了四个不同的测试集，以研究数据特征对模型性能的转移的影响。在测试用例中，有与火车组相似的CT扫描，以及嘈杂的低剂量和超低剂量CT扫描。此外，从患有心血管疾病或手术病史的患者中获得了一些测试CT扫描。这项研究中使用的整个测试数据集包含51 covid-19、28 CAP和51例正常情况。实验结果表明，我们提出的框架在所有测试集上的表现良好，达到96.15％的总准确度（95％CI：[91.25-98.74]），COVID-119，COVID-96.08％（95％CI：[86.54-99.5]，95％），[86.54-99.5]，），，），敏感性。帽敏感性为92.86％（95％CI：[76.50-99.19]）。

标记大量数据很昂贵。主动学习旨在通过要求注释未标记的集合中最有用的数据来解决这个问题。我们提出了一种新颖的活跃学习方法，该方法利用自我监督的借口任务和独特的数据采样器来选择既困难又具有代表性的数据。我们发现，简单的自我监督借口任务（例如旋转预测）的损失与下游任务损失密切相关。在主动学习迭代之前，对未标记的集合进行了借口任务学习者进行培训，并且未标记的数据被分类并通过其借口任务损失分组成批处理。在每个主动的学习迭代中，主要任务模型用于批评要注释的批次中最不确定的数据。我们评估了有关各种图像分类和分割基准测试的方法，并在CIFAR10，CALTECH-101，IMAGENET和CITYSCAPES上实现引人注目的性能。我们进一步表明，我们的方法在不平衡的数据集上表现良好，并且可以有效地解决冷启动问题的解决方案，在这种问题中，主动学习性能受到随机采样的初始标记集的影响。

主动学习（AL）算法旨在识别注释的最佳数据子集，使得深神经网络（DNN）在此标记子集上培训时可以实现更好的性能。 AL特别有影响的工业规模设置，其中数据标签成本高，从业者使用各种工具来处理，以提高模型性能。最近自我监督预测（SSP）的成功突出了利用丰富的未标记数据促进模型性能的重要性。通过将AL与SSP结合起来，我们可以使用未标记的数据，同时标记和培训特别是信息样本。在这项工作中，我们研究了Imagenet上的AL和SSP的组合。我们发现小型玩具数据集上的性能 - 文献中的典型基准设置 - 由于活动学习者选择的类不平衡样本，而不是想象中的性能。在我们测试的现有基线中，各种小型和大规​​模设置的流行AL算法未能以随机抽样优于差异。为了解决类别不平衡问题，我们提出了平衡选择（基础），这是一种简单，可伸缩的AL算法，通过选择比现有方法更加平衡样本来始终如一地始终采样。我们的代码可用于：https://github.com/zeyademam/active_learning。

目的：为全身CT设计多疾病分类扫描使用自动提取标签从放射科文reports.Materials和方法三个不同的器官系统：这项回顾性研究共有12,092例患者（平均年龄57 + - 18; 6172名妇女）包括对模型开发和测试（2012-2017自）。基于规则的算法被用来从12,092患者提取13667身体CT扫描19,225疾病的标签。使用三维DenseVNet，三个器官系统是分段的：肺和胸膜;肝胆;和肾脏及输尿管。对于每个器官，三维卷积神经网络分类没有明显的疾病与四种常见疾病为跨越所有三个模型总共15个不同的标签。测试是在相对于2875个手动导出的参考标签2158个CT体积的子集从2133名患者（ - ; 1079名妇女18，平均年龄58 +）进行。性能报告为曲线（AUC）与通过方法德朗95％置信区间下接收器的操作特性的区域。结果：提取的标签说明书验证确认91％横跨15个不同的唱片公司99％的准确率。对于肺和胸膜标签的AUC分别为：肺不张0.77（95％CI：0.74，0.81），结节0.65（0.61，0.69），肺气肿0.89（0.86，0.92），积液0.97（0.96，0.98），并且没有明显的疾病0.89（ 0.87，0.91）。对于肝和胆囊的AUC分别为：肝胆钙化0.62（95％CI：0.56，0.67），病变0.73（0.69，0.77），扩张0.87（0.84，0.90），脂肪0.89（0.86，0.92），并且没有明显的疾病0.82（ 0.78，0.85）。对于肾脏及输尿管的AUC分别为：石0.83（95％CI：0.79，0.87），萎缩0.92（0.89，0.94），病变0.68（0.64，0.72），囊肿0.70（0.66，0.73），并且没有明显的疾病0.79（0.75 ，0.83）。结论：弱监督深度学习模型能够在多器官系统不同的疾病分类。

主动学习在许多领域中展示了数据效率。现有的主动学习算法，特别是在深贝叶斯活动模型的背景下，严重依赖模型的不确定性估计的质量。然而，这种不确定性估计可能会严重偏见，特别是有限和不平衡的培训数据。在本文中，我们建议平衡，贝叶斯深度活跃的学习框架，减轻这种偏差的影响。具体地，平衡采用了一种新的采集功能，该函数利用了等效假设类别捕获的结构，并促进了不同的等价类别之间的分化。直观地，每个等价类包括具有类似预测的深层模型的实例化，并且平衡适应地将等同类的大小调整为学习进展。除了完整顺序设置之外，我们还提出批量平衡 - 顺序算法的泛化算法到批量设置 - 有效地选择批次的培训实施例，这些培训实施例是对模型改进的联合有效的培训实施例。我们展示批量平衡在多个基准数据集上实现了最先进的性能，用于主动学习，并且这两个算法都可以有效地处理通常涉及多级和不平衡数据的逼真挑战。