深度学习方法的成功依赖于标记良好的大规模数据集的可用性。然而，对于医学图像，注释这种丰富的训练数据通常需要经验丰富的放射科医师并消耗他们有限的时间。开发了几次学习以缓解这种负担，这使得竞争性表现仅具有几个标记的数据。然而，在几次拍摄学习中的一个至关重要的问题是关于在学习之前为注释的模板图像的选择，这影响了最终性能。我们在本文中提出了一个新的样本选择政策（SCP），以在几次拍摄的医疗地标检测的背景下选择要注释的“最值得”的图像。 SCP由三部分组成：1）建立预训练的深度模型的自我监督培训，以提取来自放射性图像的特征，2）本地化信息贴片的关键点提案，以及3）用于搜索最具代表性的样本的代表性分数估计模板。 SCP的优点是在三个广泛使用的公共数据集上的各种实验证明。对于单次医疗地标检测，其用途将头部测量和Handxray数据集上的平均径向误差减少14.2％（从3.595mm至3.083mm）和35.5％（4.114mm至2.653mm）。

注释的医学图像昂贵，有时甚至无法在一定程度上获得地标检测精度。半监督学习通过利用未标记的数据来了解解剖标志性的人口结构来减轻对大规模注释数据的依赖。全局形状约束是解剖标识的固有属性，为更加一致的伪标签提供了有价值的指导，这些指南在先前的半监督方法中被忽略。在本文中，我们通过完全考虑全局形状约束，提出了一种用于半监控地标检测的模型 - 不可知的形状调节的自我训练框架。具体而言，为了确保伪标签是可靠且保持一致的，基于PCA的形状模型调整伪标签并消除异常。一种新的区域注意力损失，使网络自动关注伪标签周围的结构一致区域。广泛的实验表明，我们的方法优于其他半监督方法，并在三个医学图像数据集中实现了显着的改进。此外，我们的框架是灵活的，可用作集成到最具监控方法的即插即用模块，以进一步提高性能。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

作为许多医疗应用的重要上游任务，监督的地标本地化仍然需要不可忽略的注释成本才能实现理想的绩效。此外，由于繁琐的收集程序，医疗地标数据集的规模有限，会影响大规模自我监督的预训练方法的有效性。为了应对这些挑战，我们提出了一个两阶段的单次医疗地标本地化框架，该框架首先通过无监督的注册从标记的示例中删除了地标，以便未​​标记的目标，然后利用这些嘈杂的伪标签来训练健壮的探测器。为了处理重要的结构变化，我们在包含边缘信息的新型损失函数的指导下学习了全球对齐和局部变形的端到端级联。在第二阶段，我们探索了选择可靠的伪标签和半监视学习的跨矛盾的自持矛盾。我们的方法在不同身体部位的公共数据集上实现了最先进的表现，这证明了其一般适用性。

解剖标志的本地化对于临床诊断，治疗计划和研究至关重要。在本文中，我们提出了一种新的深网络，名为特征聚合和细化网络（Farnet），用于自动检测解剖标记。为了减轻医疗领域的培训数据有限的问题，我们的网络采用了在自然图像上预先培训的深网络，因为骨干网络和几个流行的网络进行了比较。我们的FARNET还包括多尺度特征聚合模块，用于多尺度特征融合和用于高分辨率热图回归的特征精制模块。粗细的监督应用于两个模块，以方便端到端培训。我们进一步提出了一种名为指数加权中心损耗的新型损失函数，用于准确的热爱回归，这侧重于地标附近的像素的损失并抑制了远处的损失。我们的网络已经在三个公开的解剖学地标检测数据集中进行了评估，包括头部测量射线照片，手射线照片和脊柱射线照相，并在所有三个数据集上实现最先进的性能。代码可用：\ url {https://github.com/juvenileinwind/farnet}

已经证明对比学习是有效的，可以减轻医学图像分析中昂贵注释的高需求，这可以捕获图像中的一般图案，并且自然用作各种任务的初始特征提取器。最近的作品主要基于案例明智的歧视，并学习全球歧视特征;然而，他们不能帮助临床医生处理主要由局部相似性分类的微小解剖结构，病变和组织。在这项工作中，我们提出了一般无人监督的框架，以了解来自医学图像的局部歧视特征，以进行模型的初始化。在此事实之后，相同体区域的图像应该共享类似的解剖结构，并且相同结构的像素应该具有类似的语义模式，我们设计神经网络以构建具有相似上下文的像素的局部判别嵌入空间是聚类和异种像素的分散。该网络主要包含两个分支：嵌入分支以生成像素 - WISE Embeddings，以及聚类分支以将相同结构的像素聚集在一起并生成分段。提出了一种区域辨别损失以在互利模式中优化这两个分支，使得通过聚类分支集群聚集在一起的像素共享类似的嵌入式矢量，并且训练模型可以测量像素方面的相似性。当转移到下游任务时，基于我们框架的学习特征提取器显示出更好的泛化能力，这优于来自广泛的最先进的方法，并在彩色眼底和胸部X光中的所有12个下游任务中获胜11。此外，我们利用像素 - 方面的嵌入来测量区域相似度，并提出一种形状引导的跨模块分割框架和中心敏感的单次地标定位算法。

Recently deep neural networks, which require a large amount of annotated samples, have been widely applied in nuclei instance segmentation of H\&E stained pathology images. However, it is inefficient and unnecessary to label all pixels for a dataset of nuclei images which usually contain similar and redundant patterns. Although unsupervised and semi-supervised learning methods have been studied for nuclei segmentation, very few works have delved into the selective labeling of samples to reduce the workload of annotation. Thus, in this paper, we propose a novel full nuclei segmentation framework that chooses only a few image patches to be annotated, augments the training set from the selected samples, and achieves nuclei segmentation in a semi-supervised manner. In the proposed framework, we first develop a novel consistency-based patch selection method to determine which image patches are the most beneficial to the training. Then we introduce a conditional single-image GAN with a component-wise discriminator, to synthesize more training samples. Lastly, our proposed framework trains an existing segmentation model with the above augmented samples. The experimental results show that our proposed method could obtain the same-level performance as a fully-supervised baseline by annotating less than 5% pixels on some benchmarks.

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

目前全面监督的面部地标检测方法迅速进行，实现了显着性能。然而，当在大型姿势和重闭合的面孔和重闭合时仍然遭受痛苦，以进行不准确的面部形状约束，并且标记的训练样本不足。在本文中，我们提出了一个半监督框架，即自我校准的姿势注意网络（SCPAN），以实现更具挑战性的情景中的更强大和精确的面部地标检测。具体地，建议通过定影边界和地标强度场信息来模拟更有效的面部形状约束的边界意识的地标强度（BALI）字段。此外，设计了一种自我校准的姿势注意力（SCPA）模型，用于提供自学习的目标函数，该功能通过引入自校准机制和姿势注意掩模而无需标签信息而无需标签信息。我们认为，通过将巴厘岛领域和SCPA模型集成到新颖的自我校准的姿势网络中，可以了解更多的面部现有知识，并且我们的面孔方法的检测精度和稳健性得到了改善。获得具有挑战性的基准数据集获得的实验结果表明，我们的方法优于文献中最先进的方法。

自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。

准确的面部标志是许多与人面孔有关的任务的重要先决条件。在本文中，根据级联变压器提出了精确的面部标志性检测器。我们将面部标志性检测作为坐标回归任务，以便可以端对端训练该模型。通过在变压器中的自我注意力，我们的模型可以固有地利用地标之间的结构化关系，这将受益于在挑战性条件（例如大姿势和遮挡）下具有里程碑意义的检测。在级联精炼期间，我们的模型能够根据可变形的注意机制提取目标地标周围的最相关图像特征，以进行坐标预测，从而带来更准确的对齐。此外，我们提出了一个新颖的解码器，可以同时完善图像特征和地标性位置。随着参数增加，检测性能进一步提高。我们的模型在几个标准的面部标准检测基准上实现了新的最新性能，并在跨数据库评估中显示出良好的概括能力。

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

在本文中，我们提出了一种新的机构指导的半监督计数方法。首先，我们建立了一个可学习的辅助结构，即密度代理，将公认的前景区域特征带到相应的密度子类（代理）和推开背景的区域。其次，我们提出了密度引导的对比度学习损失，以巩固主链特征提取器。第三，我们通过使用变压器结构进一步完善前景特征来构建回归头。最后，提供了有效的噪声抑郁丧失，以最大程度地减少注释噪声的负面影响。对四个挑战性人群计数数据集进行的广泛实验表明，我们的方法在很大的边距中实现了与最先进的半监督计数方法相比最先进的性能。代码可用。

组织病理学图像包含丰富的表型信息和病理模式，这是疾病诊断的黄金标准，对于预测患者预后和治疗结果至关重要。近年来，在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术，而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是，在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务，这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来，最有代表性的研究是基于弱注释，基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查，我们对从技术和方法论的角度来看，对计算病理学领域中有关弱监督学习，半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后，我们提出了这些技术的关键挑战和未来趋势。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

手术场景细分对于促使机器人手术的认知援助至关重要。但是，以逐帧方式以像素为单位的注释视频是昂贵且耗时的。为了大大减轻标签负担，在这项工作中，我们从机器人手术视频中研究了半监督的场景细分，这实际上是必不可少的，但以前很少探索。我们考虑在等距采样下的临床上适当的注释情况。然后，我们提出了PGV-CL，这是一种新型的伪标签引导的跨视频对比学习方法，以增强场景分割。它有效地利用了未标记的数据来实现可信赖和全球模型的正则化，从而产生更具歧视性的特征表示。具体来说，对于可信赖的表示学习，我们建议合并伪标签以指导对选择，从而获得更可靠的代表对像素对比度。此外，我们将代表学习空间从以前的图像级扩展到交叉视频，该图像可以捕获全球语义以使学习过程受益。我们广泛评估了公共机器人手术数据集Edovis18和公共白内障数据集Cadis的方法。实验结果证明了我们方法的有效性，在不同的标签比下始终超过了最先进的半监督方法，甚至超过了10.1％标签的destovis18上的全面监督培训。

关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是，他们面临三个常见的陷阱：（1）尾巴：医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题，并导致性能恶化； （2）一致性：尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征； （3）多样性：整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身，以发现不同解剖学观点的类似但不同的样本。在本文中，我们介绍了一种新型的半监督医学图像分割框架，称其为您自己的解剖结构（MONA），并做出了三个贡献。首先，先前的工作认为，每个像素对模型培训都同样重要。我们从经验上观察到，仅此单单就不太可能定义有意义的解剖特征，这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次，我们构建了一组目标，鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后，我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性，该数据在不同的标签设置下实现了新的最新设置。

Three-dimensional (3D) ultrasound imaging technique has been applied for scoliosis assessment, but current assessment method only uses coronal projection image and cannot illustrate the 3D deformity and vertebra rotation. The vertebra detection is essential to reveal 3D spine information, but the detection task is challenging due to complex data and limited annotations. We propose VertMatch, a two-step framework to detect vertebral structures in 3D ultrasound volume by utilizing unlabeled data in semi-supervised manner. The first step is to detect the possible positions of structures on transverse slice globally, and then the local patches are cropped based on detected positions. The second step is to distinguish whether the patches contain real vertebral structures and screen the predicted positions from the first step. VertMatch develops three novel components for semi-supervised learning: for position detection in the first step, (1) anatomical prior is used to screen pseudo labels generated from confidence threshold method; (2) multi-slice consistency is used to utilize more unlabeled data by inputting multiple adjacent slices; (3) for patch identification in the second step, the categories are rebalanced in each batch to solve imbalance problem. Experimental results demonstrate that VertMatch can detect vertebra accurately in ultrasound volume and outperforms state-of-the-art methods. VertMatch is also validated in clinical application on forty ultrasound scans, and it can be a promising approach for 3D assessment of scoliosis.

半监督学习（SSL）是一个有效的框架，可以使用标记和未标记的数据训练模型，但是当缺乏足够的标记样品时，可能会产生模棱两可和不可区分的表示。有了人类的循环学习，积极的学习可以迭代地选择无标记的样品进行标签和培训，以提高SSL框架的性能。但是，大多数现有的活跃学习方法都取决于预先训练的功能，这不适合端到端学习。为了解决SSL的缺点，在本文中，我们提出了一种新颖的端到端表示方法，即ActiveMatch，它将SSL与对比度学习和积极学习结合在一起，以充分利用有限的标签。从少量的标记数据开始，无监督的对比度学习作为热身学习，然后将ActiveMatch结合在一起，将SSL和监督对比度学习结合在一起，并积极选择在培训期间标记的最具代表性的样本，从而更好地表示分类。与MixMatch和FixMatch具有相同数量的标记数据相比，我们表明ActiveMatch实现了最先进的性能，CIFAR-10的精度为89.24％，具有100个收集的标签，而92.20％的精度为92.20％，有200个收集的标签。