在本文中，我们提出了一种新的机构指导的半监督计数方法。首先，我们建立了一个可学习的辅助结构，即密度代理，将公认的前景区域特征带到相应的密度子类（代理）和推开背景的区域。其次，我们提出了密度引导的对比度学习损失，以巩固主链特征提取器。第三，我们通过使用变压器结构进一步完善前景特征来构建回归头。最后，提供了有效的噪声抑郁丧失，以最大程度地减少注释噪声的负面影响。对四个挑战性人群计数数据集进行的广泛实验表明，我们的方法在很大的边距中实现了与最先进的半监督计数方法相比最先进的性能。代码可用。

大多数传统人群计数方法利用完全监督的学习框架来学习场景图像和人群密度映射之间的映射。在这种完全监督培训设置的情况下，需要大量昂贵且耗时的像素级注释，以产生密度图作为监控。减少昂贵标签的一种方法是利用未标记图像之间的自我结构信息和内在关系。与利用原始图像级别的这些关系和结构信息的先前方法不同，我们从潜在特征空间探讨了这种自我关系，因为它可以提取更丰富的关系和结构信息。具体而言，我们提出了S $ ^ 2 $ FPR，其可以提取结构信息，并在潜在空间中学习粗良好的金字塔特征的部分订单，以便更好地与大规模未标记的图像计数。此外，我们收集了一个新的未标记的人群计数数据集（Fudan-UCC），总共有4,000张图片进行培训。一个副产物是我们提出的S $ ^ 2 $ FPR方法可以利用未标记图像之间的潜在空间中的众多部分订单来加强模型表示能力，并减少人群计数任务的估计误差。关于四个基准数据集的大量实验，即UCF-QNRF，Shanghaitech Parta和Partb以及UCF-CC-50，与先前半监督方法相比，我们的方法显示了我们的方法。源代码和数据集可用于https://github.com/bridgeqiqi/s2fpr。

单图像人群计数是一个充满挑战的计算机视觉问题，在公共安全，城市规划，交通管理等方面进行了广泛的应用。随着深度学习技术的最新发展，近年来，人群的数量引起了很多关注并取得了巨大的成功。这项调查是为了通过系统审查和总结该地区的200多件作品来提供有关基于深度学习的人群计数技术的最新进展的全面摘要。我们的目标是提供最新的评论。在最近的方法中，并在该领域教育新研究人员的设计原理和权衡。在介绍了公开可用的数据集和评估指标之后，我们通过对三个主要的设计模块进行了详细比较来回顾最近的进展：深度神经网络设计，损失功能和监督信号。我们使用公共数据集和评估指标研究和比较方法。我们以一些未来的指示结束了调查。

本文为半监督医学图像分割提供了一个简单而有效的两阶段框架。我们的主要洞察力是探索用标记和未标记的（即伪标记）图像的特征表示学习，以增强分段性能。在第一阶段，我们介绍了一种炼层的不确定感知方法，即Aua，以改善产生高质量伪标签的分割性能。考虑到医学图像的固有歧义，Aua自适应地规范了具有低歧义的图像的一致性。为了提高代表学习，我们提出了一种舞台适应性的对比学习方法，包括边界意识的对比损失，以规范第一阶段中标记的图像，并在第二阶段中的原型感知对比损失优化标记和伪标记的图像阶段。边界意识的对比损失仅优化分段边界周围的像素，以降低计算成本。原型感知对比损失通过为每个类构建质心来充分利用标记的图像和伪标记的图像，以减少对比较的计算成本。我们的方法在两个公共医学图像分割基准上实现了最佳结果。值得注意的是，我们的方法在结肠肿瘤分割的骰子上以5.7％的骰子依赖于只有5％标记的图像而表现出5.7％。

主流人群计数方法通常利用卷积神经网络（CNN）回归密度图，需要点级注释。但是，用一点点注释每个人是一个昂贵且费力的过程。在测试阶段，未考虑点级注释来评估计数精度，这意味着点级注释是冗余的。因此，希望开发仅依赖计数级注释的弱监督计数方法，这是一种更经济的标签方式。当前的弱监督计数方法采用了CNN来通过图像计数范式回归人群的总数。但是，对于上下文建模的接受场有限是这些基于CNN的弱监督法的内在局限性。因此，在现实世界中的应用有限的情况下，这些方法无法实现令人满意的性能。变压器是自然语言处理（NLP）中流行的序列到序列预测模型，其中包含一个全球接收场。在本文中，我们提出了transercroderd，从基于变压器的序列到计数的角度来重新制定了弱监督的人群计数问题。我们观察到，所提出的译者可以使用变压器的自发机制有效地提取语义人群信息。据我们所知，这是第一项采用纯变压器进行人群计算研究的工作。五个基准数据集的实验表明，与所有基于弱的CNN的计数方法相比，所提出的transercroud的性能优于较高的性能，并且与某些流行的完全监督的计数方法相比，基于CNN的计数方法和提高了竞争激烈的计数性能。

Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.

卷积神经网络可以在语义细分任务中实现出色的性能。但是，这种神经网络方法在很大程度上依赖于昂贵的像素级注释。半监督学习是解决这个问题的有前途的决议，但其表现仍然远远落后于完全受监督的对手。这项工作提出了一个带有三个模块的跨教师培训框架，可显着改善传统的半监督学习方法。核心是跨教师模块，可以同时减少同伴网络之间的耦合以及教师和学生网络之间的错误积累。此外，我们提出了两个互补的对比学习模块。高级模块可以将高质量的知识从标记的数据传输到未标记的数据，并在特征空间中促进类之间的分离。低级模块可以鼓励从同伴网络中的高质量功能学习的低质量功能。在实验中，跨教师模块显着提高了传统的学生教师方法的性能，而我们的框架在基准数据集上的表现优于现行方法。我们的CTT源代码将发布。

Open-World实例细分（OWIS）旨在从图像中分割类不足的实例，该图像具有广泛的现实应用程序，例如自主驾驶。大多数现有方法遵循两阶段的管道：首先执行类不足的检测，然后再进行特定于类的掩模分段。相比之下，本文提出了一个单阶段框架，以直接为每个实例生成掩码。另外，实例掩码注释在现有数据集中可能很吵。为了克服这个问题，我们引入了新的正规化损失。具体而言，我们首先训练一个额外的分支来执行预测前景区域的辅助任务（即属于任何对象实例的区域），然后鼓励辅助分支的预测与实例掩码的预测一致。关键的见解是，这种交叉任务一致性损失可以充当误差校正机制，以打击注释中的错误。此外，我们发现所提出的跨任务一致性损失可以应用于图像，而无需任何注释，将自己借给了半监督的学习方法。通过广泛的实验，我们证明了所提出的方法可以在完全监督和半监督的设置中获得令人印象深刻的结果。与SOTA方法相比，所提出的方法将$ ap_ {100} $得分提高了4.75 \％\％\％\ rightarrow $ uvo设置和4.05 \％\％\％\％\％\％\ rightarrow $ uvo设置。在半监督学习的情况下，我们的模型仅使用30 \％标记的数据学习，甚至超过了其完全监督的数据，并具有5​​0 \％标记的数据。该代码将很快发布。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

Recently, density map regression-based methods have dominated in crowd counting owing to their excellent fitting ability on density distribution. However, further improvement tends to saturate mainly because of the confusing background noise and the large density variation. In this paper, we propose a Hierarchically Decoupled Network (HDNet) to solve the above two problems within a unified framework. Specifically, a background classification sub-task is decomposed from the density map prediction task, which is then assigned to a Density Decoupling Module (DDM) to exploit its highly discriminative ability. For the remaining foreground prediction sub-task, it is further hierarchically decomposed to several density-specific sub-tasks by the DDM, which are then solved by the regression-based experts in a Foreground Density Estimation Module (FDEM). Although the proposed strategy effectively reduces the hypothesis space so as to relieve the optimization for those task-specific experts, the high correlation of these sub-tasks are ignored. Therefore, we introduce three types of interaction strategies to unify the whole framework, which are Feature Interaction, Gradient Interaction, and Scale Interaction. Integrated with the above spirits, HDNet achieves state-of-the-art performance on several popular counting benchmarks.

基于伪标签的半监督学习（SSL）在原始数据利用率上取得了巨大的成功。但是，由于自我生成的人工标签中包含的噪声，其训练程序受到确认偏差的影响。此外，该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题，我们提出了一种名为“班级意识的对比度半监督学习”（CCSSL）的通用方法，该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合，而是分别处理可靠的分布数据，并将其融合到下游任务中，并将其与图像对比度融合到下游任务中，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了清洁标签学习，并同时减少嘈杂的标签学习。尽管它很简单，但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上，我们将FixMatch提高了9.80％，并提高了3.18％。代码可用https://github.com/tencentyouturesearch/classification-spoomls。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

深度学习已成为火星探索的强大工具。火星地形细分是一项重要的火星愿景任务，它是漫游者自动计划和安全驾驶的基础。但是，现有的基于深度学习的地形细分方法遇到了两个问题：一个是缺乏足够的详细和高信心注释，另一个是模型过度依赖于注释的培训数据。在本文中，我们从联合数据和方法设计的角度解决了这两个问题。我们首先提出了一个新的火星地形细分数据集，该数据集包含6K高分辨率图像，并根据置信度稀疏注释，以确保标签的高质量。然后从这些稀疏的数据中学习，我们为火星地形细分的基于表示的学习框架，包括一个自我监督的学习阶段（用于预训练）和半监督的学习阶段（用于微调）。具体而言，对于自我监督的学习，我们设计了一个基于掩盖图像建模（MIM）概念的多任务机制，以强调图像的纹理信息。对于半监督的学习，由于我们的数据集很少注释，因此我们鼓励该模型通过在线生成和利用伪标签来挖掘每个图像中未标记的区域的信息。我们将数据集和方法命名为MARS（S $^{5} $ MARS）的自我监督和半监督分割。实验结果表明，我们的方法可以超越最先进的方法，并通过很大的边距提高地形分割性能。

近年来，人群计数研究取得了重大进展。然而，随着人群中存在具有挑战性的规模变化和复杂的场景，传统的卷积网络和最近具有固定大小的变压器架构都不能良好地处理任务。为了解决这个问题，本文提出了一个场景 - 自适应关注网络，称为Saanet。首先，我们设计了可变形的变压器骨干内的可变形关注，从而了解具有可变形采样位置和动态注意力的自适应特征表示。然后，我们提出了多级特征融合和计数专注特征增强模块，以加强全局图像上下文下的特征表示。学习的陈述可以参加前景，并适应不同的人群。我们对四个具有挑战性的人群计数基准进行广泛的实验，表明我们的方法实现了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准的公共排行榜上排名第一。我们希望我们的方法可能是一个强大的基线，以支持人群计数的未来研究。源代码将被释放到社区。

在实际人群计算应用程序中，图像中的人群密度差异很大。当面对密度变化时，人类倾向于在低密度区域定位和计数目标，并推理高密度区域的数量。我们观察到，CNN使用固定大小的卷积内核专注于局部信息相关性，而变压器可以通过使用全球自我注意机制有效地提取语义人群信息。因此，CNN可以在低密度区域中准确定位和估计人群，而在高密度区域中很难正确感知密度。相反，变压器在高密度区域具有很高的可靠性，但未能在稀疏区域定位目标。 CNN或变压器都无法很好地处理这种密度变化。为了解决此问题，我们提出了一个CNN和变压器自适应选择网络（CTASNET），该网络可以自适应地为不同密度区域选择适当的计数分支。首先，CTASNET生成CNN和变压器的预测结果。然后，考虑到CNN/变压器适用于低/高密度区域，密度引导的自适应选择模块被设计为自动结合CNN和Transformer的预测。此外，为了减少注释噪声的影响，我们引入了基于Correntropy的最佳运输损失。对四个挑战的人群计数数据集进行了广泛的实验，已经验证了该方法。

Recent breakthroughs in semi-supervised semantic segmentation have been developed through contrastive learning. In prevalent pixel-wise contrastive learning solutions, the model maps pixels to deterministic representations and regularizes them in the latent space. However, there exist inaccurate pseudo-labels which map the ambiguous representations of pixels to the wrong classes due to the limited cognitive ability of the model. In this paper, we define pixel-wise representations from a new perspective of probability theory and propose a Probabilistic Representation Contrastive Learning (PRCL) framework that improves representation quality by taking its probability into consideration. Through modelling the mapping from pixels to representations as the probability via multivariate Gaussian distributions, we can tune the contribution of the ambiguous representations to tolerate the risk of inaccurate pseudo-labels. Furthermore, we define prototypes in the form of distributions, which indicates the confidence of a class, while the point prototype cannot. Moreover, we propose to regularize the distribution variance to enhance the reliability of representations. Taking advantage of these benefits, high-quality feature representations can be derived in the latent space, thereby the performance of semantic segmentation can be further improved. We conduct sufficient experiment to evaluate PRCL on Pascal VOC and CityScapes to demonstrate its superiority. The code is available at https://github.com/Haoyu-Xie/PRCL.

医学图像分割是基于人工智能的临床决策系统的基本问题之一。目前的自动医学图像分割方法往往未能满足临床要求。因此，提出了一系列交互式分段算法来利用专家校正信息。然而，现有方法在长期互动之后遭受一些分割炼制失败问题，以及来自专家注释的一些成本问题，这阻碍了临床应用。本文通过引入纠正措施评估，提出了一种互动分割框架，称为交互式医疗细分，通过引入纠正措施评估，该纠正措施评估结合了基于动作的置信度学习和多智能体增强学习（Marl）。通过新颖的基于行动的置信网络建立评估，并从Marl获得纠正措施。基于机密信息，旨在提供更详细的反馈，并在无监督数据上提出模拟标签生成机制，以减少对标记数据的过度依赖性的模拟标签生成机制。各种医学图像数据集的实验结果显示了所提出的算法的显着性能。

半监控视频动作识别倾向于使深神经网络能够实现显着性能，即使具有非常有限的标记数据。然而，现有方法主要从当前的基于图像的方法转移（例如，FixMatch）。不具体利用时间动态和固有的多模式属性，它们的结果可能是次优。为了更好地利用视频中的编码的时间信息，我们将时间梯度引入了本文中的更多细小特征提取的额外模态。具体而言，我们的方法明确地蒸馏从时间梯度（TG）的细粒度运动表示，并施加不同方式的一致性（即RGB和TG）。在推理期间，没有额外的计算或参数，在没有额外的计算或参数的情况下显着提高了半监督动作识别的性能。我们的方法在若干典型的半监督设置（即标记数据的不同比率）下实现三个视频动作识别基准（即动态-400，UCF-101和HMDB-51）的最先进的性能。

手术场景细分对于促使机器人手术的认知援助至关重要。但是，以逐帧方式以像素为单位的注释视频是昂贵且耗时的。为了大大减轻标签负担，在这项工作中，我们从机器人手术视频中研究了半监督的场景细分，这实际上是必不可少的，但以前很少探索。我们考虑在等距采样下的临床上适当的注释情况。然后，我们提出了PGV-CL，这是一种新型的伪标签引导的跨视频对比学习方法，以增强场景分割。它有效地利用了未标记的数据来实现可信赖和全球模型的正则化，从而产生更具歧视性的特征表示。具体来说，对于可信赖的表示学习，我们建议合并伪标签以指导对选择，从而获得更可靠的代表对像素对比度。此外，我们将代表学习空间从以前的图像级扩展到交叉视频，该图像可以捕获全球语义以使学习过程受益。我们广泛评估了公共机器人手术数据集Edovis18和公共白内障数据集Cadis的方法。实验结果证明了我们方法的有效性，在不同的标签比下始终超过了最先进的半监督方法，甚至超过了10.1％标签的destovis18上的全面监督培训。

半监督学习是一个具有挑战性的问题，旨在通过从有限标记的例子学习来构建模型。此任务的许多方法侧重于利用单独的未标记实例的预测，以单独进行正规化网络。然而，分别处理标记和未标记的数据通常导致从标记的例子中学习的质量事先知识的丢弃。 ％，并且未能在标记和未标记的图像对之间的特征交互。在本文中，我们提出了一种新的半监督语义细分方法，名为Guidedmix-Net，通过利用标签信息来指导未标记的实例的学习。具体而言，Guidedmix-Net采用三种操作：1）类似标记的未标记图像对的插值; 2）转让互动信息; 3）伪面具的概括。它使分段模型可以通过将知识从标记的样本转移到未标记的数据来学习未标记数据的更高质量的伪掩模。除了用于标记数据的监督学习之外，使用来自混合数据的生成的伪掩模共同学习未标记数据的预测。对Pascal VOC的大量实验2012年，城市景观展示了我们的Guidedmix-Net的有效性，这实现了竞争性的细分准确性，并与以前的方法相比，通过+7美元\％$大大改善Miou。