这项工作研究了很少的对象计数的问题，该问题计算了查询图像中出现的示例对象的数量（即由一个或几个支持图像描述）。主要的挑战在于，目标对象可以密集地包装在查询图像中，从而使每个单一对象都很难识别。为了解决障碍，我们提出了一个新颖的学习块，配备了相似性比较模块和功能增强模块。具体来说，给定支持图像和查询图像，我们首先通过比较每个空间位置的投影特征来得出分数图。有关所有支持图像的得分图将共收集在一起，并在示例维度和空间维度上均标准化，从而产生可靠的相似性图。然后，我们通过使用开发的点相似性作为加权系数来增强使用支持功能的查询功能。这样的设计鼓励模型通过更多地关注类似于支持图像的区域来检查查询图像，从而导致不同对象之间的界限更加清晰。在各种基准和培训设置上进行了广泛的实验表明，我们通过足够大的边距超过了最先进的方法。例如，在最近的大规模FSC-147数据集中，我们通过将平均绝对误差从22.08提高到14.32（35％$ \ uparrow $）来超越最新方法。代码已在https://github.com/zhiyuanyou/safecount中发布。

本文旨在解决一次性对象计数的具有挑战性的任务。鉴于包含新颖的图像，以前看不见的类别对象的图像，任务的目标是仅使用一个支持边界框示例计算所需类别中的所有实例。为此，我们提出了一个计数模型，您只需要查看一个实例（LAONET）。首先，特征相关模块结合了自我关注和相关的模块来学习内部关系和关系。它使得网络能够在不同的情况下对旋转和尺寸的不一致具有稳健性。其次，刻度聚合机制旨在帮助提取具有不同比例信息的特征。与现有的几次计数方法相比，LaOnet在以高收敛速度学习时达到最先进的结果。代码即将推出。

在本文中，我们考虑了通用视觉对象计数的问题，其目的是开发一种计算模型，用于使用任意数量的“示例”，即零射击或几次计数来计算任意语义类别的对象数量。为此，我们做出以下四个贡献：（1）我们引入了一种基于变压器的新型架构，用于广义视觉对象计数，称为计数变压器（乡村），该架构明确捕获图像贴片或给定的“示例”之间的相似性，通过注意机制;（2）我们采用了两阶段的训练制度，首先通过自我监督的学习预先培训模型，然后进行监督的微调；（3）我们提出了一个简单，可扩展的管道，以合成合成用大量实例或不同语义类别的训练图像明确迫使模型使用给定的“示例”；（4）我们对大规模计数基准的彻底消融研究，例如FSC-147，并在零和少数设置上展示了最先进的性能。

我们解决了一项新的任务，即计数和检测。给定目标对象类的一些示例边界框，我们试图计数和检测目标类的所有对象。该任务与几个弹出对象计数相同的监督，但另外还输出对象边界框以及总体计数。为了解决这个具有挑战性的问题，我们介绍了一种新颖的两阶段训练策略和一种新颖的不确定性 - 少数光对象探测器：计数 - 滴定。前者的目的是生成伪距离界限框来训练后者。后者利用了前者提供的伪基真实，但采取了必要的步骤来解释伪基真实的不完美。为了验证我们在新任务上的方法的性能，我们介绍了两个名为FSCD-147和FSCD-LVIS的新数据集。两个数据集都包含具有复杂场景，每个图像多个对象类的图像，并且对象形状，大小和外观的巨大变化。我们提出的方法优于非常强大的基线，该基线是根据数量计数和少量对象检测而适应的，并且在计数和检测指标中均具有很大的余量。代码和模型可在\ url {https://github.com/vinairesearch/counting-detr}中获得。

指导可学习的参数优化的一种吸引人的方法，例如特征图，是全球关注，它以成本的一小部分启发了网络智能。但是，它的损失计算过程仍然很短：1）我们只能产生一维的“伪标签”，因为该过程中涉及的人工阈值不健壮； 2）等待损失计算的注意力必然是高维的，而通过卷积减少它将不可避免地引入其他可学习的参数，从而使损失的来源混淆。为此，我们设计了一个基于软磁性注意的简单但有效的间接注意力优化（IIAO）模块，该模块将高维注意图转换为数学意义上的一维功能图，以通过网络中途进行损失计算，同时自动提供自适应多尺度融合以配备金字塔模块。特殊转化产生相对粗糙的特征，最初，区域的预测性谬误性随着人群的密度分布而变化，因此我们定制区域相关损失（RCLOSS）以检索连续错误的错误区域和平滑的空间信息。广泛的实验证明，我们的方法在许多基准数据集中超过了先前的SOTA方法。

近年来，人群计数研究取得了重大进展。然而，随着人群中存在具有挑战性的规模变化和复杂的场景，传统的卷积网络和最近具有固定大小的变压器架构都不能良好地处理任务。为了解决这个问题，本文提出了一个场景 - 自适应关注网络，称为Saanet。首先，我们设计了可变形的变压器骨干内的可变形关注，从而了解具有可变形采样位置和动态注意力的自适应特征表示。然后，我们提出了多级特征融合和计数专注特征增强模块，以加强全局图像上下文下的特征表示。学习的陈述可以参加前景，并适应不同的人群。我们对四个具有挑战性的人群计数基准进行广泛的实验，表明我们的方法实现了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准的公共排行榜上排名第一。我们希望我们的方法可能是一个强大的基线，以支持人群计数的未来研究。源代码将被释放到社区。

本文侧重于改善基于人群计数的最近的即插即用补丁重新分校模块（PRM）方法。为了充分利用PRM潜力，并获得更具可靠和准确的结果，以满足人群变异，大的视角，极端闭塞和杂乱的背景区域，我们提出了一种基于PRM的多分辨率和多任务人群通过利用更多有效性和效力来计算网络来计算网络。所提出的模型由三个深层分支组成，每个分支都会生成不同分辨率的特征图。这些分支机构互相执行特征级融合，以构建用于最终人群估计的重要集体知识。此外，早期的特征图会经受视觉注意力，以加强对前景地区的后期频道的理解。与PRM模块的这些深度分支的整合和早期的块通过四个基准数据集上的广泛数值和视觉评估而比原始的PRM基础级更有效。拟议的方法在RMSE评估标准方面产生了12.6％的余量。它还优于跨数据集评估中的最先进的方法。

The counting task, which plays a fundamental rule in numerous applications (e.g., crowd counting, traffic statistics), aims to predict the number of objects with various densities. Existing object counting tasks are designed for a single object class. However, it is inevitable to encounter newly coming data with new classes in our real world. We name this scenario as \textit{evolving object counting}. In this paper, we build the first evolving object counting dataset and propose a unified object counting network as the first attempt to address this task. The proposed model consists of two key components: a class-agnostic mask module and a class-increment module. The class-agnostic mask module learns generic object occupation prior via predicting a class-agnostic binary mask (e.g., 1 denotes there exists an object at the considering position in an image and 0 otherwise). The class-increment module is used to handle new coming classes and provides discriminative class guidance for density map prediction. The combined outputs of class-agnostic mask module and image feature extractor are used to predict the final density map. When new classes come, we first add new neural nodes into the last regression and classification layers of this module. Then, instead of retraining the model from scratch, we utilize knowledge distilling to help the model remember what have already learned about previous object classes. We also employ a support sample bank to store a small number of typical training samples of each class, which are used to prevent the model from forgetting key information of old data. With this design, our model can efficiently and effectively adapt to new coming classes while keeping good performance on already seen data without large-scale retraining. Extensive experiments on the collected dataset demonstrate the favorable performance.

在过去的几年中，基于卷积的神经网络（CNN）的人群计数方法已取得了有希望的结果。但是，对于准确的计数估计，量表变化问题仍然是一个巨大的挑战。在本文中，我们提出了一个多尺度特征聚合网络（MSFANET），可以在某种程度上减轻此问题。具体而言，我们的方法由两个特征聚合模块组成：短聚合（Shortagg）和Skip Contregation（Skipagg）。 Shortagg模块聚集了相邻卷积块的特征。其目的是制作具有从网络底部逐渐融合的不同接收场的功能。 Skipagg模块将具有小型接受场的特征直接传播到具有更大接收场的特征。它的目的是促进特征与大小接收场的融合。尤其是，Skipagg模块引入了Swin Transformer块中的本地自我注意力特征，以结合丰富的空间信息。此外，我们通过考虑不均匀的人群分布来提出基于局部和全球的计数损失。在四个具有挑战性的数据集（Shanghaitech数据集，UCF_CC_50数据集，UCF-QNRF数据集，WorldExpo'10数据集）上进行了广泛的实验，这表明与先前的先前的尚未实行的方法相比，提出的易于实现的MSFANET可以实现有希望的结果。

尽管无监督的异常检测迅速发展，但现有的方法仍需要训练不同对象的单独模型。在这项工作中，我们介绍了完成具有统一框架的多个类别的异常检测。在如此具有挑战性的环境下，流行的重建网络可能属于“相同的快捷方式”，在这种捷径中，正常样本和异常样本都可以很好地恢复，因此无法发现异常值。为了解决这一障碍，我们取得了三个改进。首先，我们重新审视完全连接的层，卷积层以及注意力层的配方，并确认查询嵌入（即注意层内）在防止网络学习快捷键方面的重要作用。因此，我们提出了一个层的查询解码器，以帮助建模多级分布。其次，我们采用一个邻居掩盖的注意模块，以进一步避免从输入功能到重建的输出功能的信息泄漏。第三，我们提出了一种功能抖动策略，即使使用嘈杂的输入，也敦促模型恢复正确的消息。我们在MVTEC-AD和CIFAR-10数据集上评估了我们的算法，在该数据集中，我们通过足够大的利润率超过了最先进的替代方案。例如，当在MVTEC-AD中学习15个类别的统一模型时，我们在异常检测的任务（从88.1％到96.5％）和异常定位（从89.5％到96.8％）上超过了第二个竞争者。代码将公开可用。

Camouflaged objects are seamlessly blended in with their surroundings, which brings a challenging detection task in computer vision. Optimizing a convolutional neural network (CNN) for camouflaged object detection (COD) tends to activate local discriminative regions while ignoring complete object extent, causing the partial activation issue which inevitably leads to missing or redundant regions of objects. In this paper, we argue that partial activation is caused by the intrinsic characteristics of CNN, where the convolution operations produce local receptive fields and experience difficulty to capture long-range feature dependency among image regions. In order to obtain feature maps that could activate full object extent, keeping the segmental results from being overwhelmed by noisy features, a novel framework termed Cross-Model Detail Querying network (DQnet) is proposed. It reasons the relations between long-range-aware representations and multi-scale local details to make the enhanced representation fully highlight the object regions and eliminate noise on non-object regions. Specifically, a vanilla ViT pretrained with self-supervised learning (SSL) is employed to model long-range dependencies among image regions. A ResNet is employed to enable learning fine-grained spatial local details in multiple scales. Then, to effectively retrieve object-related details, a Relation-Based Querying (RBQ) module is proposed to explore window-based interactions between the global representations and the multi-scale local details. Extensive experiments are conducted on the widely used COD datasets and show that our DQnet outperforms the current state-of-the-arts.

We propose a network for Congested Scene Recognition called CSRNet to provide a data-driven and deep learning method that can understand highly congested scenes and perform accurate count estimation as well as present highquality density maps. The proposed CSRNet is composed of two major components: a convolutional neural network (CNN) as the front-end for 2D feature extraction and a dilated CNN for the back-end, which uses dilated kernels to deliver larger reception fields and to replace pooling operations. CSRNet is an easy-trained model because of its pure convolutional structure. We demonstrate CSRNet on four datasets (ShanghaiTech dataset, the UCF CC 50 dataset, the WorldEXPO'10 dataset, and the UCSD dataset) and we deliver the state-of-the-art performance. In the Shang-haiTech Part B dataset, CSRNet achieves 47.3% lower Mean Absolute Error (MAE) than the previous state-of-theart method. We extend the targeted applications for counting other objects, such as the vehicle in TRANCOS dataset. Results show that CSRNet significantly improves the output quality with 15.4% lower MAE than the previous state-ofthe-art approach.

人群计数是公共场所情境意识的有效工具。使用图像和视频进行自动人群计数是一个有趣但充满挑战的问题，在计算机视觉中引起了极大的关注。在过去的几年中，已经开发了各种深度学习方法来实现最先进的表现。随着时间的流逝，这些方法在许多方面发生了变化，例如模型架构，输入管道，学习范式，计算复杂性和准确性提高等。在本文中，我们对人群计数领域中最重要的贡献进行了系统和全面的评论。 。尽管对该主题的调查很少，但我们的调查是最新的，并且在几个方面都不同。首先，它通过模型体系结构，学习方法（即损失功能）和评估方法（即评估指标）对最重要的贡献进行了更有意义的分类。我们选择了杰出和独特的作品，并排除了类似的作品。我们还通过基准数据集对著名人群计数模型进行分类。我们认为，这项调查可能是新手研究人员了解随着时间的推移和当前最新技术的逐步发展和贡献的好资源。

人群计数旨在了解人群密度分布并估计图像中对象（例如人）的数量。观点效应显着影响数据点的分布，在人群计数中起着重要作用。在本文中，我们提出了一种新颖的视角方法，称为Panet，以解决观点问题。基于观察到，由于透视效果，对象的大小在一个图像中变化很大，我们提出了动态接收场（DRF）框架。该框架能够根据输入图像通过扩张的卷积参数来调整接收场，这有助于该模型为每个局部区域提取更具区别的特征。与以前的大多数使用高斯内核来生成密度图作为监督信息的作品不同，我们提出了自我缩减监督（SDS）培训方法。从第一个训练阶段完善了地面图密度图，并在第二阶段将视角信息提炼为模型。 shanghaitech part_a和part_b，ucf_qnrf和ucf_cc_50数据集的实验结果表明，我们的拟议锅et的表现优于最先进的方法。

在实际人群计算应用程序中，图像中的人群密度差异很大。当面对密度变化时，人类倾向于在低密度区域定位和计数目标，并推理高密度区域的数量。我们观察到，CNN使用固定大小的卷积内核专注于局部信息相关性，而变压器可以通过使用全球自我注意机制有效地提取语义人群信息。因此，CNN可以在低密度区域中准确定位和估计人群，而在高密度区域中很难正确感知密度。相反，变压器在高密度区域具有很高的可靠性，但未能在稀疏区域定位目标。 CNN或变压器都无法很好地处理这种密度变化。为了解决此问题，我们提出了一个CNN和变压器自适应选择网络（CTASNET），该网络可以自适应地为不同密度区域选择适当的计数分支。首先，CTASNET生成CNN和变压器的预测结果。然后，考虑到CNN/变压器适用于低/高密度区域，密度引导的自适应选择模块被设计为自动结合CNN和Transformer的预测。此外，为了减少注释噪声的影响，我们引入了基于Correntropy的最佳运输损失。对四个挑战的人群计数数据集进行了广泛的实验，已经验证了该方法。

视频人群本地化是一项至关重要但又具有挑战性的任务，旨在估算给定拥挤视频中人头的确切位置。为了模拟人类活动性的时空依赖性，我们提出了多焦点高斯邻里注意力（GNA），可以有效利用远程对应关系，同时保持输入视频的空间拓扑结构。特别是，我们的GNA还可以使用配备的多聚焦机制良好地捕获人头的尺度变化。基于多聚焦GNA，我们开发了一个名为GNANET的统一神经网络，以通过场景建模模块和上下文交叉意见模块充分聚合时空信息来准确地定位视频片段中的头部中心。此外，为了促进该领域的未来研究，我们介绍了一个名为VScrowd的大规模人群视频基准，该视频由60k+框架组成，这些框架在各种监视场景和2M+头部注释中捕获。最后，我们在包括我们的SenseCrowd在内的三个数据集上进行了广泛的实验，实验结果表明，所提出的方法能够实现视频人群本地化和计数的最新性能。

在本文中，我们专注于人群本地化任务，这是人群分析的关键主题。大多数基于回归的方法都利用卷积神经网络（CNN）回归密度图，该密度图无法准确地定位在极度密集的场景中，这两个至关重要的原因是：1）密度图由一系列模糊的高斯斑点组成，2）密度图的致密区域中存在严重的重叠。为了解决这个问题，我们为人群本地化任务提出了一个新颖的焦点反向变换（FIDT）图。与密度图相比，FIDT地图准确地描述了人们的位置，而不会在密集区域重叠。基于FIDT地图，得出了局部Maxima-detection-Strategy（LMDS），以有效地为每个人提取中心点。此外，我们引入了独立的SSIM（I-SSIM）损失，以使模型倾向于学习局部结构信息，从而更好地识别局部最大值。广泛的实验表明，提出的方法报告在六个人群数据集和一个车辆数据集上的最先进的本地化性能。此外，我们发现所提出的方法在负面和极密密集的场景上显示出优异的鲁棒性，这进一步验证了FIDT地图的有效性。该代码和模型将在https://github.com/dk-liang/fidtm上找到。

Camouflaged object detection (COD) aims to detect/segment camouflaged objects embedded in the environment, which has attracted increasing attention over the past decades. Although several COD methods have been developed, they still suffer from unsatisfactory performance due to the intrinsic similarities between the foreground objects and background surroundings. In this paper, we propose a novel Feature Aggregation and Propagation Network (FAP-Net) for camouflaged object detection. Specifically, we propose a Boundary Guidance Module (BGM) to explicitly model the boundary characteristic, which can provide boundary-enhanced features to boost the COD performance. To capture the scale variations of the camouflaged objects, we propose a Multi-scale Feature Aggregation Module (MFAM) to characterize the multi-scale information from each layer and obtain the aggregated feature representations. Furthermore, we propose a Cross-level Fusion and Propagation Module (CFPM). In the CFPM, the feature fusion part can effectively integrate the features from adjacent layers to exploit the cross-level correlations, and the feature propagation part can transmit valuable context information from the encoder to the decoder network via a gate unit. Finally, we formulate a unified and end-to-end trainable framework where cross-level features can be effectively fused and propagated for capturing rich context information. Extensive experiments on three benchmark camouflaged datasets demonstrate that our FAP-Net outperforms other state-of-the-art COD models. Moreover, our model can be extended to the polyp segmentation task, and the comparison results further validate the effectiveness of the proposed model in segmenting polyps. The source code and results will be released at https://github.com/taozh2017/FAPNet.

The recent trend in multiple object tracking (MOT) is jointly solving detection and tracking, where object detection and appearance feature (or motion) are learned simultaneously. Despite competitive performance, in crowded scenes, joint detection and tracking usually fail to find accurate object associations due to missed or false detections. In this paper, we jointly model counting, detection and re-identification in an end-to-end framework, named CountingMOT, tailored for crowded scenes. By imposing mutual object-count constraints between detection and counting, the CountingMOT tries to find a balance between object detection and crowd density map estimation, which can help it to recover missed detections or reject false detections. Our approach is an attempt to bridge the gap of object detection, counting, and re-Identification. This is in contrast to prior MOT methods that either ignore the crowd density and thus are prone to failure in crowded scenes, or depend on local correlations to build a graphical relationship for matching targets. The proposed MOT tracker can perform online and real-time tracking, and achieves the state-of-the-art results on public benchmarks MOT16 (MOTA of 77.6), MOT17 (MOTA of 78.0%) and MOT20 (MOTA of 70.2%).

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。