The counting task, which plays a fundamental rule in numerous applications (e.g., crowd counting, traffic statistics), aims to predict the number of objects with various densities. Existing object counting tasks are designed for a single object class. However, it is inevitable to encounter newly coming data with new classes in our real world. We name this scenario as \textit{evolving object counting}. In this paper, we build the first evolving object counting dataset and propose a unified object counting network as the first attempt to address this task. The proposed model consists of two key components: a class-agnostic mask module and a class-increment module. The class-agnostic mask module learns generic object occupation prior via predicting a class-agnostic binary mask (e.g., 1 denotes there exists an object at the considering position in an image and 0 otherwise). The class-increment module is used to handle new coming classes and provides discriminative class guidance for density map prediction. The combined outputs of class-agnostic mask module and image feature extractor are used to predict the final density map. When new classes come, we first add new neural nodes into the last regression and classification layers of this module. Then, instead of retraining the model from scratch, we utilize knowledge distilling to help the model remember what have already learned about previous object classes. We also employ a support sample bank to store a small number of typical training samples of each class, which are used to prevent the model from forgetting key information of old data. With this design, our model can efficiently and effectively adapt to new coming classes while keeping good performance on already seen data without large-scale retraining. Extensive experiments on the collected dataset demonstrate the favorable performance.

单图像人群计数是一个充满挑战的计算机视觉问题，在公共安全，城市规划，交通管理等方面进行了广泛的应用。随着深度学习技术的最新发展，近年来，人群的数量引起了很多关注并取得了巨大的成功。这项调查是为了通过系统审查和总结该地区的200多件作品来提供有关基于深度学习的人群计数技术的最新进展的全面摘要。我们的目标是提供最新的评论。在最近的方法中，并在该领域教育新研究人员的设计原理和权衡。在介绍了公开可用的数据集和评估指标之后，我们通过对三个主要的设计模块进行了详细比较来回顾最近的进展：深度神经网络设计，损失功能和监督信号。我们使用公共数据集和评估指标研究和比较方法。我们以一些未来的指示结束了调查。

人群计数是公共场所情境意识的有效工具。使用图像和视频进行自动人群计数是一个有趣但充满挑战的问题，在计算机视觉中引起了极大的关注。在过去的几年中，已经开发了各种深度学习方法来实现最先进的表现。随着时间的流逝，这些方法在许多方面发生了变化，例如模型架构，输入管道，学习范式，计算复杂性和准确性提高等。在本文中，我们对人群计数领域中最重要的贡献进行了系统和全面的评论。 。尽管对该主题的调查很少，但我们的调查是最新的，并且在几个方面都不同。首先，它通过模型体系结构，学习方法（即损失功能）和评估方法（即评估指标）对最重要的贡献进行了更有意义的分类。我们选择了杰出和独特的作品，并排除了类似的作品。我们还通过基准数据集对著名人群计数模型进行分类。我们认为，这项调查可能是新手研究人员了解随着时间的推移和当前最新技术的逐步发展和贡献的好资源。

大多数传统人群计数方法利用完全监督的学习框架来学习场景图像和人群密度映射之间的映射。在这种完全监督培训设置的情况下，需要大量昂贵且耗时的像素级注释，以产生密度图作为监控。减少昂贵标签的一种方法是利用未标记图像之间的自我结构信息和内在关系。与利用原始图像级别的这些关系和结构信息的先前方法不同，我们从潜在特征空间探讨了这种自我关系，因为它可以提取更丰富的关系和结构信息。具体而言，我们提出了S $ ^ 2 $ FPR，其可以提取结构信息，并在潜在空间中学习粗良好的金字塔特征的部分订单，以便更好地与大规模未标记的图像计数。此外，我们收集了一个新的未标记的人群计数数据集（Fudan-UCC），总共有4,000张图片进行培训。一个副产物是我们提出的S $ ^ 2 $ FPR方法可以利用未标记图像之间的潜在空间中的众多部分订单来加强模型表示能力，并减少人群计数任务的估计误差。关于四个基准数据集的大量实验，即UCF-QNRF，Shanghaitech Parta和Partb以及UCF-CC-50，与先前半监督方法相比，我们的方法显示了我们的方法。源代码和数据集可用于https://github.com/bridgeqiqi/s2fpr。

近年来，人群计数研究取得了重大进展。然而，随着人群中存在具有挑战性的规模变化和复杂的场景，传统的卷积网络和最近具有固定大小的变压器架构都不能良好地处理任务。为了解决这个问题，本文提出了一个场景 - 自适应关注网络，称为Saanet。首先，我们设计了可变形的变压器骨干内的可变形关注，从而了解具有可变形采样位置和动态注意力的自适应特征表示。然后，我们提出了多级特征融合和计数专注特征增强模块，以加强全局图像上下文下的特征表示。学习的陈述可以参加前景，并适应不同的人群。我们对四个具有挑战性的人群计数基准进行广泛的实验，表明我们的方法实现了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准的公共排行榜上排名第一。我们希望我们的方法可能是一个强大的基线，以支持人群计数的未来研究。源代码将被释放到社区。

在过去的几年中，基于卷积的神经网络（CNN）的人群计数方法已取得了有希望的结果。但是，对于准确的计数估计，量表变化问题仍然是一个巨大的挑战。在本文中，我们提出了一个多尺度特征聚合网络（MSFANET），可以在某种程度上减轻此问题。具体而言，我们的方法由两个特征聚合模块组成：短聚合（Shortagg）和Skip Contregation（Skipagg）。 Shortagg模块聚集了相邻卷积块的特征。其目的是制作具有从网络底部逐渐融合的不同接收场的功能。 Skipagg模块将具有小型接受场的特征直接传播到具有更大接收场的特征。它的目的是促进特征与大小接收场的融合。尤其是，Skipagg模块引入了Swin Transformer块中的本地自我注意力特征，以结合丰富的空间信息。此外，我们通过考虑不均匀的人群分布来提出基于局部和全球的计数损失。在四个具有挑战性的数据集（Shanghaitech数据集，UCF_CC_50数据集，UCF-QNRF数据集，WorldExpo'10数据集）上进行了广泛的实验，这表明与先前的先前的尚未实行的方法相比，提出的易于实现的MSFANET可以实现有希望的结果。

人群计数旨在了解人群密度分布并估计图像中对象（例如人）的数量。观点效应显着影响数据点的分布，在人群计数中起着重要作用。在本文中，我们提出了一种新颖的视角方法，称为Panet，以解决观点问题。基于观察到，由于透视效果，对象的大小在一个图像中变化很大，我们提出了动态接收场（DRF）框架。该框架能够根据输入图像通过扩张的卷积参数来调整接收场，这有助于该模型为每个局部区域提取更具区别的特征。与以前的大多数使用高斯内核来生成密度图作为监督信息的作品不同，我们提出了自我缩减监督（SDS）培训方法。从第一个训练阶段完善了地面图密度图，并在第二阶段将视角信息提炼为模型。 shanghaitech part_a和part_b，ucf_qnrf和ucf_cc_50数据集的实验结果表明，我们的拟议锅et的表现优于最先进的方法。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

在实际人群计算应用程序中，图像中的人群密度差异很大。当面对密度变化时，人类倾向于在低密度区域定位和计数目标，并推理高密度区域的数量。我们观察到，CNN使用固定大小的卷积内核专注于局部信息相关性，而变压器可以通过使用全球自我注意机制有效地提取语义人群信息。因此，CNN可以在低密度区域中准确定位和估计人群，而在高密度区域中很难正确感知密度。相反，变压器在高密度区域具有很高的可靠性，但未能在稀疏区域定位目标。 CNN或变压器都无法很好地处理这种密度变化。为了解决此问题，我们提出了一个CNN和变压器自适应选择网络（CTASNET），该网络可以自适应地为不同密度区域选择适当的计数分支。首先，CTASNET生成CNN和变压器的预测结果。然后，考虑到CNN/变压器适用于低/高密度区域，密度引导的自适应选择模块被设计为自动结合CNN和Transformer的预测。此外，为了减少注释噪声的影响，我们引入了基于Correntropy的最佳运输损失。对四个挑战的人群计数数据集进行了广泛的实验，已经验证了该方法。

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model-a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and Im-ageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

指导可学习的参数优化的一种吸引人的方法，例如特征图，是全球关注，它以成本的一小部分启发了网络智能。但是，它的损失计算过程仍然很短：1）我们只能产生一维的“伪标签”，因为该过程中涉及的人工阈值不健壮； 2）等待损失计算的注意力必然是高维的，而通过卷积减少它将不可避免地引入其他可学习的参数，从而使损失的来源混淆。为此，我们设计了一个基于软磁性注意的简单但有效的间接注意力优化（IIAO）模块，该模块将高维注意图转换为数学意义上的一维功能图，以通过网络中途进行损失计算，同时自动提供自适应多尺度融合以配备金字塔模块。特殊转化产生相对粗糙的特征，最初，区域的预测性谬误性随着人群的密度分布而变化，因此我们定制区域相关损失（RCLOSS）以检索连续错误的错误区域和平滑的空间信息。广泛的实验证明，我们的方法在许多基准数据集中超过了先前的SOTA方法。

Recently, density map regression-based methods have dominated in crowd counting owing to their excellent fitting ability on density distribution. However, further improvement tends to saturate mainly because of the confusing background noise and the large density variation. In this paper, we propose a Hierarchically Decoupled Network (HDNet) to solve the above two problems within a unified framework. Specifically, a background classification sub-task is decomposed from the density map prediction task, which is then assigned to a Density Decoupling Module (DDM) to exploit its highly discriminative ability. For the remaining foreground prediction sub-task, it is further hierarchically decomposed to several density-specific sub-tasks by the DDM, which are then solved by the regression-based experts in a Foreground Density Estimation Module (FDEM). Although the proposed strategy effectively reduces the hypothesis space so as to relieve the optimization for those task-specific experts, the high correlation of these sub-tasks are ignored. Therefore, we introduce three types of interaction strategies to unify the whole framework, which are Feature Interaction, Gradient Interaction, and Scale Interaction. Integrated with the above spirits, HDNet achieves state-of-the-art performance on several popular counting benchmarks.

We propose a network for Congested Scene Recognition called CSRNet to provide a data-driven and deep learning method that can understand highly congested scenes and perform accurate count estimation as well as present highquality density maps. The proposed CSRNet is composed of two major components: a convolutional neural network (CNN) as the front-end for 2D feature extraction and a dilated CNN for the back-end, which uses dilated kernels to deliver larger reception fields and to replace pooling operations. CSRNet is an easy-trained model because of its pure convolutional structure. We demonstrate CSRNet on four datasets (ShanghaiTech dataset, the UCF CC 50 dataset, the WorldEXPO'10 dataset, and the UCSD dataset) and we deliver the state-of-the-art performance. In the Shang-haiTech Part B dataset, CSRNet achieves 47.3% lower Mean Absolute Error (MAE) than the previous state-of-theart method. We extend the targeted applications for counting other objects, such as the vehicle in TRANCOS dataset. Results show that CSRNet significantly improves the output quality with 15.4% lower MAE than the previous state-ofthe-art approach.

This paper aims to develop a method than can accurately estimate the crowd count from an individual image with arbitrary crowd density and arbitrary perspective. To this end, we have proposed a simple but effective Multi-column Convolutional Neural Network (MCNN) architecture to map the image to its crowd density map. The proposed MCNN allows the input image to be of arbitrary size or resolution. By utilizing filters with receptive fields of different sizes, the features learned by each column CNN are adaptive to variations in people/head size due to perspective effect or image resolution. Furthermore, the true density map is computed accurately based on geometry-adaptive kernels which do not need knowing the perspective map of the input image. Since exiting crowd counting datasets do not adequately cover all the challenging situations considered in our work, we have collected and labelled a large new dataset that includes 1198 images with about 330,000 heads annotated. On this challenging new dataset, as well as all existing datasets, we conduct extensive experiments to verify the effectiveness of the proposed model and method. In particular, with the proposed simple MCNN model, our method outperforms all existing methods. In addition, experiments show that our model, once trained on one dataset, can be readily transferred to a new dataset.

Crowd counting plays an important role in risk perception and early warning, traffic control and scene statistical analysis. The challenges of crowd counting in highly dense and complex scenes lie in the mutual occlusion of the human body parts, the large variation of the body scales and the complexity of imaging conditions. Deep learning based head detection is a promising method for crowd counting. However the highly concerned object detection networks cannot be well applied to this field for two main reasons. First, most of the existing head detection datasets are only annotated with the center points instead of bounding boxes which is mandatory for the canonical detectors. Second, the sample imbalance has not been overcome yet in highly dense and complex scenes because the existing loss functions calculate the positive loss at a single key point or in the entire target area with the same weight. To address these problems, We propose a novel loss function, called Mask Focal Loss, to unify the loss functions based on heatmap ground truth (GT) and binary feature map GT. Mask Focal Loss redefines the weight of the loss contributions according to the situ value of the heatmap with a Gaussian kernel. For better evaluation and comparison, a new synthetic dataset GTA\_Head is made public, including 35 sequences, 5096 images and 1732043 head labels with bounding boxes. Experimental results show the overwhelming performance and demonstrate that our proposed Mask Focal Loss is applicable to all of the canonical detectors and to various datasets with different GT. This provides a strong basis for surpassing the crowd counting methods based on density estimation.

背景噪声和规模变化是人群计数中长期以来已经认识到的常见问题。人类瞥见人群的形象，立即知道人类的大概数量，以及他们通过关注的人群地区和人群地区的拥塞程度，并具有全球接收领域。因此，在本文中，我们通过对人类自上而下的视觉感知机制进行建模，提出了一个具有称为RANET的区域感知块的新型反馈网络。首先，我们介绍了一个反馈体系结构，以生成优先级地图，这些图提供了输入图像中候选人人群区域的先验。先验使Ranet更加关注人群地区。然后，我们设计了可以通过全局接受字段自适应地将上下文信息编码为输入图像的区域感知块。更具体地说，我们以列向量的形式扫描整个输入图像及其优先级图，以获得相关矩阵估计其相似性。获得的相关矩阵将用于建立像素之间的全球关系。我们的方法在几个公共数据集上优于最先进的人群计数方法。

这项工作研究了很少的对象计数的问题，该问题计算了查询图像中出现的示例对象的数量（即由一个或几个支持图像描述）。主要的挑战在于，目标对象可以密集地包装在查询图像中，从而使每个单一对象都很难识别。为了解决障碍，我们提出了一个新颖的学习块，配备了相似性比较模块和功能增强模块。具体来说，给定支持图像和查询图像，我们首先通过比较每个空间位置的投影特征来得出分数图。有关所有支持图像的得分图将共收集在一起，并在示例维度和空间维度上均标准化，从而产生可靠的相似性图。然后，我们通过使用开发的点相似性作为加权系数来增强使用支持功能的查询功能。这样的设计鼓励模型通过更多地关注类似于支持图像的区域来检查查询图像，从而导致不同对象之间的界限更加清晰。在各种基准和培训设置上进行了广泛的实验表明，我们通过足够大的边距超过了最先进的方法。例如，在最近的大规模FSC-147数据集中，我们通过将平均绝对误差从22.08提高到14.32（35％$ \ uparrow $）来超越最新方法。代码已在https://github.com/zhiyuanyou/safecount中发布。

深度学习模型在逐步学习新任务时遭受灾难性遗忘。已经提出了增量学习，以保留旧课程的知识，同时学习识别新课程。一种典型的方法是使用一些示例来避免忘记旧知识。在这种情况下，旧类和新课之间的数据失衡是导致模型性能下降的关键问题。由于数据不平衡，已经设计了几种策略来纠正新类别的偏见。但是，他们在很大程度上依赖于新旧阶层之间偏见关系的假设。因此，它们不适合复杂的现实世界应用。在这项研究中，我们提出了一种假设不足的方法，即多粒性重新平衡（MGRB），以解决此问题。重新平衡方法用于减轻数据不平衡的影响；但是，我们从经验上发现，他们将拟合新的课程。为此，我们进一步设计了一个新颖的多晶正式化项，该项使模型还可以考虑除了重新平衡数据之外的类别的相关性。类层次结构首先是通过将语义或视觉上类似类分组来构建的。然后，多粒性正则化将单热标签向量转换为连续的标签分布，这反映了基于构造的类层次结构的目标类别和其他类之间的关系。因此，该模型可以学习类间的关系信息，这有助于增强新旧课程的学习。公共数据集和现实世界中的故障诊断数据集的实验结果验证了所提出的方法的有效性。

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。

主流人群计数方法通常利用卷积神经网络（CNN）回归密度图，需要点级注释。但是，用一点点注释每个人是一个昂贵且费力的过程。在测试阶段，未考虑点级注释来评估计数精度，这意味着点级注释是冗余的。因此，希望开发仅依赖计数级注释的弱监督计数方法，这是一种更经济的标签方式。当前的弱监督计数方法采用了CNN来通过图像计数范式回归人群的总数。但是，对于上下文建模的接受场有限是这些基于CNN的弱监督法的内在局限性。因此，在现实世界中的应用有限的情况下，这些方法无法实现令人满意的性能。变压器是自然语言处理（NLP）中流行的序列到序列预测模型，其中包含一个全球接收场。在本文中，我们提出了transercroderd，从基于变压器的序列到计数的角度来重新制定了弱监督的人群计数问题。我们观察到，所提出的译者可以使用变压器的自发机制有效地提取语义人群信息。据我们所知，这是第一项采用纯变压器进行人群计算研究的工作。五个基准数据集的实验表明，与所有基于弱的CNN的计数方法相比，所提出的transercroud的性能优于较高的性能，并且与某些流行的完全监督的计数方法相比，基于CNN的计数方法和提高了竞争激烈的计数性能。