由于监视摄像头网络的无处不在，从图像中计算的自动人士最近引起了现代智能城市的城市监测的注意。当前的计算机视觉技术依赖于基于深度学习的算法，这些算法估算了静止图像中的行人密度。只有一堆作品利用视频序列中的时间一致性。在这项工作中，我们提出了一个时空的细心神经网络，以估计监视视频中的行人数量。通过利用连续帧之间的时间相关性，我们在广泛使用的FDST基准上将最新的计数误差降低了5％，定位误差降低了7.5％。

人群计数是公共场所情境意识的有效工具。使用图像和视频进行自动人群计数是一个有趣但充满挑战的问题，在计算机视觉中引起了极大的关注。在过去的几年中，已经开发了各种深度学习方法来实现最先进的表现。随着时间的流逝，这些方法在许多方面发生了变化，例如模型架构，输入管道，学习范式，计算复杂性和准确性提高等。在本文中，我们对人群计数领域中最重要的贡献进行了系统和全面的评论。 。尽管对该主题的调查很少，但我们的调查是最新的，并且在几个方面都不同。首先，它通过模型体系结构，学习方法（即损失功能）和评估方法（即评估指标）对最重要的贡献进行了更有意义的分类。我们选择了杰出和独特的作品，并排除了类似的作品。我们还通过基准数据集对著名人群计数模型进行分类。我们认为，这项调查可能是新手研究人员了解随着时间的推移和当前最新技术的逐步发展和贡献的好资源。

视频人群本地化是一项至关重要但又具有挑战性的任务，旨在估算给定拥挤视频中人头的确切位置。为了模拟人类活动性的时空依赖性，我们提出了多焦点高斯邻里注意力（GNA），可以有效利用远程对应关系，同时保持输入视频的空间拓扑结构。特别是，我们的GNA还可以使用配备的多聚焦机制良好地捕获人头的尺度变化。基于多聚焦GNA，我们开发了一个名为GNANET的统一神经网络，以通过场景建模模块和上下文交叉意见模块充分聚合时空信息来准确地定位视频片段中的头部中心。此外，为了促进该领域的未来研究，我们介绍了一个名为VScrowd的大规模人群视频基准，该视频由60k+框架组成，这些框架在各种监视场景和2M+头部注释中捕获。最后，我们在包括我们的SenseCrowd在内的三个数据集上进行了广泛的实验，实验结果表明，所提出的方法能够实现视频人群本地化和计数的最新性能。

单图像人群计数是一个充满挑战的计算机视觉问题，在公共安全，城市规划，交通管理等方面进行了广泛的应用。随着深度学习技术的最新发展，近年来，人群的数量引起了很多关注并取得了巨大的成功。这项调查是为了通过系统审查和总结该地区的200多件作品来提供有关基于深度学习的人群计数技术的最新进展的全面摘要。我们的目标是提供最新的评论。在最近的方法中，并在该领域教育新研究人员的设计原理和权衡。在介绍了公开可用的数据集和评估指标之后，我们通过对三个主要的设计模块进行了详细比较来回顾最近的进展：深度神经网络设计，损失功能和监督信号。我们使用公共数据集和评估指标研究和比较方法。我们以一些未来的指示结束了调查。

在实际人群计算应用程序中，图像中的人群密度差异很大。当面对密度变化时，人类倾向于在低密度区域定位和计数目标，并推理高密度区域的数量。我们观察到，CNN使用固定大小的卷积内核专注于局部信息相关性，而变压器可以通过使用全球自我注意机制有效地提取语义人群信息。因此，CNN可以在低密度区域中准确定位和估计人群，而在高密度区域中很难正确感知密度。相反，变压器在高密度区域具有很高的可靠性，但未能在稀疏区域定位目标。 CNN或变压器都无法很好地处理这种密度变化。为了解决此问题，我们提出了一个CNN和变压器自适应选择网络（CTASNET），该网络可以自适应地为不同密度区域选择适当的计数分支。首先，CTASNET生成CNN和变压器的预测结果。然后，考虑到CNN/变压器适用于低/高密度区域，密度引导的自适应选择模块被设计为自动结合CNN和Transformer的预测。此外，为了减少注释噪声的影响，我们引入了基于Correntropy的最佳运输损失。对四个挑战的人群计数数据集进行了广泛的实验，已经验证了该方法。

大多数传统人群计数方法利用完全监督的学习框架来学习场景图像和人群密度映射之间的映射。在这种完全监督培训设置的情况下，需要大量昂贵且耗时的像素级注释，以产生密度图作为监控。减少昂贵标签的一种方法是利用未标记图像之间的自我结构信息和内在关系。与利用原始图像级别的这些关系和结构信息的先前方法不同，我们从潜在特征空间探讨了这种自我关系，因为它可以提取更丰富的关系和结构信息。具体而言，我们提出了S $ ^ 2 $ FPR，其可以提取结构信息，并在潜在空间中学习粗良好的金字塔特征的部分订单，以便更好地与大规模未标记的图像计数。此外，我们收集了一个新的未标记的人群计数数据集（Fudan-UCC），总共有4,000张图片进行培训。一个副产物是我们提出的S $ ^ 2 $ FPR方法可以利用未标记图像之间的潜在空间中的众多部分订单来加强模型表示能力，并减少人群计数任务的估计误差。关于四个基准数据集的大量实验，即UCF-QNRF，Shanghaitech Parta和Partb以及UCF-CC-50，与先前半监督方法相比，我们的方法显示了我们的方法。源代码和数据集可用于https://github.com/bridgeqiqi/s2fpr。

We propose a novel solution for semi-supervised video object segmentation. By the nature of the problem, available cues (e.g. video frame(s) with object masks) become richer with the intermediate predictions. However, the existing methods are unable to fully exploit this rich source of information. We resolve the issue by leveraging memory networks and learn to read relevant information from all available sources. In our framework, the past frames with object masks form an external memory, and the current frame as the query is segmented using the mask information in the memory. Specifically, the query and the memory are densely matched in the feature space, covering all the space-time pixel locations in a feed-forward fashion. Contrast to the previous approaches, the abundant use of the guidance information allows us to better handle the challenges such as appearance changes and occlussions. We validate our method on the latest benchmark sets and achieved the state-of-the-art performance (overall score of 79.4 on Youtube-VOS val set,

近年来，人群计数研究取得了重大进展。然而，随着人群中存在具有挑战性的规模变化和复杂的场景，传统的卷积网络和最近具有固定大小的变压器架构都不能良好地处理任务。为了解决这个问题，本文提出了一个场景 - 自适应关注网络，称为Saanet。首先，我们设计了可变形的变压器骨干内的可变形关注，从而了解具有可变形采样位置和动态注意力的自适应特征表示。然后，我们提出了多级特征融合和计数专注特征增强模块，以加强全局图像上下文下的特征表示。学习的陈述可以参加前景，并适应不同的人群。我们对四个具有挑战性的人群计数基准进行广泛的实验，表明我们的方法实现了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准的公共排行榜上排名第一。我们希望我们的方法可能是一个强大的基线，以支持人群计数的未来研究。源代码将被释放到社区。

无意识和自发的，微小表达在一个人的真实情绪的推动中是有用的，即使尝试隐藏它们。由于它们短的持续时间和低强度，对微表达的识别是情感计算中的艰巨任务。基于手工制作的时空特征的早期工作最近被不同的深度学习方法取代了现在竞争最先进的性能。然而，捕获本地和全球时空模式的问题仍然挑战。为此，本文我们提出了一种新颖的时空变压器架构 - 据我们所知，是微表达识别的第一种纯粹变压器的方法（即任何卷积网络使用的方法）。该架构包括用于学习空间模式的空间编码器，用于时间维度分析的时间聚合器和分类头。三种广泛使用的自发性微表达数据集，即Smic-HS，Casme II和SAMM的综合评估表明，该方法始终如一地优于现有技术，是发表在微表达上发表文献中的第一个框架在任何上述数据集上识别以实现未加权的F1分数大于0.9。

Speed estimation of an ego vehicle is crucial to enable autonomous driving and advanced driver assistance technologies. Due to functional and legacy issues, conventional methods depend on in-car sensors to extract vehicle speed through the Controller Area Network bus. However, it is desirable to have modular systems that are not susceptible to external sensors to execute perception tasks. In this paper, we propose a novel 3D-CNN with masked-attention architecture to estimate ego vehicle speed using a single front-facing monocular camera. To demonstrate the effectiveness of our method, we conduct experiments on two publicly available datasets, nuImages and KITTI. We also demonstrate the efficacy of masked-attention by comparing our method with a traditional 3D-CNN.

背景噪声和规模变化是人群计数中长期以来已经认识到的常见问题。人类瞥见人群的形象，立即知道人类的大概数量，以及他们通过关注的人群地区和人群地区的拥塞程度，并具有全球接收领域。因此，在本文中，我们通过对人类自上而下的视觉感知机制进行建模，提出了一个具有称为RANET的区域感知块的新型反馈网络。首先，我们介绍了一个反馈体系结构，以生成优先级地图，这些图提供了输入图像中候选人人群区域的先验。先验使Ranet更加关注人群地区。然后，我们设计了可以通过全局接受字段自适应地将上下文信息编码为输入图像的区域感知块。更具体地说，我们以列向量的形式扫描整个输入图像及其优先级图，以获得相关矩阵估计其相似性。获得的相关矩阵将用于建立像素之间的全球关系。我们的方法在几个公共数据集上优于最先进的人群计数方法。

旨在预测人群进入或离开某些地区的人群的预测是智能城市的一项基本任务。人群流数据的关键属性之一是周期性：一种按常规时间间隔发生的模式，例如每周模式。为了捕获这种周期性，现有研究要么将周期性的隐藏状态融合到网络中，以学习或将额外的定期策略应用于网络体系结构。在本文中，我们设计了一个新颖的定期残差学习网络（PRNET），以更好地建模人群流数据中的周期性。与现有方法不同，PRNET通过建模输入（上一个时期）和输出（未来时间段）之间的变化来将人群流动预测作为周期性的残差学习问题。与直接预测高度动态的人群流动相比，学习更多的固定偏差要容易得多，从而有助于模型训练。此外，学到的变化使网络能够在每个时间间隔内产生未来条件及其相应每周观察的残差，因此有助于更准确的多步骤预测。广泛的实验表明，PRNET可以轻松地集成到现有模型中，以增强其预测性能。

了解3D场景是自治代理的关键先决条件。最近，LIDAR和其他传感器已经以点云帧的时间序列形式提供了大量数据。在这项工作中，我们提出了一种新的问题 - 顺序场景流量估计（SSFE） - 该旨在预测给定序列中所有点云的3D场景流。这与先前研究的场景流程估计问题不同，这侧重于两个框架。我们介绍SPCM-NET架构，通过计算相邻点云之间的多尺度时空相关性，然后通过订单不变的复制单元计算多级时空相关性来解决这个问题。我们的实验评估证实，与仅使用两个框架相比，点云序列的复发处理导致SSFE明显更好。另外，我们证明可以有效地修改该方法，用于顺序点云预测（SPF），一种需要预测未来点云帧的相关问题。我们的实验结果是使用SSFE和SPF的新基准进行评估，包括合成和实时数据集。以前，场景流估计的数据集仅限于两个帧。我们为这些数据集提供非琐碎的扩展，用于多帧估计和预测。由于难以获得现实世界数据集的地面真理运动，我们使用自我监督的培训和评估指标。我们认为，该基准将在该领域的未来研究中关键。将可访问基准和型号的所有代码。

主流人群计数方法通常利用卷积神经网络（CNN）回归密度图，需要点级注释。但是，用一点点注释每个人是一个昂贵且费力的过程。在测试阶段，未考虑点级注释来评估计数精度，这意味着点级注释是冗余的。因此，希望开发仅依赖计数级注释的弱监督计数方法，这是一种更经济的标签方式。当前的弱监督计数方法采用了CNN来通过图像计数范式回归人群的总数。但是，对于上下文建模的接受场有限是这些基于CNN的弱监督法的内在局限性。因此，在现实世界中的应用有限的情况下，这些方法无法实现令人满意的性能。变压器是自然语言处理（NLP）中流行的序列到序列预测模型，其中包含一个全球接收场。在本文中，我们提出了transercroderd，从基于变压器的序列到计数的角度来重新制定了弱监督的人群计数问题。我们观察到，所提出的译者可以使用变压器的自发机制有效地提取语义人群信息。据我们所知，这是第一项采用纯变压器进行人群计算研究的工作。五个基准数据集的实验表明，与所有基于弱的CNN的计数方法相比，所提出的transercroud的性能优于较高的性能，并且与某些流行的完全监督的计数方法相比，基于CNN的计数方法和提高了竞争激烈的计数性能。

异常识别高度取决于对象与场景之间的关系，因为相同/不同场景中的不同/相同对象动作可能导致各种程度的正态性和异常。因此，对象场景关系实际上在异常检测中起着至关重要的作用，但在以前的工作中探讨了不足。在本文中，我们提出了一个时空关系学习（STRL）框架来解决视频异常检测任务。首先，考虑到对象的动态特征以及场景区域，我们构建了一个时空自动编码器（STAE），以共同利用代表学习的空间和时间演化模式。为了获得更好的图案提取，在STAE模块中设计了两个解码分支，即通过直接预测下一个帧来捕获空间提示的外观分支，以及一个运动分支，重点是通过光流预测对动态进行建模。然后，为了很好地融合对象场所关系，设计了一个关系学习（RL）模块来通过引入知识图嵌入方法来分析和总结正常关系。在此过程中具体来说，通过共同建模对象/场景特征和优化的对象场所关系图来衡量对象场景关系的合理性。在三个公共数据集上进行了广泛的实验，而对最新方法的优越性能证明了我们方法的有效性。

执法和城市安全受到监视系统中的暴力事件的严重影响。尽管现代（智能）相机广泛可用且负担得起，但在大多数情况下，这种技术解决方案无能为力。此外，监测CCTV记录的人员经常显示出迟来的反应，从而导致对人和财产的灾难。因此，对迅速行动的暴力自动检测至关重要。拟议的解决方案使用了一种新颖的端到端深度学习视频视觉变压器（Vivit），可以在视频序列中熟练地辨别战斗，敌对运动和暴力事件。该研究提出了利用数据增强策略来克服较弱的电感偏见的缺点，同时在较小的培训数据集中训练视觉变压器。评估的结果随后可以发送给当地有关当局，可以分析捕获的视频。与最先进的（SOTA）相比，所提出的方法在某些具有挑战性的基准数据集上实现了吉祥的性能。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

现代设备（例如智能手机，卫星和医疗设备）中的摄像机能够捕获非常高分辨率的图像和视频。这种高分辨率数据通常需要通过深度学习模型来处理癌症检测，自动化道路导航，天气预测，监视，优化农业过程和许多其他应用。使用高分辨率的图像和视频作为深度学习模型的直接输入，由于其参数数量大，计算成本，推理延迟和GPU内存消耗而造成了许多挑战。简单的方法（例如将图像调整为较低的分辨率大小）在文献中很常见，但是它们通常会显着降低准确性。文献中的几项作品提出了更好的替代方案，以应对高分辨率数据的挑战并提高准确性和速度，同时遵守硬件限制和时间限制。这项调查描述了这种高效的高分辨率深度学习方法，总结了高分辨率深度学习的现实应用程序，并提供了有关可用高分辨率数据集的全面信息。

Human activity recognition (HAR) using drone-mounted cameras has attracted considerable interest from the computer vision research community in recent years. A robust and efficient HAR system has a pivotal role in fields like video surveillance, crowd behavior analysis, sports analysis, and human-computer interaction. What makes it challenging are the complex poses, understanding different viewpoints, and the environmental scenarios where the action is taking place. To address such complexities, in this paper, we propose a novel Sparse Weighted Temporal Attention (SWTA) module to utilize sparsely sampled video frames for obtaining global weighted temporal attention. The proposed SWTA is comprised of two parts. First, temporal segment network that sparsely samples a given set of frames. Second, weighted temporal attention, which incorporates a fusion of attention maps derived from optical flow, with raw RGB images. This is followed by a basenet network, which comprises a convolutional neural network (CNN) module along with fully connected layers that provide us with activity recognition. The SWTA network can be used as a plug-in module to the existing deep CNN architectures, for optimizing them to learn temporal information by eliminating the need for a separate temporal stream. It has been evaluated on three publicly available benchmark datasets, namely Okutama, MOD20, and Drone-Action. The proposed model has received an accuracy of 72.76%, 92.56%, and 78.86% on the respective datasets thereby surpassing the previous state-of-the-art performances by a margin of 25.26%, 18.56%, and 2.94%, respectively.

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。