最近在文献中引入了用于视频异常检测的自我监督的多任务学习（SSMTL）框架。由于其准确的结果，该方法吸引了许多研究人员的注意。在这项工作中，我们重新审视了自我监督的多任务学习框架，并提出了对原始方法的几个更新。首先，我们研究各种检测方法，例如基于使用光流或背景减法检测高运动区域，因为我们认为当前使用的预训练的Yolov3是次优的，例如从未检测到运动中的对象或来自未知类的对象。其次，我们通过引入多头自发项模块的启发，通过引入多头自我发项模块，使3D卷积骨干链现代化。因此，我们替代地引入了2D和3D卷积视觉变压器（CVT）块。第三，为了进一步改善模型，我们研究了其他自我监督的学习任务，例如通过知识蒸馏来预测细分图，解决拼图拼图，通过知识蒸馏估算身体的姿势，预测掩盖的区域（Inpaining）和对抗性学习具有伪异常。我们进行实验以评估引入变化的性能影响。在找到框架的更有希望的配置后，称为SSMTL ++ V1和SSMTL ++ V2后，我们将初步实验扩展到了更多数据集，表明我们的性能提高在所有数据集中都是一致的。在大多数情况下，我们在大道，上海the夫和Ubnormal上的结果将最新的表现提升到了新的水平。

We propose a very fast frame-level model for anomaly detection in video, which learns to detect anomalies by distilling knowledge from multiple highly accurate object-level teacher models. To improve the fidelity of our student, we distill the low-resolution anomaly maps of the teachers by jointly applying standard and adversarial distillation, introducing an adversarial discriminator for each teacher to distinguish between target and generated anomaly maps. We conduct experiments on three benchmarks (Avenue, ShanghaiTech, UCSD Ped2), showing that our method is over 7 times faster than the fastest competing method, and between 28 and 62 times faster than object-centric models, while obtaining comparable results to recent methods. Our evaluation also indicates that our model achieves the best trade-off between speed and accuracy, due to its previously unheard-of speed of 1480 FPS. In addition, we carry out a comprehensive ablation study to justify our architectural design choices.

检测视频中的异常事件通常被帧为单级分类任务，其中培训视频仅包含正常事件，而测试视频包含正常和异常事件。在这种情况下，异常检测是一个开放式问题。然而，一些研究吸收异常检测行动识别。这是一个封闭式场景，无法测试检测到新的异常类型时系统的能力。为此，我们提出UbnorMal，这是一个由多个虚拟场景组成的新的监督开放式基准，用于视频异常检测。与现有数据集不同，我们首次引入在训练时间的像素级别注释的异常事件，从而实现了用于异常事件检测的完全监督的学习方法。为了保留典型的开放式配方，我们确保在我们的培训和测试集合中包括Disjoint集的异常类型。据我们所知，Ubnormal是第一个视频异常检测基准，以允许一流的开放模型和监督闭合模型之间的公平头部比较，如我们的实验所示。此外，我们提供了实证证据，表明Ubnormal可以提高两个突出数据集，大道和上海学习的最先进的异常检测框架的性能。

在计算机视觉领域，异常检测最近引起了越来越多的关注，这可能是由于其广泛的应用程序从工业生产线上的产品故障检测到视频监视中即将发生的事件检测到在医疗扫描中发现病变。不管域如何，通常将异常检测构架为一级分类任务，其中仅在正常示例上进行学习。整个成功的异常检测方法的家庭基于学习重建掩盖的正常输入（例如贴片，未来帧等），并将重建误差的幅度作为异常水平的指标。与其他基于重建的方法不同，我们提出了一种新颖的自我监督蒙面的卷积变压器块（SSMCTB），该卷积变压器块（SSMCTB）包括基于重建的功能在核心架构层面上。拟议的自我监督块非常灵活，可以在神经网络的任何层上掩盖信息，并与广泛的神经体系结构兼容。在这项工作中，我们扩展了以前的自我监督预测性卷积专注块（SSPCAB），并具有3D掩盖的卷积层，以及用于频道注意的变压器。此外，我们表明我们的块适用于更广泛的任务，在医学图像和热视频中添加异常检测到基于RGB图像和监视视频的先前考虑的任务。我们通过将SSMCTB的普遍性和灵活性整合到多个最先进的神经模型中，以进行异常检测，从而带来了经验结果，可以证实对五个基准的绩效改进：MVTEC AD，BRATS，BRATS，Avenue，Shanghaitech和Thermal和Thermal和Thermal罕见事件。我们在https://github.com/ristea/ssmctb上发布代码和数据作为开源。

异常检测通常被追求为单级分类问题，其中模型只能从正常训练样本中学习，同时在正常和异常的测试样本上进行评估。在异常检测的成功方法中，一种杰出的方法依赖于预测屏蔽信息（例如修补程序，未来帧等）并利用相对于屏蔽信息的重建误差作为异常分数。与相关方法不同，我们建议将基于重建的功能集成为新颖的自我监督的预测建筑结构块。所提出的自我监督块是通用的，并且可以容易地结合到各种最先进的异常检测方法中。我们的块从带有扩张过滤器的卷积层开始，其中掩盖接收场的中心区域。得到的激活图通过通道注意模块传递。我们的块配备有损失，使得能够最小化接收领域中的遮蔽区域的重建误差。我们通过将其集成到几种最先进的框架中，以便在图像和视频上进行异常检测，提供对MVTEC AD，Avenue和Shanghaitech的经验证据提供了显着改进的经验证据。

We develop a novel framework for single-scene video anomaly localization that allows for human-understandable reasons for the decisions the system makes. We first learn general representations of objects and their motions (using deep networks) and then use these representations to build a high-level, location-dependent model of any particular scene. This model can be used to detect anomalies in new videos of the same scene. Importantly, our approach is explainable - our high-level appearance and motion features can provide human-understandable reasons for why any part of a video is classified as normal or anomalous. We conduct experiments on standard video anomaly detection datasets (Street Scene, CUHK Avenue, ShanghaiTech and UCSD Ped1, Ped2) and show significant improvements over the previous state-of-the-art.

视频异常检测（VAD）是计算机视觉中的重要主题。本文通过最新的自我监督学习进展的激励，通过解决直观而又具有挑战性的借口任务，即时空拼图拼图来解决VAD，该任务是一个多标签的精细粒度分类问题。我们的方法比现有作品具有几个优点：1）时空拼图难题是根据空间和时间维度分离的，分别捕获了高度歧视性的外观和运动特征； 2）完全排列用于提供涵盖各种难度水平的丰富拼图难题，从而使网络能够区分正常事件和异常事件之间的细微时空差异； 3）借口任务以端到端的方式解决，而无需依赖任何预训练的模型。我们的方法优于三个公共基准的最先进的方法。尤其是在上海校园中，其结果优于重建和基于预测的方法。

Video anomaly detection (VAD) is a challenging computer vision task with many practical applications. As anomalies are inherently ambiguous, it is essential for users to understand the reasoning behind a system's decision in order to determine if the rationale is sound. In this paper, we propose a simple but highly effective method that pushes the boundaries of VAD accuracy and interpretability using attribute-based representations. Our method represents every object by its velocity and pose. The anomaly scores are computed using a density-based approach. Surprisingly, we find that this simple representation is sufficient to achieve state-of-the-art performance in ShanghaiTech, the largest and most complex VAD dataset. Combining our interpretable attribute-based representations with implicit, deep representation yields state-of-the-art performance with a $99.1\%, 93.3\%$, and $85.9\%$ AUROC on Ped2, Avenue, and ShanghaiTech, respectively. Our method is accurate, interpretable, and easy to implement.

异常识别高度取决于对象与场景之间的关系，因为相同/不同场景中的不同/相同对象动作可能导致各种程度的正态性和异常。因此，对象场景关系实际上在异常检测中起着至关重要的作用，但在以前的工作中探讨了不足。在本文中，我们提出了一个时空关系学习（STRL）框架来解决视频异常检测任务。首先，考虑到对象的动态特征以及场景区域，我们构建了一个时空自动编码器（STAE），以共同利用代表学习的空间和时间演化模式。为了获得更好的图案提取，在STAE模块中设计了两个解码分支，即通过直接预测下一个帧来捕获空间提示的外观分支，以及一个运动分支，重点是通过光流预测对动态进行建模。然后，为了很好地融合对象场所关系，设计了一个关系学习（RL）模块来通过引入知识图嵌入方法来分析和总结正常关系。在此过程中具体来说，通过共同建模对象/场景特征和优化的对象场所关系图来衡量对象场景关系的合理性。在三个公共数据集上进行了广泛的实验，而对最新方法的优越性能证明了我们方法的有效性。

视频异常检测是现在计算机视觉中的热门研究主题之一，因为异常事件包含大量信息。异常是监控系统中的主要检测目标之一，通常需要实时行动。关于培训的标签数据的可用性（即，没有足够的标记数据进行异常），半监督异常检测方法最近获得了利益。本文介绍了该领域的研究人员，以新的视角，并评论了最近的基于深度学习的半监督视频异常检测方法，基于他们用于异常检测的共同策略。我们的目标是帮助研究人员开发更有效的视频异常检测方法。由于选择右深神经网络的选择对于这项任务的几个部分起着重要作用，首先准备了对DNN的快速比较审查。与以前的调查不同，DNN是从时空特征提取观点审查的，用于视频异常检测。这部分审查可以帮助本领域的研究人员选择合适的网络，以获取其方法的不同部分。此外，基于其检测策略，一些最先进的异常检测方法受到严格调查。审查提供了一种新颖，深入了解现有方法，并导致陈述这些方法的缺点，这可能是未来作品的提示。

这项工作的目的是检测并自动生成视频中异常事件的高级解释。了解异常事件的原因至关重要，因为所需的响应取决于其性质和严重程度。最近的作品通常使用对象或操作分类器来检测和提供异常事件的标签。然而，这将检测系统限制为有限的已知类别，并防止到未知物体或行为的概括。在这里，我们展示了如何在不使用对象或操作分类器的情况下稳健地检测异组织，但仍然恢复事件背后的高级原因。我们提出以下贡献：（1）一种使用显着性图来解除对象和动作分类器的异常事件解释的方法，（2）显示如何使用新的神经架构来学习视频的离散表示来提高显着图的质量通过预测未来帧和（3）将最先进的异常解释方法击败60 \％在公共基准X-MAN数据集的子集上。

本文解决了视频检测问题的视频监视问题。由于异常事件的固有稀有性和异质性，该问题被视为一种正态建模策略，在这种策略中，我们的模型学习以对象为中心的正常模式，而无需在训练过程中看到异常样本。主要贡献在于耦合预处理的对象级动作具有基于余弦的异常估计功能的原型原型，因此通过向基于主流重建的策略引入其他约束来扩展以前的方法。我们的框架利用外观和运动信息来学习对象级别的行为并捕获内存模块中的原型模式。在几个知名数据集上进行的实验证明了我们方法的有效性，因为它在最相关的时空评估指标上优于当前的最新时间。

当前，借助监督学习方法，基于深度学习的视觉检查已取得了非常成功的成功。但是，在实际的工业场景中，缺陷样本的稀缺性，注释的成本以及缺乏缺陷的先验知识可能会使基于监督的方法无效。近年来，无监督的异常定位算法已在工业检查任务中广泛使用。本文旨在通过深入学习在工业图像中无视无视的异常定位中的最新成就来帮助该领域的研究人员。该调查回顾了120多个重要出版物，其中涵盖了异常定位的各个方面，主要涵盖了所审查方法的各种概念，挑战，分类法，基准数据集和定量性能比较。在审查迄今为止的成就时，本文提供了一些未来研究方向的详细预测和分析。这篇综述为对工业异常本地化感兴趣的研究人员提供了详细的技术信息，并希望将其应用于其他领域的异常本质。

在当代社会中，监视异常检测，即在监视视频中发现异常事件，例如犯罪或事故，是一项关键任务。由于异常发生很少发生，大多数培训数据包括没有标记的视频，没有异常事件，这使得任务具有挑战性。大多数现有方法使用自动编码器（AE）学习重建普通视频；然后，他们根据未能重建异常场景的出现来检测异常。但是，由于异常是通过外观和运动来区分的，因此许多先前的方法使用预训练的光流模型明确分开了外观和运动信息，例如。这种明确的分离限制了两种类型的信息之间的相互表示功能。相比之下，我们提出了一个隐式的两路AE（ITAE），其中两个编码器隐含模型外观和运动特征以及一个将它们组合在一起以学习正常视频模式的结构。对于正常场景的复杂分布，我们建议通过归一化流量（NF）的生成模型对ITAE特征的正常密度估计，以学习可拖动的可能性，并使用无法分布的检测来识别异常。 NF模型通过隐式学习的功能通过学习正常性来增强ITAE性能。最后，我们在六个基准测试中演示了ITAE及其特征分布建模的有效性，包括在现实世界中包含各种异常的数据库。

Temporal action detection (TAD) is extensively studied in the video understanding community by generally following the object detection pipeline in images. However, complex designs are not uncommon in TAD, such as two-stream feature extraction, multi-stage training, complex temporal modeling, and global context fusion. In this paper, we do not aim to introduce any novel technique for TAD. Instead, we study a simple, straightforward, yet must-known baseline given the current status of complex design and low detection efficiency in TAD. In our simple baseline (termed BasicTAD), we decompose the TAD pipeline into several essential components: data sampling, backbone design, neck construction, and detection head. We extensively investigate the existing techniques in each component for this baseline, and more importantly, perform end-to-end training over the entire pipeline thanks to the simplicity of design. As a result, this simple BasicTAD yields an astounding and real-time RGB-Only baseline very close to the state-of-the-art methods with two-stream inputs. In addition, we further improve the BasicTAD by preserving more temporal and spatial information in network representation (termed as PlusTAD). Empirical results demonstrate that our PlusTAD is very efficient and significantly outperforms the previous methods on the datasets of THUMOS14 and FineAction. Meanwhile, we also perform in-depth visualization and error analysis on our proposed method and try to provide more insights on the TAD problem. Our approach can serve as a strong baseline for future TAD research. The code and model will be released at https://github.com/MCG-NJU/BasicTAD.

在监控视频中的异常检测是挑战，对确保公共安全有挑战性。不同于基于像素的异常检测方法，基于姿势的方法利用高结构化的骨架数据，这降低了计算负担，并避免了背景噪声的负面影响。然而，与基于像素的方法不同，这可以直接利用显式运动特征，例如光学流，基于姿势的方法缺乏替代动态表示。在本文中，提出了一种新的运动嵌入器（ME）以提供从概率的角度来提供姿态运动表示。此外，为自我监控姿势序列重建部署了一种新型任务特定的空间 - 时间变压器（STT）。然后将这两个模块集成到统一规律学习的统一框架中，该框架被称为运动先前规律学习者（MOPLL）。 MOPRL在几个具有挑战性的数据集中实现了4.7％AUC的平均改善，实现了最先进的性能。广泛的实验验证每个提出的模块的多功能性。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

Video anomaly detection (VAD) -- commonly formulated as a multiple-instance learning problem in a weakly-supervised manner due to its labor-intensive nature -- is a challenging problem in video surveillance where the frames of anomaly need to be localized in an untrimmed video. In this paper, we first propose to utilize the ViT-encoded visual features from CLIP, in contrast with the conventional C3D or I3D features in the domain, to efficiently extract discriminative representations in the novel technique. We then model long- and short-range temporal dependencies and nominate the snippets of interest by leveraging our proposed Temporal Self-Attention (TSA). The ablation study conducted on each component confirms its effectiveness in the problem, and the extensive experiments show that our proposed CLIP-TSA outperforms the existing state-of-the-art (SOTA) methods by a large margin on two commonly-used benchmark datasets in the VAD problem (UCF-Crime and ShanghaiTech Campus). The source code will be made publicly available upon acceptance.

Object movement identification is one of the most researched problems in the field of computer vision. In this task, we try to classify a pixel as foreground or background. Even though numerous traditional machine learning and deep learning methods already exist for this problem, the two major issues with most of them are the need for large amounts of ground truth data and their inferior performance on unseen videos. Since every pixel of every frame has to be labeled, acquiring large amounts of data for these techniques gets rather expensive. Recently, Zhao et al. [1] proposed one of a kind Arithmetic Distribution Neural Network (ADNN) for universal background subtraction which utilizes probability information from the histogram of temporal pixels and achieves promising results. Building onto this work, we developed an intelligent video surveillance system that uses ADNN architecture for motion detection, trims the video with parts only containing motion, and performs anomaly detection on the trimmed video.

视频异常检测是视觉中的核心问题。正确检测和识别视频数据中行人中的异常行为将使安全至关重要的应用，例如监视，活动监测和人类机器人的互动。在本文中，我们建议利用无监督的行人异常事件检测的轨迹定位和预测。与以前的基于重建的方法不同，我们提出的框架依赖于正常和异常行人轨迹的预测误差来在空间和时间上检测异常。我们介绍了有关不同时间尺度的现实基准数据集的实验结果，并表明我们提出的基于轨迹预言的异常检测管道在识别视频中行人的异常活动方面有效有效。代码将在https://github.com/akanuasiegbu/leveraging-trajectory-prediction-for-pedestrian-video-anomaly-detection上提供。