视频异常检测是一项具有挑战性的任务，因为大多数异常都是稀缺和非确定性的。许多方法研究了正常模式和异常模式之间的重建差异，但是忽略了异常不一定与大重建误差相对应。为了解决这个问题，我们设计了使用双向方向和高阶机制的增强时空存储器交换的卷积LSTM自动编码器预测框架。双向结构通过前进和向后的预测促进了学习时间的规律性。独特的高阶机制进一步加强了编码器和解码器之间的空间信息相互作用。考虑到卷积LSTMS中有限的接收场，我们还引入了一个注意模块，以突出预测的信息特征。最终通过将框架与它们的相应预测进行比较来确定异常。对三个流行基准的评估表明，我们的框架的表现优于大多数基于预测的异常检测方法。

视频异常检测是计算机视觉社区的一项具有挑战性的任务。大多数基于任务的方法都不考虑独特的空间和时间模式的独立性，而两流结构则缺乏对相关性的探索。在本文中，我们提出了时空记忆增强了两个流动自动编码器框架，该框架可以独立学习外观正常和运动正常，并通过对抗性学习探索相关性。具体而言，我们首先设计了两个代理任务来训练两流结构，以隔离地提取外观和运动特征。然后，将原型特征记录在相应的空间和时间内存池中。最后，编码编码网络通过歧视者进行对抗学习，以探索空间和时间模式之间的相关性。实验结果表明，我们的框架优于最先进的方法，在UCSD PED2和CUHK Avenue数据集上，AUC达到98.1％和89.8％。

异常识别高度取决于对象与场景之间的关系，因为相同/不同场景中的不同/相同对象动作可能导致各种程度的正态性和异常。因此，对象场景关系实际上在异常检测中起着至关重要的作用，但在以前的工作中探讨了不足。在本文中，我们提出了一个时空关系学习（STRL）框架来解决视频异常检测任务。首先，考虑到对象的动态特征以及场景区域，我们构建了一个时空自动编码器（STAE），以共同利用代表学习的空间和时间演化模式。为了获得更好的图案提取，在STAE模块中设计了两个解码分支，即通过直接预测下一个帧来捕获空间提示的外观分支，以及一个运动分支，重点是通过光流预测对动态进行建模。然后，为了很好地融合对象场所关系，设计了一个关系学习（RL）模块来通过引入知识图嵌入方法来分析和总结正常关系。在此过程中具体来说，通过共同建模对象/场景特征和优化的对象场所关系图来衡量对象场景关系的合理性。在三个公共数据集上进行了广泛的实验，而对最新方法的优越性能证明了我们方法的有效性。

Aiming at the problem that the current video anomaly detection cannot fully use the temporal information and ignore the diversity of normal behavior, an anomaly detection method is proposed to integrate the spatiotemporal information of pedestrians. Based on the convolutional autoencoder, the input frame is compressed and restored through the encoder and decoder. Anomaly detection is realized according to the difference between the output frame and the true value. In order to strengthen the characteristic information connection between continuous video frames, the residual temporal shift module and the residual channel attention module are introduced to improve the modeling ability of the network on temporal information and channel information, respectively. Due to the excessive generalization of convolutional neural networks, in the memory enhancement modules, the hopping connections of each codec layer are added to limit autoencoders' ability to represent abnormal frames too vigorously and improve the anomaly detection accuracy of the network. In addition, the objective function is modified by a feature discretization loss, which effectively distinguishes different normal behavior patterns. The experimental results on the CUHK Avenue and ShanghaiTech datasets show that the proposed method is superior to the current mainstream video anomaly detection methods while meeting the real-time requirements.

传统上，视频异常检测（VAD）以两种主要方法进行了解决：基于重建的方法和基于预测的方法。当基于重建的方法学会概括输入图像时，该模型仅学习身份功能并强烈引起所谓的概括问题。另一方面，由于基于预测的框架学会预测以前几个帧的未来框架，因此它们对概括性问题的敏感性不太敏感。但是，仍然不确定该模型是否可以学习视频的时空上下文。我们的直觉是，对视频的时空环境的理解在VAD中起着至关重要的作用，因为它提供了有关视频剪辑中事件的出现如何变化的精确信息。因此，为了充分利用视频情况下的上下文信息以进行异常检测，我们设计了具有三个不同上下文预测流的变压器模型：掩盖，整体和部分。通过学习预测连续正常帧的缺失帧，我们的模型可以有效地学习视频中的各种正态性模式，这会导致异常情况下不适合学习环境的异常情况。为了验证我们的方法的有效性，我们在公共基准数据集上评估了我们的模型：USCD Pateestrian 2，Cuhk Avenue和Shanghaitech，并以重建错误的异常得分度量评估了性能。结果表明，与现有的视频异常检测方法相比，我们提出的方法实现了竞争性能。

Deep autoencoder has been extensively used for anomaly detection. Training on the normal data, the autoencoder is expected to produce higher reconstruction error for the abnormal inputs than the normal ones, which is adopted as a criterion for identifying anomalies. However, this assumption does not always hold in practice. It has been observed that sometimes the autoencoder "generalizes" so well that it can also reconstruct anomalies well, leading to the miss detection of anomalies. To mitigate this drawback for autoencoder based anomaly detector, we propose to augment the autoencoder with a memory module and develop an improved autoencoder called memory-augmented autoencoder, i.e. MemAE. Given an input, MemAE firstly obtains the encoding from the encoder and then uses it as a query to retrieve the most relevant memory items for reconstruction. At the training stage, the memory contents are updated and are encouraged to represent the prototypical elements of the normal data. At the test stage, the learned memory will be fixed, and the reconstruction is obtained from a few selected memory records of the normal data. The reconstruction will thus tend to be close to a normal sample. Thus the reconstructed errors on anomalies will be strengthened for anomaly detection. MemAE is free of assumptions on the data type and thus general to be applied to different tasks. Experiments on various datasets prove the excellent generalization and high effectiveness of the proposed MemAE.

视频异常检测（VAD）是计算机视觉中的重要主题。本文通过最新的自我监督学习进展的激励，通过解决直观而又具有挑战性的借口任务，即时空拼图拼图来解决VAD，该任务是一个多标签的精细粒度分类问题。我们的方法比现有作品具有几个优点：1）时空拼图难题是根据空间和时间维度分离的，分别捕获了高度歧视性的外观和运动特征； 2）完全排列用于提供涵盖各种难度水平的丰富拼图难题，从而使网络能够区分正常事件和异常事件之间的细微时空差异； 3）借口任务以端到端的方式解决，而无需依赖任何预训练的模型。我们的方法优于三个公共基准的最先进的方法。尤其是在上海校园中，其结果优于重建和基于预测的方法。

视频异常检测是视觉中的核心问题。正确检测和识别视频数据中行人中的异常行为将使安全至关重要的应用，例如监视，活动监测和人类机器人的互动。在本文中，我们建议利用无监督的行人异常事件检测的轨迹定位和预测。与以前的基于重建的方法不同，我们提出的框架依赖于正常和异常行人轨迹的预测误差来在空间和时间上检测异常。我们介绍了有关不同时间尺度的现实基准数据集的实验结果，并表明我们提出的基于轨迹预言的异常检测管道在识别视频中行人的异常活动方面有效有效。代码将在https://github.com/akanuasiegbu/leveraging-trajectory-prediction-for-pedestrian-video-anomaly-detection上提供。

在当代社会中，监视异常检测，即在监视视频中发现异常事件，例如犯罪或事故，是一项关键任务。由于异常发生很少发生，大多数培训数据包括没有标记的视频，没有异常事件，这使得任务具有挑战性。大多数现有方法使用自动编码器（AE）学习重建普通视频；然后，他们根据未能重建异常场景的出现来检测异常。但是，由于异常是通过外观和运动来区分的，因此许多先前的方法使用预训练的光流模型明确分开了外观和运动信息，例如。这种明确的分离限制了两种类型的信息之间的相互表示功能。相比之下，我们提出了一个隐式的两路AE（ITAE），其中两个编码器隐含模型外观和运动特征以及一个将它们组合在一起以学习正常视频模式的结构。对于正常场景的复杂分布，我们建议通过归一化流量（NF）的生成模型对ITAE特征的正常密度估计，以学习可拖动的可能性，并使用无法分布的检测来识别异常。 NF模型通过隐式学习的功能通过学习正常性来增强ITAE性能。最后，我们在六个基准测试中演示了ITAE及其特征分布建模的有效性，包括在现实世界中包含各种异常的数据库。

视频异常检测是现在计算机视觉中的热门研究主题之一，因为异常事件包含大量信息。异常是监控系统中的主要检测目标之一，通常需要实时行动。关于培训的标签数据的可用性（即，没有足够的标记数据进行异常），半监督异常检测方法最近获得了利益。本文介绍了该领域的研究人员，以新的视角，并评论了最近的基于深度学习的半监督视频异常检测方法，基于他们用于异常检测的共同策略。我们的目标是帮助研究人员开发更有效的视频异常检测方法。由于选择右深神经网络的选择对于这项任务的几个部分起着重要作用，首先准备了对DNN的快速比较审查。与以前的调查不同，DNN是从时空特征提取观点审查的，用于视频异常检测。这部分审查可以帮助本领域的研究人员选择合适的网络，以获取其方法的不同部分。此外，基于其检测策略，一些最先进的异常检测方法受到严格调查。审查提供了一种新颖，深入了解现有方法，并导致陈述这些方法的缺点，这可能是未来作品的提示。

深度学习模型已广泛用于监控视频中的异常检测。典型模型配备了重建普通视频的能力，并评估异常视频的重建错误以指示异常的程度。然而，现有方法遭受了两个缺点。首先，它们只能独立地编码每个身份的运动，而不考虑身份之间的相互作用，这也可以指示异常。其次，他们利用了结构在不同场景下固定的粘合模型，这种配置禁止了对场景的理解。在本文中，我们提出了一个分层时空图卷积神经网络（HSTGCNN）来解决这些问题，HSTGCNN由对应于不同级别的图形表示的多个分支组成。高级图形表示编码人们的轨迹以及多个身份之间的交互，而低级图表表示编码每个人的本地身体姿势。此外，我们建议加权组合在不同场景中更好的多个分支。以这种方式实现了对单级图形表示的改进。实现了对场景的理解并提供异常检测。在低分辨率视频中为在低分辨率视频中编码低分辨率视频中的人员的移动速度和方向编码高级别的图表表示，而在高分辨率视频中将更高的权重分配更高的权重。实验结果表明，建议的HSTGCNN在四个基准数据集（UCSD Spistrian，Shanghaitech，Cuhk Aveance和IITB-Whent）上的当前最先进的模型显着优于最新的最先进模型。

异常检测通常被追求为单级分类问题，其中模型只能从正常训练样本中学习，同时在正常和异常的测试样本上进行评估。在异常检测的成功方法中，一种杰出的方法依赖于预测屏蔽信息（例如修补程序，未来帧等）并利用相对于屏蔽信息的重建误差作为异常分数。与相关方法不同，我们建议将基于重建的功能集成为新颖的自我监督的预测建筑结构块。所提出的自我监督块是通用的，并且可以容易地结合到各种最先进的异常检测方法中。我们的块从带有扩张过滤器的卷积层开始，其中掩盖接收场的中心区域。得到的激活图通过通道注意模块传递。我们的块配备有损失，使得能够最小化接收领域中的遮蔽区域的重建误差。我们通过将其集成到几种最先进的框架中，以便在图像和视频上进行异常检测，提供对MVTEC AD，Avenue和Shanghaitech的经验证据提供了显着改进的经验证据。

本文解决了视频检测问题的视频监视问题。由于异常事件的固有稀有性和异质性，该问题被视为一种正态建模策略，在这种策略中，我们的模型学习以对象为中心的正常模式，而无需在训练过程中看到异常样本。主要贡献在于耦合预处理的对象级动作具有基于余弦的异常估计功能的原型原型，因此通过向基于主流重建的策略引入其他约束来扩展以前的方法。我们的框架利用外观和运动信息来学习对象级别的行为并捕获内存模块中的原型模式。在几个知名数据集上进行的实验证明了我们方法的有效性，因为它在最相关的时空评估指标上优于当前的最新时间。

最近，变形金刚在空间范围内的学习和推断方面很受欢迎。但是，他们的性能依赖于存储并将注意力应用于视频中每个帧的功能张量。因此，随着视频的长度的增长，它们的空间和时间复杂性会线性增加，这对于长视频而言可能非常昂贵。我们提出了一种新颖的视觉记忆网络架构，用于空间范围的学习和推理问题。我们在内存网络中维护了固定的内存插槽，并提出了基于Gumbel-SoftMax的算法，以学习一种自适应策略以更新此内存。最后，该体系结构在视频对象细分（VOS）和视频预测问题上进行了基准测试。我们证明，我们的内存体系结构可实现最新的结果，在视频预测上优于基于变压器的方法和其他最新方法，同时保持恒定的内存能力与序列长度无关。

视频异常检测旨在在视频中找到不符合预期行为的事件。普遍的方法主要通过摘要重建或将来的框架预测误差来检测异常。但是，该错误高度依赖于当前摘要的局部环境，并且缺乏对正态性的理解。为了解决这个问题，我们建议不仅通过本地环境来检测异常事件，而且还根据测试事件与培训数据正常的知识之间的一致性。具体而言，我们提出了一个基于上下文恢复和知识检索的新颖的两流框架，这两个流可以相互补充。对于上下文恢复流，我们提出了一个时空的U-NET，可以完全利用运动信息来预测未来的框架。此外，我们提出了一种最大的局部误差机制，以减轻复杂前景对象引起的大恢复错误的问题。对于知识检索流，我们提出了一种改进的可学习区域敏感性散列的散列，该哈希通过暹罗网络和相互差异损失来优化哈希功能。关于正态性的知识是编码和存储在哈希表中的，测试事件与知识表示之间的距离用于揭示异常的概率。最后，我们融合了从两个流的异常得分以检测异常。广泛的实验证明了这两个流的有效性和互补性，因此提出的两流框架在四个数据集上实现了最新的性能。

Weakly supervised detection of anomalies in surveillance videos is a challenging task. Going beyond existing works that have deficient capabilities to localize anomalies in long videos, we propose a novel glance and focus network to effectively integrate spatial-temporal information for accurate anomaly detection. In addition, we empirically found that existing approaches that use feature magnitudes to represent the degree of anomalies typically ignore the effects of scene variations, and hence result in sub-optimal performance due to the inconsistency of feature magnitudes across scenes. To address this issue, we propose the Feature Amplification Mechanism and a Magnitude Contrastive Loss to enhance the discriminativeness of feature magnitudes for detecting anomalies. Experimental results on two large-scale benchmarks UCF-Crime and XD-Violence manifest that our method outperforms state-of-the-art approaches.

基于内存仪器的自动编码器（AE）的异常检测方法的现有方法具有以下缺点：（1）建立内存库需要额外的内存空间。 （2）主观假设的固定原型数量忽略了数据特征差异和多样性。为了克服这些缺点，我们引入了DLAN-AC，这是一种具有自适应簇的动态局部聚合网络，用于异常检测。首先，所提出的DLAN可以自动从AE学习和汇总高级特征，以获得更多代表性的原型，同时释放额外的存储空间。其次，所提出的AC可以适应性聚类视频数据，以推导具有先验信息的初始原型。此外，我们还提出了动态冗余聚类策略（DRC），以使DLAN能够自动消除不影响原型的特征簇。基准的广泛实验表明，DLAN-AC的表现优于大多数现有方法，从而验证了我们方法的有效性。我们的代码可在https://github.com/beyond-zw/dlan-ac上公开获取。

The mainstream of the existing approaches for video prediction builds up their models based on a Single-In-Single-Out (SISO) architecture, which takes the current frame as input to predict the next frame in a recursive manner. This way often leads to severe performance degradation when they try to extrapolate a longer period of future, thus limiting the practical use of the prediction model. Alternatively, a Multi-In-Multi-Out (MIMO) architecture that outputs all the future frames at one shot naturally breaks the recursive manner and therefore prevents error accumulation. However, only a few MIMO models for video prediction are proposed and they only achieve inferior performance due to the date. The real strength of the MIMO model in this area is not well noticed and is largely under-explored. Motivated by that, we conduct a comprehensive investigation in this paper to thoroughly exploit how far a simple MIMO architecture can go. Surprisingly, our empirical studies reveal that a simple MIMO model can outperform the state-of-the-art work with a large margin much more than expected, especially in dealing with longterm error accumulation. After exploring a number of ways and designs, we propose a new MIMO architecture based on extending the pure Transformer with local spatio-temporal blocks and a new multi-output decoder, namely MIMO-VP, to establish a new standard in video prediction. We evaluate our model in four highly competitive benchmarks (Moving MNIST, Human3.6M, Weather, KITTI). Extensive experiments show that our model wins 1st place on all the benchmarks with remarkable performance gains and surpasses the best SISO model in all aspects including efficiency, quantity, and quality. We believe our model can serve as a new baseline to facilitate the future research of video prediction tasks. The code will be released.

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.