尽管基于经常性的神经网络（RNN）的视频预测方法已经取得了重大成就，但由于信息损失问题和基于知觉的卑鄙平方错误（MSE）损失功能，它们在具有高分辨率的数据集中的性能仍然远远不令人满意。 。在本文中，我们提出了一个时空信息保存和感知声明模型（STIP），以解决上述两个问题。为了解决信息损失问题，提出的模型旨在在功能提取和状态过渡期间分别保留视频的时空信息。首先，基于X-NET结构设计了多透明时空自动编码器（MGST-AE）。拟议的MGST-AE可以帮助解码器回忆到时间和空间域中编码器的多透明信息。这样，在高分辨率视频的功能提取过程中，可以保留更多时空信息。其次，时空门控复发单元（STGRU）是基于标准的封闭式复发单元（GRU）结构而设计的，该结构可以在状态过渡期间有效地保留时空信息。与流行的长期短期（LSTM）的预测记忆相比，提出的STGRU可以通过计算负载较低的计算负载来实现更令人满意的性能。此外，为了改善传统的MSE损失功能，基于生成的对抗网络（GAN）进一步设计了学识渊博的知觉损失（LP-loss），这可以帮助获得客观质量和感知质量之间的令人满意的权衡。实验结果表明，与各种最先进的方法相比，提出的Stip可以预测具有更令人满意的视觉质量的视频。源代码已在\ url {https://github.com/zhengchang467/stiphr}上获得。

We are introducing a multi-scale predictive model for video prediction here, whose design is inspired by the "Predictive Coding" theories and "Coarse to Fine" approach. As a predictive coding model, it is updated by a combination of bottom-up and top-down information flows, which is different from traditional bottom-up training style. Its advantage is to reduce the dependence on input information and improve its ability to predict and generate images. Importantly, we achieve with a multi-scale approach -- higher level neurons generate coarser predictions (lower resolution), while the lower level generate finer predictions (higher resolution). This is different from the traditional predictive coding framework in which higher level predict the activity of neurons in lower level. To improve the predictive ability, we integrate an encoder-decoder network in the LSTM architecture and share the final encoded high-level semantic information between different levels. Additionally, since the output of each network level is an RGB image, a smaller LSTM hidden state can be used to retain and update the only necessary hidden information, avoiding being mapped to an overly discrete and complex space. In this way, we can reduce the difficulty of prediction and the computational overhead. Finally, we further explore the training strategies, to address the instability in adversarial training and mismatch between training and testing in long-term prediction. Code is available at https://github.com/Ling-CF/MSPN.

在本文中，我们提出了一个生成的对抗网络（GAN）框架，以增强压缩视频的感知质量。我们的框架包括单个模型中对不同量化参数（QP）的注意和适应。注意模块利用了可以捕获和对齐连续框架之间的远程相关性的全球接收场，这可能有益于提高视频感知质量。要增强的框架与其相邻的框架一起馈入深网，并在第一阶段的特征中提取不同深度的特征。然后提取的特征被馈入注意力块以探索全局的时间相关性，然后进行一系列上采样和卷积层。最后，通过利用相应的QP信息的QP条件适应模块处理所得的功能。这样，单个模型可用于增强对各种QP的适应性，而无需针对每个QP值的多个模型，同时具有相似的性能。实验结果表明，与最先进的压缩视频质量增强算法相比，所提出的PEQUENET的表现出色。

时空预测学习旨在通过从历史框架中学习来产生未来的帧。在本文中，我们研究了现有方法，并提出了时空预测学习的一般框架，其中空间编码器和解码器捕获框架内特征和中间时间模块捕获框架间相关性。尽管主流方法采用经常性单元来捕获长期的时间依赖性，但由于无法可行的架构，它们的计算效率低。为了使时间模块并行，我们提出了时间注意单元（TAU），该单元将时间关注分解为框内静态注意力和框架间动力学注意力。此外，虽然平方误差损失侧重于框架内错误，但我们引入了一种新颖的差异差异正则化，以考虑框架间的变化。广泛的实验表明，所提出的方法使派生模型能够在各种时空预测基准上实现竞争性能。

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

视频异常检测是现在计算机视觉中的热门研究主题之一，因为异常事件包含大量信息。异常是监控系统中的主要检测目标之一，通常需要实时行动。关于培训的标签数据的可用性（即，没有足够的标记数据进行异常），半监督异常检测方法最近获得了利益。本文介绍了该领域的研究人员，以新的视角，并评论了最近的基于深度学习的半监督视频异常检测方法，基于他们用于异常检测的共同策略。我们的目标是帮助研究人员开发更有效的视频异常检测方法。由于选择右深神经网络的选择对于这项任务的几个部分起着重要作用，首先准备了对DNN的快速比较审查。与以前的调查不同，DNN是从时空特征提取观点审查的，用于视频异常检测。这部分审查可以帮助本领域的研究人员选择合适的网络，以获取其方法的不同部分。此外，基于其检测策略，一些最先进的异常检测方法受到严格调查。审查提供了一种新颖，深入了解现有方法，并导致陈述这些方法的缺点，这可能是未来作品的提示。

时空预测学习是通过历史先验知识来预测未来的框架变化。以前的工作通过使网络更广泛和更深入来改善性能，但这也带来了巨大的内存开销，这严重阻碍了技术的开发和应用。比例是提高普通计算机视觉任务中模型性能的另一个维度，这可以减少计算要求并更好地感知环境。最近的RNN模型尚未考虑和探索如此重要的维度。在本文中，我们从多尺度的好处中学习，我们提出了一个名为多尺度RNN（MS-RNN）的通用框架，以增强最近的RNN模型。我们通过在4个不同的数据集上使用6种流行的RNN模型（Convlstm，Trajgru，Predrnn，Prodrnn ++，MIM和MotionRNN）进行详尽的实验来验证MS-RNN框架。结果表明，将RNN模型纳入我们的框架的效率低得多，但性能比以前更好。我们的代码在\ url {https://github.com/mazhf/ms-rnn}上发布。

时尚预测学习是给定一系列历史框架的未来框架。传统算法主要基于经常性的神经网络（RNN）。然而，由于经常性结构的序列性，RNN遭受了重大计算负担，例如由于经常性结构的序列性而达到时间和长的背部传播过程。最近，还以编码器 - 解码器或普通编码器的形式研究了基于变压器的方法，但是编码器 - 解码器形式需要过于深的网络，并且普通编码器缺乏短期依赖性。为了解决这些问题，我们提出了一种名为3D时间卷积变压器（TCTN）的算法，其中采用具有时间卷积层的基于变压器的编码器来捕获短期和长期依赖性。由于变压器的并行机理，我们所提出的算法与基于RNN的方法相比，易于实施和培训得多。为了验证我们的算法，我们对移动和kth数据集进行实验，并表明TCTN在性能和训练速度下表现出最先进的（SOTA）方法。

基于常规卷积网络的视频超分辨率（VSR）方法具有很强的视频序列的时间建模能力。然而，在单向反复卷积网络中的不同反复单元接收的输入信息不平衡。早期重建帧接收较少的时间信息，导致模糊或工件效果。虽然双向反复卷积网络可以缓解这个问题，但它大大提高了重建时间和计算复杂性。它也不适用于许多应用方案，例如在线超分辨率。为了解决上述问题，我们提出了一种端到端信息预构建的经常性重建网络（IPRRN），由信息预构建网络（IPNet）和经常性重建网络（RRNET）组成。通过将足够的信息从视频的前面集成来构建初始复发单元所需的隐藏状态，以帮助恢复较早的帧，信息预构建的网络在不向后传播之前和之后的输入信息差异。此外，我们展示了一种紧凑的复发性重建网络，可显着改善恢复质量和时间效率。许多实验已经验证了我们所提出的网络的有效性，并与现有的最先进方法相比，我们的方法可以有效地实现更高的定量和定性评估性能。

自适应视频流依靠构建高效的比特梯梯子来在带宽约束下为观众提供最佳的视觉质量。与内容相关的比特阶梯选择的传统方法需要预先编码多个编码参数的视频镜头，以找到由结果质量曲线的凸壳给出的最佳操作点。但是，此预编码步骤等同于在可能的编码参数的空间上进行详尽的搜索过程，这在计算和时间支出方面都会引起大量开销。为了减少此开销，我们提出了一种基于深度学习的内容凸面预测的深度学习方法。我们采用经常​​性的卷积网络（RCN）来隐式分析视频拍摄的时空复杂性，以预测其凸壳。采用了两步转移学习方案来培训我们提出的RCN救主模型，该模型确保了足够的内容多样性来分析场景复杂性，同时也可以捕获原始源视频的场景统计信息。我们的实验结果表明，我们提出的模型可以更好地近似最佳凸壳，并与现有方法相比提供竞争性的时间。平均而言，我们的方法平均将预编码时间缩短了58.0％，而预测的凸壳相对于地面真理的平均Bjontegaard三角洲比特率（BD率）为0.08％，而BD率的平均绝对偏差为分布为0.44％

受认知科学中知名的预测编码理论的启发，我们为视觉框架预测任务提出了一种新型的神经网络模型。在本文中，我们的主要工作是结合预测编码和深度学习体系结构的理论框架，为视觉框架预测设计有效的预测网络模型。该模型分别由一系列复发和卷积单元组成，分别形成自上而下和自下而上的流。它学会了以视觉序列预测未来的帧，网络中的每一层中的弯曲器可以从上到下进行本地预测。我们模型的主要创新是，该层上神经单位的更新频率随着网络级别的提高而降低，从时间维度的角度来看，模型中的导致模型看起来像金字塔，因此我们称其为金字塔预测性网络（PPNET）。特别是，这种类似金字塔的设计与预测性编码框架涉及的神经科学发现中的神经元活性一致。根据实验结果，该模型与现有作品显示出更好的紧凑性和可比的预测性能，这意味着较低的计算成本和较高的预测准确性。代码将在https://github.com/ling-cf/ppnet上找到。

Autonomous systems not only need to understand their current environment, but should also be able to predict future actions conditioned on past states, for instance based on captured camera frames. However, existing models mainly focus on forecasting future video frames for short time-horizons, hence being of limited use for long-term action planning. We propose Multi-Scale Hierarchical Prediction (MSPred), a novel video prediction model able to simultaneously forecast future possible outcomes of different levels of granularity at different spatio-temporal scales. By combining spatial and temporal downsampling, MSPred efficiently predicts abstract representations such as human poses or locations over long time horizons, while still maintaining a competitive performance for video frame prediction. In our experiments, we demonstrate that MSPred accurately predicts future video frames as well as high-level representations (e.g. keypoints or semantics) on bin-picking and action recognition datasets, while consistently outperforming popular approaches for future frame prediction. Furthermore, we ablate different modules and design choices in MSPred, experimentally validating that combining features of different spatial and temporal granularity leads to a superior performance. Code and models to reproduce our experiments can be found in https://github.com/AIS-Bonn/MSPred.

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

The mainstream of the existing approaches for video prediction builds up their models based on a Single-In-Single-Out (SISO) architecture, which takes the current frame as input to predict the next frame in a recursive manner. This way often leads to severe performance degradation when they try to extrapolate a longer period of future, thus limiting the practical use of the prediction model. Alternatively, a Multi-In-Multi-Out (MIMO) architecture that outputs all the future frames at one shot naturally breaks the recursive manner and therefore prevents error accumulation. However, only a few MIMO models for video prediction are proposed and they only achieve inferior performance due to the date. The real strength of the MIMO model in this area is not well noticed and is largely under-explored. Motivated by that, we conduct a comprehensive investigation in this paper to thoroughly exploit how far a simple MIMO architecture can go. Surprisingly, our empirical studies reveal that a simple MIMO model can outperform the state-of-the-art work with a large margin much more than expected, especially in dealing with longterm error accumulation. After exploring a number of ways and designs, we propose a new MIMO architecture based on extending the pure Transformer with local spatio-temporal blocks and a new multi-output decoder, namely MIMO-VP, to establish a new standard in video prediction. We evaluate our model in four highly competitive benchmarks (Moving MNIST, Human3.6M, Weather, KITTI). Extensive experiments show that our model wins 1st place on all the benchmarks with remarkable performance gains and surpasses the best SISO model in all aspects including efficiency, quantity, and quality. We believe our model can serve as a new baseline to facilitate the future research of video prediction tasks. The code will be released.

我们在本文中提出了一个新的面部视频压缩范式。我们利用诸如stylegan之类的gan的生成能力来表示和压缩视频，包括内部和间压缩。每个帧都在StyleGAN的潜在空间中倒置，从中学习了最佳压缩。为此，使用归一化流量模型学习了差异潜在表示，可以在其中优化熵模型以用于图像编码。此外，我们提出了一种新的感知损失，比其他同行更有效。最后，在先前构造的潜在表示中还学习了用于视频间编码的熵模型。我们的方法（SGANC）很简单，训练的速度更快，并且与最新的编解码器（例如VTM，AV1和最近的深度学习技术）相比，为图像和视频编码提供了更好的结果。特别是，它在低比特速率下极大地最大程度地减少了感知失真。

360 {\ TextDegree}视频的盲目视觉质量评估（BVQA）在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时，人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影，以视频级质量分数为止，即渐进性质量评估范式。然而，现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中，我们考虑了人类对球面视频质量的逐步范例，因此提出了一种新颖的BVQA方法（即ProvQA），通过逐步学习从像素，帧和视频中逐步学习。对应于像素，帧和视频的渐进学习，三个子网被设计为我们的PROPQA方法，即球形感知感知质量预测（SPAQ），运动感知感知质量预测（MPAQ）和多帧时间非本地（MFTN）子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后，通过跨越相邻帧的运动提示，MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后，MFTN子网聚集多帧质量劣化，通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能，该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}

将基于深学习视频编码已经吸引了大量的关注它的巨大潜力排挤视频序列的时空冗余。本文提出了一种高效的编解码器，即双路径生成对抗性的基于网络的视频编解码器（DGVC）。首先，我们提出了一个双通道的增强与生成对抗网络（DPEG）重建压缩视频的详细信息。所述DPEG由一个$ \阿尔法$自动编码器和卷积长短期记忆（ConvLSTM），它具有大的感受域和多帧的引用，和$ \测试$利于结构特征重构的-path - 残余关注块的路径，这有利于局部纹理特征的重建。两条路径融合，并通过生成对抗性的流程协同训练。其次，我们重用两个运动补偿和质量增强模块，这是与运动估计进一步结合DPEG网络，并在我们的DGVC框架熵编码模块。第三，我们采用深视频压缩和提高了联合训练，进一步提高率失真（RD）性能。与X265 LDP非常快的方式相比，我们的DGVC由39.39％/ 54.92％在相同的PSNR / MS-SSIM，其通过一个胜过国家的本领域深视频编解码器降低平均比特每像素（BPP）相当幅度。

复杂物理系统的高保真模拟在时空尺度上昂贵且无法访问。最近，人们对利用深度学习来增强基于粗粒的模拟来增强科学数据的兴趣越来越大，这是廉价的计算费用，并保留了令人满意的解决方案精度。但是，现有的主要工作集中在数据驱动的方法上，这些方法依赖丰富的培训数据集并缺乏足够的身体约束。为此，我们提出了一个通过物理知识学习的新颖而有效的时空超分辨率框架，灵感来自部分微分方程（PDES）中的时间和空间衍生物之间的独立性。一般原则是利用时间插值来进行流量估计，然后引入卷积转递的神经网络以学习时间细化。此外，我们采用了具有较大激活的堆叠残留块，并带有像素舍式的子像素层进行空间重建，其中特征提取是在低分辨率的潜在潜在空间中进行的。此外，我们考虑在网络中严重施加边界条件以提高重建精度。结果表明，通过广泛的数值实验，与基线算法相比，该方法的卓越有效性和效率。

准确且可靠的车道检测对于巷道维护援助和车道出发警告系统的安全性能至关重要。但是，在某些具有挑战性的情况下，很难在当前文献中主要从一个图像中准确地检测到一个单一图像的车道时获得令人满意的性能。由于车道标记是连续线，因此如果合并了以前的帧信息，则可以在当前单个图像中准确检测到的车道可以更好地推导。这项研究提出了一种新型的混合时空（ST）序列到一个深度学习结构。该体系结构充分利用了多个连续图像帧中的ST信息，以检测最后一帧中的车道标记。具体而言，混合模型集成了以下方面：（a）配备了空间卷积神经网络的单个图像特征提取模块； （b）由ST复发神经网络构建的ST特征集成模块； （c）编码器解码器结构，该结构使此图像分割问题以端到端监督的学习格式起作用。广泛的实验表明，所提出的模型体系结构可以有效地处理具有挑战性的驾驶场景，并且优于可用的最先进方法。