We are introducing a multi-scale predictive model for video prediction here, whose design is inspired by the "Predictive Coding" theories and "Coarse to Fine" approach. As a predictive coding model, it is updated by a combination of bottom-up and top-down information flows, which is different from traditional bottom-up training style. Its advantage is to reduce the dependence on input information and improve its ability to predict and generate images. Importantly, we achieve with a multi-scale approach -- higher level neurons generate coarser predictions (lower resolution), while the lower level generate finer predictions (higher resolution). This is different from the traditional predictive coding framework in which higher level predict the activity of neurons in lower level. To improve the predictive ability, we integrate an encoder-decoder network in the LSTM architecture and share the final encoded high-level semantic information between different levels. Additionally, since the output of each network level is an RGB image, a smaller LSTM hidden state can be used to retain and update the only necessary hidden information, avoiding being mapped to an overly discrete and complex space. In this way, we can reduce the difficulty of prediction and the computational overhead. Finally, we further explore the training strategies, to address the instability in adversarial training and mismatch between training and testing in long-term prediction. Code is available at https://github.com/Ling-CF/MSPN.

受认知科学中知名的预测编码理论的启发，我们为视觉框架预测任务提出了一种新型的神经网络模型。在本文中，我们的主要工作是结合预测编码和深度学习体系结构的理论框架，为视觉框架预测设计有效的预测网络模型。该模型分别由一系列复发和卷积单元组成，分别形成自上而下和自下而上的流。它学会了以视觉序列预测未来的帧，网络中的每一层中的弯曲器可以从上到下进行本地预测。我们模型的主要创新是，该层上神经单位的更新频率随着网络级别的提高而降低，从时间维度的角度来看，模型中的导致模型看起来像金字塔，因此我们称其为金字塔预测性网络（PPNET）。特别是，这种类似金字塔的设计与预测性编码框架涉及的神经科学发现中的神经元活性一致。根据实验结果，该模型与现有作品显示出更好的紧凑性和可比的预测性能，这意味着较低的计算成本和较高的预测准确性。代码将在https://github.com/ling-cf/ppnet上找到。

本文介绍了一个名为DTVNet的新型端到端动态时间流逝视频生成框架，以从归一化运动向量上的单个景观图像生成多样化的延期视频。所提出的DTVNET由两个子模块组成：\ EMPH {光学流编码器}（OFE）和\ EMPH {动态视频生成器}（DVG）。 OFE将一系列光学流程图映射到编码所生成视频的运动信息的\ Emph {归一化运动向量}。 DVG包含来自运动矢量和单个景观图像的运动和内容流。此外，它包含一个编码器，用于学习共享内容特征和解码器，以构造具有相应运动的视频帧。具体地，\ EMPH {运动流}介绍多个\ EMPH {自适应实例归一化}（Adain）层，以集成用于控制对象运动的多级运动信息。在测试阶段，基于仅一个输入图像，可以产生具有相同内容但具有相同运动信息但各种运动信息的视频。此外，我们提出了一个高分辨率的景区时间流逝视频数据集，命名为快速天空时间，以评估不同的方法，可以被视为高质量景观图像和视频生成任务的新基准。我们进一步对天空延时，海滩和快速天空数据集进行实验。结果证明了我们对最先进的方法产生高质量和各种动态视频的方法的优越性。

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

Autonomous systems not only need to understand their current environment, but should also be able to predict future actions conditioned on past states, for instance based on captured camera frames. However, existing models mainly focus on forecasting future video frames for short time-horizons, hence being of limited use for long-term action planning. We propose Multi-Scale Hierarchical Prediction (MSPred), a novel video prediction model able to simultaneously forecast future possible outcomes of different levels of granularity at different spatio-temporal scales. By combining spatial and temporal downsampling, MSPred efficiently predicts abstract representations such as human poses or locations over long time horizons, while still maintaining a competitive performance for video frame prediction. In our experiments, we demonstrate that MSPred accurately predicts future video frames as well as high-level representations (e.g. keypoints or semantics) on bin-picking and action recognition datasets, while consistently outperforming popular approaches for future frame prediction. Furthermore, we ablate different modules and design choices in MSPred, experimentally validating that combining features of different spatial and temporal granularity leads to a superior performance. Code and models to reproduce our experiments can be found in https://github.com/AIS-Bonn/MSPred.

时空预测学习旨在通过从历史框架中学习来产生未来的帧。在本文中，我们研究了现有方法，并提出了时空预测学习的一般框架，其中空间编码器和解码器捕获框架内特征和中间时间模块捕获框架间相关性。尽管主流方法采用经常性单元来捕获长期的时间依赖性，但由于无法可行的架构，它们的计算效率低。为了使时间模块并行，我们提出了时间注意单元（TAU），该单元将时间关注分解为框内静态注意力和框架间动力学注意力。此外，虽然平方误差损失侧重于框架内错误，但我们引入了一种新颖的差异差异正则化，以考虑框架间的变化。广泛的实验表明，所提出的方法使派生模型能够在各种时空预测基准上实现竞争性能。

自我监督的学习方法克服了构建功能更高的AI的关键瓶颈：标记数据的可用性有限。但是，自我监督架构的缺点之一是，他们所学的表示形式是隐式的，很难提取有关编码世界状态的有意义的信息，例如在深度图中编码的视觉场景的3D结构。此外，在视觉域中，这种表示形式很少受到对下游任务至关重要的评估，例如自动驾驶汽车的愿景。本文中，我们提出了一个框架，用于评估在深度感知背景下照明不变性的视觉表示。我们开发了一种新的基于预测性编码的架构和一种混合监督/自我监督的学习方法。我们提出了一种扩展预测编码方法的新型体系结构：预测性的横向自下而上和自上而下的编码器 - 编码器网络（PRELUDENET），该网络明确地学习了从视频帧中推断和预测深度。在预曲线中，编码器的预测编码层堆栈以自我监督的方式进行训练，而预测解码器则以监督的方式进行培训，以推断或预测深度。我们在新的合成数据集上评估了模型的鲁棒性，在该数据集中，可以在参数上调整照明条件（例如整体照明和阴影的效果），同时使世界所有其他方面保持恒定。 preludenet既可以达到竞争深度推理性能，又可以实现下一个帧预测准确性。我们还展示了这种新的网络体系结构如何与混合的全面监督/自我监督学习方法相结合，在上述性能和不变性之间达到平衡与照明变化之间的平衡。评估视觉表示的建议框架可以扩展到不同的任务域和不变性测试。

尽管基于经常性的神经网络（RNN）的视频预测方法已经取得了重大成就，但由于信息损失问题和基于知觉的卑鄙平方错误（MSE）损失功能，它们在具有高分辨率的数据集中的性能仍然远远不令人满意。 。在本文中，我们提出了一个时空信息保存和感知声明模型（STIP），以解决上述两个问题。为了解决信息损失问题，提出的模型旨在在功能提取和状态过渡期间分别保留视频的时空信息。首先，基于X-NET结构设计了多透明时空自动编码器（MGST-AE）。拟议的MGST-AE可以帮助解码器回忆到时间和空间域中编码器的多透明信息。这样，在高分辨率视频的功能提取过程中，可以保留更多时空信息。其次，时空门控复发单元（STGRU）是基于标准的封闭式复发单元（GRU）结构而设计的，该结构可以在状态过渡期间有效地保留时空信息。与流行的长期短期（LSTM）的预测记忆相比，提出的STGRU可以通过计算负载较低的计算负载来实现更令人满意的性能。此外，为了改善传统的MSE损失功能，基于生成的对抗网络（GAN）进一步设计了学识渊博的知觉损失（LP-loss），这可以帮助获得客观质量和感知质量之间的令人满意的权衡。实验结果表明，与各种最先进的方法相比，提出的Stip可以预测具有更令人满意的视觉质量的视频。源代码已在\ url {https://github.com/zhengchang467/stiphr}上获得。

The mainstream of the existing approaches for video prediction builds up their models based on a Single-In-Single-Out (SISO) architecture, which takes the current frame as input to predict the next frame in a recursive manner. This way often leads to severe performance degradation when they try to extrapolate a longer period of future, thus limiting the practical use of the prediction model. Alternatively, a Multi-In-Multi-Out (MIMO) architecture that outputs all the future frames at one shot naturally breaks the recursive manner and therefore prevents error accumulation. However, only a few MIMO models for video prediction are proposed and they only achieve inferior performance due to the date. The real strength of the MIMO model in this area is not well noticed and is largely under-explored. Motivated by that, we conduct a comprehensive investigation in this paper to thoroughly exploit how far a simple MIMO architecture can go. Surprisingly, our empirical studies reveal that a simple MIMO model can outperform the state-of-the-art work with a large margin much more than expected, especially in dealing with longterm error accumulation. After exploring a number of ways and designs, we propose a new MIMO architecture based on extending the pure Transformer with local spatio-temporal blocks and a new multi-output decoder, namely MIMO-VP, to establish a new standard in video prediction. We evaluate our model in four highly competitive benchmarks (Moving MNIST, Human3.6M, Weather, KITTI). Extensive experiments show that our model wins 1st place on all the benchmarks with remarkable performance gains and surpasses the best SISO model in all aspects including efficiency, quantity, and quality. We believe our model can serve as a new baseline to facilitate the future research of video prediction tasks. The code will be released.

时空预测学习是通过历史先验知识来预测未来的框架变化。以前的工作通过使网络更广泛和更深入来改善性能，但这也带来了巨大的内存开销，这严重阻碍了技术的开发和应用。比例是提高普通计算机视觉任务中模型性能的另一个维度，这可以减少计算要求并更好地感知环境。最近的RNN模型尚未考虑和探索如此重要的维度。在本文中，我们从多尺度的好处中学习，我们提出了一个名为多尺度RNN（MS-RNN）的通用框架，以增强最近的RNN模型。我们通过在4个不同的数据集上使用6种流行的RNN模型（Convlstm，Trajgru，Predrnn，Prodrnn ++，MIM和MotionRNN）进行详尽的实验来验证MS-RNN框架。结果表明，将RNN模型纳入我们的框架的效率低得多，但性能比以前更好。我们的代码在\ url {https://github.com/mazhf/ms-rnn}上发布。

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

基于3DCNN，ConvlSTM或光流的先前方法在视频显着对象检测（VSOD）方面取得了巨大成功。但是，它们仍然遭受高计算成本或产生的显着图质量较差的困扰。为了解决这些问题，我们设计了一个基于时空存储器（STM）网络，该网络从相邻帧中提取当前帧的有用时间信息作为VSOD的时间分支。此外，以前的方法仅考虑无时间关联的单帧预测。结果，模型可能无法充分关注时间信息。因此，我们最初将框架间的对象运动预测引入VSOD。我们的模型遵循标准编码器 - 编码器体系结构。在编码阶段，我们通过使用电流及其相邻帧的高级功能来生成高级的时间特征。这种方法比基于光流的方法更有效。在解码阶段，我们提出了一种有效的空间和时间分支融合策略。高级特征的语义信息用于融合低级特征中的对象细节，然后逐步获得时空特征以重建显着性图。此外，受图像显着对象检测（ISOD）中常用的边界监督的启发，我们设计了一种运动感知损失，用于预测对象边界运动，并同时对VSOD和对象运动预测执行多任务学习，这可以进一步促进模型以提取提取的模型时空特征准确并保持对象完整性。在几个数据集上进行的广泛实验证明了我们方法的有效性，并且可以在某些数据集上实现最新指标。所提出的模型不需要光流或其他预处理，并且在推理过程中可以达到近100 fps的速度。

从CNN，RNN到VIT，我们见证了视频预测中的显着进步，结合了辅助输入，精心设计的神经体系结构和复杂的培训策略。我们钦佩这些进步，但对必要性感到困惑：是否有一种可以表现得很好的简单方法？本文提出了SIMVP，这是一个简单的视频预测模型，完全建立在CNN上，并以端到端的方式受到MSE损失的训练。在不引入任何其他技巧和复杂策略的情况下，我们可以在五个基准数据集上实现最先进的性能。通过扩展实验，我们证明了SIMVP在现实世界数据集上具有强大的概括和可扩展性。培训成本的显着降低使扩展到复杂方案变得更加容易。我们认为SIMVP可以作为刺激视频预测进一步发展的坚实基线。该代码可在\ href {https://github.com/gaozhangyang/simvp-simpler-yet-better-video-prediction} {github}中获得。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

Large-scale labeled data are generally required to train deep neural networks in order to obtain better performance in visual feature learning from images or videos for computer vision applications. To avoid extensive cost of collecting and annotating large-scale datasets, as a subset of unsupervised learning methods, self-supervised learning methods are proposed to learn general image and video features from large-scale unlabeled data without using any human-annotated labels. This paper provides an extensive review of deep learning-based self-supervised general visual feature learning methods from images or videos. First, the motivation, general pipeline, and terminologies of this field are described. Then the common deep neural network architectures that used for self-supervised learning are summarized. Next, the schema and evaluation metrics of self-supervised learning methods are reviewed followed by the commonly used image and video datasets and the existing self-supervised visual feature learning methods. Finally, quantitative performance comparisons of the reviewed methods on benchmark datasets are summarized and discussed for both image and video feature learning. At last, this paper is concluded and lists a set of promising future directions for self-supervised visual feature learning.

可以通过定期预测未来的框架以增强虚拟现实应用程序中的用户体验，从而解决了低计算设备上图形渲染高帧速率视频的挑战。这是通过时间视图合成（TVS）的问题来研究的，该问题的目标是预测给定上一个帧的视频的下一个帧以及上一个和下一个帧的头部姿势。在这项工作中，我们考虑了用户和对象正在移动的动态场景的电视。我们设计了一个将运动解散到用户和对象运动中的框架，以在预测下一帧的同时有效地使用可用的用户运动。我们通过隔离和估计过去框架的3D对象运动，然后推断它来预测对象的运动。我们使用多平面图像（MPI）作为场景的3D表示，并将对象运动作为MPI表示中相应点之间的3D位移建模。为了在估计运动时处理MPI中的稀疏性，我们将部分卷积和掩盖的相关层纳入了相应的点。然后将预测的对象运动与给定的用户或相机运动集成在一起，以生成下一帧。使用不合格的填充模块，我们合成由于相机和对象运动而发现的区域。我们为动态场景的电视开发了一个新的合成数据集，该数据集由800个以全高清分辨率组成的视频组成。我们通过数据集和MPI Sintel数据集上的实验表明我们的模型优于文献中的所有竞争方法。

通过对抗训练的雾霾图像转换的关键程序在于仅涉及雾度合成的特征，即表示不变语义内容的特征，即内容特征。以前的方法通过利用它在培训过程中对Haze图像进行分类来分开单独的内容。然而，在本文中，我们认识到在这种技术常规中的内容式解剖学的不完整性。缺陷的样式功能与内容信息纠缠不可避免地引导阴霾图像的呈现。要解决，我们通过随机线性插值提出自我监督的风格回归，以减少风格特征中的内容信息。烧蚀实验表明了静态感知雾度图像合成中的解开的完整性及其优越性。此外，所产生的雾度数据应用于车辆检测器的测试概括。雾度和检测性能之间的进一步研究表明，雾度对车辆探测器的概括具有明显的影响，并且这种性能降低水平与雾度水平线性相关，反过来验证了该方法的有效性。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型，即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中，我们专注于视频预测的任务，其中给出了从视频中提取的一系列帧，目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后，我们分析发电机中的复发单元，并提出了一种新的复发单元，其根据预测的运动样本来改变其过去的隐藏状态，并改进它以处理DIS闭塞，场景变化和其他复杂行为。我们表明，这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃，从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7，下降到69.2。