Autonomous systems not only need to understand their current environment, but should also be able to predict future actions conditioned on past states, for instance based on captured camera frames. However, existing models mainly focus on forecasting future video frames for short time-horizons, hence being of limited use for long-term action planning. We propose Multi-Scale Hierarchical Prediction (MSPred), a novel video prediction model able to simultaneously forecast future possible outcomes of different levels of granularity at different spatio-temporal scales. By combining spatial and temporal downsampling, MSPred efficiently predicts abstract representations such as human poses or locations over long time horizons, while still maintaining a competitive performance for video frame prediction. In our experiments, we demonstrate that MSPred accurately predicts future video frames as well as high-level representations (e.g. keypoints or semantics) on bin-picking and action recognition datasets, while consistently outperforming popular approaches for future frame prediction. Furthermore, we ablate different modules and design choices in MSPred, experimentally validating that combining features of different spatial and temporal granularity leads to a superior performance. Code and models to reproduce our experiments can be found in https://github.com/AIS-Bonn/MSPred.

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

We are introducing a multi-scale predictive model for video prediction here, whose design is inspired by the "Predictive Coding" theories and "Coarse to Fine" approach. As a predictive coding model, it is updated by a combination of bottom-up and top-down information flows, which is different from traditional bottom-up training style. Its advantage is to reduce the dependence on input information and improve its ability to predict and generate images. Importantly, we achieve with a multi-scale approach -- higher level neurons generate coarser predictions (lower resolution), while the lower level generate finer predictions (higher resolution). This is different from the traditional predictive coding framework in which higher level predict the activity of neurons in lower level. To improve the predictive ability, we integrate an encoder-decoder network in the LSTM architecture and share the final encoded high-level semantic information between different levels. Additionally, since the output of each network level is an RGB image, a smaller LSTM hidden state can be used to retain and update the only necessary hidden information, avoiding being mapped to an overly discrete and complex space. In this way, we can reduce the difficulty of prediction and the computational overhead. Finally, we further explore the training strategies, to address the instability in adversarial training and mismatch between training and testing in long-term prediction. Code is available at https://github.com/Ling-CF/MSPN.

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

A core challenge for an agent learning to interact with the world is to predict how its actions affect objects in its environment. Many existing methods for learning the dynamics of physical interactions require labeled object information. However, to scale real-world interaction learning to a variety of scenes and objects, acquiring labeled data becomes increasingly impractical. To learn about physical object motion without labels, we develop an action-conditioned video prediction model that explicitly models pixel motion, by predicting a distribution over pixel motion from previous frames. Because our model explicitly predicts motion, it is partially invariant to object appearance, enabling it to generalize to previously unseen objects. To explore video prediction for real-world interactive agents, we also introduce a dataset of 59,000 robot interactions involving pushing motions, including a test set with novel objects. In this dataset, accurate prediction of videos conditioned on the robot's future actions amounts to learning a "visual imagination" of different futures based on different courses of action. Our experiments show that our proposed method produces more accurate video predictions both quantitatively and qualitatively, when compared to prior methods.

密集的语义预测通过推断未观察到的未来图像的像素级语义来预测视频中的未来事件。我们提出了一种适用于各种单帧架构和任务的新方法。我们的方法包括两个模块。功能 - 动作（F2M）模块预测了密集的变形领域，将过去的功能扭曲到其未来的位置。功能到特征（F2F）模块直接回归未来功能，因此能够考虑紧急风景。化合物F2MF模型以任务 - 不可行的方式与新奇效果的运动效果脱钩。我们的目标是将F2MF预测应用于所需单帧模型的最自述和最抽象的最摘要表示。我们的设计利用了相邻时间瞬间可变形卷曲和空间相关系数。我们在三个密集预测任务中执行实验：语义分割，实例级分割和Panoptic分割。结果介绍了三个密集预测任务的最先进的预测精度。

最近，变形金刚在空间范围内的学习和推断方面很受欢迎。但是，他们的性能依赖于存储并将注意力应用于视频中每个帧的功能张量。因此，随着视频的长度的增长，它们的空间和时间复杂性会线性增加，这对于长视频而言可能非常昂贵。我们提出了一种新颖的视觉记忆网络架构，用于空间范围的学习和推理问题。我们在内存网络中维护了固定的内存插槽，并提出了基于Gumbel-SoftMax的算法，以学习一种自适应策略以更新此内存。最后，该体系结构在视频对象细分（VOS）和视频预测问题上进行了基准测试。我们证明，我们的内存体系结构可实现最新的结果，在视频预测上优于基于变压器的方法和其他最新方法，同时保持恒定的内存能力与序列长度无关。

近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型，即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中，我们专注于视频预测的任务，其中给出了从视频中提取的一系列帧，目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后，我们分析发电机中的复发单元，并提出了一种新的复发单元，其根据预测的运动样本来改变其过去的隐藏状态，并改进它以处理DIS闭塞，场景变化和其他复杂行为。我们表明，这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃，从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7，下降到69.2。

在自动驾驶中，在车辆周围所有代理的位置和运动方面预测未来是计划的关键要求。最近，通过将多个相机感知的丰富感觉信息融合到紧凑的鸟类视图表示以执行预测的情况下，已经出现了一种新的感知和预测的联合表述。但是，由于多个合理的预测，未来预测的质量会随着时间的推移而降低到更长的时间范围。在这项工作中，我们通过随机时间模型解决了未来预测中的这种固有的不确定性。我们的模型通过在每个时间步骤中通过随机残差更新来学习潜在空间中的时间动态。通过在每个时间步骤中从学习的分布中取样，我们获得了与以前的工作相比更准确的未来预测，尤其是在现场的空间上扩展两个区域，并在更长的时间范围内进行时间范围。尽管每个时间步骤进行了单独的处理，但我们的模型仍然通过解耦动态学习和未来预测的产生而有效。

以对象为中心的表示是通过提供柔性抽象可以在可以建立的灵活性抽象来实现更系统的推广的有希望的途径。最近的简单2D和3D数据集的工作表明，具有对象的归纳偏差的模型可以学习段，并代表单独的数据的统计结构中的有意义对象，而无需任何监督。然而，尽管使用越来越复杂的感应偏差（例如，用于场景的尺寸或3D几何形状），但这种完全无监督的方法仍然无法扩展到不同的现实数据。在本文中，我们采取了弱监督的方法，并专注于如何使用光流的形式的视频数据的时间动态，2）调节在简单的对象位置上的模型可以用于启用分段和跟踪对象在明显更现实的合成数据中。我们介绍了一个顺序扩展，以便引入我们训练的推出，我们训练用于预测现实看的合成场景的光流，并显示调节该模型的初始状态在一小组提示，例如第一帧中的物体的质量中心，是足以显着改善实例分割。这些福利超出了新型对象，新颖背景和更长的视频序列的培训分配。我们还发现，在推论期间可以使用这种初始状态调节作为对特定物体或物体部分的型号查询模型，这可能会为一系列弱监管方法铺平，并允许更有效的互动训练有素的型号。

从CNN，RNN到VIT，我们见证了视频预测中的显着进步，结合了辅助输入，精心设计的神经体系结构和复杂的培训策略。我们钦佩这些进步，但对必要性感到困惑：是否有一种可以表现得很好的简单方法？本文提出了SIMVP，这是一个简单的视频预测模型，完全建立在CNN上，并以端到端的方式受到MSE损失的训练。在不引入任何其他技巧和复杂策略的情况下，我们可以在五个基准数据集上实现最先进的性能。通过扩展实验，我们证明了SIMVP在现实世界数据集上具有强大的概括和可扩展性。培训成本的显着降低使扩展到复杂方案变得更加容易。我们认为SIMVP可以作为刺激视频预测进一步发展的坚实基线。该代码可在\ href {https://github.com/gaozhangyang/simvp-simpler-yet-better-video-prediction} {github}中获得。

Denoising diffusion probabilistic models are a promising new class of generative models that mark a milestone in high-quality image generation. This paper showcases their ability to sequentially generate video, surpassing prior methods in perceptual and probabilistic forecasting metrics. We propose an autoregressive, end-to-end optimized video diffusion model inspired by recent advances in neural video compression. The model successively generates future frames by correcting a deterministic next-frame prediction using a stochastic residual generated by an inverse diffusion process. We compare this approach against five baselines on four datasets involving natural and simulation-based videos. We find significant improvements in terms of perceptual quality for all datasets. Furthermore, by introducing a scalable version of the Continuous Ranked Probability Score (CRPS) applicable to video, we show that our model also outperforms existing approaches in their probabilistic frame forecasting ability.

本文介绍了一个名为DTVNet的新型端到端动态时间流逝视频生成框架，以从归一化运动向量上的单个景观图像生成多样化的延期视频。所提出的DTVNET由两个子模块组成：\ EMPH {光学流编码器}（OFE）和\ EMPH {动态视频生成器}（DVG）。 OFE将一系列光学流程图映射到编码所生成视频的运动信息的\ Emph {归一化运动向量}。 DVG包含来自运动矢量和单个景观图像的运动和内容流。此外，它包含一个编码器，用于学习共享内容特征和解码器，以构造具有相应运动的视频帧。具体地，\ EMPH {运动流}介绍多个\ EMPH {自适应实例归一化}（Adain）层，以集成用于控制对象运动的多级运动信息。在测试阶段，基于仅一个输入图像，可以产生具有相同内容但具有相同运动信息但各种运动信息的视频。此外，我们提出了一个高分辨率的景区时间流逝视频数据集，命名为快速天空时间，以评估不同的方法，可以被视为高质量景观图像和视频生成任务的新基准。我们进一步对天空延时，海滩和快速天空数据集进行实验。结果证明了我们对最先进的方法产生高质量和各种动态视频的方法的优越性。

我们提出了一种新颖的基于变压器的架构，用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型，考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明，频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述，从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入，以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息，并明确捕获结构和时间依赖项。我们凭经验显示，这有效地了解潜在的运动动态，并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。

事件摄像头是一种新兴的生物启发的视觉传感器，每像素亮度不同步地变化。它具有高动态范围，高速响应和低功率预算的明显优势，使其能够在不受控制的环境中最好地捕获本地动作。这激发了我们释放事件摄像机进行人姿势估计的潜力，因为很少探索人类姿势估计。但是，由于新型范式从传统的基于框架的摄像机转变，时间间隔中的事件信号包含非常有限的信息，因为事件摄像机只能捕获移动的身体部位并忽略那些静态的身体部位，从而导致某些部位不完整甚至在时间间隔中消失。本文提出了一种新型的密集连接的复发架构，以解决不完整信息的问题。通过这种经常性的体系结构，我们可以明确地对跨时间步骤的顺序几何一致性进行明确模拟，从而从以前的帧中积累信息以恢复整个人体，从而从事件数据中获得稳定且准确的人类姿势估计。此外，为了更好地评估我们的模型，我们收集了一个基于人类姿势注释的大型多模式事件数据集，该数据集是迄今为止我们所知的最具挑战性的数据集。两个公共数据集和我们自己的数据集的实验结果证明了我们方法的有效性和强度。代码可以在线提供，以促进未来的研究。

我们介绍了一个新的问题，即从以自我为中心的视频中预期一个未来的手罩时间序列。一个关键的挑战是对未来头部运动的随机性进行建模，该动作在全球范围内影响了头饰的摄像头视频分析。为此，我们提出了一个新颖的深层生成模型-Egogan，它使用3D完全卷积网络来学习一个时空视频表示，以视觉预期，可以使用生成的对抗网络（GAN）和然后，根据视频表示和生成的未来头部运动来预测未来的手蒙版。我们在Epic-Kitchens和Egtea凝视+数据集上评估了我们的方法。我们进行详细的消融研究，以验证我们方法的设计选择。此外，我们将我们的方法与以前的未来图像分割方法进行比较，并表明我们的方法可以更准确地预测未来的手掩模。

本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。

本文解决了深度和自我运动的端到端自我监督预测的问题。给定一系列原始图像，其目的是通过自我监督的光度损失预测几何和自我运动。该体系结构是使用卷积和变压器模块设计的。这利用了两个模块的好处：CNN的电感偏置和变压器的多头注意力，从而实现了丰富的时空表示，从而实现了准确的深度预测。先前的工作尝试使用多模式输入/输出使用有监督的地面真实数据来解决此问题，这是不实际的，因为需要大量注释的数据集。另外，本文仅使用自我监督的原始图像作为输入来预测深度​​和自我运动。该方法在KITTI数据集基准上表现出色，几个性能标准甚至可以与先前的非预测自我监督的单眼深度推理方法相提并论。

我们提出了一个新的视觉数据表示形式，该数据将对象位置从外观上删除。我们的方法称为深潜粒子（DLP），将视觉输入分解为低维的潜在``粒子''，其中每个粒子都用其周围区域的空间位置和特征来描述。为了学习这种表示形式，我们遵循一种基于VAE的方法，并根据空间 - 软构建结构引入了粒子位置的先验位置，并修改了受粒子之间倒角距离启发的证据下限损失。我们证明，我们的DLP表示形式可用于下游任务，例如无监督关键点（KP）检测，图像操纵和针对由多个动态对象组成的场景的视频预测。此外，我们表明，我们对问题的概率解释自然提供了粒子位置的不确定性估计，可用于模型选择以及其他任务。可用视频和代码：https：//taldatech.github.io/deep-latent-particles-web/

我们引入分层可控的视频生成，在没有任何监督的情况下，将视频的初始帧分解为前景和背景层，用户可以通过简单地操纵前景掩模来控制视频生成过程。关键挑战是无监督的前景背景分离，这是模糊的，并且能够预测用户操作，可以访问未获得原始视频序列。我们通过提出两阶段学习程序来解决这些挑战。在第一阶段，随着丰富的损失和动态前景大小，我们学习如何将帧分离为前景和背景图层，并在这些图层上调节，如何使用VQ-VAE发生器生成下一帧。在第二阶段，我们通过将（参数化）控制从未来框架拟合（参数化）控制来进行该网络来预测对掩码的编辑。我们展示了该学习的有效性和更粒度的控制机制，同时说明了在两个基准数据集上的最先进的性能。我们提供了一个视频摘要以及HTTPS://gabriel-中的视频结果.Github.io/layered_controllable_video_generation