预测以过去观察和电动机命令为条件的未来视觉观察的能力可以使体现的代理能够计划复杂环境中各种任务的解决方案。这项工作表明，我们可以通过掩盖的视觉建模预训练变压器来创建良好的视频预测模型。我们的方法名为MaskVit，基于两个简单的设计决策。首先，为了记忆和训练效率，我们使用两种类型的窗户注意力：时空和时空。其次，在训练期间，我们掩盖了一个可变百分比的令牌，而不是固定蒙版比率。对于推断，MaskVit通过迭代改进生成所有令牌，在该迭代中，我们会在掩码调度函数后逐步降低掩蔽率。在几个数据集上，我们证明了MaskVit优于视频预测中的先前作品，这是参数有效的，并且可以生成高分辨率视频（256x256）。此外，我们通过使用MaskVit在真实机器人上进行计划，证明了推理加速器的好处（最高512x）。我们的工作表明，我们可以通过利用最小的域知识的掩盖视觉建模的一般框架来赋予体现的代理具有强大的预测模型。

We introduce the MAsked Generative VIdeo Transformer, MAGVIT, to tackle various video synthesis tasks with a single model. We introduce a 3D tokenizer to quantize a video into spatial-temporal visual tokens and propose an embedding method for masked video token modeling to facilitate multi-task learning. We conduct extensive experiments to demonstrate the quality, efficiency, and flexibility of MAGVIT. Our experiments show that (i) MAGVIT performs favorably against state-of-the-art approaches and establishes the best-published FVD on three video generation benchmarks, including the challenging Kinetics-600. (ii) MAGVIT outperforms existing methods in inference time by two orders of magnitude against diffusion models and by 60x against autoregressive models. (iii) A single MAGVIT model supports ten diverse generation tasks and generalizes across videos from different visual domains. The source code and trained models will be released to the public at https://magvit.cs.cmu.edu.

视频预测是一个重要但充满挑战的问题。负担着生成未来框架和学习环境动态的任务。最近，通过将视频预测分为两个子问题：预训练图像生成器模型，随后学习图像生成器的潜在空间中的自动回归预测模型，可以将视频预测分为两个子问题，从而成为强大的视频预测工具。 。但是，成功产生高保真性和高分辨率视频尚待观察。在这项工作中，我们研究了如何培训自回归潜在的潜在视频预测模型，能够预测高保真的未来帧，并对现有模型进行最小的修改，并产生高分辨率（256x256）视频。具体而言，我们通过使用因果变压器模型采用高保真图像发生器（VQ-GAN）来扩展先前的模型，并引入TOP-K采样和数据增强的其他技术，以进一步提高视频预测质量。尽管简单起见，但提出的方法仍可以在标准视频预测基准的最新方法中实现竞争性能，而参数较少，并在复杂和大规模数据集上实现了高分辨率的视频预测。视频可从https://sites.google.com/view/harp-videos/home获得。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

在这项工作中，我们介绍了基于补丁的以对象为中心的视频变压器（POVT），这是一种基于区域的新型视频生成体系结构，利用以对象为中心的信息来有效地对视频中的时间动态进行建模。我们在视频预测中通过自回旋变压器在压缩视频的离散潜在空间中进行了先前的工作，并通过边界框进行了更改，以增加对象以对象为中心的信息。由于以对象为中心表示的更好的可压缩性，我们可以通过允许模型仅访问对象信息以获取更长的视野时间信息来提高训练效率。当对以对象为中心的各种困难数据集进行评估时，我们的方法可与其他视频生成模型更好或相等的性能，同时在计算上更有效和可扩展。此外，我们表明我们的方法能够通过边界框操作执行以对象为中心的可控性，这可能有助于下游任务，例如视频编辑或视觉计划。示例可在https://sites.google.com/view/povt-public} {https://sites.google.com/view/povt-public获取

创建视频是为了表达情感，交换信息和分享经验。视频合成很长时间以来一直吸引了研究人员。尽管视觉合成的进步驱动了迅速的进展，但大多数现有研究都集中在提高框架的质量和之间的过渡上，而在生成更长的视频方面几乎没有取得进展。在本文中，我们提出了一种基于3D-VQGAN和Transformers的方法，以生成具有数千帧的视频。我们的评估表明，我们的模型在16架视频剪辑中培训了来自UCF-101，Sky TimeLapse和Taichi-HD数据集等标准基准测试片段，可以生成多样化，连贯和高质量的长视频。我们还展示了我们通过将时间信息与文本和音频结合在一起来生成有意义的长视频的方法的条件扩展。可以在https://songweige.github.io/projects/tats/index.html上找到视频和代码。

生成建模研究的持续趋势是将样本分辨率推高更高，同时减少培训和采样的计算要求。我们的目标是通过技术的组合进一步推动这一趋势 - 每个组件代表当前效率在各自领域的顶峰。其中包括载体定量的GAN（VQ-GAN），该模型具有高水平的损耗 - 但感知上微不足道的压缩模型；沙漏变形金刚，一个高度可扩展的自我注意力模型；和逐步未胶片的denoising自动编码器（Sundae），一种非自动化（NAR）文本生成模型。出乎意料的是，当应用于多维数据时，我们的方法突出了沙漏变压器的原始公式中的弱点。鉴于此，我们建议对重采样机制进行修改，该机制适用于将分层变压器应用于多维数据的任何任务。此外，我们证明了圣代表到长序列长度的可伸缩性 - 比先前的工作长四倍。我们提出的框架秤达到高分辨率（$ 1024 \ times 1024 $），并迅速火车（2-4天）。至关重要的是，训练有素的模型在消费级GPU（GTX 1080TI）上大约2秒内生产多样化和现实的百像样品。通常，该框架是灵活的：支持任意数量的采样步骤，示例自动插入，自我纠正功能，有条件的生成和NAR公式，以允许任意介绍掩护。我们在FFHQ256上获得10.56的FID得分 - 仅在100个采样步骤中以不到一半的采样步骤接近原始VQ -GAN，而FFHQ1024的FFHQ1024和21.85。

非自动进取的生成变压器最近表现出令人印象深刻的图像产生性能，并且比自动回归对应物更快。但是，从视觉令牌的真实关节分布中进行的最佳并行采样仍然是一个开放的挑战。在本文中，我们介绍了代币批评，这是一种辅助模型，用于指导非自动性生成变压器的采样。鉴于掩盖和重建的真实图像，对代币批判性模型进行了训练，以区分哪种视觉令牌属于原始图像，哪些是由生成变压器采样的。在非自动回归迭代采样过程中，令牌批评者用于选择要接受的代币以及拒绝和重新取样的代币。再加上最先进的生成变压器令牌 - 批判性可显着提高其性能，并且在挑战性的课堂条件化成像生成中，就产生的图像质量和多样性之间的权衡取舍了最近的扩散模型和gan 。

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

A core challenge for an agent learning to interact with the world is to predict how its actions affect objects in its environment. Many existing methods for learning the dynamics of physical interactions require labeled object information. However, to scale real-world interaction learning to a variety of scenes and objects, acquiring labeled data becomes increasingly impractical. To learn about physical object motion without labels, we develop an action-conditioned video prediction model that explicitly models pixel motion, by predicting a distribution over pixel motion from previous frames. Because our model explicitly predicts motion, it is partially invariant to object appearance, enabling it to generalize to previously unseen objects. To explore video prediction for real-world interactive agents, we also introduce a dataset of 59,000 robot interactions involving pushing motions, including a test set with novel objects. In this dataset, accurate prediction of videos conditioned on the robot's future actions amounts to learning a "visual imagination" of different futures based on different courses of action. Our experiments show that our proposed method produces more accurate video predictions both quantitatively and qualitatively, when compared to prior methods.

我们引入分层可控的视频生成，在没有任何监督的情况下，将视频的初始帧分解为前景和背景层，用户可以通过简单地操纵前景掩模来控制视频生成过程。关键挑战是无监督的前景背景分离，这是模糊的，并且能够预测用户操作，可以访问未获得原始视频序列。我们通过提出两阶段学习程序来解决这些挑战。在第一阶段，随着丰富的损失和动态前景大小，我们学习如何将帧分离为前景和背景图层，并在这些图层上调节，如何使用VQ-VAE发生器生成下一帧。在第二阶段，我们通过将（参数化）控制从未来框架拟合（参数化）控制来进行该网络来预测对掩码的编辑。我们展示了该学习的有效性和更粒度的控制机制，同时说明了在两个基准数据集上的最先进的性能。我们提供了一个视频摘要以及HTTPS://gabriel-中的视频结果.Github.io/layered_controllable_video_generation

预测和预测序列中缺少信息的未来结果或原因是代理商能够做出智能决策的关键能力。这需要强大的时间连贯的生成能力。扩散模型最近在几个生成任务中表现出巨大的成功，但在视频域中并未广泛探索。我们提出随机遮罩视频扩散（RAMVID），该扩散将图像扩散模型扩展到使用3D卷积的视频，并在训练过程中引入了一种新的调理技术。通过改变我们条件的面膜，该模型能够执行视频预测，填充和上采样。由于在大多数有条件训练的扩散模型中，我们不使用串联在面罩上条件条件，因此我们能够减少内存足迹。我们在两个基准数据集上评估了该模型以进行视频预测，一个用于视频生成的模型，我们在其中实现了竞争成果。在动力学-600上，我们实现了视频预测的最先进。

我们为视频建模提供了一个框架，该框架基于deo的扩散概率模型，该模型在各种现实的环境中产生长期视频完成。我们介绍了一个生成模型，该模型可以在测试时间样本中任何任意子集的视频帧的任何任意子集，该视频框架以其他任何子集为条件，并为此提供了适合此目的的体系结构。这样做可以使我们有效地比较和优化各种时间表，以对长视频中的帧进行采样，并在先前采样的帧上使用选择性稀疏和长距离调节。我们证明了对许多数据集的先前工作的改进的视频建模，并在25分钟内进行了临时连贯的视频。我们还根据Carla自动驾驶汽车模拟器中生成的视频发布了一个新的视频建模数据集和语义上有意义的指标。

基于变压器的体系结构已在各种视觉域（最著名的图像和视频）中变得更具竞争力。虽然先前的工作已经孤立地研究了这些模式，但拥有一个共同的体系结构表明，人们可以训练单个统一模型以多种视觉方式。事先尝试进行统一建模通常使用针对视觉任务量身定制的体系结构，或与单个模态模型相比获得较差的性能。在这项工作中，我们表明可以使用蒙版的自动编码来在图像和视频上训练简单的视觉变压器，而无需任何标记的数据。该单个模型学习了与图像和视频基准上的单模式表示相当或更好的视觉表示，同时使用了更简单的体系结构。特别是，我们的单一预算模型可以进行审核，以在ImageNet上获得86.5％的速度，而在挑战性的事物V2视频基准测试中，可以实现75.3％的范围。此外，可以通过丢弃90％的图像和95％的视频补丁来学习该模型，从而实现非常快速的训练。

尽管两阶段矢量量化（VQ）生成模型允许合成高保真性和高分辨率图像，但其量化操作员将图像中的相似贴片编码为相同的索引，从而为相似的相邻区域重复使用现有的解码器体系结构的相似相似区域的重复伪像。为了解决这个问题，我们建议将空间条件的归一化结合起来，以调节量化的向量，以便将空间变体信息插入嵌入式索引图中，从而鼓励解码器生成更真实的图像。此外，我们使用多通道量化来增加离散代码的重组能力，而无需增加模型和代码簿的成本。此外，为了在第二阶段生成离散令牌，我们采用掩盖的生成图像变压器（MaskGit）来学习压缩潜在空间中的基础先验分布，该分布比常规自动回归模型快得多。两个基准数据集的实验表明，我们提出的调制VQGAN能够大大提高重建的图像质量，并提供高保真图像的产生。

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

基于视觉模型的增强学习（RL）有可能从视觉观察中实现样品有效的机器人学习。然而，当前的方法通常会训练单个模型端到端，以学习视觉表示和动态，因此难以准确地对机器人和小物体之间的相互作用进行建模。在这项工作中，我们介绍了一个基于视觉模型的RL框架，该框架将视觉表示学习和动态学习取消。具体而言，我们训练具有卷积层和视觉变压器（VIT）的自动编码器，以重建具有掩盖卷积特征的像素，并学习一个潜在的动力学模型，该模型在自动编码器的表示形式上运行。此外，为了编码与任务相关的信息，我们为自动编码器引入了辅助奖励预测目标。我们使用环境互动收集的在线样本不断更新自动编码器和动态模型。我们证明，我们的去耦方法在Meta-World和rlbench的各种视觉机器人任务上实现了最先进的表现，例如，我们在Meta-World的50个视觉机器人操作任务上实现了81.7％的成功率，而元世界则达到了81.7％基线达到67.9％。代码可在项目网站上找到：https：//sites.google.com/view/mwm-rl。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

Transformer models have shown great success handling long-range interactions, making them a promising tool for modeling video. However they lack inductive biases and scale quadratically with input length. These limitations are further exacerbated when dealing with the high dimensionality introduced with the temporal dimension. While there are surveys analyzing the advances of Transformers for vision, none focus on an in-depth analysis of video-specific designs. In this survey we analyze main contributions and trends of works leveraging Transformers to model video. Specifically, we delve into how videos are handled as input-level first. Then, we study the architectural changes made to deal with video more efficiently, reduce redundancy, re-introduce useful inductive biases, and capture long-term temporal dynamics. In addition we provide an overview of different training regimes and explore effective self-supervised learning strategies for video. Finally, we conduct a performance comparison on the most common benchmark for Video Transformers (i.e., action classification), finding them to outperform 3D ConvNets even with less computational complexity.

变形金刚用大型数据集的扩展能力彻底改变了视力和自然语言处理。但是在机器人的操作中，数据既有限又昂贵。我们仍然可以从具有正确的问题制定的变压器中受益吗？我们用Peract进行了调查，这是一种用于多任务6 DOF操纵的语言条件的行为结合剂。 Peract用感知器变压器编码语言目标和RGB-D Voxel观测值，并通过“检测下一个最佳素素动作”来输出离散的动作。与在2D图像上运行的框架不同，体素化的观察和动作空间为有效学习的6-DOF策略提供了强大的结构性先验。通过此公式，我们训练一个单个多任务变压器，用于18个RLBench任务（具有249个变体）和7个现实世界任务（具有18个变体），从每个任务仅几个演示。我们的结果表明，针对各种桌面任务，佩内的磨损明显优于非结构化图像到作用剂和3D Convnet基准。