We introduce the MAsked Generative VIdeo Transformer, MAGVIT, to tackle various video synthesis tasks with a single model. We introduce a 3D tokenizer to quantize a video into spatial-temporal visual tokens and propose an embedding method for masked video token modeling to facilitate multi-task learning. We conduct extensive experiments to demonstrate the quality, efficiency, and flexibility of MAGVIT. Our experiments show that (i) MAGVIT performs favorably against state-of-the-art approaches and establishes the best-published FVD on three video generation benchmarks, including the challenging Kinetics-600. (ii) MAGVIT outperforms existing methods in inference time by two orders of magnitude against diffusion models and by 60x against autoregressive models. (iii) A single MAGVIT model supports ten diverse generation tasks and generalizes across videos from different visual domains. The source code and trained models will be released to the public at https://magvit.cs.cmu.edu.

创建视频是为了表达情感，交换信息和分享经验。视频合成很长时间以来一直吸引了研究人员。尽管视觉合成的进步驱动了迅速的进展，但大多数现有研究都集中在提高框架的质量和之间的过渡上，而在生成更长的视频方面几乎没有取得进展。在本文中，我们提出了一种基于3D-VQGAN和Transformers的方法，以生成具有数千帧的视频。我们的评估表明，我们的模型在16架视频剪辑中培训了来自UCF-101，Sky TimeLapse和Taichi-HD数据集等标准基准测试片段，可以生成多样化，连贯和高质量的长视频。我们还展示了我们通过将时间信息与文本和音频结合在一起来生成有意义的长视频的方法的条件扩展。可以在https://songweige.github.io/projects/tats/index.html上找到视频和代码。

预测以过去观察和电动机命令为条件的未来视觉观察的能力可以使体现的代理能够计划复杂环境中各种任务的解决方案。这项工作表明，我们可以通过掩盖的视觉建模预训练变压器来创建良好的视频预测模型。我们的方法名为MaskVit，基于两个简单的设计决策。首先，为了记忆和训练效率，我们使用两种类型的窗户注意力：时空和时空。其次，在训练期间，我们掩盖了一个可变百分比的令牌，而不是固定蒙版比率。对于推断，MaskVit通过迭代改进生成所有令牌，在该迭代中，我们会在掩码调度函数后逐步降低掩蔽率。在几个数据集上，我们证明了MaskVit优于视频预测中的先前作品，这是参数有效的，并且可以生成高分辨率视频（256x256）。此外，我们通过使用MaskVit在真实机器人上进行计划，证明了推理加速器的好处（最高512x）。我们的工作表明，我们可以通过利用最小的域知识的掩盖视觉建模的一般框架来赋予体现的代理具有强大的预测模型。

通过将图像形成过程分解成逐个申请的去噪自身额，扩散模型（DMS）实现了最先进的合成导致图像数据和超越。另外，它们的配方允许引导机构来控制图像生成过程而不会再刷新。然而，由于这些模型通常在像素空间中直接操作，因此强大的DMS的优化通常消耗数百个GPU天，并且由于顺序评估，推理是昂贵的。为了在保留其质量和灵活性的同时启用有限计算资源的DM培训，我们将它们应用于强大的佩带自动化器的潜在空间。与以前的工作相比，这种代表上的培训扩散模型允许第一次达到复杂性降低和细节保存之间的近乎最佳点，极大地提高了视觉保真度。通过将跨关注层引入模型架构中，我们将扩散模型转化为强大而柔性的发电机，以进行诸如文本或边界盒和高分辨率合成的通用调节输入，以卷积方式变得可以实现。我们的潜在扩散模型（LDMS）实现了一种新的技术状态，可在各种任务中进行图像修复和高竞争性能，包括无条件图像生成，语义场景合成和超级分辨率，同时与基于像素的DMS相比显着降低计算要求。代码可在https://github.com/compvis/lattent-diffusion获得。

预测和预测序列中缺少信息的未来结果或原因是代理商能够做出智能决策的关键能力。这需要强大的时间连贯的生成能力。扩散模型最近在几个生成任务中表现出巨大的成功，但在视频域中并未广泛探索。我们提出随机遮罩视频扩散（RAMVID），该扩散将图像扩散模型扩展到使用3D卷积的视频，并在训练过程中引入了一种新的调理技术。通过改变我们条件的面膜，该模型能够执行视频预测，填充和上采样。由于在大多数有条件训练的扩散模型中，我们不使用串联在面罩上条件条件，因此我们能够减少内存足迹。我们在两个基准数据集上评估了该模型以进行视频预测，一个用于视频生成的模型，我们在其中实现了竞争成果。在动力学-600上，我们实现了视频预测的最先进。

非自动进取的生成变压器最近表现出令人印象深刻的图像产生性能，并且比自动回归对应物更快。但是，从视觉令牌的真实关节分布中进行的最佳并行采样仍然是一个开放的挑战。在本文中，我们介绍了代币批评，这是一种辅助模型，用于指导非自动性生成变压器的采样。鉴于掩盖和重建的真实图像，对代币批判性模型进行了训练，以区分哪种视觉令牌属于原始图像，哪些是由生成变压器采样的。在非自动回归迭代采样过程中，令牌批评者用于选择要接受的代币以及拒绝和重新取样的代币。再加上最先进的生成变压器令牌 - 批判性可显着提高其性能，并且在挑战性的课堂条件化成像生成中，就产生的图像质量和多样性之间的权衡取舍了最近的扩散模型和gan 。

尽管两阶段矢量量化（VQ）生成模型允许合成高保真性和高分辨率图像，但其量化操作员将图像中的相似贴片编码为相同的索引，从而为相似的相邻区域重复使用现有的解码器体系结构的相似相似区域的重复伪像。为了解决这个问题，我们建议将空间条件的归一化结合起来，以调节量化的向量，以便将空间变体信息插入嵌入式索引图中，从而鼓励解码器生成更真实的图像。此外，我们使用多通道量化来增加离散代码的重组能力，而无需增加模型和代码簿的成本。此外，为了在第二阶段生成离散令牌，我们采用掩盖的生成图像变压器（MaskGit）来学习压缩潜在空间中的基础先验分布，该分布比常规自动回归模型快得多。两个基准数据集的实验表明，我们提出的调制VQGAN能够大大提高重建的图像质量，并提供高保真图像的产生。

我们提出了一个视频生成模型，该模型可以准确地重现对象运动，摄像头视图的变化以及随着时间的推移而产生的新内容。现有的视频生成方法通常无法生成新内容作为时间的函数，同时保持在真实环境中预期的一致性，例如合理的动态和对象持久性。一个常见的故障情况是，由于过度依赖归纳偏见而提供时间一致性，因此内容永远不会改变，例如单个潜在代码决定整个视频的内容。在另一个极端情况下，没有长期一致性，生成的视频可能会在不同场景之间不切实际。为了解决这些限制，我们通过重新设计暂时的潜在表示并通过较长的视频培训从数据中学习长期一致性来优先考虑时间轴。为此，我们利用了两阶段的培训策略，在该策略中，我们以低分辨率和高分辨率的较短视频分别训练了较长的视频。为了评估模型的功能，我们介绍了两个新的基准数据集，并明确关注长期时间动态。

近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型，即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中，我们专注于视频预测的任务，其中给出了从视频中提取的一系列帧，目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后，我们分析发电机中的复发单元，并提出了一种新的复发单元，其根据预测的运动样本来改变其过去的隐藏状态，并改进它以处理DIS闭塞，场景变化和其他复杂行为。我们表明，这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃，从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7，下降到69.2。

在本文中，我们提出了Nuwa-Infinity，这是无限视觉合成的生成模型，该模型被定义为生成任意尺寸的高分辨率图像或长期视频的任务。提出了一种自回旋的自回旋生成机制来处理这一可变大小的生成任务，其中全球补丁级自回归模型考虑了补丁之间的依赖性，以及局部令牌级自动回收式模型在每个贴片中的视觉令牌之间的依赖性。将附近的上下文池（NCP）引入已生成的与缓存相关的补丁，作为当前补丁生成的上下文，该贴片可以显着节省计算成本而不牺牲补丁级依赖性模型。任意方向控制器（ADC）用于确定不同视觉合成任务的合适生成订单，并学习订单感知的位置嵌入。与DALL-E，Imagen和Parti相比，NUWA-INFINITY可以生成具有任意大小的高分辨率图像，并支持长期视频的生成。与NUWA（也涵盖图像和视频）相比，NUWA-Infinity在分辨率和可变尺寸的生成方面具有出色的视觉合成功能。 github链接是https://github.com/microsoft/nuwa。主页链接是https://nuwa-infinity.microsoft.com。

视频显示连续事件，但大多数 - 如果不是全部 - 视频综合框架及时酌情对待它们。在这项工作中，我们想到它们应该是连续的信号的视频，并扩展神经表示的范式以构建连续时间视频发生器。为此，我们首先通过位置嵌入的镜头设计连续运动表示。然后，我们探讨了在非常稀疏的视频上培训问题，并证明可以使用每剪辑的少数为2帧来学习良好的发电机。之后，我们重新思考传统的图像和视频鉴别器对并建议使用基于Hypernetwork的一个。这降低了培训成本并向发电机提供了更丰富的学习信号，使得可以首次直接培训1024美元$ ^ 2 $视频。我们在Stylegan2的顶部构建我们的模型，并且在同样的分辨率下培训速度速度较高5％，同时实现几乎相同的图像质量。此外，我们的潜在空间具有类似的属性，使我们的方法可以及时传播的空间操纵。我们可以在任意高帧速率下任意长的视频，而现有工作努力以固定速率生成均匀的64个帧。我们的模型在四个现代256美元$ ^ 2 $视频综合基准测试中实现最先进的结果，一个1024美元$ ^ 2 $ state。视频和源代码在项目网站上提供：https://universome.github.io/stylegan-v。

本文介绍了一个名为N \“UWA的统一的多模式预训练模型，可以为各种可视化合成任务生成新的或操作现有的视觉数据（即，图像和视频）。涵盖语言，图像和视频同时设计了一个不同的场景，设计了一个3D变压器编码器 - 解码器框架，它不仅可以处理作为3D数据的视频，而且分别适应文本和图像作为1D和2D数据。还提出了附近的3D（3DNA）机制考虑视觉数据的性质并降低计算复杂性。我们在8个下游任务上评估n \“UWA。与几个强的基线相比，n \“uwa达到了最先进的结果，对图像生成，文本到视频生成，视频预测等。此外，它还显示出令人惊讶的良好零射起能力关于文本引导的图像和视频操作任务。项目repo是https://github.com/microsoft/nuwa。

Designed to learn long-range interactions on sequential data, transformers continue to show state-of-the-art results on a wide variety of tasks. In contrast to CNNs, they contain no inductive bias that prioritizes local interactions. This makes them expressive, but also computationally infeasible for long sequences, such as high-resolution images. We demonstrate how combining the effectiveness of the inductive bias of CNNs with the expressivity of transformers enables them to model and thereby synthesize high-resolution images. We show how to (i) use CNNs to learn a contextrich vocabulary of image constituents, and in turn (ii) utilize transformers to efficiently model their composition within high-resolution images. Our approach is readily applied to conditional synthesis tasks, where both non-spatial information, such as object classes, and spatial information, such as segmentations, can control the generated image. In particular, we present the first results on semanticallyguided synthesis of megapixel images with transformers and obtain the state of the art among autoregressive models on class-conditional ImageNet. Code and pretrained models can be found at https://git.io/JnyvK.

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

Recently, vector quantized autoregressive (VQ-AR) models have shown remarkable results in text-to-image synthesis by equally predicting discrete image tokens from the top left to bottom right in the latent space. Although the simple generative process surprisingly works well, is this the best way to generate the image? For instance, human creation is more inclined to the outline-to-fine of an image, while VQ-AR models themselves do not consider any relative importance of each component. In this paper, we present a progressive denoising model for high-fidelity text-to-image image generation. The proposed method takes effect by creating new image tokens from coarse to fine based on the existing context in a parallel manner and this procedure is recursively applied until an image sequence is completed. The resulting coarse-to-fine hierarchy makes the image generation process intuitive and interpretable. Extensive experiments demonstrate that the progressive model produces significantly better results when compared with the previous VQ-AR method in FID score across a wide variety of categories and aspects. Moreover, the text-to-image generation time of traditional AR increases linearly with the output image resolution and hence is quite time-consuming even for normal-size images. In contrast, our approach allows achieving a better trade-off between generation quality and speed.

自由格式介绍是在任意二进制掩码指定的区域中向图像中添加新内容的任务。大多数现有方法训练了一定的面具分布，这将其概括能力限制为看不见的掩模类型。此外，通过像素和知觉损失的训练通常会导致对缺失区域的简单质地扩展，而不是语义上有意义的一代。在这项工作中，我们提出重新启动：基于deno的扩散概率模型（DDPM）的内部介入方法，甚至适用于极端掩模。我们采用预定的无条件DDPM作为生成先验。为了调节生成过程，我们仅通过使用给定的图像信息对未掩盖的区域进行采样来改变反向扩散迭代。由于该技术不会修改或调节原始DDPM网络本身，因此该模型可为任何填充形式产生高质量和不同的输出图像。我们使用标准面具和极端口罩验证面部和通用图像的方法。重新粉刷优于最先进的自动回归，而GAN的方法至少在六个面具分布中进行了五个。 github存储库：git.io/repaint

扩散模型（DMS）显示出高质量图像合成的巨大潜力。但是，当涉及到具有复杂场景的图像时，如何正确描述图像全局结构和对象细节仍然是一项具有挑战性的任务。在本文中，我们提出了弗里多（Frido），这是一种特征金字塔扩散模型，该模型执行了图像合成的多尺度粗到1个降解过程。我们的模型将输入图像分解为依赖比例的矢量量化特征，然后是用于产生图像输出的粗到细门。在上述多尺度表示阶段，可以进一步利用文本，场景图或图像布局等其他输入条件。因此，还可以将弗里多应用于条件或跨模式图像合成。我们对各种无条件和有条件的图像生成任务进行了广泛的实验，从文本到图像综合，布局到图像，场景环形图像到标签形象。更具体地说，我们在五个基准测试中获得了最先进的FID分数，即可可和开阔图像的布局到图像，可可和视觉基因组的场景环形图像以及可可的标签对图像图像。 。代码可在https://github.com/davidhalladay/frido上找到。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

生成时间连贯的高保真视频是生成建模研究中的重要里程碑。我们通过提出一个视频生成的扩散模型来取得这一里程碑的进步，该模型显示出非常有希望的初始结果。我们的模型是标准图像扩散体系结构的自然扩展，它可以从图像和视频数据中共同训练，我们发现这可以减少Minibatch梯度的方差并加快优化。为了生成长而更高的分辨率视频，我们引入了一种新的条件抽样技术，用于空间和时间视频扩展，该技术的性能比以前提出的方法更好。我们介绍了大型文本条件的视频生成任务，以及最新的结果，以实现视频预测和无条件视频生成的确定基准。可从https://video-diffusion.github.io/获得补充材料

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得