像素合成是图像生成的有前途的研究范式，可以很好地利用像素的先验知识来生成。但是，现有方法仍然遭受过多的内存足迹和计算开销。在本文中，我们提出了一个渐进的像素合成网络，用于有效的图像生成，以像素型构成。具体而言，PixelFolder将图像生成作为渐进的像素回归问题制定，并通过多阶段结构合成图像，这可以大大减少由大型张量转换引起的开销。此外，我们引入了新型的像素折叠操作，以进一步提高模型效率，同时保持像素的先验知识以进行端到端回归。通过这些创新的设计，我们大大减少了像素合成的支出，例如，与最新的像素合成方法CIPS相比，减少了89％的计算和53％的参数。为了验证我们的方法，我们在两个基准数据集（即FFHQ和LSUN教堂）上进行了广泛的实验。实验结果表明，PixelFolder的支出要少得多，在两个基准数据集上获得了新的最先进（SOTA）性能，即3.77 FID和2.45 FID在FFHQ和LSUN教堂上。比SOTA方法效率高，例如stylegan2，分别降低了约72％的计算和31％的参数。这些结果极大地验证了所提出的像素的有效性。
translated by 谷歌翻译
即使自然图像有多种尺寸，生成模型也以固定分辨率运行。由于高分辨率的细节被删除并完全丢弃了低分辨率图像，因此丢失了宝贵的监督。我们认为，每个像素都很重要，并创建具有可变大小图像的数据集，该图像以本机分辨率收集。为了利用各种大小的数据，我们引入了连续尺度训练，该过程以随机尺度进行采样以训练具有可变输出分辨率的新发电机。首先，对生成器进行调节，可以使我们能够生成比以前更高的分辨率图像，而无需在模型中添加层。其次，通过对连续坐标进行调节，我们可以采样仍然遵守一致的全局布局的贴片，这也允许在更高分辨率下进行可扩展的训练。受控的FFHQ实验表明，与离散的多尺度方法相比，我们的方法可以更好地利用多分辨率培训数据，从而获得更好的FID分数和更清洁的高频细节。我们还训练包括教堂，山脉和鸟类在内的其他自然图像领域，并通过连贯的全球布局和现实的本地细节来展示任意量表的综合，超出了我们的实验中的2K分辨率。我们的项目页面可在以下网址找到：https：//chail.github.io/anyres-gan/。
translated by 谷歌翻译
最近对变形金刚的爆炸利益提出了他们成为计算机视觉任务的强大“通用”模型的潜力，例如分类，检测和分割。虽然这些尝试主要研究歧视模型，但我们探索变压器，更加臭名昭着的难以愿景任务，例如生成的对抗网络（GANS）。我们的目标是通过仅使用纯的变压器的架构，开展一项完全没有卷曲的GAN的试点研究。我们的Vanilla GaN架构被称为Cransgan，包括一个基于内存友好的变换器的发电机，逐渐增加了特征分辨率，并且相应地是多尺度鉴别器来捕获同时语义上下文和低级纹理。在他们之上，我们介绍了新的网格自我关注模块，以便进一步缓解记忆瓶颈，以便扩展到高分辨率的发电。我们还开发了一个独特的培训配方，包括一系列技术，可以减轻转发的培训不稳定问题，例如数据增强，修改的归一化和相对位置编码。与使用卷积骨架的当前最先进的GAN相比，我们最好的建筑达到了竞争力的表现。具体而言，转发在STL-10上设置10.43和18.28的最新的最新成立得分为18.28，表现优于样式。当涉及更高分辨率（例如256 x 256）的生成任务时，例如Celeba-HQ和Lsun-Church，Rancorgan继续生产具有高保真度和令人印象深刻的纹理细节的不同视觉示例。此外，我们通过可视化培训动力学，深入了解基于变压器的生成模型，了解他们的行为如何与卷积的行为。代码可在https://github.com/vita-group/transgan中获得。
translated by 谷歌翻译
生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。
translated by 谷歌翻译
变压器在计算机视觉中变得普遍，特别是对于高级视觉任务。然而，采用生成的对抗性网络（GaN）框架中的变压器仍然是一个开放但具有挑战性的问题。本文进行了一项全面的实证研究，探讨了高保真图像合成的GaN中变压器的性能。我们的分析亮点并重申了特征局部度在图像生成中的重要性，尽管局部性的优点在分类任务中是众所周知的。也许更有趣的是，我们发现自我关注层中的残余连接有害，以利用基于变压器的鉴别器和条件发电机。我们仔细检查了影响力，并提出了减轻负面影响的有效方法。我们的研究导致GaN中的变压器的新替代设计，卷积神经网络（CNN） - 免费发电机称为晶体 - G，这在无条件和条件图像代中实现了竞争导致。基于变压器的鉴别器，Strans-D也显着降低了其基于CNN的鉴别器的间隙。
translated by 谷歌翻译
基于注意的模型，由变压器举例说明，可以有效地模拟长距离依赖性，而是遭受自我注意操作的二次复杂性，使得基于生成的对抗网络（GAN）的高分辨率图像生成使得它们难以采用。在本文中，我们向变压器推出了两个关键成分来解决这一挑战。首先，在生成过程的低分辨率阶段，用所提出的多轴阻塞自我关注取代了标准的全球自我关注，这允许有效地混合本地和全球关注。其次，在高分辨率阶段，我们降低了自我关注，同时只保持多层的感知让人想起隐含的神经功能。为了进一步提高性能，我们基于横向引入额外的自我调制组件。结果模型表示为命中，具有关于图像尺寸的几乎线性的计算复杂度，从而直接缩放到合成高清晰度图像。我们在实验中展示了所提出的命中，实现最先进的FID得分31.87和2.95在无条件的ImageNet上，分别具有合理的吞吐量的128美元和256美元\ times 256美元。我们认为，拟议的命中是全球发电机的一个重要里程碑，完全没有卷积。
translated by 谷歌翻译
The style-based GAN architecture (StyleGAN) yields state-of-the-art results in data-driven unconditional generative image modeling. We expose and analyze several of its characteristic artifacts, and propose changes in both model architecture and training methods to address them. In particular, we redesign the generator normalization, revisit progressive growing, and regularize the generator to encourage good conditioning in the mapping from latent codes to images. In addition to improving image quality, this path length regularizer yields the additional benefit that the generator becomes significantly easier to invert. This makes it possible to reliably attribute a generated image to a particular network. We furthermore visualize how well the generator utilizes its output resolution, and identify a capacity problem, motivating us to train larger models for additional quality improvements. Overall, our improved model redefines the state of the art in unconditional image modeling, both in terms of existing distribution quality metrics as well as perceived image quality.
translated by 谷歌翻译
Diffusion models are rising as a powerful solution for high-fidelity image generation, which exceeds GANs in quality in many circumstances. However, their slow training and inference speed is a huge bottleneck, blocking them from being used in real-time applications. A recent DiffusionGAN method significantly decreases the models' running time by reducing the number of sampling steps from thousands to several, but their speeds still largely lag behind the GAN counterparts. This paper aims to reduce the speed gap by proposing a novel wavelet-based diffusion structure. We extract low-and-high frequency components from both image and feature levels via wavelet decomposition and adaptively handle these components for faster processing while maintaining good generation quality. Furthermore, we propose to use a reconstruction term, which effectively boosts the model training convergence. Experimental results on CelebA-HQ, CIFAR-10, LSUN-Church, and STL-10 datasets prove our solution is a stepping-stone to offering real-time and high-fidelity diffusion models. Our code and pre-trained checkpoints will be available at \url{https://github.com/VinAIResearch/WaveDiff.git}.
translated by 谷歌翻译
我们通过将此任务视为视觉令牌生成问题来提出新的视角来实现图像综合。与现有的范例不同，即直接从单个输入（例如，潜像）直接合成完整图像，新配方使得能够为不同的图像区域进行灵活的本地操作，这使得可以学习内容感知和细粒度的样式控制用于图像合成。具体地，它需要输入潜像令牌的序列，以预测用于合成图像的视觉令牌。在这种观点来看，我们提出了一个基于令牌的发电机（即Tokengan）。特别是，Tokengan输入了两个语义不同的视觉令牌，即，来自潜在空间的学习常量内容令牌和风格代币。鉴于一系列风格令牌，Tokengan能够通过用变压器将样式分配给内容令牌来控制图像合成。我们进行了广泛的实验，并表明拟议的Tokengan在几个广泛使用的图像综合基准上实现了最先进的结果，包括FFHQ和LSUN教会，具有不同的决议。特别地，发电机能够用1024x1024尺寸合成高保真图像，完全用卷曲分配。
translated by 谷歌翻译
制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。
translated by 谷歌翻译
3D感知图像生成建模旨在生成具有明确可控相机姿势的3D一致图像。最近的作品通过在非结构化的2D图像上培训神经辐射场（NERF）发电机，但仍然无法产生具有精细细节的高度现实图像。一个关键原因是体积表示学习的高记忆和计算成本大大限制了训练期间辐射集成的点样本的数量。不足的采样不仅限制了发电机的表现力，以处理细节细节，而且由于不稳定的蒙特卡罗采样引起的噪音，因此阻碍了有效的GaN训练。我们提出了一种新的方法，调节点采样和辐射场地学习在2D歧管上，体现为3D音量中的一组学习隐式表面。对于每个观看射线，我们计算射线表面交叉点并累积由网络产生的亮度。通过培训和渲染如此光辉的歧管，我们的发电机可以产生具有现实细节和强大的视觉3D一致性的高质量图像。
translated by 谷歌翻译
由于简单但有效的训练机制和出色的图像产生质量，生成的对抗网络（GAN）引起了极大的关注。具有生成照片现实的高分辨率（例如$ 1024 \ times1024 $）的能力，最近的GAN模型已大大缩小了生成的图像与真实图像之间的差距。因此，许多最近的作品表明，通过利用良好的潜在空间和博学的gan先验来利用预先训练的GAN模型的新兴兴趣。在本文中，我们简要回顾了从三个方面利用预先培训的大规模GAN模型的最新进展，即1）大规模生成对抗网络的培训，2）探索和理解预训练的GAN模型，以及预先培训的GAN模型，以及3）利用这些模型进行后续任务，例如图像恢复和编辑。有关相关方法和存储库的更多信息，请访问https://github.com/csmliu/pretretaining-gans。
translated by 谷歌翻译
使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。
translated by 谷歌翻译
反转生成对抗网络（GAN）可以使用预训练的发电机来促进广泛的图像编辑任务。现有方法通常采用gan的潜在空间作为反转空间，但观察到空间细节的恢复不足。在这项工作中，我们建议涉及发电机的填充空间，以通过空间信息补充潜在空间。具体来说，我们替换具有某些实例感知系数的卷积层中使用的恒定填充（例如，通常为零）。通过这种方式，可以适当地适当地适应了预训练模型中假定的归纳偏差以适合每个单独的图像。通过学习精心设计的编码器，我们设法在定性和定量上提高了反演质量，超过了现有的替代方案。然后，我们证明了这样的空间扩展几乎不会影响天然甘纳的歧管，因此我们仍然可以重复使用甘斯（Gans）对各种下游应用学到的先验知识。除了在先前的艺术中探讨的编辑任务外，我们的方法还可以进行更灵活的图像操纵，例如对面部轮廓和面部细节的单独控制，并启用一种新颖的编辑方式，用户可以高效地自定义自己的操作。
translated by 谷歌翻译
随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得
translated by 谷歌翻译
2022-08-29
扩散模型（DMS）显示出高质量图像合成的巨大潜力。但是，当涉及到具有复杂场景的图像时，如何正确描述图像全局结构和对象细节仍然是一项具有挑战性的任务。在本文中，我们提出了弗里多（Frido），这是一种特征金字塔扩散模型，该模型执行了图像合成的多尺度粗到1个降解过程。我们的模型将输入图像分解为依赖比例的矢量量化特征，然后是用于产生图像输出的粗到细门。在上述多尺度表示阶段，可以进一步利用文本，场景图或图像布局等其他输入条件。因此，还可以将弗里多应用于条件或跨模式图像合成。我们对各种无条件和有条件的图像生成任务进行了广泛的实验，从文本到图像综合，布局到图像，场景环形图像到标签形象。更具体地说，我们在五个基准测试中获得了最先进的FID分数，即可可和开阔图像的布局到图像，可可和视觉基因组的场景环形图像以及可可的标签对图像图像。 。代码可在https://github.com/davidhalladay/frido上找到。
translated by 谷歌翻译
The introduction of high-quality image generation models, particularly the StyleGAN family, provides a powerful tool to synthesize and manipulate images. However, existing models are built upon high-quality (HQ) data as desired outputs, making them unfit for in-the-wild low-quality (LQ) images, which are common inputs for manipulation. In this work, we bridge this gap by proposing a novel GAN structure that allows for generating images with controllable quality. The network can synthesize various image degradation and restore the sharp image via a quality control code. Our proposed QC-StyleGAN can directly edit LQ images without altering their quality by applying GAN inversion and manipulation techniques. It also provides for free an image restoration solution that can handle various degradations, including noise, blur, compression artifacts, and their mixtures. Finally, we demonstrate numerous other applications such as image degradation synthesis, transfer, and interpolation.
translated by 谷歌翻译
通过将图像形成过程分解成逐个申请的去噪自身额，扩散模型（DMS）实现了最先进的合成导致图像数据和超越。另外，它们的配方允许引导机构来控制图像生成过程而不会再刷新。然而，由于这些模型通常在像素空间中直接操作，因此强大的DMS的优化通常消耗数百个GPU天，并且由于顺序评估，推理是昂贵的。为了在保留其质量和灵活性的同时启用有限计算资源的DM培训，我们将它们应用于强大的佩带自动化器的潜在空间。与以前的工作相比，这种代表上的培训扩散模型允许第一次达到复杂性降低和细节保存之间的近乎最佳点，极大地提高了视觉保真度。通过将跨关注层引入模型架构中，我们将扩散模型转化为强大而柔性的发电机，以进行诸如文本或边界盒和高分辨率合成的通用调节输入，以卷积方式变得可以实现。我们的潜在扩散模型（LDMS）实现了一种新的技术状态，可在各种任务中进行图像修复和高竞争性能，包括无条件图像生成，语义场景合成和超级分辨率，同时与基于像素的DMS相比显着降低计算要求。代码可在https://github.com/compvis/lattent-diffusion获得。
translated by 谷歌翻译
In this work, we are dedicated to text-guided image generation and propose a novel framework, i.e., CLIP2GAN, by leveraging CLIP model and StyleGAN. The key idea of our CLIP2GAN is to bridge the output feature embedding space of CLIP and the input latent space of StyleGAN, which is realized by introducing a mapping network. In the training stage, we encode an image with CLIP and map the output feature to a latent code, which is further used to reconstruct the image. In this way, the mapping network is optimized in a self-supervised learning way. In the inference stage, since CLIP can embed both image and text into a shared feature embedding space, we replace CLIP image encoder in the training architecture with CLIP text encoder, while keeping the following mapping network as well as StyleGAN model. As a result, we can flexibly input a text description to generate an image. Moreover, by simply adding mapped text features of an attribute to a mapped CLIP image feature, we can effectively edit the attribute to the image. Extensive experiments demonstrate the superior performance of our proposed CLIP2GAN compared to previous methods.
translated by 谷歌翻译
三维（3D）医学图像的产生可能具有巨大的应用潜力，因为它考虑了3D解剖结构。但是，有两个问题可以防止有效培训3D医疗生成模型：（1）3D医学图像的获取和注释非常昂贵，导致培训图像不足，（2）大量参数是参与3D卷积。为了解决这两个问题，我们提出了一种名为3D Split＆Shuffle-Gan的新型GAN模型。为了解决3D数据稀缺问题，我们首先使用丰富的图像切片预先培训二维（2D）GAN模型，并夸大2D卷积权重以改善3D GAN的初始化。为GAN模型的生成器和鉴别器提出了新型的3D网络体系结构，以显着减少参数的数量，同时保持图像生成的质量。研究了许多体重通胀策略和参数有效的3D架构。对心脏（Stanford Aimi冠状动脉钙）和大脑（阿尔茨海默氏病神经成像计划）的实验表明，所提出的方法会导致改善的3D图像产生质量，参数较少。
translated by 谷歌翻译