传感器融合可以显着提高许多计算机视觉任务的性能。但是，传统的融合方法要么不是数据驱动的，也不能利用先验知识，也不能在给定数据集中找到规律性，或者它们仅限于单个应用程序。我们通过呈现一种新型深层分层变异自动编码器来克服这一缺点，称为FusionVae，可以作为许多融合任务的基础。我们的方法能够生成以多个嘈杂，遮挡或仅部分可见的输入图像来调节的各种图像样本。我们得出并优化了融合的条件对数似然的变化下限。为了彻底评估模型的融合功能，我们根据流行的计算机视觉数据集创建了三个新颖的图像融合数据集。在我们的实验中，我们表明FusionVae学习了与融合任务相关的汇总信息的表示。结果表明，我们的方法表现明显优于传统方法。此外，我们介绍了不同设计选择的优势和缺点。

Normalizing flows, autoregressive models, variational autoencoders (VAEs), and deep energy-based models are among competing likelihood-based frameworks for deep generative learning. Among them, VAEs have the advantage of fast and tractable sampling and easy-to-access encoding networks. However, they are currently outperformed by other models such as normalizing flows and autoregressive models. While the majority of the research in VAEs is focused on the statistical challenges, we explore the orthogonal direction of carefully designing neural architectures for hierarchical VAEs. We propose Nouveau VAE (NVAE), a deep hierarchical VAE built for image generation using depth-wise separable convolutions and batch normalization. NVAE is equipped with a residual parameterization of Normal distributions and its training is stabilized by spectral regularization. We show that NVAE achieves state-of-the-art results among non-autoregressive likelihood-based models on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ datasets and it provides a strong baseline on FFHQ. For example, on CIFAR-10, NVAE pushes the state-of-the-art from 2.98 to 2.91 bits per dimension, and it produces high-quality images on CelebA HQ as shown in Fig. 1. To the best of our knowledge, NVAE is the first successful VAE applied to natural images as large as 256×256 pixels. The source code is available at https://github.com/NVlabs/NVAE.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

变形AutoEncoders（VAES）是具有许多域中应用的强大的基于似然的生成模型之一。然而，他们努力产生高质量的图像，尤其是当样品从之前没有任何回火时获得。 VAES生成质量的一个解释是先前孔问题：前提分配不能匹配近似后部的总体近似。由于这种不匹配，在不对应于任何编码图像的之前，存在具有高密度的潜在空间中的区域。来自这些区域的样本被解码为损坏的图像。为了解决这个问题，我们提出了基于能源的基础产品，由基础产品的乘积和重新免除因子，旨在使基座更接近骨料后部。我们通过噪声对比估计训练重重的因素，我们将其概括为具有许多潜在变量组的分层VAE。我们的实验证实，所提出的噪声对比前沿通过MNIST，CIFAR-10，CELEBA 64和Celeba HQ 256数据集的大边缘改善了最先进的VAE的生成性能。我们的方法很简单，可以应用于各种VAE，以提高其先前分配的表现。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

Making sense of multiple modalities can yield a more comprehensive description of real-world phenomena. However, learning the co-representation of diverse modalities is still a long-standing endeavor in emerging machine learning applications and research. Previous generative approaches for multimodal input approximate a joint-modality posterior by uni-modality posteriors as product-of-experts (PoE) or mixture-of-experts (MoE). We argue that these approximations lead to a defective bound for the optimization process and loss of semantic connection among modalities. This paper presents a novel variational method on sets called the Set Multimodal VAE (SMVAE) for learning a multimodal latent space while handling the missing modality problem. By modeling the joint-modality posterior distribution directly, the proposed SMVAE learns to exchange information between multiple modalities and compensate for the drawbacks caused by factorization. In public datasets of various domains, the experimental results demonstrate that the proposed method is applicable to order-agnostic cross-modal generation while achieving outstanding performance compared to the state-of-the-art multimodal methods. The source code for our method is available online https://anonymous.4open.science/r/SMVAE-9B3C/.

仅观察一组有限的示例，应该能够从新分布中生成数据。在几次学习中，该模型经过了来自分布的许多集合的数据培训，这些分布共享了一些基本属性，例如来自不同字母的字符集或来自不同类别的对象。我们将当前的潜在变量模型扩展到具有基于注意力级聚合的基于注意力的点的完全层次结构方法，并将我们的方法scha-vae称为set-context层次层次结构 - 构造变异自动编码器。我们探索基于似然的模型比较，迭代数据采样和无适应性分布概括。我们的结果表明，分层公式可以更好地捕获小型数据制度中集合中的内在变异性。这项工作将深层可变方法推广到几乎没有学习的方法，迈出了一步，朝着大规模的几杆生成迈出了一步。

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

基于分数的生成模型（SGMS）最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是，它们通常直接应用于数据空间，并且通常需要数千个网络评估来采样。在这里，我们提出了基于潜在的分数的生成模型（LSGM），这是一种在潜在空间中培训SGM的新方法，依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型，将SGMS应用于非连续数据，并在较小的空间中学习更顺畅的SGM，导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端，我们（i）我们（i）引入了适合于LSGM设置的新分数匹配目标，（ii）提出了一个新颖的分数函数参数化，允许SGM专注于关于简单正常的目标分布的不匹配，（III）分析了多种技术，用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10，优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上，LSGM在样品质量上与先前的SGMS相同，同时以两个数量级的采样时间表现出来。在模拟二进制图像中，LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。

One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

一个著名的矢量定量变分自动编码器（VQ-VAE）的问题是，学识渊博的离散表示形式仅使用代码书的全部容量的一小部分，也称为代码书崩溃。我们假设VQ-VAE的培训计划涉及一些精心设计的启发式方法，这是这个问题的基础。在本文中，我们提出了一种新的训练方案，该方案通过新颖的随机去量化和量化扩展标准VAE，称为随机量化变异自动编码器（SQ-VAE）。在SQ-VAE中，我们观察到一种趋势，即在训练的初始阶段进行量化是随机的，但逐渐收敛于确定性量化，我们称之为自宣传。我们的实验表明，SQ-VAE在不使用常见启发式方法的情况下改善了代码书的利用率。此外，我们从经验上表明，在视觉和语音相关的任务中，SQ-VAE优于VAE和VQ-VAE。

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

Image-generating machine learning models are typically trained with loss functions based on distance in the image space. This often leads to over-smoothed results. We propose a class of loss functions, which we call deep perceptual similarity metrics (DeePSiM), that mitigate this problem. Instead of computing distances in the image space, we compute distances between image features extracted by deep neural networks. This metric better reflects perceptually similarity of images and thus leads to better results. We show three applications: autoencoder training, a modification of a variational autoencoder, and inversion of deep convolutional networks. In all cases, the generated images look sharp and resemble natural images.

变异自动编码器（VAE）是最常用的无监督机器学习模型之一。但是，尽管对先前和后验的高斯分布的默认选择通常代表了数学方便的分布通常会导致竞争结果，但我们表明该参数化无法用潜在的超球体结构对数据进行建模。为了解决这个问题，我们建议使用von Mises-fisher（VMF）分布，从而导致超级潜在空间。通过一系列实验，我们展示了这种超球vae或$ \ mathcal {s} $ - vae如何更适合于用超球形结构捕获数据，同时胜过正常的，$ \ mathcal {n} $ - vae-，在其他数据类型的低维度中。http://github.com/nicola-decao/s-vae-tf和https://github.com/nicola-decao/nicola-decao/s-vae-pytorch

基于能量的模型（EBMS）最近成功地代表了少量图像的复杂分布。然而，对它们的抽样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代在高维像素空间中缓慢混合。与EBMS不同，变形AutoEncoders（VAES）快速生成样本，并配备潜在的空间，使得数据歧管的快速遍历。然而，VAE倾向于将高概率密度分配到实际数据分布之外的数据空间中的区域，并且经常在产生清晰图像时失败。在本文中，我们提出了VAE的一个共生组成和ebm的vaebm，提供了两个世界的eBM。 VAEBM使用最先进的VAE捕获数据分布的整体模式结构，它依赖于其EBM组件，以明确地从模型中排除非数据样区域并优化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜空间中重新处理它们来加速MCMC更新。我们的实验结果表明，VAEBM在几个基准图像数据集上以大量边距开辟了最先进的VAES和EBMS。它可以产生高于256 $ \倍的高质量图像，使用短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖范围，并在分配外检测中表现良好。源代码可在https://github.com/nvlabs/vaebm上获得

机器学习模型通常培训端到端和监督设置，使用配对（输入，输出）数据。示例包括最近的超分辨率方法，用于在（低分辨率，高分辨率）图像上培训。然而，这些端到端的方法每当输入中存在分布偏移时需要重新训练（例如，夜间图像VS日光）或相关的潜在变量（例如，相机模糊或手动运动）。在这项工作中，我们利用最先进的（SOTA）生成模型（这里是Stylegan2）来构建强大的图像前提，这使得贝叶斯定理应用于许多下游重建任务。我们的方法是通过生成模型（BRGM）的贝叶斯重建，使用单个预先训练的发生器模型来解决不同的图像恢复任务，即超级分辨率和绘画，通过与不同的前向腐败模型相结合。我们将发电机模型的重量保持固定，并通过估计产生重建图像的输入潜在的跳过载体来重建图像来估计图像。我们进一步使用变分推理来近似潜伏向量的后部分布，我们对多种解决方案进行采样。我们在三个大型和多样化的数据集中展示了BRGM：（i）来自Flick的60,000个图像面向高质量的数据集（II）来自MIMIC III的高质量数据集（II）240,000胸X射线，（III）的组合收集5脑MRI数据集，具有7,329个扫描。在所有三个数据集和没有任何DataSet特定的HyperParameter调整，我们的简单方法会在超级分辨率和绘画上对当前的特定任务最先进的方法产生性能竞争力，同时更加稳定，而不需要任何培训。我们的源代码和预先训练的型号可在线获取：https://razvanmarinescu.github.io/brgm/。