培训监督图像综合模型需要批评评论权来比较两个图像：结果的原始真相。然而，这种基本功能仍然是一个公开问题。流行的方法使用L1（平均绝对误差）丢失，或者在预先预留的深网络的像素或特征空间中。然而，我们观察到这些损失倾向于产生过度模糊和灰色的图像，以及其他技术，如GAN需要用于对抗这些伪影。在这项工作中，我们介绍了一种基于信息理论的方法来测量两个图像之间的相似性。我们认为，良好的重建应该具有较高的相互信息与地面真相。这种观点使得能够以对比的方式学习轻量级批评者以“校准”特征空间，使得相应的空间贴片的重建被置于擦除其他贴片。我们表明，当用作L1损耗的替代时，我们的配方立即提升输出图像的感知现实主义，有或没有额外的GaN丢失。

In image-to-image translation, each patch in the output should reflect the content of the corresponding patch in the input, independent of domain. We propose a straightforward method for doing so -maximizing mutual information between the two, using a framework based on contrastive learning. The method encourages two elements (corresponding patches) to map to a similar point in a learned feature space, relative to other elements (other patches) in the dataset, referred to as negatives. We explore several critical design choices for making contrastive learning effective in the image synthesis setting. Notably, we use a multilayer, patch-based approach, rather than operate on entire images. Furthermore, we draw negatives from within the input image itself, rather than from the rest of the dataset. We demonstrate that our framework enables one-sided translation in the unpaired image-to-image translation setting, while improving quality and reducing training time. In addition, our method can even be extended to the training setting where each "domain" is only a single image.

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

Labels to Facade BW to Color Aerial to Map Labels to Street Scene Edges to Photo input output input input input input output output output output input output Day to Night Figure 1: Many problems in image processing, graphics, and vision involve translating an input image into a corresponding output image.These problems are often treated with application-specific algorithms, even though the setting is always the same: map pixels to pixels. Conditional adversarial nets are a general-purpose solution that appears to work well on a wide variety of these problems. Here we show results of the method on several. In each case we use the same architecture and objective, and simply train on different data.

Humans view the world through many sensory channels, e.g., the long-wavelength light channel, viewed by the left eye, or the high-frequency vibrations channel, heard by the right ear. Each view is noisy and incomplete, but important factors, such as physics, geometry, and semantics, tend to be shared between all views (e.g., a "dog" can be seen, heard, and felt). We investigate the classic hypothesis that a powerful representation is one that models view-invariant factors. We study this hypothesis under the framework of multiview contrastive learning, where we learn a representation that aims to maximize mutual information between different views of the same scene but is otherwise compact. Our approach scales to any number of views, and is viewagnostic. We analyze key properties of the approach that make it work, finding that the contrastive loss outperforms a popular alternative based on cross-view prediction, and that the more views we learn from, the better the resulting representation captures underlying scene semantics. Our approach achieves state-of-the-art results on image and video unsupervised learning benchmarks.

未配对的图像到图像翻译旨在找到源域和目标域之间的映射。为了减轻缺乏源图像的监督标签的问题，通过假设未配对的图像之间的可逆关系，已经提出了基于周期矛盾的方法来保存图像结构。但是，此假设仅使用图像对之间的有限对应关系。最近，使用基于贴片的正/负学习，对比度学习（CL）已被用来进一步研究未配对图像翻译中的图像对应关系。基于贴片的对比例程通过自相似度计算获得阳性，并将其余的斑块视为负面。这种灵活的学习范式以低成本获得辅助上下文化信息。由于负面的样本人数令人印象深刻，因此我们有好奇心，我们基于一个问题进行了调查：是否需要所有负面的对比度学习？与以前的CL方法不同，在本文中，我们从信息理论的角度研究了负面因素，并通过稀疏和对补丁进行排名来引入一种新的负面修剪技术，以用于未配对的图像到图像翻译（PUT） 。所提出的算法是有效的，灵活的，并使模型能够稳定地学习相应贴片之间的基本信息。通过将质量置于数量上，只需要几个负贴片即可获得更好的结果。最后，我们通过比较实验验证了模型的优势，稳定性和多功能性。

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

图像到图像翻译在启用合成数据的计算机视觉方面发挥了重要作用。但是，如果源和目标域具有较大的语义不匹配，那么现有的技术通常会遭受源内容损坏，也就是语义翻转。为了解决这个问题，我们提出了一个新的范式，用于使用矢量符号体系结构（VSA），这是一个理论框架，该框架定义了在高维矢量（HyphyMytector）空间中定义代数操作的理论框架。我们通过学习逆转翻译以确保与源内容的一致性来介绍对源到目标翻译的对抗学习的基于VSA的约束。我们在定性和定量上表明我们的方法比其他最先进的技术有所改进。

本文提出了有条件生成对抗性网络（CGANS）的两个重要贡献，以改善利用此架构的各种应用。第一个主要贡献是对CGANS的分析表明它们没有明确条件。特别地，将显示鉴别者和随后的Cgan不会自动学习输入之间的条件。第二种贡献是一种新方法，称为逆时针，该方法通过新颖的逆损失明确地模拟了对抗架构的两部分的条件，涉及培训鉴别者学习无条件（不利）示例。这导致了用于GANS（逆学习）的新型数据增强方法，其允许使用不利示例将发电机的搜索空间限制为条件输出。通过提出概率分布分析，进行广泛的实验以评估判别符的条件。与不同应用的CGAN架构的比较显示了众所周知的数据集的性能的显着改进，包括使用不同度量的不同度量的语义图像合成，图像分割，单眼深度预测和“单个标签” - 图像（FID） ），平均联盟（Miou）交叉口，根均线误差日志（RMSE日志）和统计上不同的箱数（NDB）。

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

自动驾驶汽车必须能够可靠地处理不利的天气条件（例如，雪地）安全运行。在本文中，我们研究了以不利条件捕获的转动传感器输入（即图像）的想法，将其下游任务（例如，语义分割）可以达到高精度。先前的工作主要将其作为未配对的图像到图像翻译问题，因为缺乏在完全相同的相机姿势和语义布局下捕获的配对图像。虽然没有完美对准的图像，但可以轻松获得粗配上的图像。例如，许多人每天在好天气和不利的天气中驾驶相同的路线；因此，在近距离GPS位置捕获的图像可以形成一对。尽管来自重复遍历的数据不太可能捕获相同的前景对象，但我们认为它们提供了丰富的上下文信息来监督图像翻译模型。为此，我们提出了一个新颖的训练目标，利用了粗糙的图像对。我们表明，我们与一致的训练方案可提高更好的图像翻译质量和改进的下游任务，例如语义分割，单眼深度估计和视觉定位。

图像到图像转换是最近使用生成对冲网络（GaN）将图像从一个域转换为另一个域的趋势。现有的GaN模型仅利用转换的输入和输出方式执行培训。在本文中，我们执行GaN模型的语义注射训练。具体而言，我们用原始输入和输出方式训练，并注入几个时代，用于从输入到语义地图的翻译。让我们将原始培训称为输入图像转换为目标域的培训。原始训练中的语义训练注射改善了训练的GaN模型的泛化能力。此外，它还以更好的方式在生成的图像中以更好的方式保留分类信息。语义地图仅在训练时间使用，并且在测试时间不需要。通过在城市景观和RGB-NIR立体数据集上使用最先进的GaN模型进行实验。与原始训练相比，在注入语义训练后，我们遵守SSIM，FID和KID等方面的提高性能。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

即使自然图像有多种尺寸，生成模型也以固定分辨率运行。由于高分辨率的细节被删除并完全丢弃了低分辨率图像，因此丢失了宝贵的监督。我们认为，每个像素都很重要，并创建具有可变大小图像的数据集，该图像以本机分辨率收集。为了利用各种大小的数据，我们引入了连续尺度训练，该过程以随机尺度进行采样以训练具有可变输出分辨率的新发电机。首先，对生成器进行调节，可以使我们能够生成比以前更高的分辨率图像，而无需在模型中添加层。其次，通过对连续坐标进行调节，我们可以采样仍然遵守一致的全局布局的贴片，这也允许在更高分辨率下进行可扩展的训练。受控的FFHQ实验表明，与离散的多尺度方法相比，我们的方法可以更好地利用多分辨率培训数据，从而获得更好的FID分数和更清洁的高频细节。我们还训练包括教堂，山脉和鸟类在内的其他自然图像领域，并通过连贯的全球布局和现实的本地细节来展示任意量表的综合，超出了我们的实验中的2K分辨率。我们的项目页面可在以下网址找到：https：//chail.github.io/anyres-gan/。

实时估计实际对象深度是各种自主系统任务（例如3D重建，场景理解和状况评估）的重要模块。在机器学习的最后十年中，将深度学习方法的广泛部署到计算机视觉任务中产生了成功，从而成功地从简单的RGB模式中实现了现实的深度综合。这些模型大多数基于配对的RGB深度数据和/或视频序列和立体声图像的可用性。到目前为止，缺乏序列，立体声数据和RGB深度对使深度估计成为完全无监督的单图像转移问题，到目前为止几乎没有探索过。这项研究以生成神经网络领域的最新进展为基础，以建立完全无监督的单发深度估计。使用Wasserstein-1距离（一种新型的感知重建项和手工制作的图像过滤器）实现并同时优化了两个用于RGB至深度和深度RGB传输的发电机。我们使用工业表面深度数据以及德克萨斯州3D面部识别数据库，人类肖像的Celebamask-HQ数据库和记录人体深度的超现实数据集来全面评估模型。对于每个评估数据集，与最先进的单图像转移方法相比，提出的方法显示出深度准确性的显着提高。

Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting. The ambiguity of the mapping is distilled in a low-dimensional latent vector, which can be randomly sampled at test time. A generator learns to map the given input, combined with this latent code, to the output. We explicitly encourage the connection between output and the latent code to be invertible. This helps prevent a many-to-one mapping from the latent code to the output during training, also known as the problem of mode collapse, and produces more diverse results. We explore several variants of this approach by employing different training objectives, network architectures, and methods of injecting the latent code. Our proposed method encourages bijective consistency between the latent encoding and output modes. We present a systematic comparison of our method and other variants on both perceptual realism and diversity.

我们从一组未配对的清晰和朦胧的图像中提供了实用的基于学习的图像飞行网络。本文提供了一种新的观点，可以将图像除去作为两类分离的因子分离任务，即清晰图像重建的任务相关因素以及与雾霾相关的分布的任务含量。为了在深度特征空间中实现这两类因素的分离，将对比度学习引入了一个自行车框架中，以通过指导与潜在因素相关的生成的图像来学习分离的表示形式。通过这种表述，提出的对比度拆除的脱掩护方法（CDD-GAN）采用负面发电机与编码器网络合作以交替进行更新，以产生挑战性负面对手的队列。然后，这些负面的对手是端到端训练的，以及骨干代表网络，以通过最大化对抗性对比损失来增强歧视性信息并促进因素分离性能。在培训期间，我们进一步表明，硬性负面例子可以抑制任务 - 无关紧要的因素和未配对的清晰景象可以增强与任务相关的因素，以便更好地促进雾霾去除并帮助图像恢复。对合成和现实世界数据集的广泛实验表明，我们的方法对现有的未配对飞行基线的表现良好。