本文探讨了多条件对抗网络用于SAR-EO图像翻译。以前的方法仅在输入SAR上条件对抗网络。我们表明，结合多种互补方式，例如Google Maps和IR可以进一步改善SAR-EO图像翻译，尤其是在保留人造物体的锋利边缘方面。我们证明了我们的方法在包括SEN12MS，DFC2020和SpaceNet6在内的各种数据集中的有效性。我们的实验结果表明，与仅在配对SAR和EO数据中训练的模型相比，互补方式提供的其他信息可改善SAR-EO图像翻译的性能。据我们所知，我们的方法是第一个利用多种方式来改善SAR-EO图像翻译性能。

This technical report summarizes the analysis and approach on the image-to-image translation task in the Multimodal Learning for Earth and Environment Challenge (MultiEarth 2022). In terms of strategy optimization, cloud classification is utilized to filter optical images with dense cloud coverage to aid the supervised learning alike approach. The commonly used pix2pix framework with a few optimizations is applied to build the model. A weighted combination of mean squared error and mean absolute error is incorporated in the loss function. As for evaluation, peak to signal ratio and structural similarity were both considered in our preliminary analysis. Lastly, our method achieved the second place with a final error score of 0.0412. The results indicate great potential towards SAR-to-optical translation in remote sensing tasks, specifically for the support of long-term environmental monitoring and protection.

生成的对抗网络（GANS）已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中，我们介绍了一个名为循环辨别生成的对抗网络（CDGAN）的新的图像到图像转换网络，填补了上述空白。除了加速本的原始架构之外，所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果，并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。

在低灯条件下捕获的图像遭受低可视性和各种成像伪影，例如真实噪音。现有的监督启示算法需要大量的像素对齐的训练图像对，这很难在实践中准备。虽然弱监督或无人监督的方法可以缓解这些挑战，但不使用配对的训练图像，由于缺乏相应的监督，一些现实世界的文物不可避免地被错误地放大。在本文中，而不是使用完美的对齐图像进行培训，我们创造性地使用未对准的现实世界图像作为指导，这很容易收集。具体地，我们提出了一个交叉图像解剖线程（CIDN），以分别提取来自低/常光图像的交叉图像亮度和图像特定内容特征。基于此，CIDN可以同时校正特征域中的亮度和抑制图像伪像，其在很大程度上将鲁棒性增加到像素偏移。此外，我们收集了一个新的低光图像增强数据集，包括具有现实世界腐败的未对准培训图像。实验结果表明，我们的模型在新建议的数据集和其他流行的低光数据集中实现了最先进的表演。

由于技术成本的降低和卫星发射的增加，卫星图像变得越来越流行和更容易获得。除了提供仁慈的目的外，还可以出于恶意原因（例如错误信息）使用卫星数据。事实上，可以依靠一般图像编辑工具来轻松操纵卫星图像。此外，随着深层神经网络（DNN）的激增，可以生成属于各种领域的现实合成图像，与合成生成的卫星图像的扩散有关的其他威胁正在出现。在本文中，我们回顾了关于卫星图像的产生和操纵的最新技术（SOTA）。特别是，我们既关注从头开始的合成卫星图像的产生，又要通过图像转移技术对卫星图像进行语义操纵，包括从一种类型的传感器到另一种传感器获得的图像的转换。我们还描述了迄今已研究的法医检测技术，以对合成图像伪造进行分类和检测。虽然我们主要集中在法医技术上明确定制的，该技术是针对AI生成的合成内容物的检测，但我们还审查了一些用于一般剪接检测的方法，这些方法原则上也可以用于发现AI操纵图像

高分辨率卫星图像已证明是可用于广泛的任务，包括衡量全球人口，当地经济生计和生物多样性，其中许多其他任务。不幸的是，高分辨率图像既不经常收集，购买昂贵，难以高效，有效地缩放这些下游任务在两次和空间。我们提出了一种新的条件像素综合模型，它使用丰富，低成本，低分辨率的图像，在位置和时间内产生准确的高分辨率图像。我们表明，我们的模型在钥匙下游任务 - 对象计数上达到了照片 - 现实的样本质量和竞争基线的竞争基线 - 特别是在地面上的条件正在快速变化的地理位置中。

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting. The ambiguity of the mapping is distilled in a low-dimensional latent vector, which can be randomly sampled at test time. A generator learns to map the given input, combined with this latent code, to the output. We explicitly encourage the connection between output and the latent code to be invertible. This helps prevent a many-to-one mapping from the latent code to the output during training, also known as the problem of mode collapse, and produces more diverse results. We explore several variants of this approach by employing different training objectives, network architectures, and methods of injecting the latent code. Our proposed method encourages bijective consistency between the latent encoding and output modes. We present a systematic comparison of our method and other variants on both perceptual realism and diversity.

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

高分辨率遥感图像用于广泛的任务，包括对象的检测和分类。然而，高分辨率图像昂贵，而较低的分辨率图像通常是可自由的可用的，并且可以由公众用于社会良好应用范围。为此，我们使用从Spacenet 7挑战的PlanetsCope图像策划多个频谱多图像超分辨率数据集作为高分辨率参考和与低分辨率图像相同的图像的多个Sentinel-2重新定位。我们介绍了将多图像超分辨率（MISR）应用于多光谱遥感图像的第一个结果。此外，我们还将辐射级一致性模块引入MISR模型，以保持哨声-2传感器的高辐射分辨率。我们表明MISR优于一系列图像保真度指标的单图像超分辨率和其他基线。此外，我们对建筑描绘的多图像超分辨率的效用进行了第一次评估，显示利用多个图像导致这些下游任务中的更好的性能。

Labels to Facade BW to Color Aerial to Map Labels to Street Scene Edges to Photo input output input input input input output output output output input output Day to Night Figure 1: Many problems in image processing, graphics, and vision involve translating an input image into a corresponding output image.These problems are often treated with application-specific algorithms, even though the setting is always the same: map pixels to pixels. Conditional adversarial nets are a general-purpose solution that appears to work well on a wide variety of these problems. Here we show results of the method on several. In each case we use the same architecture and objective, and simply train on different data.

可以通过合成孔径雷达（SAR）图像来缓解云去除任务的挑战，这些图像可以穿透云覆盖。但是，光学图像和SAR图像之间的较大域间隙以及SAR图像的严重斑点噪声可能会导致基于SAR的基于SAR的云去除，从而导致性能退化。在本文中，我们提出了一种新型的基于全局融合的云去除（GLF-CR）算法，以利用SAR图像中嵌入的互补信息。利用SAR信息的力量促进云清除需要两个方面。首先是全球融合，指导所有本地光窗口之间的关系，以维持与其余无云区域一致的回收区域的结构。第二个本地融合，传输嵌入在SAR图像中的互补信息，该信息与多云区域相对应，以生成缺失区域的可靠纹理细节，并使用动态过滤来减轻斑点噪声引起的性能退化。广泛的评估表明，所提出的算法可以产生高质量的无云图像，并且在SEN12MS-CR数据集中的PSNR方面，其增益约为1.7 db，超过最先进的云去除算法。

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。

在没有人为干预的图像自动色彩上是在机器学习界的兴趣中的一个短暂的时间。分配颜色到图像是一个非常令人虐待的问题，因为它具有非常高的自由度的先天性;给定图像，通常没有单一的颜色组合是正确的。除了着色之外，图像重建中的另一个问题是单图像超分辨率，其旨在将低分辨率图像转换为更高的分辨率。该研究旨在通过专注于图像的非常特定的图像，即天文图像，并使用生成的对抗网络（GAN）来提供自动化方法。我们探索两种不同颜色空间，RGB和L * A *中各种型号的使用。我们使用传输学习，由于小数据集，使用预先训练的Reset-18作为骨干，即U-Net的编码器，进一步微调。该模型产生视觉上有吸引力的图像，其在原始图像中不存在的这些结果中呈现的高分辨率高分辨率，着色数据。我们通过使用所有通道的每个颜色空间中的距离度量（例如L1距离和L2距离）评估GAN来提供我们的结果，以提供比较分析。我们使用Frechet Inception距离（FID）将生成的图像的分布与实际图像的分布进行比较，以评估模型的性能。

动态对象对机器人对环境的看法产生了重大影响，这降低了本地化和映射等基本任务的性能。在这项工作中，我们通过在由动态对象封闭的区域中合成合理的颜色，纹理和几何形状来解决这个问题。我们提出了一种新的几何感知Dynafill架构，其遵循粗略拓扑，并将我们所通用的经常性反馈机制结合到自适应地融合来自之前的时间步来的信息。我们使用对抗性培训来优化架构，以综合精细的现实纹理，使其能够以空间和时间相干的方式在线在线遮挡地区的幻觉和深度结构，而不依赖于未来的帧信息。将我们的待遇问题作为图像到图像到图像的翻译任务，我们的模型还纠正了与场景中动态对象的存在相关的区域，例如阴影或反射。我们引入了具有RGB-D图像，语义分段标签，摄像机的大型高估数据集，以及遮挡区域的地面RGB-D信息。广泛的定量和定性评估表明，即使在挑战天气条件下，我们的方法也能实现最先进的性能。此外，我们使用综合图像显示基于检索的视觉本地化的结果，该图像证明了我们方法的效用。

现有条件图像综合框架基于单个模态中的用户输入生成图像，例如文本，分段，草图或样式参考。它们通常无法在可用时利用多式联运用户输入，这降低了它们的实用性。为了解决这一限制，我们提出了专家级别的生成对抗性网络（PoE-GaN）框架，其可以合成在多个输入模态或其任何子集上调节的图像，即使是空集。 Poe-GaN包括专家级别的发电机和多模式多尺寸投影鉴别器。通过我们精心设计的培训计划，Poe-GaN学习以高质量和多样性合成图像。除了在多模式条件图像合成中推进现有技术之外，PoE-GaN还优于在单向设置中测试时最佳现有的单峰条件图像合成方法。该项目网站在https://deepimagination.github.io/poe-gan提供。

在良好的弹药条件下，车辆检测准确性相当准确，但在弱光条件下容易受到检测准确性不佳。弱光和眩光的组合效果或尾灯的眩光导致最新的对象检测模型更有可能错过车辆检测。但是，热红外图像对照明的变化是可靠的，并且基于热辐射。最近，生成对抗网络（GAN）已在图像域传输任务中广泛使用。最先进的GAN型号试图通过将红外图像转换为白天的RGB图像来提高夜间车辆检测准确性。但是，与白天条件相比，在夜间条件下，这些模型在夜间条件下表现不佳。因此，这项研究试图通过提出三种不同的方法来缓解这一缺点，该方法基于两个不同级别的GAN模型的组合，试图减少白天和夜间红外图像之间的特征分布差距。通过使用最新的对象检测模型测试模型，可以完成定量分析以比较提出模型的性能与最新模型的性能。定量和定性分析都表明，所提出的模型在夜间条件下的最新车辆检测模型优于最先进的GAN模型，显示了所提出的模型的功效。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

尽管应用于自然图像的大量成功的超分辨率重建（SRR）模型，但它们在遥感图像中的应用往往会产生差的结果。遥感图像通常比自然图像更复杂，并且具有较低分辨率的特殊性，它包含噪音，并且通常描绘了大质感表面。结果，将非专业的SRR模型应用于遥感图像，从而导致人工制品和不良的重建。为了解决这些问题，本文提出了一种受到先前研究工作启发的体系结构，引入了一种新的方法来迫使SRR模型输出现实的遥感图像：而不是依靠功能空间相似性作为感知损失，而是将其视为Pixel-从图像的归一化数字表面模型（NDSM）推断出的级别信息。该策略允许在训练模型期间应用更具信息的更新，该模型从任务（高程图推理）源中源，该模型与遥感密切相关。但是，在生产过程中不需要NDSM辅助信息，因此该模型除了其低分辨率对以外没有任何其他数据，因此该模型还没有任何其他数据。我们在两个远程感知的不同空间分辨率的数据集上评估了我们的模型，这些数据集也包含图像的DSM对：DFC2018数据集和包含卢森堡国家激光雷达飞行的数据集。根据视觉检查，推断的超分辨率图像表现出特别优越的质量。特别是，高分辨率DFC2018数据集的结果是现实的，几乎与地面真相图像没有区别。

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.