Image generation and image completion are rapidly evolving fields, thanks to machine learning algorithms that are able to realistically replace missing pixels. However, generating large high resolution images, with a large level of details, presents important computational challenges. In this work, we formulate the image generation task as completion of an image where one out of three corners is missing. We then extend this approach to iteratively build larger images with the same level of detail. Our goal is to obtain a scalable methodology to generate high resolution samples typically found in satellite imagery data sets. We introduce a conditional progressive Generative Adversarial Networks (GAN), that generates the missing tile in an image, using as input three initial adjacent tiles encoded in a latent vector by a Wasserstein auto-encoder. We focus on a set of images used by the United Nations Satellite Centre (UNOSAT) to train flood detection tools, and validate the quality of synthetic images in a realistic setup.

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CELEBA images at 1024 2 . We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CELEBA dataset.

由于技术成本的降低和卫星发射的增加，卫星图像变得越来越流行和更容易获得。除了提供仁慈的目的外，还可以出于恶意原因（例如错误信息）使用卫星数据。事实上，可以依靠一般图像编辑工具来轻松操纵卫星图像。此外，随着深层神经网络（DNN）的激增，可以生成属于各种领域的现实合成图像，与合成生成的卫星图像的扩散有关的其他威胁正在出现。在本文中，我们回顾了关于卫星图像的产生和操纵的最新技术（SOTA）。特别是，我们既关注从头开始的合成卫星图像的产生，又要通过图像转移技术对卫星图像进行语义操纵，包括从一种类型的传感器到另一种传感器获得的图像的转换。我们还描述了迄今已研究的法医检测技术，以对合成图像伪造进行分类和检测。虽然我们主要集中在法医技术上明确定制的，该技术是针对AI生成的合成内容物的检测，但我们还审查了一些用于一般剪接检测的方法，这些方法原则上也可以用于发现AI操纵图像

Deep learning techniques have made considerable progress in image inpainting, restoration, and reconstruction in the last few years. Image outpainting, also known as image extrapolation, lacks attention and practical approaches to be fulfilled, owing to difficulties caused by large-scale area loss and less legitimate neighboring information. These difficulties have made outpainted images handled by most of the existing models unrealistic to human eyes and spatially inconsistent. When upsampling through deconvolution to generate fake content, the naive generation methods may lead to results lacking high-frequency details and structural authenticity. Therefore, as our novelties to handle image outpainting problems, we introduce structural prior as a condition to optimize the generation quality and a new semantic embedding term to enhance perceptual sanity. we propose a deep learning method based on Generative Adversarial Network (GAN) and condition edges as structural prior in order to assist the generation. We use a multi-phase adversarial training scheme that comprises edge inference training, contents inpainting training, and joint training. The newly added semantic embedding loss is proved effective in practice.

基于深度学习的计算机辅助诊断（CAD）已成为医疗行业的重要诊断技术，有效提高诊断精度。然而，脑肿瘤磁共振（MR）图像数据集的稀缺性导致深度学习算法的低性能。传统数据增强（DA）生成的转换图像的分布本质上类似于原始的图像，从而在泛化能力方面产生有限的性能。这项工作提高了具有结构相似性损失功能（PGGAN-SSIM）的GAN的逐步生长，以解决图像模糊问题和模型崩溃。我们还探讨了其他基于GAN的数据增强，以证明所提出的模型的有效性。我们的结果表明，PGGAN-SSIM成功地生成了256x256的现实脑肿瘤MR图像，填充了原始数据集未发现的真实图像分布。此外，PGGAN-SSSIM超过了其他基于GAN的方法，实现了FRECHET成立距离（FID）和多尺度结构相似性（MS-SSIM）的有希望的性能提升。

在很大程度上，由于隐私问题，很难培训有关疾病诊断或图像分割的医学图像的计算机视觉相关算法。因此，高度寻求生成图像模型以促进数据共享。但是，需要研究3-D生成模型，需要研究其隐私泄漏。我们使用在肿瘤面膜上进行条件研究的头和颈宠物图像介绍了3D生成模型横向gan（TRGAN）。我们为模型定义了图像保真度，实用性和隐私的定量度量。在培训过程中评估了这些指标，以确定理想的保真度，公用事业和隐私权权衡，并建立这些参数之间的关系。我们表明，Trgan的歧视者很容易受到攻击，并且攻击者可以识别哪些样品在训练中几乎完全准确（AUC = 0.99）。我们还表明，仅访问发电机的攻击者无法可靠地分类样品是否已用于训练（AUC = 0.51）。这表明Trgan发电机（而不是歧视者）可以用于共享具有最小隐私风险的合成3-D PET数据，同时保持良好的效用和保真度。

Figure 1: Example inpainting results of our method on images of natural scene, face and texture. Missing regions are shown in white. In each pair, the left is input image and right is the direct output of our trained generative neural networks without any post-processing.

生成对抗网络（GAN）具有许多潜在的医学成像应用，包括数据扩展，域适应和模型解释。由于图形处理单元（GPU）的记忆力有限，因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练，因此这些模型要么无法扩展到高分辨率，要么容易出现斑驳的人工制品。在这项工作中，我们提出了一种新颖的端到端GAN体系结构，可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中，我们采用了层次结构，该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点：首先，对高分辨率图像训练的记忆需求在子量之间摊销。此外，将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间，我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中，以从图像中提取特征。 3D胸CT和脑MRI的实验表明，我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。

对疾病的诊断或图像分割医学图像训练计算机视觉相关算法是缺乏训练数据，标记的样品，和隐私问题的困难所致。出于这个原因，一个强大的生成方法来创建合成数据后高度寻求。然而，大多数三维图像生成器需要额外的图像输入或者是非常占用大量内存。为了解决这些问题，我们建议调整视频生成技术3-d图像生成。使用时间GAN（TGAN）架构，我们将展示我们能够产生逼真的头部和颈部PET图像。我们还表明，通过调节肿瘤口罩发电机，我们能够控制肿瘤的几何形状和位置，在生成的图像。为了测试合成影像的用途，我们使用合成的图像训练分割模型。空调真实肿瘤掩模合成图像被自动分割，和对应的真实图像也分割。我们评估使用的骰子得分的分割，并找到两个数据集（0.65合成数据，0.70的真实数据）同样的分割算法执行。然后，各种radionomic特征在分割的肿瘤体积为每个数据集来计算。真实的和合成的特征分布的比较显示，8七个特征分布有统计学不显着差异（p> 0.05）。还计算所有radionomic特征之间的相关系数，它是示出了所有在真实数据组中的强统计相关的在合成数据集被保留。

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

生成照片 - 现实图像，语义编辑和表示学习是高分辨率生成模型的许多潜在应用中的一些。最近在GAN的进展将它们建立为这些任务的绝佳选择。但是，由于它们不提供推理模型，因此使用GaN潜在空间无法在实际图像上完成诸如分类的图像编辑或下游任务。尽管培训了训练推理模型或设计了一种迭代方法来颠覆训练有素的发生器，但之前的方法是数据集（例如人类脸部图像）和架构（例如样式）。这些方法是非延伸到新型数据集或架构的。我们提出了一般框架，该框架是不可知的架构和数据集。我们的主要识别是，通过培训推断和生成模型在一起，我们允许它们彼此适应并收敛到更好的质量模型。我们的\ textbf {invang}，可逆GaN的简短，成功将真实图像嵌入到高质量的生成模型的潜在空间。这使我们能够执行图像修复，合并，插值和在线数据增强。我们展示了广泛的定性和定量实验。

我们引入了无缝卫星图像综合（SSS），这是一种新型神经结构，可以从制图数据创建尺度和空间连续卫星纹理。虽然2D地图数据便宜且易于合成，但精确的卫星图像价格昂贵，通常不可用或过期。我们的方法产生通过尺度空间一致的任意大空间范围内的无缝纹理。为了克服图像到图像转换方法中的图块大小限制，SSS学习以语义上有意义的方式在瓷砖图像之间移除接缝。通过在样式和制图数据上的网络层次结构实现尺度空间连续性。我们的定性和定量评估表明，我们的系统在几个关键领域的最先进。我们将应用程序显示为纹理程序生成地图和交互式卫星图像操作。

在医学成像中，获得大量标记数据通常是一个障碍，因为注释和病理很少。异常检测是一种能够检测到看不见的异常数据的方法，而仅对正常（未经注释）数据进行培训。存在基于生成对抗网络（GAN）的几种算法来执行此任务，但是由于gan的不稳定，存在某些局限性。本文提出了一种新方法，通过将现有方法Ganomaly与逐渐增长的甘纳斯相结合。考虑到其产生高分辨率图像的能力，后者更稳定。该方法是使用时尚MNIST，医学分布分析挑战（情绪）和内部脑部MRI测试的；使用尺寸16x16和32x32的斑块。渐进式甘诺利（Ganomaly）的表现优于一级SVM或时尚MNIST的常规甘诺利。人工异常是在具有不同强度和直径的情绪图像中创建的。渐进式甘加诺利检测到强度和大小不同的最大异常。此外，从渐进的甘诺利中证明，间歇性重建也更好。在内部脑部MRI数据集上，常规甘诺利优于其他方法。

生成对抗网络（GAN）是使用一组真实示例生成假数据的框架。但是，甘在训练阶段不稳定。为了稳定gan，噪声注入已被用来扩大真实和虚假分布的重叠，而差异为增加。扩散（或平滑）可能会降低数据的固有潜在维度，但它抑制了甘斯在训练程序中学习高频信息的能力。基于这些观察结果，我们为GAN训练（称为嘈杂的尺度空间（NSS））提出了一个数据表示，该数据表示用平衡的噪声将平滑性应用于数据，以通过随机数据替换高频信息，从而导致高频信息。对gan的粗到精细训练。我们基于基于基准数据集的DCGAN和stylegan2尝试NSS，在大多数情况下，基于NSS的GANS的gans优于最先进的方法。

气候变化正在增加有害藻华（HAB）的频率和严重程度，这些藻类在水产养殖场中造成大量鱼类死亡。这有助于海洋污染和温室气体（GHG）的排放，因为死鱼要么被倾倒到海洋中，要么被带到垃圾填埋场，进而对气候产生负面影响。当前，列举有害藻类和其他浮游植物的标准方法是在显微镜下手动观察并对其进行计数。这是一个耗时，乏味且容易出错的过程，导致农民的管理决定妥协。因此，自动化此过程以进行快速准确的HAB监控非常有帮助。但是，这需要大量且多样化的浮游植物图像数据集，并且这些数据集很难快速生产。在这项工作中，我们探讨了产生新型高分辨率的光真逼真的合成浮游植物图像的可行性，这些图像包含相同图像中的多个物种，并且给定了一小部分真实图像。为此，我们采用生成的对抗网络（GAN）来生成合成图像。我们使用标准图像质量指标评估了三种不同的GAN架构：ProjectedGan，Fastgan和styleganv2。我们从经验上显示了仅使用961个真实图像的训练数据集的高保真合成浮游植物图像的产生。因此，这项工作证明了甘斯从小型培训数据集中创建大型浮游植物的大型合成数据集的能力，从而朝着可持续的系统监测有害藻类绽放迈出了关键的一步。

我们表明，降噪扩散Probabalistic模型（DDPM），一类基于分数的生成模型，可用于制作逼真的假尚图像星系的模拟观测。我们的方法与从河外调查（探针）样品从斯隆数字巡天选择的测光和旋转曲线的观察和星系星系暗能量光谱仪器GRZ成像测试。主观上，当与来自真正的数据集中样品相比所产生的星系高度逼真。我们从深生成学习文学借款，使用'神父\“echet盗梦空间距离”，以测试主观和形态相似性量化的相似性。我们还引进了`合成银河的距离”这一指标来比较新兴的物理性质（如总大小，颜色和半光半径）地面实况父母和子女合成数据集。我们认为，DDPM方法产生比其它生成方法如对抗性网络（与更昂贵的推理的下侧）更清晰，更逼真的图像，并且可以用于产生适合于特定的成像调查合成的观察大样本。我们证明了DDPM的两个潜在的用途：（1）在准确喷漆遮蔽数据，如卫星路径，和（2）域转移，其中新的输入图像可以被处理以模仿DDPM训练集的属性。在这里，我们`DESI-FY”卡通形象为理念的域转移的证明。最后，我们建议适用于可在天文学界内有关这个主题的激励进一步的研究基于分数的办法的潜在应用。

For satellite images, the presence of clouds presents a problem as clouds obscure more than half to two-thirds of the ground information. This problem causes many issues for reliability in a noise-free environment to communicate data and other applications that need seamless monitoring. Removing the clouds from the images while keeping the background pixels intact can help address the mentioned issues. Recently, deep learning methods have become popular for researching cloud removal by demonstrating promising results, among which Generative Adversarial Networks (GAN) have shown considerably better performance. In this project, we aim to address cloud removal from satellite images using AttentionGAN and then compare our results by reproducing the results obtained using traditional GANs and auto-encoders. We use RICE dataset. The outcome of this project can be used to develop applications that require cloud-free satellite images. Moreover, our results could be helpful for making further research improvements.

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。