胸部X射线（CXR）图像中的肺结节检测是肺癌的早期筛查。基于深度学习的计算机辅助诊断（CAD）系统可以支持放射线医生在CXR中进行结节筛选。但是，它需要具有高质量注释的大规模和多样化的医学数据，以训练这种强大而准确的CAD。为了减轻此类数据集的有限可用性，为了增加数据增强而提出了肺结核合成方法。然而，以前的方法缺乏产生结节的能力，这些结节与检测器所需的大小属性相关。为了解决这个问题，我们在本文中介绍了一种新颖的肺结综合框架，该框架分别将结节属性分为三个主要方面，包括形状，大小和纹理。基于GAN的形状生成器首先通过产生各种形状掩模来建模结节形状。然后，以下大小调制可以对像素级粒度中生成的结节形状的直径进行定量控制。一条粗到细门的卷积卷积纹理发生器最终合成了以调制形状掩模为条件的视觉上合理的结节纹理。此外，我们建议通过控制数据增强的分离结节属性来合成结节CXR图像，以便更好地补偿检测任务中容易错过的结节。我们的实验证明了所提出的肺结构合成框架的图像质量，多样性和可控性的增强。我们还验证了数据增强对大大改善结节检测性能的有效性。

创伤性脑损伤（TBI）患者的脑网络分析对于其意识水平评估和预后评估至关重要，这需要分割某些意识相关的大脑区域。但是，由于很难收集TBI患者的手动注释的MR扫描，因此很难构建TBI分割模型。数据增强技术可用于缓解数据稀缺问题。但是，常规数据增强策略（例如空间和强度转化）无法模仿创伤性大脑中的变形和病变，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种名为TBIGA的新型医学图像授课模型，以通过配对的脑标签图合成TBI MR扫描。我们的TBIGAN方法的主要优势在于，它可以同时生成TBI图像和相应的标签映射，这在以前的医学图像的先前涂上方法中尚未实现。我们首先按照粗到细节的方式在边缘信息的指导下生成成分的图像，然后将合成强度图像用作标签上填充的先验。此外，我们引入了基于注册的模板增强管道，以增加合成图像对的多样性并增强数据增强能力。实验结果表明，提出的TBIGAN方法可以产生具有高质量和有效标签图的足够合成的TBI图像，这可以大大改善与替代方案相比的2D和3D创伤性脑部分割性能。

基于补丁的方法和深度网络已经采用了解决图像染色问题，具有自己的优势和劣势。基于补丁的方法能够通过从未遮盖区域搜索最近的邻居修补程序来恢复具有高质量纹理的缺失区域。但是，这些方法在恢复大缺失区域时会带来问题内容。另一方面，深度网络显示有希望的成果完成大区域。尽管如此，结果往往缺乏类似周围地区的忠诚和尖锐的细节。通过汇集两个范式中，我们提出了一种新的深度染色框架，其中纹理生成是由从未掩蔽区域提取的补丁样本的纹理记忆引导的。该框架具有一种新颖的设计，允许使用深度修复网络训练纹理存储器检索。此外，我们还介绍了贴片分配损失，以鼓励高质量的贴片合成。所提出的方法在三个具有挑战性的图像基准测试中，即地位，Celeba-HQ和巴黎街道视图数据集来说，该方法显示出质量和定量的卓越性能。

深层图像介绍取得了令人印象深刻的进步，随着图像产生和处理算法的最新进展。我们声称，可以通过生成的结构和纹理更好地判断介入算法的性能。结构是指孔中生成的对象边界或新的几何结构，而纹理是指高频细节，尤其是在结构区域内填充的人造重复模式。我们认为，更好的结构通常是从基于粗糙的GAN的发电机网络中获得的，而如今重复模式可以通过最新的高频快速快速傅立叶卷积层进行更好的建模。在本文中，我们提出了一个新颖的介绍网络，结合了这两种设计的优势。因此，我们的模型具有出色的视觉质量，可以匹配结构生成和使用单个网络重复纹理合成的最新性能。广泛的实验证明了该方法的有效性，我们的结论进一步突出了图像覆盖质量，结构和纹理的两个关键因素，即未来的设计方向。

场景文本擦除，它在自然图像中替换了具有合理内容的文本区域，近年来在计算机视觉社区中造成了重大关注。场景文本删除中有两个潜在的子任务：文本检测和图像修复。两个子任务都需要相当多的数据来实现更好的性能;但是，缺乏大型现实世界场景文本删除数据集不允许现有方法实现其潜力。为了弥补缺乏成对的真实世界数据，我们在额外的增强后大大使用了合成文本，随后仅在改进的合成文本引擎生成的数据集上培训了我们的模型。我们所提出的网络包含一个笔划掩模预测模块和背景染色模块，可以从裁剪文本图像中提取文本笔划作为相对较小的孔，以维持更多的背景内容以获得更好的修复结果。该模型可以用边界框部分删除场景图像中的文本实例，或者使用现有场景文本检测器进行自动场景文本擦除。 SCUT-SYN，ICDAR2013和SCUT-ENSTEXT数据集的定性和定量评估的实验结果表明，即使在现实世界数据上培训，我们的方法也显着优于现有的最先进的方法。

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。

Weakly-supervised learning (WSL) has been proposed to alleviate the conflict between data annotation cost and model performance through employing sparsely-grained (i.e., point-, box-, scribble-wise) supervision and has shown promising performance, particularly in the image segmentation field. However, it is still a very challenging problem due to the limited supervision, especially when only a small number of labeled samples are available. Additionally, almost all existing WSL segmentation methods are designed for star-convex structures which are very different from curvilinear structures such as vessels and nerves. In this paper, we propose a novel sparsely annotated segmentation framework for curvilinear structures, named YoloCurvSeg, based on image synthesis. A background generator delivers image backgrounds that closely match real distributions through inpainting dilated skeletons. The extracted backgrounds are then combined with randomly emulated curves generated by a Space Colonization Algorithm-based foreground generator and through a multilayer patch-wise contrastive learning synthesizer. In this way, a synthetic dataset with both images and curve segmentation labels is obtained, at the cost of only one or a few noisy skeleton annotations. Finally, a segmenter is trained with the generated dataset and possibly an unlabeled dataset. The proposed YoloCurvSeg is evaluated on four publicly available datasets (OCTA500, CORN, DRIVE and CHASEDB1) and the results show that YoloCurvSeg outperforms state-of-the-art WSL segmentation methods by large margins. With only one noisy skeleton annotation (respectively 0.14%, 0.02%, 1.4%, and 0.65% of the full annotation), YoloCurvSeg achieves more than 97% of the fully-supervised performance on each dataset. Code and datasets will be released at https://github.com/llmir/YoloCurvSeg.

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。

最近的图像入介方法取得了长足的进步，但在处理复杂图像中的大孔时，通常很难产生合理的图像结构。这部分是由于缺乏有效的网络结构可以捕获图像的远程依赖性和高级语义。我们提出了级联调制GAN（CM-GAN），这是一种新的网络设计，由编码器组成，该设计由带有傅立叶卷积块的编码器组成，该块从带有孔的输入图像中提取多尺度特征表示，并带有带有新型级联全球空间调制的双流式解码器在每个比例尺上块。在每个解码器块中，首先应用全局调制以执行粗糙和语义感知的结构合成，然后进行空间调制以进一步以空间自适应的方式调整特征图。此外，我们设计了一种对象感知的培训方案，以防止网络在孔内部幻觉，从而满足实际情况下对象删除任务的需求。进行了广泛的实验，以表明我们的方法在定量和定性评估中都显着优于现有方法。请参阅项目页面：\ url {https://github.com/htzheng/cm-gan-inpainting}。

生成对抗网络（GAN）具有许多潜在的医学成像应用，包括数据扩展，域适应和模型解释。由于图形处理单元（GPU）的记忆力有限，因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练，因此这些模型要么无法扩展到高分辨率，要么容易出现斑驳的人工制品。在这项工作中，我们提出了一种新颖的端到端GAN体系结构，可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中，我们采用了层次结构，该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点：首先，对高分辨率图像训练的记忆需求在子量之间摊销。此外，将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间，我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中，以从图像中提取特征。 3D胸CT和脑MRI的实验表明，我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。

已显示自动深度学习分割模型可提高分割效率和准确性。但是，训练强大的分割模型需要大量标记的训练样本，这可能是不切实际的。这项研究旨在开发一个深度学习框架，用于生成可用于增强网络培训的合成病变。病变合成网络是一种修改的生成对抗网络（GAN）。具体而言，我们创新了部分卷积策略来构建一个类似于Unet的发电机。该鉴别器是使用具有梯度惩罚和光谱归一化的Wasserstein GAN设计的。开发了基于主成分分析的掩模生成方法，以模拟各种病变形状。然后通过病变合成网络将生成的面膜转换为肝病。评估了病变的合成框架的病变纹理，并使用合成病变来训练病变分割网络，以进一步验证该框架的有效性。所有网络均经过LIT的公共数据集训练和测试。与所采用的两个纹理参数（GLCM-能量和GLCM相关）相比，该方法产生的合成病变具有非常相似的直方图分布。 GLCM-能量和GlCM相关的Kullback-Lebler差异分别为0.01和0.10。包括肿瘤分割网络中的合成病变包括U-NET的分割骰子性能从67.3％显着提高到71.4％（p <0.05）。同时，体积的精度和灵敏度从74.6％提高到76.0％（p = 0.23）和66.1％至70.9％（p <0.01）。合成数据可显着提高分割性能。

眼科医生已经使用眼底图像筛选和诊断眼病。然而，不同的设备和眼科医生对眼底图像的质量产生了大的变化。低质量（LQ）降级的眼底图像在临床筛查中容易导致不确定性，并且通常会增加误诊的风险。因此，真实的眼底图像恢复值得研究。不幸的是，到目前为止，这项任务尚未探索真正的临床基准。在本文中，我们研究了真正的临床眼底图像恢复问题。首先，我们建立一个临床数据集，真实的眼底（RF），包括120个低质量和高质量（HQ）图像对。然后，我们提出了一种新型的变压器的生成对抗网络（RFRMANER）来恢复临床眼底图像的实际降级。我们网络中的关键组件是基于窗口的自我关注块（WSAB），其捕获非本地自我相似性和远程依赖性。为了产生更明显的令人愉悦的结果，介绍了一种基于变压器的鉴别器。在我们的临床基准测试中的广泛实验表明，所提出的rformer显着优于最先进的（SOTA）方法。此外，诸如船舶分割和光盘/杯子检测之类的下游任务的实验表明我们所提出的rformer益处临床眼底图像分析和应用。将发布数据集，代码和模型。

图像介入寻求一种语义一致的方法，以根据其未掩盖的内容来恢复损坏的图像。以前的方法通常将训练有素的甘恩重复使用，然后在产生逼真的斑块中用于缺少GAN反转的孔。然而，在这些算法中对硬约束的无知可能会产生gan倒置和图像插入之间的差距。在解决这个问题的情况下，我们在本文中设计了一个新颖的GAN反转模型，用于图像插入，称为Interverfill，主要由带有预调制模块的编码器和具有F＆W+潜在空间的GAN生成器组成。在编码器中，预调制网络利用多尺度结构将更多的歧视语义编码为样式向量。为了弥合GAN倒置和图像插入之间的缝隙，提出了F＆W+潜在空间以消除巨大的颜色差异和语义不一致。为了重建忠实和逼真的图像，一个简单而有效的软上升平均潜在模块旨在捕获更多样化的内域模式，以合成大型腐败的高保真质地。在包括Ploce2，Celeba-HQ，Metfaces和Scenery在内的四个具有挑战性的数据集上进行的全面实验表明，我们的Intervill效果优于定性和定量的高级方法，并支持室外图像的完成。

场景文本擦除旨在从场景图像中删除文本内容，而当前的最新文本擦除模型经过大规模合成数据的培训。尽管数据合成引擎可以提供大量注释的训练样本，但合成数据和现实世界数据之间存在差异。在本文中，我们在未标记的现实世界场景文本图像上采用自我审视来进行特征表示。一项新颖的借口任务旨在在图像变体的文本蒙版之间保持一致。我们设计了渐进式擦除网络，以删除剩余文本。场景文本通过利用中间生成的结果逐渐消除，这为随后的更高质量结果奠定了基础。实验表明，我们的方法显着改善了文本擦除任务的概括，并在公共基准上实现了最先进的性能。

Deep learning techniques have made considerable progress in image inpainting, restoration, and reconstruction in the last few years. Image outpainting, also known as image extrapolation, lacks attention and practical approaches to be fulfilled, owing to difficulties caused by large-scale area loss and less legitimate neighboring information. These difficulties have made outpainted images handled by most of the existing models unrealistic to human eyes and spatially inconsistent. When upsampling through deconvolution to generate fake content, the naive generation methods may lead to results lacking high-frequency details and structural authenticity. Therefore, as our novelties to handle image outpainting problems, we introduce structural prior as a condition to optimize the generation quality and a new semantic embedding term to enhance perceptual sanity. we propose a deep learning method based on Generative Adversarial Network (GAN) and condition edges as structural prior in order to assist the generation. We use a multi-phase adversarial training scheme that comprises edge inference training, contents inpainting training, and joint training. The newly added semantic embedding loss is proved effective in practice.

由于其在隐私保护，文档修复和文本编辑方面的各种应用，因此删除文本引起了越来越多的关注。它显示出深度神经网络的重大进展。但是，大多数现有方法通常会为复杂的背景产生不一致的结果。为了解决此问题，我们提出了一个上下文引导的文本删除网络，称为CTRNET。 Ctrnet探索了低级结构和高级判别上下文特征，作为指导背景恢复过程的先验知识。我们进一步提出了具有CNNS和Transformer-编码器的局部全球含量建模（LGCM）块，以捕获局部特征并在全球像素之间建立长期关系。最后，我们将LGCM与特征建模和解码的上下文指南合并。在基准数据集，Scut-Enstext和Scut-Syn上进行的实验表明，CTRNET显着胜过现有的最新方法。此外，关于考试论文的定性实验也证明了我们方法的概括能力。代码和补充材料可在https://github.com/lcy0604/ctrnet上获得。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。

基于图像的虚拟试验是以人为中心的现实潜力，是以人为中心的图像生成的最有希望的应用之一。在这项工作中，我们迈出了一步，探索多功能的虚拟尝试解决方案，我们认为这应该具有三个主要属性，即，它们应支持无监督的培训，任意服装类别和可控的服装编辑。为此，我们提出了一个特征性的端到端网络，即用空间自适应的斑点适应性GAN ++（Pasta-gan ++），以实现用于高分辨率不合规的虚拟试验的多功能系统。具体而言，我们的意大利面++由一个创新的贴布贴片的拆卸模块组成，可以将完整的服装切换为归一化贴剂，该贴片能够保留服装样式信息，同时消除服装空间信息，从而减轻在未受监督训练期间过度适应的问题。此外，面食++引入了基于贴片的服装表示和一个贴片引导的解析合成块，使其可以处理任意服装类别并支持本地服装编辑。最后，为了获得具有逼真的纹理细节的尝试结果，面食gan ++结合了一种新型的空间自适应残留模块，以将粗翘曲的服装功能注入发电机。对我们新收集的未配对的虚拟试验（UPT）数据集进行了广泛的实验，证明了面食gan ++比现有SOTA的优越性及其可控服装编辑的能力。